KR102090696B1 - 영상수신장치, 영상수신장치의 영상 복원 방법, 및 영상 시스템의 영상 마스킹 및 복원 방법 - Google Patents
영상수신장치, 영상수신장치의 영상 복원 방법, 및 영상 시스템의 영상 마스킹 및 복원 방법 Download PDFInfo
- Publication number
- KR102090696B1 KR102090696B1 KR1020180044115A KR20180044115A KR102090696B1 KR 102090696 B1 KR102090696 B1 KR 102090696B1 KR 1020180044115 A KR1020180044115 A KR 1020180044115A KR 20180044115 A KR20180044115 A KR 20180044115A KR 102090696 B1 KR102090696 B1 KR 102090696B1
- Authority
- KR
- South Korea
- Prior art keywords
- privacy
- image data
- image
- data
- masking
- Prior art date
Links
- 230000000873 masking effect Effects 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000004044 response Effects 0.000 claims abstract description 14
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 38
- 238000003384 imaging method Methods 0.000 abstract description 6
- 230000005540 biological transmission Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000010454 slate Substances 0.000 description 2
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
- H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
본 발명은 개인 프라이버시를 보호하기 위한 영상 시스템의 영상 마스킹 및 복원 방법을 개시한다.
본 발명의 일 실시예에 따른 영상수신장치의 영상 복원 방법은, 원본 영상데이터에서 프라이버시 영역의 영상데이터가 블라인드 처리된 마스킹 영상데이터를 인코딩한 제1 데이터를 디코딩하여 상기 마스킹 영상데이터를 복원하는 단계; 복수의 프라이버시 영역들 중 적어도 하나의 프라이버시 영역의 선택신호에 응답하여, 상기 복수의 프라이버시 영역들의 암호화된 영상데이터인 제2 데이터를 선택적으로 복호화하는 단계; 및 상기 복원된 마스킹 영상데이터와 상기 복호화된 적어도 하나의 프라이버시 영역의 영상데이터를 합성하여, 상기 적어도 하나의 프라이버시 영역의 블라인드가 선택적으로 해제된 출력 영상을 생성하는 단계;를 포함한다.
본 발명의 일 실시예에 따른 영상수신장치의 영상 복원 방법은, 원본 영상데이터에서 프라이버시 영역의 영상데이터가 블라인드 처리된 마스킹 영상데이터를 인코딩한 제1 데이터를 디코딩하여 상기 마스킹 영상데이터를 복원하는 단계; 복수의 프라이버시 영역들 중 적어도 하나의 프라이버시 영역의 선택신호에 응답하여, 상기 복수의 프라이버시 영역들의 암호화된 영상데이터인 제2 데이터를 선택적으로 복호화하는 단계; 및 상기 복원된 마스킹 영상데이터와 상기 복호화된 적어도 하나의 프라이버시 영역의 영상데이터를 합성하여, 상기 적어도 하나의 프라이버시 영역의 블라인드가 선택적으로 해제된 출력 영상을 생성하는 단계;를 포함한다.
Description
본 발명은 개인 프라이버시를 보호하기 위한 영상 시스템의 영상 마스킹 및 복원 방법에 관한 것이다.
블랙박스 또는 CCTV에 저장된 영상이 그대로 유포될 경우 사람 얼굴 등과 같이 개인 프라이버시와 관련된 정보가 그대로 노출됨으로 인한 프라이버시 침해 문제가 발생할 수 있다.
본 발명의 실시예들은 영상에서 개인 프라이버시가 필요한 영역을 마스킹하여 개인 프라이버시를 보호하면서 특정 목적에 따라 마스킹 영역을 선택적으로 해제할 수 있는 영상 시스템 및 영상 복원 방법을 제공하는 것이다.
본 발명은 전자부품연구원이 주관하는 산업자원통상부 산하 한국산업기술평가관리원의 자동차산업핵심기술개발사업 지원으로 수행되었습니다.
본 발명의 일 실시예에 따른 영상수신장치의 영상 복원 방법은, 원본 영상데이터에서 프라이버시 영역의 영상데이터가 블라인드 처리된 마스킹 영상데이터를 인코딩한 제1 데이터를 디코딩하여 상기 마스킹 영상데이터를 복원하는 단계; 복수의 프라이버시 영역들 중 적어도 하나의 프라이버시 영역의 선택신호에 응답하여, 상기 복수의 프라이버시 영역들의 암호화된 영상데이터인 제2 데이터를 선택적으로 복호화하는 단계; 및 상기 복원된 마스킹 영상데이터와 상기 복호화된 적어도 하나의 프라이버시 영역의 영상데이터를 합성하여, 상기 적어도 하나의 프라이버시 영역의 블라인드가 선택적으로 해제된 출력 영상을 생성하는 단계;를 포함한다.
상기 출력 영상 생성 단계는, 상기 복수의 프라이버시 영역들의 메타데이터를 기초로, 상기 복원된 마스킹 영상데이터와 상기 복호화된 적어도 하나의 프라이버시 영역의 영상데이터를 합성하는 단계;를 포함할 수 있다.
상기 방법은, 상기 복수의 프라이버시 영역들 중 적어도 하나의 프라이버시 영역의 선택을 순차적으로 요청하는 단계;를 포함할 수 있다.
상기 방법은, 상기 복수의 프라이버시 영역들 중 적어도 하나의 프라이버시 영역의 선택을 동시에 요청하는 단계;를 포함할 수 있다.
상기 제2 데이터는 상기 복수의 프라이버시 영역들의 영상데이터를 인코딩한 후 암호화한 데이터이고, 상기 방법은, 상기 복호화된 적어도 하나의 프라이버시 영역의 인코딩된 영상데이터를 디코딩하는 단계;를 더 포함하고, 상기 출력 영상 생성 단계는, 상기 복원된 마스킹 영상데이터와 상기 복호화 및 디코딩에 의해 복원된 적어도 하나의 프라이버시 영역의 영상데이터를 합성하여, 상기 적어도 하나의 프라이버시 영역의 블라인드가 선택적으로 해제된 출력 영상을 생성하는 단계;를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상수신장치는, 원본 영상데이터에서 프라이버시 영역의 영상데이터가 블라인드 처리된 마스킹 영상데이터를 인코딩한 제1 데이터를 디코딩하여 상기 마스킹 영상데이터를 복원하는 디코더; 복수의 프라이버시 영역들 중 적어도 하나의 프라이버시 영역의 선택신호에 응답하여, 상기 복수의 프라이버시 영역들의 암호화된 영상데이터인 제2 데이터를 선택적으로 복호화하는 복호화부; 및 상기 복원된 마스킹 영상데이터와 상기 복호화된 적어도 하나의 프라이버시 영역의 영상데이터를 합성하여, 상기 적어도 하나의 프라이버시 영역의 블라인드가 선택적으로 해제된 출력 영상을 생성하는 영상처리부;를 포함한다.
상기 영상처리부는, 상기 복수의 프라이버시 영역들의 메타데이터를 기초로, 상기 복원된 마스킹 영상데이터와 상기 복호화된 적어도 하나의 프라이버시 영역의 영상데이터를 합성할 수 있다.
상기 영상수신장치는, 상기 복수의 프라이버시 영역들 중 적어도 하나의 프라이버시 영역의 선택을 순차적으로 요청하는 제어부;를 더 포함할 수 있다.
상기 영상수신장치는, 상기 복수의 프라이버시 영역들 중 적어도 하나의 프라이버시 영역의 선택을 동시에 요청하는 제어부;를 더 포함할 수 있다.
상기 제2 데이터는 상기 복수의 프라이버시 영역들의 영상데이터를 인코딩한 후 암호화한 데이터이고, 상기 디코더는, 상기 복호화된 적어도 하나의 프라이버시 영역의 인코딩된 영상데이터를 디코딩하고, 상기 영상처리부는, 상기 복원된 마스킹 영상데이터와 상기 복호화 및 디코딩에 의해 복원된 적어도 하나의 프라이버시 영역의 영상데이터를 합성하여, 상기 적어도 하나의 프라이버시 영역의 블라인드가 선택적으로 해제된 출력 영상을 생성할 수 있다.
본 발명의 일 실시예에 따른 영상 시스템의 영상 마스킹 및 복원 방법은, 영상송신장치가, 원본 영상에서 프라이버시 영역을 검출하고 상기 프라이버시 영역의 메타데이터를 생성하는 단계; 상기 프라이버시 영역의 영상데이터를 블라인드 처리한 마스킹 영상데이터를 생성하는 단계; 상기 마스킹 영상데이터를 인코딩한 제1 데이터를 생성하는 단계; 상기 프라이버시 영역의 영상데이터를 암호화한 제2 데이터를 생성하는 단계; 상기 메타데이터, 상기 제1 데이터 및 상기 제2 데이터를 저장장치에 저장하는 단계; 영상수신장치가, 상기 제1 데이터를 디코딩하여 상기 마스킹 영상데이터를 복원하는 단계; 복수의 프라이버시 영역들 중 적어도 하나의 프라이버시 영역의 선택신호에 응답하여, 상기 제2 데이터를 선택적으로 복호화하는 단계; 및 상기 복원된 마스킹 영상데이터와 상기 복호화된 적어도 하나의 프라이버시 영역의 영상데이터를 합성하여, 상기 적어도 하나의 프라이버시 영역의 블라인드가 선택적으로 해제된 출력 영상을 생성하는 단계;를 포함한다.
상기 블라인드 처리는 상기 프라이버시 영역의 해상도를 상기 프라이버시 영역 외의 영역의 제1 해상도보다 낮은 제2 해상도로 변환하는 영상처리를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 시스템의 영상 마스킹 및 복원 방법은, 영상송신장치가, 원본 영상에서 프라이버시 영역을 검출하고 상기 프라이버시 영역의 메타데이터를 생성하는 단계; 상기 프라이버시 영역의 영상데이터를 블라인드 처리한 마스킹 영상데이터를 생성하는 단계; 상기 마스킹 영상데이터를 인코딩한 제1 데이터를 생성하는 단계; 상기 프라이버시 영역의 영상데이터를 인코딩 및 암호화한 제2 데이터를 생성하는 단계; 상기 메타데이터, 상기 제1 데이터 및 상기 제2 데이터를 저장장치에 저장하는 단계; 영상수신장치가, 상기 제1 데이터를 디코딩하여 상기 마스킹 영상데이터를 복원하는 단계; 복수의 프라이버시 영역들 중 적어도 하나의 프라이버시 영역의 선택신호에 응답하여, 상기 제2 데이터를 선택적으로 복호화 및 디코딩하는 단계; 및 상기 복원된 마스킹 영상데이터와 상기 복호화 및 디코딩에 의해 복원된 적어도 하나의 프라이버시 영역의 영상데이터를 합성하여, 상기 적어도 하나의 프라이버시 영역의 블라인드가 선택적으로 해제된 출력 영상을 생성하는 단계;를 포함한다.
본 발명의 실시예들은 영상에서 개인 프라이버시가 필요한 영역을 마스킹하여 개인 프라이버시를 보호하면서 특정 목적에 따라 마스킹 영역을 선택적으로 해제할 수 있는 영상 시스템 및 영상 복원 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 시스템의 구성을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상송신장치의 구성을 개략적으로 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 마스킹의 예를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상수신장치의 구성을 개략적으로 도시한 블록도이다.
도 5 및 도 6은 블라인드 해제할 프라이버시 영역을 선택하는 다양한 예를 나타낸 도면이다.
도 7은 도 5 또는 도 6의 실시예에 따른 마스킹 영상의 복원 결과를 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상송신장치의 영상 마스킹 방법을 설명하는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 영상수신장치의 영상 복원 방법을 설명하는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 영상송신장치의 구성을 개략적으로 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 마스킹의 예를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상수신장치의 구성을 개략적으로 도시한 블록도이다.
도 5 및 도 6은 블라인드 해제할 프라이버시 영역을 선택하는 다양한 예를 나타낸 도면이다.
도 7은 도 5 또는 도 6의 실시예에 따른 마스킹 영상의 복원 결과를 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상송신장치의 영상 마스킹 방법을 설명하는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 영상수신장치의 영상 복원 방법을 설명하는 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 실시 예들에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 실시예들에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 실시 예들에서 “통신”, “통신망”, “인터넷망” 및 “네트워크”는 동일한 의미로 사용될 수 있다. 상기 용어들은, 파일을 사용자 단말, 다른 사용자들의 단말 및 다운로드 서버 사이에서 송수신할 수 있는 유무선의 근거리 및 광역 데이터 송수신망을 의미한다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. 또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 시스템의 구성을 개략적으로 도시한 블록도이다.
도 1을 참조하면, 일 실시예에 따른 영상 시스템(1)은 영상송신장치(10) 및 영상수신장치(20)를 포함할 수 있다.
일 실시예에서, 영상송신장치(10)는 주행 중인 차량에 부착되고, 차량의 주변 영상을 획득하는 카메라일 수 있다. 영상송신장치(10)는 차량의 전방, 후방, 또는 측방에 설치될 수 있으며, 도로의 영상을 최적으로 획득할 수 있도록 적절한 위치에 선택 장착이 가능하다. 다른 실시예에서, 영상송신장치(10)는 사무실, 주택, 병원은 물론 은행이나 보안이 요구되는 공공건물 등의 내외 또는 공원 등의 야외에 설치되고, 팬(Pan)/틸트(Tilt)/줌(Zoom) 기능을 갖는 카메라일 수 있다.
영상송신장치(10)는 획득한 원본 영상데이터에서 프라이버시 영역의 영상데이터를 추출하고, 프라이버시 영역의 속성정보인 메타데이터를 생성할 수 있다. 영상송신장치(10)는 원본 영상에서 추출된 프라이버시 영역의 영상데이터를 블라인드 처리하여 마스킹 영상데이터를 생성할 수 있다. 영상송신장치(10)는 마스킹 영상데이터를 인코딩할 수 있다. 영상송신장치(10)는 프라이버시 영역의 영상데이터를 암호화할 수 있다. 영상송신장치(10)는 마스킹 영상데이터를 인코딩한 제1 데이터, 프라이버시 영역의 영상데이터를 암호화한 제2 데이터, 프라이버시 영역의 메타데이터를 영상수신장치(20)로 전송할 수 있다. 영상송신장치(10)는 프라이버시 영역의 영상데이터를 인코딩한 후 암호화할 수도 있다. 이 경우 제2 데이터는 프라이버시 영역의 영상데이터를 인코딩 및 암호화한 데이터이다.
영상수신장치(20)는 데스크탑 PC(desktop PC), 태블릿 PC(tablet PC), 슬레이트 PC(slate PC), 노트북 컴퓨터(notebook computer), 스마트폰과 같은 휴대용 단말기, DVR(Digital Video Recorder), NVR(Network Video Recorder), 서버 등을 포함할 수 있다.
영상수신장치(20)는 제1 데이터를 디코딩하여 마스킹 영상데이터를 복원할 수 있다. 영상수신장치(20)는 제2 데이터를 선택적으로 복호화할 수 있다. 이에 따라 복수의 프라이버시 영역들 중 일부 프라이버시 영역의 영상데이터는 복호화되고, 나머지는 암호화되어 있다. 영상수신장치(20)는 프라이버시 영역의 메타데이터를 기초로, 마스킹 영상데이터와 복호화된 프라이버시 영역의 영상데이터를 이용하여 프라이버시 영역의 블라인드가 선택적으로 해제된 출력 영상을 생성할 수 있다. 영상수신장치(20)는 인코딩 및 복호화된 프라이버시 영역의 영상데이터인 제2 데이터를 선택적으로 복호화 및 디코딩할 수 있다.
영상송신장치(10)와 영상수신장치(20)는 통신 네트워크(50)를 통해 연결될 수 있다. 통신 네트워크(50)는 유선 네트워크 및 3G, 4G(LTE), 와이파이(WiFi), 와이브로(Wibro), 와이맥스(Wimax) 등과 같은 무선 인터넷 및 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), NFC(Near Field Communication) 등의 근거리 통신을 포함하는 무선 네트워크를 포함할 수 있다. 무선 이동 통신의 경우, 네트워크는 기지국(BTS), 이동교환국(MSC), 홈 위치 등록기(HLR), 무선 패킷 데이터의 송수신을 가능하게 하는 액세스 게이트웨이(Access Gateway), PDSN(Packet Data Serving Node) 등과 같은 구성 요소를 추가로 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상송신장치의 구성을 개략적으로 도시한 블록도이다. 도 3은 본 발명의 일 실시예에 따른 영상 마스킹의 예를 나타낸 도면이다.
도 2를 참조하면, 영상송신장치(10)는 촬영부(101), 마스킹부(102), 인코더(103), 암호화부(104), 저장부(105) 및 표시부(106)를 포함할 수 있다.
촬영부(101)는 렌즈를 포함하는 광학계 및 영상센서를 포함할 수 있다. 영상센서는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide-Semiconductor) 등의 촬상소자를 포함할 수 있다. 촬영부(101)는 광학계 및 영상센서를 통해 광신호를 영상신호로 변환할 수 있다.
촬영부(101)로부터 출력되는 영상신호는 노이즈 제거, 감마 보정(Gamma Correction), 색필터 배열 보간(color filter array interpolation), 색 보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 신호처리가 수행될 수 있다. 영상신호는 프레임 단위로 신호처리되어 마스킹부(102)로 출력될 수 있다.
마스킹부(102)는 도 3(a)에 도시된 바와 같이, 원본 영상(301)으로부터 프라이버시 영역(P)을 검출할 수 있다. 마스킹부(102)는 도 3(b)에 도시된 바와 같이, 원본 영상(301)의 영상데이터에서 추출된 프라이버시 영역의 영상데이터를 블라인드 처리하여 마스킹 영상(303)을 생성할 수 있다. 프라이버시 영역은 복수일 수 있다.
마스킹부(102)는 원본 영상데이터(I)를 분석하여 얼굴, 차량 번호판, 차량 도어창, 건물 유리창 등 프라이버시 보호가 필요한 영역을 프라이버시 영역으로 검출할 수 있다. 일 실시예에서, 마스킹부(102)는 특징점 추출 및 패턴 매칭 방법에 의해 프라이버시 영역을 검출할 수 있다. 다른 실시예에서, 마스킹부(102)는 프라이버시 영역에 대한 학습을 통해 프라이버시 영역을 검출할 수 있다. 학습 방법은 특별히 제한되지 않는다. 예를 들어, 머신러닝(machine learning), DNN(Deep Neural Networks), CNN(Convolutional Neural Networks), DBN(Deep Believe Networks)과 같은 다양한 딥 러닝 기법들이 적용될 수 있다.
마스킹부(102)는 프라이버시 영역의 메타데이터(Pm)를 생성할 수 있다. 메타데이터(Pm)는 프라이버시 영역의 기준점의 좌표, 크기, 프레임 정보를 포함할 수 있다. 마스킹부(102)는 프라이버시 영역을 인덱싱할 수 있다. 이 경우 메타데이터(Pm)는 프라이버시 영역의 인덱스를 더 포함할 수 있다.
마스킹을 위한 블라인드 처리는 프라이버시 영역의 영상데이터를 모자이크 처리, 외곽선 처리, 외곽선 내부의 투명/또는 불투명 처리, 컬러 및 모양 변경, 블러 처리, 대체 영상으로 대체 또는 오버레이 등을 포함할 수 있으며, 이에 한정되지 않고, 영상수신장치(20)가 블라인드 처리된 영역을 식별할 수 없도록 하는 다양한 방법을 포함할 수 있다. 예를 들어, 블라인드 처리는 프라이버시 영역의 영상데이터를 영상수신장치(20)가 식별할 수 없는 저해상도로 변환하는 해상도 변환을 포함할 수 있다. 즉, 마스킹 영상데이터(MI)의 프라이버시 영역은 제2 해상도를 갖고, 프라이버시 영역 외는 제1 해상도를 가질 수 있다. 제2 해상도는 제1 해상도보다 낮은 해상도이다.
마스킹부(102)는 마스킹 영상데이터(MI)를 인코더(103)로 출력할 수 있다. 마스킹부(102)는 프라이버시 영역의 영상데이터(PI)를 암호화부(104)로 출력할 수 있다.
인코더(103)는 마스킹 영상데이터(MI)를 인코딩하여 압축함으로써 제1 데이터(EMI)를 생성할 수 있다. 인코더(103)는 Divx(예: Divx3.x, Divx4, Divx5), Xvid, MPEG(예: MPEG1, MPEG2, MPEG4, MPEG-4 AVC), H.264, VP9, HEVC(High Efficiency Video Coding) 등의 코덱을 이용하여 영상을 인코딩할 수 있으며, 이에 제한되지 않고 다양한 종류의 코덱이 인코딩에 사용될 수 있다.
다른 실시예에서, 인코더(103)는 프라이버시 영역의 영상데이터(PI)를 마스킹 영상데이터(MI)와 별도로 인코딩한 후 암호화부(104)로 출력할 수도 있다.
암호화부(104)는 프라이버시 영역의 영상데이터(PI) 또는 프라이버시 영역의 영상데이터(PI)를 인코딩한 영상데이터를 암호화하여 제2 데이터(EPI)를 생성할 수 있다. 일 실시예에서, 암호화부(104)는 원본 영상의 프라이버시 영역마다 상이한 키를 이용하여 암호화할 수 있다. 다른 실시예에서, 암호화부(107)는 원본 영상의 모든 프라이버시 영역들을 단일 키를 이용하여 암호화할 수 있다. 제2 데이터(EPI)는 원본 영상의 복수의 프라이버시 영역들 각각의 암호화된 영상데이터를 포함할 수 있다.
암호화부(104)는 프라이버시 영역의 원 영상데이터(픽셀값들)를 암호화하거나, 또는 프라이버시 영역의 원 영상데이터와 블라인드 처리에 따른 블라인드 영상데이터의 차이를 암호화할 수 있다.
마스킹 영상데이터를 인코딩한 제1 데이터(EMI), 프라이버시 영역의 영상데이터를 암호화한 제2 데이터(EPI), 프라이버시 영역의 메타데이터를(Pm)는 프레임 단위로 매칭되어 저장부(105)에 저장될 수 있다.
저장부(105)는 영상송신장치(10)의 내부 저장장치로서 탈착 가능할 수 있다. 예를 들어, 저장부(105)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 저장부(105)는 영상송신장치(10)와 유무선으로 연결된 외부 저장장치일 수 있다. 외부 저장장치는 인터넷 상에서 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다.
표시부(106)에는 원본 영상데이터(I) 또는 마스킹 영상데이터(MI)가 실시간으로 출력될 수 있다. 표시부(106)는 액정 디스플레이(LCD), 유기발광 디스플레이(OLED), 전기영동 디스플레이(EPD), 플렉서블 디스플레이, 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다.
도 4는 본 발명의 일 실시예에 따른 영상수신장치의 구성을 개략적으로 도시한 블록도이다.
도 4를 참조하면, 영상수신장치(20)는 디코더(201), 복호화부(202), 합성부(203), 저장부(204), 표시부(205) 및 제어부(206)를 포함할 수 있다.
영상송신장치(10)의 저장부(105)는 유선 또는 무선으로 영상수신장치(20)와 연결될 수 있다. 예를 들어, 영상송신장치(10)의 저장부(105)가 영상송신장치(10)로부터 탈착되어 영상수신장치(20)에 장착될 수 있다. 영상수신장치(20)는 영상송신장치(10)의 저장부(105)를 인식하고, 저장부(105)에 저장된 데이터에 액세스할 수 있다.
디코더(201)는 저장부(105)의 제1 데이터(EMI)를 디코딩함으로써 마스킹 영상데이터(MI)를 복원(생성)할 수 있다. 제1 데이터(EMI)는 프라이버시 영역이 블라인드 처리된 마스킹 영상데이터(MI)를 인코딩하여 생성된 영상데이터이다. 디코딩은 인코딩에 사용된 코덱과 동일한 코덱을 이용하여 수행될 수 있다.
복호화부(202)는 저장부(105)의 제2 데이터(EPI)를 선택적으로 복호화하여 적어도 하나의 프라이버시 영역의 영상데이터(PI)를 복원(생성)할 수 있다. 즉, 일부 프라이버시 영역의 암호화된 영상데이터는 복호화되지 않을 수 있다. 제2 데이터(EPI)는 원본 영상의 복수의 프라이버시 영역들 각각의 암호화된 영상데이터를 포함할 수 있다. 제2 데이터(EPI)는 복수의 프라이버시 영역들의 영상데이터를 인코딩 및 암호화한 결과의 영상데이터일 수도 있다.
복호화부(202)는 복수의 프라이버시 영역들 중 블라인드 해제할 적어도 하나의 프라이버시 영역을 선택하는 사용자 입력에 대응하는 제1 제어신호(S1)를 제어부(204)로부터 수신하고, 이에 응답하여, 제2 데이터(EPI)에서 선택된 적어도 하나의 프라이버시 영역의 암호화된 영상데이터를 복호화하여 적어도 하나의 프라이버시 영역의 영상데이터(PI)를 복원할 수 있다.
복호화부(202)는 암호화에 이용된 키를 이용하여 프라이버시 영역의 암호화된 영상데이터를 복호화할 수 있다. 영상수신장치(20)가 구비한 키의 유효 기간은 영상수신장치(20)의 권한 등급에 따라 달리 설정될 수 있다.
일 실시예에서, 암호화에 이용된 키가 프라이버시 영역마다 상이한 복수의 키들이고, 영상수신장치(20)가 인증된 장치인 경우, 복호화부(202)는 각 프라이버시 영역의 암호화에 이용된 복수의 키들을 구비할 수 있다. 복호화부(202)는 영상수신장치(20)의 권한 등급에 따라 복수의 키들 중 일부 키만을 구비할 수 있고, 구비된 키에 대응하는 프라이버시 영역의 암호화된 영상데이터만을 복호화할 수 있다.
다른 실시예에서, 암호화에 이용된 키가 복수의 프라이버시 영역들에 공통인 단일 키이고, 영상수신장치(20)가 인증된 장치인 경우, 복호화부(202)는 복수의 프라이버시 영역들의 암호화에 이용된 단일 키를 구비할 수 있다. 복호화부(202)는 단일 키를 이용하여 복수의 프라이버시 영역들의 암호화된 영상데이터를 복호화할 수 있다.
복호화된 프라이버시 영역의 영상데이터(PI)는 프라이버시 영역의 원 영상데이터이거나, 또는 프라이버시 영역의 원 영상데이터와 블라인드 처리에 따른 블라인드 영상데이터의 차이일 수 있다.
복호화부(202)에 의해 복호화된 프라이버시 영역의 영상데이터가 인코딩된 영상데이터이면, 디코더(201)로 출력할 수 있다. 이 경우, 디코더(201)는 복호화된 프라이버시 영역의 인코딩된 영상데이터를 디코딩하여 프라이버시 영역의 영상데이터(PI)를 생성(복원)할 수 있다.
영상처리부(203)는 프라이버시 영역의 메타데이터(Pm)를 기초로, 마스킹 영상데이터(MI)와 적어도 하나의 프라이버시 영역의 영상데이터(PI)를 합성한 출력 영상을 생성할 수 있다.
영상처리부(203)는 메타데이터(Pm)에 포함된 프라이버시 영역의 좌표, 크기, 프레임 정보를 이용하여, 복수의 프라이버시 영역들 각각의 영상데이터(PI)를 식별할 수 있다. 영상처리부(203)는 블라인드 처리된 프라이버시 영역의 영상데이터를, 적어도 하나의 프라이버시 영역의 원 영상데이터, 또는 차이 영상데이터에서 블라인드 처리에 따른 블라인드 영상데이터를 차감한 영상데이터로 대체하여 프라이버시 영역의 블라인드를 해제할 수 있다. 일 실시예에서, 블라인드 처리에 의해 프라이버시 영역을 프라이버시 영역 외의 영역의 제1 해상도보다 낮은 제2 해상도로 변환한 경우, 블라인드 해제에 의해 프라이버시 영역의 제2 해상도가 제1 해상도로 변환될 수 있다.
영상처리부(203)는 블라인드 해제할 적어도 하나의 프라이버시 영역을 선택하는 사용자 입력에 대응하는 제2 제어신호(S2)를 제어부(204)로부터 수신하고, 이에 응답하여, 선택된 프라이버시 영역의 블라인드를 해제하여 출력 영상(Iout)을 생성할 수 있다.
저장부(204)는 마스킹 영상데이터(MI), 프라이버시 영역의 영상데이터(PI), 및 출력 영상의 영상데이터(Iout) 중 적어도 하나를 저장할 수 있다. 저장부(204)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 저장부(204)는 영상수신장치(20)와 유무선으로 연결된 외부 저장장치일 수 있다. 외부 저장장치는 인터넷 상에서 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다.
표시부(205)는 출력 영상을 표시할 수 있다. 표시부(205)는 액정 디스플레이(LCD), 유기발광 디스플레이(OLED), 전기영동 디스플레이(EPD), 플렉서블 디스플레이, 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다. 표시부(205)는 사용자의 터치를 통하여 입력을 받을 수 있도록 터치스크린 형태로 구비되어 입력장치로서 기능할 수 있다.
제어부(206)는 영상수신장치(20)의 전반적인 동작을 제어하는 기능을 수행하며, 각 구성요소를 제어할 수 있다. 제어부(206)는 사용자 인터페이스(미도시)를 제공하고, 이를 통한 사용자의 입력신호에 대응하는 제어신호를 생성하고, 이를 각 구성요소에 출력할 수 있다. 사용자 인터페이스는 영상수신장치(20)의 동작 제어를 위한 사용자와의 인터페이스를 제공할 수 있다. 사용자는 입력장치(예를 들어, 키 패드(key pad), 돔 스위치(dome switch), 터치 패드, 마우스, 리모컨, 조그 휠, 조그 스위치 등)를 이용하여 사용자 인터페이스에 데이터를 입력할 수 있다. 사용자 인터페이스는 사용자의 입력신호를 제어부(206)로 전달할 수 있다.
제어부(206)는 프레임 단위로 복수의 프라이버시 영역들 중 블라인드 해제할 프라이버시 영역의 선택을 요청하는 사용자 인터페이스를 제공할 수 있다. 제어부(206)는 사용자 인터페이스를 통해 사용자가 선택한 적어도 하나의 프라이버시 영역의 암호화된 영상데이터의 복호화 및 복원을 제어할 수 있다.
도 5 및 도 6은 블라인드 해제할 프라이버시 영역을 선택하는 다양한 예를 나타낸 도면이다.
영상수신장치(20)는 사용자의 영상 요청에 응답하여 출력 모드 선택을 요청할 수 있다.
사용자의 영상 요청은 사용자에 의한 마스킹 영상데이터(MI)의 선택일 수 있다. 예를 들어, 사용자는 저장부(105) 내의 마스킹 영상데이터(MI)의 리스트에서 특정 마스킹 영상데이터(MI)를 마우스로 클릭하여 선택할 수 있다.
출력 모드는 마스킹 영상데이터(MI)를 출력하는 제1 모드 및 복수의 프라이버시 영역들의 적어도 일부를 블라인드 해제하여 출력하는 제2 모드를 포함할 수 있다. 제어부(206)는 영상 요청이 수신되면, 출력 모드의 선택을 요청하는 사용자 인터페이스를 제공하고, 사용자 인터페이스를 통해 사용자의 출력 모드 선택을 수신할 수 있다.
제어부(206)는 제2 모드의 출력 모드 선택이 수신되면, 마스킹 영상에서 블라인드를 해제할 프라이버시 영역의 선택을 요청하는 사용자 인터페이스를 표시부(205)로 제공할 수 있다.
일 실시예에서, 도 5에 도시된 바와 같이, 제어부(206)는 표시부(205)에 마스킹 영상(501)과 중첩하여 프라이버시 영역의 블라인드 해제 선택을 요청하는 사용자 인터페이스(503)를 제공할 수 있다. 제어부(206)는 복수의 프라이버시 영역들에 대해 정해진 순서대로 차례로 사용자 인터페이스(503)를 제공하고, 사용자 인터페이스를 통해 사용자의 해제 또는 해제 거부의 선택을 차례로 수신할 수 있다. 사용자는 순차적으로 제공되는 각 프라이버시 영역의 블라인드 해제 선택을 요청하는 사용자 인터페이스를 통해 선택을 완료함으로써 블라인드 해제할 프라이버시 영역을 순차적으로 선택할 수 있다. 블라인드를 해제할 프라이버시 영역의 순서는 임의로 또는 사용자의 설정에 따라 결정될 수 있다.
이때, 제어부(206)는 사용자의 블라인드 해제 선택이 수신될 때마다 대응하는 프라이버시 영역의 암호화된 영상데이터의 복호화 및 블라인드 해제 처리를 수행하여 표시부(205)에 표시되도록 복호화부(202) 및 영상처리부(203)를 제어할 수 있다.
다른 실시예에서, 도 6에 도시된 바와 같이, 제어부(206)는 표시부(205)에 마스킹 영상(601)과 중첩하여 프라이버시 영역의 블라인드 해제 선택을 동시에 요청하는 사용자 인터페이스(603)를 제공할 수 있다. 이때 제어부(206)는 각 프라이버시 영역에 인접하여 선택 아이콘(602)을 제공할 수 있다. 제어부(206)는 선택 아이콘(602)의 선택 및 사용자 인터페이스를 통한 사용자의 선택 완료 신호를 수신할 수 있다. 사용자는 프라이버시 영역마다 제공된 선택 아이콘(602)을 동시에 선택 완료함으로써 블라인드 해제할 프라이버시 영역을 동시에 선택할 수 있다.
도 5 및 도 6의 실시예에서, 영상수신장치(20)의 권한 등급에 의해, 사용자가 선택한 프라이버시 영역의 암호화된 영상데이터를 복호화할 키를 구비하지 않는 경우 또는 키의 유효 기간이 도과한 경우, 사용자의 선택에도 불구하고, 선택된 프라이버시 영역의 암호화된 영상데이터의 복호화 및 블라인드 해제는 수행되지 않을 수 있다.
또 다른 실시예에서, 제어부(206)는 표시부(205)에 마스킹 영상(601)과 중첩하여 이미지 또는 텍스트로 프라이버시 영역의 조건을 입력할 수 있는 사용자 인터페이스를 제공할 수 있다. 제어부(206)는 프라이버시 영역의 메타데이터를 기초로, 사용자 입력에 따른 조건을 만족하는 프라이버시 영역을 검출할 수 있다. 제어부(206)는 검출된 프라이버시 영역에 대해서만 도 5 또는 도 6에 도시된 실시예와 같이 블라인드 해제 선택을 요청하는 사용자 인터페이스를 순차적으로 또는 동시에 제공할 수 있다.
본 발명의 실시예들은 프라이버시 영역을 선택할 수 있는 사용자 인터페이스를 제공함으로써 사용자가 직관적이고 용이하게 프라이버시 영역의 블라인드를 해제할 수 있다.
또한, 본 발명의 실시예들은 영상수신장치에 프라이버시 영역의 마스킹(블라인드)을 해제할 수 있는 권한 등급을 설정하고, 권한 등급에 따라 구비되는 키의 범위 및 키의 유효 기간을 설정함으로써 개인 프라이버시 보호를 강화할 수 있다.
도 7은 도 5 또는 도 6의 실시예에 따른 마스킹 영상의 복원 결과를 나타내는 도면이다. 도 7(a)는 마스킹 영상(701)이고, 도 7(b)는 제1 프라이버시 영역(P1)과 제2 프라이버시 영역(P2)이 선택적으로 블라인드 해제된 출력 영상(703)이다.
도 8은 본 발명의 일 실시예에 따른 영상송신장치의 영상 마스킹 방법을 설명하는 흐름도이다. 이하에서는, 영상송신장치(10)와 관련하여 전술된 내용과 중복하는 내용의 상세한 설명은 생략한다.
영상송신장치(10)는 촬영부에 의해 프레임 단위로 영상을 획득하고(S81), 영상에서 적어도 하나의 프라이버시 영역을 검출하여, 프라이버시 영역의 메타데이터를 생성할 수 있다(S83). 프라이버시 영역의 메타데이터는 프라이버시 영역의 좌표, 크기, 프레임 정보를 포함할 수 있다. 프라이버시 영역의 메타데이터는 프라이버시 영역의 인덱스를 더 포함할 수 있다.
영상송신장치(10)는 영상에서 추출된 프라이버시 영역의 영상데이터(PI)를 블라인드 처리하여, 마스킹 영상데이터(MI)를 생성할 수 있다(S85). 일 실시예에서, 블라인드 처리는 프라이버시 영역의 해상도를 프라이버시 영역 외의 영역의 제1 해상도보다 낮은 제2 해상도로 변환하는 영상처리를 포함할 수 있다.
영상송신장치(10)는 마스킹 영상데이터(MI)를 인코딩한 영상데이터인 제1 데이터(EMI)를 생성할 수 있다(S87).
영상송신장치(10)는 복수의 프라이버시 영역들의 영상데이터(PI)를 암호화한 영상데이터인 제2 데이터(EPI)를 생성할 수 있다(S89). 다른 실시예에서, 영상송신장치(10)는 복수의 프라이버시 영역들의 영상데이터(PI)를 인코딩한 후 암호화하여 제2 데이터(EPI)를 생성할 수도 있다.
영상송신장치(10)는 프라이버시 영역의 메타데이터, 제1 데이터, 및 제2 데이터를 프레임 단위로 저장 및/또는 영상수신장치(20)로 전송할 수 있다.
도 9는 본 발명의 일 실시예에 따른 영상수신장치의 영상 복원 방법을 설명하는 흐름도이다. 이하에서는, 영상수신장치(20)와 관련하여 전술된 내용과 중복하는 내용의 상세한 설명은 생략한다.
영상수신장치(20)는 영상송신장치(10)의 저장장치와 유선 또는 무선으로 연결되어 프라이버시 영역의 메타데이터(Pm), 제1 데이터(EMI), 및 제2 데이터(EPI)를 획득(수신)할 수 있다.
영상수신장치(20)는 제1 데이터(EMI)를 디코딩하여 마스킹 영상데이터(MI)를 생성할 수 있다(S91). 제1 데이터(EMI)는 복수의 프라이버시 영역들이 블라인드 처리된 마스킹 영상데이터(MI)를 인코딩한 결과의 영상데이터이다.
영상수신장치(20)는 적어도 하나의 프라이버시 영역의 선택신호에 응답하여, 제2 데이터(EPI)를 선택적으로 복호화할 수 있다(S93). 제2 데이터(EPI)는 복수의 프라이버시 영역들의 영상데이터를 암호화한 결과의 영상데이터이다. 제2 데이터(EPI)는 복수의 프라이버시 영역들의 영상데이터를 인코딩 및 암호화한 결과의 영상데이터일 수도 있다.
영상수신장치(20)는 적어도 하나의 프라이버시 영역을 선택하는 사용자 입력에 따라 선택된 적어도 하나의 프라이버시 영역의 암호화된 영상데이터만을 복호화할 수 있다. 다른 실시예에서, 영상수신장치(20)는 적어도 하나의 프라이버시 영역을 선택하는 사용자 입력에 따라 선택된 적어도 하나의 프라이버시 영역의 인코딩 및 암호화된 영상데이터만을 복호화 및 디코딩할 수 있다. 복호화된 프라이버시 영역의 영상데이터(PI), 또는 복호화 및 디코딩된 프라이버시 영역의 영상데이터(PI)는 프라이버시 영역의 원 영상데이터이거나, 또는 프라이버시 영역의 원 영상데이터와 블라인드 처리에 따른 영상데이터의 차이인 차이 영상데이터일 수 있다.
영상수신장치(20)는 블라인드 해제할 프라이버시 영역의 선택을 순차적으로 또는 동시에 사용자에게 요청하고, 사용자 입력에 따라 순차적으로 또는 동시에 선택된 적어도 하나의 프라이버시 영역의 암호화된 영상데이터를 선택적으로 복호화할 수 있다.
영상수신장치(20)는 프라이버시 영역의 메타데이터(MD)를 기초로, 디코딩 결과 생성된 마스킹 영상데이터(MI)와 복호화 결과 또는 복호화 및 디코딩한 결과 생성된 적어도 하나의 프라이버시 영역의 영상데이터(PI)를 합성한 출력 영상을 생성할 수 있다(S95). 영상수신장치(20)는 블라인드 처리된 프라이버시 영역의 영상데이터를, 적어도 하나의 프라이버시 영역의 원 영상데이터, 또는 차이 영상데이터로부터 블라인드 처리에 따른 영상데이터를 차감한 영상데이터로 대체하여 프라이버시 영역의 블라인드를 선택적으로 해제할 수 있다. 일 실시예에서, 블라인드 해제는 해상도 변환의 블라인드 처리에 대응하여, 프라이버시 영역의 제2 해상도를 프라이버시 영역 외의 영역의 제1 해상도로 변환하는 영상처리를 포함할 수 있다.
본 발명의 실시예들은 촬영된 영상의 무단 유포에 따른 개인 프라이버시를 보호하기 위해, 촬영된 영상에서 프라이버시 영역을 마스킹하고, 마스킹 영상의 재생 시에 프라이버시 영역의 마스킹을 선택적으로 해제할 수 있다.
본 발명의 실시예들은 프라이버시 영역만을 암호화하여, 의도하지 않은 상황에 의해 촬영된 영상 전체가 손상되는 것을 방지할 수 있다.
다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.
Claims (13)
- 원본 영상데이터에서 프라이버시 영역의 영상데이터가 블라인드 처리된 마스킹 영상데이터를 인코딩한 제1 데이터를 디코딩하여 상기 마스킹 영상데이터를 복원하는 단계;
복수의 프라이버시 영역들 중 적어도 하나의 프라이버시 영역의 선택신호에 응답하여, 상기 복수의 프라이버시 영역들의 암호화된 영상데이터인 제2 데이터를 선택적으로 복호화하는 단계; 및
상기 복원된 마스킹 영상데이터와 상기 복호화된 적어도 하나의 프라이버시 영역의 영상데이터를 합성하여, 상기 적어도 하나의 프라이버시 영역의 블라인드가 선택적으로 해제된 출력 영상을 생성하는 단계;를 포함하고,
상기 복호화 단계는,
상기 복수의 프라이버시 영역들 중 블라인드 해제할 프라이버시 영역의 선택을 요청하는 사용자 인터페이스를 표시부에 제공하고, 상기 사용자 인터페이스를 통해 적어도 하나의 프라이버시 영역의 선택을 수신하는 단계; 및
상기 사용자 인터페이스를 통해 선택된 적어도 하나의 프라이버시 영역을 복호화하는 단계;를 포함하고,
상기 사용자 인터페이스 제공 및 수신 단계는,
상기 사용자 인터페이스를 상기 복수의 프라이버시 영역들 각각에 정해진 순서대로 차례로 제공하고, 블라인드 해제 선택을 차례로 수신하는 단계, 또는
상기 사용자 인터페이스를 상기 복수의 프라이버시 영역들 각각에 인접하게 동시에 제공하고, 블라인드 해제 선택을 동시에 수신하는 단계;를 포함하는 영상수신장치의 영상 복원 방법. - 제1항에 있어서, 상기 출력 영상 생성 단계는,
상기 복수의 프라이버시 영역들의 메타데이터를 기초로, 상기 복원된 마스킹 영상데이터와 상기 복호화된 적어도 하나의 프라이버시 영역의 영상데이터를 합성하는 단계;를 포함하는 영상수신장치의 영상 복원 방법. - 삭제
- 삭제
- 제1항에 있어서,
상기 제2 데이터는 상기 복수의 프라이버시 영역들의 영상데이터를 인코딩한 후 암호화한 데이터이고,
상기 영상 복원 방법은,
상기 복호화된 적어도 하나의 프라이버시 영역의 인코딩된 영상데이터를 디코딩하는 단계;를 더 포함하고,
상기 출력 영상 생성 단계는,
상기 복원된 마스킹 영상데이터와 상기 복호화 및 디코딩에 의해 복원된 적어도 하나의 프라이버시 영역의 영상데이터를 합성하여, 상기 적어도 하나의 프라이버시 영역의 블라인드가 선택적으로 해제된 출력 영상을 생성하는 단계;를 포함하는 영상수신장치의 영상 복원 방법. - 원본 영상데이터에서 프라이버시 영역의 영상데이터가 블라인드 처리된 마스킹 영상데이터를 인코딩한 제1 데이터를 디코딩하여 상기 마스킹 영상데이터를 복원하는 디코더;
복수의 프라이버시 영역들 중 적어도 하나의 프라이버시 영역의 선택신호에 응답하여, 상기 복수의 프라이버시 영역들의 암호화된 영상데이터인 제2 데이터를 선택적으로 복호화하는 복호화부; 및
상기 복원된 마스킹 영상데이터와 상기 복호화된 적어도 하나의 프라이버시 영역의 영상데이터를 합성하여, 상기 적어도 하나의 프라이버시 영역의 블라인드가 선택적으로 해제된 출력 영상을 생성하는 영상처리부;를 포함하고,
상기 복수의 프라이버시 영역들 중 블라인드 해제할 프라이버시 영역의 선택을 요청하는 사용자 인터페이스를 표시부에 제공하고, 상기 사용자 인터페이스를 통해 적어도 하나의 프라이버시 영역의 선택을 수신하는 제어부;를 더 포함하고,
상기 복호화부는 상기 사용자 인터페이스를 통해 선택된 적어도 하나의 프라이버시 영역을 복호화하고,
상기 제어부는,
상기 사용자 인터페이스를 상기 복수의 프라이버시 영역들 각각에 정해진 순서대로 차례로 제공하고, 블라인드 해제 선택을 차례로 수신하거나, 또는
상기 사용자 인터페이스를 상기 복수의 프라이버시 영역들 각각에 인접하게 동시에 제공하고, 블라인드 해제 선택을 동시에 수신하는, 영상수신장치. - 제6항에 있어서, 상기 영상처리부는,
상기 복수의 프라이버시 영역들의 메타데이터를 기초로, 상기 복원된 마스킹 영상데이터와 상기 복호화된 적어도 하나의 프라이버시 영역의 영상데이터를 합성하는, 영상수신장치. - 삭제
- 삭제
- 제6항에 있어서,
상기 제2 데이터는 상기 복수의 프라이버시 영역들의 영상데이터를 인코딩한 후 암호화한 데이터이고,
상기 디코더는,
상기 복호화된 적어도 하나의 프라이버시 영역의 인코딩된 영상데이터를 디코딩하고,
상기 영상처리부는,
상기 복원된 마스킹 영상데이터와 상기 복호화 및 디코딩에 의해 복원된 적어도 하나의 프라이버시 영역의 영상데이터를 합성하여, 상기 적어도 하나의 프라이버시 영역의 블라인드가 선택적으로 해제된 출력 영상을 생성하는, 영상수신장치. - 영상송신장치가, 원본 영상에서 프라이버시 영역을 검출하고 상기 프라이버시 영역의 메타데이터를 생성하는 단계;
상기 프라이버시 영역의 영상데이터를 블라인드 처리한 마스킹 영상데이터를 생성하는 단계;
상기 마스킹 영상데이터를 인코딩한 제1 데이터를 생성하는 단계;
상기 프라이버시 영역의 영상데이터를 암호화한 제2 데이터를 생성하는 단계;
상기 메타데이터, 상기 제1 데이터 및 상기 제2 데이터를 저장장치에 저장하는 단계;
영상수신장치가, 상기 제1 데이터를 디코딩하여 상기 마스킹 영상데이터를 복원하는 단계;
복수의 프라이버시 영역들 중 적어도 하나의 프라이버시 영역의 선택신호에 응답하여, 상기 제2 데이터를 선택적으로 복호화하는 단계; 및
상기 복원된 마스킹 영상데이터와 상기 복호화된 적어도 하나의 프라이버시 영역의 영상데이터를 합성하여, 상기 적어도 하나의 프라이버시 영역의 블라인드가 선택적으로 해제된 출력 영상을 생성하는 단계;를 포함하고,
상기 복호화 단계는,
상기 복수의 프라이버시 영역들 중 블라인드 해제할 프라이버시 영역의 선택을 요청하는 사용자 인터페이스를 표시부에 제공하고, 상기 사용자 인터페이스를 통해 적어도 하나의 프라이버시 영역의 선택을 수신하는 단계; 및
상기 사용자 인터페이스를 통해 선택된 적어도 하나의 프라이버시 영역을 복호화하는 단계;를 포함하고,
상기 사용자 인터페이스 제공 및 수신 단계는,
상기 사용자 인터페이스를 상기 복수의 프라이버시 영역들 각각에 정해진 순서대로 차례로 제공하고, 블라인드 해제 선택을 차례로 수신하는 단계, 또는
상기 사용자 인터페이스를 상기 복수의 프라이버시 영역들 각각에 인접하게 동시에 제공하고, 블라인드 해제 선택을 동시에 수신하는 단계;를 포함하는, 영상 시스템의 영상 처리 방법. - 제11항에 있어서,
상기 블라인드 처리는 상기 프라이버시 영역의 해상도를 상기 프라이버시 영역 외의 영역의 제1 해상도보다 낮은 제2 해상도로 변환하는 영상처리를 포함하는, 영상 시스템의 영상 처리 방법. - 영상송신장치가, 원본 영상에서 프라이버시 영역을 검출하고 상기 프라이버시 영역의 메타데이터를 생성하는 단계;
상기 프라이버시 영역의 영상데이터를 블라인드 처리한 마스킹 영상데이터를 생성하는 단계;
상기 마스킹 영상데이터를 인코딩한 제1 데이터를 생성하는 단계;
상기 프라이버시 영역의 영상데이터를 인코딩 및 암호화한 제2 데이터를 생성하는 단계;
상기 메타데이터, 상기 제1 데이터 및 상기 제2 데이터를 저장장치에 저장하는 단계;
영상수신장치가, 상기 제1 데이터를 디코딩하여 상기 마스킹 영상데이터를 복원하는 단계;
복수의 프라이버시 영역들 중 적어도 하나의 프라이버시 영역의 선택신호에 응답하여, 상기 제2 데이터를 선택적으로 복호화 및 디코딩하는 단계; 및
상기 복원된 마스킹 영상데이터와 상기 복호화 및 디코딩에 의해 복원된 적어도 하나의 프라이버시 영역의 영상데이터를 합성하여, 상기 적어도 하나의 프라이버시 영역의 블라인드가 선택적으로 해제된 출력 영상을 생성하는 단계;를 포함하고,
상기 복호화 단계는,
상기 복수의 프라이버시 영역들 중 블라인드 해제할 프라이버시 영역의 선택을 요청하는 사용자 인터페이스를 표시부에 제공하고, 상기 사용자 인터페이스를 통해 적어도 하나의 프라이버시 영역의 선택을 수신하는 단계; 및
상기 사용자 인터페이스를 통해 선택된 적어도 하나의 프라이버시 영역을 복호화하는 단계;를 포함하고,
상기 사용자 인터페이스 제공 및 수신 단계는,
상기 사용자 인터페이스를 상기 복수의 프라이버시 영역들 각각에 정해진 순서대로 차례로 제공하고, 블라인드 해제 선택을 차례로 수신하는 단계, 또는
상기 사용자 인터페이스를 상기 복수의 프라이버시 영역들 각각에 인접하게 동시에 제공하고, 블라인드 해제 선택을 동시에 수신하는 단계;를 포함하는 영상 시스템의 영상 처리 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180044115A KR102090696B1 (ko) | 2018-04-16 | 2018-04-16 | 영상수신장치, 영상수신장치의 영상 복원 방법, 및 영상 시스템의 영상 마스킹 및 복원 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180044115A KR102090696B1 (ko) | 2018-04-16 | 2018-04-16 | 영상수신장치, 영상수신장치의 영상 복원 방법, 및 영상 시스템의 영상 마스킹 및 복원 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190120663A KR20190120663A (ko) | 2019-10-24 |
| KR102090696B1 true KR102090696B1 (ko) | 2020-04-23 |
Family
ID=68423272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180044115A KR102090696B1 (ko) | 2018-04-16 | 2018-04-16 | 영상수신장치, 영상수신장치의 영상 복원 방법, 및 영상 시스템의 영상 마스킹 및 복원 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102090696B1 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102489134B1 (ko) * | 2020-09-24 | 2023-01-16 | (주)아이준 | 스마트 도어벨 출입관리시스템 및 이를 이용한 출입관리방법 |
| GB2600477A (en) * | 2020-11-02 | 2022-05-04 | Pimloc Ltd | Selective video modification |
| KR102551230B1 (ko) * | 2021-05-27 | 2023-07-05 | 주식회사 오픈시스넷 | 딥러닝 객체 정보를 이용하여 감시카메라 영상을 실시간 오토 마스킹 및 해제하는 마스킹 처리 시스템 및 방법 |
| KR102509624B1 (ko) * | 2021-06-15 | 2023-03-14 | (주)카네비모빌리티 | 영상 정보 보호 시스템 및 방법 |
| CN113923476B (zh) * | 2021-09-30 | 2024-03-26 | 支付宝(杭州)信息技术有限公司 | 一种基于隐私保护的视频压缩方法及装置 |
| KR102469380B1 (ko) * | 2022-02-23 | 2022-11-23 | (주)와토시스 | 영상 데이터의 개인정보 비식별화 및 복원 방법 및 장치 |
| KR102628904B1 (ko) * | 2022-06-03 | 2024-01-24 | 주식회사 넷온 | 개인정보를 비식별화할 수 있는 엣지 컴퓨팅 장치 |
| CN116798099B (zh) * | 2023-07-07 | 2024-01-12 | 广州广旭科技有限公司 | 一种劳务人员身份智能识别、管理方法以及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101381343B1 (ko) * | 2013-09-14 | 2014-04-04 | 주식회사 코어셀 | 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법 |
| KR101460552B1 (ko) * | 2013-09-04 | 2014-11-11 | 엠엠피씨 주식회사 | 프라이버시 영역의 마스킹 및 복원 방법 |
-
2018
- 2018-04-16 KR KR1020180044115A patent/KR102090696B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101460552B1 (ko) * | 2013-09-04 | 2014-11-11 | 엠엠피씨 주식회사 | 프라이버시 영역의 마스킹 및 복원 방법 |
| KR101381343B1 (ko) * | 2013-09-14 | 2014-04-04 | 주식회사 코어셀 | 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190120663A (ko) | 2019-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102090696B1 (ko) | 영상수신장치, 영상수신장치의 영상 복원 방법, 및 영상 시스템의 영상 마스킹 및 복원 방법 | |
| US11163897B2 (en) | Method and apparatus for image display using privacy masking | |
| JP5905976B2 (ja) | オーディオ・ビジュアルシステムの構成 | |
| KR101460552B1 (ko) | 프라이버시 영역의 마스킹 및 복원 방법 | |
| KR102361088B1 (ko) | 영상 공유 방법 | |
| CN103605928A (zh) | 一种图像隐私保护方法和系统 | |
| KR20130052609A (ko) | 디바이스 통신 | |
| KR102575244B1 (ko) | 압축된 비디오로부터 프라이버시 영역을 암호화하는 장치 및 방법 | |
| US11706382B2 (en) | Methods and apparatus for encrypting camera media | |
| JP2018041293A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| KR20140124289A (ko) | 감시 카메라의 제어 방법 | |
| US20210319144A1 (en) | Information processing system, information processing method, terminal apparatus, and information processing apparatus | |
| KR20210084806A (ko) | 홍채 인식 기반 왜곡 영상 복원 처리 방법 | |
| Wang et al. | {CamShield}: Securing Smart Cameras through Physical Replication and Isolation | |
| US10405011B2 (en) | Method, system, apparatus and readable medium for generating two video streams from a received video stream | |
| KR102002523B1 (ko) | 실시간 cctv 영상 암호화 방법이 적용된 영상 감시 시스템 | |
| EP3217644B1 (en) | Information processing device | |
| KR102371391B1 (ko) | Ai 활용 차량 번호판 인식 시스템 및 이를 위한 동작 방법 | |
| JP2015177285A (ja) | 通信システムおよび通信方法 | |
| JP5953899B2 (ja) | 光学的情報読取装置および光学的情報読取システムならびにコンピュータプログラム | |
| KR20210084805A (ko) | 지문 인식 기반 왜곡 영상 복원 처리 방법 | |
| KR20210084804A (ko) | 신분증 인식 기반 왜곡 영상 복원 처리 방법 | |
| JP6332952B2 (ja) | 復号化方法、プログラム及びシステム | |
| KR102469380B1 (ko) | 영상 데이터의 개인정보 비식별화 및 복원 방법 및 장치 | |
| KR102569487B1 (ko) | 외부 잡음원으로부터 불규칙적인 암호키를 생성하는 cctv 영상 데이터 암호화 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |