KR20160016553A - 촬영 제한 요소를 포함하는 영상을 수정하는 방법, 이를 수행하기 위한 디바이스 및 시스템 - Google Patents

Abstract

본 발명의 실시예에 따른 사용자 디바이스는, 데이터가 저장되는 저장부, 및 영상에 포함된 인물을 인식하고, 상기 저장부에 저장된 데이터를 이용하여 상기 인식된 인물이 상기 사용자와 서로 관련이 없으면, 상기 인식된 인물의 식별이 불가능하도록 상기 인식된 인물에 대응하는 영상의 일부를 수정하는 제어부를 포함한다.

Description

촬영 제한 요소를 포함하는 영상을 수정하는 방법, 이를 수행하기 위한 디바이스 및 시스템{Method of modifying image including photographing restricted element, device and system for performing the same}

본 발명은 사용자 디바이스에서 촬영된 사진 또는 동영상에 촬영이 제한되는 요소가 포함된 경우 영상을 수정하는 방법, 이를 수행하기 위한 디바이스 및 시스템에 관한 것이다.

카메라 또는 캠코더와 같은 촬영 디바이스를 통해 사진 또는 동영상을 촬영하는 경우 촬영자가 모르는 사람이 촬영 영상에 포함될 수도 있다. 그런데, 본인의 의도와 상관 없이 다른 사람의 촬영에 노출되는 것을 피촬영자의 입장에서는 원하지 않을 수 있으며, 경우에 따라서는 프라이버시 보호 문제가 대두될 수 있다. 하지만, 촬영자는 촬영을 할 때마다 자신이 모르는 사람이 영상에 포함되지 않도록 하기란 어려운 일이다.

만약, 촬영된 영상에 포함된 인물들 중에서 촬영이 제한되는 인물을 구분하고, 해당 인물에 대해서 식별이 불가능하도록 영상 처리를 수행한다면 촬영자는 기존과 같은 방법으로 간편하게 촬영을 하면서도 피촬영자의 프라이버시를 보호하는 효과를 기대할 수 있다.

특히 최근에는 스마트폰 또는 태블릿과 같이 개인이 항시 휴대하는 디바이스들이 일반적으로 촬영 기능을 지원함에 따라 모르는 타인의 촬영에 노출될 가능성이 증가하였으며, 따라서 이에 대한 대비책이 필요하다.

한편, 개인에게 촬영이 제한될 필요가 있는 것은 비단 모르는 타인뿐만 아니라, 특정 사물 또는 특정 위치가 될 수도 있다. 따라서, 개인의 디바이스에서 촬영한 영상에 포함된 촬영이 제한되는 사물 또는 위치가 포함되어 있을 경우 이를 영상에서 식별할 수 없도록 영상 처리를 수행할 필요도 있다.

개인의 디바이스에서 촬영한 영상에 촬영이 제한되는 요소가 포함되어 있을 경우 영상을 수정하는 방법을 제공하고자 한다.

상기 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 사용자 디바이스는, 데이터가 저장되는 저장부, 및 영상에 포함된 인물을 인식하고, 상기 저장부에 저장된 데이터를 이용하여 상기 인식된 인물이 상기 사용자와 서로 관련이 없으면, 상기 인식된 인물의 식별이 불가능하도록 상기 인식된 인물에 대응하는 영상의 일부를 수정하는 제어부를 포함한다.

이때, 상기 사용자 디바이스는 영상을 촬영하는 촬영부를 더 포함할 수 있다.

이때, 상기 제어부는 상기 영상이 촬영된 위치가 촬영이 제한되는 위치인지를 판단하고, 촬영이 제한되는 위치인 경우 상기 인식된 인물에 대응하는 영상의 일부를 수정하는 것을 특징으로 할 수 있다.

이때, 상기 저장부에 저장된 데이터가 주소록인 경우, 상기 제어부는 상기 인식된 인물이 상기 주소록에 존재하지 않는다면, 상기 사용자와 상기 인식된 인물이 서로 관련이 없는 것으로 판단하는 것을 특징으로 할 수 있다.

이때, 상기 저장부에 저장된 데이터가 적어도 하나의 사진인 경우, 상기 제어부는 상기 인식된 인물이 상기 적어도 하나의 사진에 존재하지 않는다면, 상기 사용자와 상기 인식된 인물이 서로 관련이 없는 것으로 판단하는 것을 특징으로 할 수 있다.

이때, 상기 제어부는 상기 저장부에 저장된 데이터를 이용하여 상기 사용자의 SNS(Social Networking Service) 사용 기록을 분석함으로써 상기 사용자와 상기 인식된 인물이 서로 관련이 있는지 여부를 판단하는 것을 특징으로 할 수 있다.

이때, 상기 제어부는 외부 서버의 데이터베이스에 접근하여 상기 영상이 촬영된 위치가 촬영이 제한되는 위치인지를 판단하여, 촬영이 제한되는 위치인 것으로 판단되면 상기 영상의 일부를 수정하는 것을 특징으로 할 수 있다.

이때, 상기 제어부는 상기 영상에서 촬영 제한 사물을 인식하면, 상기 영상이 촬영된 위치를 촬영이 제한되는 위치로 판단하는 것을 특징으로 할 수 있다.

이때, 상기 제어부는 상기 영상의 일부에 수정이 필요하다고 판단되면, 상기 영상의 일부에 모자이크 처리, 블러(blur) 처리, 배경화면 합성 처리 또는 대체 이미지 합성 처리 중 적어도 하나를 수행하는 것을 특징으로 할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 영상을 수정하는 시스템은, 영상을 서버로 전송하며 영상 처리를 요청하는 사용자 디바이스, 및 상기 사용자 디바이스로부터 수신된 영상에 포함된 인물을 인식하고, 상기 인식된 인물이 상기 사용자와 서로 관련이 없으면, 상기 인식된 인물의 식별이 불가능하도록 상기 인식된 인물에 대응하는 영상의 일부를 수정하고, 상기 사용자 디바이스로 수정된 영상을 전송하는 서버를 포함한다.

이때, 상기 서버는 미리 저장된 데이터를 이용하여 상기 영상이 촬영된 위치가 촬영이 제한되는 위치인지를 판단하고, 촬영이 제한되는 위치인 경우 상기 인식된 인물에 대응하는 영상의 일부를 수정하는 것을 특징으로 할 수 있다.

이때, 상기 서버는 상기 사용자 디바이스로부터 상기 영상이 촬영된 시간 및 위치를 수신하고, 미리 저장된 데이터를 이용하여 상기 수신한 시간 및 위치에서 상기 인식된 인물의 촬영이 제한되는지 여부를 판단하는 것을 특징으로 할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 사용자 디바이스는, 영상을 촬영하는 촬영부, 촬영 수행시 피촬영자의 디바이스로 촬영 통지를 전송하고, 상기 피촬영자의 디바이스로부터 촬영 허용 여부를 수신하는 통신부, 및 상기 촬영 허용 여부에 따라 상기 촬영된 영상을 수정하는 제어부를 포함한다.

상기 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 영상을 수정하는 방법은, 영상에 포함된 인물을 인식하는 단계, 상기 인식된 인물이 상기 사용자와 서로 관련이 있는지 여부를 판단하는 단계, 및 상기 인식된 인물이 상기 사용자와 서로 관련이 없으면, 상기 인식된 인물의 식별이 불가능하도록 상기 인식된 인물에 대응하는 상기 영상의 일부를 수정하는 단계를 포함한다.

이때, 상기 인식된 인물이 상기 사용자와 서로 관련이 있는지 여부를 판단하는 단계는, 상기 영상이 촬영되는 위치가 촬영이 제한되는 위치인지를 판단하는 단계를 더 포함하고, 상기 영상의 일부를 수정하는 단계는, 상기 영상이 촬영되는 위치가 촬영이 제한되는 위치인 경우, 상기 영상의 일부를 수정하는 단계인 것을 특징으로 할 수 있다.

이때, 상기 인식된 인물이 상기 사용자와 서로 관련이 있는지 여부를 판단하는 단계는, 상기 사용자 디바이스에 저장된 주소록에 상기 인식된 인물이 존재하지 않는 경우, 상기 사용자와 상기 인식된 인물은 서로 관련이 없는 것으로 판단하는 단계인 것을 특징으로 할 수 있다.

이때, 상기 인식된 인물이 상기 사용자와 서로 관련이 있는지 여부를 판단하는 단계는, 상기 사용자 디바이스에 저장된 적어도 하나의 사진에 상기 인식된 인물이 존재하지 않는다면, 상기 사용자와 상기 인식된 인물이 서로 관련이 없는 것으로 판단하는 단계인 것을 특징으로 할 수 있다.

이때, 상기 인식된 인물이 상기 사용자와 서로 관련이 있는지 여부를 판단하는 단계는, 상기 사용자 디바이스에 저장된 데이터를 이용하여 상기 사용자의 SNS(Social Networking Service) 사용 기록을 분석함으로써 상기 사용자와 상기 인식된 인물이 서로 관련이 있는지 여부를 판단하는 단계인 것을 특징으로 할 수 있다.

이때, 상기 영상의 일부를 수정하는 단계는, 상기 영상의 일부에 모자이크 처리, 블러(blur) 처리, 배경화면 합성 처리 또는 대체 이미지 합성 처리 중 적어도 하나를 수행하는 단계를 포함할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 사용자 디바이스는, 영상을 촬영하는 촬영부; 및 상기 촬영된 영상에 포함된 인물, 사물 또는 상기 영상이 촬영된 위치 중 적어도 하나를 인식하고, 상기 디바이스의 사용자와 상기 인식된 인물간의 관계(relationship), 상기 인식된 사물 또는 상기 인식된 위치 중 적어도 하나에 기초하여 상기 영상의 수정을 수행하는 제어부를 포함할 수 있다.

이때, 데이터가 저장되는 저장부를 더 포함하며, 상기 제어부는 상기 저장부에 저장된 데이터를 이용하여 상기 사용자와 상기 인식된 인물이 서로 관련이 있는지 여부를 판단하고, 관련이 없다고 판단되면 상기 영상을 수정할 수 있다.

또한 이때, 상기 저장부에는 주소록이 저장되며, 상기 제어부는 상기 인식된 인물이 상기 주소록에 존재하지 않는다면, 상기 사용자와 상기 인식된 인물이 서로 관련이 없는 것으로 판단할 수 있다.

또는, 상기 저장부에는 적어도 하나의 사진이 저장되며, 상기 제어부는 상기 인식된 인물이 상기 적어도 하나의 사진에 존재하지 않는다면, 상기 사용자와 상기 인식된 인물이 서로 관련이 없는 것으로 판단할 수 있다.

또는, 상기 제어부는 상기 저장부에 저장된 데이터를 이용하여 상기 사용자의 SNS(Social Networking Service) 사용 기록을 분석함으로써 상기 사용자와 상기 인식된 인물이 서로 관련이 있는지 여부를 판단할 수 있다.

한편, 상기 제어부는 외부 서버의 데이터베이스에 접근하여 상기 인식된 사물 또는 위치의 촬영이 제한되는지 여부를 판단하고, 촬영이 제한된다고 판단되면 상기 영상을 수정할 수 있다.

또는, 상기 제어부는 상기 영상에서 촬영 금지 표지를 인식하면, 상기 영상이 촬영된 위치를 촬영이 제한되는 위치로 판단할 수 있다.

또는, 상기 제어부는 상기 영상에 수정이 필요하다고 판단되면, 상기 영상에 포함된 인물, 사물 또는 영상 전체에 모자이크 처리, 블러(blur) 처리, 배경화면 합성 처리 또는 대체 이미지 합성 처리 중 적어도 하나를 수행할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 촬영 영상을 수정하는 시스템은, 영상을 촬영하고, 촬영된 영상을 서버로 전송하며 영상 처리를 요청하는 사용자 디바이스; 및 상기 사용자 디바이스로부터 수신한 영상에 포함된 인물, 사물 또는 상기 영상이 촬영된 위치 중 적어도 하나를 인식하고, 디바이스의 사용자와 상기 인식된 인물간의 관계, 상기 인식된 사물 또는 상기 인식된 위치 중 적어도 하나에 기초하여 상기 영상의 수정이 필요한지 여부를 판단하고, 수정이 필요하다면 상기 영상을 수정한 후 상기 사용자 디바이스로 수정된 영상을 전송하는 서버를 포함할 수 있다.

이때, 상기 서버는 미리 저장된 데이터를 참조하여 상기 인식된 인물이 상기 사용자의 촬영을 허용하는지 여부를 판단하고, 허용하지 않는 경우 영상의 수정이 필요한 것으로 판단할 수 있다.

또한 이때, 상기 서버는 미리 저장된 촬영 제한 사물 또는 위치에 대한 데이터베이스를 이용하여 상기 인식된 사물 또는 위치의 촬영이 제한되는지 여부를 판단하고, 제한되는 경우 영상의 수정이 필요한 것으로 판단할 수 있다.

또는, 상기 서버는 상기 사용자 디바이스로부터 상기 영상이 촬영된 시간 및 위치를 수신하고, 미리 저장된 데이터를 이용하여 상기 수신한 시간 및 위치에서 상기 인식된 인물의 촬영이 제한되는지 여부를 판단할 수 있다.

또는, 상기 사용자 디바이스는 상기 서버로부터 수신한 암호화 키를 이용하여 촬영된 영상을 암호화 한 후 상기 서버로 전송하며, 상기 서버는 수신한 영상을 복호화 한 후 인물, 사물 또는 위치 중 적어도 하나의 인식 및 영상의 수정을 수행할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 사용자 디바이스는, 영상을 촬영하는 촬영부; 촬영 수행시 피촬영자의 디바이스로 촬영 통지를 전송하고, 상기 피촬영자의 디바이스로부터 촬영 허용 여부를 수신하는 통신부; 및 상기 촬영 허용 여부에 따라 상기 촬영된 영상을 수정하는 제어부를 포함할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 촬영 영상을 수정하는 방법은, 사용자의 디바이스에서 영상을 촬영하는 단계; 상기 촬영된 영상에 포함된 인물, 사물 또는 상기 영상이 촬영된 위치 중 적어도 하나를 인식하는 단계; 및 디바이스의 사용자와 상기 인식된 인물간의 관계(relationship), 상기 인식된 사물 또는 상기 인식된 위치 중 적어도 하나에 기초하여 상기 영상을 수정하는 단계를 포함할 수 있다.

이때, 상기 수정하는 단계는, 상기 사용자의 디바이스에 저장된 데이터를 이용하여 상기 사용자와 상기 인식된 인물이 서로 관련이 있는지 여부를 판단하고, 관련이 없다면 상기 영상을 수정할 수 있다.

또한 이때, 상기 수정하는 단계는, 상기 사용자 디바이스에 저장된 주소록에 상기 인식된 인물이 존재하지 않는다면, 상기 사용자와 상기 인식된 인물은 서로 관련이 없는 것으로 판단하고, 상기 영상을 수정할 수 있다.

또는, 상기 수정하는 단계는, 상기 사용자 디바이스에 미리 저장된 적어도 하나의 사진에 상기 인식된 인물이 존재하지 않는다면, 상기 사용자와 상기 인식된 인물이 서로 관련이 없는 것으로 판단하고, 상기 영상을 수정할 수 있다.

또는, 상기 수정하는 단계는, 상기 사용자 디바이스에 저장된 데이터를 이용하여 상기 사용자의 SNS(Social Networking Service) 사용 기록을 분석함으로써 상기 사용자와 상기 인식된 인물이 서로 관련이 있는지 여부를 판단하고, 상기 영상을 수정할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 사용자 디바이스는, 영상을 촬영하는 촬영부; 데이터가 저장되는 저장부; 및 상기 촬영된 영상에 포함된 인물을 인식하고, 상기 저장부에 저장된 데이터를 이용하여 상기 디바이스의 사용자와 상기 인식된 인물간의 관계(relationship)를 판단하고, 상기 디바이스의 사용자와 상기 인식된 인물이 서로 관련이 없다면 상기 영상을 수정하는 제어부를 포함할 수 있다.

본 발명의 실시예에 따르면, 사용자의 디바이스에서 촬영이 제한되는 인물, 사물 또는 위치에 대한 영상이 촬영된 경우 영상의 일부분 또는 전부를 식별할 수 없도록 수정함으로써 피촬영자의 프라이버시를 보호하고, 보안 또는 저작권의 문제로 인해 촬영이 제한되는 사물 또는 위치에 대한 영상을 개인이 획득하는 것을 방지할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 촬영 제한 요소를 포함하는 영상을 수정하는 방법의 실시 환경을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 나타내는 순서도이다.
도 3 내지 도 6은 본 발명의 일 실시예에 따른 촬영 영상을 수정하는 방법을 설명하기 위한 도면들이다.
도 7 내지 도 12는 본 발명의 실시예들에 따라 촬영이 제한되는 인물이 영상에 포함된 경우 영상을 수정하는 다양한 방법들을 도시한 도면들이다.
도 13 내지 도 16은 본 발명의 실시예들에 따른 촬영이 제한되는 인물이 포함된 영상을 수정하는 방법들을 나타내는 순서도들이다.
도 17 내지 도 18은 본 발명의 실시예에 따른, 둘 이상의 사용자 디바이스를 이용하여 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다.
도 19는 본 발명의 실시예에 따른, 둘 이상의 사용자 디바이스를 이용하여 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 나타내는 순서도이다.
도 20 내지 도 22는 본 발명의 실시예에 따른, 피촬영자의 디바이스와의 통신을 통해 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다.
도 23 및 도 24는 본 발명의 실시예에 따른, 피촬영자의 디바이스와의 통신을 통해 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 나타내는 순서도들이다.
도 25 내지 도 26은 본 발명의 실시예에 따른, 서버를 이용하여 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다.
도 28 내지 도 31은 본 발명의 실시예에 따른, 서버를 이용하여 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다.
도 32는 본 발명의 실시예에 따른, 서버를 이용하여 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 나타내는 순서도이다.
도 33 내지 도 37은 본 발명의 실시예에 따른, 촬영이 제한되는 사물을 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다.
도 38은 본 발명의 실시예에 따른, 촬영이 제한되는 사물을 포함하는 영상을 수정하는 방법을 나타내는 순서도이다.
도 39 내지 도 41은 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 방법을 설명하기 위한 도면들이다.
도 42는 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 방법을 나타내는 순서도이다.
도 43 내지 도 45는 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 방법을 설명하기 위한 도면들이다.
도 46은 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 방법을 나타내는 순서도이다.
도 47 내지 도 49는 본 발명의 실시예에 따른, 프라이버시 보호 정보에 따라 인물의 촬영을 제한하는 실시예를 설명하기 위한 도면들이다.
도 50은 본 발명의 실시예에 따른, 프라이버시 보호 정보에 따라 인물의 촬영을 제한하는 실시예를 나타내는 순서도이다.
도 51은 본 발명의 실시예에 따른 사용자 디바이스의 구성을 도시한 도면이다.
도 52는 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 촬영된 영상을 사용자 단말에 저장하기 전에 수정하는 실시예를 설명하기 위한 도면이다.
도 53은 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 촬영된 영상을 사용자 단말에 저장하기 전에 수정하는 실시예를 설명하기 위한 순서도이다.
도 54 및 55는 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 사용자 단말에 저장된 영상을 외부로 전송시에 수정하는 실시예를 설명하기 위한 도면들이다.
도 56은 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 사용자 단말에 저장된 영상을 외부로 전송시에 수정하는 실시예를 설명하기 위한 순서도이다.
도 57은 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 촬영된 영상을 사용자 단말에 저장하지 않고 바로 수정하여 외부로 전송하는 실시예를 설명하기 위한 도면이다.
도 58은 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 촬영된 영상을 사용자 단말에 저장하지 않고 바로 수정하여 외부로 전송하는 실시예를 설명하기 위한 순서도이다.
도 59 내지 도 61은 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 실시예를 설명하기 위한 도면들이다.
도 62는 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 방법을 나타내는 순서도이다.
도 63 내지 도 66은 본 발명의 실시예에 따른, 사용자의 선택에 따라 촬영된 영상을 수정하는 실시예를 설명하기 위한 도면들이다.
도 67 및 도 68은 본 발명의 실시예에 따른, 사용자의 선택에 따라 촬영된 영상을 수정하는 방법을 나타내는 순서도이다.

이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 실시예들의 특징을 보다 명확히 설명하기 위하여 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 촬영 제한 요소를 포함하는 영상을 수정하는 방법의 실시 환경을 도시한 도면이다.

도 1을 참조하면, 사용자 A(1)는 스마트 글래스(100)를 이용하여 인물 또는 사물을 포함하는 영상, 또는 특정 위치에 대한 영상을 촬영할 수 있다. 이때, 촬영되는 영상이란 사진과 같은 정지 영상뿐만 아니라 동영상도 포함한다.

스마트 글래스(100)는 도시된 바와 같이 인물(사용자 B(2)), 사물(조각품(20)) 또는 촬영 금지 표지(30) 등을 포함하는 영상을 촬영할 수 있다. 스마트 글래스(100)는 촬영된 영상에 포함된 인물, 사물 또는 영상이 촬영된 위치 중 적어도 하나를 인식하고, 인식 결과에 기초하여 영상에 촬영이 제한되는 요소, 즉 촬영 제한 요소(photographing restricted element)가 포함되어 있는지를 판단할 수 있다.

이때, 촬영 제한 요소(photographing restricted element)란 프라이버시, 저작권 또는 보안 등의 이유로 촬영이 제한되는 인물, 사물 또는 위치 등을 의미한다. 이러한 촬영 제한 요소는 모든 사람에게 일괄적으로 적용될 수도 있고, 또는 촬영자에 따라서 촬영 제한 요소가 달라질 수도 있다. 예를 들어, 군사 보안 지역에 대한 촬영은 모든 사람에게 제한되지만, 특정 인물에 대한 촬영은 상기 특정인물을 모르는 사람에게만 제한될 수 있다. 촬영이 제한되는 인물 또는 사물이 영상에 포함되어 있거나, 촬영이 제한 되는 위치에 대한 영상이 포함되어 있다면 해당 영상은 촬영 제한 요소를 포함하는 것으로 판단한다.

한편, 스마트 글래스(100)가 영상을 촬영하고, 촬영된 영상을 스마트 글래스(100)와 연결된 다른 디바이스나 서버로 전송하면, 영상을 수신한 디바이스 또는 서버가 인물, 사물 또는 위치의 인식을 수행하고, 영상에 촬영 제한 요소가 포함되어 있는지를 판단할 수도 있다.

영상에 촬영 제한 요소가 포함되어 있다고 판단되면, 스마트 글래스(100), 스마트 글래스(100)와 연결된 다른 디바이스 또는 서버는 촬영된 영상을 수정한다. 자세하게는, 촬영된 영상에서 촬영 제한 요소를 식별할 수 없도록 영상을 수정한다. 영상을 수정하는 구체적인 방법들은 아래에서 도면을 참조하여 자세하게 설명한다.

한편, 사용자 A(1)는 스마트 글래스(100) 이외에도 다양한 디바이스를 이용하여 촬영을 할 수 있는데, 스마트 워치(100-1)와 같은 웨어러블 디바이스, 스마트폰(100-2) 또는 태블릿(100-5)과 같은 모바일 디바이스, 카메라(100-3) 또는 캠코더(100-4)와 같은 일반적인 촬영 디바이스 등을 사용할 수 있다. 또한, 비록 위에서 언급되지 않은 디바이스일지라도 사진 또는 동영상의 촬영이 가능한 다양한 디바이스들이 본 발명의 실시예에 적용될 수 있음은 자명하다.

일반적으로 가장 많은 사용자가 휴대하는 디바이스가 스마트폰(100-2)인데다가, 스마트폰(100-2)에 본 발명의 실시에 필요한 사용자의 정보가 저장될 가능성이 높으며, 스마트폰(100-2)은 영상의 수정과 같은 처리의 수행도 가능하므로 이하의 실시예에서는 사용자 디바이스로서 스마트폰(100-2)을 이용하는 경우를 가정한다.

도 2는 본 발명의 실시예에 따른 촬영 제한 요소를 포함하는 영상을 수정하는 방법의 단계들을 도시한 순서도이다.

도 2를 참조하면, 201 단계에서 사용자의 디바이스에서 영상을 촬영한다. 이때, 촬영에는 카메라 또는 캠코더 등의 일반적인 촬영 디바이스, 스마트 글래스 또는 스마트 워치 등의 웨어러블 디바이스, 스마트폰 또는 태블릿 등의 모바일 디바이스 중 어느 하나가 사용될 수 있으며, 이외에도 촬영이 가능한 다양한 디바이스가 사용될 수 있다.

202 단계에서 사용자의 디바이스는 촬영된 영상에 포함된 인물, 사물 또는 영상이 촬영된 위치 중 적어도 하나를 인식한다. 이때, 사용자의 디바이스가 영상에 포함된 인물을 인식하는 구체적인 방법은, 예를 들어 얼굴 인식(face recognition) 방식이 이용될 수 있다. 다만, 이에 한정되지 않고 인물을 식별할 수 있는 다양한 방식이 이용될 수도 있다. 얼굴 인식은 구체적으로 영상에서 얼굴을 검출하고, 검출된 얼굴에서 특징을 추출하는 프로세스들을 포함하는데 얼굴 인식과 관련된 기술들은 널리 알려져 있으므로 여기에서 자세한 설명은 생략한다.

한편, 사용자의 디바이스는 영상에 포함된 사물을 검출하고, 검출된 사물의 형태 및 색상과 같은 특징들을 추출하는 방식으로 사물의 인식을 수행할 수 있다.

한편, 사용자의 디바이스가 영상이 촬영된 위치를 인식하는 방법에는 절대적인 위치를 인식하는 방법, 특정 장소에 해당되는지 여부를 판단하는 방법 또는 촬영이 제한되는 위치에 해당되는지 여부를 판단하는 방법 등이 이용될 수 있다.

첫번째로, 절대적인 위치를 인식하는 방법은 촬영을 수행하는 사용자의 디바이스가 직접 내장된 GPS(Global Positioning system)를 통해 촬영이 수행된 시점의 위도와 경도와 같은 절대적인 위치를 인식하는 방식으로 수행될 수 있다.

두번째로, 특정 장소에 해당되는지 여부를 판단하는 방법은 촬영을 수행하는 사용자의 디바이스가 촬영이 수행되는 시점에 특정 장소(예를 들어, 박물관 등) 내에 위치하는지 여부를 판단하는 방식으로 수행될 수 있다. 예를 들어, 사용자의 디바이스가 특정 장소에 위치하는 경우 해당 장소에 구비된 서버 등과의 통신을 통해 특정 장소에 위치하는 것으로 판단할 수 있다. 또는, 사용자의 디바이스가 GPS를 이용한 절대적인 위치를 인식한 뒤 데이터베이스에 미리 저장된 특정 장소의 절대적 위치와 비교할 수도 있다.

세번째로, 촬영이 제한되는 위치에 해당되는지 여부를 판단하는 방법은 촬영을 수행하는 사용자의 디바이스가 촬영이 수행되는 시점에 촬영 금지 구역에 위치하는지 여부를 판단하는 방식으로 수행될 수 있다. 예를 들어, 사용자의 디바이스가 촬영된 영상에 포함된 표지판(e.g. 촬영 금지 구역 표지)을 인식 및 분석하여 촬영 금지 구역 여부를 판단할 수 있다. 또는, 사용자의 디바이스가 GPS를 이용한 절대적인 위치를 인식한 뒤 데이터베이스에 미리 저장된 촬영 금지 구역의 절대적 위치와 비교할 수도 있다.

영상에 포함된 인물, 사물 또는 영상이 촬영된 위치 중 적어도 하나에 대한 인식이 완료되었으면, 203 단계에서 사용자의 디바이스는 디바이스의 사용자와 인식된 인물간의 관계(relationship), 인식된 사물 또는 인식된 위치 중 적어도 하나에 기초하여 영상에 촬영 제한 요소가 포함되어 있는지 여부를 판단한다. 즉, 사용자의 디바이스는 영상에 수정이 필요한지 여부를 판단한다. 만약, 영상에 촬영 제한 요소가 포함되어 있다면 사용자의 디바이스는 영상의 수정이 필요한 것으로 판단하고, 포함되어 있지 않다면 수정이 필요하지 않은 것으로 판단한다.

이때, 디바이스의 사용자와 인식된 인물간의 관계란, 다시 말해 촬영자와 피촬영자간의 관계로서 촬영자와 피촬영자가 서로 아는 사이인지 여부, 피촬영자가 촬영자에게 자신의 촬영을 허용한 관계인지 여부, 또는 피촬영자가 유명인이어서 특별히 촬영자의 촬영이 제한되지 않는 관계인지 여부 등을 의미한다. 이러한 디바이스의 사용자와 인식된 인물간의 관계에 기초하여 영상에 포함된 피촬영자의 촬영이 제한되는 경우라면 영상에 촬영 제한 요소가 포함된 것으로 판단한다.

한편, 인식된 사물이 촬영이 제한되는 사물이라면 사용자의 디바이스는 영상에 촬영 제한 요소가 포함된 것으로 판단한다. 촬영이 제한되는 사물이란, 예를 들어 예술품과 같이 저작권 보호의 대상이 되는 사물일 수 있으며, 이외에도 다양한 이유로 일반인의 촬영이 제한되는 사물일 수 있다.

인식된 사물이 촬영이 제한되는 사물에 해당되는지에 대한 구체적인 판단은 다양한 방법으로 수행될 수 있는데, 예를 들어 사용자의 디바이스 내의 메모리에 촬영이 제한되는 사물에 대한 데이터베이스가 저장되고, 사용자의 디바이스는 인식된 사물을 저장된 데이터베이스와 비교할 수 있다. 또는, 외부의 서버에 촬영이 제한되는 사물에 대한 데이터베이스가 저장되어 있고, 사용자의 디바이스는 서버와 통신을 수행하여 데이터베이스에 접근하고 인식된 사물을 데이터베이스와 비교할 수도 있다. 또는, 사용자의 디바이스는 박물관과 같은 특정 장소에 진입하였을 때 해당 장소에서 관리하는 서버로부터 해당 장소 내에 존재하는 촬영이 제한되는 사물에 대한 데이터베이스를 수신하고, 이를 인식된 사물과 비교할 수도 있다. 이외에도 인식된 사물이 촬영이 제한되는 사물인지에 대한 판단은 다양한 방법으로 수행될 수 있다.

한편, 인식된 위치가 촬영이 제한되는 위치라면 사용자의 디바이스는 영상에 촬영 제한 요소가 포함된 것으로 판단한다. 촬영이 제한되는 위치란, 예를 들어 군사 보안 지역과 같이 보안상의 이유로 촬영이 제한되는 위치일 수도 있고, 또는 공연장과 같이 저작권상의 이유로 촬영이 제한되는 위치일 수도 있다. 이외에도 다양한 이유로 일반인의 촬영이 제한되는 위치가 있을 수 있다.

인식된 위치가 촬영이 제한되는 위치에 해당되는지에 대한 구체적인 판단은 다양한 방법으로 수행될 수 있는데, 예를 들어 사용자의 디바이스 내의 메모리에 촬영이 제한되는 위치에 대한 데이터베이스가 저장되고, 사용자의 디바이스는 인식된 위치를 저장된 데이터베이스와 비교할 수 있다. 또는, 외부의 서버에 촬영이 제한되는 위치에 대한 데이터베이스가 저장되어 있고, 사용자의 디바이스는 서버와 통신을 수행하여 데이터베이스에 접근하고 인식된 위치를 데이터베이스와 비교할 수도 있다. 또는, 사용자의 디바이스는 촬영된 영상에 포함된 표지판(e.g. 촬영 금지 구역 표시)을 인식 및 분석하여 촬영 금지 구역 여부를 판단할 수도 있다.

204 단계에서 영상에 촬영 제한 요소가 포함되어 있다면 205 단계로 진행하여 사용자의 디바이스는 촬영 영상을 수정한다. 자세하게는, 사용자의 디바이스는 영상에 포함된 촬영 제한 요소가 식별이 불가능하도록 영상을 수정할 수 있다. 예를 들어, 사용자의 디바이스는 촬영이 제한되는 인물 또는 사물을 모자이크 처리하거나, 또는 블러(blur) 처리할 수 있다. 또는, 사용자의 디바이스는 촬영이 제한되는 인물 또는 사물을 제외한 촬영된 영상 내의 화면과 합성하거나, 또는 미리 설정된 대체 이미지를 합성할 수도 있다. 한편, 촬영이 제한되는 위치에서 촬영된 영상이라면 사용자의 디바이스는 영상 전체를 식별할 수 없도록 모자이크 처리, 블러 처리하거나, 또는 영상 전체에 미리 설정된 대체 이미지를 합성할 수도 있다. 이외에도 사용자의 디바이스는 다양한 방법으로 영상에 포함된 촬영 제한 요소를 식별 불가능하도록 영상을 수정할 수 있다. 영상을 수정하는 구체적인 방법은 아래에서 해당 도면들을 참조하여 자세하게 설명하도록 한다.

204 단계에서 영상에 촬영 제한 요소가 포함되어 있지 않다면 영상의 수정 없이 프로세스를 종료한다.

한편, 상기에서는 도 2의 202 단계 내지 205 단계가 촬영을 수행한 사용자의 디바이스에서 수행되는 것으로 설명하였으나, 이와 다르게 사용자의 디바이스와 연결된 다른 디바이스 또는 서버에서 상기 단계들 중 일부 또는 전부를 수행할 수도 있다. 자세한 예시는 아래에서 설명하도록 한다.

도 3 내지 도 6은 본 발명의 실시예에 따른 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다.

도 3을 참조하면, 사용자 A(1)의 스마트폰(100-2)에서 사용자 B(2) 및 사용자 C(3)를 포함하는 영상을 촬영한다. 이어서, 사용자 A(1)의 스마트폰(100-2)은 촬영된 영상에 촬영이 제한되는 인물이 포함되어 있는지를 판단하고, 촬영이 제한되는 인물이 포함되어 있는 경우 영상을 수정한다.

도 4 내지 도 6에는 사용자 A(1)의 스마트폰(100-2)이 각각 다른 방법에 의해 영상에 촬영이 제한되는 인물이 포함되었는지를 판단하고, 영상을 수정하는 예들을 각각 도시하였다.

도 4를 참조하면, 스마트폰(100-2)은 촬영된 원본 영상(400a)에서 얼굴 인식을 수행하여 사용자 B(2) 및 사용자 C(3)의 얼굴을 인식한다. 스마트폰(100-2)은 영상에서 인식된 얼굴들을 각각 스마트폰(100-2)에 저장된 주소록에 포함된 사진들과 비교한다. 스마트폰(100-2)에 저장된 주소록에는 이름 및 전화번호 등과 함께 대응되는 사람의 사진이 저장되어 있을 수 있다.

도 4에서 스마트폰(100-2)은 원본 영상(400a)에서 인식된 얼굴들과 주소록에 포함된 사진들을 비교한 결과, 사용자 B(2)의 사진이 주소록에 존재함을 확인한다. 스마트폰(100-2)은 주소록에 사진이 존재하는 사용자 B(2)를 촬영이 허용되는 인물로 판단한다.

하지만, 스마트폰(100-2)은 사용자 C(3)와 일치하는 사진을 주소록에서 찾을 수 없다면 사용자 C(3)를 촬영이 제한되는 인물로 판단한다. 다시 말해, 스마트폰(100-2)은 사용자 A(1)과 사용자 C(3)가 서로 관련이 없는 것으로 판단할 수 있다. 따라서, 스마트폰(100-2)은 영상에 촬영 제한 요소가 포함된 것으로 판단하고 영상을 수정한다. 예를 들어, 스마트폰(100-2)은 인식된 사용자 C(3)의 식별이 불가능하도록 사용자 C(3)에 대응하는 영상의 일부를 수정할 수 있다. 구체적으로, 스마트폰(100-2)은 도 4에 도시된 바와 같이 촬영이 제한되는 인물인 사용자 C(3)의 얼굴 영역에 모자이크 처리를 수행하여 수정 영상(400b)을 출력한다.

이와 같이 스마트폰(100-2)이 인식된 얼굴을 주소록에 포함된 사진과 비교하여 촬영 제한 요소의 포함 여부를 판단하는 이유는, 사용자 A(1)의 스마트폰(100-2)의 주소록에 등록된 사람이라면 사용자 A(1)와 서로 아는 관계일 가능성이 높기 때문이다. 즉, 스마트폰(100-2)은 저장된 주소록을 이용하여 사용자 A(1)와 피촬영자들간의 관계를 파악하고, 이에 기초하여 촬영 제한 요소의 포함 여부를 판단한다.

도 5를 참조하면, 스마트폰(100-2)은 촬영된 원본 영상(500a)에서 얼굴 인식을 수행하여 사용자 B(2) 및 사용자 C(3)의 얼굴을 인식한다. 스마트폰(100-2)은 영상에서 인식된 얼굴들을 각각 스마트폰(100-2)의 앨범에 저장된 사진들과 비교한다.

도 5에서 스마트폰(100-2)은 원본 영상(500a)에서 인식된 얼굴들과 앨범에 저장된 사진들을 비교한 결과, 사용자 B(2)가 앨범에 저장된 사진들 중 적어도 하나에 포함되었음을 확인한다. 스마트폰(100-2)은 앨범에 저장된 사진에 포함된 사용자 B(2)를 촬영이 허용되는 인물로 판단한다.

하지만, 스마트폰(100-2)은 사용자 C(3)가 포함된 사진을 앨범에서 찾을 수 없다면 사용자 C(3)를 촬영이 제한되는 인물로 판단한다. 다시 말해, 스마트폰(100-2)은 사용자 A(1)과 사용자 C(3)가 서로 관련이 없는 것으로 판단할 수 있다. 따라서, 스마트폰(100-2)은 영상에 촬영 제한 요소가 포함된 것으로 판단하고 영상을 수정한다. 예를 들어, 스마트폰(100-2)은 인식된 사용자 C(3)의 식별이 불가능하도록 사용자 C(3)에 대응하는 영상의 일부를 수정할 수 있다. 구체적으로, 스마트폰(100-2)은 도 5에 도시된 바와 같이 촬영이 제한되는 인물인 사용자 C(3)의 얼굴 영역에 모자이크 처리를 수행하여 수정 영상(500b)을 출력한다.

이와 같이 스마트폰(100-2)이 인식된 얼굴을 앨범에 저장된 사진들과 비교하여 촬영 제한 요소의 포함 여부를 판단하는 이유는, 사용자 A(1)의 스마트폰(100-2)의 앨범에 저장된 사진에 포함된 사람이라면 사용자 A(1)와 서로 아는 관계일 가능성이 높기 때문이다. 즉, 스마트폰(100-2)은 저장된 앨범의 사진들을 이용하여 사용자 A(1)와 피촬영자들간의 관계를 파악하고, 이에 기초하여 촬영 제한 요소의 포함 여부를 판단한다.

도 6을 참조하면, 스마트폰(100-2)은 촬영된 원본 영상(600a)에서 얼굴 인식을 수행하여 사용자 B(2) 및 사용자 C(3)의 얼굴을 인식한다. 스마트폰(100-2)은 사용자 A(1)의 SNS(Social Networking Service) 사용 기록을 분석하여 인식된 인물들과 사용자 A(1)간의 관계를 파악한다.

도 6에서 스마트폰(100-2)은 SNS의 사용 기록을 분석한 결과, 사용자 B(2)가 사용자 A(1)와 서로 아는 사이라고 판단되었다면, 사용자 B(2)를 촬영이 허용되는 인물로 판단한다. 예를 들어, 사용자 A(1)와 사용자 B(2)가 SNS상에서 친구로 등록한 사이이거나, 둘 중 어느 하나가 SNS상에 등록한 게시물에 다른 하나가 덧글을 달았다면 사용자 A(1)와 사용자 B(2)는 서로 아는 사이라고 판단할 수 있다.

하지만, 스마트폰(100-2)은 SNS의 사용 기록을 분석한 결과, 사용자 C(3)는 사용자 A(1)와 서로 아는 사이가 아니라고 판단되었다면, 사용자 C(3)를 촬영이 제한되는 인물로 판단한다. 다시 말해, 스마트폰(100-2)은 사용자 A(1)과 사용자 C(3)가 서로 관련이 없는 것으로 판단할 수 있다. 따라서, 스마트폰(100-2)은 영상에 촬영 제한 요소가 포함된 것으로 판단하고 영상을 수정한다. 예를 들어, 스마트폰(100-2)은 인식된 사용자 C(3)의 식별이 불가능하도록 사용자 C(3)에 대응하는 영상의 일부를 수정할 수 있다. 구체적으로, 스마트폰(100-2)은 도 6에 도시된 바와 같이 촬영이 제한되는 인물인 사용자 C(3)의 얼굴 영역에 모자이크 처리를 수행하여 수정 영상(600b)을 출력한다.

도 7 내지 도 12에는 본 발명의 실시예들에 따라 촬영 제한 요소가 영상에 포함된 경우 영상을 수정하는 다양한 방법들을 도시하였다.

도 7에는 촬영 제한 요소에 블러(blur) 처리를 수행하는 예를 도시하였다. 도 7을 참조하면, 원본 영상(700a)에는 사용자 B(2) 및 사용자 C(3)가 포함되어 있다. 이 중 사용자 C(3)가 촬영 제한 요소에 해당된다고 가정한다. 따라서, 영상에서 사용자 C(3)가 표시된 영역은 블러 처리된다. 수정 영상(700b)을 참조하면, 사용자 C(3)가 블러 처리되었음을 확인할 수 있다. 한편, 영상의 특정 영역에 블러 처리를 수행하는 구체적인 방법은 일반적으로 널리 알려진 기술이므로 여기에서는 자세한 설명은 생략한다.

도 8에는 촬영 제한 요소를 배경화면과 합성하는 예를 도시하였다. 도 8을 참조하면, 원본 영상(800a)에는 사용자 B(2) 및 사용자 C(3)가 포함되어 있다. 이 중 사용자 C(3)가 촬영 제한 요소에 해당된다고 가정한다. 따라서, 영상에서 사용자 C(3)는 배경화면과 합성된다.

이때, 사용자 C(3)를 배경화면과 합성하는 방법은, 구체적으로 영상에서 사용자 C(3)를 삭제하고, 사용자 C(3) 주변의 배경화면과 유사한 이미지로 사용자 C(3)가 삭제된 영역을 채운다.

도 8의 수정 영상(800b)을 참조하면, 사용자 C(3)의 테두리(edge)(3-1)를 경계로 외부에 존재하는 픽셀들과 동일 또는 유사한 픽셀들로 테두리(3-1)의 내부를 채운다. 예를 들어, 테두리(3-1)에 인접한 내부의 픽셀(802)은 테두리(3-1)에 인접한 외부의 픽셀(801)과 동일 또는 유사한 색상, 채도 및 명도를 갖도록 설정된다. 또한, 테두리(3-1) 내부의 픽셀들 중 픽셀(802)과 인접한 다른 픽셀들은 픽셀(802)과 유사한 색상, 채도 및 명도 등을 갖도록 설정된다. 한편, 영상 중 특정 영역을 배경화면과 합성하는 방법에는 당해 기술분야에서 일반적으로 사용되는 다양한 기술들이 적용될 수 있으므로 여기에서 자세한 설명은 생략한다.

도 9에는 촬영 제한 요소를 포함하는 영상에 미리 저장된 배경화면을 합성하는 예를 도시하였다. 도 9를 참조하면, 원본 영상(900a)에는 사용자 B(2), 사용자 C(3) 및 구조물(901)이 포함되어 있다. 이 중 사용자 C(3)가 촬영 제한 요소에 해당된다고 가정한다. 원본 영상(900a)을 참조하면, 사용자 C(3)는 구조물(901)과 일부가 겹치도록 표시되어 있다. 따라서, 영상에서 사용자 C(3)를 삭제하고, 미리 저장된 구조물(901)의 이미지로 사용자 C(3)가 삭제된 영역을 채운다. 수정 영상(900b)을 참조하면, 영상에서 사용자 C(3)가 표시된 영역 중 구조물(901)과 겹치는 부분은 미리 저장된 구조물(901)의 이미지로 대체되었음을 알 수 있다. 이때, 구조물(901)의 전체 이미지는 영상을 수정하는 사용자 디바이스 또는 서버 등에 미리 저장되어 있을 수 있다.

도 10에는 촬영 제한 요소를 미리 저장된 대체 이미지와 합성하는 예를 도시하였다. 도 10을 참조하면, 원본 영상(1000a)에는 사용자 B(2) 및 사용자 C(3)가 포함되어 있다. 이 중 사용자 C(3)가 촬영 제한 요소에 해당된다고 가정한다. 미리 저장된 대체 이미지(1001)로 사용자 C(3)를 대체함으로써 수정 영상(1000b)을 생성한다. 도 10에서 대체 이미지(1001)는 인물의 얼굴을 대체하기 위한 이미지로 선택되었다. 하지만, 이와 다르게 인물 전체를 대체하기 위한 이미지가 선택될 수도 있다.

한편, 촬영 제한 요소에 해당되는 인물의 얼굴에 대체 이미지를 합성함에 있어서 보다 자연스러운 영상을 얻기 위해 원본 영상에서의 인물의 얼굴 방향 및 각도에 따라 대체 이미지를 합성할 수도 있다. 이에 대한 예를 도 11 및 도 12에 도시하였다.

도 11을 참조하면, 원본 영상(1100a)에 포함된 인물의 얼굴이 정면을 바라보고 있다. 따라서, 수정 영상(1100b)에 도시된 바와 같이, 원본 영상(1100a)의 인물의 얼굴 방향 및 각도에 따라 정면을 바라보는 대체 이미지(1110)를 인물의 얼굴 부분에 합성하였다.

한편, 도 12를 참조하면, 원본 영상(1200a)에 포함된 인물의 얼굴이 측면을 바라보고 있다. 따라서, 수정 영상(1200b)에 도시된 바와 같이, 원본 영상(1200a)의 인물의 얼굴 방향 및 각도에 따라 측면을 바라보는 대체 이미지(1210)를 인물의 얼굴 부분에 합성하였다.

이와 같이 인물의 얼굴 방향 및 각도에 따라 대응되는 대체 이미지를 합성함으로써 보다 자연스러운 영상을 얻을 수 있다.

도 13 내지 도 16은 본 발명의 실시예들에 따른 촬영이 제한되는 인물이 포함된 영상을 수정하는 방법들을 나타내는 순서도들이다.

도 13을 참조하면, 1301 단계에서 사용자 디바이스에서 인물이 포함된 영상을 촬영한다. 이때, 촬영에는 카메라 또는 캠코더 등의 일반적인 촬영 디바이스, 스마트 글래스 또는 스마트 워치 등의 웨어러블 디바이스, 스마트폰 또는 태블릿 등의 모바일 디바이스 중 어느 하나가 사용될 수 있으며, 이외에도 촬영이 가능한 다양한 디바이스가 사용될 수 있다.

1302 단계에서 사용자 디바이스는 촬영 영상에 포함된 인물의 얼굴 인식을 수행한다. 구체적으로 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 특징을 추출하는 방식으로 얼굴 인식을 수행할 수 있다.

1303 단계에서 사용자 디바이스는 사용자 디바이스에 저장된 데이터를 이용하여 촬영자와 피촬영자간의 관련도를 판단한다. 즉, 사용자 디바이스는 촬영자와 피촬영자가 서로 아는 사이인지 여부를 판단한다.

1304 단계에서 사용자 디바이스는 촬영된 영상에 촬영자와 관련이 없는 인물이 포함되어 있는지 여부를 판단한다. 이때, 촬영자와 피촬영자간의 관련도를 판단하고, 영상에 촬영자와 관련이 없는 인물이 포함되어 있는지 여부를 판단하는 구체적인 방법은 다양하게 구현될 수 있으며, 몇 가지 실시예들을 아래의 도 14 내지 도 16에 도시하였다.

판단 결과, 촬영자와 관련이 없는 인물이 촬영 영상에 포함되어 있다면 1305 단계로 진행하여 사용자 디바이스는 촬영자와 관련이 없는 인물에 대한 보호 처리를 수행한다. 즉, 사용자 디바이스는 촬영자와 관련이 없는 인물을 영상에서 식별할 수 없도록 영상을 수정한다. 영상을 수정하는 구체적인 방법은 앞서 도 7 내지 도 12를 참조하여 설명한 바와 같다.

도 14를 참조하면, 1401 단계에서 스마트폰에서 인물이 포함된 영상을 촬영한다. 이때, 촬영에는 카메라 또는 캠코더 등의 일반적인 촬영 디바이스, 스마트 글래스 또는 스마트 워치 등의 웨어러블 디바이스, 스마트폰 또는 태블릿 등의 모바일 디바이스 중 어느 하나가 사용될 수 있으며, 이외에도 촬영이 가능한 다양한 디바이스가 사용될 수 있다.

1402 단계에서 스마트폰은 촬영 영상에 포함된 인물의 얼굴 인식을 수행한다. 구체적으로 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 특징을 추출하는 방식으로 얼굴 인식을 수행할 수 있다.

1403 단계에서 스마트폰은 인식된 인물이 스마트폰의 주소록에 존재하는지 여부를 판단한다. 자세하게는, 인식된 인물이 스마트폰의 주소록에 포함된 적어도 하나의 사진과 일치하는지 여부를 판단한다. 판단 결과, 인식된 인물이 스마트폰의 주소록에 존재하지 않는다면 1404 단계로 진행한다.

1404 단계에서 스마트폰은 인식된 인물에 대하여 모자이크 처리를 수행한다. 한편, 스마트폰은 인식된 인물에 대하여 블러 처리, 배경화면과의 합성 처리 등을 수행할 수도 있다.

도 15를 참조하면, 1501 단계에서 스마트폰에서 인물이 포함된 영상을 촬영한다. 이때, 촬영에는 카메라 또는 캠코더 등의 일반적인 촬영 디바이스, 스마트 글래스 또는 스마트 워치 등의 웨어러블 디바이스, 스마트폰 또는 태블릿 등의 모바일 디바이스 중 어느 하나가 사용될 수 있으며, 이외에도 촬영이 가능한 다양한 디바이스가 사용될 수 있다.

1502 단계에서 스마트폰은 촬영 영상에 포함된 인물의 얼굴 인식을 수행한다. 구체적으로 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 특징을 추출하는 방식으로 얼굴 인식을 수행할 수 있다.

1503 단계에서 스마트폰은 인식된 인물이 스마트폰의 앨범에 저장된 사진에 존재하는지 여부를 판단한다. 자세하게는, 인식된 인물과 일치하는 인물이 앨범에 저장된 적어도 하나의 사진에 포함되어 있는지 여부를 판단한다. 판단 결과, 인식된 인물이 스마트폰의 앨범에 저장된 사진에 존재하지 않는다면 1504 단계로 진행한다.

1504 단계에서 스마트폰은 인식된 인물에 대하여 모자이크 처리를 수행한다. 한편, 스마트폰은 인식된 인물에 대하여 블러 처리, 배경화면과의 합성 처리 등을 수행할 수도 있다.

도 16을 참조하면, 1601 단계에서 스마트폰에서 인물이 포함된 영상을 촬영한다. 이때, 촬영에는 카메라 또는 캠코더 등의 일반적인 촬영 디바이스, 스마트 글래스 또는 스마트 워치 등의 웨어러블 디바이스, 스마트폰 또는 태블릿 등의 모바일 디바이스 중 어느 하나가 사용될 수 있으며, 이외에도 촬영이 가능한 다양한 디바이스가 사용될 수 있다.

1602 단계에서 스마트폰은 촬영 영상에 포함된 인물의 얼굴 인식을 수행한다. 구체적으로 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 특징을 추출하는 방식으로 얼굴 인식을 수행할 수 있다.

1603 단계에서 스마트폰은 촬영자, 즉 스마트폰 사용자의 SNS 사용 기록을 분석한다. 스마트폰에는 사용자가 스마트폰을 사용한 다양한 기록이 저장되어 있을 수 있으며, 그 중 SNS 사용 기록을 분석한다.

1604 단계에서 스마트폰은 인식된 인물이 SNS상에 촬영자의 지인으로 등록되어 있는지 여부를 판단한다. 판단 결과, 인식된 인물이 SNS상에 촬영자의 지인으로 등록되어 있지 않다면 1605 단계로 진행한다.

1605 단계에서 스마트폰은 인식된 인물에 대하여 모자이크 처리를 수행한다. 한편, 스마트폰은 인식된 인물에 대하여 블러 처리, 배경화면과의 합성 처리 등을 수행할 수도 있다.

한편, 도 14 내지 도 16에서는 사용자 디바이스가 스마트폰인 경우를 예로 들었으나, 이와 다르게 태블릿 등과 같이 사진 촬영이 가능하고 주소록을 포함하는 다양한 디바이스가 사용될 수 있다.

도 17 내지 도 18은 본 발명의 실시예에 따른, 둘 이상의 사용자 디바이스를 이용하여 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다. 특히, 도 17 내지 도 19에 도시된 실시예에서는 촬영을 수행하는 사용자 디바이스와 영상 처리를 수행하는 사용자 디바이스가 서로 분리된다.

도 17을 참조하면, 사용자 A(1)는 자신의 웨어러블 디바이스인 스마트 글래스(100)를 이용하여 인물을 포함하는 영상을 촬영한다. 이때, 촬영 영상에는 사용자 B(2) 및 사용자 C(3)가 포함된다. 스마트 글래스(100)는 촬영된 영상을 역시 사용자 A(1)의 디바이스인 스마트폰(100-2)에 전송한다. 촬영 영상을 수신한 스마트폰(100-2)은 수신된 영상에 촬영 제한 요소가 포함되어 있는지를 판단하고, 포함되어 있는 것으로 판단되면 영상의 수정을 수행한다.

도 18을 참조하면, 스마트폰(100-2)은 스마트 글래스(100)로부터 수신한 원본 영상(1800a)에 포함된 인물들의 얼굴 인식을 수행한다. 원본 영상(1800a)에 포함된 사용자 B(2) 및 사용자 C(3)의 얼굴 인식이 완료되면, 스마트폰(100-2)은 인식된 인물들의 얼굴을 각각 스마트폰(100-2)에 저장된 주소록에 포함된 사진들과 비교한다. 스마트폰(100-2)에 저장된 주소록에는 이름 및 전화번호 등과 함께 대응되는 사람의 사진이 저장되어 있을 수 있다.

도 18에서 스마트폰(100-2)이 원본 영상(1800a)에서 인식된 얼굴들과 주소록에 포함된 사진들을 비교한 결과, 사용자 B(2)의 사진이 주소록에 존재하는 것으로 확인되었다면, 스마트폰(100-2)은 사용자 B(2)를 촬영이 허용되는 인물로 판단한다. 하지만, 스마트폰(100-2)은 사용자 C(3)와 일치하는 사진은 주소록에서 찾을 수 없다면 사용자 C(3)를 촬영이 제한되는 인물로 판단한다. 따라서, 스마트폰(100-2)은 영상에 촬영 제한 요소가 포함된 것으로 판단하고 영상을 수정한다. 예를 들어, 스마트폰(100-2)은 촬영이 제한되는 인물인 사용자 C(3)를 배경화면과 합성하여 수정 영상(1800b)을 출력할 수 있다. 사용자 C(3)를 배경화면과 합성하는 구체적인 방법은 앞서 도 8을 참조하여 설명한 바와 같다.

이외에도 스마트폰(100-2)은 원본 영상(1800a)에서 인식된 얼굴들을 스마트폰(100-2)의 앨범에 저장된 사진들과 비교하거나, 또는 사용자 A(1)의 SNS 사용 기록을 분석하는 방법으로 촬영이 제한되는 인물을 판단할 수도 있다. 구체적인 방법은 앞서 도 5 및 도 6을 참조하여 설명한 부분을 참조한다.

또한, 도 18에는 스마트폰(100-2)이 사용자 C(3)를 배경화면과 합성하는 예를 도시하였으나, 이외에도 사용자 C(3)를 모자이크 처리하거나, 블러 처리하거나 또는 대체 이미지로 합성하는 등 다양한 방법으로 영상을 수정할 수 있다. 자세한 내용은 도 7 내지 도 12를 참조한다.

도 19는 본 발명의 실시예에 따른 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 나타내는 순서도이다.

도 19를 참조하면, 1901 단계에서 웨어러블 디바이스에서 인물이 포함된 영상을 촬영한다. 이때, 웨어러블 디바이스는 스마트 글래스 또는 스마트 워치 등과 같이 촬영 기능이 구비된 웨어러블 디바이스가 사용될 수 있다.

1902 단계에서 웨어러블 디바이스는 촬영 영상을 스마트폰으로 전송한다. 이때, 웨어러블 디바이스의 사용자가 소지한 스마트폰으로 영상이 전송되며, 스마트폰이 아닌 태블릿 등의 디바이스가 사용될 수도 있다.

1903 단계에서 영상을 수신한 스마트폰은 영상에 포함된 인물의 얼굴 인식을 수행한다. 구체적으로 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 특징을 추출하는 방식으로 얼굴 인식을 수행할 수 있다.

1904 단계에서 스마트폰은 인식된 인물이 스마트폰의 주소록에 존재하는지를 판단한다. 즉, 스마트폰은 인식된 얼굴을 주소록에 저장된 사진들과 비교하여 일치하는 사진이 있는지를 판단한다.

판단 결과, 인식된 인물이 스마트폰의 주소록에 존재하지 않는다면, 1905 단계로 진행하여 인식된 인물을 배경화면과 합성 처리한다.

도 20 내지 도 22는 본 발명의 실시예에 따른, 피촬영자의 디바이스와의 통신을 통해 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다. 특히, 도 20 내지 도 22에 도시된 실시예에서는 피촬영자의 디바이스가 촬영자의 디바이스에 촬영 허용 여부를 전송한다.

도 20을 참조하면, 사용자 A(1)의 스마트폰(100-2)에서 사용자 B(2)를 포함하는 영상을 촬영한다. 사용자 A(1)의 스마트폰(100-2)은 촬영을 할 때 피촬영자인 사용자 B(2)의 스마트폰(200)에 촬영 통지를 전송한다. 이때, 전송되는 촬영 통지에는 사용자 A(1)를 식별할 수 있는 식별정보가 포함되어 있을 수 있다.

촬영 통지를 수신한 사용자 B(2)의 스마트폰(200)은 촬영 통지에 포함된 식별정보를 이용하여 촬영자가 사용자 A(1)임을 확인하고, 사용자 A(1)의 촬영을 허용할 것인지를 판단한다. 촬영 통지에 포함된 식별 정보를 이용하여 촬영자를 식별하고, 촬영 허용 여부를 판단하는 구체적인 방법은 아래에서 도 21을 참조하여 설명하도록 한다.

사용자 B(2)의 스마트폰(200)은 촬영 허용 여부를 판단하였으면, 사용자 A(1)의 스마트폰(100-2)으로 촬영 허용 여부를 전송한다. 사용자 A(1)의 스마트폰(100-2)은 수신한 촬영 허용 여부에 따라 영상을 수정하거나 또는 수정 없이 저장한다.

도 21에는 사용자 A(1)의 스마트폰(100-2)이 사용자 B(2)의 스마트폰(200)에 촬영 통지를 전송하고, 사용자 B(2)의 스마트폰(200)이 촬영 허용 여부를 판단한 후 이를 사용자 A(1)의 스마트폰(100-2)에 전송하는 과정을 도시하였다.

도 21을 참조하면, 사용자 A(1)의 스마트폰(100-2)은 사용자 B(2)를 촬영시 사용자 B(2)의 스마트폰(200)으로 사용자 A(1)의 식별정보를 포함하는 촬영 통지를 전송한다. 이때, 촬영 통지에 포함되는 식별정보에는 사용자 A(1)의 이름 및 사진 등이 포함되어 있을 수 있다.

사용자 B(2)의 스마트폰(200)은 사용자 A(1)의 스마트폰(100-2)으로부터 수신한 촬영 통지에 포함된 사용자 A(1)의 식별정보를 이용하여 촬영 허용 여부를 판단한다. 자세하게는, 사용자 B(2)의 스마트폰(200)은 식별정보에 포함된 사용자 A(1)의 사진을 주소록에 저장된 사진들과 비교하거나, 또는 식별 정보에 포함된 사용자 A(1)의 이름을 주소록에 저장된 이름들과 비교한다. 비교한 결과 주소록에 사용자 A(1)의 사진 또는 이름이 존재하지 않는다면, 스마트폰(200)은 촬영이 허용되지 않는 것으로 판단한다. 반대로, 주소록에 사용자 A(1)의 사진 또는 이름이 존재한다면 스마트폰(200)은 촬영이 허용되는 것으로 판단한다.

한편, 사용자 B(2)의 스마트폰(200)은 식별정보에 포함된 사용자 A(1)의 사진을 스마트폰(200)의 앨범에 저장된 사진과 비교하거나, 또는 사용자 B(2)의 SNS 사용 기록 분석을 통해 촬영 허용 여부를 판단할 수도 있다.

도 21에서 사용자 B(2)의 스마트폰(200)은 주소록에 사용자 A(1)의 사진이 존재하지 않는다면 촬영이 불가한 것으로 판단하고, 사용자 A(1)의 스마트폰(100-2)에 촬영 불가 메시지를 전송한다. 이때, 사용자 B(2)의 스마트폰(200)은 촬영 불가 메시지와 함께 사용자 B(2)의 사진을 사용자 A(1)의 스마트폰(100-2)에 전송한다.

이어서 도 22를 참조하면, 사용자 A(1)의 스마트폰(100-2)은 촬영된 원본 영상(1600a)에서 얼굴 인식을 수행한다. 얼굴 인식이 완료되면, 사용자 A(1)의 스마트폰(100-2)은 사용자 B(2)의 스마트폰(200)으로부터 촬영 불가 메시지와 함께 수신한 사용자 B(2)의 사진과 원본 영상(1600a)에서 인식된 얼굴을 비교한다. 비교 결과 인식된 얼굴이 촬영 불가 메시지와 함께 수신한 사용자 B(2)의 사진과 일치하는 것으로 판단되면, 사용자 A(1)의 스마트폰(100-2)은 원본 영상(1600a)에서 사용자 B(2)의 얼굴 부분을 모자이크 처리하여 수정 영상(1600b)을 출력한다. 한편, 사용자 A(1)의 스마트폰(100-2)은 모자이크 처리 이외에 블러 처리, 배경화면과의 합성 또는 대체 이미지와의 합성 등의 방법으로 영상을 수정할 수도 있다.

도 23은 본 발명의 실시예에 따른, 피촬영자의 디바이스와의 통신을 통해 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 나타내는 순서도이다.

도 23을 참조하면, 2301 단계에서 촬영자의 디바이스는 피촬영자의 디바이스로 촬영자의 식별정보를 포함하는 촬영 통지를 전송한다. 예를 들어, 촬영자의 디바이스는 촬영 수행시 주변의 일정 거리 이내에 위치하는 디바이스를 검색하고, 검색된 디바이스에 촬영 통지를 전송할 수 있다. 디바이스의 검색 및 촬영 통지의 전송에는 와이파이 다이렉트 또는 블루투스와 같은 근거리 무선 통신이 사용될 수 있으며, 촬영 통지를 수신하기 위해서는 피촬영자의 디바이스에서 동의가 필요할 수도 있다.

2302 단계에서 피촬영자의 디바이스는 수신한 촬영 통지에 포함된 촬영자의 식별정보를 이용하여 촬영의 허용 여부를 판단한다.

판단 결과, 촬영이 허용되는 것으로 판단되면 2303 단계를 거쳐 2307 단계로 진행한다. 2307 단계에서 피촬영자의 디바이스는 촬영 허용 메시지를 촬영자의 디바이스로 전송한다. 이를 수신한 촬영자의 디바이스는 촬영된 영상에 촬영 제한 요소가 포함되지 않았다고 판단하고, 영상을 수정 없이 저장한다.

한편, 판단 결과, 촬영이 허용되지 않는 것으로 판단되면 2303 단계를 거쳐 2304 단계로 진행한다. 2304 단계에서 피촬영자의 디바이스는 피촬영자의 사진과 함께 촬영 불가 메시지를 촬영자의 디바이스로 전송한다.

2305 단계에서 촬영자의 디바이스는 촬영 영상에 포함된 인물들의 얼굴 인식을 수행한다.

2306 단계에서 촬영자의 디바이스는 촬영 영상에서 인식된 얼굴들을 수신한 피촬영자의 사진과 비교하고, 피촬영자의 사진과 일치하는 얼굴을 보호 처리한다. 즉, 피촬영자의 사진과 일치하는 얼굴에 모자이크 처리, 블러 처리, 배경화면과 합성 처리 또는 대체 이미지와 합성 처리 등을 수행한다.

도 24에는 피촬영자의 디바이스의 주소록을 이용하여 촬영 허용 여부를 판단하는 구체적인 실시예의 순서도를 도시하였다.

도 24를 참조하면, 2401 단계에서 촬영자의 스마트폰은 피촬영자의 스마트폰으로 촬영자의 식별정보를 포함하는 촬영 통지를 전송한다.

2402 단계에서 피촬영자의 스마트폰은 수신한 촬영자의 식별정보를 이용하여 주소록에 촬영자가 존재하는지 여부를 판단한다. 자세하게는, 촬영자의 식별정보에 포함된 촬영자의 이름 또는 사진을 주소록에 저장된 이름 또는 사진들과 비교한다. 한편, 피촬영자의 스마트폰은 촬영자의 식별정보를 피촬영자의 스마트폰에 저장된 앨범과 비교하거나, 피촬영자의 SNS 사용 기록을 분석함으로써 촬영 허용 여부를 판단할 수도 있다.

판단 결과, 주소록에 촬영자가 존재한다면 촬영이 허용되는 것으로 판단하고, 2406 단계로 진행하여 피촬영자의 스마트폰은 촬영 허용 메시지를 촬영자의 스마트폰으로 전송한다.

반면, 판단 결과, 주소록에 촬영자가 존재하지 않는다면 촬영이 허용되지 않는 것으로 판단하고 2403 단계로 진행한다.

2403 단계에서 피촬영자의 스마트폰은 피촬영자의 사진과 함께 촬영 불가 메시지를 촬영자의 스마트폰으로 전송한다.

2404 단계에서 촬영자의 스마트폰은 촬영 영상에 포함된 인물들의 얼굴 인식을 수행한다.

2405 단계에서 촬영자의 스마트폰은 촬영 영상에서 인식된 얼굴들을 수신한 피촬영자의 사진과 비교하고, 피촬영자의 사진과 일치하는 얼굴을 보호 처리한다. 즉, 피촬영자의 사진과 일치하는 얼굴에 모자이크 처리, 블러 처리, 배경화면과 합성 처리 또는 대체 이미지와 합성 처리 등을 수행한다.

도 25 내지 도 26은 본 발명의 실시예에 따른, 서버를 이용하여 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다.

도 25를 참조하면, 사용자 A(1)의 스마트폰(100-2)은 사용자 B(2) 및 사용자 C(3)를 포함하는 영상을 촬영하고, 촬영된 원본 영상을 서버(300)로 전송하며 영상 처리를 요청한다. 서버(300)는 수신한 원본 영상에 촬영 제한 요소가 포함되어 있는지를 판단한 후, 포함되어 있다고 판단된 경우 영상을 수정하여 사용자 A(1)의 스마트폰(100-2)으로 전송한다. 서버(300)가 영상에 촬영 제한 요소가 포함되었는지를 판단하는 구체적인 방법은 아래에서 도 26을 참조하여 자세히 설명한다.

도 26을 참조하면, 서버(300)는 사용자 A(1)의 스마트폰(100-2)으로부터 수신한 원본 영상(2600a)에서 사용자 B(2) 및 사용자 C(3)의 얼굴 인식을 수행한다. 서버(300)는 미리 저장된 프라이버시 보호 정보(2610)를 참조하여 인식된 인물들이 촬영이 허용되는지를 판단한다.

이때, 프라이버시 보호 정보(2610)는 적어도 하나의 사용자에 대해서 촬영이 허용되는 다른 사용자를 정의한다. 도 26을 참조하면, 프라이버시 보호 정보(2610)에는 각 사용자 별로 촬영이 허용되는 다른 사용자가 맵핑되어 있다. 예를 들어, 사용자 A는 다른 사용자의 촬영을 전혀 허용하지 않는다. 또한, 사용자 B는 사용자 A의 촬영만을 허용하며, 사용자 C는 사용자 B 및 사용자 D의 촬영을 허용한다.

서버(300)는 원본 영상(2600a)에서 인식된 사용자 B(2) 및 사용자 C(3)의 얼굴을 프라이버시 보호 정보(2610)와 비교하여 촬영 허용 여부를 판단한다. 프라이버시 보호 정보(2610)에 따르면, 사용자 B(2)는 사용자 A(1)의 촬영을 허용하고, 사용자 C(3)는 사용자 A(1)의 촬영을 허용하지 않으므로, 서버(300)는 사용자 C(3)를 촬영 제한 요소로 판단한다.

한편, 촬영 허용 여부의 판단을 위해 서버(300)는 원본 영상(2600a)의 촬영자가 사용자 A(1)임을 확인해야 하는데, 이를 위해 사용자 A(1)의 스마트폰(100-2)은 원본 영상(2600a)과 함께 사용자 A(1)의 식별 정보를 서버(300)로 전송할 수 있다.

서버(300)는 사용자 C(3)가 촬영 제한 요소임을 확인하면 원본 영상(2600a)에서 사용자 C(3)에 모자이크 처리하여 수정 영상(2600b)을 생성하고, 생성된 수정 영상(2600b)을 사용자 A(1)의 스마트폰(100-2)으로 전송한다. 한편, 서버(300)는 모자이크 처리 이외에 블러 처리, 배경화면 합성 처리 또는 대체 이미지 합성 처리를 통해 영상을 수정할 수도 있다.

도 27은 본 발명의 실시예에 따른, 서버를 이용하여 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 나타내는 순서도이다.

도 27을 참조하면, 2701 단계에서 사용자 디바이스에서 영상을 촬영한다.

2702 단계에서 사용자 디바이스는 촬영된 영상을 서버로 전송하며 영상 처리를 요청한다.

2703 단계에서 서버는 사용자 디바이스로부터 수신한 촬영 영상에 포함된 인물의 얼굴 인식을 수행한다.

2704 단계에서 서버는 미리 저장된 프라이버시 보호 정보를 참조하여 인식된 인물의 촬영 허용 여부를 판단한다. 즉, 서버는 수신한 촬영 영상의 촬영자에게 인식된 인물의 촬영이 허용되는지 여부를 판단한다. 프라이버시 보호 정보를 이용하여 촬영 허용 여부를 판단하는 구체적인 방법은 앞서 설명한 도 26을 참조한다.

2705 단계에서 서버는 인식된 인물이 사용자의 촬영을 허용하지 않는 것으로 판단하면, 2706 단계로 진행하여 수신한 촬영 영상에서 인물에 대한 보호 처리를 수행한다. 이어서 2707 단계에서 서버는 수정된 영상을 사용자 디바이스로 전송한다.

한편, 2705 단계에서 서버는 인식된 인물이 사용자의 촬영을 허용하는 것을 판단하면, 2707 단계로 진행하여 수신한 영상을 수정 없이 사용자 디바이스로 전송한다.

도 28 내지 도 31은 본 발명의 실시예에 따른, 서버를 이용하여 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다. 특히, 도 28 내지 도 31에 도시된 실시예에서 촬영을 수행하는 사용자 디바이스는 서버가 관리하는 암호화 키를 이용하여 촬영 영상을 암호화 한 후 서버로 전송함으로써, 촬영자는 서버에서의 처리를 거치지 않은 원본 영상에 접근할 수 없다.

도 28을 참조하면, 사용자 A(1)의 스마트폰(100-2)은 서버(300)로부터 암호화 키를 수신한다. 이때, 암호화 키는 서버(300)에 의해 관리된다. 사용자 A(1)의 스마트폰(100-2)은 사용자 B(2) 및 사용자 C(3)를 촬영하고, 서버(300)로부터 수신한 암호화 키를 이용하여 촬영 영상을 암호화한다. 이때, 사용자 A(1)의 스마트폰(100-2)은 촬영 후 즉시 영상을 암호화하므로 사용자 A(1)는 원본 영상에 접근할 수 없다.

도 29에 도시된 바와 같이 사용자 A(1)의 스마트폰(100-2)은 암호화된 영상을 서버(300)로 전송한다.

도 30을 참조하면, 서버(300)는 수신한 영상을 복호화한다. 영상의 암호화에 사용된 암호화 키는 서버(300)에서 관리되므로 서버(300)는 이를 이용하여 수신한 영상을 복호화 할 수 있다. 서버(300)는 복호화된 영상에서 얼굴 인식을 수행하여 사용자 B(2) 및 사용자 C(3)의 얼굴을 인식한다. 얼굴 인식 수행 후, 서버(300)는 미리 저장된 프라이버시 보호 정보(3010)를 이용하여 인식된 인물들의 촬영 허용 여부를 판단한다. 프라이버시 보호 정보(3010)를 이용하여 촬영 허용 여부를 판단하는 구체적인 방법은 앞서 도 26을 참조하여 설명한 바와 같다.

서버(300)는 프라이버시 보호 정보(3010)를 참조하여 촬영 허용 여부를 판단한 결과, 사용자 C(3)의 촬영이 허용되지 않는다고 판단되면 영상에서 사용자 C(3)를 모자이크 처리하여 영상을 수정한다.

이어서 서버(300)는 도 31에 도시된 바와 같이 수정된 영상을 사용자 A(1)의 스마트폰(100-2)으로 전송한다.

도 32는 본 발명의 실시예에 따른, 서버를 이용하여 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 나타내는 순서도이다.

도 32를 참조하면, 3201 단계에서 사용자 디바이스는 인물이 포함된 영상을 촬영한다.

3202 단계에서 사용자 디바이스는 서버로부터 수신한 암호화 키를 이용하여 촬영 영상을 암호화한다. 이때, 암호화 키는 서버에서 관리한다.

3203 단계에서 사용자 디바이스는 암호화된 영상을 서버로 전송한다.

3204 단계에서 서버는 사용자 디바이스로부터 수신한 영상을 복호화하고, 영상에 포함된 인물들의 얼굴 인식을 수행한다.

3205 단계에서 서버는 미리 저장된 프라이버시 보호 정보를 참조하여 인식된 인물의 촬영 허용 여부를 판단한다. 프라이버시 보호 정보를 참조하여 촬영 허용 여부를 판단하는 구체적인 방법은 앞서 도 26을 참조하여 설명한 바와 같다.

3206 단계에서 서버는 촬영이 허용되지 않는 인물에 대한 보호 처리를 수행한다. 예를 들어, 영상에 포함된 인물 중 촬영이 허용되지 않는 인물에 대하여 모자이크 처리, 블러 처리, 배경화면 합성 처리 또는 대체 이미지 합성 처리 등을 수행한다.

3207 단계에서 서버는 수정된 영상을 사용자 디바이스로 전송한다.

도 33 내지 도 37은 본 발명의 실시예에 따른, 촬영이 제한되는 사물을 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다.

도 33을 참조하면, 사용자 A(1)의 스마트폰(100-2)은 사용자 B(2) 및 조각품(20)을 포함하는 영상을 촬영한다. 사용자 A(1)의 스마트폰(100-2)은 촬영 영상을 서버(300)로 전송하며 영상 처리를 요청한다. 서버(300)는 수신한 영상에 촬영 제한 요소가 포함되어 있는지를 판단하고, 포함되어 있다고 판단되는 경우 영상을 수정하여 수정된 영상을 사용자 A(1)의 스마트폰(100-2)으로 전송한다. 이때, 서버(300)가 영상에 촬영 제한 요소가 포함되었는지 여부를 판단하고, 영상을 수정하는 실시예들을 도 34 내지 도 37에 도시하였다.

도 34를 참조하면, 서버(300)는 원본 영상(3400a)에 포함된 사물을 인식한다. 즉, 원본 영상(3400a)에 포함된 조각품(20)의 형태 및 색상 등의 특징을 추출하는 방식으로 조각품(20)을 인식한다. 서버(300)는 인식한 조각품(20)이 서버(300)에 저장된 촬영 제한 사물 데이터베이스에 존재하는지 여부를 판단한다. 촬영 제한 사물 데이터베이스에는 촬영이 제한되는 사물들의 사진이 저장되어 있다.

판단 결과, 촬영 제한 사물 데이터베이스에 인식된 조각품(20)이 포함되어 있다면, 서버(300)는 조각품(20)을 촬영 제한 요소로 판단한다. 서버(300)는 원본 영상(3400a)에서 조각품(20)을 모자이크 처리하여 수정 영상(3400b)을 생성하고, 생성된 수정 영상(3400b)을 사용자 A(1)의 스마트폰(100-2)으로 전송한다.

한편, 도 35 내지 도 37에는 다른 방법으로 영상을 수정하는 실시예들을 도시하였다. 도 35 내지 도 37에서 서버(300)가 영상에서 사물을 인식하고, 미리 저장된 촬영 제한 사물 데이터베이스를 이용하여 영상에 촬영 제한 요소가 포함되었는지 여부를 판단하는 방법은 도 34에서 설명한 바와 같다. 다만, 영상을 수정함에 있어서, 도 35에서는 블러 처리를 수행하여 수정 영상(3500b)을 생성한다. 도 36에서는 배경화면 합성 처리를 수행하여 수정 영상(3600b)을 생성하는데, 배경화면과 합성을 하는 구체적인 방법은 앞서 도 8에서 설명한 바와 같다. 도 37에서는 대체 이미지(3710)를 합성하여 수정 영상(3700b)을 생성한다.

도 38은 본 발명의 실시예에 따른, 촬영이 제한되는 사물을 포함하는 영상을 수정하는 방법을 나타내는 순서도이다.

도 38을 참조하면, 3801 단계에서 사용자의 디바이스에서 영상을 촬영한다.

3802 단계에서 사용자의 디바이스는 촬영 영상을 서버로 전송한다.

3803 단계에서 서버는 촬영 영상에 포함된 사물의 인식을 수행한다. 구체적으로 영상에 포함된 사물을 검출하고, 검출된 사물의 형태 및 색상과 같은 특징들을 추출한다.

3804 단계에서 서버는 인식된 사물이 미리 저장된 촬영 제한 사물 데이터베이스에 존재하는지 여부를 판단한다. 촬영 제한 사물 데이터베이스에는 촬영이 제한되는 사물의 목록이 저장되어 있다.

판단 결과, 인식된 사물이 촬영 제한 사물 데이터베이스에 존재하면, 3805 단계로 진행하여 서버는 인식된 사물에 대한 보호 처리를 수행하여 영상을 수정하고, 3806 단계에서 서버는 수정된 영상을 사용자 디바이스로 전송한다.

하지만 판단 결과, 인식된 사물이 촬영 제한 사물 데이터베이스에 존재하지 않는다면, 3806 단계로 진행하여 서버는 영상의 수정 없이 영상을 사용자 디바이스에 전송한다.

도 39 내지 도 41은 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 방법을 설명하기 위한 도면들이다.

도 39를 참조하면, 사용자 A(1)의 스마트폰(100-2)은 촬영이 제한되는 공연장에서 촬영을 하고, 촬영 영상을 서버(300)로 전송하며 영상 처리를 요청한다. 이때, 사용자 A(1)의 스마트폰(100-2)은 촬영 영상과 함께 위치 정보를 서버(300)로 전송한다. 전송되는 위치 정보는 스마트폰(100-2)이 촬영을 수행한 위치에 대한 정보로서, 스마트폰(100-2)은 내장된 GPS 등을 이용하여 촬영시의 위치를 확인하고, 확인된 위치를 서버(300)로 전송한다. 또는, 스마트폰(100-2)은 연결된 기지국 또는 AP(Access Point)의 위치 등을 이용하여 촬영시의 위치를 확인하는 등 다양한 방법으로 위치 정보를 생성할 수 있다.

서버(300)는 수신한 위치 정보를 이용하여 영상에 촬영 제한 요소가 포함되었는지 여부를 판단한다. 서버(300)가 영상에 촬영 제한 요소가 포함되었는지 여부를 판단하는 구체적인 방법은 아래에서 도 40 및 도 41을 참조하여 설명한다.

한편, 서버(300)는 영상에 촬영 제한 요소가 포함되어 있다면, 영상을 수정하고 수정된 영상을 사용자 A(1)의 스마트폰(100-2)으로 전송한다.

도 40을 참조하면, 서버(300)는 사용자 A(1)의 스마트폰(100-2)으로부터 수신한 위치 정보를 분석하여 촬영이 수행된 위치를 확인하고, 확인된 위치가 촬영이 제한되는 위치에 해당되는지를 판단한다. 즉, 서버(300)는 미리 저장된 촬영 제한 위치 데이터베이스에 확인된 촬영 위치가 포함되어 있는지를 판단한다. 이때, 촬영 제한 위치 데이터베이스에는 공연장, 박물관 또는 군사 보안 지역과 같이 일반인의 촬영이 제한되는 위치 정보가 저장되어 있다.

판단 결과, 확인된 촬영 위치가 촬영 제한 위치 데이터베이스에 포함되어 있다면, 서버(300)는 영상에 촬영 제한 요소가 포함된 것으로 판단하고 영상을 수정한다. 도 40에서 서버(300)는 원본 영상(4000a) 전체에 모자이크 처리를 수행하여 수정 영상(4000b)을 생성하였다.

도 41을 참조하면, 서버(300)는 사용자 A(1)의 스마트폰(100-2)으로부터 수신한 위치 정보를 분석하여 촬영이 수행된 위치를 확인하고, 확인된 위치가 촬영이 제한되는 위치에 해당되는지를 판단한다. 즉, 서버(300)는 미리 저장된 촬영 제한 위치 데이터베이스에 확인된 촬영 위치가 포함되어 있는지를 판단한다. 이때, 촬영 제한 위치 데이터베이스에는 공연장, 박물관 또는 군사 보안 지역과 같이 일반인의 촬영이 제한되는 위치 정보가 저장되어 있다.

판단 결과, 확인된 촬영 위치가 촬영 제한 위치 데이터베이스에 포함되어 있다면, 서버(300)는 영상에 촬영 제한 요소가 포함된 것으로 판단하고 영상을 수정한다. 도 41에서 서버(300)는 원본 영상(4100a) 전체에 대체 이미지를 합성하여 수정 영상(4100b)을 생성하였다. 한편, 이외에도 서버(300)는 영상 전체를 블러 처리하는 방식으로 영상을 수정할 수도 있다.

한편, 도 39 내지 도 41에서는 서버(300)가 영상을 수정하는 실시예를 설명하였으나, 이와 다르게 서버(300)는 단지 스마트폰(100-2)으로부터 수신한 위치 정보를 분석하여 촬영 제한 위치에 해당되는지 여부만을 판단하여 스마트폰(100-2)으로 전송하고, 이를 수신한 스마트폰(100-2)이 영상을 수정할 수도 있다.

도 42는 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 방법을 나타내는 순서도이다.

도 42를 참조하면, 4201 단계에서 사용자의 디바이스에서 영상을 촬영한다. 이때, 촬영에는 카메라 또는 캠코더 등의 일반적인 촬영 디바이스, 스마트 글래스 또는 스마트 워치 등의 웨어러블 디바이스, 스마트폰 또는 태블릿 등의 모바일 디바이스 중 어느 하나가 사용될 수 있으며, 이외에도 촬영이 가능한 다양한 디바이스가 사용될 수 있다.

4202 단계에서 사용자의 디바이스는 촬영시의 위치를 인식하고, 위치 정보를 서버로 전송한다. 이때, 사용자의 디바이스는 내장된 GPS 등을 이용하여 촬영시의 위치를 확인할 수 있다. 또는, 사용자의 디바이스는 연결된 기지국 또는 AP(Access Point)의 위치 등을 이용하여 촬영시의 위치를 확인할 수도 있다.

4203 단계에서 서버는 인식된 위치가 촬영 제한 위치에 포함되는지 여부를 판단한다. 자세하게는, 서버는 수신한 위치 정보를 분석하여 촬영이 수행된 위치를 확인하고, 확인된 위치를 미리 저장된 촬영 제한 위치 데이터베이스와 비교한다. 이때, 촬영 제한 위치 데이터베이스에는 공연장, 박물관 또는 군사 보안 지역과 같이 일반인의 촬영이 제한되는 위치 정보가 저장되어 있다.

판단 결과, 확인된 촬영 위치가 촬영 제한 위치 데이터베이스에 포함되어 있다면, 서버는 영상에 촬영 제한 요소가 포함된 것으로 판단하고 4204 단계로 진행한다. 4204 단계에서 서버는 영상을 수정하고, 수정된 영상을 사용자의 디바이스로 전송한다. 즉, 서버는 영상에 모자이크 처리, 블러 처리 또는 대체 이미지 합성 처리를 수행하여 수정 영상을 생성하고, 생성된 수정 영상을 사용자의 디바이스로 전송한다.

도 43 내지 도 45는 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 방법을 설명하기 위한 도면들이다. 특히, 도 43 내지 도 45에 도시된 실시예에서 사용자 디바이스는 촬영 금지 표지의 인식을 통해 촬영 제한 위치에 해당됨을 판단한다.

도 43을 참조하면, 사용자 A(1)의 스마트폰(100-2)은 사용자 B(2) 및 촬영 금지 표지(30)를 포함하는 영상을 촬영한다. 이때, 촬영 금지 표지(30)는 도 43에 도시된 바와 같이 촬영 금지를 의미하는 기호 및 문구로 구성될 수도 있고, 또는 이와 다른 형태로 구성될 수도 있다. 예를 들어, 촬영 금지의 의미를 포함하는 바코드, QR코드 또는 컬러 코드 형태로 구성될 수도 있다. 촬영 금지 표지가 바코드, QR 코드 또는 컬러 코드로 구성되면, 촬영자는 해당 표지가 촬영 금지 표지에 해당됨을 알 수 없으므로, 촬영자가 의도적으로 표지를 피해 촬영하는 것을 방지할 수 있다.

도 44를 참조하면, 사용자 A(1)의 스마트폰(100-2)은 원본 영상(4400a)에 포함된 촬영 금지 표지(30)를 인식한다. 자세하게는, 스마트폰(100-2)은 촬영 금지 표지(30)에 포함된 기호(30-1) 또는 문구(30-2) 중 적어도 하나를 인식한다. 촬영 금지 표지(30)를 인식한 스마트폰(100-2)은 영상이 촬영 제한 위치에서 촬영된 것으로 판단한다. 즉, 스마트폰(100-2)은 영상에 촬영 제한 요소가 포함된 것으로 판단한다. 따라서, 스마트폰(100-2)은 원본 영상(4400a) 전체를 모자이크 처리하여 수정 영상(4400b)을 생성한다.

도 45를 참조하면, 사용자 A(1)의 스마트폰(100-2)은 원본 영상(4500a)에 포함된 촬영 금지 표지(30)를 인식한다. 자세하게는, 스마트폰(100-2)은 촬영 금지 표지(30)에 포함된 기호(30-1) 또는 문구(30-2) 중 적어도 하나를 인식한다. 촬영 금지 표지(30)를 인식한 스마트폰(100-2)은 영상이 촬영 제한 위치에서 촬영된 것으로 판단한다. 즉, 스마트폰(100-2)은 영상에 촬영 제한 요소가 포함된 것으로 판단한다. 따라서, 스마트폰(100-2)은 원본 영상(4500a) 전체에 대체 이미지를 합성하여 수정 영상(4500b)을 생성한다.

도 46은 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 방법을 나타내는 순서도이다.

도 46을 참조하면, 4601 단계에서 사용자의 디바이스에서 영상을 촬영한다.

4602 단계에서 사용자의 디바이스는 영상에 포함된 객체들을 인식한다.

4603 단계에서 사용자의 디바이스는 인식된 객체 중 촬영 제한 표지가 존재하는지 여부를 판단한다. 판단 결과, 인식된 객체 중 촬영 제한 표지가 존재한다면, 4604 단계로 진행하여 사용자 디바이스는 영상을 수정한다. 이때, 사용자 디바이스는 영상 전체를 모자이크 처리, 블러 처리 또는 대체 이미지 합성 처리하는 방식으로 영상을 수정한다.

도 47 내지 도 49는 본 발명의 실시예에 따른, 프라이버시 보호 정보에 따라 인물의 촬영을 제한하는 실시예를 설명하기 위한 도면들이다.

도 47을 참조하면, 사용자 A(1)의 스마트폰(100-2)은 사용자 B(2) 및 사용자 C(3)를 포함하는 영상을 촬영한다. 촬영 후, 사용자 A(1)의 스마트폰(100-2)은 서버(300)로 촬영 영상을 전송하며 영상 처리를 요청한다. 이때, 사용자 A(1)의 스마트폰(100-2)은 서버(300)로부터 수신한 암호화 키를 이용하여 촬영 영상을 암호화 한 후 서버(300)로 전송할 수도 있다.

서버(300)는 미리 저장된 프라이버시 보호 정보(4710)를 이용하여 수신한 영상에 촬영 제한 요소가 포함되는지 여부를 판단한다. 만약, 수신한 영상이 암호화 된 영상이라면 서버(300)는 암호화 키를 이용하여 영상의 복호화를 수행한 후 촬영 제한 요소의 포함 여부를 판단한다. 이때, 프라이버시 보호 정보(4710)에는 각 사용자 별로 촬영이 제한되는 시간 및 위치가 맵핑되어 저장되어 있다.

한편, 프라이버시 보호 정보(4710)를 이용하여 영상에 촬영 제한 요소가 포함되었는지 여부를 판단하는 구체적인 방법은 아래에서 도 48 및 도 49를 참조하여 자세하게 설명한다.

서버(300)는 수신한 영상에 촬영 제한 요소가 포함되어 있다고 판단된 경우, 영상을 수정하고 수정된 영상을 사용자 A(1)의 스마트폰(100-2)으로 전송한다.

이하에서는 도 48 및 도 49를 참조하여, 서버(300)가 프라이버시 보호 정보(4710)를 이용하여 영상에 촬영 제한 요소가 포함되었는지 여부를 판단하고, 영상을 수정하는 구체적인 방법을 자세하게 설명한다.

도 48을 참조하면, 스마트폰(100-2)은 암호화 된 촬영 영상을 서버(300)로 전송한다. 이때, 스마트폰(100-2)은 영상과 함께 촬영이 수행된 위치에 대한 위치 정보도 서버(300)로 전송한다. 스마트폰(100-2)은 내장된 GPS를 이용하거나, 연결된 기지국 또는 AP의 위치를 이용하여 촬영이 수행되는 위치를 파악하고, 이를 위치 정보로서 서버(300)에 전송할 수 있다. 도 48에 도시된 실시예에서는 스마트폰(100-2)은 촬영 위치에 대한 위치 정보로서 “학교”를 서버(300)에 전송하였다.

도 49를 참조하면, 서버(300)는 수신한 영상을 복호화 한 후 영상에서 사용자 B(2) 및 사용자 C(3)에 대한 얼굴 인식을 수행한다. 서버(300)는 인식된 얼굴의 사용자에 대응되는 촬영 제한 시간 및 위치를 미리 저장된 프라이버시 보호 정보(4910)에서 확인한다. 프라이버시 보호 정보(4910)에는 각 사용자 별로 촬영이 제한되는 시간 또는 위치 중 적어도 하나가 저장되어 있다.

도 49에 도시된 프라이버시 보호 정보(4910)를 보면, 사용자 A는 24시부터 06시 사이에는 촬영을 허용하지 않으며, “집”에서의 촬영을 허용하지 않는다. 사용자 B는 22시부터 09시 사이에는 촬영을 허용하지 않으나, 촬영이 제한되는 위치는 설정하고 있지 않다. 사용자 C는 촬영이 제한되는 시간을 설정하지 않고, “학교”에서의 촬영을 허용하지 않는다.

서버(300)는 사용자 A(1)의 스마트폰(100-2)으로부터 수신한 위치 정보(“학교”)와 촬영 시각에 기초하여 영상에 촬영 제한 요소가 포함되었는지 여부를 판단한다. 이를 위해, 서버(300)는 사용자 A(1)의 스마트폰(100-2)으로부터 촬영 영상 수신시 촬영이 수행된 시각을 함께 수신할 수 있다.

도 49에서 서버(300)는 사용자 A(1)의 스마트폰(100-2)으로부터 수신한 위치 정보 및 시각 정보를 이용하여, 촬영이 수행된 위치 및 시각이 각각 “학교” 및 “21시”임을 확인한다.

서버(300)는 프라이버시 보호 정보(4710)를 참조하여 사용자 B(2)는 22시부터 9시 사이에 촬영이 제한되고, 위치에 대해서는 촬영 제한 조건이 없음을 확인한다. 서버(300)는 확인된 촬영 시각(“21시”)은 사용자 B(2)의 촬영 제한 시간대에 포함되지 않으므로 사용자 B(2)는 촬영이 제한되지 않는 것으로 판단한다. 즉, 서버(300)는 사용자 B(2)는 촬영 제한 요소가 아닌 것으로 판단한다.

한편, 서버(300)는 프라이버시 보호 정보(4710)를 참조하여 사용자 C(3)는 “학교”에서의 촬영이 제한되고, 시간에 대해서는 촬영 제한 조건이 없음을 확인한다. 서버(300)는 확인된 촬영 위치(“학교”)가 사용자 C(3)의 촬영 제한 위치에 포함되므로 사용자 C(3)는 촬영이 제한되는 것으로 판단한다. 즉, 서버(300)는 사용자 C(3)는 촬영 제한 요소에 해당되는 것으로 판단한다.

따라서, 서버(300)는 사용자 C(3)에 대해서만 모자이크 처리하여 영상을 수정한다.

도 50은 본 발명의 실시예에 따른, 프라이버시 보호 정보에 따라 인물의 촬영을 제한하는 실시예를 나타내는 순서도이다.

도 50을 참조하면, 5001 단계에서 사용자 디바이스에서 인물이 포함된 영상을 촬영한다. 이때, 촬영에는 카메라 또는 캠코더 등의 일반적인 촬영 디바이스, 스마트 글래스 또는 스마트 워치 등의 웨어러블 디바이스, 스마트폰 또는 태블릿 등의 모바일 디바이스 중 어느 하나가 사용될 수 있으며, 이외에도 촬영이 가능한 다양한 디바이스가 사용될 수 있다.

5002 단계에서 사용자 디바이스는 서버로부터 수신한 암호화 키를 이용하여 촬영 영상을 암호화 한다. 이때, 암호화 키는 서버에서 관리한다.

5003 단계에서 사용자 디바이스는 암호화된 영상 및 디바이스의 위치 정보를 서버로 전송한다.

5004 단계에서 서버는 수신한 영상을 복호화하고, 영상에 포함된 인물의 얼굴 인식을 수행한다. 구체적으로 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 특징을 추출하는 방식으로 얼굴 인식을 수행할 수 있다.

5005 단계에서 서버는 사용자 디바이스로부터 수신한 위치 정보 및 촬영 시각에 기초하여, 미리 저장된 프라이버시 보호 정보를 참조하여 인식된 인물의 촬영 허용 여부를 판단한다.

5006 단계에서 서버는 촬영이 허용되지 않는 인물에 대한 보호 처리를 수행한다. 즉, 서버는 영상에서 촬영이 허용되지 않는 인물을 식별할 수 없도록 모자이크 처리, 블러 처리, 배경화면 합성 처리 또는 대체 이미지 합성 처리 중 적어도 하나를 수행하여 영상을 수정할 수 있다.

5007 단계에서 서버는 수정된 영상을 사용자 디바이스로 전송한다.

도 51은 본 발명의 실시예에 따른 사용자 디바이스의 구성을 도시한 도면이다. 도 51을 참조하면, 본 발명의 실시예에 따른 사용자 디바이스(1000)는 사용자 인터페이스부(1100), 촬영부(1200), 저장부(1300), 통신부(1400) 및 제어부(1500)를 포함할 수 있다. 그리고, 제어부(1500)는 영상 분석부(1510) 및 영상 수정부(1520)를 포함할 수 있다.

한편, 본 발명의 실시예에 따른 사용자 디바이스(1000)는 앞서 설명한 바와 같이 스마트 글래스, 스마트 워치, 스마트폰, 태블릿, 카메라 또는 캠코더와 같이 촬영이 가능한 디바이스 중 하나일 수 있다.

사용자 인터페이스부(1100)는 사용자로부터 입력을 수신하고 사용자에게 화면을 표시하는 구성으로서, 디바이스의 종류에 따라 다양하게 구현될 수 있다. 예를 들어, 사용자 디바이스(1000)가 스마트폰이라면 사용자 인터페이스부(1100)는 터치 스크린을 포함할 수 있다.

촬영부(1200)는 스마트 글래스, 스마트 워치, 스마트폰 또는 태블릿 등에 내장된 카메라 모듈을 포함할 수 있다. 촬영부(1200)는 정지 영상 또는 동영상 등을 촬영하고, 촬영된 이미지를 제어부(1500)로 전송할 수 있다.

저장부(1300)는 촬영된 영상이 저장되거나, 또는 다양한 데이터가 저장되는 메모리를 포함할 수 있다. 예를 들어, 저장부(1300)에는 주소록, 사진, 동영상 또는 디바이스의 사용 기록 등이 저장될 수 있으며, 제어부(1500)에서 수정된 영상이 저장될 수도 있다.

통신부(1400)는 외부의 다른 디바이스 또는 서버와 유무선을 통해 데이터 통신을 수행할 수 있다.

제어부(1500)는 사용자 디바이스(1000)에 포함된 구성들의 동작을 제어하는 구성으로서, 특히 촬영 영상을 분석하여 영상에 촬영 제한 요소가 포함되었는지 여부를 판단하고, 촬영 제한 요소가 포함된 경우 영상을 수정한다. 제어부(1500)는 영상 분석부(1510) 및 영상 수정부(1520)를 포함할 수 있다.

영상 분석부(1510)는 영상 분석을 통해 촬영 영상에서 인물, 사물 또는 영상이 촬영된 위치를 인식하고, 디바이스의 사용자와 인식된 인물간의 관계(relations), 인식된 사물 또는 인식된 위치 중 적어도 하나에 기초하여 영상의 수정이 필요한지 여부를 판단할 수 있다. 특히, 영상 분석부(1510)는 저장부(1300)에 저장된 데이터를 이용하여 디바이스의 사용자와 인식된 인물이 서로 관련이 있는지 여부를 판단하고, 관련이 없다고 판단되면 영상의 수정이 필요한 것으로 판단할 수 있다.

예를 들어, 영상 분석부(1510)는 인식된 인물이 저장부(1300)에 저장된 주소록에 존재하는지를 확인하고, 인식된 인물이 주소록에 존재하지 않는다면 디바이스의 사용자와 인식된 인물이 서로 관련이 없는 것으로 판단할 수 있다.

또는, 영상 분석부(1510)는 인식된 인물이 저장부(1300)에 저장된 적어도 하나의 사진에 존재하는지를 확인하고, 인식된 인물이 저장된 적어도 하나의 사진에 존재하지 않는다면 디바이스의 사용자와 인식된 인물이 서로 관련이 없는 것으로 판단할 수 있다.

또는, 영상 분석부(1510)는 저장부(1300)에 저장된 데이터를 이용하여 디바이스의 사용자의 SNS(Social Networking Service) 사용 기록을 분석함으로써 디바이스의 사용자와 인식된 인물이 서로 관련이 있는지 여부를 판단할 수 있다.

또는, 영상 분석부(1510)는 통신부(1400)를 통해 외부 서버의 데이터베이스에 접근하여 인식된 사물 또는 위치의 촬영이 제한되는지 여부를 판단하고, 촬영이 제한된다면 영상의 수정이 필요한 것으로 판단할 수 있다.

또한, 영상 분석부(1510)는 촬영 영상에서 촬영 금지 표지를 인식하면, 영상이 촬영된 위치를 촬영이 제한되는 위치로 판단하고, 따라서 영상의 수정이 필요한 것으로 판단할 수 있다.

한편, 영상 수정부(1520)는 영상 분석부(1510)에서 영상의 수정이 필요하다고 판단된 경우 영상의 수정을 수행하는 구성이다. 영상 수정부(1520)는 영상에 포함된 인물, 사물 또는 영상 전체에 모자이크 처리, 블러(blur) 처리, 배경화면 합성 처리 또는 대체 이미지 합성 처리 중 적어도 하나를 수행할 수 있다. 영상 수정부(1520)가 영상을 수정하는 구체적인 예시는 앞서 설명한 도 7 내지 도 12를 참조한다.

한편, 상기 사용자 디바이스(1000)에 포함된 구성들은, 비록 도 51을 참조하여 설명하지 않은 동작일지라도, 앞서 도 1 내지 도 50을 참조하여 설명한 컨텐츠 재생 제어 방법을 실시하기 위한 동작들을 수행할 수 있다.

한편, 촬영된 영상이 수정되는 시점은 다양하게 설정될 수 있다. 예를 들어, 촬영 후 사용자 단말에 저장 전에 영상이 수정될 수 있다. 또는, 사용자 단말에는 원본 영상이 저장되고, 이후에 저장된 영상을 외부의 서버 또는 다른 단말로 전송할 때 영상이 수정될 수도 있다. 또는, 촬영을 수행하는 사용자 단말에는 영상을 저장하지 않고, 촬영된 영상을 바로 수정하여 외부의 서버 또는 다른 단말로 전송할 수도 있다. 이하에서는 이와 같이 영상의 수정 시점을 달리 하는 다양한 실시예들에 대해서 설명한다.

도 52는 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 촬영된 영상을 사용자 단말에 저장하기 전에 수정하는 실시예를 설명하기 위한 도면이다.

도 52의 왼편에는 스마트폰(100-2)에서 갤러리 앱이 실행되어 복수의 이미지들이 화면에 표시된 상태를 도시하였고, 복수의 이미지 중 어느 하나의 이미지(5210)를 터치하여 선택하는 경우, 오른편에 도시된 바와 같이 선택된 이미지(5210)가 확대 이미지(5220)로 표시된다.

도 52의 왼편에 표시되는 복수의 이미지들 중 선택된 이미지(5210)는 촬영이 제한되는 인물을 포함하고 있으며, 따라서 촬영이 제한되는 인물의 얼굴에 해당되는 영역(5211)은 모자이크 처리되어 있음을 알 수 있다. 또한, 오른편에 표시되는 확대 이미지(5220)에서도 촬영이 제한되는 인물의 얼굴에 해당되는 영역(5221)은 모자이크 처리되어 있다.

스마트폰(100-2)에서 영상을 촬영하고, 촬영된 영상을 스마트폰(100-2)에 저장하기 전에 촬영된 영상에 촬영 제한 요소가 있는지 판단하고, 촬영 제한 요소가 있다고 판단되는 경우 영상을 수정한 후 수정된 영상을 스마트폰(100-2)에 저장한다. 즉, 스마트폰(100-2)에는 원본 영상이 저장되지 않아 스마트폰(100-2)상에서 저장된 영상에 접근하더라도 수정된 영상만을 확인할 수 있다. 따라서, 본 실시예에 따를 경우 스마트폰(100-2)의 사용자 조차도 수정된 영상에만 접근이 가능하게 된다.

촬영 제한 요소가 포함되었는지 여부를 판단하고, 영상을 수정하는 구체적인 방법은 앞서 설명한 바를 참고한다.

도 53은 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 촬영된 영상을 사용자 단말에 저장하기 전에 수정하는 실시예를 설명하기 위한 순서도이다.

도 53을 참조하면, 5301 단계에서 사용자의 디바이스에서 영상을 촬영한다. 이때, 사용자의 디바이스는 스마트폰, 카메라 또는 태블릿 등과 같이 촬영이 가능한 다양한 디바이스일 수 있다.

5302 단계에서 사용자의 디바이스는 촬영된 영상에 포함된 인물, 사물 또는 영상이 촬영된 위치 중 적어도 하나를 인식한다. 이때, 영상에 포함된 인물, 사물 또는 영상이 촬영된 위치를 인식하는 구체적인 방법은 앞서 도 2를 참조하여 설명한 바를 참고한다.

5303 단계에서 사용자의 디바이스는 디바이스의 사용자와 인식된 인물간의 관계, 인식된 사물 또는 인식된 위치 중 적어도 하나에 기초하여 영상에 촬영 제한 요소가 포함되어 있는지 여부를 판단한다. 이때, 촬영 제한 요소의 포함 여부를 판단하는 구체적인 방법은 앞서 도 2를 참조하여 설명한 바를 참고한다.

5304 단계에서 사용자의 디바이스는 영상에 촬영 제한 요소가 포함되어 있는지 여부를 판단하고, 만약 포함되어 있다면 5305 단계로 진행하여 촬영된 영상을 수정하고, 수정된 영상을 사용자의 디바이스에 저장한다. 하지만, 판단 결과 영상에 촬영 제한 요소가 포함되어 있지 않다면, 5306 단계로 진행하여 사용자의 디바이스는 촬영된 영상을 수정 없이 저장한다.

도 54 및 55는 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 사용자 단말에 저장된 영상을 외부로 전송시에 수정하는 실시예를 설명하기 위한 도면들이다.

도 54의 왼편에는 스마트폰(100-2)에서 갤러리 앱이 실행되어 복수의 이미지들이 화면에 표시된 상태를 도시하였고, 복수의 이미지 중 어느 하나의 이미지(5410)를 터치하여 선택하는 경우, 오른편에 도시된 바와 같이 선택된 이미지(5410)가 확대 이미지(5420)로 표시된다.

도 54의 왼편에 표시되는 복수의 이미지들 중 선택된 이미지(5410)는 촬영이 제한되는 인물을 포함하고 있지만, 촬영이 제한되는 인물의 얼굴에 해당되는 영역(5411)에는 모자이크 처리가 되지 않았음을 알 수 있다. 또한, 오른편에 표시되는 확대 이미지(5420)에서도 촬영이 제한되는 인물의 얼굴에 해당되는 영역(5421)에는 모자이크 처리가 되어 있지 않다.

본 실시예에서 스마트폰(100-2)은 촬영 후 촬영된 영상을 수정 없이 저장하므로, 사용자는 스마트폰(100-2)의 갤러리 앱을 통해서 수정이 되지 않은 원본 영상에 접근할 수 있다.

하지만, 본 실시예에서는 스마트폰(100-2)에 저장된 영상을 외부의 서버 또는 다른 디바이스로 전송하는 경우, 저장된 영상에 촬영 제한 요소가 포함되어 있는지를 판단하고, 포함되어 있다면 영상을 수정한 후 외부로 전송한다.

도 55를 참조하면, 사용자가 스마트폰(100-2)의 갤러리 앱에 표시된 복수의 이미지들 중에서 어느 하나(5510)를 선택하고, 선택된 이미지(5510)를 공유하기 위한 센드 버튼(5530)을 선택하면, 스마트폰(100-2)은 저장된 원본 영상에 촬영 제한 요소가 포함되어 있는지를 판단하고, 포함되어 있다면 영상을 수정한 후 수정된 영상을 외부로 전송한다.

도 55에서 스마트폰(100-2)은 촬영이 제한되는 인물의 얼굴에 해당되는 영역(5521)이 모자이크 처리된 수정된 영상(5520)을 목적지로 지정된 서버(300)로 전송한다.

도 56은 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 사용자 단말에 저장된 영상을 외부로 전송시에 수정하는 실시예를 설명하기 위한 순서도이다.

도 56을 참조하면, 5601 단계에서 사용자의 디바이스에서 영상을 촬영한다. 이때, 사용자의 디바이스는 스마트폰, 카메라 또는 태블릿 등과 같이 촬영이 가능한 다양한 디바이스일 수 있다.

5602 단계에서 사용자 디바이스는 촬영된 영상을 사용자 디바이스 내부의 메모리에 저장한다.

5603 단계에서 사용자 디바이스는 사용자로부터 저장된 영상을 외부의 서버 또는 다른 디바이스로 전송하라는 요청을 수신한다.

5604 단계에서 사용자 디바이스는 저장된 영상에 포함된 인물, 사물 또는 영상이 촬영된 위치 중 적어도 하나를 인식한다. 이때, 영상에 포함된 인물, 사물 또는 영상이 촬영된 위치를 인식하는 구체적인 방법은 앞서 도 2를 참조하여 설명한 바를 참고한다.

5605 단계에서 사용자 디바이스는 디바이스의 사용자와 인식된 인물간의 관계, 인식된 사물 또는 인식된 위치 중 적어도 하나에 기초하여 영상에 촬영 제한 요소가 포함되어 있는지 여부를 판단한다. 이때, 촬영 제한 요소의 포함 여부를 판단하는 구체적인 방법은 앞서 도 2를 참조하여 설명한 바를 참고한다.

5606 단계에서 사용자 디바이스는 저장된 영상에 촬영 제한 요소가 포함되어 있는지 여부를 판단하고, 만약 포함되어 있다면 5607 단계로 진행하여 저장된 영상을 수정하고, 수정된 영상을 외부로 전송한다. 하지만, 판단 결과 영상에 촬영 제한 요소가 포함되어 있지 않다면, 5608 단계로 진행하여 사용자 디바이스는 저장된 영상을 수정 없이 외부로 전송한다.

도 57은 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 촬영된 영상을 사용자 단말에 저장하지 않고 바로 수정하여 외부로 전송하는 실시예를 설명하기 위한 도면이다.

도 57에는 서로 영상 통화를 수행하는 두 대의 스마트폰(100-2a, 100-2b)을 도시하였다.

영상 통화를 수행하는 경우 스마트폰(100-2a, 100-2b)은 특별한 요청이 없다면 영상 통화 화면을 저장하지는 않는다. 그러나, 영상 통화의 경우에도 촬영 제한 요소에 대한 수정의 필요성은 있기 때문에, 본 실시예에서 스마트폰(100-2a)은 촬영 영상을 저장 없이 바로 수정하여 다른 스마트폰(100-2b)으로 전송한다. 스마트폰(100-2b)에 표시된 영상 통화 화면(5710)을 참조하면, 영상 통화의 당사자의 얼굴 영역(5712)에는 아무런 수정이 가해지지 않았으나, 촬영이 제한되는 인물의 얼굴 영역(5711)은 모자이크 처리가 되어 있음을 알 수 있다.

도 58은 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 촬영된 영상을 사용자 단말에 저장하지 않고 바로 수정하여 외부로 전송하는 실시예를 설명하기 위한 순서도이다.

도 58을 참조하면, 5801 단계에서 사용자의 디바이스에서 영상을 촬영한다. 이때 사용자의 디바이스는 스마트폰, 카메라 또는 태블릿 등과 같이 촬영이 가능한 다양한 디바이스일 수 있다.

5802 단계에서 사용자의 디바이스는 촬영된 영상에 포함된 인물, 사물 또는 영상이 촬영된 위치 중 적어도 하나를 인식한다. 이때, 영상에 포함된 인물, 사물 또는 영상이 촬영된 위치를 인식하는 구체적인 방법은 앞서 도 2를 참조하여 설명한 바를 참고한다.

5803 단계에서 사용자의 디바이스는 디바이스의 사용자와 인식된 인물간의 관계, 인식된 사물 또는 인식된 위치 중 적어도 하나에 기초하여 영상에 촬영 제한 요소가 포함되어 있는지 여부를 판단한다. 이때, 촬영 제한 요소의 포함 여부를 판단하는 구체적인 방법은 앞서 도 2를 참조하여 설명한 바를 참고한다.

5804 단계에서 사용자의 디바이스는 영상에 촬영 제한 요소가 포함되어 있는지 여부를 판단하고, 만약 포함되어 있다면 5805 단계로 진행하여 촬영된 영상을 수정하고, 수정된 영상을 외부의 서버 또는 다른 디바이스로 전송한다. 하지만, 판단 결과 영상에 촬영 제한 요소가 포함되어 있지 않다면, 5806 단계로 진행하여 사용자의 디바이스는 촬영된 영상을 수정 없이 외부의 서버 또는 다른 디바이스로 전송한다.

도 59 내지 도 61은 본 발명의 다른 실시예에 따른, 특정 위치에서의 촬영이 제한되는 인물이 촬영된 영상을 수정하는 실시예를 설명하기 위한 도면들이다.

도 59를 참조하면, 사용자 A(1)의 스마트폰(100-2)은 동일한 인물(5911)에 대해서 촬영이 허가되는 장소(예로, 거리, 음식점 등)(5910a) 또는 촬영이 제한되는 장소(예로, 공연장, 박물관 또는 군사 보안 지역 등)(5920a)에 대한 영상을 촬영할 수 있다. 동일한 인물(5911)일지라도 촬영 위치에 따라서 촬영 제한 여부가 달라질 수 있다. 예를 들어, 연예인의 경우 공연장에서의 사진 촬영은 저작권 문제로 인하여 제한되지만, 거리에서의 사진 촬영은 제한되지 않을 수 있다. 사용자의(A1)의 스마트폰(100-2)은 촬영 영상을 서버(300)로 전송하여 영상 처리를 요청한다. 이 때, 사용자 A(1)의 스마트폰(100-2)는 촬영 영상과 함께 위치 정보를 서버(300)로 전송한다. 전송되는 위치 정보는 스마트폰(100-2)이 촬영을 수행한 위치에 대한 정보로서, 스마트폰(100-2)은 내장된 GPS 등을 이용하여 촬영시의 위치를 확인하고, 확인된 위치를 서버(300)로 전송할 수 있다. 또는, 스마트폰(100-2)은 연결된 기지국 또는 AP(Access Point)의 위치 등을 이용하여 촬영시의 위치를 확인하는 등 다양한 방법으로 위치 정보를 생성할 수 있다.

도 60을 참조하면, 서버(300)는 사용자 A(1)의 스마트폰(100-2)으로부터 수신한 위치 정보를 분석하여 촬영이 수행된 위치를 확인하고, 확인된 위치가 영상에 포함된 인물에 대한 촬영이 제한되는 위치에 해당되는지를 판단할 수 있다. 즉, 서버(300)는 미리 저장된 촬영 제한 위치 데이터베이스에 확인된 촬영 위치가 영상에 포함된 인물에 대한 촬영이 제한되는 위치로서 포함되어 있는지를 판단한다. 이때, 촬영 제한 위치 데이터베이스에는 사용자 별로 촬영이 제한되는 위치들이 저장되어 있을 수도 있고, 공연장, 박물관 또는 군사 보안 지역과 같이 일반인의 촬영이 제한되는 위치 정보가 저장되어 있을 수도 있다.

판단 결과, 원본 영상(5910a)이 촬영된 촬영 위치가 영상에 포함된 인물에 대한 촬영이 제한되는 위치가 아니라면, 서버(300)는 수정되지 않은 영상(5910b)을 사용자의 디바이스로 전송할 수 있다. 또는, 서버(300)는 영상이 수정될 필요가 없다는 메시지를 사용자의 디바이스로 전송할 수 있다.

한편, 판단 결과, 원본 영상(5920a)이 촬영된 촬영 위치가 영상에 포함된 인물에 대한 촬영이 제한되는 위치라면, 서버(300)는 원본 영상(5920a)에 촬영 제한 요소가 포함되어 있는 것으로 판단한다. 그리고, 서버(300)는 촬영이 제한되는 인물에 대응하는 영상의 일부를 수정할 수 있다. 구체적으로, 스마트폰(100-2)은 원본 영상(5920a)에서 촬영이 제한되는 인물(5911)의 얼굴 영역에 모자이크 처리를 수행하거나 대체 이미지를 합성하거나 또는 블러 처리하여 수정 영상(5920b)을 출력할 수 있다.

한편, 도 59 내지 도 60에서는 서버(300)가 영상을 수정하는 실시예를 설명하였으나, 이와 다르게 서버(300)는 단지 스마트폰(100-2)으로부터 수신한 위치 정보를 분석하여 촬영 제한 위치에 해당되는지 여부만을 판단하여 스마트폰(100-2)으로 전송하고, 이를 수신한 스마트폰(100-2)이 영상을 수정할 수도 있다.

한편, 도 59 내지 도 60에서는 피촬영자에 따라서 촬영이 제한되는 위치가 다르게 적용되는 실시예를 설명하였으나, 이와 다르게 모든 사용자에 대해서 촬영이 제한되는 위치는 동일하게 적용될 수도 있다. 즉, 촬영 영상에 포함된 인물과 관계 없이 촬영 제한 위치를 판단하고, 촬영 제한 위치에 해당된다고 판단되면 영상에 포함된 인물 또는 사물에 대응되는 영상의 일부를 수정할 수도 있다.

또는, 도 61에 도시된 바와 같이, 사용자 A(1)의 스마트폰(100-2)이 확인된 위치 정보를 분석하여 촬영이 수행된 위치를 확인하고, 확인된 위치가 촬영이 제한되는 위치에 해당되는지를 판단할 수도 있다. 즉, 스마트폰(100-2)은 스마트폰(100-2)의 저장부(1300)의 촬영 제한 위치 데이터베이스에 확인된 촬영 위치가 포함되어 있는지를 판단한다.

판단 결과, 원본 영상(5910a)이 촬영된 촬영 위치가 영상에 포함된 인물에 대한 촬영이 제한되는 위치가 아니라면, 스마트폰(100-2)은 영상을 수정되지 않은 영상(5910b)을 저장할 수 있다.

한편, 판단 결과, 원본 영상(5920a)이 촬영된 촬영 위치가 영상에 포함된 인물에 대한 촬영이 제한되는 위치라면, 스마트폰(100-2)은 원본 영상(5920a)에 촬영 제한 요소가 포함되어 있는 것으로 판단한다. 그리고, 스마트폰(100-2)는 촬영이 제한되는 인물에 대응하는 영상의 일부를 수정할 수 있다. 구체적으로, 스마트폰(100-2)은 촬 원본 영상(5920a)에서 영이 제한되는 인물(5911)의 얼굴 영역에 모자이크 처리를 수행하거나 대체 이미지를 합성하거나 또는 블러 처리하여 수정 영상(5920b)을 저장할 수 있다.

이와 같이, 인물 또는 사물을 촬영하는 경우에, 인물 또는 사물이 촬영된 촬영 위치에 따라서, 인물 또는 사물의 촬영이 제한될 수도 있고, 인물 또는 사물의 촬영이 제한되지 않을 수도 있다.

도 62는 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 방법을 나타내는 순서도이다.

도 62를 참조하면, 6201 단계에서 사용자의 디바이스에서 영상을 촬영한다. 이때, 촬영에는 카메라 또는 캠코더 등의 일반적인 촬영 디바이스, 스마트 글래스 또는 스마트 워치 등의 웨어러블 디바이스, 스마트폰 또는 태블릿 등의 모바일 디바이스 중 어느 하나가 사용될 수 있으며, 이외에도 촬영이 가능한 다양한 디바이스가 사용될 수 있다.

6202 단계에서 사용자의 디바이스는 촬영시의 위치를 인식한다. 이때, 사용자의 디바이스는 내장된 GPS 등을 이용하여 촬영시의 위치를 확인할 수 있다. 또는, 사용자의 디바이스는 연결된 기지국 또는 AP(Access Point)의 위치 등을 이용하여 촬영시의 위치를 확인할 수도 있다.

6203 단계에서 서버는 인식된 위치가 촬영 제한 위치에 포함되는지 여부를 판단한다. 또는, 사용자의 디바이스가 인식된 위치가 촬영 제한 위치에 포함되는지 여부를 판단할 수 있다. 구체적으로, 영상에 포함된 인물에 대한 촬영이 제한되는 위치에 해당되는지, 또는 피촬영자에 관계 없이 촬영이 제한되는 위치에 해당되는지를 판단할 수 있다. 이를 위해, 서버 또는 사용자의 디바이스는 수신한 위치 정보를 분석하여 촬영이 수행된 위치를 확인하고, 확인된 위치를 미리 저장된 촬영 제한 위치 데이터베이스와 비교한다. 이때, 촬영 제한 위치 데이터베이스에는 인물별로 촬영이 제한되는 위치 정보가 저장되거나, 또는 공연장, 박물관 또는 군사 보안 지역과 같이 일반인의 촬영이 제한되는 위치 정보가 저장되어 있다.

판단 결과, 인식된 촬영 위치가 촬영 제한 위치에 해당하면, 6204 단계에서 서버 또는 사용자의 디바이스는 영상에 촬영 제한 요소가 있는지 여부를 판단할 수 있다. 즉, 인식된 촬영 위치가 특정 인물에 대한 촬영이 제한되는 위치라면 촬영이 제한되는 특정 인물이 포함되어 있는지, 또는 인식된 촬영 위치가 모든 인물 또는 사물에게 촬영이 제한되는 위치라면 적어도 하나의 인물 또는 사물이 포함되어 있는지 여부를 판단할 수 있다. 영상에 촬영 제한 요소가 포함되어 있다면, 6205 단계에서 서버는 영상을 수정하고, 수정된 영상을 사용자의 디바이스로 전송할 수 있다. 또는, 사용자의 디바이스가 영상을 수정하고, 수정된 영상을 저장할 수 있다. 예를 들어, 서버 또는 사용자의 디바이스는 영상에 모자이크 처리, 블러 처리 또는 대체 이미지 합성 처리를 수행하여 수정 영상을 생성할 수 있다.

도 63 내지 도 66은 본 발명의 실시예에 따른, 사용자의 선택에 따라 촬영된 영상을 수정하는 실시예를 설명하기 위한 도면들이다.

도 63을 참조하면, 사용자 A(1)의 스마트폰(100-2)에서 사용자 B(2) 및 사용자 C(3)를 포함하는 영상을 촬영한다. 이어서, 사용자 A(1)의 스마트폰(100-2)은 촬영된 영상을 화면에 표시한다.

도 64 및 도 65는 각각 다른 방법에 의해 사용자가 촬영된 영상에서 보호 처리를 수행할 인물을 선택하면, 선택된 인물의 대응하는 영상의 일부가 수정되는 예들을 도시하였다. 여기에서, 사용자가 보호 처리를 수행할 인물을 선택하는 상황은, 예를 들어, 촬영된 영상이 스마트폰(100-2)의 저장부에 저장되거나 또는 외부 기기로 공유되기 전에 스마트폰(100-2)상에서 프리뷰 화면 또는 임시 화면으로 제공된 상태에서, 사용자가 촬영된 영상에서 보호 처리를 수행할 인물을 선택하는 상황이 될 수 있다.

도 64의 (a)를 참조하면, 스마트폰(100-2)은 촬영된 원본 영상(6400a)에서 얼굴 인식을 수행하여 사용자 B(2) 및 사용자 C(3)의 얼굴을 인식한다. 이어서, 스마트폰(100-2)은 사용자 B(2) 및 사용자 C(3)의 얼굴이 인식된 것을 나타내는 인식 결과를 제공할 수 있다. 인식 결과는, 예로, 시각적 피드백으로서 인식된 사용자 B(2) 및 사용자 C(3)의 얼굴 또는 얼굴의 외곽선을 하이라이트(예, 점멸 또는 채색 등)하여 표시하는 것이 될 수 있다. 이어서, 사용자가 사용자 B(2) 및 사용자 C(3) 중 어느 하나(C(3))를 선택하면, 스마트폰(100-2)은 선택된 사용자 C(3)에 대하여 보호 처리를 수행할 수 있다. 예를 들어, 스마트폰(100-2)은 선택된 사용자 C(3)의 식별이 불가능하도록 사용자 C(3)에 대응하는 영상의 일부를 수정할 수 있다. 자세하게는, 도 64의 (b)에 도시된 바와 같이, 스마트폰(100-2)은 사용자 C(3)의 얼굴 영역에 모자이크 처리를 수행하거나 대체 이미지를 합성하거나 또는 블러 처리하여 수정된 영상(6400b)을 화면에 표시할 수 있다.

다른 실시 예로, 도 65의 (a)를 참조하면, 스마트폰(100-2)은 촬영된 원본 영상에서 얼굴 인식을 수행하여 사용자 B(2) 및 사용자 C(3)의 얼굴을 인식한다. 이어서, 스마트폰(100-2)은 인식된 얼굴이 촬영이 제한되는 인물인지를 판단할 수 있다. 판단 결과, 사용자 B(2) 및 사용자 C(3)가 촬영이 제한되는 인물이면, 스마트폰(100-2)은 사용자 B(2) 및 사용자 C(3)에 대하여 보호 처리를 수행할 수 있다. 예를 들어, 스마트폰(1002)은 사용자 B(2) 및 사용자 C(3)의 식별이 불가능하도록 사용자 B(2)에 대응하는 영상의 일부 및 사용자 C(3)에 대응하는 영상의 일부를 수정할 수 있다. 자세하게는, 스마트폰(100-2)은 촬영이 제한되는 인물인 사용자 B(2) 및 사용자 C(3)의 얼굴 영역에 모자이크 처리를 수행하거나 대체 이미지를 합성하거나 또는 블러 처리하여 수정된 영상(6500a)을 화면에 표시할 수 있다. 이어서, 사용자가 사용자 B(2) 및 사용자 C(3) 중 어느 하나(B(2))를 선택하면, 스마트폰(100-2)은 선택된 사용자 B(2)의 보호 처리를 해제할 인물로 판단할 수 있다. 이어서, 스마트폰(100-2)은 선택된 사용자 B(2)의 식별이 가능하도록 사용자 B(2)에 대응하는 영상의 일부를 수정할 수 있다. 자세하게는, 도 65의 (b)에 도시된 바와 같이, 스마트폰(100-2)은 사용자 B(2)의 얼굴 영역에 모자이크 처리를 해제하거나 대체 이미지의 합성을 해제하거나 또는 블러 처리를 해제하여 수정된 영상(6500b)를 화면에 표시할 수 있다.

또 다른 실시 예로, 도 66의 (a)를 참조하면, 스마트폰(100-2)은 촬영된 원본 영상(6600a)에서 얼굴 인식을 수행하여 사용자 B(2) 및 사용자 C(3)의 얼굴을 인식한다. 이어서, 스마트폰(100-2)은 인식된 사용자 C(3)에 대하여 보호 처리의 수행 여부를 묻는 팝업 화면(6610)을 제공할 수 있다. 팝업 화면(6610)을 통해, 사용자가 보호 처리의 수행을 요청하는 버튼을 선택하면, 스마트폰(100-2)은 사용자 C(3)에 대하여 보호 처리를 수행할 수 있다. 그리고, 도 66의 (b)에 도시된 바와 같이, 스마트폰(100-2)은 사용자 C(3)의 얼굴 영역에 모자이크 처리를 하거나 대체 이미지를 합성하거나 또는 블러 처리를 하여 수정된 영상(6600b)를 화면에 표시할 수 있다.

전술한 사용자가 보호 처리를 수행할 인물을 선택할 수 있는 화면은, 영상이 촬영된 후에 스마트폰(100-2)이 촬영된 영상을 스마트폰(100-2)의 저장부에 저장하기 전에 표시될 수 있다. 또는, 스마트폰(100-2)이 촬영된 영상을 외부 기기(예로, 서버 또는 제3 자의 스마트폰)로 제공하기 전에 표시될 수 있다.

한편, 사용자에 의하여 보호 처리를 수행할 인물이 선택되면, 선택된 인물에 대한 정보는 스마트폰(100-2) 또는 서버(300)의 데이터베이스에 저장될 수 있다. 예를 들어, 선택된 인물의 사진이 촬영 제한 요소로서 저장될 수 있다. 이 경우, 추후 촬영된 영상에 사용자가 보호 처리를 수행한 인물이 있으면, 스마트폰(100-2)은 자동으로 보호 처리가 수행된 인물을 촬영이 제한되는 인물로 판단할 수 있다. 그리고, 스마트폰(100-2)은 상기 인물에 대응하는 영상에 영역에 모자이크 처리를 수행하거나 대체 이미지를 합성하거나 또는 블러 처리를 수행할 수 있다.

이와 같이, 사용자가 촬영을 제한할 인물을 선택하는 방법은, 스마트폰(100-2) 또는 서버(300)가 촬영된 영상의 인식된 얼굴에 대한 정보를 가지지 않은 상황에서 더욱 유용할 수 있다. 즉, 인식된 얼굴에 대한 정보가 없는 경우, 인식된 얼굴에 대하여 촬영을 제한하거나 촬영을 해제하는 등의 획일적인 처리를 수행하지 않고, 사용자의 선택에 의하여 인식된 얼굴의 처리를 결정함으로써 영상을 처리하는 사용자의 자유도가 더욱 증대될 수 있다.

도 67 및 도 68은 본 발명의 실시예에 따른, 사용자의 선택에 따라 촬영된 영상을 수정하는 방법을 나타내는 순서도이다.

도 67을 참조하면, 6701 단계에서 사용자의 디바이스에서 인물이 포함된 영상을 촬영한다. 이때 사용자의 디바이스는 스마트폰, 카메라 또는 태블릿 등과 같이 촬영이 가능한 다양한 디바이스일 수 있다.

6702 단계에서 사용자의 디바이스는 촬영된 영상에 포함된 인물의 얼굴 인식을 수행한다.

6703 단계에서 사용자의 디바이스는 촬영된 영상에서 얼굴이 인식된 것을 나타내는 인식 결과를 제공할 수 있다. 예를 들어, 사용자의 디바이스는 인식된 인물에 시각적 피드백이 적용된 화면을 표시할 수 있다.

6704 단계에서 인식 결과가 제공된 화면이 표시된 상태에서, 사용자의 디바이스는 사용자로부터 보호 처리가 필요한 인물을 선택 받을 수 있다.

사용자에 의하여 보호 처리가 필요한 인물이 선택되면, 6705 단계에서, 사용자 디바이스는 선택된 인물에 대한 보호 처리를 수행할 수 있다. 예를 들어, 사용자 디바이스는 선택된 인물이 영상에서 식별될 수 없도록 영상을 수정할 수 있다.

다른 실시 예로, 도 68을 참조하면, 6801 단계에서 사용자의 디바이스에서 영상을 촬영한다.

6802 단계에서 사용자의 디바이스는 촬영된 영상에 포함된 인물의 얼굴 인식을 수행한다.

6803 단계에서 사용자의 디바이스는 인식된 얼굴이 촬영이 제한되는 인물인지를 판단할 수 있다. 판단 결과, 인식된 인물이 촬영이 제한되는 인물이면, 6804 단계에서, 사용자의 디바이스는 촬영이 제한되는 인물에 대하여 보호 처리를 수행할 수 있다. 판단 결과, 인식된 인물이 촬영이 제한되지 않는 인물이면, 사용자의 디바이스는 보호 처리를 수행하지 않을 수 있다.

6805 단계에서, 사용자의 디바이스는 보호 처리가 수행된 인물을 표시할 수 있다. 예를 들어, 사용자의 디바이스는 촬영된 영상에서 인식된 인물에 대응하는 영역에 모자이크 처리를 수행하거나 대체 이미지를 합성하거나 또는 블러 처리를 수행할 수 있다.

6806 단계에서, 보호 처리가 수행된 인물이 표시된 상태에서, 사용자의 디바이스는 사용자로부터 보호 처리를 해제할 인물을 선택 받을 수 있다.

보호 처리를 해제할 인물이 선택되면, 6807 단계에서, 사용자의 디바이스는 보호 처리가 수행된 인물에 대하여 보호 처리를 해제할 수 있다. 예를 들어, 사용자의 디바이스는 촬영된 영상에서 선택된 인물에 대응하는 영역에 모자이크 처리를 해제하거나 대체 이미지의 합성을 해제하거나 또는 블러 처리를 해제할 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 예컨데 롬, 플로피 디스크, 하드디스크 등과 같은 마그네틱 저장매체, 예컨데 씨디롬, 디브이디 등과 같은 광학적 판독매체, 및 예컨데 인터넷을 통한 전송과 같은 캐리어 웨이브와 같은 저장매체를 포함한다.

1000: 사용자 디바이스 1100: 사용자 인터페이스부
1200: 촬영부 1300: 저장부
1400: 통신부 1500: 제어부

Claims (20)

1. 사용자 디바이스에 있어서,
   데이터가 저장되는 저장부; 및
   상기 사용자 디바이스에서 촬영되거나 또는 상기 사용자 디바이스가 외부로부터 수신한 영상에 포함된 인물을 인식하고, 상기 저장부에 저장된 데이터를 이용하여 상기 인식된 인물이 상기 사용자 디바이스의 사용자와 서로 관련이 없으면, 상기 인식된 인물의 식별이 불가능하도록 상기 인식된 인물에 대응하는 영상의 일부를 수정하는 제어부를 포함하는 사용자 디바이스.
2. 제1항에 있어서,
   상기 영상을 촬영하는 촬영부를 더 포함하는 사용자 디바이스.
3. 제1항에 있어서,
   상기 제어부는 상기 영상이 촬영된 위치가 촬영이 제한되는 위치인지를 판단하고, 촬영이 제한되는 위치인 경우 상기 인식된 인물에 대응하는 영상의 일부를 수정하는 것을 특징으로 하는 사용자 디바이스.
4. 제1항에 있어서,
   상기 저장부에 저장된 데이터가 주소록인 경우,
   상기 제어부는 상기 인식된 인물이 상기 주소록에 존재하지 않는다면, 상기 사용자와 상기 인식된 인물이 서로 관련이 없는 것으로 판단하는 것을 특징으로 하는 사용자 디바이스.
5. 제1항에 있어서,
   상기 저장부에 저장된 데이터가 적어도 하나의 사진인 경우,
   상기 제어부는 상기 인식된 인물이 상기 적어도 하나의 사진에 존재하지 않는다면, 상기 사용자와 상기 인식된 인물이 서로 관련이 없는 것으로 판단하는 것을 특징으로 하는 사용자 디바이스.
6. 제1항에 있어서,
   상기 제어부는 상기 저장부에 저장된 데이터를 이용하여 상기 사용자의 SNS(Social Networking Service) 사용 기록을 분석함으로써 상기 사용자와 상기 인식된 인물이 서로 관련이 있는지 여부를 판단하는 것을 특징으로 하는 사용자 디바이스.
7. 제1항에 있어서,
   상기 제어부는 외부 서버의 데이터베이스에 접근하여 상기 영상이 촬영된 위치가 촬영이 제한되는 위치인지를 판단하여, 촬영이 제한되는 위치인 것으로 판단되면 상기 영상의 일부를 수정하는 것을 특징으로 하는 사용자 디바이스.
8. 제1항에 있어서,
   상기 제어부는 상기 영상에서 촬영 제한 사물을 인식하면, 상기 영상이 촬영된 위치를 촬영이 제한되는 위치로 판단하는 것을 특징으로 하는 사용자 디바이스.
9. 제1항에 있어서,
   상기 제어부는 상기 영상의 일부에 수정이 필요하다고 판단되면, 상기 영상의 일부에 모자이크 처리, 블러(blur) 처리, 배경화면 합성 처리 또는 대체 이미지 합성 처리 중 적어도 하나를 수행하는 것을 특징으로 하는 사용자 디바이스.
10. 영상을 수정하는 시스템에 있어서,
    영상을 서버로 전송하며 영상 처리를 요청하는 사용자 디바이스; 및
    상기 사용자 디바이스로부터 수신된 영상에 포함된 인물을 인식하고, 상기 인식된 인물이 상기 사용자 디바이스의 사용자와 서로 관련이 없으면, 상기 인식된 인물의 식별이 불가능하도록 상기 인식된 인물에 대응하는 영상의 일부를 수정하고, 상기 사용자 디바이스로 수정된 영상을 전송하는 서버를 포함하는 시스템.
11. 제10항에 있어서,
    상기 서버는 미리 저장된 데이터를 이용하여 상기 영상이 촬영된 위치가 촬영이 제한되는 위치인지를 판단하고, 촬영이 제한되는 위치인 경우 상기 인식된 인물에 대응하는 영상의 일부를 수정하는 것을 특징으로 하는 시스템.
12. 제10항에 있어서,
    상기 서버는 상기 사용자 디바이스로부터 상기 영상이 촬영된 시간 및 위치를 수신하고, 미리 저장된 데이터를 이용하여 상기 수신한 시간 및 위치에서 상기 인식된 인물의 촬영이 제한되는지 여부를 판단하는 것을 특징으로 하는 시스템.
13. 제10항에 있어서,
    상기 사용자 디바이스는 상기 서버로부터 수신한 암호화 키를 이용하여 상기 영상을 암호화 한 후 상기 서버로 전송하며,
    상기 서버는 수신한 영상을 복호화 한 후 상기 영상에 포함된 인물에 대응하는 영상을 수정하는 것을 특징으로 하는 시스템.
14. 사용자 디바이스에 있어서,
    영상을 촬영하는 촬영부;
    촬영 수행시 피촬영자의 디바이스로 촬영 통지를 전송하고, 상기 피촬영자의 디바이스로부터 촬영 허용 여부를 수신하는 통신부; 및
    상기 촬영 허용 여부에 따라 상기 촬영된 영상을 수정하는 제어부를 포함하는 사용자 디바이스.
15. 사용자 디바이스에서 영상을 수정하는 방법에 있어서,
    영상에 포함된 인물을 인식하는 단계;
    상기 인식된 인물이 상기 사용자 디바이스의 사용자와 서로 관련이 있는지 여부를 판단하는 단계; 및
    상기 인식된 인물이 상기 사용자와 서로 관련이 없으면, 상기 인식된 인물의 식별이 불가능하도록 상기 인식된 인물에 대응하는 상기 영상의 일부를 수정하는 단계를 포함하는 방법.
16. 제15항에 있어서,
    상기 인식된 인물이 상기 사용자와 서로 관련이 있는지 여부를 판단하는 단계는,
    상기 영상이 촬영되는 위치가 촬영이 제한되는 위치인지를 판단하는 단계를 더 포함하고,
    상기 영상의 일부를 수정하는 단계는,
    상기 영상이 촬영되는 위치가 촬영이 제한되는 위치인 경우, 상기 영상의 일부를 수정하는 단계인 것을 특징으로 하는 방법.
17. 제15항에 있어서,
    상기 인식된 인물이 상기 사용자와 서로 관련이 있는지 여부를 판단하는 단계는,
    상기 사용자 디바이스에 저장된 주소록에 상기 인식된 인물이 존재하지 않는 경우, 상기 사용자와 상기 인식된 인물은 서로 관련이 없는 것으로 판단하는 단계인 것을 특징으로 하는 방법.
18. 제15항에 있어서,
    상기 인식된 인물이 상기 사용자와 서로 관련이 있는지 여부를 판단하는 단계는,
    상기 사용자 디바이스에 저장된 적어도 하나의 사진에 상기 인식된 인물이 존재하지 않는다면, 상기 사용자와 상기 인식된 인물이 서로 관련이 없는 것으로 판단하는 단계인 것을 특징으로 하는 방법.
19. 제15항에 있어서,
    상기 인식된 인물이 상기 사용자와 서로 관련이 있는지 여부를 판단하는 단계는,
    상기 사용자 디바이스에 저장된 데이터를 이용하여 상기 사용자의 SNS(Social Networking Service) 사용 기록을 분석함으로써 상기 사용자와 상기 인식된 인물이 서로 관련이 있는지 여부를 판단하는 단계인 것을 특징으로 하는 방법.
20. 제15항에 있어서,
    상기 영상의 일부를 수정하는 단계는,
    상기 영상의 일부에 모자이크 처리, 블러(blur) 처리, 배경화면 합성 처리 또는 대체 이미지 합성 처리 중 적어도 하나를 수행하는 단계를 포함하는 사용자 디바이스.

Images