KR102118284B1

KR102118284B1 - 이미지의 프라이버시 영역에서 이미지 데이터에 적용될 블러링의 정도에 대한 방법, 장치 및 시스템

Info

Publication number: KR102118284B1
Application number: KR1020190039542A
Authority: KR
Inventors: 니스트롬 요한; 유안 송; 아르도 브존
Original assignee: 엑시스 에이비
Priority date: 2018-05-03
Filing date: 2019-04-04
Publication date: 2020-06-09
Also published as: KR20190127545A; TWI771580B; US20190340731A1; US10755388B2; TW202004659A; JP2019220151A; EP3564900B1; JP6804584B2; CN110443744B; EP3564900A1; CN110443744A

Abstract

본 발명은 캡쳐된 이미지 데이터에서 개인 프라이버시를 보호하는 분야에 관한 것이다. 특히 본 발명은 이미지의 프라이버시 마스킹을 제어하기 위한 방법 및 장치에 관한 것이고, 상기 이미지의 프라이버시 영역에 적용될 블러링의 정도는 이미지 캡쳐 장치로부터 임계 거리 및 이미지에서 이러한 거리에서의 장면의 내용물의 공간 해상도에 의존한다.

Description

이미지의 프라이버시 영역에서 이미지 데이터에 적용될 블러링의 정도에 대한 방법, 장치 및 시스템{METHOD, DEVICE AND SYSTEM FOR A DEGREE OF BLURRING TO BE APPLIED TO IMAGE DATA IN A PRIVACY AREA OF AN IMAGE}

본 발명은 캡쳐된 이미지 데이터에서 개인 프라이버시를 보호하는 분야에 관한 것이다. 특히, 이미지 및/또는 비디오 콘텐츠의 프라이버시 마스킹(privacy masking)을 제어하기 위한 방법 및 장치에 관한 것이다.

안전함을 느끼고 안심할 권리는 사회에서 가장 중요한 기본적인 원칙 중 하나이고, 이는 감시 시스템이 유력한 법령에 따라 사용되는 한 중요한 기능을 한다. 프라이버시에 대한 감시의 의미에 관한 지속적인 토론이 있다. 네트워크 카메라 기술에서의 최근 발전으로 인해 감시를 제한하고 따라서 프라이버스를 보호하기 위해 구현할 수 있는 여러 가지 적용이 있다. 이러한 개발 중 하나는 프라이버시 마스킹(privacy masking)으로서, 이는 장면의 선택된 영역을 관찰하고 녹화하는 것으로부터 차단하거나 감출 수 있게 한다. 이는 장치의 좌표계와 함께 이동하기 때문에 이미지 캡쳐 장치(예를 들어, 비디오 카메라)의 시야(field of view)가 패닝(panning), 틸팅(tilting) 및 줌잉(zooming)을 통해 변화하는 경우에도 마스킹이 유지되게 한다. 프라이버시 마스킹은 캡쳐된 이미지의 프라이버시 영역 내의 픽셀을 흐리게 함으로써 달성될 수 있으므로, 이러한 영역에서의 특정 세부 사항(예를 들어, 사람의 얼굴)이 비디오 스트림을 보는 사용자에 의해 판독되거나 해석될 수 없다.

프라이버시 마스킹을 적용될 때, 가능한 최상의 방법으로 감시 목적을 위해 캡쳐된 비디오를 계속 사용할 수 있도록 필요 이상으로 프라이버시 영역에서의 이미지 데이터를 흐리게 처리하지 않도록 주의해야 한다. 이는 이미지 캡쳐 장치의 현재 설정 및 하드웨어로 인해 이미 존재하는 이미지의 흐림에 기초하여 이미지의 프라이버시 영역에 적용된 블러링의 정도를 제한함으로써 달성될 수 있다(예를 들어, 이미지 부분이 초점이 맞지 않거나 낮은 공간 해상도를 가짐).

미국 공개특허 US2015085163(Canon)호는 블러링의 정도를 제한하는 방법에 대한 하나의 해결책을 개시한다. 상기 문헌은 프라이버시 보호 타켓이 존재하는지, 즉 감지된 얼굴이 존재하는지를 결정하기 위해 이미지 데이터가 분석되는 방법을 개시한다. 현재 사용되는 F-값에 해당하는 초점 범위가 결정된다. 보호 타겟이 초점 범위 내에 있으면, 상대적으로 큰 흐림 양이 추가된다. 보호 타켓이 초점 범위 밖에 있으면, 이미 타겟이 어느 정도 흐려지기 때문에 더 낮은 블러링 양(또는 블러링 양이 없음)이 추가된다. 미국 공개특허 US2015085163호는 미리 결정된 룩-업-테이블(look-up-table)이 상이한 F-값 설정 및 최상의 초점 위치로부터의 거리에 필요한 추가된 블러링 양을 결정하는데 사용되는 것을 교시한다. 미국 공개특허 US2015085163호의 방법은 보호 타겟이 존재하는 이미지 영역의 블러링이 결정될 수 있기 전에, 보호 타겟이 결정되어야 하고, 이러한 타겟까지의 거리가 계산될 필요가 있기 때문에 복잡하다. 또한, 미리 결정된 룩-업-테이블은 방법의 유연성을 감소시키고 모든 카메라 시스템에 대한 특정 룩-업-테이블을 필요로 한다. 또한, 상이한 사용 경우에 프라이버시 영역에 존재하는 블러링의 양이 상이할 필요가 있다. 예를 들어, 자동차의 번호판을 흐리게 하는 것을 포함하는 사용 경우에 사람의 얼굴을 흐르게 하는 것을 포함하는 사용 경우와 비교하여 판독하는 것이 불가능하도록 블러링의 상이한 양이 요구될 수 있다.

따라서 이러한 맥락에서 개선이 필요하다.

상기 관점에서, 따라서 본 발명의 목적은 전술한 문제점들을 극복하거나 적어도 완화시키는 것이다. 특히, 목적은 이미지의 프라이버시 영역에서 이미지 데이터에 적용될 블러링의 정도를 결정하기 위한 개선된 방법을 제공하는 것이다.

본 발명의 제1 양태에 따르면, 이미지의 프라이버시 영역에서 이미지 데이터에 적용될 블러링의 정도를 결정하기 위한 방법이 제공되고, 상기 이미지는 장면을 묘사하고 이미지 캡쳐 장치에 의해 캡쳐되며, 상기 방법은:

상기 이미지의 상기 프라이버시 영역의 좌표에 관한 입력(input)을 수신하는 단계;

상기 장면에서 상기 이미지 캡쳐 장치로부터 임계 거리를 초과하여 위치된 상기 장면의 콘텐츠에 해당하는 이미지 데이터의 임계 공간 해상도에 관한 입력을 수신하는 단계-상기 이미지 데이터는 상기 이미지의 프라이버시 영역 내에 있음-;

상기 이미지 캡쳐 장치로부터 상기 임계 거리 이상에 위치된 상기 장면의 콘텐츠에 해당하는 상기 이미지의 상기 이미지 데이터의 최대 공간 해상도를 계산하는 단계;

상기 최대 공간 해상도와 상기 임계 공간 해상도 간의 차이를 계산하는 단계;

제1 차이가 제2 차이보다 큰 경우, 상기 제1 차이에 기초하여 결정된 블러링의 정도가 상기 제2 차이에 대해 결정된 블러링의 정도보다 크도록 상기 계산된 차이에 기초하여 블러링의 정도를 결정하는 단계;

상기 블러링의 정도를 상기 이미지의 상기 프라이버시 영역에서의 상기 이미지 데이터에 적용하는 단계를 포함한다.

본 발명에서 사용된 바와 같이, "이미지의 프라이버시 영역의 좌표에 관한 입력"은 일반적으로 이미지의 프라이버시 영역을 결정하기 위해 사용될 수 있는 임의의 입력을 의미한다. 입력은 예를 들어, GPS 좌표와 같은 전역 좌표(global coordinate) 또는 각도 범위(예를 들어, 35 - 45 °)와 같은 이미지 캡쳐 장치의 위치에 대한 좌표인 캡쳐된 장면의 실제 세계 좌표(worlds coordinates)를 기반으로 할 수 있다. 이러한 입력은 프라이버시 영역에 해당하는 이미지에서 좌표로 변환될 수 있다. 다른 실시 형태에 따르면, 상기 입력은 캡쳐된 이미지의 영역(좌표), 예를 들어 Y:40-80, X:100-500과 같은 픽셀 범위를 기술할 수 있다.

본 발명에서 사용된 바와 같이, "블러링의 정도(degree of blurring)"란 일반적으로 이미지 데이터가 흐려지는 양을 의미한다. 블러링은 이미지 데이터에서의 강도에서 급격한 변화(즉, 세부 사항)를 평균화하는 "블러링(blurring)" 또는 "평활화(smoothing)" 필터라고도 불리는 임의의 적합한 유형의 저역 통과 필터(low-pass filter)를 사용하여 수행될 수 있다. 결정된 블러링의 정도는 따라서 저역 통과 필터링된 이미지 데이터의 공간 해상도를 감소시킬 것이다. 블러링의 정도는 예를 들어, 평균 필터에서의 커널 크기 또는 가우스 필터에서의 가우스 반경을 결정할 수 있다.

본 발명에서 사용된 바와 같이, "임계 거리(threshold distance)"는 일반적으로 이미지 캡쳐 장치의 위치에 대한 거리 값, 예를 들어 7 미터, 30 미터, 0.9 미터 등(사용 경우에 기초함)을 의미한다.

상기 임계 공간 해상도는 상기 장면에서 상기 임계 거리 이상에 위치된 이미지에서의 물체에 대한 세부 사항의 허용된 선명도(sharpness)에 해당한다. 상기 임계 공간 해상도는 또한 착란원의 기준(circle of confusion criterion), 임계 각도 해상도(threshold angular resolution), 단위 길이 당 독립 픽셀 값의 수에 대한 임계치 등으로 불릴 수 있다. 상기 공간 해상도는 카메라와 같은 임의의 이미지 형성 장치가 물체의 작은 세부 사항을 구별하는 능력을 기술한다. 상기 임계 공간 해상도를 설정함으로써, 임계 거리 이상에서 허용되는 공간 해상도는 사용 경우에 기초할 수 있다. 예를 들어, 프라이버시 영역에 위치한 사람의 프라이버시를 보장하기 위해(즉, 장면에서의 특정 프라이버시 영역에서 임계 거리 이상), 허용된 (임계) 공간 해상도는 임계 거리에서 장면의 데시메터 당 1 픽셀일 수 있다. 이러한 공간 해상도에서, 사람의 얼굴을 인식할 수 없으므로, 사람의 프라이버시가 보장될 수 있다. 물론, 데시미터 당 2, 3, 10 등의 픽셀과 같은 다른 임계 공간 해상도가 적용될 수 있다.

최대 공간 해상도를 계산하는 단계는 당업자에게 공지된 임의의 알고리즘을 사용하여, 즉 이미지 캡쳐 장치의 현재 초점 곡선에 의해 제공된, 장면에서의 임계 거리 이상에서 콘텐츠에 대한 현재 최대 공간 해상도를 결정하도록 수행될 수 있다.

본 발명은 본 발명에서 제공된 방법을 사용함으로써, 상기 프라이버시 영역을 설정하는 것이 달성될 수 있고, 여기서 프라이버시 영역에 적용되는 블러링은 상기 이미지 캡쳐 장치로부터의 거리에 좌우되며, 이러한 거리에서 상기 장면의 공개 해상도 콘텐츠가 상기 이미지에서 갖는다. 이렇게 함으로써, 프라이버시 영역 내에 있지만 상기 임계 거리보다 이미지 캡쳐 장치에 더 가깝게 위치된 전경(foreground)에서의 물체(따라서 프라이버시 이유에 대한 인식의 불가능으로 흐려질 필요가 없음)가 어떤 경우에는 흐려지지 않을 수 있거나, 낮은 정도로 흐려질 수 있는데, 이는 이들 경우에서, 장면에서의 이미지 캡쳐 장치로부터 임계 거리를 초과하여 위치된 장면의 콘텐츠에 해당하는 이미지 데이터가 예를 들어 이미지 캡쳐 장치의 현재 초점 곡선 또는 피사계 심도(depth of field)로 인해 어느 정도로 흐려질 것이기 때문이다. 일부 경우에서, 임계 거리를 초과하는 콘텐츠의 고유한 블러링은 임계 공간 해상도 요건(예를 들어, 높은 줌 레벨 및/또는 전경에서의 물체에 대한 초점)을 충족시키기에 충분할 수 있으며, 추가적으로 블러링의 정도가 적용될 필요가 없을 수 있다(0의 블러링 정도). 다른 경우에서, 블러링의 낮은 정도만이 임계 거리를 초과하는 이미지 콘텐츠의 공간 해상도 요건을 충족하도록 적용될 필요가 있으므로, 전경에서의 물체가 여전히 인식 가능할 수 있다.

이미지 캡쳐 장치로부터의 임계 거리 이상에 위치된 장면의 콘텐츠에 해당하는 이미지의 이미지 데이터의 최대 공간 해상도와 임계 공간 해상도 간의 차이를 계산하고, 이러한 거리에 기초한 이미지의 프라이버시 영역에서의 이미지 콘텐츠에 적용될 여분의 블러링 정도를 결정함으로써, 상기 이점은 달성될 수 있다. 블러링의 정도(0 이상임)를 적용함으로써, 장면에서 이미지 캡쳐 장치로부터의 임계 거리 이상(및 이미지의 프라이버시 영역 내)에 위치된 장면의 콘텐츠에 해당하는 이미지 데이터의 공간 해상도는 임계 공간 해상도 이하로 감소될 것이다.

또한, 임계 공간 해상도에 관한 입력을 요구함으로써, 이러한 요건은 현재 사용 경우에 기반될 수 있다.

일부 실시 형태에 따르면, 계산된 차이가 0 또는 음인 경우, 블러링의 정도가 0으로 결정된다. 이런 경우, 이미지 캡쳐 장치로부터의 임계 거리 이상에 위치된 장면의 콘텐츠에 해당하는 이미지의 이미지 데이터의 선명도(초점)가 임계 공간 해상도를 충족시키기에 충분히 낮아서, 프라이버시 영역에서의 물체의 프라이버시(사용 경우에 기반함)를 보장한다. 결과적으로, 이미지 콘텐츠에 추가로 블러링의 정도가 적용될 필요가 없다. 이는 방법을 수행하는데 필요한 처리 능력을 감소시킬뿐만 아니라 임계 거리보다 이미지 캡쳐 장치에 더 가까이 위치한 물체를 인식할 가능성을 증가시키므로, 캡쳐된 이미지의 유용성을 향상시킨다.

일부 실시 형태에 따르면, 상기 방법은:

상기 차이가 임계 차이 이상인 경우, 블러링의 정도를 미리 결정된 값으로 결정하는 단계, 및

상기 차이가 0과 상기 임계 차이 사이일 때, 0과 상기 미리 결정된 값 사이의 값으로 블러링의 정도를 결정하는 단계를 더 포함하고, 상기 값은 상기 차이와 관련된다.

이러한 실시 형태에서, 최대 블러링 요인(미리 결정된 값)이 예를 들어 128*128 픽셀 블러링으로 구현될 수 있다. 0 차이와 임계치 차이 사이에서, 블러 링의 정도는 차이, 예를 들어 거리에 단계적으로 상관되는 계단 함수 또는 차이와 상관된 연속 함수에 기초하여 결정된다. 본 발명의 실시 형태는 상기 이미지 데이터에 적용될 블러링의 정도를 결정하는 유연한 방법을 제공할 수 있다.

일부 실시 형태에 따르면, 최대 공간 해상도를 계산하는 단계는 이미지 캡쳐 장치의 광학 시스템의 초점 거리, 이미지 캡쳐 장치의 광학 시스템의 F-값 및 이미지 캡쳐 장치의 이미지 센서의 픽셀 피치(pixel pitch)에 기초하여 수행된다.

본 발명에서 사용된 바와 같이, "이미지 캡쳐 장치의 광학 시스템"은 일반적으로 이미지 캡쳐 장치에 포함된 광학 렌즈 또는 렌즈 조립체를 의미한다.

본 발명에서 사용된 바와 같이, "픽셀 피치"는 일반적으로 이미지 캡쳐 장치의 이미지 센서에서 하나의 픽셀의 대략적인 폭을 의미하고, 예를 들어 수평 방향에서의 센서의 픽셀의 수로 나눠진 센서의 활성 영역의 폭을 얻어 계산된다. 따라서 픽셀 피치는 개별 픽셀 사이의 중심 간 거리로 정의될 수 있으며, 종종 마이크론으로 정의된다. 카메라의 이들 특성을 이용하여, 이미지 캡쳐 장치로부터의 거리에 기초하여, 이미지에서의 장면의 모든 콘텐츠의 공간 해상도를 정의하는 초점 곡선이 계산될 수 있다. 그런 다음, 이러한 곡선은 이미지 캡쳐 장치로부터의 임계 거리 이상에 위치된 장면의 콘텐츠에 해당하는 이미지의 이미지 데이터의 최대 공간 해상도를 계산하고, 임계 공간 해상도를 충족하기 위해 이미지의 프라이버시 영역에 적용될 필요가 있는 블러링의 정도를 추가로 결정하는데 사용될 수 있다.

일부 실시 형태에 따르면, 블러링의 정도를 이미지에 적용하는 단계는 가우스 필터를 적용하는 단계, 평균 필터(평균값 필터)를 적용하는 단계, 픽셀화 필터(pixelization filter)를 적용하는 단계의 목록 중 하나를 포함하고, 상기 블러링의 정도는 적용된 필터의 크기를 결정한다.

상기 블러링 정도는 커널 크기(kernel size) 또는 이들 필터에 대한 유사물을 정의할 수 있다. 필터의 다른 유형이 적용될 수 있다. 필터들의 조합이 또한 적용될 수 있다.

일부 실시 형태에 따르면, 상기 방법은 상기 프라이버시 영역이 상기 이미지의 적어도 임계 부분을 커버하는지를 결정하는 단계; 상기 이미지 캡쳐 장치의 초점 한계를 상기 임계 거리 이하로 설정하는 단계를 포함한다. 이러한 실시 형태에서, 상기 임계 거리에 대한 지식, 즉 이미지 캡쳐 장치로부터 이러한 거리 이상에 있는 물체가 프라이버시 이유 때문에 너무 높은 공간 해상도를 갖는 이미지 데이터로 나타내지 않아야 하며, 특히 프라이버시 영역이 40%, 50%, 75%, 90% 등과 같이 이미지의 더 큰 부분을 커버할 때, 이미지 캡쳐 장치의 초점 한계를 설정하는데 사용될 수 있다. 이 거리에 있는 물체는 해당 이미지 데이터가 어쨌든 흐려지기 때문에, 초점이 맞을 이유가 없다. 바람직하게, 이는 프라이버시를 보장하기 위해 요구되는 처리 능력을 감소시킬 수 있을 뿐만 아니라, 이미지 캡쳐 장치에 대한 초점의 설정을 단순화할 수 있다. 일부 실시 형태에 따르면, 프라이버시 영역은 이러한 실시 형태가 적용되기 위해 이미지의 중심 픽셀을 커버해야 하고, 이런 경우 캡쳐된 이미지의 관찰자에게 가장 관심있는 장면의 프라이버시 영역인 것을 추측할 수 있고, 카메라의 제한된 초점 능력이 따라서 부정적인 방식으로 캡쳐된 이미지의 유용성(감시 관점로부터)에 영향을 미치지 않을 것을 추측할 수 있기 때문이다.

일부 실시 형태에 따르면, 초점 한계를 설정하는 단계는 이미지 캡쳐 장치의 자동 초점(AF) 알고리즘의 초점 한계를 임계 거리 이하로 설정하는 단계를 포함한다. 바람직하게, AF만이 이미지 캡쳐 장치로부터 더 짧은 거리의 범위에서 초점을 탐색하면 되기 때문에, AF를 수행하는데 필요한 처리 능력이 감소될 수 있다. 또한, AF의 실행 속도가 빨라질 수 있다. 또한, "흥미로운" 물체(즉, 임계 거리를 초과하는 프라이버시 영역에 있지 않는 물체)에 대한 AF 초점의 기회가 증가하여, 감시 기능이 향상된다.

일부 실시 형태에 따르면, 초점 한계를 설정하는 단계는 초점 한계를 임계 거리에서 결정된 값을 뺀 값으로 설정하는 단계를 포함하고, 상기 값은 이미지 캡쳐 장치의 광학 시스템의 현재 초점 거리(줌 값), 이미지 캡쳐 장치의 렌즈 F-값 및 임계 공간 해상도에 기초하여 결정된다.

이미지 캡쳐 장치의 광학 시스템은 한번에 하나의 거리에서만 정확하게 초점을 맞출 수 있지만, 초점 거리의 양쪽에서 선명도의 감소가 완만해지므로, 피사계 심도(DOF) 내에서 불선명도(unsharpness)는 일반 관찰 조건 하에서 지각할 수 없다. 이는 실제 초점 거리(초점)를 초과하는 특정 거리에서의 콘텐츠가 초점 한계를 설정할 때 활용될 수 있는 캡쳐된 이미지 데이터에서 허용 가능하게 선명하게 나타난다(예를 들어 임계 공간 해상도보다 높은 공간 해상도를 가짐). 이미지 캡쳐 장치의 현재 줌 레벨(초점 거리), 이미지 캡쳐 장치의 카메라의 렌즈의 F-값에 기초하여, 임계 공간 해상도보다 높은 공간 해상도를 갖는 실제 초점 거리로부터의 거리가 결정될 수 있다. 따라서 결정된 거리가 초점 한계를 설정하는데 사용될 수 있다. 바람직하게, 이는 프라이버시를 보장하기 위해 요구되는 처리 능력을 감소시킬 수 있을 뿐만 아니라, 이미지 캡쳐 장치에 대한 초점의 설정을 단순화할 수 있다. 이러한 실시 형태는 AF의 실행 속도를 더 증가시킬 수 있다.

일부 실시 형태에 따르면, 전술한 바와 같이 초점 한계가 설정되면, 최대 공간 해상도를 계산하는 단계는 이미지 캡쳐 장치로부터 임계 거리에 위치된 장면의 콘텐츠에 해당하는 이미지의 이미지 데이터의 공간 해상도를 계산하는 단계로 이루어진다. 초점 한계를 임계 거리보다 이미지 캡쳐 장치에 가깝게 설정함으로써, 이미지 캡쳐 장치로부터 임계 거리를 초과하여 위치된 장면의 콘텐츠에 해당하는 이미지의 이미지 데이터는 이미지 캡쳐 장치로부터의 임계 거리에 위치된 장면의 콘텐츠와 비교하여 더 높은 공간 해상도를 가지지 않을 것임을 알 것이다. 결과적으로, 최대 공간 해상도를 계산하는 단계는 이미지 캡쳐 장치로부터의 임계 거리에 위치된 장면의 콘텐츠에 해당하는 이미지의 이미지 데이터의 공간 해상도를 계산하는 것으로 제한될 수 있다. 이러한 실시 형태는 이미지의 프라이버시 영역에서 이미지 데이터에 적용될 블러링의 정도를 결정하는데 필요한 처리 능력을 감소시킬 뿐만 아니라 방법을 단순화할 수 있다.

본 발명의 제2 양태에 따르면, 상기 목적은 처리 능력을 갖는 장치에 의해 실행될 때 제1 양태의 방법을 수행하도록 적용된 명령어들을 갖는 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨터 프로그램 제품에 의해 달성된다.

본 발명의 제3 양태에 따르면, 상기 목적은 장면을 묘사하고 이미지 캡쳐 장치에 의해 캡쳐되는 이미지의 프라이버시 영역에서 이미지 데이터에 적용될 블러링의 정도를 결정하기 위해 적용된 장치에 의해 달성되고, 상기 장치는:

상기 이미지의 상기 프라이버시 영역의 좌표에 관한 입력을 수신하고;

상기 장면에서 상기 이미지 캡쳐 장치로부터 임계 거리를 초과하여 위치된 장면의 콘텐츠에 해당하는 이미지 데이터의 임계 공간 해상도에 관한 입력을 수신하며-상기 이미지 데이터는 상기 이미지의 프라시버시 영역 내에 있음-,

상기 이미지 캡쳐 장치로부터 상기 임계 거리 이상에 위치된 상기 장면의 콘텐츠에 해당하는 상기 이미지의 이미지 데이터의 최대 공간 해상도를 계산하고;

상기 최대 공간 해상도와 상기 임계 공간 해상도 간의 차이를 계산하며;

제1 차이에 기초하여 결정된 상기 블러링의 정도가 제2 차이에 대해 결정된 상기 블러링의 정도보다 크도록 상기 계산된 차이에 기초하여 블러링의 정도를 결정하고;

상기 이미지의 프라이버시 영역에서 상기 이미지 데이터에 블러링의 정도를 적용하도록 구성된 프로세서를 포함한다.

본 발명의 제4 양태에 따르면, 상기 목적은:

장면의 데이터를 연속적으로 캡쳐하고, 상기 캡쳐된 데이터에 기초하여 일련의 이미지를 포함하는 비디오 스트림을 생성하는 제1 장치;

상기 제1 장치로부터 상기 일련의 이미지를 연속적으로 수신하도록 적용된 제3 양태에 따른 제2 장치;를 포함하는 시스템에 의해 달성된다.

일부 실시 형태에 따르면, 상기 제1 및 제2 장치는 이미지 캡쳐 장치에서 구현된다.

제2, 제3 및 제4 양태는 일반적으로 제1 양태와 동일한 특징 및 이점을 가질 수 있다. 본 발명은 달리 명시적으로 언급되지 않는 한 특징의 모든 가능한 조합에 관한 것이다.

본 발명의 상기 목적, 특징 및 이점뿐만 아니라, 추가적인 목적, 특징 및 이점은 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태에 대한 하기의 예시적이고 비-제한적인 상세한 설명을 통해 더 잘 이해될 것이며, 동일한 참조 번호는 유사한 요소에 대해 사용된다.
도 1은 장면을 묘사하고 프라이버시 영역을 포함하는 이미지를 도시한다.
도 2는 이미지 캡쳐 장치, 프라이버시 영역 및 프라이버시 임계 거리를 포함하는, 도 1의 장면을 위에서부터 도시한 것이다.
도 3-4는 예시적인 초점 곡선 및 실시 형태에 따른 최대 공간 해상도와 임계 공간 해상도 사이의 차이 계산을 도시한다.
도 5a-d는 각각 도 3-4에 따른 계산된 차이 및 이미지의 프라이버시 영역에 적용될 블러링의 정도 사이의 맵핑 함수의 일 실시 형태를 도시한다.
도 6은 실시 형태에 따른 이미지 캡쳐 장치의 초점 한계를 설정하기 위한 방법을 도시한다.
도 7은 실시 형태에 따른 이미지의 프라이버시 영역에서 이미지 데이터에 적용될 블러링의 정도를 결정하는 방법을 도시한다.
도 8은 실시 형태에 따른 이미지 캡쳐 장치의 초점 한계를 설정하기 위한 방법을 도시한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태를 상세히 설명한다. 본 발명에 개시된 시스템 및 장치는 작동 동안 설명될 것이다.

도 1은 장면(100)을 묘사하는 이미지를 나타낸다. 장면(100)은 복수의 물체(102, 104, 106, 108)를 포함한다. 이러한 예에서, 장면은 건물(108), 나무(106) 및 두 사람(102, 104)을 포함한다. 건물(108)은 프라이버시 제한을 가지며, 프라이버시 마스킹(예를 들어, 블러링)이 따라서 건물(108)을 나타내는 이미지 데이터를 필요로 하고, 예를 들어 빌딩을 나타내는 이미지 데이터는 세부 사항(프라이버시 제한에 따라)이 장면(100)을 나타내는 이미지에서 보이지 않는 정도까지 흐릿해져야 한다. 예를 들어, 프라이버시 제한은 건물(108)을 들어가는 사람의 신원이 감지될 수 없거나 건물(108)의 창을 통해 보이는 사람의 신원이 이미지의 관찰자에게 비공개로 유지되는 것으로 정의할 수 있다. 이러한 이유로, 프라이버시 영역(110)은 건물(108) 주위로 정의된다. 도 1에 도시된 바와 같이, 두 사람(102, 104)은 프라이버시 영역(110) 내부에 적어도 부분적으로 도시되지만, 건물(108) 앞에서 명확하게 위치하고 있다. 이는 건물(108)에 해당하는 이미지 데이터의 세부 사항(낮은 공간 해상도)을 제거하도록 적용되는 블러링이 두 사람(102, 104)에 해당하는 이미지 데이터에 영향을 미치는 것을 의미하고, 이는 블러링이 프라이버시 영역(110) 내의 모든 픽셀에 적용되기 때문이다.

본 발명에서 설명된 발명 개념을 사용하여, 임계 거리가 정의될 수 있으며, 이는 블러링이 얼마나 많이 이미지의 프라이버시 영역에 적용되어야 하는지를 결정하는데 사용될 수 있다. 도 2는 이러한 개념을 보여준다. 도 2는 상기로부터 보여지지만, 도 1의 이미지에서 묘사된 동일한 장면(100)을 도시한다. 도 1에 포함된 물체들(102-108)에 추가하여, 도 2는 또한 이미지 캡쳐 장치(200) 및 이미지 캡쳐 장치(200)의 시야(AOV)(202)를 도시한다. 이미지 캡쳐 장치(200)는 예를 들어 스틸 이미지 카메라인 비디오 카메라일 수 있다. 도 2에서, 프라이버시 영역(110)은 설명의 용이함을 위해 이미지 캡쳐 장치로부터 기인한 각도 범위로서 정의된다. 도 2는 또한 이미지 캡쳐 장치(200)로부터의 거리의 관점에서 프라이버시 영역(110)을 정의하는 것으로 여겨질 수 있는 임계 거리(204)를 포함한다. 그러나, 당업자가 이해하는 바와 같이, 나중에 결정된 블러링 인자를 적용할 때, 이는 예를 들어 도 1에 나타낸 바와 같이 프라이버시 영역(110) 내의 장면의 모든 콘텐츠에 영향을 미친다. 도 2는 도 1에서 가장 오른쪽 사람(104)이 임계 거리(204)로부터 아주 멀리 위치되는 반면에, 가장 왼쪽 사람(102)은 임계 거리(204)에 더 가깝게 위치되지만, 여전히 임계 거리(204)에 대해 이미지 캡쳐 장치(200)의 측에 있다. 프라이버시의 관점에서, 건물(108)을 나타내는 이미지 데이터의 공간 해상도는 프라이버시 요건을 충족시키기에 (사용 경우에 따라) 충분히 낮다. 그러나, 감시의 관점에서, 건물(108)과 비디오 캡쳐 장치(200) 사이의 물체(예를 들어, 사람(102, 104))가 가능한 한 많은 세부 사항으로 보여질 수 있다는 것이 중요할 수 있다. 본 발명의 개념은 이러한 문제에 대한 해결책을 제공한다.

도 3은 예를 들어 이미지 캡쳐 장치(200)의 초점 및 줌 값(초점 거리)에 의존하는 도 1 및 2의 비디오 캡쳐 장치(200)에 대한 두개의 상이한 초점 곡선(308a-b)의 개략도를 도시한다. 도 3의 그래프는 이미지 데이터가 해당하는 장면의 콘텐츠가 위치되는 이미지 캡쳐 장치로부터의 거리에 기초한 이미지 데이터의 공간 해상도를 도시한다. 즉, 그래프는 카메라로부터의 거리의 함수 또는 이미지에서의 심도로서의 공간 해상도를 나타낸다. 도 3의 예에서, 제1 곡선(308a)은 제1 줌 레벨에서 이미지 캡쳐 장치(200)에 대해 가장 왼쪽의 사람(102)이 초점에 있을 때 초점 곡선을 도시한다. 제2 곡선(308b)은 제1 줌 레벨보다 낮은 제2 줌 레벨에서 이미지 캡쳐 장치(200)에 대해 가장 오른쪽 사람(104)이 초점에 있을 때의 초점 곡선을 도시한다.

도 3의 그래프에서, 임계 공간 해상도(302)가 도시된다. 임계 공간 해상도(302)의 값은 프라이버시 영역(110)의 콘텐츠에 해당하는 이미지 데이터의 공간 해상도가 얼마나 클 수 있는지에 대한 한계를 설정한다. 다시 말해서, 임계 공간 해상도(302) 값은 장면에서의 이미지 캡쳐 장치로부터 임계 거리(204)를 초과하여 위치된 장면의 콘텐츠에 해당하는 이미지 데이터의 허용된 공간 해상도에 대한 한계를 설정하여(한계는 이미지의 프라이버시 영역(110) 내에 있는 이미지 데이터에 대해 설정됨), 상기 이미지 데이터에 대한 프라이버시 요건이 충족된다.

도 3의 그래프는 또한 임계 거리(204)를 나타낸다. 따라서 초점 곡선(308a-b)은 이미지 캡쳐 장치의 상이한 설정에 대해, 이미지에서의 심도에 따라(즉, 이미지 캡쳐 장치로부터의 거리) 이미지의 상이한 콘텐츠가 가질 공간 해상도를 도시한다. 제1 초점 곡선(308a)에 대해, 임계 거리(204)에서의 콘텐츠에 대한 공간 해상도는 양의 값(306a)을 갖는 임계 공간 해상도(302)와 상이하다. 이는 프라이버시 영역에 대한 프라이버시 요건이 충족되지 않음을 의미한다. 예를 들어, 이는 도 1-2에서의 건물(108)의 창문에 있는 사람들의 얼굴이 식별 가능하다는 것을 의미할 수 있다. 최대 공간 해상도와 임계 공간 해상도 사이의 이러한 차이(306a)에 기초하여, 블러링의 정도가 결정될 것이며(도 5a-d와 관련하여 이하에서 추가로 논의될 바와 같이), 이미지의 프라이버시 영역(110)에서 이미지 데이터에 적용된다.

제2 초점 곡선(308b)에 대해, 임계 거리(204)에서의 콘텐츠에 대한 공간 해상도는 음의 값(306b)을 갖는 임계 공간 해상도(302)와 상이하다. 이는 프라이버시 영역에 대한 프라이버시 요건이 실제로 충족됨을 의미한다. 예를 들어, 이는 건물(108)의 창문에 있는 사람들의 얼굴이 식별 가능하지 않다는 것을 의미할 수 있다(예를 들어, 공간 해상도는 임계 거리 이상에서 0.1 미터 당 1 픽셀 미만이거나, 사용 경우에 따라 2, 5 픽셀 미만임). 결과적으로, 프라이버시 영역(110)에 블러링이 적용될 필요가 없으며, 이는 물체(102, 104)에 해당하는 이미지 데이터가 감시/모니터링 목적으로 더 잘 사용될 수 있음을 의미할 수 있다.

도 3에서, 그래프는 초점 곡선(308a-b)의 피크(310a-b)가 임계 거리(204)보다 이미지 캡쳐 장치(200)에 더 근접한 것을 나타낸다. 이는 카메라의 초점(310a-b)이 예를 들어 임계 거리/1.5 또는 임계 거리/2에서 임계 거리와 이미지 캡쳐 장치(200) 사이에 있음을 의미한다. 이런 경우, 이미지 캡쳐 장치(200)로부터 임계 거리(204) 이상에 위치된 장면의 콘텐츠에 해당하는 이미지의 이미지 데이터의 최대 공간 해상도가 항상 임계 거리(204)에서 공간 해상도가 될 것이다. 그러나, 이는 항상 그런 것은 아니다. 도 4는 초점(310c)이 임계 거리(204)를 초과하는 예를 도시한다. 이런 경우, 최대 공간 해상도와 임계 공간 해상도(302) 사이의 차이는 이미지 캡쳐 장치(200)로부터의 초점(310c) 거리에서 공간 해상도, 즉 이미지를 캡쳐할 때 이미지 캡쳐 장치(200)의 광학 시스템의 초점 거리 사이의 차이(306c)일 것이다. 이러한 차이(306c)는 그런 다음 이미지의 프라이버시 영역(110)의 이미지 데이터에 적용될 블러링의 정도를 결정하는데 사용될 것이다.

이미지 캡쳐 장치로부터의 임계 거리 이상으로 위치된 장면에서의 물체에 대한 최대 공간 해상도는 본 출원서의 출원일에서 피사체에 대한 위키피디아에서 정의된 바와 같이 "착란원(circle of confusion)"이라는 용어의 계산을 위해 정의된 알고리즘을 사용하여 계산될 수 있다(https://en.wikipedia.org/wiki/Circle_of_confusion).

구체적으로, 초점이 맞지 않는 피사체에 대한 이미지 평면에서의 착란원의 직경을 계산하기 위한 방법 중 하나는, 먼저 물체 평면에서의 가상 이미지에서 블러 원(blur circle)착란원의 직경을 계산한 다음 시스템의 배율로 곱하는 것이고, 렌즈 방정식의 도움으로 계산된다. 착란원(CoC) 직경, 즉 블러 원의 직경(C)은 하기 수학식을 사용하여 계산될 수 있고:

[수학식 1]

여기서 C는 CoC의 직경이며, S1은 이미지 캡쳐 장치의 초점이고(예를 들어,도 3에서의 참조 번호 310a-b와 같은 초점 곡선이 절정에 달하는 거리), S2는 임계 거리이며(도 3에서의 참조 번호 204), N은 이미지 캡쳐 장치의 렌즈의 F-값이고, f는 이미지 캡쳐 장치의 광학 시스템의 초점 거리이다.

고려하면

[수학식 2]

여기서 th는 각도 해상도(angular resolution)이고, 작은 각에 대한 tan(th) = th의 근사치에 의해 다음과 같이 제공되며:

[수학식 3]

수학식 3이 임계 거리(S2)에서 평가되고, 임계 공간 해상도(th')를 감산함으로써, 블러링의 정도(B)(픽셀 단위)는 다음과 같이 계산될 수 있으며:

[수학식 4]

여기서 p는 이미지 캡쳐 장치의 이미지 센서의 픽셀 피치이고, S1은 이미지 캡쳐 장치와 임계 거리(S2) 사이이다(도 3에서 설명됨). S1이 S2를 넘어서는 경우(도 4에서 설명됨), B는 다음과 같이 계산될 수 있다:

[수학식 5]

수학식 1-5는 적용될 블러링의 정도를 계산하는 정확한 방법을 명시한다. 이는 도 5a에 개략적으로 도시되어 있으며, 블러링의 정도 및 최대 공간 해상도와 임계 공간 해상도 사이의 계산된 차이 사이의 연속적인 맵핑 함수(502)가 도시된다. 그러나, 맵핑 함수(502)는 도 5b에 도시된 바와 같이 미리 결정된 최대 블러링 정도를 포함할 수 있다. 이런 경우, 차이가 임계 차이(506) 이상일 때, 블러링의 정도는 미리 결정된 값(504)(예를 들어, 사용된 저역 통과 필터에 대한 128*128 픽셀의 커널 크기)으로 설정된다. 차이가 0과 임계 차이(506) 사이에 있을 때, 블러링의 정도는 0과 미리 결정된 값(504) 사이의 값으로 결정되며, 값은 차이와 관련된다. 도 5b에서, 0과 임계 차이(506) 사이에서, 맵핑 함수(502)는 도 5a에서와 같이 연속적이다. 도 5a에 도시 된 예에서와 같이, 0 이하의 차이에 대해, 블러링의 정도는 0으로 결정된다.

도 5c에서, 최대 블러링 정도(504)는 도 5b에서와 같이 여전히 적용된다. 그러나, 도 5c에서, 0과 임계 차이(506) 사이에서, 맵핑 함수(502)는 거리에 단계적으로 상관되는 계단 함수(step function)이다.

가장 간단한 형태에서, 계산된 차이와 결정된 블러링 요인(블러링 정도) 간의 맵핑 함수는 도 5d에 도시된 바와 같다. 0 이상의 차이에 대해, 미리 결정된 블러링의 정도(504)가 이미지의 프라이버시 영역에 적용된다. 차이가 0 이하이면, 블러링의 정도가 적용되지 않는다.

도 5a-5d에 도시된 모든 예에서, 제1 차이가 제2 차이보다 크면, 제1 차이에 기초하여 결정된 블러링의 정도는 제2 차이에 대해 결정된 블러링의 정도보다 크다.

도 7은 이미지의 프라이버시 영역에서 이미지 데이터에 적용될 블러링의 정도를 결정, 예를 들어 도 1-2에 도시된 시나리오를 위한 방법을 예로서 도시한다.

실시 형태에 따르면, 방법은 이미지의 프라이버시 영역의 좌표에 관한 입력을 수신하는 단계(S702)를 포함한다.

상기 방법은 장면에서 이미지 캡쳐 장치로부터의 임계 거리를 넘어 위치된 장면의 콘텐츠에 해당하는 이미지 데이터의 임계 공간 해상도에 관한 입력을 수신하는 단계(S704)를 더 포함한다.

임계 공간 해상도는 예를 들어, 이미지에서의 각각의 픽셀에 대한 각도 해상도의 형태(예를 들어, 1 ° 또는 0.5 °), 또는 특정 크기의 물체가 얼마나 많은 픽셀로 임계 거리에 의해 표시되어야 하는지를 기술하는 값의 형태(예를 들어, 1*1 미터 큰 물체에 대한 15*15 픽셀) 또는 공간 해상도의 임의의 다른 적절한 측정의 형태로 수신될 수 있다.

또한, 상기 방법은 예를 들어 수학식 3을 이용하거나 수신된 임계 공간 해상도의 방식에 기초한 수학식 3의 적용을 이용하여 이미지 캡쳐 장치로부터의 임계 거리 이상에 위치된 장면의 콘텐츠에 해당하는 아미지의 이미지 데이터의 최대 공간 해상도를 계산하는 단계(S706)를 포함한다.

그런 다음, 임계 공간 해상도 및 최대 공간 해상도는 최대 공간 해상도와 임계 공간 해상도 사이의 차이를 계산(S708)하기 위해 사용되며, 계산된 차이에 기초하여 블러링의 정도를 결정(S710)하여, 제2 차이보다 큰 제1 차이에 대해 제1 차이에 기초하여 결정된 블러링의 정도가 제2 차이에 기초하여 결정되는 블러링의 정도보다 더 크다. 결정된 블러링의 정도는 가우스 필터, 평균 필터 또는 픽셀화 필터를 사용하여 프라이버시 영역의 픽셀에 적용되며, 블러링의 정도는 적용된 필터의 크기를 결정한다.

그런 다음 결정된 블러링의 정도는 결정된 블러링의 정도에 따라 커널 크기로 저역 통과 필터를 적용함으로써, 이미지의 프라이버시 영역에 결정된다(S712).

도 3 및 도 4에서 설명된 바와 같이, 이미지 캡쳐 장치의 초점은 임계 거리를 넘어서고 임계 거리와 비교하여 이미지 캡쳐 장치와 더 근접할 수 있다. 임계 거리의 존재는 초점 한계가 임계 거리 이하로 설정될 수 있다는 점에서 이미지 캡쳐 장치의 초점 한계의 맥락에서 이용될 수 있다. 프라이버시의 관점에서, 초점이 임계 거리 이상인 경우 유리하지 않을 수 있고(전술한 바와 같이 이미지 캡쳐 장치로부터의 임계 거리 이상에 위치된 장면의 콘텐츠에 해당하는 이미지의 이미지 데이터의 공간 해상도를 증가시킬 것임), 초점 한계는 임계 거리 이하로 유리하게 설정될 수 있다. 이는 차례로 이미지 캡쳐 장치로부터의 임계 거리 이상에 위치된 장면의 콘텐츠에 해당하는 이미지의 이미지 데이터의 공간 해상도를 감소시킬 것이고, 따라서 프라이버시 영역에 적용될 필요가 있는 추가 블러링이 감소된다. 또한, 초점 한계를 설정함으로써, 이미지 캡쳐 장치의 자동 초점(AF)은 보다 신속하게 이루어질 수 있고 처리 전력이 덜 요구될 수 있으며, 이는 AF에 대한 가능한 범위가 감소되기 때문이다.

일부 실시 형태에 따르면, 초점 한계는 임계 거리에서 결정된 값을 뺀 값으로 설정된다. 이는 도 6에서 도시되고, 초점 한계(602)는 임계 거리(204)로부터의 거리(604)에서 설정된다. 전술한 바와 같이, 실제 초점을 초과하는 특정 거리에서의 콘텐츠는 캡쳐된 이미지 데이터에서 허용 가능한 정도로 예리하게 나타날 것이고(예를 들어, 피사계 심도(DoF)로도 알려진 임계 공간 해상도를 넘는 공간 해상도를 가짐), 이는 초점 한계를 설정할 때 이용될 수 있다. 결정된 값(604)은 전술한 바와 같이 초점 거리, F-값 및 임계 공간 해상도를 이용하여 계산된다.

전술한 바와 같이, 이미지의 프라이버시 영역에서 이미지 데이터에 적용될 블러링의 정도를 결정하는 방법과는 독립적으로 초점 한계의 설정 전략이 수행될 수 있다는 것을 알아야 한다. 이러한 독립적으로 수행되는 방법은 도 8에 도시된다.

가장 간단한 형태로, 이미지 캡쳐 장치의 초점 한계를 설정하는 방법은 이미지 캡쳐 장치에 의해 캡쳐된 이미지에 대한 프라이버시 요건과 관련된 프라이버시 임계 거리에 관한 입력을 수신하는 단계(S802)를 포함한다. 프라이버시 임계 거리는 전술한 것과 유사하게, 즉 프라이버시 요건이 적용되는 카메라로부터의 거리와 유사하게 정의될 수 있다.

상기 방법은 이미지 캡쳐 장치의 초점 한계를 임계 거리 이하로 설정하는 단계(S808)를 더 포함한다.

실시 형태에 따라 상기 방법은 도 6과 관련하여 전술한 바와 같은 DoF 개념을 더 이용할 수 있다. 이러한 실시 형태에서, 본 방법은 이미지 캡쳐 장치에 의해 캡쳐된 장면에서의 이미지 캡쳐 장치로부터의 임계 거리(204)를 넘어 위치되는 장면의 콘텐츠에 해당하는 이미지 데이터의 임계 공간 해상도에 관한 입력을 수신하는 단계(S804)를 더 포함한다.

임계 공간 해상도는 이후 프라이버시 임계 거리로부터의 소정의 거리에서 초점(초점)에 대해 이미지 캡쳐 장치(예를 들어 F-값의 현재 설정)에서 DoF를 계산하는데 사용될 수 있다. 전술한 바와 같이, 실제 초점을 초과하는 특정 거리에서의 콘텐츠는 캡쳐된 이미지 데이터에서 허용 가능한 정도로 예리하게 나타날 것이고(예를 들어, 피사계 심도(DoF)로도 알려진 임계 공간 해상도 이상의 공간 해상도를 가짐), 이는 초점 한계를 설정할 때 이용될 수 있다. DoF를 고려함으로써, 이미지 캡쳐 장치의 초점 한계는 프라이버시 임계로부터의 거리에서 설정될 수 있어, 프라이버시 임계 거리 이상에서의 공간 해상도가 항상 임계 공간 해상도보다 낮을 것이다. 프라이버시 임계 거리로부터 어떤 거리에서 초점 한계여야 하는지를 결정하는 것은 반복적인 과정일 수 있으며, 여기서 복수의 초점은 카메라에 대한 DoF의 계산에 사용되고(따라서 임계 공간 해상도는 착란원 기준을 정의하는데 사용됨), 허용 가능한 날카로운 영역이 임계 거리에 가장 가깝게 종료되는 초점은 이미지 캡쳐 장치에 대한 초점 한계로서 설정된다(S808).

다른 실시 형태에서, 임계 공간 해상도 및 이미지 캡쳐 장치의 설정에 의존하여, 초점 한계는 예를 들어 초점 한계의 미리 결정된 테이블에 기반하여 설정된다(S808).

상기에서 본 발명의 개념은 제한된 수의 예를 참조하여 주로 기술되었다. 그러나, 당업자라면 쉽게 이해할 수있는 바와 같이, 앞서 개시된 것들 이외의 다른 예들은 첨부된 청구 범위에 의해 한정된 본 발명의 개념의 범위 내에서 동일하게 가능하다.

Claims

이미지의 프라이버시 영역(110)에서 이미지 데이터에 적용될 블러링의 정도를 결정하기 위한 컴퓨터 구현 방법에 있어서, 상기 이미지는 장면(100)을 묘사하고 이미지 캡쳐 장치(200)에 의해 캡쳐되며,
상기 이미지의 프라이버시 영역의 좌표에 관한 입력을 수신하는 단계(S702);
상기 장면에서 상기 이미지 캡쳐 장치로부터의 임계 거리(204)를 넘어 위치된 장면의 콘텐츠에 해당하는 이미지 데이터의 임계 공간 해상도(302)에 관한 입력을 수신하는 단계(S704)-상기 이미지 데이터는 상기 이미지의 프라이버시 영역 내에 있음-;
상기 이미지 캡쳐 장치로부터 상기 임계 거리 이상에 위치된 상기 장면의 콘덴츠에 해당하는 상기 이미지의 상기 이미지 데이터의 최대 공간 해상도를 계산하는 단계(S706);
상기 최대 공간 해상도와 상기 임계 공간 해상도 간의 차이(306a-c)를 계산하는 단계(S708);
제1 차이가 제2 차이보다 큰 경우, 상기 제1 차이에 기초하여 결정된 블러링의 정도가 상기 제2 차이에 대해 결정된 블러링의 정도보다 크도록 상기 계산된 차이에 기초하여 블러링의 정도(502)를 결정하는 단계(S710);
상기 블러링의 정도를 상기 이미지의 프라이버시 영역에서의 상기 이미지 데이터에 적용하는 단계(S712);를 포함하는 방법.
제1항에 있어서, 상기 계산된 차이가 0 또는 음인 경우, 상기 블러링의 정도가 0으로 결정되는 것을 특징으로 하는 방법.
제2항에 있어서,
상기 차이가 임계 차이(506) 이상인 경우, 상기 블러링의 정도를 미리 결정된 값(504)으로 결정하는 단계(504), 및
상기 차이가 0과 상기 임계 차이 사이인 경우, 0과 상기 미리 결정된 값 사이의 값으로 상기 블러링의 정도를 결정하는 단계를 더 포함하고, 상기 값은 상기 차이와 관련되는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 최대 공간 해상도를 계산하는 단계는 상기 이미지 캡쳐 장치의 광학 시스템의 초점 거리, 상기 이미지 캡쳐 장치의 상기 광학 시스템의 F-값 및 상기 이미지 캡쳐 장치의 이미지 센서의 픽셀 피치에 기초하여 수행되는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 블러링의 정도를 상기 이미지에 적용하는 단계는 가우스 필터를 적용하는 단계, 평균 필터를 적용하는 단계, 픽셀화 필터를 적용하는 단계의 목록 중 하나를 포함하고;
상기 블러링의 정도는 상기 적용된 필터의 크기를 결정하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 프라이버시 영역이 상기 이미지의 적어도 하나의 임계 부분을 커버하는 것을 결정하는 단계,
상기 이미지 캡쳐 장치의 초점 한계를 상기 임계 거리 이하로 설정하는 단계(S808)를 더 포함하는 것을 특징으로 하는 방법.
제6항에 있어서, 상기 초점 한계를 설정하는 단계는 상기 이미지 캡쳐 장치의 자동 초점 알고리즘의 초점 한계를 상기 임계 거리 이하로 설정하는 단계를 포함하는 것을 특징으로 하는 방법.
제6항에 있어서, 상기 초점 한계를 설정하는 단계는:
상기 초점 한계(602)를 결정된 값(604)을 뺀 임계 거리로 설정하는 단계를 포함하고, 상기 값은 상기 이미지 캡쳐 장치의 광학 시스템의 현재 초점 거리, 상기 이미지 캡쳐 장치의 광학 시스템의 F-값 및 상기 임계 공간 해상도에 기초하여 결정되는 것을 특징으로 하는 방법.
제6항에 있어서, 상기 최대 공간 해상도를 계산하는 단계는 상기 이미지 캡쳐 장치로부터 상기 임계 거리에 위치된 상기 장면의 콘텐츠에 해당하는 상기 이미지의 이미지 데이터의 공간 해상도를 계산하는 단계로 이루어지는 것을 특징으로 하는 방법.
처리 능력을 갖는 장치에 의해 실행될 때 제1항의 방법을 수행하도록 적용된 명령어들을 갖는 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨터 프로그램 제품.
이미지의 프라이버시 영역(110)에서 이미지 데이터에 적용될 블러링의 정도(502)를 결정하기 위해 적용된 장치에 있어서, 상기 이미지는 장면(100)을 묘사하고 이미지 캡쳐 장치(200)에 의해 캡쳐되며,
상기 이미지의 상기 프라이버시 영역의 좌표에 관한 입력을 수신(S702)하고;
상기 장면에서 상기 이미지 캡쳐 장치로부터 임계 거리(204)를 넘어 위치된 상기 장면의 콘텐츠에 해당하는 이미지 데이터의 임계 공간 해상도(302)에 관한 입력을 수신(S704)하며-상기 이미지 데이터는 상기 이미지의 상기 프라이버시 영역 내에 있음-;
상기 이미지 캡쳐 장치로부터 상기 임계 거리 이상에 위치된 상기 장면의 콘텐츠에 해당하는 상기 이미지의 상기 이미지 데이터의 최대 공간 해상도를 계산(S706)하고;
상기 최대 공간 해상도와 상기 임계 공간 해상도 사이의 차이(306a-c)를 계산(S708)하며;
제1 차이가 제2 차이보다 큰 경우, 상기 제1 차이에 기초하여 결정된 블러링의 정도가 상기 제2 차이에 대해 결정된 블러링의 정도보다 크도록 상기 계산된 차이에 기초하여 블러링의 정도(502)를 결정(S710)하고;
상기 블러링의 정도를 상기 이미지의 프라이버시 영역에서의 상기 이미지 데이터로 적용(S712)하도록 구성된 프로세서를 포함하는 장치.
장면의 데이터를 연속적으로 캡쳐하고, 상기 캡쳐된 데이터에 기초하여 일련의 이미지를 포함하는 비디오 스트림을 생성하는 제1 장치;
상기 제1 장치로부터 상기 일련의 이미지를 연속적으로 수신하도록 적용된 제11항에 따른 제2 장치;를 포함하는 시스템.
제12항에 있어서, 상기 제1 및 제2 장치는 이미지 캡쳐 장치에 구현되는 것을 특징으로 하는 시스템.