KR102601432B1 - 이미지 또는 비디오에서 관심 물체를 강조하는 방법 - Google Patents

Abstract

디지털 이미지(들)에서 식별 가능한 다른 사람의 무결성을 손상시키지 않으면서, 보다 리소스-효율적이고 신뢰할 수 있으며 현장 내에서 알려진 기술에 비해 빠른 방식으로 인간과 같은 관심 물체를 강조하기 위해 하나 이상의 디지털 이미지를 처리하는 방법을 제공한다.

Description

이미지 또는 비디오에서 관심 물체를 강조하는 방법{METHOD OF HIGHLIGHTING AN OBJECT OF INTEREST IN AN IMAGE OR VIDEO}

본 발명은 비디오 처리 분야에 관한 것으로, 특히 다른 물체를 마스킹하면서 이미지의 관심 물체를 강조하기 위해 비디오를 처리하는 방법에 관한 것이다.

공공 장소에서의 카메라 감시는 범죄 예방에 강력한 보안 효과를 제공하며 시민들에게 안전감을 제공한다. 그러나, 모든 사람에 대해 무결성(integrity)에 대한 권리를 가지면서 감시와 균형을 이루는 것이 바람직하다. 이러한 목적을 위해 법률이 사용될 수 있다. 이러한 법률의 예로는 EU에 유효한 일반 개인정보 보호법(GDPR)이 있다. 일반 개인정보 보호법에 따르면, 사람은 비디오 데이터와 같이 회사가 보유하고 있으며 해당 사람에 대한 식별자(person identifier)를 포함하는 모든 데이터를 받을 권리가 있다. 비디오의 경우, 사람 식별자는 얼굴 또는 다른 신체 부위일 수 있지만, 라이센스 번호판과 같이 사람과 관련될 수 있는 물체일 수도 있다.

비디오를 요청하는 사람에게 비디오를 전달하는 경우, 문제가 있다. 비디오 시퀀스에서 볼 수 있고 잠재적으로 식별 가능한 다른 사람의 신원(identify)을 밝히지 않으려면, 이들 다른 사람을 제거하거나 감추거나 마스킹(masking)할 필요가 있다. 이러한 목적을 위해, 관심있는 사람 이외의 모든 사람을 마스킹하기 위해 비디오를 검토해야 할 수도 있다. 물체 인식은 처리를 빨리할 수 있다. 그러나, 군중, 청중, 자동차 교통, 프라이버시 마스킹과 같은 많은 물체를 포함하는 이미지 시퀀스에서, 이미지에서의 모든 물체의 마스킹을 보장하는 것은 계산적으로 매우 힘들 수 있다. 이미지에서 흥미로운 사람 이외의 모든 사람이 마스킹되는 것을 보장할 필요가 있는 GDPR의 엄격한 요건을 추가하면, 물체를 놓치지 않도록 프라이버시 마스킹의 검증이 추가될 수 있다.

GDPR 및 유사한(미래 포함) 법률을 통해, 마스킹된 비디오 시퀀스를 빠르고 안정적이며 리소스-효율적인 방식(resource-efficient manner)으로 제공할 필요성이 증가하고 있다.

본 발명의 목적은 디지털 이미지(들)에서 식별 가능한 다른 사람의 무결성을 손상시키지 않으면서, 보다 리소스-효율적이고 신뢰할 수 있으며 현장 내에서 알려진 기술에 비해 빠른 방식으로 인간과 같은 관심 물체를 강조하기 위해 하나 이상의 디지털 이미지를 처리하는 방법을 제공하는 것이다.

제1 양태에 따르면, 이들 및 다른 목적이 이미지에서 관심 물체를 강조하는 방법에 의해, 전체적으로 또는 적어도 부분적으로 달성되며, 상기 방법은

· 디지털 이미지 제공하는 단계,

· 사람 식별자(person identifier)를 갖는 관심 물체를 커버하는 상기 디지털 이미지에서 관심 영역을 결정하는 단계,

· 주변 영역에서 상기 디지털 이미지에서의 모든 이미지 데이터를 관심 영역으로 마스킹하는 단계,

· 검출된 관심 영역 내에서, 다른 사람 식별자를 갖는 제외 물체를 커버하는 상기 디지털 이미지에서 제외 영역을 결정하는 단계, 및

· 상기 관심 영역의 상기 디지털 이미지로부터 이미지 데이터를 포함하는 출력 이미지를 형성하는 단계 - 상기 제외 영역은 마스킹되고, 상기 주변 영역의 마스킹된 이미지 데이터를 포함함 -를 포함한다.

제공되는 상기 디지털 이미지는 비디오(시퀀스)를 형성하는 이미지 시퀀스의 부분일 수 있다.

상기 방법은 디지털 이미지를 입력으로서 취급하고 예를 들어 사람과 같은 관심 물체가 강조되는 출력 이미지를 제공한다. 이러한 맥락에서 관심 물체를 강조함으로써 관심 물체는 볼 수 있지만 이미지의 다른 부분은 마스킹, 은폐 또는 심지어 제거함으로써 인식할 수 없게 된다. 상기 방법은 GDPR과 같은 법률을 준수하는 데 사용할 수 있는 마스킹된 이미지를 제공하는 도구를 제공한다. 즉, 모니터링 카메라가 있는 식품점과 같이 비디오 감시를 수행하는 조직에 자신을 포함하는 비디오 자료를 요청하는 경우, 이러한 방법은 이미지 또는 비디오에 보이는 다른 사람의 무결성을 위태롭게 하지 않고 전달하기 위해 이러한 이미지 또는 비디오 컨텐츠를 제공하는데 사용될 수 있다.

본 발명의 접근법은 출력 이미지에 포함될 주변 영역에서의 모든 이미지 데이터를 마스킹함으로써, 제외 영역(제외 대상을 포함함)의 결정이 검출된 관심 영역 내에서 수행될 필요가 있다는 본 발명자들의 인지를 포함한다. 따라서, 이미지에서의 물체가 결정, 평가 및 마스킹/은폐/제거될 필요가 있는 공지된 기술과 비교하여 빠르고, 신뢰성 있고, 리소스-효율적인 방법이 제공된다. 또한, 볼 수 있는 이미지 데이터가 상당히 감소되기 때문에 최종 출력 이미지는 검증하기 쉽다.

상기 주변 영역은 상기 결정된 관심 영역 외부의 전체 디지털 이미지를 커버할 수 있다. 이러한 기능에 의해, 상기 주변 영역은 구성하거나 결정할 필요가 없으므로, 상기 방법을 더욱 리소스-효율적이게 한다.

상기 방법은 상기 방법을 수행하도록 설계된 소프트웨어의 수동 사용에 의해 완전 자동화 방식 또는 반자동 방식으로 수행될 수 있다. 상기 소프트웨어는 비디오 관리 시스템에 통합될 수 있으며, 이에 의해 캡처된 이미지 및 비디오는 상기 이미지 또는 비디오를 외부 하드웨어 또는 소프트웨어로 전송할 필요없이 출력 이미지를 강조된 관심 물체로 제공하는데 사용될 수 있다.

본 발명에서 사용된 "마스킹된(masked)"은 이미지 컨텐츠를 식별할 수 없도록 조작된 이미지 데이터 또는 은폐된 이미지 데이터를 의미한다. 조작의 비-제한적인 예는 이미지 데이터의 블러링(blurring) 및 픽셀화(pixelization)이다. 상기 이미지 데이터는 대안으로 상기 이미지 데이터를 색과 교환함으로써, 예를 들어 모든 픽셀 값을 0으로 설정함으로써(이미지가 디스플레이될 때 검정색에 해당함) 은폐될 수 있다. 적용된 마스킹은 가역적이거나 비가역적일 수 있다.

"관심 영역(region of interest)" 및 "제외 영역(region of exclusion)"에서의 관점에서 "영역"은 상기 디지털 이미지에서의 영역을 의미한다. 상기 영역은 상기 디지털 이미지의 이미지 데이터를 둘러싼다. 상기 영역은 이미지 좌표계의 좌표, 예를 들어 직사각형 영역에 대한 코너 좌표(corner coordinates)에 의해 정의될 수 있다.

상기 관심 물체, 예를 들어 사람은 사람 식별자를 갖는다. "사람 식별자"는 사람 신원이 고유하게 식별될 수 있는 특징, 특성 또는 물체를 의미한다. 사람 식별자의 비-제한적인 예는 얼굴(또는 이의 일부), 지문, 라이센스 번호판 및 이름표와 같은 아이디 태그(id tag)이다.

상기 관심 영역 및/또는 상기 제외 영역은 상기 이미지를 보여주는 컴퓨터 화면에서의 수동 선택에 의해 결정될 수 있다. 대안으로, 상기 관심 영역 및/또는 상기 제외 영역의 보다 자동화된 결정은 물체 검출 또는 물체 분류 알고리즘을 사용하여 구현될 수 있다. 이러한 알고리즘에 의해 물체가 검출될 때, 상기 물체의 사람 식별자는 상기 물체가 관심 물체인지 결론을 내기 위해 분석될 수 있다. 그렇다면, 상기 관심 영역이 관심 물체를 커버(즉, 둘러쌈)하도록 결정될 수 있다. 만약 그렇지 않다면, 제외 영역은 대신 제외 영역이 물체를 커버하도록 결정될 수 있어 이는 따라서 제외될 물체를 형성한다. 상기 제외 영역 및 상기 관심 영역이 각각 전체 제외 물체와 관심 물체를 커버할 필요가 없다.

물체를 검출 또는 분류하는데 사용될 수 있는 알고리즘의 비-제한적인 예는 신체 부분 검출 알고리즘이고, 예를 들어 핵심 포인트 또는 관심 포인트, 얼굴 검출 알고리즘 및 움직임 검출 알고리즘을 결정함으로써 수행된다.

상기 방법은 인간의 신원을 수신하는 단계, 및 상기 수신된 인간의 신원에 기초하여 상기 관심 영역을 결정하는 단계를 더 포함할 수 있다. 상기 수신된 신원은 비디오/이미지 자료를 요청한 사람의 얼굴에 해당하는 이미지 데이터의 형태일 수 있다. 대안으로, 상기 수신된 신원은 차량 등록 번호의 형태일 수 있으며, 이 경우 상기 관심 영역은 해당 라이센스 번호판을 갖는 번호판인 관심 물체를 커버할 수 있다. 따라서, 상기 관심 영역은 수신된 신원에 기초하여, 상기 방법의 수동 또는 자동화된 구현으로 결정되어야 한다. 예를 들어, 라이센스 번호판의 형태로 수신된 신원의 경우, 상기 관심 영역은 검출된 물체가 문자 또는 숫자를 포함하는 조건이거나 인간 물체가 아닌 조건에 따라 결정될 수 있다.

복수의 이미지에 적용될 때 상기 방법의 세부 사항을 더 자세히 살펴보면, 상기 방법은

· 디지털 이미지를 포함하는 비디오 시퀀스 제공하는 단계,

· 상기 비디오 시퀀스로부터 선택된 디지털 이미지의 각각의 이미지에 대해, 하나의 디지털 이미지에 적용될 수 있는 임의의 실시 형태에 따른 방법을 적용하는 단계, 및

· 상기 출력 이미지를 포함하는 출력 비디오 시퀀스를 형성하는 단계를 포함할 수 있다.

다시 말해, 비디오 시퀀스가 처리되어 관심 물체, 예를 들어 사람이 강조되고 다른 객체, 및 관심 영역에 대한 주변 이미지 영역이 마스킹되는 출력 비디오 시퀀스를 생성한다. 이미지의 선택은 매 10번째 이미지 프레임과 같은 미리 결정된 선택 기준에 기초하여 이루어질 수 있다. 상기 선택은 상기 비디오 시퀀스에서 모든 이미지를 포함할 수 있다. 디지털 이미지의 선택이 상기 비디오 시퀀스로부터 디지털 이미지의 수에서 제한을 형성할 때, 출력 비디오 시퀀스를 형성하기 위해 더 적은 이미지가 처리될 필요가 있으며, 이는 더 적은 양의 처리 리소스를 필요로한다.

이러한 방법의 실시 형태에서, 상기 출력 비디오 시퀀스는 또한 중간 출력 이미지를 포함하며, 이는 상기 비디오 시퀀스에서 제1 선택된 이미지와 제2 선택된 이미지 사이에 위치된 시간적으로 중간 이미지에 상기 방법을 수행함으로써 형성된다. 상기 중간 이미지에 대해, 상기 방법은 상기 제1 선택된 이미지에서 결정된 제1 관심 영역과 상기 제2 선택된 이미지에서 결정된 제2 관심 영역 사이를 보간(interpolate)함으로써 관심 영역을 결정하는 단계를 포함한다. 상기 제2 관심 영역이 상기 제1 관심 영역과 공간적으로 상이하게 위치되는 경우, 상기 보간은 상기 중간 프레임들에 의해 커버되는 기간에 걸쳐 상기 관심 영역의 선형 이동을 가정함으로써 수행될 수 있다. 예를 들어, 움직임 패턴, 속도 또는 움직임 예측이 고려되는 다른 더 복잡한 보간 방법이 사용될 수 있다. 이러한 목적으로 사용될 수 있는 상이한 보간 기술의 변형예는 잘 알려져 있으며 당업자에게 쉽게 이용 가능하다.

상기 제외 영역은 상기 관심 영역이 보간을 사용하여 결정될 때 각각의 이미지에 대해 결정될 수 있다.

비디오 시퀀스에 적용되는 제1 양태에 따른 상기 방법의 일 실시 형태에서, 상기 방법은 상기 주변 영역에서 추가 제외 영역을 결정하는 단계를 포함한다. 상기 추가 제외 영역은 상기 검출된 관심 영역 내에서 결정되는 제1 제외 영역과 동일한 방식으로 마스킹된다. 상기 방법에 따라 처리되는 비디오 시퀀스의 후속 이미지에서, 상기 결정된 추가 제외 영역은 상기 관심 영역이 추가 제외 영역과 중첩더라도, 이들 이미지에 대한 출력 이미지에서 마스킹됨으로써 유지된다. 다시 말해, 상기 비디오 시퀀스의 처리된 이미지에서 결정된 제외 영역과 관심 영역 사이의 임의의 교차점은 제외 영역을 형성하고 결과적으로 상기 출력 이미지에서 마스킹된다. 상기 제외 영역은 이들 좌표가 컴퓨터 메모리에 저장됨으로써 유지될 수 있다.

상기 추가 제외 영역의 결정은 10 또는 20개의 이미지 프레임마다 또는 n번째(n은 미리 결정된 값임)마다 한번과 같은 미리 결정된 스케줄에 따라 선택된 이미지에서 수행될 수 있다. 상기 결정된 추가 제외 영역은 다음 선택된 이미지가 처리될 때까지 유지된다.

일 실시 형태에서, 상기 관심 영역의 결정은 상기 관심 물체에 대한 경계 박스(bounding box)를 선택함으로써 수행된다. 경계 박스는 일반적으로 움직임 검출기에 의해 분석되는 비디오 시퀀스에서 각각의 검출된 이동하는 물체에 대해 결정된다. 경계 박스는 상기 비디오 시퀀스의 이미지에서 실행되는 움직임 검출 알고리즘으로부터의 출력으로서 수신될 수 있다. 경계 박스는 이미지 좌표계에 대한 이의 코너 좌표(corner coordinate)에 의해 정의될 수 있으며, 이미지 분석의 잘 알려진 구성 요소이다.

제2 양태에 따르면, 상기 전술된 목적 및 다른 목적은 처리 능력을 갖는 장치에 의해 실행될 때 제1 양태의 임의의 실시 형태의 방법을 수행하도록 적용된 명령어를 갖는 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨터 프로그램 제품에 의해 달성된다.

제3 양태에 따르면, 상기 전술된 목적 및 다른 목적은 비디오 관리 시스템(VMS)에서 제1 양태의 임의의 실시 형태에 따른 방법을 사용함으로써 달성된다.

제4 양태에 따르면, 상기 목적 및 다른 목적은 이미지에서 관심 영역을 강조하도록 배치된 장치에 의해 달성된다. 상기 장치는 사람 식별자를 갖는 관심 물체를 포함하는 디지털 이미지에서 관심 영역을 결정하고, 상기 검출된 관심 영역 내에서, 다른 사람 식별자를 갖는 디지털 이미지에서 제외 물체를 커버하는 제외 영역을 결정하도록 배치된 검출기(detector)를 포함한다. 상기 장치는 주변 영역에서 디지털 이미지에서의 모든 이미지 데이터를 상기 관심 영역으로 마스킹하고, 상기 관심 영역의 디지털 이미지로부터 이미지 데이터를 포함하는 출력 이미지를 형성하도록 배치된 프로세서(processor)를 더 포함하며, 상기 제외 영역은 마스킹되고, 상기 주변 영역의 마스킹된 이미지 데이터를 포함한다.

제4 양태의 장치는 일반적으로 제1 양태의 방법과 동일한 방식으로 수반되는 장점을 가지고 구현될 수 있다. 상기 장치는 VMS에서 비디오 카드의 일부로서 배치될 수 있다.

본 발명의 다른 적용 범위는 아래의 상세한 설명으로부터 명백해질 것이다. 그러나, 본 발명의 범위 내에서 다양한 변경 및 수정이 이러한 상세한 설명으로부터 당업자에게 명백할 것이기 때문에, 본 발명의 바람직한 실시 형태를 나타내는 상세한 설명 및 특정 예들은 단지 예시의 방식으로 제공된다는 것을 이해할 것이다.

따라서, 본 발명은 설명된 장치의 특정 구성 요소 부분 또는 설명된 방법의 단계로 제한되지 않으며, 이러한 장치 및 방법은 다양할 수 있음을 이해할 것이다. 또한, 본 발명에서 사용된 용어는 특정 실시 형태만을 설명하기 위한 것이며 제한하려는 것이 아님을 이해할 것이다. 상세한 설명 및 첨부된 청구 범위에 사용된 바와 같이, "하나", "하나의", "그" 및 "상기"라는 용어는 문맥이 명백하게 다른 것을 지칭하지 않는 한 하나 이상의 요소가 존재함을 의미하는 것으로 의도된다는 점에 유의해야 한다. 따라서, 예를 들어, "물체" 또는 "상기 물체"에 대한 언급은 다수의 물체 등을 포함할 수 있다. 또한, "포함하는"이라는 단어는 다른 요소 또는 단계를 배제하지 않는다.

본 발명은 예로서 첨부된 개략적인 도면을 참조하여 보다 상세하게 설명될 것이다.
도 1은 일 실시 형태에 따른 방법의 흐름도이다.
도 2a 및 2b는 실시 형태들에 따른 방법에 의해 형성된 디지털 이미지 및 출력 이미지를 도시한다.
도 3은 이미지 시퀀스에 대한 보간된 관심 영역을 도시한다.
도 4는 일 실시 형태에 따른 방법에 의해 형성된 비디오 시퀀스의 디지털 이미지 및 출력 이미지를 도시한다.
도 5는 일 실시 형태에 따른 방법에 대한 관심 영역 및 제외 영역을 도시하며, 이는 경계 박스 및 상기 방법에 의해 형성된 출력 이미지에 기초하여 결정된다.

도 2a에서 시작하여, 이미지(100)는 예를 들어, 감시 목적으로 장면을 모니터링하는 카메라에 의해 캡처된다. 이미지는 비디오 시퀀스로서 캡처될 수 있다. 이미지 또는 비디오는 추후 검토 및/또는 분석의 목적을 위해, 데이터 저장을 위한 종래의 메모리에 저장될 수 있다. 감시 목적을 위해, 비디오 기록이 미리 결정된 기간 동안, 예를 들어 2개월 동안 서버에 저장되고, 그런 다음 저장 장치에서 영구적으로 제거되는 경우가 종종 있다.

논의된 바와 같이, GPRD와 같은 일부 법률은 기록되어 있고 그 사람을 식별할 수 있는 비디오/이미지 자료를 사람에게 받을 권리를 부여한다. 이를 위해, 다른 사람의 무결성을 훼손하지 않으면서, 관심있는 사람을 보여주기 위해 이미지가 편집될 필요가 있다.

도 2a의 이미지(100)는 이러한 이미지의 일례를 제공한다. 이러한 이미지(100)에서, 복수의 사람들(12, 14, 16, 18)이 보이고 이들이 식별될 수 있다고 가정한다. 제공된 예에서, 사람(12)(이하, 관심있는 사람(12)이라고 부름)은 강조되어야 하고, 다른 사람(14, 16, 18)의 신원은 이들을 식별되게 하는 사람(14, 16, 18)의 적어도 일부를 마스킹함으로써 숨겨져야 한다. 사람 또는 물체에 속하는 이러한 부분들은 본 발명에서 사람 식별자로 지칭된다. 사람 식별자는 얼굴과 같은 신체의 특징, 또는 라이센스 번호판 또는 이름표와 같은 물체의 특징일 수 있다.

이미지(100)에서 관심있는 사람(12)을 강조하기 위해, 도 1에 도시된 S02 내지 S08의 단계를 포함하는 방법이 적용된다. 단계 S02에서, 이미지(100)에서의 관심 영역(13)이 결정된다. 이는 사용자가 관심 물체(12)를 포함하는 관심 영역(13)을 (컴퓨터를 통해) 선택하거나 표시함으로써 반자동으로 수행될 수 있다. 이미지(100)에서의 관심 영역(13)은 이미지 영역을 관심 물체(12)의 적어도 일부에 해당하는 이미지 데이터로 커버한다. 관심 물체(12)의 사람 식별자를 포함하는 신체 전체 또는 신체의 일부가 선택/표시될 수 있다.

대신 결정에 대한 더 자동적인 접근이 적용될 수 있다. 예를 들어, 물체 검출 알고리즘은 임의의 현재 물체를 검출하기 위해 이미지(100) 상에서 수행될 수 있다. 이는 이상적으로 모든 이미지화된 사람(12, 14, 16, 18)의 검출을 초래할 것이고, 검출은 이미지(100)를 각각의 사람을 둘러싸는 박스로 오버레이(overlay)함으로써 사용자에게 (디스플레이에서) 시각화될 수 있다. 그 결과, 수동 입력에 의해 박스 이미지 영역이 관심 영역(13)으로서 선택될 수 있다. 훨씬 더 자동적인 구현에서, 관심 영역(13)은 검출된 물체의 이미지 데이터 사이에서 얼굴의 이미지 데이터 또는 이름의 텍스트 데이터와 같은 사람 식별자 또는 자동차 번호판과의 비교를 수행함으로써 결정될 수 있다. 비교의 긍정적 결과에 따라, 비교되고 검출된 물체는 관심 물체(12)로 설정될 수 있고 관심 물체(12)를 커버하는 영역 또는 이의 적어도 일부는 자동적으로 정의되고 관심 영역(13)으로 설정된다. 입력 데이터는 미리 수신되거나 수동으로 입력될 수 있다. 방법을 구현하는 시스템은 사용자에게 이러한 데이터를 입력하도록 프롬프트(prompt)할 수 있다.

다음으로, 방법에 따라, 관심 영역(13)에 대한 주변 이미지 영역(17)이 마스킹된다(S04). 특히, 주변 이미지 영역(17)에서의 모든 이미지 데이터는 마스킹되고 주변 이미지 영역(17)에 위치된 임의의 사람 식별자가 마스킹될 수 있음을 의미한다. 다시 말해, 주변 영역(17)에서의 이미지(100)의 이미지 데이터는 이미지 데이터의 모든 픽셀 값을 예컨대 0과 같은 미리 결정된 값으로 교환함으로써 숨겨지거나, 주변 영역(17)의 마스킹을 생성하기 위해 조작된다.

다음으로, 제외 영역(15)이 결정된다(S06). 제외 영역(15)은 주변 영역(17)이 마스킹되기 때문에 관심 영역(13) 내에서만 결정될 필요가 있다. 이는 주변 영역(17) 및 잠재적으로 전체 이미지(100)를 스캐닝하는 것과 비교하여, 제외 영역(15)을 결정하는 리소스 효율적인 방법이다. 제외 영역(15)은 관심 물체(12)를 위한 개인 식별자와 동일하지 않은 개인 식별자를 갖는 제외 물체(14)를 커버하는(부분적으로 커버하는 것을 포함함) 영역이다. 사람 식별자가 부분적으로 관심 영역(13)에 위치하고 부분적으로 외부(주변 영역(17))에 있을 때, 사람 식별자는 제외 영역(15)에 의해 반드시 커버될 필요는 없음에 유의한다. 사람 식별자는 전체적으로 보여지는 제외 물체(14)의 부분이다. 예를 들어, 사람의 얼굴은 도 2a의 경우와 같이, 관심 영역에 의해 부분적으로만 커버되는 사람 식별자를 형성할 수 있다. 관심 영역(13)에 의해 커버되는 얼굴 부분에 의해 제외 물체(14)를 식별하는 것이 반드시 필요한 것은 아니지만, 본 방법은 어쨌든 추가적인 검증의 필요성을 감소시키기 위해 얼굴을 마스킹하고 신뢰할 수 있는 마스킹을 제공할 것이다. 또한, 사람 식별자는 관심 영역 외부에 위치된 이미지 데이터와 조합하여 관심 영역에 의해 커버되는 이미지 데이터에 기초하여 결정될 수 있음에 유의한다. 예를 들어, 도 2a에서의 이미지(100)를 보면, 사람(14)의 얼굴 형태에서의 사람 식별자는 관심 영역(13)과 주변 영역(17)에 위치된 디지털 이미지(100)의 이미지 데이터를 분석함으로써 사람 식별자로서 정의될 수 있다.

관심 영역(13)과 유사하게, 제외 영역(15)은 상이한 알고리즘의 더 많거나 적은 사용에 의해 수동, 반자동 또는 보다 자동적인 방식으로 결정될 수 있다. 예를 들어, 제외 영역(15)은 관심 영역(13)에 의해 커버되는 이미지 데이터에 대해 수행된 물체 분류 알고리즘을 사용하여 결정될 수 있다. 얼굴 또는 라이센스 번호판과 같은 사람 식별자가 검출되고 동일한 물체 분류 또는 관심 물체(12)의 사람 식별자와 동일한 위치에 있지 않은 경우, 다른 사람 식별자가 검출되는 것을 가정할 수 있고 이러한 다른 사람을 커버하는 제외 영역(15)이 정의될 수 있다.

그런 다음 출력 이미지(101)가 형성된다(S08). 출력 이미지(101)는 관심 영역(13)으로부터의 이미지 데이터를 포함하지만, 그 안에 제외 영역(15)에 의해 커버되는 이미지 데이터는 마스킹된다. 이는 제외 영역(15)의 이미지 데이터가 출력 이미지(101)에 포함되지 않는 것을 의미하거나, 이미지 데이터의 조작된 버전이 포함됨을 의미한다. 임의의 경우에서, 제외 영역(15)에 의해 커버되는 마스킹된 이미지 데이터는 사람(14)을 식별하는데 사용될 수 없다. 또한, 주변 영역(17)의 마스킹된 이미지 데이터, 이러한 예에서 나머지 디지털 이미지(100)가 출력 이미지(101)에 포함된다. 관심 영역(13), 제외 영역(15) 및 주변 영역(17) 사이의 공간 관계는 출력 이미지(101)에서 유지된다. 이러한 예에서, 출력 이미지(101)는 디지털 이미지(100)와 동일한 치수, 예를 들어 1920x1080 픽셀을 갖는다.

알 수 있는 바와 같이, 이러한 예에서 검정 색깔에 해당하는 0으로 픽셀 값을 설정하는 형태의 마스킹이 제외 영역(15)과 주변 영역(17)에 사용된다. 이미지의 다른 영역 또는 시퀀스의 다른 출력 이미지에서의 동일한 영역에 대해 동일한 마스킹 방법을 사용할 필요는 없다.

도 2b에는, 디지털 (입력) 이미지(200) 및 해당하는 출력 이미지(201)의 다른 예가 도시된다. 여기서, 이미지화된 물체는 라이센스 번호판(24)을 갖는 차량 뒤의 거리(카메라로부터 멀어짐)를 횡단하는 사람(22)을 포함한다. 라이센스 번호판(24)은 차량 등록 번호에 해당하는 번호판 "ABC 123"을 포함하고, 차량 소유자에 대한 개인 식별자를 형성한다.

설명된 방법에 의해 이미지(200)를 분석하는 동안, 관심 영역(23)이 먼저 결정된다. 이전의 예에서와 같이, 이는 덜 또는 더 자동적인 방식으로 달성될 수 있다. 그 후, 주변 영역(27)에서의 모든 이미지 데이터는 이미지 데이터를 미리 결정된 픽셀 값으로 대체함으로써 마스킹된다. 도 2a의 예와 반대로, 주변 영역(27)은 관심 영역(23) 주위의 제한된 이미지 영역을 커버한다. 주변 영역(27)의 확장은 목표 출력 이미지 크기에 의해 결정될 수 있다. 예를 들어, 주변 영역(27)은 결정된 관심 영역과 목표 출력 이미지 크기 사이의 영역을 채우기 위해 이미지마다 결정될 수 있다. 대안으로, 주변 영역(27)은 관심 영역(23) 외부에서 미리 결정된 확장을 가질 수 있다. 주변 영역(27)은 관심 영역(23)을 완전히 둘러쌀 필요는 없음에 유의한다. 또한, 주변 영역(27)은 관심 영역(23)에 의해 커버되는 이미지 영역에 인접한 이미지 영역이다.

관심 영역(23) 내에서, 제외 영역(25)이 결정된다. 여기서, 라이센스 등록 번호 형태에서의 사람 식별자는 관심 영역(23) 내의 식별자이고, 제외 영역(25)은이러한 사람 식별자를 포함하는 이미지 영역 주위에 형성된다.

관심 영역(23)의 입력 이미지(200)로부터 이미지 데이터를 포함하는 출력 이미지(201)가 형성된다. 그러나, 제외 영역(25) 내의 이미지 데이터는 식별할 수 없는 정도로 픽셀화되어 마스킹되며, 이는 라이센스 번호판이 출력 이미지(201)에서 인지될 수 없음을 의미한다. 이러한 예에서, 관심 물체(22)에 해당하는 이미지 데이터는 제외 영역(25)에 포함되기 때문에 부분적으로 마스킹된다. 출력 이미지(201)는 또한 주변 영역(27)의 마스킹된 이미지 데이터를 포함한다.

이미지 데이터를 식별할 수 없는 정도로 마스킹하기 위해 다른 고려 사항이 수행될 수 있다. 첫째로, 식별할 수 없는 것으로 간주되는 것은 예를 들어, 식별 가능한 용어가 특정 응용 분야 내에서 어떻게 정의되는지 또는 출력 이미지가 충족되어야하는 법률에 따라 다른 구현에서 상이할 수 있다. 둘째로, 식별할 수 없는 정도로의 마스킹은 이미지 영역의 크기가 얼마나 큰지 또는 제외 영역(25)에 의해 커버되는 이미지 영역이 갖는 픽셀이 얼마나 많은지와 같은 추가 파라미터(이미지(200)의 분석 또는 외부 소스로부터 얻어진)에 기초하여 수행될 수 있다.

설명된 방법은 이미지 시퀀스의 이미지에 적용되도록 확장될 수 있다. 본질적으로, 이는 선택 또는 함께 비디오를 형성할 수 있는 이미지 시퀀스의 모든 이미지에 대해 방법이 수행됨을 의미한다. 입력 비디오를 처리하고 강조된 관심 물체로 출력 비디오를 형성하는 목적은 예를 들어, 사람이 비디오 모니터링을 수행하는 당사자에게 자신의 모든 기록된 비디오 자료를 요청하는 경우일 수 있다. 도 1을 참조하면, N개 이미지를 포함하는 비디오 시퀀스가 먼저 제공된다(S01). 예를 들어, n=1로 시작하여, 단계 S02 내지 S08의 방법이 전술한 바와 같이 수행된다. 단계 S10에서 n이 N과 동일한지 검사한다. 그렇지 않으면, n은 1만큼 증가되고(S09), 이미지(n)에 대해 방법 S02-S08이 수행된다. 서브-방법 S02-S08은 n이 N에 도달할 때까지, 즉 모든 이미지 1 내지 N이 처리될 때까지 반복된다. 그 후, 모든 형성된 출력 이미지를 포함하는 출력 비디오가 형성되고(S12), 바람직하게 원래의 이미지 시퀀스에서와 같이 해당하는 시간 순서로 형성된다.

방법은 다양할 수 있다. 예를 들어, 이미지 시퀀스에서의 각각의 이미지는 분석될 필요가 없다. 일 실시 형태에서, 이미지의 선택은 단계 S02-S08에 의해 처리되어 단계 S12에서 형성된 출력 비디오에 포함된 출력 이미지를 형성한다. 이러한 일 실시 형태에서, 이미지 시퀀스에서 일부 중간 이미지에 대한 처리를 건너 뛰기 위해 각각의 반복에서 n이 1보다 많이 증가될 수 있다. 대안으로, 상기 방법은 각각의 이미지가 처리되는 이미지 서브-시퀀스를 차례로 형성하는 이미지 시퀀스로부터 복수의 이미지를 선택하는 단계를 포함한다. 선택된 이미지의 출력 이미지에 의해 형성된 출력 비디오는 바람직하게 원래 비디오 시퀀스에 해당하는 시간 순서로 형성된다.

관심 영역을 결정하는 단계(S02)는 이미지 시퀀스의 이미지를 처리하는 경우에서, 이전에 설명되고 예시된 임의의 방식에 따라 수행될 수 있다. 그러나, 각각의 이미지에서 관심 영역을 결정하는 대안적인 방법이 도 3에 도시된다. 여기서, 관심 영역 1, 1.1, 1.2, 2는 이해를 쉽게하기 위해, 이미지 시퀀스에서 모든 이미지를 나타내는 동일한 이미지(300)에 도시된다. 이러한 예에서, 제1 선택된 이미지의 제1 관심 영역(1)이 결정되고, 제2 선택된 이미지의 제2 관심 영역(2)이 결정된다. 이들 관심 영역 1, 2는 앞서 논의된 방식으로 예를 들어, 수동 선택에 의하거나 물체 식별 또는 분류를 통해 결정될 수 있다. 그러나, 이미지 시퀀스에서, 제1 선택된 이미지와 제2 선택된 이미지 사이에 위치된 중간 이미지에 대해 관심 영역 1.1, 1.2는 이러한 방식으로 결정되지 않는다. 대신, 제1 관심 영역(1)과 제2 관심 영역(2) 사이의 보간이 사용된다. 이러한 예에서, 제1 관심 영역(1)에서의 제1 기준점(32) 및 제2 관심 영역(2)에서의 제2 기준점(38)이 알려진다. 기준점(32, 38)은 검출되고 각각의 관심 영역(1, 2)을 정의하는 검출된 관심 물체를 나타낼 수 있다. 중간 기준점(34, 36)은 제1 기준점(32)과 제2 기준점(38) 사이의 보간에 의해 생성된다. 임의의 공지되고 적합한 보간 방법이 생성에 사용될 수 있으며, 응용에 따라 선택될 수 있다.

보간을 사용함으로써, 관심 물체는 중간 이미지에서 인식 및 결정될 필요가 없으므로, 보다 빠르고 적은 리소스-요구 방법이 달성될 수 있다. 이미지의 시퀀스를 통해, 10번째 프레임 마다와 같은 일부 이미지가 선택되고 제1 및 제2 이미지를 짝으로(pairwise) 형성할 수 있으며, 이를 위해 중간 이미지가 보간을 사용하여 처리된다. 출력 이미지 및 이의 출력 비디오는 이전에 개시된 실시 형태들에 따라 형성될 수 있으며, 도 3에 도시되지 않는다.

도 4는 이미지 시퀀스에 대한 영구적인 제외 영역(45, 47)이 결정되는 일 실시 형태를 도시한다. 이미지 시퀀스의 두개의 이미지(400, 402)가 도시된다. 제1 이미지(400)에서, 관심 물체(42)가 존재하고 관심 영역(43)이 정의된다. 이러한 실시 형태에 특정하여, 추가 관심 영역(45, 47)이 결정된다. 이들은 관심 영역(43) 외부에 위치된다. 추가 관심 영역(45, 47) 각각은 잠재적으로 사람 식별자를 포함하는 물체를 커버한다. 물체는 바람직하게 정지된 물체 또는 캐셔(cashier) 또는 주차된 차량과 같이 움직임이 적거나 없는 물체로서 식별되며, 이는 이미지 시퀀스를 통해 결정된 추가 제외 영역 내에서 유지될 수 있다. 이러한 예에서, 제1 주차 차량(44)은 제1 추가 관심 영역(45)을 정의하고 제2 주차 차량(46)은 제2 추가 관심 영역(47)을 정의한다.

결정된 관심 영역(43) 내에서, 제외 영역이 결정될 수 있지만, 관심 영역 내에 다른 물체가 없기 때문에 이러한 예에서는 그렇지 않다. 이미지의 나머지 부분, 즉 추가 관심 영역(45, 47)을 포함하여 관심 영역(43)에 대한 주변 영역이 마스킹된다. 출력 이미지(401)는 앞서 설명된 실시 형태들에 따라 형성된다.

제2 이미지(402)에서, 관심 물체(42), 따라서 관심 영역(43)이 이동한다. 관심 영역(43)은 제1 추가 제외 영역(45) 및 제2 추가 제외 영역(47) 모두와 교차한다. 관심 영역(43)과 제1 및 제2 추가 제외 영역(45, 47) 각각의 사이에서, 중첩 영역이 형성된다. 관심 물체(42)를 강조하는 방법에서의 추가 단계로서, 중첩 영역이 마스킹된다. 출력 이미지(403)는 관심 영역(43)의 이미지 데이터로 형성되며, 여기서 이의 제외 영역은 마스킹된다. 이는 결정된 제외 영역(이러한 예에서는 그렇지 않음)과 중첩 영역 모두를 추가 제외 영역(45, 47)으로 마스킹하는 단계를 포함한다. 이러한 실시 형태에 의해, 장면의 물체는 전체 이미지 시퀀스에 대한 효과를 가지면서 하나 또는 몇개의 이미지에서 쉽고 효율적인 방식으로 정의/표시될 수 있다. 추가 제외 영역은 규칙적인 간격으로, 예를 들어 비디오 시퀀스의 10번째 기록 분마다 정의될 수 있다. 추가 제외 영역의 좌표는 디지털 메모리에 저장될 수 있다.

관심 영역을 결정하는 대안적인 방법이 도 5를 참조하여 개시될 것이다. 여기서, 관심 영역 a.1, a.2, a.3은 경계 박스의 선택으로 결정되고 이미지 시퀀스에서 다른 이미지를 나타내는 동일한 이미지(500)에 도시된다. 경계 박스는 이미지 시퀀스의 분석에 기초하여 종래의 물체 추적 알고리즘으로부터 출력되고 본 방법에 입력될 수 있다. 비디오 시퀀스에서 이미지에 대한 오버레이로서 다수의 경계 박스가 사용자에게 제공될 수 있다. 사용자는 각각의 이미지에서 관심 물체를 둘러싸는 경계 박스를 선택함으로써 관심 영역 a.1, a.2, a.3을 결정할 수 있으며, 이는 예를 들어 관심 물체의 사람 식별자를 통해 사용자에 의해 식별된다. 대안으로, 사용자는 제1 이미지에서 경계 박스(a.1)를 선택할 수 있고, 그 경계 박스 트랙(a)와의 관련이 이미지 시퀀스 전체에 걸쳐 선택을 유지하도록 생성된다. 경계 박스(a.2, a.3)이 결정되고 비디오 시퀀스 전체에 걸쳐 위치가 변경되는 나머지 비디오 시퀀스 동안, 관심 영역이 이미 선택된다. 관심 영역이 선택되면, 트랙(b)과 관련된 다른 경계 박스(b.1, b.2, b.3) 또는 이의 선택된 부분은 추가 제외 영역으로 결정될 수 있다. 전술한 바와 같이, 관심 물체를 강조하는 방법은 관심 영역이 이미지 시퀀스의 임의의 영역에서 추가 제외 영역과 교차하는 경우, 형성된 중첩(51)은 제외 영역을 구성하고 결과적으로 출력 이미지에서 마스킹될 수 있는 것을 포함할 수 있다.

관심 영역과 관련된 경계 박스의 선택은 사람 식별자를 식별하기 위해 상이한 경계 박스의 이미지 데이터를 분석함으로써 자동으로 수행될 수 있으며, 이를 통해 강조될 관심 물체를 나타내는 이전의 수신된 사람 식별자와 비교될 수 있다.

일련의 출력 이미지들(501, 503, 505)은 이전 개시물에 따라 형성된다. 즉, 관심 영역(54, 56, 58)의 이미지 데이터가 포함되지만, 제외 영역(55)은 마스킹된다. 모든 출력 이미지(501, 503, 505)에는 주변 영역(57)이 포함된다.

관심 영역 및/또는 (추가의) 제외 영역이 공지된 추적 방법을 사용하여 결정되는 대안적인 실시 형태들도 가능하다. 재-식별 알고리즘(re-identification algorithm), 커널-기반 추적(Kernel-based tracking) 또는 윤곽 추적(contour tracking)과 같은 추적 방법이 구현될 수 있다. 이들 알고리즘으로부터의 출력은 관심 물체를 강조하는 설명된 방법으로 공급될 수 있고 그 내의 영역을 결정하는데 사용될 수 있다.

관심 물체를 강조하는 방법은 하드웨어 구현 또는 소프트웨어 구현으로 구현될 수 있다. 상기 구현은 강조된 관심 물체를 갖는 출력 비디오가 라이브 및 녹화된 비디오 시퀀스를 시청하는데 사용되는 것과 동일한 장치로부터 형성될 수 있도록 비디오 관리 시스템(VMS)에 위치될 수 있다. 따라서, 비디오 시퀀스는 원하는 출력 비디오를 제공하도록 처리하기 위해 다른 하드웨어 또는 소프트웨어로 전송될 필요가 없다.

하드웨어 구현에서, 상기 방법의 단계들을 수행하도록 적용된 검출기 및 프로세서는 원하는 기능을 제공하도록 전용되고 구체적으로 설계된 회로로서 제공될 수 있다. 회로는 하나 이상의 애플리케이션 특정 집적 회로 또는 하나 이상의 필드 프로그래밍 가능한 게이트 어레이와 같은 하나 이상의 집적 회로의 형태일 수 있다.

소프트웨어 구현에서, 회로는 대신 비-휘발성 메모리와 같은 (비-일시적) 컴퓨터 판독 가능 매체에 저장된 컴퓨터 코드 명령어과 관련하여, 본 발명에서 개시된 임의의 방법(의 부분)을 실행하는 마이크로 프로세서와 같은 프로세서의 형태일 수 있다. 비-휘발성 메모리의 예는 판독 전용 메모리, 플래시 메모리, 강유전성 RAM, 자기 컴퓨터 저장 장치, 광 디스크 등을 포함한다. 소프트웨어 경우, 검출기 및 프로세서는 구성 요소의 기능을 수행하는 컴퓨터 판독 가능 매체에 저장된 컴퓨터 코드 명령어의 일부에 각각 해당할 수 있다.

하드웨어 및 소프트웨어 구현의 조합을 갖는 것도 가능하다는 것이 이해될 것이다.

당업자는 본 발명이 결코 전술된 바람직한 실시 형태들로 제한되지 않음을 인지한다. 반대로, 첨부된 청구 범위의 범위 내에서 다양한 수정 및 변형이 가능하다.

Claims (12)

1. 이미지에서 관심 물체를 강조하는 방법으로서,
   캡처된 디지털 이미지를 제공하는 단계;
   상기 디지털 이미지의 물체에 대해 결정된 하나 이상의 경계 박스를 나타내는 데이터를 수신하는 단계;
   상기 하나 이상의 경계 박스 중 하나를 선택함으로써, 사람 식별자를 갖는 관심 물체를 커버하는, 상기 디지털 이미지 내에서 관심 영역을 결정하는 단계 - 상기 사람 식별자는 사람 신원이 고유하게 식별될 수 있는 특징(feature), 특성(characteristic) 또는 물체임 -;
   상기 관심 영역을 결정한 후에, 주변 영역에서 상기 디지털 이미지에서의 모든 이미지 데이터를 상기 관심 영역으로 마스킹하는 단계;
   추가 사람 식별자를 검출하기 위해 상기 관심 영역 내에서 이미지 데이터를 분석하여, 다른 사람 식별자를 갖는 상기 디지털 이미지에서 제외 물체를 커버하는 적어도 하나의 제외 영역을 결정하는 단계; 및
   상기 관심 영역의 상기 디지털 이미지로부터 이미지 데이터를 포함하는 출력 이미지를 형성하는 단계 - 상기 제외 영역이 마스킹되고, 상기 주변 영역의 마스킹된 이미지 데이터를 포함함 -를 포함하는 방법.
2. 제1항에 있어서, 상기 주변 영역은 나머지 디지털 이미지에 해당하는 것을 특징으로 하는 방법.
3. 제1항에 있어서, 상기 이미지 데이터는 상기 디지털 이미지로부터의 이미지 데이터의 조작에 의해 마스킹되는 것을 특징으로 하는 방법.
4. 제1항에 있어서, 상기 관심 물체가 사람인 것을 특징으로 하는 방법.
5. 제4항에 있어서, 사람의 신원을 수신하는 단계를 더 포함하고, 상기 관심 영역을 결정하는 단계는 상기 수신된 신원에 기초하여 수행되는 것을 특징으로 하는 방법.
6. 제1항에 있어서, 관심 영역을 결정하거나 제외 영역을 결정하는 단계는 상기 디지털 이미지에 대해 물체 검출 알고리즘을 실행하는 단계를 포함하는 것을 특징으로 하는 방법.
7. 제1항에 있어서, 상기 사람 식별자는 얼굴, 라이센스 번호판 또는 아이디 태그를 포함하는 것을 특징으로 하는 방법.
8. 비디오 시퀀스에서 관심 물체를 강조하는 방법으로서,
   디지털 이미지를 포함하는 비디오 시퀀스를 제공하는 단계,
   상기 비디오 시퀀스로부터 선택된 디지털 이미지의 각각의 이미지에 대해, 제1항에 따른 방법을 적용하는 단계, 및
   상기 출력 이미지를 포함하는 출력 비디오 시퀀스를 형성하는 단계를 포함하는 방법.
9. 캡처된 디지털 이미지를 포함하는 비디오 시퀀스를 제공하는 단계;
   상기 비디오 시퀀스로부터 선택된 제1 이미지에 대해,
   상기 제1 이미지의 물체에 대해 결정된 하나 이상의 경계 박스를 나타내는 데이터를 수신하는 단계, 및
   상기 하나 이상의 경계 박스 중 하나를 선택함으로써, 사람 식별자를 갖는 관심 물체를 커버하는, 상기 제1 이미지 내에서 제1 관심 영역을 결정하는 단계, 상기 사람 식별자는 사람 신원이 고유하게 식별될 수 있는 특징, 특성 또는 물체임,
   상기 비디오 시퀀스로부터 선택된 제2 이미지에 대해,
   상기 제2 이미지의 물체에 대해 결정된 하나 이상의 경계 박스를 나타내는 데이터를 수신하는 단계, 및
   상기 하나 이상의 경계 박스 중 하나를 선택함으로써, 상기 관심 물체를 커버하는, 상기 제2 이미지 내에서 제2 관심 영역을 결정하는 단계,
   상기 비디오 시퀀스에서 상기 제1 이미지와 상기 제2 이미지 사이에 위치된 시간적으로 중간 이미지에 대해,
   상기 제1 이미지에서 결정된 상기 제1 관심 영역과 상기 제2 이미지에서 결정된 상기 제2 관심 영역 사이의 보간에 의해 관심 영역을 각각 결정하는 단계;
   상기 제1 이미지, 상기 제2 이미지, 및 상기 시간적으로 중간 이미지 각각의 디지털 이미지에 대해,
   상기 관심 영역을 결정한 후에, 주변 영역에서 상기 디지털 이미지에서의 모든 이미지 데이터를 상기 디지털 이미지의 각각의 관심 영역으로 마스킹하는 단계,
   추가 사람 식별자를 검출하기 위해 상기 각각의 관심 영역 내에서 이미지 데이터를 분석하여, 다른 사람 식별자를 갖는 상기 디지털 이미지에서 제외 물체를 커버하는 적어도 하나의 제외 영역을 결정하는 단계, 및
   상기 각각의 관심 영역의 상기 디지털 이미지로부터 이미지 데이터를 포함하는 출력 이미지를 형성하는 단계 - 상기 제외 영역은 마스킹되고, 상기 주변 영역의 마스킹된 이미지 데이터를 포함함 -; 및
   상기 출력 이미지를 포함하는 출력 비디오 시퀀스를 형성하는 단계를 포함하는 방법.
10. 처리 능력을 갖는 장치에 의해 실행될 때 방법을 수행하도록 적용된 명령어를 갖는 비일시적 컴퓨터 판독 가능 저장 매체로서,
    상기 방법은:
    캡처된 디지털 이미지를 제공하는 단계;
    상기 디지털 이미지의 물체에 대해 결정된 하나 이상의 경계 박스를 나타내는 데이터를 수신하는 단계;
    상기 하나 이상의 경계 박스 중 하나를 선택함으로써, 사람 식별자를 갖는 관심 물체를 커버하는, 상기 디지털 이미지 내에서 관심 영역을 결정하는 단계 - 상기 사람 식별자는 사람 신원이 고유하게 식별될 수 있는 특징, 특성 또는 물체임 -;
    상기 관심 영역을 결정한 후에, 주변 영역에서 상기 디지털 이미지에서의 모든 이미지 데이터를 상기 관심 영역으로 마스킹하는 단계;
    추가 사람 식별자를 검출하기 위해 상기 관심 영역 내에서 이미지 데이터를 분석하여, 다른 사람 식별자를 갖는 상기 디지털 이미지에서 제외 물체를 커버하는 적어도 하나의 제외 영역을 결정하는 단계; 및
    상기 관심 영역으로부터 이미지 데이터를 포함하는 출력 이미지를 형성하는 단계 - 상기 제외 영역이 마스킹되고, 상기 주변 영역의 마스킹된 이미지 데이터를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
11. 캡처된 디지털 이미지에서 관심 영역을 강조하도록 배치된 장치로서,
    상기 디지털 이미지의 물체에 대해 결정된 하나 이상의 경계 박스를 나타내는 데이터를 수신하고,
    상기 하나 이상의 경계 박스 중 하나를 선택함으로써, 사람 식별자를 갖는 관심 물체를 커버하는, 디지털 이미지 내에서 관심 영역을 결정하며, - 상기 사람 식별자는 사람 신원이 고유하게 식별될 수 있는 특징, 특성 또는 물체임 -,
    추가 사람 식별자를 검출하기 위해 상기 관심 영역 내에서 이미지 데이터를 분석하여, 다른 사람 식별자를 갖는 디지털 이미지에서 적어도 하나의 제외 물체를 커버하는 제외 영역을 결정하는 검출기; 및
    상기 관심 영역을 결정한 후에, 주변 영역에서 상기 디지털 이미지에서의 모든 이미지 데이터를 상기 관심 영역으로 마스킹하고,
    상기 관심 영역으로부터의 이미지 데이터를 포함하는 출력 이미지를 형성하는 프로세서 - 상기 제외 영역이 마스킹되고, 상기 주변 영역의 마스킹된 이미디 데이터를 포함함 -를 포함하는 장치.
12. 제11항에 있어서, 비디오 관리 시스템의 비디오 카드에 배치되는 장치.