KR20230135521A

KR20230135521A - 이미지 스트림에서 오브젝트의 개선된 마스킹

Info

Publication number: KR20230135521A
Application number: KR1020230031781A
Authority: KR
Inventors: 하스브링 루드비히; 위안 송
Original assignee: 엑시스 에이비
Priority date: 2022-03-16
Filing date: 2023-03-10
Publication date: 2023-09-25
Also published as: US20230298182A1; EP4246465C0; EP4246465B1; EP4246465A1; CN116778004A

Abstract

이미지 스트림에서 오브젝트를 마스킹 또는 마킹하는 방법으로서, 상기 방법은: 하나의 장면의 적어도 일부를 캡처하는 제1 입력 이미지 스트림을 처리 함으로써 하나 이상의 출력 이미지 스트림을 생성하는 단계(그로 인해 상기 장면에 대한 상기 폐기된 픽셀 정보는 어떤 출력 이미지 스트림에도 포함되지 않음); 및 상기 폐기된 픽셀 정보를 사용하여 상기 장면 내의 오브젝트를 검출하는 단계; 를 포함하며, 상기 하나 이상의 출력 이미지 스트림을 생성하는 단계는 상기 오브젝트가 상기 적어도 하나의 출력 이미지 스트림의 상기 적어도 하나의 출력 이미지 스트림 이내에 적어도 부분적으로 보인다고 결정한 후 상기 하나의 출력 이미지 스트림의 상기 검출된 오브젝트를 마스킹 또는 마킹하는 단계를 포함한다. 대응하는 장치, 컴퓨터 프로그램 및 컴퓨터 프로그램 제품 또한 제공된다.

Description

이미지 스트림에서 오브젝트의 개선된 마스킹{IMPROVED MASKING OF OBJECTS IN AN IMAGE STREAM}

본 발명은 이미지 스트림에서 오브젝트의 마스킹 또는 마킹에 관한 것이다. 특히, 본 발명은 상기 이미지 스트림에서 오브젝트가 단지 부분적으로 보이거나 또는 갑자기 나타날 때 이와 같은 마스킹 또는 마킹을 어떻게 개선하는지에 관한 것이다.

이미지 내에서 오브젝트를 정상적으로 식별하고 찾을 수 있는 다양한 오브젝트 검출 알고리즘이 이용가능하다. 식별하는 것은 예를 들면 검출된 오브젝트가 어떤 클래스에 속하는지 판단하는 것 및 상기 오브젝트가 마스킹 또는 마킹되어야 하는지 결정하는 것을 포함할 수 있는 반면, 위치를 결정하는 것은 예를 들면 상기 이미지 내에서 상기 오브젝트의 전체적인 모양과 좌표를 제공하는 것을 포함할 수 있다. 상기 오브젝트 검출 알고리즘으로부터의 정보는 그 후 오브젝트 추적 알고리즘에 제공될 수 있으며, 그로 인해 특정 오브젝트의 움직임이 예를 들면 비디오 카메라에 의해 캡처된 이미지 스트림에서(즉, 비디오 스트림에서) 복수의 이미지에 걸쳐 추적될 수 있다. 오브젝트의 위치 및/또는 움직임을 아는 것은 유용할 수 있는데, 예를 들면, 상기 오브젝트 위에 프라이버시 마스크를 적용할 필요가 있을 때, 그로 인하여 상기 오브젝트의 정체가 상기 이미지 스트림을 시청하는 사용자에게 쉽게 이용되기 어려울 경우가 그렇다.

오브젝트 검출 알고리즘은 그러나 오브젝트가 예를 들면 상기 이미지 스트림에서 단지 부분적으로 보일 경우 상기 오브젝트를 적절히 식별하고 위치를 결정하는 것에 실패할 수 있다. 이는 특히 상기 오브젝트가 상기 이미지 스트림의 경계에 가까울 경우에 해당될 수 있으며, 예를 들면 상기 오브젝트가 상기 이미지 스트림에 의해 캡처된 장면 안으로 들어간 직후거나 또는 나가기 직전일 때일 수 있다. 상기 오브젝트 검출 알고리즘이 이와 같은 오브젝트를 적절히 식별하고 위치를 결정하는 것에 실패할 경우, 상기 오브젝트 검출 알고리즘은 상기 오브젝트 추적 알고리즘에 상기 오브젝트에 대한 정보를 공급할 수 없을 것이다. 이는 이와 같은 오브젝트에 대한 상기 오브젝트 추적 알고리즘의 감소된 성능으로 이어질 수 있는데, 상기 오브젝트 추적 알고리즘은 흔히 오브젝트를 발견하여 자동으로 추적을 시작할 수 있기 전에 오브젝트 검출 알고리즘으로부터 적어도 약간의 정보 갱신을 수신할 필요가 있기 때문이다.

상기의 결과로서, 이미지 스트림에서 상기 오브젝트의 마스킹 또는 마킹은 예를 들면 오브젝트가 부분적으로 숨겨져 있고/있거나 갑자기 시야에 들어올 가능성이 더 높은 상기 이미지 스트림의 경계에서 또는 가까이에서 더 신뢰할 수 없다. 예를 들어 다양한 사생활의 이유로 마스킹이 요구될 경우, 이는 특히 기존의 사생활 규칙을 충분히 고수하는 것이 더 이상 보증되지 않을 것이므로 문제가 될 수 있다.

이미지 스트림에서 부분적으로 숨겨져 있거나 갑자기 나타난 오브젝트를 마스킹 (또는 예를 들면 마킹)하는 상기 식별된 문제를 적어도 부분적으로 해결하기 위해, 본 발명은 첨부된 독립항에 모두 정의된 바와 같이, 이미지 스트림에서 오브젝트를 마스킹 또는 마킹하기 위한, 개선된 방법, 개선된 장치, 개선된 컴퓨터 프로그램, 그리고 개선된 컴퓨터 프로그램 제품을 제공한다. 첨부된 종속항에서 개선된 방법, 장치, 컴퓨터 프로그램 및 컴퓨터 프로그램 제품의 다양한 대안적 실시예가 정의된다.

본 발명의 제1 태양에 따라, 이미지 스트림에서 오브젝트를 마스킹 또는 마킹하는 방법이 제공된다. 상기 방법은 하나의 장면의 적어도 일부를 캡처하는 제1 입력 이미지 스트림을 처리함으로써 하나 이상의 출력 이미지 스트림을 생성하는 단계를 포함한다. 상기 처리는 상기 제1 입력 이미지 스트림의 하나 이상의 픽셀에 의해 제공되는 상기 장면에 대한 폐기(discarding) 픽셀 정보를 포함하며, 그로 인해 상기 폐기 픽셀 정보는 상기 하나 이상의 출력 이미지 스트림 중 어느 하나에도 포함되지 않는다. 상기 방법은 상기 폐기 픽셀 정보를 사용하여 상기 장면 내의 오브젝트를 검출하는 단계를 더 포함한다(즉, 상기 픽셀 정보는 하나 이상의 출력 이미지 스트림 중 어느 하나에도 포함되지 않는다). 최종적으로, 상기 하나 이상의 출력 이미지 스트림을 생성하는 단계는 상기 오브젝트가 상기 적어도 하나 이상의 출력 이미지 스트림의 상기 적어도 하나 이내에 적어도 부분적으로 있다고 결정한 후 (즉, 결정에 대응하여) 상기 하나 이상의 출력 이미지 스트림의 적어도 하나 안의 상기 검출된 오브젝트를 적어도 일시적으로 마스킹 또는 마킹하는 단계를 포함한다. 상기 방법은 선택적으로 상기 생성된 하나 이상의 출력 이미지 스트림을 (예를 들면 서버, 유저 터미널, 저장 장치, 또는 유사한 것으로) 출력하는 단계를 또한 포함한다.

여기에 더 상세하게 후술되는 바와 같이, 하기 구상된 방법은 (종래 처리 체인과 같은) 현재 이용가능한 기술을 개선하여 관심 오브젝트가 존재하는지 여부를 결정하도록 출력 이미지 스트림에 포함된 장면에 대한 정보만을 사용하는 것이 아니라, 대신에 상기 오브젝트를 검출하는 것과 무관하게 어떤 처리가 되는 것의 일부로서 더 생각없이 폐기되었을 장면에 대한 정보 또한 사용한다. 이는 상기 오브젝트 검출(알고리즘)이 오브젝트가 상기 출력 이미지 스트림에 진입하기 전에 상기 오브젝트를 더 잘 검출하도록 한다. 그렇게 함으로써, 상기 오브젝트 검출은 상기 오브젝트가 예를 들면 단지 절반만 상기 출력 이미지 스트림 내에서 있더라도 성공할 수 있으며, 예를 들면 이와 같은 오브젝트를 적절히 마스킹하는 것을 실패할 위험은 그로써 감소되거나 또는 제거될 수도 있다. 이는, 상기 장면에 대한 상기 폐기된 픽셀 정보가 상기 오브젝트 검출 (및 추적)이 수행되기 전에 던져지는, 흔히 이용가능한 기술에 대조적인 것으로, 그로 인해 전통적인 오브젝트 검출 (및 추적)은 상기 장면에 대한 상기 정보만 사용하도록 허용되어 상기 장면이 또한 상기 출력 이미지 스트림에서 결국 끝나는 것에 대조적인 것이다.

하기 구상된 방법은 따라서 입력 이미지 스트림을 처리할 때 상기 장면에 대한 폐기 픽셀 정보에 대한 것이 아니라, 오히려 이와 같은 픽셀 정보가, 어떤 이유로든지, 상기 (제1) 입력 이미지 스트림의 상기 처리의 부분으로서 폐기되었음을 검출하는 것에 대한 것이다. 하기 구상된 방법은 따라서 상기 오브젝트의 검출에 사용되지 않는다면, 폐기되었을, 상기 장면에 대해 이와 같은 픽셀 정보가 있다는 것을 명시적으로 검출하는 것의 추가적 단계를 포함할 수 있으며, 그리고 이 때, 이와 같은 검출 후, 상기 장면에 대한 아직 폐기되지 않은 픽셀 정보에 기반한 상기 오브젝트를 검출하는 것을 진행하도록 할 수 있다. 여기서, "기반하다"는 물론 상기 오브젝트가 아직 폐기되지 않은 (그러나 곧 폐기될) 픽셀 정보 및 폐기되지 않을 것이지만 대신 상기 출력 이미지 스트림의 일부가 될 픽셀 정보를 모두 사용하여 상기 오브젝트가 검출될 수 있다는 것을 암시한다. 이는 예를 들면 상기 장면에 (상기 출력 이미지 스트림에서 나타난 바와 같이) 현재 진입하는 오브젝트를 검출할 때 적용될 수 있으며, 상기 출력 이미지 스트림 외부의 상기 오브젝트의 부분에 대한 정보는 따라서 아직 폐기되지 않은 픽셀 정보에만 포함되는 경우에만 적용될 수 있다.

여기에 사용된 바와 같이, 하나 이상의 출력 이미지 스트림을 생성하기 위한 상기 제1 입력 이미지 스트림의 처리는 상기 하나 이상의 출력 이미지 스트림의 하나의 특정 이미지 (또는 이미지 프레임)을 생성하기 위해 상기 제1 입력 이미지 스트림의 특정 이미지 (또는 이미지 프레임)가 처리되는 것을 포함할 수 있다. 상기 제1 입력 이미지 스트림의 상기 특정 이미지는 특정 입력 이미지로서 지칭될 수 있으며, 그리고 상기 해당 출력 이미지 스트림의 상기 특정 이미지는 특정 출력 이미지로서 지칭될 수 있다. 하기에 상세히 후술되는 바와 같이, 예를 들어 오브젝트 검출에 추가적으로 오브젝트 추적을 사용할 경우, 오브젝트를 마스킹/마킹할 때, 상기 특정 입력 이미지를 처리할 때 폐기된 픽셀 정보가 상기 특정 입력 이미지로 같은 순간에 상기 장면을 나타내는 특정 출력 이미지에서 사용될 수 있고, 또한 상기 특정 입력 이미지보다 하나 이상의 추후 시간적 순간에서 상기 장면을 나타내는 하나 이상의 다른 출력 이미지에서 사용될 수 있는데, 이는 상기 오브젝트 추적 알고리즘이 이전 이미지에 대한 상기 오브젝트에 대해 수신된 정보에 기반한 오브젝트의 미래 포지션을 추측할 수 있기 때문이다.

여기에 사용된 바와 같이, 픽셀 정보가 "상기 장면에 대한" 것이라는 의미는 특정 시간적 순간에 기록된 (상기 입력 이미지 스트림의) 이미지의 픽셀이 그 특정 시간적 순간에서 상기 장면에 대한 정보를 제공한다는 것으로 이해된다. 예를 들면 상기 장면에서 물체로부터 반사되는 광선은 상기 장면을 캡처하도록 사용된 카메라의 이미지 센서에 도착하는 것으로서 구상되며, 상기 이미지 센서의 판독이 (상기 입력 이미지 스트림의) 상기 이미지의 상기 대응 픽셀에 대한 값을 제공할 때, 이들 픽셀은 그 후 상기 오브젝트에 대한 정보와 상기 오브젝트가 포함된 상기 장면을 제공한다. 상기 입력 이미지 스트림(의 이미지)의 하나 이상의 픽셀에 의해 제공된 상기 픽셀 정보는 예를 들면 상기 픽셀(이 상기 입력 이미지 스트림의 상기 처리의 부분으로서) 크롭핑되고 상기 출력 스트림(의 상기 이미지)에 포함되지 않을 경우 폐기될 수 있으며, 그리고/또는 예를 들면 상기 픽셀의 상기 값/색이 그 원래 값과 관련이 없는 사전정의된 값으로 변할 경우 폐기될 수 있다. 후자는 예를 들면 상기 입력 이미지 스트림의 상기 처리의 부분으로서 마스크가 적용될 경우일 수 있으며, 그로 인해 예를 들면 상기 장면의 약간 세부적으로 초기에 표시된 하나 이상의 픽셀이 예를 들면 단일 흑색 (또는 다른) 색을 갖도록 대신 강제된다.

여기에 구상되는 바와 같이, 픽셀의 정확한 값/색은 그러나 상기 이미지 센서의 판독에 의해 발견된 원시값으로부터 다를 수 있는데, 이는 예를 들면 색 교정과 같은 다양한 함수로 인해, 또는 유사한 것으로 인해, 먼저 상기 픽셀에 적용된 것으로 인한 것일 수 있다. 그러나, 그것이 원래 담고 있던 장면에 대한 픽셀 정보가 어떤 출력 이미지 스트림에서도 끝나지 않도록 상기 처리의 일부로서 픽셀이 크롭핑되거나 마스킹되지 않는 한, (상기 서술된 바와 같이) 그러한 픽셀은 여전히 장면에 대한 픽셀 정보를 제공하는 것으로 간주된다.

오브젝트가 (적어도 부분적으로) "출력 이미지 스트림 내에" 있다는 의미는, 먼저 상기 오브젝트의 마스킹이 없다고 가정할 경우, 상기 출력 이미지 스트림의 적어도 하나의 특정 이미지 내에 (적어도 부분적으로) 상기 오브젝트가 있다는 것으로 이해된다.

여기에 논의되는 바와 같이, "폐기된 픽셀 정보를 사용하여 상기 장면에서 오브젝트를 검출하는 것"은 예를 들면 오브젝트 검출 알고리즘으로 입력으로서 상기 폐기된 픽셀 정보를 사용하는 것을 포함할 수 있다. 이는 예를 들면 상기 오브젝트 검출 알고리즘으로 입력으로서 상기 폐기된 픽셀 정보를 제공하는 상기 하나 이상의 픽셀의 상기 값을 제공하는 것에 대응할 수 있다.

상기 방법의 하나 이상의 실시예에서, 상기 제1 입력 이미지 스트림의 상기 하나 이상의 픽셀은 상기 제1 입력 이미지 스트림의 하나 이상의 다른 영역보다 낮은 시각적 품질을 갖는 것으로 간주된 상기 제1 입력 이미지 스트림의 영역에 속할 수 있다. 여기서 또한, "상기 제1 입력 이미지 스트림의 영역"은 예를 들면 상기 제1 입력 이미지 스트림의 이미지 (프레임)의 영역으로서 구상, 예를 들면 상기 제1 입력 이미지 스트림의 상기 이미지의 픽셀의 세트로서 구상된다. 상기 영역은 하나의 단일 계속 영역일 필요는 없으며, 대신에 여러 서브영역으로 나뉘어 겹치거나 직접적으로 서로 닿지 않을 수 있다. 여기에 후술되는 바와 같이, 이와 같은 영역은 예를 들면 상기 장면의 낮은 해상도를 제공하고/하거나 다른 이유로 왜곡된 픽셀을 포함할 수 있다. 그러나, 이들 픽셀은 상기 장면에 대해 적어도 일부 정보를 담고 있다고 여전히 가정되며, 상기 장면에 대한 상기 정보는 따라서 상기 정보가 상기 제1 입력 이미지 스트림의 상기 처리의 부분으로서 다른 경우 폐기되더라도 상기 오브젝트를 검출하도록 사용될 수 있다고 가정된다. 반면, 종래의 처리 체인에서는, 이들 픽셀은 흔히 더 생각없이 크롭핑되고/되거나 마스킹되며, 그로 인해 이들 저품질 픽셀은 하나 이상의 출력 이미지 스트림에서 보이지 않게 된다.

상기 방법의 하나 이상의 실시예에서, 낮은 시각적 품질을 갖는 것으로 간주되는 상기 제1 입력 이미지 스트림의 상기 하나 이상의 픽셀(즉, 상기 제1 입력 이미지 스트림의 이미지의 하나 이상의 픽셀)은 상기 제1 입력 이미지 스트림(의 상기 이미지)를 캡처하도록 사용되는 이미지 센서의 주변 영역으로부터 비롯될 수 있고/있거나 렌즈 배치의 주변 섹션을 통해 상기 이미지 센서에 도착한 광으로부터, 및/또는 원축오차(vignetting)이라고 부르는 것을 야기하기에 충분한 상기 렌즈 배치에서의 각도에 도착한 광으로부터 비롯될 수 있다. 이 모든 것은 상기 이미지 센서의 센터로부터 비롯되는 픽셀, 및/또는 상기 이미지 센서를 향해 직진하여 도착한 광으로부터의 픽셀 또는 유사한 것과 비교하여 낮은 시각적 품질을 취득하는 일부 픽셀의 원인의 예시이며, 예를 들면 증가된 흐림(blur)의 형태의 낮은 시각적 품질, 감소된 선예도(sharpness) 및/또는 이들 픽셀이 발견되는 곳에서 상기 장면의 감소된 전체적 해상도로 이어질 수 있다. 더 생각없이 이들 픽셀을 폐기하는 것/크롭핑하는 것 및/또는 마스킹하는 것 대신, 종래의 처리 체인에서 한 것과 같이, 본 발명은 이들 픽셀이 여전히 상기 장면에서 오브젝트를 검출하기 위해 유용할 수 있는 상기 장면에 대한 픽셀 정보를 담고 있을 수 있도록 구상한다.

상기 방법의 하나 이상의 실시예에서, 상기 제1 입력 이미지 스트림에서 상기 장면의 적어도 부분의 표시는 비직사각형일 수 있다. 상기 제1 입력 이미지 스트림의 상기 하나 이상의 픽셀은 상기 비직사각형 표시의 직사각형 영역의 외부에 놓인 픽셀에 속할 수 있다(즉, 상기 비직사각형 표시 내에서 직사각형 영역을 정의하는 것이 가능할 수 있으며, 상기 하나 이상의 픽셀은 이 직사각형 영역의 외부에 놓인 픽셀일 수 있다). (상기 장면의 상기 적어도 부분의) 상기 비직사각형 표시는: a) 렌즈 배치 (상기 렌즈 배치를 통해 상기 장면의 상기 적어도 부분이 캡처됨)의 속성, 및 b) 상기 제1 입력 이미지 스트림에 (예를 들면 상기 하나 이상의 출력 이미지 스트림을 생성하도록 상기 제1 입력 이미지 스트림의 상기 처리의 부분으로서) 적용되는 변환 중 적어도 하나로 인해 일어날 수 있다. 여기서, 상기 장면의 상기 표시가 비직사각형이라는 뜻은, 예를 들면 흑색이고 상기 장면에 대한 어떤 정보도 담고 있지 않은 상기 장면의 이미지 내의 일부 픽셀이 있고, 반면 상기 장면을 표시하고 상기 장면에 대한 정보를 담고 있는 상기 픽셀의 외부 주변은 비직사각형 모양을 갖는다는 것이다. 출력 이미지 스트림을 생성할 때 그로 인해 상기 하나 이상의 출력 이미지 스트림에서 나타난 상기 장면의 외부 주변이 직사각형이 되면서 그와 같은 이미지를 크롭핑하는 것이 흔히 바람직할 수 있다. 종래의 처리 체인에서, 상기 원하는 직사각형 모양의 외부에 놓인 상기 픽셀은 더 생각없이 크롭 및/또는 마스킹된다. 본 발명은 그러나, 이들 픽셀이 상기 장면에서 오브젝트를 검출할 때 유용할 수 있는 상기 장면에 대한 정보를 여전히 담고 있도록 구상한다.

상기 방법의 하나 이상의 실시예에서, 상기 장면에 대한 상기 픽셀 정보의 폐기는 상기 출력 이미지 스트림이 특정 기하학적 모양을 갖도록 요구하는 인코딩 수준으로부터 인할 수 있으며, 즉, 그로 인해 예를 들면 이들 "외부 픽셀"을 크롭핑 또는 마스킹하는 것에 의해, 상기 특정 기하학적 모양 외부에 놓인 하나 이상의 픽셀에 의해 제공되는 상기 장면에 대한 픽셀 정보는 폐기된다. 상기 특정 기하학적 모양은 흔히 직사각형이지만, 상기 특정 기하학적 모양이 예를 들면 타원형, 원형, 삼각형 또는 유사한 것과 같은 비직사각형인 코딩 수준이 존재하도록 (또는 존재하게 되도록) 구상될 수 있다.

본 발명의 하나 이상의 실시예에서, 상기 변환은: b-1) 렌즈 왜곡 교정 절차; b-2) 상기 장면의 상기 적어도 부분의 조감도를 합성하는 것, 및 b-3) 상기 장면의 다른 부분을 함께 캡처하는 복수의 이미지를 스티치(stitch)하도록 적용된 하나 이상의 프로젝션(여기서 이들 복수의 이미지 중 적어도 하나는 상기 제1 입력 이미지 스트림의 부분으로서 포함됨); 중 하나 이상의 부분으로서 적용될 수 있다. 렌즈 왜곡 교정 절차는 예를 들면 배럴 왜곡 교정 (BDC) 절차, 핀쿠션 교정 (PDC) 절차 또는 예를 들면 접선 왜곡 교정 (TDC) 절차 또는 유사한 것일 수 있다. 조감도를 합성하는 것은 복수의 카메라로부터 입력 이미지 스트림을 사용하는 것을 포함할 수 있으며, 어떤 카메라도 상기 장면의 톱다운 뷰를 갖도록 실제로 위치하지 않으며, 그러나 다양한 투영변환이 개별 이미지 스트림에 적용되어 그로 인해 그들이 그와 같은 상기 장면의 톱다운 뷰를 갖도록 위치한 카메라로부터 방사되듯이 뷰를 결합, 모방하도록 한다. 예를 들면 파노라마 이미지 (스트림)을 생성하도록 복수의 이미지를 함께 스티칭(stitching)하는 것은 각 이미지에 (맵) 프로젝션의 형태에서 하나 이상의 변환을 먼저 적용하는 것을 포함할 수 있다 (여기서 이와 같은 프로젝션은 예를 들면 직선의, 원통형의, 구형의, 파니니, 스테레오그래픽(stereographic, 또는 유사한 것일 수 있다). 상기 프로젝션은 예를 들면 모든 이미지를 공통된, 예를 들면 구형 또는 원통형 표면으로 프로젝션하도록 사용될 수 있다.

상기 모든 유형의 변환에서, 변환된 입력 이미지 스트림에서 표시된 바와 같은 상기 장면의 외부 주변부는 더 이상 직사각형이 아닐 수 있으며, 종래의 처리 체인은 더 생각 없이 원하는 직사각형 영역의 외부에 놓인 픽셀을 폐기/크롭핑 및/또는 마스킹할 수 있다. 본 발명은, 그러나, 상기 원하는 직사각형 영역의 외부에 있는 픽셀이 상기 장면에서 오브젝트를 검출할 때 사용될 수 있는 상기 장면에 대한 픽셀 정보를 여전히 제공할 수 있도록 구상한다.

본 방법의 하나 이상의 실시예에서, 상기 출력 이미지 스트림을 생성하는 것은 상기 제1 입력 이미지 스트림에 의해 캡쳐되지 않은 상기 장면의 일부분을 캡처하는 제2 입력 이미지 스트림과 상기 제1 입력 이미지 스트림을 스티칭(stitching)하는 것을 포함할 수 있다. 상기 제1 입력 이미지 스트림의 상기 하나 이상의 픽셀은 상기 제1 입력 이미지 스트림뿐만 아니라 상기 제2 입력 이미지 스트림에 의해서도 캡처된 상기 장면의 영역으로부터 비롯될 수 있다. 상기 장면의 일부분에 대한 정보가 그 후 상기 제1 및 제2 입력 이미지 스트림에서 발견되면서, 예를 들면 블렌딩 또는 페이딩을 수행하지 않고 상기 제1 및 제2 입력 이미지 스트림 사이의 오버랩에 속한 상기 제1 입력 이미지 스트림의 상기 픽셀을 단순히 크롭핑하도록 구상될 수있다. 종래의 처리 체인은 더 생각없이 상기 제1 입력 이미지 스트림의 이와 같은 "오버랩-픽셀"을 폐기할 것인 반면, 본 발명은 이들 픽셀이 상기 장면에서 오브젝트를 검출할 때 사용될 수 있는 상기 장면에 대한 픽셀 정보를 여전히 담을 수 있도록 구상한다.

상기 방법의 하나 이상의 실시예에서, 상기 출력 이미지 스트림을 생성하는 것은 전자 이미지 안정화 (EIS) 절차를 상기 제1 입력 스트림에 적용하는 것을 포함할 수 있다. 상기 제1 입력 이미지 스트림의 상기 하나 이상의 픽셀은 상기 EIS에 의해 크롭핑되거나 마스킹되는 픽셀에 속할 수 있다. EIS가 이들 픽셀을 크롭핑하거나 마스킹할 수 있는 이유는 후술될 것이지만, 종래의 처리 체인은 더 생각 없이 이들 픽셀에 의해 제공되는 상기 정보를 폐기할 것인 반면, 본 발명은 이와 같은 픽셀이 상기 장면에서 오브젝트를 검출할 때 사용될 수 있는 상기 장면에 대한 픽셀 정보를 제공할 수 있을 것을 구상한다는 것을 알 수 있다.

상기 방법의 하나 이상의 실시예에서, 상기 방법은 모니터링 카메라에서 수행될 수 있다. 상기 모니터링 카메라는 예를 들면 모니터링 카메라 시스템의 부분을 형성할 수 있다. 상기 모니터링 카메라는 상기 제1 입력 이미지 스트림을 캡처하도록 구성될 수 있다. 모니터링 카메라에서 상기 방법을 수행하는 것은 소위 "엣지-컴퓨팅"이라는 것을 허용할 수 있으며, 여기서 예를 들면 상기 모니터링 카메라로부터 상기 출력 이미지 스트림을 수신하는 서버 또는 유저 터미널에서 요구될 수 있는 추가적 처리가 없고, 예를 들면 가능한 모니터링되는 상기 장면에 가깝게 전산이 일어나면서 딜레이가 감소될 수 있다.

상기 방법의 하나 이상의 실시예에서, 상기 오브젝트가 상기 출력 이미지 스트림 이내에 적어도 부분적으로 있다고 결정하는 단계는 오브젝트 추적 알고리즘을 사용하는 것을 포함할 수 있다. 예를 들면, 상기 오브젝트는 상기 오브젝트가 아직 상기 출력 이미지 스트림 내에 없는 동안 상기 폐기된 픽셀 정보를 사용하여 검출될 수 있지만, 그 후 상기 오브젝트가 이동하고 상기 출력 이미지 스트림 내에 진입하면서 상기 오브젝트 추적 알고리즘에 의해 후속된다. 따라서, 본 발명에서 구상된 바와 같이 상기 방법에서, 상기 폐기된 픽셀 정보를 사용하는 것은 유용할 수 있는데, 이는 상기 오브젝트가 상기 출력 이미지 스트림 내에 아직 없을 경우라도, 상기 폐기된 픽셀 정보 자체가 어떤 출력 이미지 스트림에 절대 처하지 않게 되더라도 그렇다.

본 발명의 제2 태양에 따라, 이미지 스트림에서 오브젝트를 마스킹 또는 마킹하는 장치가 제공된다. 상기 장치는 프로세서 (또는 "처리 회로") 및 메모리를 포함한다. 상기 메모리는 상기 프로세서에 의해 실행되면 상기 장치로 하여금 상기 제1 태양의 방법을 수행하도록 하는 인스트럭션들을 저장한다. 달리 언급하면, 상기 인스트럭션은 (상기 프로세서에 의해 실행되면) 상기 장치로 하여금 하기 단계를 실행하도록 한다: 하나의 장면의 적어도 일부를 캡처하는 제1 입력 이미지 스트림을 처리 (상기 처리는 상기 하나 이상의 출력 이미지 스트림 중 어느 하나에도 포함되지 않는 상기 제1 입력 이미지 스트림의 하나 이상의 픽셀에 의해 제공되는 상기 장면에 대한 픽셀 정보를 포함함)함으로써 하나 이상의 출력 이미지 스트림을 생성하는 단계; 및 상기 하나 이상의 출력 이미지 스트림 중 어느 하나에도 포함되지 않는 상기 픽셀 정보를 사용하여 상기 장면 내의 오브젝트를 검출하는 단계;를 포함한다. 상기 하나 이상의 출력 이미지 스트림을 생성하는 단계는 상기 오브젝트가 상기 적어도 하나 이상의 출력 이미지 스트림의 상기 적어도 하나 이내에 적어도 부분적으로 있다고 결정한 후 상기 하나 이상의 출력 이미지 스트림의 적어도 하나 안의 상기 검출된 오브젝트를 적어도 일시적으로 마스킹 또는 마킹하는 단계를 포함한다.

상기 장치는 선택적으로 상기 출력 이미지 스트림을 출력하도록 구성될 수 있다(예를 들면 서버, 유저 터미널, 저장 장치, 또는 유사한 것으로).

상기 장치의 하나 이상의 실시예에서, 상기 인스트럭션은 (상기 프로세서에 의해 실행되면) 상기 장치로 하여금 여기에 개시되고 구상된 상기 제1 태양의 방법의 실시예를 수행하도록 할 수 있다.

상기 장치의 하나 이상의 실시예에서, 상기 장치는 예를 들면 모니터링 카메라일 수 있다. 상기 모니터링 카메라는 상기 제1 입력 이미지 스트림을 캡처하도록 구성될 수 있다. 상기 모니터링 카메라는 예를 들면 모니터링 카메라 시스템의 부분을 형성할 수 있다.

본 발명의 제3 태양에 따라, 이미지 스트림에서 오브젝트를 마스킹 또는 마킹하는 컴퓨터 프로그램이 제공된다. 상기 컴퓨터 프로그램은 예를 들면 장치의 프로세서에 의해 실행될 때, (상기 장치는 예를 들면 상기 제2 태양에 따른 장치일 수 있음) 상기 장치로 하여금 상기 제1 태양에 따른 방법을 수행하도록 구성된다. 달리 언급하면, 상기 컴퓨터 프로그램은 장치의 프로세서에 의해 실행될 때 상기 장치로 하여금 하기 단계를 실행하도록 구성된다: 하나의 장면의 적어도 일부를 캡처하는 제1 입력 이미지 스트림을 처리 (상기 처리는 상기 하나 이상의 출력 이미지 스트림 중 어느 하나에도 포함되지 않는 상기 제1 입력 이미지 스트림의 하나 이상의 픽셀에 의해 제공되는 상기 장면에 대한 픽셀 정보를 포함함)함으로써 하나 이상의 출력 이미지 스트림을 생성하는 단계; 및 상기 하나 이상의 출력 이미지 스트림 중 어느 하나에도 포함되지 않는 상기 픽셀 정보를 사용하여 상기 장면 내의 오브젝트를 검출하는 단계;를 포함한다. 상기 하나 이상의 출력 이미지 스트림을 생성하는 단계는 상기 오브젝트가 상기 적어도 하나 이상의 출력 이미지 스트림의 상기 적어도 하나 이내에 적어도 부분적으로 있다고 결정한 후 상기 하나 이상의 출력 이미지 스트림의 적어도 하나 안의 상기 검출된 오브젝트를 적어도 일시적으로 마스킹 또는 마킹하는 단계를 포함한다.

상기 컴퓨터 프로그램의 하나 이상의 실시예에서, 상기 인스트럭션은 (상기 프로세서에 의해 실행되면) 상기 장치로 하여금 여기에 개시되고 구상된 방법의 실시예를 수행하도록 할 수 있다.

본 발명의 제4 태양에 따라, 컴퓨터 프로그램 제품이 제공된다. 상기 컴퓨터 프로그램 제품은 상기 제3 태양에 따른 컴퓨터 프로그램이 저장된 컴퓨터 판독가능 저장 매체를 포함한다.

본 발명의 다른 목적과 이점은 후속하는 상세한 설명, 도면과 청구항에서 분명하게 나타날 것이다. 본 발명의 범주에서, 예를 들면 상기 제1 태양의 방법을 참조하여 설명된 모든 이점과 특징은 상기 제2 태양의 상기 장치, 상기 제3 태양의 상기 컴퓨터 프로그램, 및/또는 상기 제4 태양의 상기 컴퓨터 프로그램 제품을 참조하여 설명되는 어느 특징과 이점에 결합하여 관련되고 적용되고 결합하여 사용될 수 있고, 그 역으로도 될 수 있다.

실시예는 이제 첨부되는 도면을 참조하여 하기에 설명된다.
도 1은 이미지 스트림에서 오브젝트를 마스킹 또는 마킹하는 방법/종래의 처리 체인을 개략적으로 도시하는 기능 블록도를 도시한다.
도 2a는 본 발명에 따른 이미지 스트림에서 오브젝트를 마스킹 또는 마킹하는 방법의 다양한 실시예를 개략적으로 도시하는 기능 블록도를 도시한다.
도 2b는 본 발명에 따른 방법의 하나 이상의 실시예의 순서도를 개략적으로 도시한다.
도 3a-3e는 본 발명에 따른 방법의 하나 이상의 실시예에서 구상된 바 또한 적용가능하듯이 상기 장면에 대한 픽셀 정보의 폐기로 인한 다양한 예시적 상황을 개략적으로 도시한다.
도 4a 및 4b는 본 발명에 따른 장치의 하나 이상의 실시예를 개략적으로 도시한다.
도면에서, 달리 명시되지 않는 한 유사한 요소는 유사한 도면 부호를 지닌다. 달리 명시적으로 언급되지 않는 한, 도면은 예시적인 실시예를 예시하는 데 필요한 요소만을 도시하고, 명확성을 위해 다른 요소는 생략되거나 단지 제안될 수 있다. 도면에 도시된 바와 같이, 요소 및 영역의 (절대적 또는 상대적) 크기는 예시 목적을 위해 그들의 실제 값에 비해 과장되거나 축소될 수 있으며, 따라서 실시예의 일반적인 구조를 예시하기 위해 제공된다.

여기서, 오브젝트 검출은 예를 들면 컴퓨터 비전 및/또는 이미지 처리와 같은 컴퓨터 기술의 다양한 분야에서 이미 이용가능한 바와 같이 오브젝트 검출을 위한 하나 이상의 흔히 이용가능한 알고리즘을 사용하여 구현될 수 있는 것으로 구상된다. 이와 같은 알고리즘은 예를 들면 비신경적 및 신경적 접근법 모두를 포함하는 것으로 구상될 수 있다. 최소 요구사항은 그러나 사용되는 무슨 알고리즘(또는 알고리즘의 결합)이든지 이미지에서 (얼굴, 몸, 면허판 등과 같은) 특정 오브젝트가 있는지를 결정할 수 있다는 것이고, 특히 상기 오브젝트가 위치한 이미지의 무슨 위치 및/또는 영역에서 있는지를 결정할 수 있다는 것이다. 사용되는 알고리즘이 예를 들면 특징 기반, 템플릿 기반 및/또는 모션 기반인지는 상기 요구사항이 충족되는 한 중요하지 않다. 오브젝트 검출은 예를 들면 해당 목적을 위해 특별히 훈련된 하나 이상의 신경망을 사용하여 구현될 수 있다. 본 발명의 목적을 위해, 상기 오브젝트 검출에서/에 사용되는 이와 같은 알고리즘은 상기 오브젝트 검출이 수행되기로 가정된 이미지 내에 부분적으로 숨겨진 오브젝트, 예를 들면 사람이 나무, 차량 등에 의해 부분적으로 가려져 있을 때/있는 경우를 적절히 식별 및/또는 위치를 결정하는 것을 어려워 할 수 있다는 것이 또한 가정된다.

여기서 유사하게, 오브젝트 추적은 예를 들면 하나 이상의 흔히 이용가능한 오브젝트 추적을 위한 알고리즘을 사용하여 구현가능한 것으로 구산된다. 이와 같은 알고리즘은 예를 들면 대상 표현 및 현지화에 의존하는 상향식 프로세스이며 예를 들어 커널 기반 추적, 윤곽선 추적 또는 이와 유사한 것을 포함한다. 다른 구상된 추적용 알고리즘은 예를 들면 하향식 프로세스일 수 있으며, 이는 예를 들면 필터링 및 데이터 연결 사용을 포함하며, 예를 들어 하나 이상의 칼만(Kalman) 및/또는 입자 필터 구현할 수 있다. 여기서, 이와 같은 추적 알고리즘은 상기 오브젝트 검출로부터 입력을 수신할 수 있고, 또한 상기 오브젝트 검출로부터 추가적 입력/업데이트가 제공되지 않을 경우 그 후 상기 수신된 입력을 사용하여 장면에서 오브젝트를 시간에 걸쳐 따라가도록 (즉, 복수의 후속 이미지에 걸쳐서) 한다. 본 발명의 목적을 위해, 상기 오브젝트 추적이 상기 오브젝트 검출로부터 업데이트를 수신하는 것을 중단한 후 이미지 스트림의 적어도 한 쌍의 이미지/프레임만큼 오브젝트를 추적/따라갈 수 있다고 가정하더라도, 이와 같은 추적의 품질은 상기 검출로부터 도착하는 새로운 입력이 없을 것이므로 시간이 지나면서 저지될 것이다. 잠시 후에, 상기 추적은 따라서 상기 오브젝트를 적절히 추적하는 것에 실패할 것이다. 상기 추적은 상기 검출로부터 그 제1 입력/업데이트를 수신한 후 상기 오브젝트를 발견하여 자동추적하고 성공적인 추적을 수행할 수 있기 전에 약간의 시간을 요구할 것이 또한 가정된다. 달리 언급하면, 상기 추적은 상기 오브젝트가 다음에 위치/이동할 곳에 대한 결론에 도달하기 위해 검출로부터 단일 데이터 포인트보다 더 많은 것을 필요로 한다(단일 데이터 포인트로부터는 적절히 추정하는 것이 어렵거나 또는 불가능하기까지 하기 때문이다). 다음에서, 용어 "오브젝트 검출 알고리즘," "오브젝트 검출," "오브젝트 검출 모듈," 및 "검출기"는 상호 대체가능하게 사용된다. 용어 "오브젝트 추적 알고리즘," "오브젝트 추적," "오브젝트 추적 모듈" 및 "추적기"에도 동일하게 적용되며, 상호 대체가능하게 사용된다.

이미지 스트림에서 오브젝트를 마스킹 또는 마킹하는 방법/종래의 처리 체인의 예시가 이제 도 1을 참조하여 더 상세하게 기재될 것이다.

도 1은 이미 이용가능한 기술에서 발견되고 사용되는 바와 같은 방법(100)(의 흐름)을 개략적으로 도시하는 기능 블록도를 도시한다. 상기 방법(100)에서, 입력 이미지 스트림(110)은 예를 들면 장면을 캡처하는 이미지 센서로부터 (예를 들면 상기 장면을 겨냥한 카메라의 부분으로서 예를 들면 다양한 렌즈 배치의 도움으로) 수신된다. 상기 입력 이미지 스트림(110)은 입력 이미지 I_n을 포함한다 (여기서 인덱스 n은 n번째 시간적 순간에 특정 입력 이미지 I_n이 캡처되었음을 나타낸다). 상기 입력 이미지 스트림(110)은 이미지 처리 모듈(120)에 의해 수신되며, 이미지 처리 모듈(120)은 상기 처리 체인(100)의 끝에서, 출력 이미지 스트림(114)의 부분으로서 대응 출력 이미지 O_n을 생성하기 위해, 상기 입력 이미지 스트림(110) 및 입력 이미지 I_n에 대한 이미지 처리를 수행하는 것이다.

상기 모듈(120)에서 수행된 상기 이미지 처리는 그 결과로서 중간 이미지(I'_n)를 초래한다. 다양한 이유로 인해, 여기서 후술되는 바와 같이, 상기 이미지 처리는 그 결과로서 상기 입력 이미지 I_n의 하나 이상의 픽셀에 의해 제공되는 바와 같이 상기 장면에 대한 픽셀 정보의 폐기를 초래한다. 중간 이미지 I'_n에서, 하나 이상의 픽셀(113)은 따라서 크롭핑되거나 마스킹되며, 그로 인해 상기 하나 이상의 픽셀(113)에 의해 제공된 상기 장면에 대한 상기 폐기된 픽셀 정보는 상기 출력 이미지 스트림(114)의 어떤 출력 이미지(O_n)에도 포함되지 않을 것이다. 결과적으로, 상기 장면이 나타난 상기 중간 이미지 (I'n)의 상기 영역(112)는 상기 하나 이상의 픽셀(13)의 상기 크롭핑 및/또는 마스킹으로 인해 상기 원본 이미지(I_n)보다 작을 수 있다. 물론, 다른 예시에서는, 상기 이미지 처리가 상기 픽셀(113)을 크롭핑 또는 마스킹한 후 상기 영역(112)의 주밍(zooming)/크기 조정(scaling)을 포함하는 것일 수 있으며, 그로 인해 상기 출력 이미지(O_n) 및/또는 상기 중간 이미지(I'_n)에서 상기 장면의 상기 나타난 부분(112)의 크기가 상기 입력 이미지 I_n의 전체의 그것과 같을 수 있(거나 더 클 수 조차도 있)다. 어떤 경우든지, 상기 중간 이미지(I'_n)의 상기 영역(112)은 상기 입력 이미지(I_n)의 전체만큼 상기 장면에 대한 픽셀 정보를 절대로 많이 제공하지 않는다. 이는 예를 들면, 상기 영역(112)을 (예를 들면 업샘플링을 사용하여) 주밍(zooming/크기 조정(scaling) 을 하더라도, 상기 장면에 대한 상기 폐기된 픽셀 정보는 회복될 수 없기 때문이다.

상기의 결과로서, 종래의 방법(100)에서는, 중간 이미지(I'_n)의 나머지 영역(112)에 있는 픽셀에 의해 제공되는 장면에 대한 픽셀 정보만이 상기 방법(100)의 흐름에서 어떤 후속 기능 모듈을 위해서든지 이용가능하다. 앞서 언급하였듯이, 상기 장면에 대한 픽셀 정보는, 상기 하나 이사의 픽셀(113)에 의해 원래 제공된 바와 같이, 따라서 상기 모듈(120)에서 수행되는 상기 이미지 처리의 결과로서 폐기된다. 픽셀을 크롭핑 또는 마스킹함으로써 픽셀 정보의 폐기를 하는 것은 흔히 상기 처리 체인에서 일찍 수행되는데, 이는 추후에 어쨌든 크롭핑되거나 마스킹될 어느 픽셀을 추가적으로 처리 또는 분석할 전산적 자원을 사용하는 것을 피하기 위함이다.

상기 중간 이미지(I'_n)가 그 후 오브젝트 검출 모듈(130)로 전달되며, 여기서 상기 영역(112)에서 하나 이상의 오브젝트를 식별하고 위치를 결정하는 시도가 이루어진다. 상기 모듈(130)에서 수행되는 상기 오브젝트 검출의 결과는 피처 추가 모듈(150)로 오브젝트 검출 데이터(132)로서 전달되며, 상기 검출된 오브젝트가 마스킹될 오브젝트로서 식별된 경우, 여기서 예를 들면 프라이버시 마스크가 검출된 오브젝트에 적용된다. 상기 피처 추가 모듈(150)은 또한, 또는 대신에, 상기 출력 이미지 스트림(114)에서 예를 들면 상기 검출된 오브젝트의 아이덴티티 및/또는 위치의 시각적 표시(상기 검출된 오브젝트를 둘러싼 프레임, 또는 유사한 것으로 나타남), 또는 어느 다른 유형의 마킹을 추가한다. 상기 피처 추가 모듈(150)은 따라서 하나 이상의 이와 같은 피처를 추가함으로써 상기 중간 이미지(I'_n)을 수정하고, 상기 출력 이미지(O_n)로서 그 결과를 출력한다. 상기 출력 이미지(O_n)은 상기 출력 이미지 스트림(114)의 일부를 형성한다. 상기 오브젝트 검출 데이터(132)는 예를 들면 식별된 오브젝트의 위치, 상기 오브젝트 검출 모듈(230)이 상기 식별된 오브젝트가 마스킹될 오브젝트(또는 적어도 추적될 오브젝트)인지 또는 유사한 것인지 얼마나 확실한지에 대한 추정치를 포함할 수 있다.

상기 중간 이미지(I'_n)는 예를 들면 선택적 오브젝트 추적 모듈(140)에 또한 선택적으로 제공될 수 있다. 상기 오브젝트 추적 모듈(140)은 또한 (추가적으로, 또는 대신에) 오브젝트 검출 데이터(133)를 상기 오브젝트 검출 모듈(130)로부터 수신할 수 있으며, 상기 오브젝트 검출 모듈(130)은 예를 들면 상기 중간 이미지(I'_n)에서 검출된 오브젝트의 추정된 위치를 나타내며, 이는 예를 들면 상기 오브젝트 추적 모듈(140)에 의해 이 오브젝트가 추적되어야 한다는 표시이다. 이는 여러 이미지에 걸쳐 상기 오브젝트를 추적하도록 상기 오브젝트 추적 모듈(140)을 도울 수 있다. 예를 들면, 상기 오브젝트 추적 모듈(140)은 상기 중간 이미지(I'_n)에 대해 취득된 오브젝트 검출 데이터(133)를 사용할 수 있지만 또한 하나 이상의 이전 중간 이미지(I'_m<n)에 대해 취득된 오브젝트 검출 데이터(133)도, 시간에 걸쳐 상기 오브젝트를 추적하기 위해 사용할 수 있다(달리 언급하면, 중간 이미지(I'_n)에 대해 취득된 오브젝트 검출 데이터(133)는 오브젝트를 추적하도록 사용되어 그로 인해 상기 오브젝트가 후속하는 출력 이미지 O_k>n에서 마스킹될 수 있도록 할 수 있다). 이와 같은 추적의 결과는 상기 피처 추가 모듈(150)에 오브젝트 추적 데이터(142)로서 상기 오브젝트 추적 모듈(140)로부터 제공될 수 있다. 상기 오브젝트 추적 데이터(142)는 예를 들면 상기 오브젝트 추적 모듈(140)에 의해 추정되는 바와 같이 오브젝트의 위치, 모양 또는 유사한 것을 포함할 수 있으며, 또한 예를 들면 상기 오브젝트의 결정된 위치에서 추정된 불확실성도 포함할 수 있다. 상기 피처 추가 모듈(150)은 그 후 예를 들면 하나 이상의 마스크, 마킹 또는 유사한 것을 하나 이상의 오브젝트에 적용할 때 또한 이와 같은 오브젝트 추적 데이터(142)를 사용할 수 있다. 일부 기타 예시에서, 상기 피처 추가 모듈(150)은 상기 오브젝트 추적 모듈(140)로부터 상기 데이터(142)를 단지 수신하고, 상기 오브젝트 검출 모듈(130)으로부터는 상기 데이터(132)를 수신하지 않도록 구상될 수 있다. 이와 같은 예시에서, 상기 방법(100)은 그 후 상기 오브젝트 추적에 단독으로 의존하여 예를 들면 마스크, 마킹 또는 유사한 것을 상기 출력 이미지(O_n) 및 상기 출력 이미지 스트림(114)에서 하나 이상의 오브젝트에 추가하도록 한다. 앞서 언급한 바와 같이, 오브젝트 추적을 사용할 때, 상기 중간 이미지(I'_n)에서 추적에 사용가능한 상기 데이터는 따라서 또한 추후 상기 출력 이미지 스트림(114)의 하나 이상의 후속 출력 이미지(O_k>n)를 출력하는 것에 사용될 수 있다.

그러나, 여기서 앞서 논의된 바와 같이, 상기 오브젝트 검출 모듈(130)은 예를 들면 상기 중간 이미지(I'_n)의 상기 영역(112) 내에 단지 부분적으로 있는 오브젝트를 적절히 식별하고 위치를 결정하는 것을 흔히 어려워하거나 또는 흔히 실패할 수도 있다. 그 결과로서, 상기 오브젝트 검출은 이와 같은 특정 오브젝트를 위치를 결정하는 것을 실패할 수 있으며, 상기 오브젝트 추적 모듈(140)은 (사용될 경우) 상기 오브젝트 검출 모듈(130)로부터 추가적 오브젝트 검출 데이터(133)를 수신하는 것을 중단할 경우 시간에 걸쳐 이와 같은 오브젝트를 추적하는 것을 실패할 수 있고, 상기 피처 추가 모듈(150)은 예를 들면 상기 데이터(132 및/또는 142)가 더 이상 이용가능하지 않거나 충분히 정확하지 않은 바와 같이 상기 프라이버시 마스킹에 의해 보호되어야 할 아이덴티티에 대한 장면에서 모든 오브젝트를 적절히 마스킹하는 것을 실패할 수 있다.

본 발명에서 구상되는 바와 같이 어떻게 방법이 종래의 방법에 대한 개선을 제공하는지가 도 2a 및 2b를 또한 참조하여 더 상세하게 설명될 것이다.

도 2a는 본 발명에 따른 방법(200)의 다양한 실시예를 수행하도록 사용된 다양한 기능적 모듈의 상호작용을 개략적으로 도시하는 기능 블록도(200)를 도시한다. 도 2b는 상기 방법(200)의 이와 같은 실시예의 대응 순서도를 개략적으로 도시한다.

단계(S201)에서, 하나 이상의 입력 이미지 스트림, (210)은 예를 들면 (모니터링 카메라와 같은) 하나 이상의 비디오 카메라의 예를 들면 하나 이상의 이미지 센서로부터 수신된다. 여기서, j는 이와 같은 상기 제j 입력 이미지 스트림을 나타내는 인덱스이며, n은 제n 시간적 순간에서 캡처된 상기 제j 입력 이미지 스트림의 입력 이미지를 이 나타내도록 하는 시간 인덱스이다. "제n" 시간적 순간이란 예를 들면 시간 에 대응할 수 있으며, 여기서 은 어떤 시작 시간이며 는 각 캡처된 이미지 사이의 시간적 차이이다( 가 모든 입력 이미지 스트림에 대해 같고 각 입력 이미지 스트림의 모든 입력 이미지 사이에 같다고 가정할 경우). 적어도 하나의 입력 이미지 가 상기 처리 체인의 끝에서 및 하나 이상의 중간 이미지()를 통해서, 하나 이상의 출력 이미지 스트림,(214)을 생성하고 출력하기 위해, 이미지 처리 모듈(220)에 의해 수신되며, 여기서 은 상기 제n 시간적 순간에서 상기 장면의 적어도 일부를 나타내는 이와 같은 상기 제i 출력 이미지 스트림의 출력 이미지를 나타낸다. 다음에서, 단순화 목적만을 위하여, 달리 기재되지 않는 한, 단지 단일 입력이미지 스트림 }이 있다고 가정될 것이며, 각 입력 이미지 (I_n)에 대한 단일 중간 이미지(I'_n) 및 단일 생성 출력 이미지 스트림 이 있다고 가정될 것이다.

도 1을 참조하여 기재된 종래의 방법(100)에서와 같이, 상기 출력 이미지 스트림(214)의 상기 출력 이미지(O_n)을 생성하기 위해, 상기 모듈(220)에 의해 (단계(S202)에서) 수행되는 상기 이미지 처리는 그 결과로서 예를 들면 오브젝트 검출 및/또는 오브젝트 추적과는 무관한 다양한 이유로, 일부 입력 이미지 스트림(210)의 상기 입력 이미지(I_n)의 하나 이상의 픽셀에 의해 제공되는 상기 장면에 대한 픽셀 정보의 폐기를 초래한다. 따라서, 상기 모듈(220)에서 상기 이미지 처리로부터 인한 상기 중간 이미지(I'_n)도 상기 입력 이미지(I_n)의 그것보다 작은 영역(212)를 차지하는 상기 장면의 남은 표시를 갖는데, 이는 상기 장면에 대한 상기 폐기된 픽셀 정보를 제공하는 하나 이상의 픽셀(213)이 예를 들면 크롭핑되었거나 마스킹되었기 때문이다. 앞서 논의된 바와 같이, 상기 모듈(220)에서 수행된 상기 이미지 처리는 또한 상기 입력 이미지(I_n)의 상기 전체 영역의 상기 영역에 다시 한 번 매칭하도록 (또는 초과하기까지 하도록) 상기 영역(212)을 스케일링하는 것을 포함할 수 있다(상기 입력 이미지(I_n)은 그러나 상기 하나 이상의 픽셀(213)을 크롭핑 또는 마스킹하는 동안 잃어버린 상기 장면에 대한 어떤 정보도 재취득하지 않는다). 따라서, 개선된 방법(200)에서 또한, 입력 이미지(I_n) 및 상기 입력 이미지 스트림(210)에서 원래 발견되는 상기 하나 이상의 픽셀(213)에 의해 제공되는 상기 장면에 대한 상기 픽셀 정보는 어떤 대응 출력 이미지() 및 출력 이미지 스트림(214)에도 포함되지 않는다. 여기서, 출력 이미지와 입력 이미지가 같은 시간 인덱스 n을 갖는다는 의미는 두 이미지 모두 상기 같은 시간적 순간에서 그대로인/그대로였던 상기 장면을 나타낸다는 것을 의미하며, 상기 출력 이미지(O_n)이 상기 입력 이미지(I_n)과 같은 시간에 생성되었음을 반드시 의미하지는 않는다. 예를 들면, 상기 입력 이미지(I_n)을 캡처하는 것과 최종적으로 상기 출력 이미지(O_n)을 생성하는 것 사이에는 예를 들면 상기 입력 이미지(I_n)을 처리하는 것을 완료하는데 요구되는 시간 또는 유사한 것으로 인한 약간의 딜레이가 있을 수 있다.

여기 구상되는 바와 같이, 상기 장면에 대한 상기 폐기된 픽셀 정보는 어떤 출력 이미지 및 출력 이미지 스트림(214)에도 포함되지 않는다고 말할 때는, 특정 제j 입력 이미지 스트림의 특정 입력 이미지()에 처리가 수행된다는 것을 의미하며, 이 특정 입력 이미지()로부터 마스킹된 또는 크롭된 하나 이상의 픽셀로부터 취득된 상기 장면에 대한 픽셀 정보를 포함하는 출력 이미지()가 (어떤 출력 이미지 스트림에서도) 없다는 것을 의미한다. 물론 상기 출력 이미지()는 여전히 상기 장면에 대한 이 픽셀 정보를 담고 있을 수 있지만, 이와 같은 경우 이 정보는 예를 들면 다른 입력 이미지 스트림의 다른 입력 이미지의 처리로부터 취득되었다. 예를 들면, 여기서 더 상세하게 추후 논의되는 바와 같이, 여러 입력 이미지 스트림이 상기 장면의 전경을 생성하도록 결합될 수 있으며, 상기 장면의 어떤 부분은 따라서 이들이 캡처될 경우 공간에서 오버랩되도록 이들 복수의 입력 이미지 스트림의 많은 것에서 보일 수 있다. 그러나, 이와 같은 하나의 특정 입력 이미지 스트림의 특정 입력 이미지의 하나 이상의 픽셀이 이 특정 입력 이미지의 처리 중 크롭핑되거나 마스킹될 경우, 이들 픽셀에 의해 제공되는 상기 장면에 대한 상기 픽셀 정보는 상기 출력 이미지 스트림의 부분인 것으로서 간주되는 것이 아니며, 이는 하나 이상의 다른 입력 이미지 스트림의 하나 이상의 다른 입력 이미지에서 다른 픽셀이 상기 장면에 대해 상기 같거나 유사한 픽셀 정보를 제공하도록 하는 경우라도 그렇다. 달리 언급하면, 여기에 이미 사용된 바와 같이, 특정 입력 이미지 스트림의 특정 입력 이미지의 하나 이상의 픽셀에 의해 제공된 상기 장면에 대한 상기 폐기된 픽셀 정보는, 여기에 구상된 바와 같이, 어느 출력 이미지 스트림의 어느 출력 이미지에도 포함되지 않는데, 이는 상기 하나 이상의 픽셀이 상기 특정 입력 이미지 및 입력 이미지 스트림의 처리의 결과로서 크롭핑되고 마스킹되기 때문이다. 특히, 여기에 구상된 바와 같이, 특정 시간적 순간에서 상기 장면의 특정 입력 이미지 캡처링 부분에 의해 제공된 상기 장면에 대하 상기 픽셀 정보는 그 특정 시간적 순간에서 그대로인/그대로였던 상기 장면(의 부분)을 나타내는 어떤 출력 이미지 스트림의 어떤 출력 이미지에서도 제공되지 않는다.

상기 입력 이미지(I_n)의 상기 처리로 인한 상기 중간 이미지(I'_n)은 오브젝트 검출 모듈(230)에 제공되며, 상기 오브젝트 검출 모듈(230)은 상기 장면에서 오브젝트를 (단계 S203에서) 검출하도록 이들 픽셀에 의해 제공된 상기 장면에 대한 상기 픽셀 정보와 상기 영역(212)의 상기 남은 픽셀을 사용할 수 있는 것이다. 그러나, 도 1을 참조하여 기재된 상기 종래의 방법(100)과 대조하여, 상기 개선된 방법(200)의 상기 처리 체인은 더 생각 없이 상기 하나 이상의 (크롭된 또는 마스킹된) 픽셀(113)에 의해 제공된 상기 장면에 대한 상기 픽셀 정보를 단지 폐기하지 않는다. 대신에, 가장 중요하게, 상기 방법(200)에서 상기 하나 이상의 픽셀(213) 및 그들이 제공하는 상기 장면에 대한 상기 픽셀 정보는 대신에 상기 오브젝트 검출 모듈(230)에 제공되며, 그로 인해 상기 오브젝트 검출 모듈(230)은 또한 상기 오브젝트를 검출할 때(즉, 단계 S203에서) 상기 장면에 대한 이 픽셀 정보를 사용할 수 있다. 그 결과로서, 상기 오브젝트 검출 모듈(230)은 상기 장면의 상기 입력 이미지(I_n)의 전체에 대한 정보가 제공되며 상기 입력 이미지(I_n)의 처리 후 남는 상기 영역(212)만의 정보가 제공되지 않는다. 이는 상기 오브젝트 검출 모듈(230)이 상기 풀 입력 이미지(I_n)(즉, 상기 영역(212)의 결합 플러스 상기 하나 이상의 픽셀(213))에서 아직 완전히 보일 수 있는 (또는 상기 오브젝트 검출에 의해 적절히 식별 및/또는 탐색되기에 적어도 충분히 보이는) 것과 같이, 상기 출력 이미지 스트림(214)에서 상기 출력 이미지(O_n)에서 그리고 상기 영역(212) 내에서 단지 부분적으로 보이는 오브젝트를 검출하도록 한다. 이는 상기 오브젝트 검출의 개선된, 더 신뢰성 있는 성능을 제공할 것이며, 그로 인해 오브젝트는 예를 들면 상기 출력 이미지 스트림(214)에서 상기 출력 이미지(O_n)에서 오브젝트가 좀 더 적절히 마스킹되거나 또는 마킹될 것 같도록 한다.

오브젝트 추적을 사용할 경우, 상기 입력 이미지(I_n)의 전체의 내용을 사용하는 상기 오브젝트를 검출하는 것은 또한 예를 들면 상기 출력 이미지 스트림에서 상기 출력 이미지(O_n)에 후속하는 하나 이상의 출력 이미지(O_k>n)(미도시)에서 오브젝트를 추적하도록 도울 수 있다. 예를 들면, 일부 실시예에서, 상기 오브젝트 검출 모듈(230)은, 상기 입력 이미지(I_n)의 전체를 분석할 때, 상기 하나 이상의 픽셀(213) 내에서 보이는 오브젝트를 식별하지만 상기 영역(212) 내에서 보이지 않는 것은 식별하지 않는다. 상기 오브젝트는 따라서 상기 출력 이미지(O_n)에서 보이지 않을 것이고, 따라서 이 출력 이미지(O_n)에서 마스킹되지도 마킹되지도 않지 않을 것이다. 그러나, 상기 오브젝트 검출 데이터(233)는 여전히 상기 오브젝트 추적 모듈(240)으로 전송되어 그로 인해 이 모듈은, 이미 시작되지 않았다면, 상기 오브젝트가 예를 들면 후속 이미지(I'_k>n)의 상기 영역(212)에서 보이기 전에 상기 장면에서 상기 오브젝트를 추적하도록 시작할 수 있다. 상기 영역(212)에서 상기 오브젝트가 보이게 될 때, 상기 오브젝트 검출 모듈(240)은 따라서 이미 상기 오브젝트를 추적하게 될 것이며, 상기 오브젝트는 상기 영역(212)을 진입하자마자 상기 후속 출력 이미지(O_k>m)에서 적절히 마스킹될 수 있다. 도 2a에 도시된 바와 같이, 상기 하나 이상의 픽셀(213)은 물론 또한 상기 오브젝트 검출 모듈(230)에뿐만 아니라 선택적으로 상기 오브젝트 추적 모듈(240)에 제공될 수 있으며, 이는 상기 오브젝트 추적 모듈(240)이 오브젝트를 추적하도록 픽셀 정보를 사용하고 예를 들면 상기 오브젝트 검출 모듈(230)에 의해 제공되는 상기 오브젝트의 상기 위치에 대한 업데이트만을 사용하는 것이 아닌 경우 유용할 수 있다.

일부 실시예에서, 모든 폐기된 픽셀이 반드시 오브젝트의 검출 및/또는 추적에 사용될 필요는 없다. 예를 들면, 어떤 폐기된 픽셀은 관심 오브젝트를 담지 않은 것으로 통계적으로 알려진 (입력 이미지에서 캡처된 바와 같은) 상기 장면의 일부분에 속할 수 있다. 상기 대응 픽셀이 마스킹 및/또는 크롭핑되었다 하더라도 예를 들면 상기 오브젝트 검출 모듈에 이와 같은 픽셀에 의해 제공된 상기 장면에 대한 상기 픽셀 정보를 제출할지 그 후 결정될 수 있다. 상기 장면의 이와 같은 일부분은 예를 들면 하늘 또는 상기 장면의 어떤 다른 영역에 대응할 수 있으며, 여기서 관심 오브젝트는 나타날 것 같지 않다(상기 오브젝트가 예를 들어 사람, 자동차 또는 유사한 것일 경우). 다른 상황에서는, 그 반대는 물론 또한 참일 수 있으며, 오브젝트가 나타날 것 같지 않은 영역은 대신 예를 들면 거리, 필드 또는 유사한 것일 수 있다(관심 오브젝트가 예를 들어 비행기, 드론 또는 다른 비행 오브젝트일 경우). 이와 같은 픽셀 정보를 예를 들면 상기 오브젝트 검출 알고리즘에 제공하지 않음으로써, 오브젝트 검출 자원의 소모를 필요하지 않다고 알려진 영역(또는 적어도 일반적으로 알려진) 영역에서 피할 수 있다. 상기 폐기된 픽셀의 전부 또는 일부만이 (그리고 이들이 제공하는 상기 장면에 대해 상기 픽셀 정보) 검출 및/또는 추적에 사용될지는 예를 들면 수동적으로 상기 장면의 하나 이상의 영역을 "비관심" 또는 "관심"으로 표시함으로써 사전결정될 수 있거나, 또는 예를 들면 관심 오브젝트가 이전에 검출 또는 추적되었거나 되지 않았던 영역을 나타내는 수집된 기왕 데이터를 사용하여 결정될 수 있다. 장면 또는 이미지 분석 정보 등의 다른 유형은 물론 또한 상기 장면의 어느 영역이 비관심 대상이고 관심 대상인지 결정하도록 사용될 수 있다.

상기 중간 이미지(I'_n)(여기서 상기 영역(212)은 상기 출력 이미지(O_n)에서 상기 장면이 어떻게 나타날지를 나타낸다)는 오브젝트 추적 모듈(240)로부터의 오브젝트 추적 데이터(242)(포함될 경우)와 상기 오브젝트 검출 모듈(230)로부터의 오브젝트 검출 데이터(232)와 함께 피처 추가 모듈(250)에 제공된다. 상기 피처 추가 모듈(250)은 그 후 (단계 S205에서) 하나 이상의 (프라이버시) 마스크 또는 마킹을 상기 출력 이미지 스트림(214)의 부분으로서 상기 출력 이미지(O_n)를 출력하기 전에 하나 이상의 검출되고/되거나 추적된 오브젝트를 마스킹 (또는 마킹) 하기 위해 상기 중간 이미지(I'_n)에 (또는 그 위에) 추가할 수 있다. 도 1을 참조하여 개시된 상기 종래의 방법(100)에서와 같이, 상기 오브젝트 추적 모듈(240)은 상기 방법(200)의 일부 실시예에서 선택적일 수 있으며, 사용되었을 경우/사용가능한 경우, 오브젝트의 적절한 추적을 달성하는 상기 오브젝트 추적 모듈(240)을 돕도록 상기 오브젝트 검출 모듈(230)로부터 오브젝트 검출 데이터(233)가 제공될 수 있다. 마찬가지로, 일부 다른 실시예에서, 상기 오브젝트 추적 모듈(240)이 포함될 경우, 상기 피처 추적 모듈(250)은 그 후 상기 오브젝트 추적 데이터(242)에만 의존하며 어디에 마스크 또는 마킹을 추가할지를 알기 위해 상기 오브젝트 검출 데이터(232)에 의존하지 않는다(상기 피처 추가 모듈(250)에 상기 오브젝트 검출 데이터(232)를 전손하는 것이 선택적일 수 있는 경우). 상기 출력 이미지(O_n)와 출력 이미지 스트림(214)에서의 오브젝트의 상기 마스킹 또는 마킹은 예를 들면 일시적으로, 상기 적용된 마스크 또는 마킹은 예를 들면 상기 출력 이미지(O_n)과 출력 이미지 스트림(214)에 나타난 바와 같이, 또는 예를 들면 상기 오브젝트가 상기 장면에서 다른 오브젝트 뒤에 숨겨지는 경우에서와 같이, 상기 오브젝트가 더 이상 상기 장면에 없으면 제거될 수 있다는 것을 의미할 수 있다(그로 인해 상기 오브젝트가 더 이상 검출 및/또는 추적될 수 없거나, 그로 인해 예를 들면 마스킹이 더 이상 필요 없을 경우). 다른 구상된 상황에서, 오브젝트의 마스킹은 예를 들면 마스크 없이도 상기 오브젝트의 아이덴티티를 추론하는 것이 더 이상 가능하지 않도록 상기 장면 내에서 상기 오브젝트가 그 방향을 바꿀 경우 제거될 수 있다. 예를 들면, 사람의 마스킹은 그 사람의 얼굴이 상기 카메라를 향하도록 할 경우 요구될 수 있는 반면, 그 사람의 마스킹은 그 사람이 방향을 바꾸어 얼굴이 카메라로부터 반대 방향을 향하거나 유사한 경우 더 이상 요구되지 않는다. 상기 출력 이미지(O_n) 및 상기 출력 이미지 스트림에서 상기 오브젝트의 상기 마스킹 또는 마킹은 상기 오브젝트가 적어도 부분적으로 상기 출력 이미지(O_n) 및 상기 출력 이미지 스트림(214) 내에 있다고 (단계 (S204)에서) 먼저 결정한 후에만 이루어질 수 있다. 이와 같은 결정은 예를 들면 상기 오브젝트 검출 모듈(230) 및/또는 상기 오브젝트 추적 모듈(240)에 의해 취득될 수 있으며, 그 후 상기 피처 추가 모듈(250)로 통신될 수 있다. 이와 같은 결정은 상기 피처 추가 모듈(250) 자체에 의해 취득될 수 있거나, 또는 상기 출력 이미지(O_n) 및 상기 출력 이미지 스트림(214) 내에 적어도 부분적으로 오브젝트가 있는지 또는 있을지를 결정하도록 충분한 정보를 다른 어떤 모듈에 의해 취득될 수 있다.

여기에 앞서 기재된 바와 같이, 상기 오브젝트가 "장면 내에" 있는지 아닌지 여부는 마스킹이 수행되지 않았을 경우 상기 장면에서 상기 오브젝트의 상기 위치가 상기 출력 이미지(On) 및 출력 이미지 스트림(214)에서 적어도 부분적으로 보이도록 하는지를 고려하는 것을 포함한다.

일반적으로, 비록 상기 오브젝트 검출 및 오브젝트 추적이 다양한 엔티티/모듈에 의해 수행되는 바와 같이 도 2에 도시되는데도, 물론 결합된 오브젝트 검출 및 추적 기능에 의해 두 기능 모두가 제공되며, 예를 들면 이와 같인 동일한 결합된 오브젝트 검출 및 추적 모듈에서 구현되도록 할 수 있다. 이 상황은 오브젝트 검출 및 추적을 위해 사용되는 정확한 알고리즘에 따라 달라질 수 있는데, 일부 알고리즘은 예를 들면 일부 이미지 또는 유사한 것에서 상기 오브젝트 위치의 자체 관찰에 기반하여 오브젝트를 추적할 수 있기 때문이다. 전체적으로, 도 2a에 나타난 상기 모듈(220, 230, 240 및 250)의 둘, 셋 또는 전부가 물론 단일 모듈로서 구현될 수 있거나, 또는 도 2a에 나타난 것보다 최소한 적은 수의 모듈로서 구현된 경우일 수 있다. 이는 왜냐하면 상기 다양한 모듈은 반드시 물리적 모듈을 나타내지는 않지만, 또한 소프트웨어만을 사용하여 구현될 수 있거나 후술되는 바와 같이 예를 들면 물리적 하드웨어와 소프트웨어의 결합으로서 구현될 수 있기 때문이다.

도 2a 및 2b, 그리고 여기 구상된 바와 같은 상기 개선된 방법(200)을 정리하면, 다른 이유로 (예를 들어, 하나 이상의 픽셀(213)을 자르거나 마스킹함으로써) 그렇지 않으면 폐기될 하나 이상의 픽셀(213)에 의해 제공되는 장면에 대한 픽셀 정보를 사용함으로써, 오브젝트 검출(및/또는 추적)은 오브젝트가 적어도 하나 이상의 픽셀(213) 내에 있을 때 이미 오브젝트에 대한 정보를 얻을 수 있다(즉, 상기 오브젝트가 상기 출력 이미지(O_n) 및 출력 이미지 스트림(214) 내에 나타난 상기 장면의 상기 부분을 적어도 부분적으로 진입하기 전에)는 것을 알 것이다. 이는 상기 오브젝트가 후에 후속 출력 이미지(O_k>n)의 상기 가시 영역(212)을 진입할 때(또는 경우), 상기 오브젝트의 마스킹될 (또는 마킹될) 위치는 이미 알려질 수 있다는 것을 의미한다. 이는 흔히 이용가능한 것과는 대조적으로, 어떤 오브젝트 검출 및/또는 추적 기능에도 상기 하나 이상의 픽셀에 의해 상기 장면에 대한 상기 픽셀 정보가 절대 제공되지 않고, 이와 같은 오브젝트 검출 및/또는 추적이 따라서 상기 하나 이상의 픽셀(113) 내에 포함된 오브젝트에 대한 어떤 정보에 대한 지식도 없는 경우와는 대조적이다. 결과적으로, 흔히 이용가능한 방법은 예를 들면 출력 이미지 스트림의 출력 이미지 내에서 갑자기 나타나는 오브젝트를 적절히 식별하고, 탐색하고, 추적하고 마스킹/마킹하는데 실패할 높은 리스크를 맞닥뜨리는 반면, 본 발명에 따른 상기 구상된 방법(200)은 이 픽셀 정보가 어떤 출력 이미지 및 출력 이미지 스트림에도 여전히 포함되어 있지 않더라도 상기 장면에 대한 상기 폐기된 픽셀 정보의 사용을 가능하게 하듯이 더 잘 수행할 수 있다.

상기 이미지 처리 모듈(220)이 입력 이미지 및 입력 이미지 스트림으로부터 특정 픽셀을 폐기하도록 선택할 수 있는 구상된 상황의 다양한 예시가 이제 도 3a-3e를 참조하여 더 상세하게 설명될 것이다.

도 3a는 전자 이미지 안정화(EIS)가 그 결과로서 특정 픽셀의 크롭핑을 초래하는 상황을 개략적으로 도시한다. 입력 이미지(I_n)는 사람(320a)과 사람(320b)의 형태에서 두 오브젝트를 포함한다. 이전 입력 이미지(I_n-1)은 상기 같은 장면의 것이며, 이는 상기 카메라가 상기 이미지(I_n-1)와 (I_n)를 캡처하는 타이밍 사이에서 이동한 도 3a로부터 보일 수 있다. 이 움직임은 상기 카메라의 흔들림으로 인한 것으로 가정된다. 도 3a에 표시된 바와 같이, 상기 검출된 움직임은 병진 벡터 d에 대응한다. 이미지 처리(310)을 사용하여, 상기 카메라의 흔들림은 역병진 -d를 단순 적용함으로써 교정될 수 있고, 그로 인해 상기 이미지(I_n)에서 상기 사람(320a 및 320b)은 이전 이미지(I_n-1)에서 (파선 윤곽에 의해 표시된 바와 같이) 서로 오버랩할 것이다. 출력 이미지에 나타난 장면의 크기가 일정하게 유지되도록 하기 위해, 이와 같은 역병진은 그러나 그 결과로서 중간 이미지(I'_n)을 초래할 것이며, 여기서 상기 입력 이미지(I_n)의 복수의 픽셀(213)은 상기 장면에서 상기 사람(320a 및 320b)를 비유동적으로 유지하기 위해 크롭핑되었으며, 상기 중간 이미지(I'_n)의 나머지 가시 영역(212)은 따라서 상기 입력 이미지(I_n)의 나머지 가시 영역보다 작다.

이미지 스트림에서 오브젝트를 마스킹 또는 마킹하는 흔히 이용가능한 방법에서, 오브젝트 검출 알고리즘에는 상기 중간 이미지(I'_n)의 상기 영역(212)에서 상기 픽셀에 의해서만 제공되는 상기 장면에 대한 픽셀 정보가 제공된다. 사람(320a)은 여전히 상기 영역(212) 내에 완전히 있으며, 상기 오브젝트 검출 알고리즘은 상기 사람(320a)를 탐색하는 것과 상기 사람(320a)를 예를 들면 마스킹될 또는 마킹될 오브젝트로서 식별하는 것에 아무 문제 없을 것이다. 그러나, 같은 알고리즘은 사람(320b)을 적절히 식별하고 탐색하는데 어려운 시간을 보낼 것 같은데 사람(320b)는 이제 단지 부분적으로만 상기 영역(212)에서 보이기 때문이다. 여기서 구상된 바와 같은 상기 방법으로, 이는 상기 오브젝트 검출 알고리즘이 상기 폐기된 픽셀(213)에 의해 제공되는 바와 같이 상기 장면에 대한 픽셀 정보를 또한 제공받을 것이므로 문제가 되지 않을 것이다. 상기 사람(320b)이 상기 픽셀들(213)과 상기 영역(212)의 상기 픽셀들의 상기 공동 세트에서 완전히 보이므로, 상기 오브젝트 검출 알고리즘은 따라서 또한 상기 사람(320b)을 탐색하고 식별하는데 성공적일 것이다.

도 3b는 상기 입력 이미지(I_n)가 소위 배럴 왜곡이라는 것으로 손상을 입도록 상기 입력 이미지 스트림을 캡처하도록 렌즈 배치가 사용되는 상황을 개략적으로 도시한다. 현실에서는, 상기 나타난 장면은 직사각형 그리드(321a) (예를 들면 벽돌 담, 또는 유사한 것)를 배경에 갖고 마스킹되어야 할 또는 마킹되어야 할 오브젝트(321b)를 앞에 포함한다. 상기 렌즈 배치에 의해 야기된 상기 배럴 왜곡으로 인해, 그리드(321a)의 라인은 상기 입력 이미지(I_n)에서 더 이상 직선이 아니다. 이와 같은 배럴 왜곡을 교정하기 위해, 그리드(321a)의 라인이 다시 한번 직선인 중간 이미지(I'_n)을 생성하도록 상기 입력 이미지(I_n)의 이미지 처리(311)의 부분으로서 사용될 수 있는 다양한 알고리즘이 존재한다. 이와 같은 알고리즘의 부작용은 그러나 이들은, 상기 그리드(321a)의 라인을 직선화하는 반면 상기 나타난 장면의 외부 주변의 모양 또한 변형시킨다는 것이다. 예를 들면, 도 3b에 도시되는 바와 같이, 상기 입력 이미지(I_n)은 상기 장면을 직사각형 외부 주변부를 갖는 것으로 나타내지만 상기 그리드(321a)의 라인이 모든 곳에서 직선이 아닌 채로 나타낸다. 상기 이미지 처리(311) 후, 상기 그리드(321a)의 라인은 다시 직선이지만, 나타난 바와 같이 상기 장면의 외부 주변부는 이제 워프되어 그로 인해 상기 장면의 이전 직사각형 외부 주변부의 코너가 마치 이제는 방사적으로 바깥쪽으로 당겨진 듯이 보이도록 한다. 상기 장면의 이와 같은 비직사각형 표시를 사용자에게 보여주는 것은 흔히 바람직하지 않으며, 상기 이미지 처리(311)는 따라서 또한 상기 배럴 왜곡 보정 후 상기 직사각형 영역(212) 외부에 놓이게 되는 모든 픽셀이 크롭핑되는(또는 마스킹되는) 단계를 포함한다. 도 3b에서, 이들 크롭핑되거나 마스킹된 픽셀은 상기 픽셀(213)이다. 결과적으로, 배럴 왜곡 교정 및 상기 입력 이미지(I_n)의 하나 이상의 픽셀의 후속적 크롭핑/마스킹으로 인한 상기 입력 이미지(I_n)에 적용된 변환의 결과로서, 상기 처리(311)는 그 결과로서 폐기되는 상기 픽셀(213)에 의해 제공되는 상기 장면에 대한 픽셀 정보를 초래하며, 상기 중간 이미지(I'_n)에 기반하여 생성된 출력 이미지(O_n)에 포함되지 않는다.

도 3b로부터 또한 보이는 바와 같이, 상기 오브젝트(321b)는 상기 입력 이미지(I_n)에서 나타난 바와 같이 상기 장면 내에 완전히 있지만 상기 중간 이미지(I'_n)의 상기 직사각형 영역(212) 내에 부분적으로만 있게 된다. 결과적으로, 상기 영역(212)의 픽셀에 의해 제공되는 상기 장면에 대한 픽셀 정보와 함께 제공되는 오브젝트 검출 알고리즘은 단지 따라서, 종래의 방법에서와 같이, 상기 오브젝트(321b)를 적절하게 식별 및/또는 탐색하는 것을 아마 실패할 것이며, 상기 오브젝트(321b)는 상기 출력 이미지(O_n) 및 출력 이미지 스트림에서 적절히 마스킹되거나 마킹되지 않을 가능성이 가장 클 것이다. 그러나, 여기에 구상된 바와 같은 상기 개선된 방법(200)에서, 상기 오브젝트 검출 알고리즘은 상기 픽셀(213)에 의해 제공된 상기 장면에 대한 상기 픽셀 정보가 또한 제공되며, 따라서 오브젝트(321b)가 영역(212) 및 픽셀(213)의 픽셀의 공동 세트 내에 완전히 있기 때문에 오브젝트(321b)를 적절하게 식별하고 찾을 가능성이 더 커질 것이다. 여기에 구상된 바와 같이, (핀쿠션 왜곡, 접선 왜곡 또는 유사한 것 등) 다른 유형의 왜곡 또한 그 결과로서 이런 왜곡을 교정하기 위해 상기 입력 이미지(I_n)을 변환할 필요를 초래할 수 있고, 교정을 위해 사용된 상기 알고리즘은 그 결과로서 교정 후 비직사각형으로 나타나는 대로 상기 장면의 외부 주변부를 초래할 수 있으며, 하나 이상의 픽셀(213)은 따라서 원하는 직사각형 영역(212) 외부에 있음으로 인해 상기 중간 이미지(I'_n)에서 폐기(즉 크롭핑되거나 마스킹)될 수 있다.

도 3c는 상기 제1 입력 이미지 스트림에 적용된 변환으로 인해 상기 입력 이미지 스트림의 하나 이상의 픽셀에 의해 제공되는 상기 픽셀 정보가 폐기되는 다른 상황을 개략적으로 도시한다. 여기서, 상기 입력 이미지 스트림은 서로 다른 방향을 겨냥한 여러 대의 카메라에 의해 기록된 이미지 데이터로 구성되고, 상기 이미지(I_n)은 따라서 상기 처리의 초기 부분으로서 여러 카메라로부터의 이미지 데이터를 스티칭(stitching)하여 생성된 장면의 파노라마 뷰인 것으로 구상된다. 상기 처리 이미지 스트림의 이와 같은 초기 부분은 다양한 (맵) 원근 투영 측면에서 다양한 변환을 적용하는 것을 (예를 들면 여러 카메라의 이미지를 공통의 (예를 들면, 원통형 또는 구형) 표면에 이러한 투사된 이미지를 함께 스티칭하여 입력 이미지(I_n)를 형성하기 전에 투사하도록) 포함한다. 이와 같은 입장의 투사의 결과로서, 상기 입력 이미지(I_n)에서 표시된 바와 같은 상기 장면(322a)의 외부 주변부는 비직사각형이다.

상기 장면은 또한 오브젝트(322b) 및 오브젝트(322c)를 포함하며, 이는 모두 상기 입력 이미지(I_n)에서 표시되는 바와 같이 상기 장면(322a) 내에 있다. 그러나, 이와 같은 상기 장면의 비직사각형 표시를 보여주는 것을 바람직하지 않고, 상기 입력 이미지 스트림의 상기 처리의 추가적인 부분(312)은 따라서 이와 같은 처리로 인한 상기 중간 이미지(I'_n)에서 상기 직사각형 영역(212)의 외부에 놓인 상기 입력 이미지(I_n)의 모든 픽셀(213)을 크롭핑(또는 적어도 마스킹)하는 것을 포함한다. 결과적으로, 상기 오브젝트(322b)는 상기 영역(212) 외부에 완전히 있게 될 수 있으며, 상기 오브젝트(322c)는 반면 상기 영역(212)내에 단지 부분적으로만 있을 수 있다. 앞서 기재된 바와 같이, 오브젝트 감지 알고리즘이 상기 영역(212) 내의 상기 픽셀에 의해 제공되는 상기 장면에 대한 픽셀 정보만 제공되는 종래의 방법은 오브젝트(322b)를 식별하고 탐색하는 데 실패할 것이고, 또한 개체 322c를 적절하게 식별하고 위치를 결정하는 데 실패하거나 적어도 어려움을 겪을 가능성이 크다. 상기 출력 이미지(O_n) 및 상기 출력 이미지 스트림에서 상기 오브젝트(322c)의 적절한 마스킹 또는 마킹은 따라서 실패할 것 같고, 상기 종래의 처리는 또한 추적기(가 사용된 경우)가 오브젝트(322b)의 이전 위치(들)를 제공하지 않았기 때문에 출력 이미지 스트림의 후속 출력 이미지에서 영역(212)에 부분적으로 들어가는 경우(또는 때) 오브젝트(322b)를 직접 마스킹하거나 마킹할 준비가 되어 있지 않을 것이다. 상기 개선된 방법을 갖고, 상기 오브젝트 검출 알고리즘은 하나 이상의 픽셀(213)에 의해 제공되는 장면에 대한 픽셀 정보 또한 제공받고, 따라서 따라서 오브젝트(322b)가 영역(212) 외부에 있더라도 오브젝트(322b)를 탐색하고 식별할 수 있고, 또한 오브젝트(322c)가 출력 이미지(O_n)의 내용을 구성할 영역(212) 내에 부분적으로만 존재하더라도 오브젝트(322c)를 더 잘 탐색하고 식별하는 데 도움이 된다. 또한, 추적을 사용할 경우, 상기 오브젝트(322b)의 위치는 오브젝트가 픽셀(213)에서 감지되는 즉시 오브젝트 추적 알고리즘에 제공될 수 있고, 출력 이미지 스트림의 후속 출력 이미지에서 객체(322b)의 마스킹 또는 마킹은 따라서 오브젝트(322b)가 영역(212)에서 적어도 부분적으로 보이자마자 수행될 수 있다.

도 3d는 이미지 센서에 도달하기 전에 렌즈 배치를 통해 이동하는 빛의 경로가 어떻게 되는지의 상황을 개략적으로 도시하며, 빛이 이미지 센서에 닿는 방식이 어떻게 입력 이미지(I_n)의 하나 이상의 픽셀이 입력 이미지(I_n) 및 입력 이미지 스트림의 다른 픽셀보다 시각적 품질이 낮은 것으로 간주되도록 야기할 수 있는지의 상황을 개략적으로 도시한다. 상기 입력 이미지(I_n) 및 입력 이미지 스트림은 여기서 어안 렌즈를 사용하여 캡처, 예를 들면, 초점 거리가 긴 기존 렌즈에 비해 여러 방향에서 빛을 포착하고 더 넓은 시야를 제공하는 렌즈이며, 그로 인해 장면의 더 많은 부분이 단일 이미지로 캡처될 수 있다. 상기 장면은 주차장이고, 입력 이미지(I_n)에 나타난 것처럼 장면의 중심을 향해 이동하는 차량(323a)을 포함한다. 그러나, 이와 같은 렌즈 배치의 특성으로 인해, 장면의 중앙 영역(323b) 외부에서 발산되는 빛이 렌즈 배치 주변의 렌즈 배치를 통과했고, 특히 장면의 중앙 영역(323b) 내에서 발산되는 빛과 비교하여 더 큰 각도로 통과했다. 이로 인해 이미지 센서 부분에서 녹화되는 장면의 해상도가 낮아질 수 있고, 여기서 이 (주변) 광은, 가장 일반적으로 이미지 센서의 하나 이상의 주변 영역에서 상기 이미지 센서에 닿는다. 이로 인해 센서의 이러한 영역에 도달하는 광자가 더 적어질 수도 있고, 이는 그 결과로서 입력 이미지(I_n)에서 보는 장면의 중심에서 멀어질수록 장면이 점점 더 어두워지는 비네팅 현상을 초래할 수 있다. 출력 이미지 스트림을 보는 사용자에게 이러한 낮은 품질의 세부 정보가 표시되는 것을 방지하기 위해, 원형 영역(323b) 외부의 픽셀은 (원형 지역/영역(323b) 내의 픽셀과 같은) 입력 이미지(I_n) 및 입력 이미지 스트림의 하나 이상의 다른 영역에 속하는 픽셀보다 가시 품질이 낮은 것으로 간주될 수 있다. 입력 이미지 (I_n) 및 입력 이미지 스트림의 처리(313)의 일부로서, 영역(212) 외부의 하나 이상의 픽셀(213)은 따라서 결과적 중간 이미지(I'_n)에서 잘리거나 최소한 마스킹될 수 있으며, 상기 결과적 중간 이미지는 출력 이미지(O_n) 및 출력 이미지 스트림의 기초를 형성하고, 상기 픽셀(213)에 의해 제공되는 상기 장면에 대한 상기 픽셀 정보는 따라서 폐기되고 출력 이미지 및 출력 이미지 스트림에 포함되지 않는다. 결과적으로, 자동차(323a)가 상기 중간 이미지(I'_n)의 영역(212) 밖에 있기 때문에, 상기 종래 방법은 자동차(323a)를 감지할 수 없고, 자동차(323a)가 나중에 후속 중간 이미지 (I'_k>n) 및 출력 이미지의 영역(212)에 들어갈 때(또는 경우), 오브젝트 추적 알고리즘(사용되는 경우)는 준비되지 않을 것이고 따라서 자동차(323a)의 마스킹은 자동차가 먼저(부분적으로) 영역(212)에 들어갈 때(또는 경우) 실패할 것이다. 여기에 기재된 바와 같은 상기 구상된 개선된 방법(200)의 경우, 오브젝트 검출 알고리즘이 하나 이상의 픽셀(213)에 의해 제공되는 장면에 대한 버려진 정보도 제공될 것이기 때문에 이것은 문제가 되지 않을 것이고, 따라서 따라서 차량(323a)이 영역(212) 내에서 그리고 출력 이미지 스트림의 출력 이미지 내에서 적어도 부분적으로 보이자마자 차량(323a)의 위치를 제공할 준비가 되도록 오브젝트 추적 알고리즘에 알릴 수 있고, 따라서 자동차(323a)는 출력 이미지 스트림에서 적절하게 마스킹되거나 마킹될 수 있다.

도 3e 입력 이미지 스트림과 다른 입력 이미지 스트림의 스티칭(stitching)의 결과로서 픽셀 정보의 폐기가 일어나는 상황을 개략적으로 도시한다. 여기서, 제1 입력 이미지 스트림()의 상기 입력 이미지()는 오브젝트(324a, 324b 및 324c)를 포함하는 장면의 일부를 캡처한다. 제2 입력 이미지 스트림()의 다른 입력 이미지()는 장면의 다른 부분을 캡처하고(즉, 상기 제1 입력 이미지 스트림에 의해 캡처되지 않은 장면 부분 포함하는 것), 오브젝트(324c) 및 다른 오브젝트(324d)를 포함한다. 상기 입력 이미지(및)의 처리(314)의 부분으로서, 상기 두 입력 이미지(및) 간의 오버랩이 식별된다(예를 들면 두 입력 이미지(및)의 모두에 포함된 장면의 오브젝트를 위치를 결정하는 것에 의해, 예를 들면 상기 오브젝트(324c), 그리고 이러한 공통 오브젝트의 방향과 크기가 입력 이미지(및) 간에 어떻게 변경되는지). 오버랩을 식별하는 것은 예를 들어, 장면의 파노라마 이미지를 형성하도록 복수의 이미지를 함께 스티칭하기 위한 임의의 적합한 이미 이용가능한 기술을 사용하여 수행될 수 있도록 구상된다.

상기 처리의 상기 부분(314)의 부분으로서, 결과적인 중간 이미지()의 영역(212) 외부의 픽셀(213), 그리고 생성된 중간 이미지()의 영역(212') 외부의 픽셀(213')이, 크롭핑되고 생성된 출력 이미지(On)에 포함되지 않을 것으로 결정된다. 결과적으로, 상기 제1 입력 이미지()의 적어도 상기 하나 이상의 픽셀(213)에 의해 제공되는 상기 장면에 대한 픽셀 정보는 따라서 어떤 출력 이미지 스트림의 어떤 출력 이미지(O_n)에도 포함되지 않을 것이다. 달린 언급하면, 상기 제1 입력 이미지() 및 상기 제1 입력 이미지 스트림의 상기 하나 이상의 픽셀(213)은 상기 제2 입력 이미지() 및 상기 제2 입력 이미지 스트림에 의해 또한 캡처된 상기 장면의 영역으로부터 (적어도 부분적으로) 비롯되고, 여기서 도 3e에 도시된 특정 상황에서의 이 영역은 오브젝트(324c)의 영역이다.

그 결과로서, 상기 두 중간 이미지( 및 )에 인접하는 것으로 인한 상기 출력 이미지 스트림의 상기 출력 이미지()에서, 종래 방법은 예를 들면 상기 오브젝트(324b 및 324c)를 적절하게 마스킹하는데 어려움을 겪을 수 있는데, 이는 상기 오브젝트(324b)는 상기 영역(212)에서 단지 부분적으로 보일 뿐이기 때문이며, 상기 오브젝트(324c)는 중간 이미지() 내에서 부분적으로만 볼 수 있기 때문이고, 상기 제1 입력 이미지()의 픽셀들(213)에서 제공되는 장면에 대한 픽셀 정보가 폐기되었고 상기 오브젝트 검출 알고리즘에 이용가능하지 않기 때문이다. 그러나, 여기에 구상된 바와 같이 상기 개선된 방법에서, 픽셀(213)이 제공하는 장면에 대한 폐기된 픽셀 정보가 여전히 오브젝트 감지 알고리즘에 제공되기 때문에 이것은 문제가 되지 않고, 모든 오브젝트(324a-d)는 여기에서 앞서 여러 번 이미 설명한 바와 같이 출력 이미지 스트림에서 적절하게 마스킹되거나 마킹될 수 있다.

도 3a 내지 도 3e는 따라서 하나 이상의 출력 이미지 스트림을 생성하기 위해 입력 이미지 스트림의 처리 중에 장면에 대한 픽셀 정보가 폐기되는 상황의 예시를 개략적으로 도시하는 역할을 하며, 그로 인해 이 픽셀 정보(예를 들면 특정 입력 이미지 스트림의 특정 입력 이미지에서 픽셀에 의해 제공되는 바와 같이)는 따라서 생성된 어떤 출력 이미지 또는 출력 이미지 스트림에도 포함되지 않는다. 물론 특정 입력 이미지 처리의 일부로서 픽셀이 크롭핑되거나 마스킹되는 도 3a 내지 3e를 참조하여 설명된 상황이 아닌 다른 상황이 있을 수 있는 반면, 이 크롭핑 또는 마스킹은 오브젝트 검출 및/또는 추적 이외의 다른 이유로 이루어지며, 여기서 폐기된 장면에 대한 픽셀 정보는 여기에서 구상되는 바와 같이, 그리고 예를 들면 동봉되는 청구항에 기재되고 사용되는 바와 같이 오브젝트 검출 알고리즘에 의해 사용된다. 여기에 구상된 바와 같이 개선된 방법은 따라서 하나 이상의 출력 이미지 및 출력 이미지 스트림을 생성하기 위해 입력 이미지 및 입력 이미지 스트림을 처리할 때 그렇지 않으면 폐기되는 장면에 대한 모든 픽셀 정보를 사용할 수 있는 것으로 구상된다. 상기 입력 이미지와 입력 이미지 스트림을 처리하여 생성된 어떤 출력 이미지 스트림의 어떤 출력 이미지에도 상기 장면에 대한 폐기된 픽셀 정보가 포함되지 않는 한, 이는 이 폐기된 픽셀 정보를 제공한 상기 입력 이미지 스트림의 상기 픽셀이 예를 들어 상기 처리 중에 크롭핑되거나 마스킹되는 정확한 이유(들)과 무관하다. 이를 통해 상기 방법은 상기 출력 이미지 스트림에서 하나 이상의 오브젝트를 검출하고 마스킹할 때 해당 픽셀 정보 또한 사용할 수 있다. 상기 방법의 일부 실시예에서, 상기 방법은 특히 상기 장면에 대한 픽셀 정보가 도 3a 내지 3e에 설명된 상황 중 하나 이상(또는 심지어 모두)으로 인해 폐기되는 것을 요구할 수 있다. 상기 방법의 다른 실시예에서, 상기 방법은 도 3a 내지 3e에 나타난 바와 같이 예를 들면 상기 상황의 어느 둘의 어느 조합, 이들 상황의 어느 셋의 어느 조합, 이들 상황의 어느 넷의 어느 조합, 이들 상황의 어느 다섯의 조합으로 인해서든지 으로 인해서든지 상기 장면에 대한 상기 픽셀 정보는 폐기되도록 구체적으로 요구할 수 있다. 따라서 장면에 대한 픽셀 정보를 폐기하는 정확한 이유(들)는 여기에 설명된 모든 가능한 상황을 포함하는 단일 목록에서 선택되는 것으로 구상되고, 또한 이와 같은 상황의 둘 이상의 모든 가능한 조합을 포함하는 것으로 구상된다.

특히 분명히 하기 위하여, 흔히 사용가능한 방법은 카메라로부터 수신된 이미지 스트림이 먼저 어떻게든 처리되어 처리된 이미지 스트림을 생성하는 상황을 포함할 수 있다는 것, 그리고 여기서 이 이미 처리된 이미지 스트림은 제1 출력 이미지 스트림을 생성하고 출력하는 데 사용된다는 것에 유의해야 할 것이다. 특히, 흔히 사용가능한 방법은 이미 처리된 이미지 스트림을 사용하는 것을 상기 제1 출력 이미지 스트림에 추가적으로 포함하여, 추가적인 제2 출력 이미지 스트림도 생성하도록 하고, 여기서 이 제2 출력 이미지 스트림의 생성은 이미 처리된 이미지 스트림의 하나 이상의 픽셀의 크롭핑 또는 마스킹을 포함할 수 있다.

예를 들면, 이와 같은 "종래의 상황"에서, 카메라로부터의 입력 이미지 스트림은 수신되고 처리되어 예를 들면 장면의 개요를 나타내는 제1 출력 이미지 스트림을 생성하도록 할 수 있다. 상기 카메라는 예를 들면 넓은 시야를 제공하는 어안 카메라, 또는 예를 들어 장면을 위에서 아래로 볼 수 있는 조감도 카메라일 수 있다. 상기 장면의 상기 개요를 관찰하는 운영자를 위해, 예를 들면, 장면 개요의 특정 영역에 중요한 것이 있는 것처럼 보이는 경우 장면을 디지털 방식으로 확대할 수 있는 것이 바람직할 수 있다. 이와 같은 디지털 줌인을 수행하도록, 상기 장면의 상기 특정 영역이 먼저 정의될 수 있다(예를 들어 제1 출력 이미지 스트림에서 관심 영역을 클릭하거나 표시함으로써, 그리고 그 후 상기 제1 출력 이미지 스트림의 이 영역의 외부에 있는 모든 해당 픽셀이 크롭될 수 있고, 디지털로 확대된 장면의 상세 보기를 보여주는 추가적 제2 출력 이미지 스트림 생성의 일부로서 상기 나머지 픽셀이 업샘플될 수 있다. 따라서 단일 입력 이미지 스트림을 기반으로 생성된 두 개의 출력 이미지 스트림이 있고, 처리는 적어도 상기 제2 출력 스트림을 생성하기 위해 상기 제1 출력 이미지 스트림으로부터 픽셀을 크롭핑하는 것을 포함한다.

가장 중요하게, 그러나, 이 "종래의 상황"에서, 상기 제2 출력 이미지 스트림을 생성할 때 픽셀을 크롭핑하는 것은 본 명세서에 기술되고 첨부된 청구범위에서 사용되는 상기 장면에 대한 픽셀 정보의 폐기에 대응하지 않는 것에 유의한다. 이는 왜냐하면 종래의 상황에서, 상기 크롭된 픽셀은 상기 장면의 개요에서 여전히 존재하고, 따라서 이 "폐기된" 픽셀 정보가 어떤 출력 이미지 스트림에도 포함되지 않도록 상기 출력 이미지 스트림의 하나 이상의 픽셀에 의해 제공된 상기 장면에 대한 픽셀 정보의 폐기가 없다.

종래 상황을 설명할 때 본 발명의 용어를 사용하는 경우, 상기 장면에 대한 픽셀 정보의 폐기가 대신 일어날 수 있는데, 예를 들면, 이미지 센서에 의해 등록된 하나 이상의 픽셀이 (예를 들면 어안 렌즈의 사용으로 인해) 시각적 품질이 낮은 것으로 간주되는 경우, 그리고 상기 이미지 센서로부터의 상기 원시 이미지 스트림이 낮은 시각적 품질을 갖는 것으로 간주되는 이와 같은 픽셀을 예를 들면 크롭핑 또는 마스킹함으로써 먼저 처리되는 것에서, 그리고 그 결과가 두 출력 이미지 스트림을 생성하도록 사용되는 상기 입력 이미지 스트림으로서 제공되는 것에서 일어날 수 있다. 본 발명 그리고 특히 첨부된 청구항에서 사용된 바와 같은 상기 "입력 이미지 스트림"은 여기서 상기 저품질 픽셀 전 상기 이미지 스트림은 마스킹 또는 크롭핑되고, 상기 장면에 대한 상기 폐기된 픽셀 정보는 이들 크롭된 또는 마스킹된 픽셀에 의해 제공된 상기 장면에 대한 정보다.

상기 종래 상황에서, 상기 장면에 대한 이 폐기된 정보는 이 두 출력 이미지 스트림의 어느 것이든지 생성할 때 제공되지 않고, 따라서 예를 들면 개요에서 어떤 오브젝트든지 검출하는 것 및/또는 개요(제1) 또는 세부(제2) 출력 이미지 스트림 중 하나 또는 둘 다에서 오브젝트를 마스킹하는 것에 대해 사용되지 않고, 상기 종래의 상황은 따라서 오브젝트가 저품질 픽셀 내에 적어도 부분적으로 있는 경우 여기에 설명된 단점이 있다. 달리 언급하면, 도 1을 참조하여, 종래 상황에서 오브젝트의 어떤 검출도 중간 이미지(I'_n)의 영역(112) 내의 픽셀에 의해 제공되는 장면에 대한 픽셀 정보에만 기초하여 이루어지고, 상기 하나 이상의 픽셀(113)에 의해 제공되는 상기 장면에 대한 픽셀 정보에 기반하지 않는다.

여기에 구상된 바와 같이 (프라이버시) 마스크는 예를 들면 단색/불투명한 색상을 가질 수 있고, 반투명할 수 있고, 오브젝트를 더 이상 쉽게 식별할 수 없도록 오브젝트에 모션 블러, 및/또는 강제 픽셀화 및/또는 상기 출력 이미지 스트림에서 오브젝트의 익명화(obfuscation)를 적용하는 것으로 인해 상기 오브젝트가 더 이상 쉽게 식별되거나 할 수 없도록 하는 것을 포함한다. 다른 구상된 실시예에서, 프라이버시 마스크는 출력 이미지 스트림에서 오브젝트 자체를 적어도 부분적으로 투명화하여, 그로 인해 상기 배경이 상기 오브젝트를 통해 보이도록 포함할 수 있다. 이는 예를 들어 앞의 상기 오브젝트 없이 상기 배경의 이미지가 (예를 들면 앞서 시간적 순간에서 캡처된 상기 입력 이미지 스트림의 입력 이미지로부터) 이용가능하다면 가능할 수 있다. 여기에 구상되는 바와 같이 마킹은 예를 들면 상기 오브젝트를 마스킹하지 않는 상기 출력 이미지 스트림에 추가된 어떤 그래픽 특징이든지 될 수 있지만, 예를 들면 상기 오브젝트에 대한 추가적 정보를 대신 제공하는 것이다(상기 오브젝트의 확인된 아이덴티티, 상기 오브젝트의 식별된 유형, 또는 예를 들면 출력 이미지 스트림에서 오브젝트가 있는 위치를 예를 들면, 직사각형을 추가하거나 상기 오브젝트를 유사하게 둘러싸서 시각적으로 마킹하는 것과 같이 한다).

본 발명은 또한 도 4a 및 도 4b를 참조하여 더 상세히 설명되는 바와 같이 이미지 스트림에서 오브젝트를 마스킹 또는 마킹하기 위한 장치를 구상한다.

도 4a는 장치(400)의 실시예를 개략적으로 예시한다. 장치(400)는 적어도 프로세서(또는 "처리 회로")(410) 및 메모리(412)를 포함한다. 본 발명에서 여기에 사용된 바와 같이, "처리 회로" 또는 "프로세서"는 예를 들면 메모리(412)에 저장된 소프트웨어 인스트럭션을 실행할 수 있는 적합한 중앙 처리 장치(CPU), 멀티프로세서, 마이크로컨트롤러(μC), 디지털 신호 프로세서(DSP), 그래픽 처리 장치(GPU), 주문형 집적 회로(ASIC), 필드 프로그래밍 가능 게이트 어레이(FPGA) 등의 하나 이상의 어떤 조합일 수 있다. 상기 메모리(412)는 상기 프로세서(410) 외부에 있을 수 있고, 또는 상기 프로세서(410) 내부에 있을 수도 있다. 본 발명에서 여기에 사용된 바와 같이, 메모리는 예를 들면 랜덤 액세스 메모리(RAM)와 읽기 전용 메모리(ROM)의 어느 조합이든지 될 수 있다. 상기 메모리(412)는 상기 프로세서(410)에 의해 실행될 때 상기 장치(400)로 하여금 예를 들면 여기에 앞서 개시된 상기 방법(200)의 상기 실시예 중 어느 것이든지 수행하도록 하는 인스트럭션을 포함(즉 저장)한다. 상기 장치(400)는 일부 상황에서, 상기 방법을 수행하기 위해 필요할 수 있는 하나 이상의 추가적 항목(416)을 더 포함할 수 있다. 일부 실시예에서, 상기 장치(400)는 예를 들면 모니터링 카메라일 수 있고(이는 예를 들어 모니터링 카메라 시스템의 일부를 형성할 수 있으며, 이는 여기에 논의된 바와 같은 입력 이미지 스트림을 캡처하도록 구성될 수 있다), 상기 추가적 항목(416)은 그 후 예를 들면 이미지 센서 그리고 예를 들면 하나/또는 이상의 렌즈(또는 렌즈 배치)를 상기 장면의 상기 입력 이미지 스트림을 캡처하기 위해 상기 이미지 센서상의 (상기 모니터링 카메라가 향해 겨냥한) 상기 장면으로부터 캡처된 광을 집중시키기 위해 포함할 수 있다. 상기 추가적 항목(416)은 또한 예를 들면 이미지 센서 및/또는 렌즈를 올바르게 작동하기 위해 예를 들면 상기 장면을 캡처하는 데 필요한 다양한 다른 전자 부품을 포함할 수 있다. 이를 통해 상기 모니터링 카메라 자체(즉, "엣지"에서)에 상기 방법이 수행될 수 있고, 이는 프라이버시 마스킹 등을 위해 모니터링 카메라에서 출력되는 이미지 스트림의 후속 처리 필요성을 감소시킬 수 있다. 상기 장치(400)가 네트워크에 연결되어야 할 경우(예를 들면, 상기 장치(400)가 네트워크 카메라인 경우), 상기 장치(400)는 네트워크 인터페이스(414)를 더 포함할 수 있다. 상기 네트워크 인터페이스(414)는 예를 들면 Ethernet (예를 들면 IEEE 802.3 또는 후속 표준에 정의된 바와 같이)을 지원하는 유선 인터페이스 및/또는 (예를 들면 IEEE 802.11 또는 후속 표준에서 정의된 바와 같이) 예를 들면 Wi-Fi를 지원하는 예를 들면 무선 인터페이스일 수 있다. 통신 버스(418)는 예를 들면 다양한 부품(410, 412, 414, 416 및 418)을 상호 연결하도록 제공될 수 있어 이들 부품이 원하는 기능을 얻기 위해 필요에 따라 서로 통신할 수 있도록 한다.

도 4b는 도 4a를 참조하여 설명된 장치(400)의 실시예를 개략적으로 도시하지만, 도 2a를 참조하여 논의된 바에 대응하는 기능적 블록/모듈의 컬렉션으로 나타난다. 상기 장치(400)는 적어도 이미지 처리 모듈(220), 오브젝트 검출 모듈(230) 및 피처 추가 모듈(250)을 포함한다. 오브젝트 추적이 또한 사용된 경우, 상기 장치(400)는 상기 오브젝트 추적 모듈(240)을 더 포함할 수 있다. 상기 모듈(220, 230, 250, 및 선택적으로 240)은 필요에 따라 (상기 라인(420)에 의해 표시되어) 서로 통신할 수 있도록 상호 연결되어 있어, 즉 그로 인해 이들은 여기에서 구상되고 예를 들면 도 2a 및 2b를 참조하여 기술된 바와 같이 방법을 수행하도록 동작할 수 있다. 상기 모듈(220, 230, 240 및 250)의 하나 이상 또는 전부는 예를 들면 소프트웨어만에서 구현되거나, 하드웨어만에서 구현되고/되거나 소프트웨어와 하드웨어의 결합으로서 구현될 수 있다. 이와 같은 소프트웨어는 예를 들면 상기 메모리(412)에 저장된 상기 인스트럭션에 의해 제공될 수 있다. 각 모듈(220, 230, 240 및 250)은 별도의 엔티티로서 제공되거나, 또는 상기 모듈(220, 230, 240 및 250)의 둘 또는 이상 또는 전부로서 제공되거나, 같은, 단일 엔티티의 부분을 형성하는 것으로서 제공될 수 있다.

여기에는 또한 하나 이상의 컴퓨터 프로그램을 제공하도록 구상된다. 이러한 컴퓨터 프로그램은 예를 들면 여기에서 논의된 바와 같이 출력 이미지 스트림에서 마스킹하는 상기 방법을 수행하기 위한 것, 도 4a 및 4b를 참조하여 기재된 상기 장치(400)에서 이와 같은 방법을 수행하기 위한 것일 수 있다. 컴퓨터 프로그램은 예를 들면 상기 장치(400)의 상기 메모리(412)에 저장된 인스트럭션에 대응할 수 있으며, 그로 인해 상기 대응 방법(200) 또는 그 어떤 실시예든지 상기 프로세서(또는 처리 회로)(410)가 상기 인스트럭션을 실행할 때 상기 장치(400)에 의해 수행된다. 다른 구상된 실시예에서, 상기 컴퓨터 프로그램은 상기 프로세서(410)에 의해 아직 판독가능하지 않은 형태일 수 있지만, 오히려 예를 들면 프로그래밍 언어에 따른 텍스트로서 제공될 수 있으며, 그 텍스트는 상기 프로세서에 의해, 예을 들면 적절한 컴파일러를 사용함으로써 판독가능한 포맷으로 컴파일될 필요가 있다. 상기 컴파일러는 물론 상기 프로세서(410) 자체에 의해 실행될 수 있거나, 또는 실시간 컴파일링을 위해 상기 프로세서(410) 자체의 부분을 형성할 수도 있다.

여기에는 또한 하나 이상의 컴퓨터 프로그램 제품을 제공하도록 구상된다. 이와 같은 각 컴퓨터 프로그램 제품은 상기 언급된 하나 이상의 컴퓨터 프로그램이 저장된 컴퓨터 판독가능 저장 매체를 포함한다. 예를 들면 하나의 컴퓨터 프로그램 제품은 여기에 개시되고 논의된 바와 같이 출력 이미지 스트림에서 상기 구상된 마스킹하는 방법을 수행하기 위한 상기 컴퓨터 프로그램을 포함할 수 있다. (컴퓨터 판독가능) 저장 매체(예를 들면 "메모리")는 예를 들면 랜덤 액세스 메모리(RAM) 및 읽기 전용 메모리(ROM)의 어떤 결합이든지 될 수 있다. 일부 실시예에서, 상기 컴퓨터 판독가능 저장 매체는 일시적일 수 있다(예를 들면 상기 프로세서에 의해 전기적 신호 판독가능). 다른 실시예에서, 상기 컴퓨터 판독가능 저장 매체는 비일시적일 수 있다(예를 들면 비휘발성 메모리의 형태로서, 하드 디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 시큐어 디지털(SD) 카드 또는 유사한 것과 같은 것, USB 플래시 드라이브, 또는 유사한 것으로 자기 메모리, 광학 메모리, 솔리드 스테이트 메모리 또는 원격 장착 메모리의 어떤 결합과 같은 것. 프로세서 및/또는 중간 컴파일러에 의해 판독될 수 있도록 컴퓨터 프로그램을 저장할 수 있는 기능이 있는 한 컴퓨터 판독가능 저장 매체의 다른 유형도 구상된다.

여기에 나타난 다양한 실시예를 요약하면, 본 발명은 이미지 스트림에서 개체를 마스킹하거나 표시하는 향상된 방법을 제공하며, 특히 오브젝트 검출기 및/또는 오브젝트 추적기가 예를 들면 입력 이미지 스트림에서 생성된 출력 이미지 스트림 내에서 부분적으로만 보이는 오브젝트로 인해 하나 이상의 오브젝트를 적절하게 표시 및/또는 추적하지 못할 수 있는 상황에서 제공한다. 본 발명은 상기 오브젝트 검출 및/또는 추적 이외의 이유로 상기 입력 스트림의 처리가 있을 수 있다는 인식을 기반으로 하며(예를 들면 이미지 안전화, 이미지 교정, 투시 투영, 스티칭, 또는 여기에 예시로서 기재된 다른 어떤 변환 등), 상기 장면에 대한 가치 있는 픽셀 정보는 픽셀이 예를 들어 크롭핑되거나 마스킹될 때 상기 입력 이미지 스트림의 상기 처리의 부분으로서 손실되고 폐기될 수 있다. 이 인식과 결합하여, 본 발명은 더 생각없이 상기 장면에 대한 이 픽셀 정보를 그냥 폐기하는 것이 아니라, 대신 이 픽셀 정보를 오브젝트 검출을 위한 입력으로 사용함으로써, 그로 인해 출력 이미지 스트림에서 개체를 적절하게 마스킹하거나 마킹하지 못하는 위험을 감소시켜 흔히 사용 가능한 방법 및 기술에 비해 상기 이점을 제공한다.

비록 특징 및 요소는 특정 조합에서 상기 기재될 수 있지만, 각 특징 또는 요소는 다른 특징 및 요소와 함께 또는 따로 다양한 조합으로 또는 독립적으로 사용될 수 있다. 추가적으로, 상기 개시된 실시예에 대한 변형이 본 발명을 실시하는 통상의 기술자에 의해 도면과 명세서와 청구항의 연구로부터 이해되고 이루어질 수 있다.

또한, 단어 "포함하는", "갖는", "구비하는", "수용하는" 및 유사한 용어는 다른 구성요소 또는 단계를 배제하지 않는다. 본 명세서 및 첨부된 청구항에서 사용될 때, 관사 "하나", "이", "그", "상기"는, 문맥이 명확하게 다르게 지시하지 않는 한, 하나 이상의 구성요소가 있다는 것을 의미하도록 의도된다는 점이 주의되어야 한다. 특정한 특징이 서로 다른 종속항에 단지 기재되어 있다는 사실은 이들 특징의 조합이 유리하게 사용될 수 없다는 것을 나타내지는 않는다.

100 마스킹/마킹의 종래 방법
110, 210 입력 이미지 스트림
112, 212 이미지 처리 후 남아있는 픽셀의 영역
113, 213 장면에 대한 폐기된 픽셀 정보를 제공하는 픽셀
113', 213' 장면에 대한 폐기된 픽셀 정보를 제공하는 픽셀
114, 214 출력 이미지 스트림(들)
120, 220 이미지 처리 모듈
130, 230 오브젝트 검출 모듈
132, 232 오브젝트 검출 데이터
133, 233 오브젝트 검출 데이터
140, 240 오브젝트 추적 모듈
142, 242 오브젝트 추적 데이터
150, 250 피처 추가 모듈
200 마스킹/마킹의 개선된 방법
320a, 320b 오브젝트
310-314, 314' 이미지 처리
321a; 321b 오브젝트; 직사각형 배경 그리드
322a 나타난 바와 같은 장면
322b, 322c 오브젝트
323a 오브젝트
323b 낮은 시각적 품질을 갖는 것으로 간주되는 픽셀의 밖에 있는 영역
324a-d 오브젝트
400 장치
410 프로세서
412 메모리
414 네트워크 인터페이스
416 추가 부품(들)
418, 420 통신 버스
, 입력 이미지
중간 이미지
출력 이미지

Claims

이미지 스트림에서 오브젝트를 마스킹 또는 마킹하는 방법으로서, 상기 방법은:
하나의 장면의 적어도 일부를 캡처하는 제1 입력 이미지 스트림을 처리 - 상기 처리는 상기 하나 이상의 출력 이미지 스트림 중 어느 하나에도 포함되지 않는 상기 제1 입력 이미지 스트림의 하나 이상의 픽셀에 의해 제공되는 상기 장면에 대한 픽셀 정보를 포함함 - 함으로써 하나 이상의 출력 이미지 스트림을 생성하는 단계; 및
상기 하나 이상의 출력 이미지 스트림 중 어느 하나에도 포함되지 않는 상기 픽셀 정보를 사용하여 상기 장면 내의 오브젝트를 검출하는 단계;
를 포함하며,
상기 하나 이상의 출력 이미지 스트림을 생성하는 단계는 상기 오브젝트가 상기 적어도 하나 이상의 출력 이미지 스트림의 상기 적어도 하나 이내에 적어도 부분적으로 있다고 결정한 후 상기 하나 이상의 출력 이미지 스트림의 적어도 하나 안의 상기 검출된 오브젝트를 적어도 일시적으로 마스킹 또는 마킹하는 단계를 포함하며,
상기 하나 이상의 출력 이미지 스트림 중 어느 하나에도 상기 픽셀 정보를 포함하지 않는 것은:
i) 상기 제1 입력 이미지 스트림을 캡처하도록 사용되는 이미지 센서의 주변 영역의 적어도 하나로부터 비롯되는 상기 제1 이미지 스트림의 상기 하나 이상의 픽셀, 렌즈 배치의 주변 섹션을 통해 상기 이미지 센서에 도착한 광, 및 원축오차(vignetting)를 야기하기에 충분한 상기 렌즈 배치에서의 각도에 도착한 광;
ii) 상기 제1 입력 이미지 스트림 안의 상기 장면의 상기 적어도 하나의 부분의 비직사각형 표시의 직사각형 영역의 외부에 놓인 상기 제1 입력 이미지 스트림의 상기 하나 이상의 픽셀;
iii) 상기 제1 입력 이미지 스트림에 의해 캡처되지 않은 상기 장면의 추가적 부분을 캡처하는 제2 입력 이미지 스트림과 상기 제1 입력 이미지 스트림 사이의 오버랩에 속한 상기 제1 입력 이미지 스트림의 상기 하나 이상의 픽셀, 및
iv) 전자 이미지 안정화 프로세스에 의해 크롭핑되거나 마스킹되는 상기 제1 입력 이미지 스트림의 상기 하나 이상의 픽셀
중 적어도 하나로 인한 방법.
제1항에 있어서,
상기 비직사각형 표시는:
a) 렌즈 배치 - 상기 렌즈 배치를 통해 상기 장면의 상기 적어도 부분이 캡처됨- 의 속성, 및
b) 상기 제1 입력 이미지 스트림에 적용되는 변환
중 적어도 하나로 인한 방법.
제2항에 있어서,
상기 변환은:
b-1) 렌즈 왜곡 교정 절차;
b-2) 상기 장면의 상기 적어도 부분의 조감도를 합성하는 것, 및
b-3) 상기 장면의 다른 부분을 함께 캡처하는 복수의 이미지를 스티치(stitch)하도록 적용된 하나 이상의 프로젝션 - 여기서 이들 복수의 이미지 중 적어도 하나는 상기 제1 입력 이미지 스트림의 부분으로서 포함됨 - ;
중 하나 이상의 부분으로서 적용되는 방법.
제3항에 있어서,
상기 렌즈 왜곡 교정 절차는 배럴 왜곡 교정, 핀쿠션 왜곡 교정 및 접선 왜곡 교정 중 적어도 하나를 포함하는 방법.
제1항에 있어서,
상기 방법은 상기 제1 입력 이미지 스트림을 캡처하도록 구성된 모니터링 카메라에서 수행되는 방법.
제1항에 있어서,
상기 오브젝트가 상기 출력 이미지 스트림 이내에 적어도 부분적으로 있다고 결정하는 단계는 오브젝트 추적 알고리즘을 사용하는 것을 포함하는 방법.
이미지 스트림에서 오브젝트를 마스킹 또는 마킹하는 장치로서, 상기 장치는:
프로세서, 및
상기 프로세서에 의해 실행되면 상기 장치로 하여금 하기 단계를 실행하도록 하는 인스트럭션들을 저장하는 적어도 하나의 메모리:
하나의 장면의 적어도 일부를 캡처하는 제1 입력 이미지 스트림을 처리 - 상기 처리는 상기 하나 이상의 출력 이미지 스트림 중 어느 하나에도 포함되지 않는 상기 제1 입력 이미지 스트림의 하나 이상의 픽셀에 의해 제공되는 상기 장면에 대한 픽셀 정보를 포함함 - 함으로써 하나 이상의 출력 이미지 스트림을 생성하는 단계; 및
상기 하나 이상의 출력 이미지 스트림 중 어느 하나에도 포함되지 않는 상기 픽셀 정보를 사용하여 상기 장면 내의 오브젝트를 검출하는 단계;
를 포함하며,
상기 하나 이상의 출력 이미지 스트림을 생성하는 단계는 상기 오브젝트가 상기 적어도 하나 이상의 출력 이미지 스트림의 상기 적어도 하나 이내에 적어도 부분적으로 있다고 결정한 후 상기 하나 이상의 출력 이미지 스트림의 적어도 하나 안의 상기 검출된 오브젝트를 적어도 일시적으로 마스킹 또는 마킹하는 단계를 포함하며,
상기 하나 이상의 출력 이미지 스트림 중 어느 하나에도 상기 픽셀 정보를 포함하지 않는 것은:
i) 상기 제1 입력 이미지 스트림을 캡쳐하도록 사용되는 이미지 센서의 주변 영역의 적어도 하나로부터 비롯되는 상기 제1 이미지 스트림의 상기 하나 이상의 픽셀, 렌즈 배치의 주변 섹션을 통해 상기 이미지 센서에 도착한 광, 및 원축오차(vignetting)를 야기하기에 충분한 상기 렌즈 배치에서의 각도에 도착한 광;
ii) 상기 제1 입력 이미지 스트림 안의 상기 장면의 상기 적어도 하나의 부분의 비직사각형 표시의 직사각형 영역의 외부에 놓인 상기 제1 입력 이미지 스트림의 상기 하나 이상의 픽셀;
iii) 상기 제1 입력 이미지 스트림에 의해 캡처되지 않은 상기 장면의 추가적 부분을 캡처하는 제2 입력 이미지 스트림과 상기 제1 입력 이미지 스트림 사이의 오버랩에 속한 상기 제1 입력 이미지 스트림의 상기 하나 이상의 픽셀, 및
iv) 전자 이미지 안정화 프로세스에 의해 크롭핑되거나 마스킹되는 상기 제1 입력 이미지 스트림의 상기 하나 이상의 픽셀
중 적어도 하나로 인한 장치.
제7항에 있어서,
상기 장치는 상기 제1 입력 이미지 스트림을 캡처하도록 구성된 모니터링 카메라인 장치.
이미지 스트림에서 오브젝트를 마스킹 또는 마킹하는 컴퓨터 프로그램을 포함하고, 상기 컴퓨터 프로그램이 장치의 프로세서에 의해 실행될 때 상기 장치로 하여금 하기 단계를 실행하도록 구성되는 컴퓨터 판독가능 저장 매체로서,
하나의 장면의 적어도 일부를 캡처하는 제1 입력 이미지 스트림을 처리 - 상기 처리는 상기 하나 이상의 출력 이미지 스트림 중 어느 하나에도 포함되지 않는 상기 제1 입력 이미지 스트림의 하나 이상의 픽셀에 의해 제공되는 상기 장면에 대한 픽셀 정보를 포함함 - 함으로써 하나 이상의 출력 이미지 스트림을 생성하는 단계; 및
상기 하나 이상의 출력 이미지 스트림 중 어느 하나에도 포함되지 않는 상기 픽셀 정보를 사용하여 상기 장면 내의 오브젝트를 검출하는 단계;
를 포함하며,
상기 하나 이상의 출력 이미지 스트림을 생성하는 단계는 상기 오브젝트가 상기 적어도 하나 이상의 출력 이미지 스트림의 상기 적어도 하나 이내에 적어도 부분적으로 있다고 결정한 후 상기 하나 이상의 출력 이미지 스트림의 적어도 하나 안의 상기 검출된 오브젝트를 적어도 일시적으로 마스킹 또는 마킹하는 단계를 포함하며,
상기 하나 이상의 출력 이미지 스트림 중 어느 하나에도 상기 픽셀 정보를 포함하지 않는 것은:
i) 상기 제1 입력 이미지 스트림을 캡쳐하도록 사용되는 이미지 센서의 주변 영역의 적어도 하나로부터 비롯되는 상기 제1 이미지 스트림의 상기 하나 이상의 픽셀, 렌즈 배치의 주변 섹션을 통해 상기 이미지 센서에 도착한 광, 및 원축오차(vignetting)를 야기하기에 충분한 상기 렌즈 배치에서의 각도에 도착한 광;
ii) 상기 제1 입력 이미지 스트림 안의 상기 장면의 상기 적어도 하나의 부분의 비직사각형 표시의 직사각형 영역의 외부에 놓인 상기 제1 입력 이미지 스트림의 상기 하나 이상의 픽셀;
iii) 상기 제1 입력 이미지 스트림에 의해 캡처되지 않은 상기 장면의 추가적 부분을 캡처하는 제2 입력 이미지 스트림과 상기 제1 입력 이미지 스트림 사이의 오버랩에 속한 상기 제1 입력 이미지 스트림의 상기 하나 이상의 픽셀, 및
iv) 전자 이미지 안정화 프로세스에 의해 크롭핑되거나 마스킹되는 상기 제1 입력 이미지 스트림의 상기 하나 이상의 픽셀
중 적어도 하나로 인한 컴퓨터 판독가능 저장 매체.