KR20210094493A - 이미지에서 군중 속에 있는 사람들을 구별 - Google Patents

이미지에서 군중 속에 있는 사람들을 구별 Download PDF

Info

Publication number
KR20210094493A
KR20210094493A KR1020210008196A KR20210008196A KR20210094493A KR 20210094493 A KR20210094493 A KR 20210094493A KR 1020210008196 A KR1020210008196 A KR 1020210008196A KR 20210008196 A KR20210008196 A KR 20210008196A KR 20210094493 A KR20210094493 A KR 20210094493A
Authority
KR
South Korea
Prior art keywords
image
group
expected
people
head
Prior art date
Application number
KR1020210008196A
Other languages
English (en)
Inventor
토마스 윈젤
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20210094493A publication Critical patent/KR20210094493A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G06K9/00778—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Abstract

본 개시는 이미지에서 군중 속에 있는 사람들을 구별하는 사람 구별 시스템(1)에 의해 수행되는 방법에 관한 것이다. 사람 구별 시스템은 근본적으로 전방을 바라보는 각도로 장면을 캡처하도록 적응된 열화상 카메라(10)로부터 얻어진 이미지(3)에서 사람들(2)로 분류된 하나 이상의 검출된 물체들을 식별한다(1001). 사람 구별 시스템은 또한, 상기 하나 이상의 검출된 사람들에 포함되지 않으며, 미리 결정 가능한 강도 범위 내의 강도를 갖는, 상기 이미지에서의 인접한 픽셀들의 적어도 제 1 그룹(4)을 식별한다. 또한, 사람 구별 시스템은 상기 이미지에서 적어도 제 1 그룹의 그룹 픽셀 영역(40)을 결정한다(1003). 또한, 사람 구별 시스템은 머리부 크기 기준 데이터(5)에 기초하여 상기 이미지(3)에서 적어도 제 1 수직 위치(yexpected)에 대해, 상기 적어도 제 1 수직 위치에서 사람 머리부의 예상된 픽셀 영역(xexpectced)을 결정한다(1004). 사람 구별 시스템은 또한 적어도 제 1 수직 위치에 대한 상기 예상된 머리부의 픽셀 영역과 상기 그룹 픽셀 영역의 적어도 일부를 비교한다(1005). 또한, 사람 구별 시스템은, 상기 비교로 인한 적어도 제 1 비교 결과가 미리 결정 가능한 일치성 임계치를 초과할 때, 상기 적어도 제 1 그룹이 적어도 제 1 겹치는 사람(6)을 포함한다고 결정한다(1006).
본 개시는 또한 전술한 바에 따른 사람 구별 시스템, 그러한 사람 구별 시스템을 포함하는 열화상 카메라, 및 각각의 대응하는 컴퓨터 프로그램 제품 및 비 휘발성 컴퓨터 판독 가능한 저장 매체에 관한 것이다.

Description

이미지에서 군중 속에 있는 사람들을 구별{DISTINGUISHING - IN AN IMAGE - HUMAN BEINGS IN A CROWD}
본 개시는 이미지에서 군중 속의 사람들을 구별하는 것에 관한 것이다.
여러 가지 이유들로, 이미지에서 나타나는 사람들을 계수하려는 시도가 필요하거나 관심이 있을 수 있다. 상기 이미지는 감시 카메라와 같은 카메라가 예를 들면, 방, 개방된 지역 및/또는 개방된 공간에 있는 사람들의 이미지를 캡처한 임의의 장면일 수 있다.
예를 들면, 컴퓨터 비전 기술들은 이미지에 있는 사람들의 수에 대한 추정치들을 제공할 수 있다. 무빙 윈도우형 검출기가 이미지에 있는 사람들을 식별하고 얼마나 많은 사람들이 있는지를 계수하는 데 사용될 수 있으며, 이 경우 낮은 레벨의 특징들을 추출할 수 있는 검출을 위해 잘 훈련된 분류자들을 필요로 할 수 있다. 그러나, 이러한 기술들은 얼굴들을 검출하는 데는 효과적일 수 있지만, 목표로 하는 대상들(여기서는, 사람들)의 일부가 명확하게 보이지 않는 혼잡한 이미지들(crowded images)에서는 일반적으로 잘 수행되지 않는다.
따라서, 본 명세서에서 실시예들의 목적은 개선된 및/또는 대안적인 방식으로 이미지에서 군중 속에 있는 사람들을 구별하는 접근 방식을 제공하는 것이다.
상기 목적은 본 명세서에 개시된 청구 내용에 의해 달성될 수 있다. 실시예들은 첨부된 청구 범위, 다음의 상세한 설명, 및 도면들에서 설명된다.
개시된 청구 내용은 이미지에서 군중 속에 있는 사람들을 구별하는 사람 구별 시스템(people distinguishing system)에 의해 수행되는 방법에 관한 것이다. 상기 사람 구별 시스템은 근본적으로 전방을 바라보는 각도(an essentially forward-looking angle)로 장면을 캡처하도록 적응된 열화상 카메라로부터 얻어진 이미지에서 사람으로 분류된 하나 이상의 검출된 물체들을 식별한다. 상기 사람 구별 시스템은 또한, 상기 하나 이상의 검출된 사람들에 포함되지 않으며, 미리 결정 가능한 강도 범위(predeterminable intensity range) 내의 강도를 갖는, 상기 이미지에서의 인접한 픽셀들의 적어도 제 1 그룹을 식별한다. 또한, 상기 사람 구별 시스템은 상기 이미지에서 적어도 제 1 그룹의 그룹 픽셀 영역을 결정한다. 또한, 상기 사람 구별 시스템은, 상기 이미지에서 적어도 제 1 수직 위치에 대해, 머리부 크기 기준 데이터에 기초하여 상기 적어도 제 1 수직 위치에서 사람 머리부의 예상된 픽셀 영역을 결정한다. 상기 사람 구별 시스템은 또한 상기 적어도 제 1 수직 위치에 대한 상기 예상된 머리부의 픽셀 영역과 상기 그룹 픽셀 영역의 적어도 일부를 비교한다. 또한, 상기 사람 구별 시스템은, 상기 비교로 인한 적어도 제 1 비교 결과가 미리 결정 가능한 일치성 임계치(predeterminable conformity threshold)를 초과할 때, 상기 적어도 제 1 그룹이 적어도 제 1 사람을 포함한다고 결정한다.
개시된 청구 내용은 또한 이미지에서 군중 속에 있는 사람들을 구별하는 사람 구별 시스템에 관한 것이다. 상기 사람 구별 시스템은 근본적으로 전방을 바라보는 각도로 장면을 캡처하도록 적응된 열화상 카메라로부터 얻어진 이미지에서 사람으로 분류된 하나 이상의 검출된 물체들을 식별하기 위한 및/또는 식별하도록 적응된 사람 식별 유닛(human identifying unit)을 포함한다. 상기 사람 구별 시스템은 또한, 상기 하나 이상의 검출된 사람들에 포함되지 않으며, 미리 결정 가능한 강도 범위 내의 강도를 갖는, 상기 이미지에서의 인접한 픽셀들의 적어도 제 1 그룹을 식별하기 위한 및/또는 식별하도록 적응된 그룹 식별 유닛에 관한 것이다. 또한, 상기 사람 구별 시스템은 상기 적어도 제 1 수직 위치에서 사람 머리부의 그룹 픽셀 영역을 결정하기 위한 및/또는 결정하도록 적응된 영역 결정 유닛을 포함한다. 상기 사람 구별 시스템은 또한, 상기 이미지에서 적어도 제 1 수직 위치에 대해, 머리부 크기 기준 데이터에 기초하여 상기 적어도 제 1 수직 위치에서 사람 머리부의 예상된 픽셀 영역을 결정하기 위한 및/또는 결정하도록 적응된 예상 영역 결정 유닛을 포함한다. 또한, 상기 사람 구별 시스템은 상기 적어도 제 1 수직 위치에 대한 예상된 머리부의 픽셀 영역과 상기 그룹 픽셀 영역의 적어도 일부를 비교하기 위한 및/또는 비교하도록 적응된 비교 유닛을 포함한다. 상기 사람 구별 시스템은 또한, 상기 비교로 인한 적어도 제 1 비교 결과가 미리 결정 가능한 일치성 임계치를 초과할 때, 상기 적어도 제 1 그룹이 적어도 제 1 사람을 포함한다고 결정하기 위한 및/또는 결정하도록 적응된 일치성 결정 유닛(conformity determining unit)을 포함한다.
또한, 개시된 내용은 본 명세서에 기술된 바와 같은 사람 구별 시스템을 포함하는 열화상 카메라에 관한 것이다.
더욱이, 개시된 청구 내용은 컴퓨터 또는 프로세서로 하여금 본 명세서에 기술된 사람 구별 시스템의 단계들을 실행하게 하도록 배열되고 컴퓨터 판독 가능한 매체 또는 반송파(carrier wave)에 저장된 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품에 관한 것이다.
개시된 청구 내용은 또한 상기 컴퓨터 프로그램 제품을 저장한 비 휘발성 컴퓨터 판독 가능한 저장 매체에 관한 것이다.
이에 따라, 사람들이 혼잡한 이미지에서 한 사람을 다른 사람과 구별하는 것을 가능하게 하는 접근 방식이 도입된다. 즉, 근본적으로 전방을 바라보는 각도에서 장면을 캡처하도록 적응된 열화상 카메라로부터 얻어진 이미지에서 사람으로 분류된 하나 이상의 검출된 물체들이 식별되기 때문에, 열화상 카메라 이미지에서 검출되고 사람으로 분류된 물체들이 인지될 수 있다. 열화상 카메라의 사용은 또한 그림자, 역광, 어둠, 위장된 물체 등과 같은 조명 조건들(light conditions)과 관련된 잠재적인 문제들을 완화되게 할 수 있다. 더욱이, 즉, 하나 이상의 검출된 사람들에 포함되지 않는, 미리 결정 가능한 강도 범위 내의 강도를 갖는 이미지에서의 인접한 픽셀들(adjoining pixels)의 적어도 제 1 그룹이 식별되기 때문에, 사람에 대응하는 강도와 같은 특정 강도를 갖는 (이미 검출된 사람들을 제외한) 이미지에서 이웃한 픽셀들(adjacent pixels)의 영역들이 인지될 수 있으며, 그에 따라 사람들이 상기 적어도 제 1 그룹에 존재하게 될 수 있다는 것을 나타낸다. 더욱이, 즉, 이미지에서 상기 적어도 제 1 그룹의 그룹 픽셀 영역(grouping pixel area)이 결정되기 때문에, 미리 결정 가능한 범위 내에 있는 것으로 식별된 인접한 픽셀들의 영역 분포가 규정된다. 더욱이, 즉, 머리부 크기 기준 데이터에 기초하여, 이미지에서 적어도 제 1 수직 위치에 대해 머리부 크기 기준 데이터를 대조함으로서 상기 적어도 제 1 수직 위치에서 사람 머리부의 예상된 픽셀 영역이 결정되기 때문에, 이미지에서 하나 이상의 수직 위치들에 대해 사람 머리부의 각각의 예상된 픽셀 영역 형태 및 크기가 규정된다. 즉, 예시적인 낮은 값의 수직 위치는 예시적인 더 높은 값의 수직 위치와 비교하여 열화상 카메라에 근접함을 나타낼 수 있으며, 이에 따라 예시적인 낮은 값의 수직 위치에서 사람 머리부의 픽셀 영역은 예시적인 더 높은 값의 수직 위치에 대한 것보다 크기가 더 클 것으로 예상될 수 있다. 따라서, 머리부 크기 기준 데이터는 각각의 하나 이상의 수직 위치들에 대한 예상된 픽셀 영역의 관점에서 하나 이상의 수직 위치들과 사람 머리부의 대응하는 예상된 크기 및 형태 사이의 매핑을 포함하고, 따라서 각각의 수직 위치에서 각각의 예상된 머리부 크기를 결정하는 것이 가능하다. 더욱이, 즉, 그룹 픽셀 영역의 적어도 일부가 상기 적어도 제 1 수직 위치에 대한 예상된 머리부의 픽셀 영역과 비교되기 때문에, 그룹 픽셀 영역의 픽셀들의 선택된 부위들(selected regions)이 하나 이상의 수직 위치들에 대한 사람의 머리들의 각각의 예상된 픽셀 영역(들)과 비교된다. 더욱이, 즉, 상기 비교로 인한 적어도 제 1 비교 결과가 미리 결정 가능한 일치성 임계치를 초과할 때 상기 적어도 제 1 그룹이 적어도 제 1 겹치는 사람을 포함하는 것으로 결정되기 때문에, 비교 동작이 (예를 들어, 사람의 머리부와 적어도 부분적으로 유사한 부위와 같은) 그룹 픽셀 영역의 한 부위와 예상된 머리부 크기 사이의 최소 일치성에 대한 레벨을 설정하는 임계치의 하나 이상의 초과들로 이어진다면, 이미지에서 적어도 제 1 그룹은 하나 이상의 겹치는 사람들을 포함하는 것으로 규정될 수 있다. 따라서, 예를 들어 통상적으로 알려진 물체 검출에 의해서는 혼잡한 이미지에서 사람들을 구별할 수 없는 것(및/또는 구별하기 어려움)이 상기 도입된 개념으로 구별하게 될 수 있다.
이러한 이유로, 개선된 및/또는 대안적인 방식으로 이미지에서 군중 속에 있는 사람들을 구별하는 접근 방식이 제공된다.
위에서 언급한 방법의 기술적 특징들과 그에 상응하는 장점들은 다음에서 더 자세히 논의될 것이다.
특정의 특징들 및 장점들을 포함하는 비 제한적인 실시예들의 다양한 양태들이 다음의 상세한 설명 및 첨부 도면으로부터 쉽게 이해될 것이다.
도 1 및 도 2는 본 개시의 실시예들에 따른 예시적인 사람 구별 시스템에 관한 개략도들을 도시한다.
도 3은 본 개시의 실시예들에 따른 예시적인 사람 구별 시스템을 도시하는 개략적인 블록도이다.
도 4는 본 개시의 실시예들에 따른 사람 구별 시스템에 의해 수행되는 예시적인 방법을 도시하는 흐름도이다.
본 개시의 비 제한적인 실시예들은 이제 본 개시의 현재 바람직한 실시예들이 도시된 첨부 도면들을 참조하여 이하에서 더욱 자세하게 설명될 것이다. 그러나 이러한 개시는 여러 가지 상이한 형태들로 구현될 수 있으며, 여기에서 설명하는 실시예들에 한정되는 것으로 해석되어서는 않된다. 유사한 참조 문자들은 전반에 걸쳐 유사한 요소들을 지칭한다. 도면들에서 일부 박스들 내의 점선들은 이들 유닛들 또는 행동들이 선택적인 것이고, 강제적인 것이 아님을 나타낸다.
이하에서, 이미지에서 군중 속에 있는 사람들을 구별하는 것에 관한 본 명세서의 실시예에 따라, 사람들이 혼잡한 이미지에서 한 사람을 다른 사람과 구별하는 것을 가능하게 하는 접근 방식이 개시될 것이다.
이제 도면들을 참조하면, 특히 도 1 및 도 2를 참조하면, 본 개시의 실시예들에 따른 예시적인 사람 구별 시스템(1)과 관련된 개략도들이 도시되어 있다. 사람 구별 시스템(1)은 이미지에서 군중 속에 있는 사람들을 구별하도록 적응 및/또는 구성된다.
"사람 구별 시스템"은 "사람 검출 시스템", "고유한 머리들을 결정하는 시스템" 및/또는 단순히 "평가 시스템" 또는 "제어 시스템"을 지칭할 수 있으며, 반면에, "이미지에서 군중 속에 있는 사람들을 구별하는 것"이라는 문구는 "이미지에서 군중 속에 있는 고유한 사람들 또는 사람의 머리들을 구별하는 것", "이미지에서 서로 가까운 및/또는 적어도 부분적으로 겹치는 사람들을 구별하는 것", "이미지에서 한 사람을 그 사람과 적어도 부분적으로 겹치는 다른 사람과 구별하는 것" 및/또는 "혼잡한 이미지에서 사람들을 구별하는 것"을 지칭할 수 있다. 한편, "혼잡한 또는 군중(crowd)"이라는 용어는 "사람들의 혼잡함 또는 사람들의 붐빔(crowd of people)"를 지칭할 수 있다.
사람 구별 시스템(1)은 열화상 카메라(10)(도 3에 도시 됨)와 연관될 수 있고, 선택적으로 열화상 카메라(10)에 포함될 수 있다. 그에 의해, 열화상 카메라(10)를 사용함으로써, 그림자, 역광, 어둠, 위장된 물체 등과 같은 조명 조건들과 관련된 잠재적인 문제들이 완화될 수 있다.
열화상 카메라(10)는 예를 들어, 사람들을 포함하는 모든 물체들로부터 지속적으로 방출되는 열에 적어도 부분적으로 기초하여 이미지들을 생성하는 것을 지원하는 열화상 카메라와 같은, 임의의 것을 지칭할 수 있다. 열화상 카메라(10)(가시광선과 적외선(IR) 카메라가 결합된 것으로 간주될 수 있음)는 또한, 가시광선 범위의 적어도 일부에 민감한 것을 결합하여 (예를 들어, 중파장 적외선(MWIR) 및/또는 장파장 적외선(LWIR) 밴드들과 같은) IR 범위의 적어도 일부에 민감한, 가시광선과 결합한 IR 방사선을 사용하여 이미지들을 생성하는 것을 지원하는 임의의 카메라를 지칭할 수 있다.
열화상 카메라(10)는 예에 따라, 실례로 예시적인 감시 시스템(도시되지 않음)의 일부인 추가적인 구성 요소들을 포함하는 열화상 카메라 장치(도시되지 않음)에 포함될 수 있다. 따라서, 일례에 따라, "사람 구별 시스템을 포함하는 열화상 카메라"라는 문구는 "사람 구별 시스템을 포함하는 열화상 카메라 장치" 및/또는 "사람 구별 시스템을 포함하는 감시 시스템의 열화상 카메라"를 지칭할 수 있다.
사람 구별 시스템(1)은, 사람 식별 유닛(101)(도 3에 도시되며 추가로 설명됨)에 의해, 근본적으로 전방을 바라보는 각도로 장면을 캡처하도록 적응된 열화상 카메라(10)로부터 얻어진 이미지(3)에서 사람들로 분류된 하나 이상의 검출된 물체들(2)을 식별하기 위해 적응된 및/또는 구성된다. 이에 의해, 열화상 카메라 이미지(3)에서 검출되어 사람들(2)로 분류된 물체들이 인지될 수 있다. 도 1의 예시에서, 제 1 검출된 사람(21) 및 제 2 검출된 사람(22)은 예시적인 방식으로 식별된다.
사람들(2)로 검출되어 분류된 물체들은, 예를 들어 트레이닝된 그레디언트 히스토그램(trained Histogram-of-Gradients)(HoGs) 알고리즘을 사용하여, 일반적으로 알려진 컴퓨터 비전 기술, 이미지 프로세싱, 물체 검출 및/또는 분류기의 지원을 갖는 것과 같은, 임의의 (예를 들어, 알려진) 방식으로 검출되어 분류될 수 있다(또는, 검출되어 분류됐을 수 있다). 사람들(2)로 분류된 검출된 물체들의 수는 당연히 사용 가능한 이미지(3)에 따라 다를 수 있으며, 그 범위는 최대 수십, 수백 또는 심지어 수천의 사람들(2)이 될 수 있다. 그러나, 사람들(2)로 분류된 검출된 물체들이 사람들(2)로 분류된 "잠재적인" 검출된 물체들로 간주될 수 있다는 이유로, 이미지(3)에서 식별 가능하거나 및/또는 식별되는 사람들(2)로 분류된 검출된 물체들이 없는 상황이 일어날 수 있다는 것을 유의해야 한다. 한편, "이미지"라는 용어는 임의의 크기(예를 들어, 픽셀 형태)의 및/또는 임의의 이미지 품질의 임의의 카메라 캡처 이미지를 지칭할 수 있다.
열화상 카메라(10)가 장면을 캡처하도록 적응 및/또는 구성되는 근본적으로 전방을 바라보는 각도는, 상기 열화상 카메라(19)가 위에서 바라본 시야(top view)와는 반대로 본질적으로 측면에서 바라본 시야(side view) 및/또는 약간 아래로 기울어진 상태로부터(from a slight downward inclination) 상기 장면에서 잠재적인 사람들을 캡처할 수 있는, 열화상 카메라(10)의 임의의 위치로 표현될 수 있다. 따라서, 근본적으로 전방을 바라보는 각도는 근본적으로 사람들의 눈높이로 간주될 수 있거나 및/또는 그보다 약간 위, 예를 들어 지상 및/또는 바닥에서 1 미터 미만 내지 최대 수 미터까지의 범위에 이르는 열화상 카메라(10)의 위치를 나타내는 곳에서 장면을 캡처하는 열화상 카메라(10)에 의해 표현될 수 있다. 일례에 따라, "전방을 바라보는 각도"라는 문구는 "약간 위쪽의 전방을 바라보는 각도"를 지칭할 수 있으며, 따라서 열화상 카메라(10)가 예를 들어 0도 이상에서 최대 45도까지의 범위에 이르는 약간 아래로 기울어진 상태 및/또는 기울기에서 장면과 그에 따른 잠재적인 사람들을 캡처하도록 구성될 수 있음을 나타낸다. 한편, 장면은 예를 들면 방, 개방된 지역 및/또는 개방된 공간 등과 같은 임의의 주변 환경(surrounding)으로 표현될 수 있다.
"사람들로 분류된 하나 이상의 검출된 물체들을 식별하는 것"이라는 문구는 "사람들로 분류된 하나 이상의 검출된 물체들을 인지하고(acknowledging), 분류하고, 필터링하고, 차단하고 및/또는 블랙리스트에 올리는(blacklisting) 것을" 지칭할 수 있다. 일례에 따라, 상기 문구는 또한 "사람들로 분류된 하나 이상의 검출된 물체들을 계수하고" 및/또는 "하나 이상의 검출된 물체들을 사람들로 분류하는 것"을 지칭할 수 있다. 한편, "검출된 물체들"은 "잠재적으로 검출된 물체들" 및/또는 단순히 "물체들"을 지칭할 수 있으며, 이에 반해, "이미지"는 "카메라 이미지", "열화상 카메라 이미지", "결합된 온도 및 시각적 광 이미지" 및/또는 "이미지 프레임"을 지칭할 수 있다. "열화상 카메라로부터 얻어진 이미지"라는 문구는 "열화상 카메라로부터 획득된 및/또는 가져온 이미지" 및/또는 단순히 "열화상 카메라로부터 및/또는 그에 의해 캡처된 이미지"를 지칭할 수 있다. 한편, "근본적으로 전방을 바라보는 각도에서"는 "근본적으로 사람의 눈높이에서 및/또는 약간 아래로 기울어진 상태에서" 및/또는 단순히 "전방을 바라보는 각도에서 및/또는 약간 아래로 기울어진 상태에서"를 지칭할 수 있다. 또한, "장면"은 "주변 환경"을 지칭할 수 있으며, 반면에, "장면을 캡처하도록 적응된 열화상 카메라"는 "장면의 이미지를 캡처하도록 적응된 열화상 카메라"를 지칭할 수 있다. 일례에 따라, "근본적으로 전방을 바라보는 각도로 장면을 캡처하도록 적응된 열화상 카메라로부터 얻어진 이미지에서"라는 문구는 "열화상 카메라로부터 얻어진 근본적으로 전방을 바라보는 각도에서의 장면의 이미지에서"를 지칭할 수 있다.
도 2에 추가로 설명된 것처럼, 사람 구별 시스템(1)은, 예를 들어 그룹 식별 유닛(102)(도 3에 도시되고 추가로 설명됨)에 의해, 하나 이상의 검출된 사람들(2)에 포함되지 않으며, 미리 결정 가능한 강도 범위 내의 강도를 갖는 이미지(3)에서의 인접한 픽셀들의 적어도 제 1 그룹(4)을 식별하도록 적응 및/또는 구성된다. 이에 의해, 이미 검출된 사람들(2)을 제외하고, 사람에 대응하는 강도와 같은 특정 강도의 이미지(3)에서의 이웃한 픽셀들(4)의 영역들이 인식될 수 있으며, 따라서 적어도 제 1 그룹(4)에 사람들이 존재할 수 있다는 것을 나타낸다. 도 1의 예시에서, 단지 제 1 그룹(4)이 예시적인 방식으로 식별된다. 그러나, 다른 예시적인 이미지(도시되지 않음)에서는, 인접한 픽셀들의 추가의 별개의 그룹들이 당연히 식별 가능하거나 및/또는 식별될 수 있다는 점에 유의해야 한다.
인접한 픽셀들의 적어도 제 1 그룹(4)을 식별하는 것은 컴퓨터 비전 기술들 및/또는 이미지 프로세싱의 지원과 같은 임의의 (예를 들어, 알려진) 방식으로 달성될 수 있다. 즉, 상이한 물체들로부터 반사되거나 생략되는 적외선 에너지의 상대적인 강도 차이들이 이미지(3)에서 검출되어 표시될 수 있기 때문에, 사람 및/또는 사람의 머리에 대응하는 강도들을 포함하는 것과 같은 미리 결정된 강도 범위가 식별될 수 있다. 강도 범위는 사람들 및/또는 사람들의 머리들의 강도들 및/또는 열 신호들을 나타낼 수 있는 임의의 범위를 지칭할 수 있다. 더욱이, 강도 범위는 예를 들어 사람 구별 시스템(1), 열화상 카메라(10), 원격 서버 등과 같은 곳에 미리 저장될 수 있다.
그러나, 선택적으로, 강도 범위는 도 1의 예시에서 예시적인 제 1 검출된 사람(21) 및 제 2 검출된 사람(22)와 같이 하나 이상의 검출된 사람들(2) 중 적어도 하나의 강도 크기(intensity measure)(211, 221)에 기초할 수 있다. 이에 의해, 하나 이상의 이미 검출된 사람들(2)의 강도 또는 강도들은, 상기 강도 크기(들)(221, 221) 및/또는 그에 대한 통계적 강도 크기와 근본적으로 동일한(및/또는 대략 그 주변의) 강도 범위와 같이, 강도 범위를 정의하기 위한 기준을 형성할 수 있다. "강도 크기에 기초하는 것"은 "강도 크기로부터 얻어내는 것", "통계적 강도 크기에 기초한 것" 및/또는 "강도 값에 기초하는 것"을 지칭할 수 있다.
"인접한 픽셀들의 적어도 제 1 그룹을 식별하는 것"이라는 문구는 "근본적으로 인접한 픽셀들의 적어도 제 1 그룹을 식별하는 것" 및/또는 "인접한 픽셀들의 적어도 제 1 그룹을 인지하고, 선택하고, 분류하고 및/또는 필터링하는 것"을 지칭할 수 있다. 한편 "그룹(grouping)"은 "부위(regioin)", "영역(area)", "분포" 및/또는 "관심 그룹"을 지칭할 수 있으며, 반면에, "인접한 픽셀들"은 "이웃한 픽셀들"을 지칭할 수 있다. 또한, "하나 이상의 검출된 사람들에 포함되지 않는"이라는 문구는 "사람들로 분류된 하나 이상의 검출된 물체들에 포함되지 않는", "하나 이상의 검출된 사람들의 픽셀들을 포함하지 않는" 및/또는 또는 "검출된 사람들을 제외하는"을 지칭할 수 있다. 한편, "미리 결정 가능한 강도 범위"는 "사람(및/또는 사람의 머리) 강도들 및/또는 열 신호들에 대응하는 미리 결정 가능한 강도 범위 및/또는 그 등가의 것" 및/또는 단순히 "사람 머리부의 강도 범위"를 지칭할 수 있다.
사람 구별 시스템(1)은 또한, 영역 결정 유닛(103)(도 3에 도시되고 추가로 설명됨)에 의해, 이미지(3)에서의 적어도 제 1 그룹(4)의 그룹 픽셀 영역(40)을 결정하도록 적응 및/또는 구성된다. 이에 의해, 미리 결정 가능한 범위 내에 있는 것으로 식별된 인접한 픽셀들(4)의 영역 분포(40)가 규정된다(도 1의 예시에서 윤곽선으로 도시).
그룹 픽셀 영역(40)을 결정하는 것은 컴퓨터 비전 기술들 및/또는 이미지 프로세싱의 지원과 같은 임의의 (예를 들어, 알려진) 방식으로 달성될 수 있다. 또한, 인접한 픽셀들의 그룹 픽셀 영역(40)은 장면에서 사람들 또는 사람들의 수(또는 미리 결정 가능한 강도 범위 내의 강도들을 갖는 잠재적인 다른 물체들)에 당연히 의존하는 임의의(예를 들어, 불규칙한) 모양 및/또는 형태일 수 있다. "그룹 픽셀 영역의 결정"은 "그룹 픽셀 영역의 계산 및/또는 추정"을 지칭할 수 있으며, 반면에, "픽셀 영역"은 다른 한편으로 "픽셀 영역 분포"를 지칭할 수 있다.
사람 구별 시스템(1)은 또한, 예를 들어 예상된 영역의 결정 유닛(104)(도 3에 도시되고 추가로 설명됨)에 의해, 이미지(3)에서 적어도 제 1 수직 위치 yexpected에 대해, 머리부 크기 기준 데이터(5)에 기초하여 적어도 제 1 수직 위치 yexpected에서 사람 머리부의 예상된 픽셀 영역 xexpected을 결정하도록 적응 및/또는 구성된다. 이에 의해, 머리부 크기 기준 데이터(5)를 대조함으로써, 이미지(3)에서 하나 이상의 수직 위치들 y에 대한 사람 머리부의 각각의 예상된 픽셀 영역 x 형태 및 크기가 규정된다. 즉, 예시적인 낮은 값의 수직 위치 y는 예시적인 더 높은 값의 수직 위치 y와 비교하여 열화상 카메라(10)에 근접함을 나타낼 수 있으며, 이에 따라 예시적인 낮은 값의 수직 위치 y에서 사람 머리부의 픽셀 영역 x는 예시적인 더 높은 값의 수직 위치 y에 대한 것보다 크기가 더 클 것으로 예상될 수 있다. 따라서, 머리부 크기 기준 데이터(5)는 각각의 하나 이상의 수직 위치들 y에 대한 예상된 픽셀 영역 x의 관점에서 하나 이상의 수직 위치들 y와 사람 머리부의 대응하는 예상된 크기 및 형태 사이의 매핑을 포함하고, 따라서 각각의 수직 위치 yexpected에서 각각의 예상된 머리부 크기 xexpected를 결정하는 것이 가능하다.
적어도 제 1 수직 위치 yexpected는 이미지(3)에서 임의의 수직 위치(들) y로 표현될 수 있다. 또한, 머리부 크기 기준 데이터(5)는 이미지(3)에서의 수직 위치들 y와 대응하는 예상된 픽셀 영역 x 또는 사람의 머리부사이의 관계를 나타내는 임의의 데이터로 표현될 수 있다. 머리부 크기 기준 데이터(5)는 예를 들어 데이터 테이블에 포함될 수 있고, 또 다른 예로서 사람 구별 시스템(1), 열화상 카메라(10), 원격 서버 등에 저장될 수 있고, 또한 예를 들어 미리 저장될 수 있다.
"예상된 픽셀 영역의 결정"은 "예상된 픽셀 영역의 도출, 획득, 계산 및/또는 보간"을 지칭할 수 있고, 반면에, "머리부 크기 기준 데이터에 기초하는 결정"은 "머리부 크기 기준 데이터를 대조함으로써 결정" 및/또는 "상기 이미지에서의 수직 위치들과 사람 머리부의 대응하는 예상된 픽셀 영역 사이의 관계를 나타내는 데이터로부터 결정"을 지칭할 수 있다. 또한, "머리부 크기 기준 데이터"라는 문구는 "머리부 픽셀 영역 기준 데이터" 및/또는 "머리부 크기 매핑 데이터"를 지칭할 수 있으며, 반면에, "데이터"는 "매핑 정보"를 지칭할 수 있다. 한편, "예상된" 픽셀 영역은 "예상된 대응하는" 픽셀 영역 및/또는 "추정된 및/또는 계산된" 픽셀 영역을 지칭할 수 있다.
선택적으로, 도 1에 예시된 바와 같이, 머리부 크기 기준 데이터(5)는 검출된 사람들(2) 중 둘(21, 22) 이상에 대해, 이미지(3)에서 검출된 사람(21, 22)의 머리부(212, 222)의 각각의 수직 위치 y1, y2 및 픽셀 영역 x1, x2에 대한 매핑에 기초할 수 있다. 또한 선택적으로, 머리부 크기 기준 데이터(5)는 상기 매핑으로부터의 보간에 기초할 수 있다. 이에 의해, 제 1 결정된 수직 위치 y1에서 검출된 사람(21)의 머리부(212)의 제 1 결정된 머리부 크기 픽셀 영역 x1 및 제 2 결정된 수직 위치 y2에서 검출된 사람(22)의 머리부(222)의 적어도 제 2 결정된 머리부 크기 픽셀 영역 x2가 머리부 크기 기준 데이터(5)의 기준을 형성할 수 있다. 머리부 크기 기준 데이터(5)는 예를 들어, 도 1의 예시에서 예시적인 좌표 평면에 도시된 바와 같이, 제 1 머리부 크기 픽셀 영역 x1 / 제 1 수직 위치 y1과 적어도 제 2 머리부 크기 픽셀 영역 x2 / 제 2 수직 위치 y2 사이의 선형 그래프(50)(또는 근본적으로 선형 그래프)에 의존할 수 있다. 검출된 사람들(21, 22)의 매핑된 수직 위치 y1, y2는 각각의 확장, 즉, 예를 들어 각각의 머리부(212, 222)의 하단에서, 대안적으로는 예를 들어 각각의 머리부(212, 222)의 상단(또는 가정된 눈 높이)에서 (도 1에 예시된 바와 같이) 적합한 것으로 간주되는 상기 검출된 사람들(21, 22)의 높이에 따라 선택될 수 있다. 또한, "매핑"은 "연관" 및/또는 "연결"을 지칭할 수 있으며, 반면에, "매핑에 기초한"은 "매핑으로부터 계산된 및/또는 얻어진"을 지칭할 수 있다. 한편, "수직 위치 및 픽셀 영역"은 "수직 머리부 위치 및 수직 머리부 크기 픽셀 영역"을 지칭할 수 있다.
도 2에 예시된 바와 같이, 사람 구별 시스템(1)은 또한, 예를 들어 비교 유닛(105)(도 3에 도시되고 추가로 설명됨)에 의해, 그룹 픽셀 영역(40)의 적어도 일부를 적어도 제 1 수직 위치 yexpected에 대한 예상된 머리부 픽셀 영역 xexpected와 비교하도록 적응 및/또는 구성된다. 이에 의해, 그룹 픽셀 영역(40)의 픽셀들의 선택된 부위들은 하나 이상의 수직 위치들 yexpected에 대해 사람 머리부들의 각각의 예상된 픽셀 영역(들) xexpected와 비교된다.
픽셀 영역들의 비교는 수직 위치들 y에 대해 임의의 수로 반복될 수 있다. 또한, 비교 동작들은 컴퓨터 비전 기술들 및/또는 이미지 프로세싱의 지원과 같은 임의의 (예를 들어, 알려진) 방식으로 달성될 수 있다. 한편, 그룹 픽셀 영역(40)의 적어도 일부는 그룹 픽셀 영역(40)의 임의의 부위에 의해 표현될 수 있고, 또한 적절한 및/또는 실행 가능하다고 간주되는 임의의 크기, 형태 및/또는 모양일 수 있다. 예를 들어, 사람의 머리부와 유사한 적어도 어느 정도의(또는 미리 결정 가능한 정도의) 그룹 픽셀 영역(40)의 하나 이상의 부위들이 비교를 위해 선택될 수 있다. "적어도 일부의 비교"라는 문구는 "적어도 한 부위(a region)의 비교" 및/또는 "하나 이상의 선택된 부위들의 비교"을 지칭할 수 있고, 반면에, "예상된 머리부의 픽셀 영역"은 "예상된 머리부의 크기 픽셀 영역" 및/또는 "사람 머리부의 예상된 픽셀 영역"을 지칭할 수 있다.
사람 구별 시스템(1)은 또한, 예를 들어 일치성 결정 유닛(conformity determining unit)(106)(도 3에 도시되고 추가로 설명됨)에 의해, 상기 비교로 인한 적어도 제 1 비교 결과가 미리 결정 가능한 일치성 임계치를 초과할 때, 적어도 제 1 그룹(4)이 적어도 제 1 겹치는 사람(6)을 포함한다고 결정하도록 적응 및/또는 구성된다. 그에 따라, 비교 동작들이 (예를 들어, 사람의 머리부와 적어도 부분적으로 유사한 부위와 같은) 그룹 픽셀 영역(40)의 한 부위와 예상된 머리부 크기 x 사이의 최소 일치성에 대한 레벨을 설정하는 임계치의 하나 이상의 초과들로 이어진다면, 이미지(3)에서 적어도 제 1 그룹(4)은 하나 이상의 겹치는 사람(6)을 포함하는 것으로 규정될 수 있다. 따라서, 예를 들어 통상적으로 알려진 물체 검출에 의해서는 혼잡한 이미지(3)에서 사람들을 구별할 수 없는 것(및/또는 구별하기 어려움)이 상기 도입된 개념으로 구별하게 될 수 있다.
도 2의 예시에서, 잠재적으로 많은 비교들 중 예시하는 3 가지 경우들에서 일치성 임계치가 초과되는 것으로 결정될 수 있다; 제 1 수직 위치 yexpected에서 예상된 머리부 크기 픽셀 영역 xexpected과 머리부가 유사한 부위(이후에 제 1 겹치는 사람(61)으로 식별될 수 있는 곳)의 제 1 비교 및 유사한 방식으로, 각각의 제 2 및 제 3 수직 위치 y에서 각각의 예상된 머리부 크기 픽셀 영역 x와 머리부들이 유사한 각각의 부위들(이후에 제 2 겹치는 사람(62) 및 제 3 겹치는 사람(63)으로 식별될 수 있는 곳)의 각각의 제 2 및 제 3 비교.
미리 결정 가능한 일치성 임계치는 적합한 및/또는 실행 가능하다고 간주되는 임의의 값으로 설정될 수 있으며, 예를 들어 그룹 픽셀 영역(40)의 부위와 예상된 머리부 크기 x 사이의 일치의 수준, 정도 및/또는 백분율을 나타낼 수 있고, 이는 적어도 제 1 그룹(4)이 겹치는 사람(들)(6)을 포함하는 것으로 간주되도록 하기 위해 초과될 필요가 있을 수 있다. 따라서, 일치성 임계치는 예를 들어 적어도 50 %, 적어도 70 % 또는 적어도 90 %의 일치로 표현될 수 있다. "상기 적어도 제 1 그룹이 포함하는 것으로 결정"이라는 문구는 "상기 적어도 제 1 그룹이 포함하는 것으로 추정 및/또는 결론"을 지칭할 수 있으며, 반면에, "겹치는 사람"은 "적어도 부분적으로 겹치는 사람" 및/또는 "상기 이미지에서 겹치는 사람"을 지칭할 수 있다. 한편, "~인 때 또는 ~인 경우(when)"는 "해야하는(should)" 및/또는 "~라고 가정되는(provided that)"를 지칭할 수 있으며, 반면에, "비교"는 "비교 동작"을 지칭할 수 있다. 또한, "미리 결정 가능한 일치성 임계치"라는 문구는 "미리 결정 가능한 유사성 임계치", "미리 결정 가능한 머리부 일치 임계치" 및/또는 단순히 "일치성 임계치"를 지칭할 수 있다.
선택적으로, 사람 구별 시스템(1)은, 예를 들어 선택적인 수 추정 유닛(optional number estimating unit)(107)(도 3에 도시되고 추가로 설명됨)에 의해, 일치성 임계치를 초과하는 비교 횟수에 기초하여 적어도 제 1 그룹(4)에서 겹치는 사람들(6)의 수를 추정하도록 적응 및/또는 구성된다. 이에 의해, 일치성 임계치가 초과될 때마다 계수함으로써(적어도 제 1 그룹(4)에 얼마나 많은 겹치는 사람들(6)이 포함되는 것으로 결정되는 것과 동일할 수 있음), 적어도 제 1 그룹(4)에서 겹치는 사람들(6)의 수가 추정될 수 있다. 도 2의 예시에서, 겹치는 세 사람들(61, 62, 63)이 예시 방식으로 묘사된다. "수를 추정"이라는 문구는 "수를 결정" 및/또는 "수를 계산"을 지칭할 수 있으며, 반면에, "상기 일치성 임계치를 초과하는 비교 횟수에 기초하여"는 "상기 일치성 임계치를 초과하는 비교 횟수를 계수함으로써"를 지칭할 수 있다.
또한 선택적으로, 사람 구별 시스템(1)은, 예를 들어 선택적인 총 횟수 추정 유닛(optional total number estimating unit)(108)(도 3에 도시되고 추가로 설명됨)에 의해, 겹치는 사람들(6)의 수를 하나 이상의 검출된 사람들(2) 에 추가함으로써 이미지(3)에서 사람들의 총 수를 추정하도록 적응 및/또는 구성된다. 이에 의해, 혼잡한 이미지(3)에서 사람들의 총 수를 추정하는 것을 지원하는 접근 방식이 제공된다. 도 1 및 도 2의 예시에서, 검출된 두 명의 사람들(21, 22)과 겹치는 세 사람들(61, 62, 63)이 예시적인 방식으로 묘사되어 있으며, 따라서 예시적인 총 다섯 사람들의 수가 추가된다. "총 수를 추정"이라는 문구는 "총 수를 결정" 및/또는 "총 수를 계산"을 지칭할 수 있다.
본 개시의 실시예들에 따른 예시적인 사람 구별 시스템(1)을 도시하는 개략적인 블록도인 도 3에 추가로 도시된 바와 같이, 사람 구별 시스템(1)은 사람 식별 유닛(101), 그룹 식별 유닛(102), 영역 결정 유닛(103), 예상된 영역 결정 유닛(104), 비교 유닛(105), 일치성 결정 유닛(106), 선택적인 수 추정 유닛(107) 및/또는 선택적인 총 수 추정 유닛(108)을 포함할 수 있으며, 이들 모두는 이미 위에서 더 상세히 설명되었다. 더욱이, 이미지(3)에서 군중 속에 있는 사람들을 구별하기 위한 본 명세서의 실시예들은 본 명세서에서 실시예들의 기능들 및 동작들을 수행하기 위한 컴퓨터 프로그램 코드와 함께 프로세서(109)(여기서는 CPU로 표시됨)와 같은 하나 이상의 프로세서들을 통해 구현될 수 있다. 상기 프로그램 코드는 또한 예를 들어, 사람 구별 시스템(1)에 로딩될 때 본 명세서의 실시예들을 수행하기 위한 컴퓨터 프로그램 코드를 운반하는 데이터 캐리어의 형태로 컴퓨터 프로그램 제품으로서 제공될 수 있다. 그러한 캐리어 중 하나는 CD ROM 디스크 및/또는 하드 드라이브의 형태일 수 있지만, 다른 데이터 캐리어들로도 가능하다. 또한 컴퓨터 프로그램 코드는 서버 상의 순수 프로그램 코드로 제공될 수 있고 사람 구별 시스템(1)에 다운로드될 수 있다. 사람 구별 시스템(1)은 또한 하나 이상의 메모리 유닛들을 포함하는 메모리(110)를 포함할 수 있다. 메모리(110)는 예를 들어 정보를 저장하는 데 사용되도록, 또한 데이터, 구성, 스케줄링, 및 애플리케이션을 저장하는 데 사용되도록 배열되어, 사람 구별 시스템(1)에서 실행될 때 본 명세서에서의 방법들을 수행할 수 있다. 예를 들어, 컴퓨터 프로그램 코드는 내장 프로세서(109)의 FLASH 메모리(110)에 저장된 펌웨어로 구현될 수 있고 및/또는 예를 들어 오프-보드 서버(off-board server)로부터 무선으로 다운로드될 수 있다. 또한, 상기 유닛들(101-108), 선택적 프로세서(109) 및/또는 선택적 메모리(110)는 열화상 카메라(10) 및/또는 예를 들어 상기 열화상 카메라(10)를 선택적으로 포함하는 감시 시스템에 적어도 부분적으로 포함될 수 있고, 관련될 수 있으며 및/또는 연결될 수 있다. 당업자는 또한 전술한 상기 유닛들(101-108)이 프로세서(109)와 같은 하나 이상의 프로세서들에 의해 실행될 때 본 명세서에서 기술된 바와 같이 수행하는, 예를 들어 메모리(110)와 같은 메모리에 저장되는 소프트웨어 및/또는 펌웨어로 구성된 하나 이상의 프로세서들 및/또는 아날로그 및 디지털 회로들의 조합을 지칭할 수 있음을 인식할 것이다. 이러한 프로세서들 중 하나 이상 및 다른 디지털 하드웨어가 단일 ASIC(Application-Specific Integrated Circuitry)에 포함될 수 있거나, 또는 여러 프로세서들 및 다양한 디지털 하드웨어가 개별적으로 패키지되거나 SoC(System-on-a-Chip)로 조립되는지에 상관없이 여러 개별 구성요소들에 분포될 수 있다.
도 4는 본 개시의 실시예들에 따른 사람 구별 시스템(1)에 의해 수행되는 예시적인 방법을 도시하는 흐름도이다. 상기 방법은 이미지에서 군중 속의 사람들을 구별하기 위한 것이다. 연속적으로 반복될 수 있는 예시적인 방법은 도 1 내지 도 3를 참조하여 논의된 다음 동작들 중 하나 이상을 포함한다. 더욱이, 상기 동작들은 임의의 적절한 순서로 취해질 수 있고 및/또는 하나 이상의 동작들이 동시에 및/또는 적용 가능한 경우 대안적인 순서로 수행될 수 있다. 예를 들어, 동작 1004는 동작 1002 및/또는 동작 1003과 동시에 및/또는 그 이전에 수행될 수 있다.
동작 1001:
동작 1001에서, 상기 사람 구별 시스템(1)은, 예를 들어 사람 식별 유닛(101)의 지원에 의해, 근본적으로 전방을 바라보는 각도로 장면을 캡처하도록 적응된 열화상 카메라(10)로부터 얻어진 이미지(3)에서 사람들(2)로 분류된 하나 이상의 검출된 물체들을 식별한다.
동작 1002:
동작 1002에서, 사람 구별 시스템(1)은, 예를 들어 그룹 식별 유닛(102)의 지원에 의해, 하나 이상의 검출된 사람들(2)에 포함되지 않으며, 미리 결정 가능한 강도 범위 내의 강도를 갖는 이미지(3)에서의 인접한 픽셀들의 적어도 제 1 그룹(4)을 식별한다.
동작 1003:
동작 1003에서, 사람 구별 시스템(1)은, 예를 들어 영역 결정 유닛(103)의 지원에 의해, 이미지(3)에서 적어도 제 1 그룹(4)의 그룹 픽셀 영역(40)을 결정한다.
동작 1004:
동작 1004에서, 사람 구별 시스템(1)은, 예를 들어 예상된 영역 결정 유닛(104)의 지원에 의해, 머리부 크기 기준 데이터(5)에 기초하여 이미지(3)에서 적어도 제 1 수직 위치 yexpected에 대해, 상기 적어도 제 1 수직 위치 yexpected에서 사람 머리부의 예상된 픽셀 영역 xexpectced를 결정한다.
동작 1005:
동작 1005에서, 사람 구별 시스템(1)은, 예를 들어 비교 유닛(105)의 지원에 의해, 그룹 픽셀 영역(40)의 적어도 일부를 적어도 제 1 수직 위치 yexpected에 대한 예상된 머리부 픽셀 영역 xexpected와 비교한다.
동작 1006:
동작 1006에서, 사람 구별 시스템(1)은, 예를 들어 일치성 결정 유닛(106)의 지원에 의해, 동작 1005의 비교로부터의 적어도 제 1 비교 결과가 미리 결정 가능한 일치성 임계치를 초과할 때 적어도 제 1 그룹(4)이 적어도 제 1 겹치는 사람(6)을 포함하는 것으로 결정한다.
동작 1007:
동작 1007에서, 사람 구별 시스템(1)은, 예를 들어 선택적인 수 추정 유닛(107)의 지원에 의해, 일치성 임계치를 초과하는 비교의 횟수에 기초하여 적어도 제 1 그룹(4)에서 겹치는 사람들(6)의 수를 추정할 수 있다.
동작 1008:
동작 1008에서, 사람 구별 시스템(1)은, 예를 들어 선택적 총 수 추정 유닛(108)(106)의 지원에 의해, 하나 이상의 검출된 사람들(2)에 겹치는 사람들(6)의 수를 추가함으로써 이미지(3)에서 사람들의 총 수를 추정할 수 있다.
당업자는 본 개시가 전술한 바람직한 실시예들에 결코 제한되지 않음을 인식할 것이다. 반대로, 첨부된 청구 범위 내에서 많은 수정들과 변경들이 가능하다. 또한 도면은 반드시 축척일 필요는 없으며, 명확성을 위해 특정의 특징들의 치수가 과장되었을 수도 있다는 점에 유의해야 한다. 대신에 본 명세서의 실시예들의 원리를 설명하는 데 중점을 두었다. 부가하여, 청구 범위에서, "포함하는"이라는 단어는 다른 요소들 또는 단계들을 배제하지 않으며, 단수의 표현(부정관사 "a" 또는 "an")은 복수를 배제하지 않는다.

Claims (15)

  1. 이미지에서 군중 속의 사람들을 구별하기 위해 사람 구별 시스템(people distinguishing system)(1)에 의해 실행되는 방법에 있어서:
    물체들을 검출하고 분류하는 것에 의해, 사람들의 눈높이 및/또는 그보다 약간 위로 간주되는 근본적으로 전방을 바라보는 각도(essentially forward-looking angle)로 장면을 캡처하도록 적응된 열화상 카메라(10)로부터 얻어진 이미지(3)에서 사람들(2)로 분류된 하나 이상의 검출된 물체들을 식별하는 단계(1001);
    하나 이상의 검출된 사람들(2)에 포함되지 않으며, 미리 결정 가능한 강도 범위(predeterminable intensity range) 내의 강도를 갖는 상기 이미지(3)에서의 인접한 픽셀들의 적어도 제 1 그룹(4)을 식별하는 단계(1002);
    상기 이미지(3)에서 상기 적어도 제 1 그룹(4)의 그룹 픽셀 영역(40)을 결정하는 단계(1003);
    머리부 크기 기준 데이터(head size reference data)(5)에 기초하여 상기 이미지(3)에서 상기 그룹 픽셀 영역(40)의 적어도 제 1 수직 위치(yexpected)에 대해, 상기 적어도 제 1 수직 위치(yexpected)에서 사람 머리부의 예상된 픽셀 영역(xexpectced) 크기 및 형태를 결정하는 단계(1004)로서, 상기 머리부 크기 기준 데이터(5)는 상기 이미지(3)에서 수직 위치들(y)과, 대응하는 예상된 픽셀 영역(x), 즉 사람 머리부의 크기 및 형태 사이의 관계를 나타내는 데이터에 의해 표현되는, 상기 결정 단계(1004);
    상기 그룹 픽셀 영역(40)의 사람 머리부와 적어도 어느 정도 유사한 적어도 일부를 상기 적어도 제 1 수직 위치(yexpected)에 대한 상기 예상된 머리부 픽셀 영역(xexpected)과 비교하는 단계(1005); 및
    상기 비교로부터의 적어도 제 1 비교 결과가 미리 결정 가능한 일치성 임계치(conformity threshold)를 초과할 때 상기 적어도 제 1 그룹(4)이 적어도 제 1 겹치는 사람(6)을 포함하는 것으로 결정하는 단계(1006)을 포함하는, 방법.
  2. 제 1 항에 있어서, 상기 일치성 임계치를 초과하는 비교의 횟수에 기초하여 상기 적어도 제 1 그룹(4)에서 겹치는 사람들(6)의 수를 추정하는 단계(1007)를 더 포함하는, 방법.
  3. 제 2 항에 있어서, 상기 하나 이상의 검출된 사람들(2)에 상기 겹치는 사람들(6)의 수를 추가함으로써 상기 이미지(3)에서 사람들의 총 수를 추정하는 단계(1008)를 더 포함하는, 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 적어도 제 1 그룹(4)을 식별하는 단계(1002)는 상기 강도 범위가 상기 하나 이상의 검출된 사람들(2) 중 적어도 하나(21, 22)의 강도 크기(intensity measure)에 기초하는 것을 포함하는, 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 상기 머리부 크기 기준 데이터(5)는 상기 검출된 사람들(2) 중 둘(21, 22) 이상에 대해, 상기 이미지(3)에서 검출된 사람(21, 22)의 머리부(212, 222)의 각각의 수직 위치(y1, y2)및 픽셀 영역(x1, x2)에 대한 매핑에 기초하는, 방법.
  6. 제 5 항에 있어서, 상기 머리부 크기 기준 데이터(5)는 상기 매핑으로부터의 보간에 기초하는, 방법.
  7. 이미지에서 군중 속의 사람들을 구별하기 위한 사람 구별 시스템(1)에 있어서:
    물체들을 검출하고 분류하는 것에 의해, 사람들의 눈높이 및/또는 그보다 약간 위로 간주되는 근본적으로 전방을 바라보는 각도로 장면을 캡처하도록 적응된 열화상 카메라(10)로부터 얻어진 이미지(3)에서 사람들(2)로 분류된 하나 이상의 검출된 물체들을 식별(1001)하기 위한 사람 식별 유닛(101);
    하나 이상의 검출된 사람들(2)에 포함되지 않으며, 미리 결정 가능한 강도 범위 내의 강도를 갖는 상기 이미지(3)에서의 인접한 픽셀들의 적어도 제 1 그룹(4)을 식별(1002)하기 위한 그룹 식별 유닛(102);
    상기 이미지(3)에서 상기 적어도 제 1 그룹(4)의 그룹 픽셀 영역(40)을 결정(1003)하기 위한 영역 결정 유닛(103);
    머리부 크기 기준 데이터(5)에 기초하여 상기 이미지(3)에서 상기 그룹 픽셀 영역(40)의 적어도 제 1 수직 위치(yexpected)에 대해, 상기 적어도 제 1 수직 위치(yexpected)에서 사람 머리부의 예상된 픽셀 영역(xexpectced) 크기 및 형태를 결정(1004)하기 위한 예상된 영역 결정 유닛(104)으로서, 상기 머리부 크기 기준 데이터(5)는 상기 이미지(3)에서 수직 위치들(y)과, 대응하는 예상된 픽셀 영역(x), 즉 사람 머리부의 크기 및 형태 사이의 관계를 나타내는 데이터에 의해 표현되는, 상기 예상된 영역 결정 유닛(104);
    상기 그룹 픽셀 영역(40)의 사람 머리부와 적어도 어느 정도 유사한 적어도 일부를 상기 적어도 제 1 수직 위치(yexpected)에 대한 상기 예상된 머리부 픽셀 영역(xexpected)과 비교(1005)하기 위한 비교 유닛(105); 및
    상기 비교로부터의 적어도 제 1 비교 결과가 미리 결정 가능한 일치성 임계치를 초과할 때 상기 적어도 제 1 그룹(4)이 적어도 제 1 겹치는 사람(6)을 포함하는 것으로 결정(1006)하기 위한 일치성 결정 유닛(conformity determining unit)(106)을 포함하는, 사람 구별 시스템(1).
  8. 제 7 항에 있어서, 상기 일치성 임계치를 초과하는 비교의 횟수에 기초하여 상기 적어도 제 1 그룹(4)에서 겹치는 사람들(6)의 수를 추정(1007)하기 위한 수 추정 유닛(number estimating unit)(107)을 더 포함하는, 사람 구별 시스템(1).
  9. 제 7 항 또는 제 8 항에 있어서, 상기 하나 이상의 검출된 사람들(2)에 상기 겹치는 사람들(6)의 수를 추가함으로써 상기 이미지(3)에서 사람들의 총 수를 추정(1008)하기 위한 총 수 추정 유닛(108)를 더 포함하는, 사람 구별 시스템(1).
  10. 제 7 항 내지 제 9 항 중 어느 한 항에 있어서, 상기 그룹 식별 유닛(102)은 상기 강도 범위가 상기 하나 이상의 검출된 사람들(2) 중 적어도 하나(21, 22)의 강도 크기에 기초하도록 적응되는, 사람 구별 시스템(1).
  11. 제 7 항 내지 제 10 항 중 어느 한 항에 있어서, 상기 머리부 크기 기준 데이터(5)는 상기 검출된 사람들(2) 중 둘(21, 22) 이상에 대해, 상기 이미지(3)에서 검출된 사람(21, 22)의 머리부(212, 222)의 각각의 수직 위치(y1, y2)및 픽셀 영역(x1, x2)에 대한 매핑에 기초하는, 사람 구별 시스템(1).
  12. 제 11 항에 있어서, 상기 머리부 크기 기준 데이터(5)는 상기 매핑으로부터의 보간에 기초하는, 사람 구별 시스템(1).
  13. 제 7 항 내지 제 12 항 중 어느 한 항에 따른 사람 구별 시스템(1)을 포함하는 열화상 카메라(10).
  14. 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램은 컴퓨터 또는 프로세서로 하여금 제 1 항 내지 제 6 항 중 어느 한 항에 따른 방법의 단계들을 실행하게 하도록 배열되고 컴퓨터 판독 가능한 매체 또는 반송파에 저장된 컴퓨터 프로그램 코드 수단을 포함하는, 컴퓨터 프로그램 제품.
  15. 제 14 항의 컴퓨터 프로그램 제품을 저장한 비 휘발성 컴퓨터 판독 가능한 저장 매체.
KR1020210008196A 2020-01-21 2021-01-20 이미지에서 군중 속에 있는 사람들을 구별 KR20210094493A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20152781.9 2020-01-21
EP20152781.9A EP3855347B1 (en) 2020-01-21 2020-01-21 Distinguishing human beings in a crowd in an image

Publications (1)

Publication Number Publication Date
KR20210094493A true KR20210094493A (ko) 2021-07-29

Family

ID=69185455

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210008196A KR20210094493A (ko) 2020-01-21 2021-01-20 이미지에서 군중 속에 있는 사람들을 구별

Country Status (6)

Country Link
US (1) US11568186B2 (ko)
EP (1) EP3855347B1 (ko)
JP (1) JP2021118001A (ko)
KR (1) KR20210094493A (ko)
CN (1) CN113221617A (ko)
TW (1) TW202141339A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11508140B2 (en) * 2020-10-09 2022-11-22 Sensormatic Electronics, LLC Auto-configuring a region of interest (ROI) associated with a camera
CN114092890B (zh) * 2022-01-20 2022-04-12 长沙海信智能系统研究院有限公司 区域内可容纳人数的确定方法、装置、设备及介质
CN114566224B (zh) * 2022-03-09 2023-08-11 中国人民解放军总医院 一种用于鉴别或区分不同海拔人群的模型及其应用

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9576204B2 (en) * 2015-03-24 2017-02-21 Qognify Ltd. System and method for automatic calculation of scene geometry in crowded video scenes
US20190387185A1 (en) * 2018-06-13 2019-12-19 Luminar Technologies, Inc. Thermal imager with enhanced processing
US20220101646A1 (en) * 2019-01-25 2022-03-31 Robert McDonald Whole Person Association with Face Screening

Also Published As

Publication number Publication date
EP3855347A1 (en) 2021-07-28
US11568186B2 (en) 2023-01-31
EP3855347B1 (en) 2022-06-22
TW202141339A (zh) 2021-11-01
JP2021118001A (ja) 2021-08-10
CN113221617A (zh) 2021-08-06
US20210224615A1 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
KR20210094493A (ko) 이미지에서 군중 속에 있는 사람들을 구별
JP7130368B2 (ja) 情報処理装置および情報処理システム
JP6494253B2 (ja) 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
US9171230B2 (en) Object detection method, object detection apparatus and image pickup apparatus
JP6013241B2 (ja) 人物認識装置、及び方法
US9294665B2 (en) Feature extraction apparatus, feature extraction program, and image processing apparatus
JP5106356B2 (ja) 画像監視装置
US10970823B2 (en) System and method for detecting motion anomalies in video
US9633284B2 (en) Image processing apparatus and image processing method of identifying object in image
US10489640B2 (en) Determination device and determination method of persons included in imaging data
US9704024B2 (en) Object discriminating apparatus and method
EP1703480A2 (en) System and method to determine awareness
TWI624806B (zh) 物體追蹤裝置及物體追蹤方法
JP5752976B2 (ja) 画像監視装置
JP4641902B2 (ja) 画像センサ
JP4925942B2 (ja) 画像センサ
JP6851246B2 (ja) 物体検出装置
JP2019029747A (ja) 画像監視システム
JP6053504B2 (ja) 対象検出装置
WO2022018902A1 (ja) 物体検出装置、システム、および方法
JP2008165705A (ja) 画像処理装置及び画像処理方法
JP4565738B2 (ja) 画像センサ
Musale et al. Automatic Process with Real Time Fire Detection in Close Surrounding Environment
JP5828785B2 (ja) 画像処理装置
JP2022081200A (ja) 情報処理装置、情報処理方法およびプログラム