KR100965129B1 - 보행자 검지 및 보행밀도 계산방법 - Google Patents

Abstract

본 발명에 따른 보행자 검지 및 보행밀도 계산방법은 연속된 에지영상들에서 모든 이동물체를 검출하고, 각 이동물체 및 그 주변을 포함하는 다수의 관심영역을 추출하는 단계와, 상기 추출된 각 관심영역의 영상좌표계를 기준좌표계로 변환하는 단계와, 상기 기준좌표계로 변환된 관심영역에 대해서 머리, 상반신, 전신을 검지하여 보행자를 검지하는 단계와, 상기 검지된 보행자의 발의 위치에 해당하는 실제좌표계의 좌표를 추정하는 단계 및 상기 추정된 발의 위치에 해당하는 실제좌표계의 좌표로부터 단위 공간 내에 서 있는 보행자의 수를 계산하여 보행자 밀도를 구하는 단계를 포함한다. 따라서, 보행자들이 군집을 이뤄 겹쳐지는 상황과 다양한 각도에서의 보여지는 물체에 있어서, 이동물체를 찾고 이에 대한 영상좌표계를 기준좌표계로 변환함으로써 일관된 영상을 취득하고, 이로부터 개별 보행자의 위치를 찾아내며, 찾아낸 위치를 실제 공간상에 맵핑함으로써 보행자의 밀도를 구할 수 있다.

보행자, 위치, 검지, 보행밀도

Description

보행자 검지 및 보행밀도 계산방법{Method for identifying pedestrians and computing density of pedestrians}

본 발명은 보행자 검지 및 보행밀도 계산방법에 관한 것이다.

일반적으로 카메라를 통하여 보이는 보행자의 모습은 그 행위에 따라 시시각각 그 형태가 변하고, 카메라 설치 위치에 따라 같은 사람을 관찰할 경우에도 매우 다양하게 취득될 수 있다. 특히 넓은 보안시스템 등에서 사용되는 넓은 시야각으로 볼 경우 물체의 원근과 위치에 따라 취득되는 영상의 정보는 매우 다양함으로 일반적인 방법으로 취득된 영상 속의 물체가 사람임을 판단하는 것은 매우 어려우며 또한, 보행자의 개체 수가 많고 영상 상에서 서로 겹침이 발생하는 경우엔 보행자의 위치 판단 및 밀도 연산에 어려움이 있다.

본 발명은 보행자를 촬영한 영상을 이용하여 보행자를 찾아내고 그 위치를 계산하여 공간상에서 보행자들의 위치 및 밀도를 연산하는 방법을 제공하는 데 그 목적이 있다.

본 발명에 따른 보행자 검지 및 보행밀도 계산방법은 연속된 에지영상들에서 모든 이동물체를 검출하고, 각 이동물체 및 그 주변을 포함하는 다수의 관심영역을 추출하는 단계와, 상기 추출된 각 관심영역의 영상좌표계를 기준좌표계로 변환하는 단계와, 상기 기준좌표계로 변환된 관심영역에 대해서 머리, 상반신, 전신을 검지하여 보행자를 검지하는 단계와, 상기 검지된 보행자의 발의 위치에 해당하는 실제좌표계의 좌표를 추정하는 단계 및 상기 추정된 발의 위치에 해당하는 실제좌표계의 좌표로부터 단위 공간 내에 서 있는 보행자의 수를 계산하여 보행자 밀도를 구하는 단계를 포함한다.
이때, 상기 보행자의 발의 위치에 해당하는 실제좌표계의 좌표를 추정하는 단계는, 보행자의 전신이 검지된 경우에는 검지된 보행자의 발이라고 추정되는 해당 관심영역의 영상좌표계에서의 최하단의 좌표를 실제좌표계로 변환하였을때의 좌표를 실제좌표계의 발의 좌표로 추정하며, 보행자의 상반신 및 머리만 검지된 경우에는 검지된 보행자의 머리라고 추정되는 해당 관심영역의 영상좌표계에서의 최상단의 좌표에서 높이 부분을 평균신장만큼 뺀 좌표를 실제좌표계로 변환하였을때의 좌표를 실제좌표계의 발의 좌표로 추정하는 것임을 특징으로 한다.

삭제

또한, 상기 이동물체 검출 및 관심영역 추출 단계는, 연속하는 3개의 에지영상에서 각각 이웃하는 에지영상 차의 절대값을 구하고, 두 절대값의 논리적 곱(AND)을 구하여 이동물체의 에지들을 구하는 단계와, 상기 구해진 이동물체의 에지들을 라벨링(labeling)하여 각 이동물체를 분류하고, 분류된 각 이동물체별로 그 주변을 포함한 관심영역을 추출하는 단계를 포함하고, 상기 관심영역의 영상좌표계를 기준좌표계로 변환하는 단계는, 상기 관심영역 내의 이동물체의 중심을 구하는 단계와, 상기 이동물체의 중심을 기준좌표계의 중심으로 두고 관심영역에 포함되는 영상좌표들을 구하는 단계 및 상기 구해진 영상좌표들을 이용하여 기준좌표계로 변환된 영상을 구하는 단계를 포함한다.

본 발명은 보행자들이 군집을 이뤄 겹쳐지는 상황과 다양한 각도에서의 보여지는 물체에 있어서, 이동물체를 찾고 이에 대한 영상좌표계를 기준좌표계로 변환함으로써 일관된 영상을 취득하고, 이로부터 개별 보행자의 위치를 찾아내며, 찾아낸 위치를 실제 공간상에 맵핑함으로써 보행자의 밀도를 구할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 보행자 검지 및 보행밀도 계산 방법에 관하여 상세히 설명한다.

도 1은 본 발명의 실시 예에 따른 보행자 검지 및 보행밀도 계산방법을 나타내는 순서도이다.

실제 존재하는 특정위치가 카메라상에 투영되어 보여질 때 이 둘 사이에 상 관관계를 규명하는 것을 카메라 켈리브레이션이라하고, 산술적인 방법을 통해 이들의 정방향, 역방향 관계식을 유도할 수 있다.

즉, 도 2에 도시한 바와 같이 실제좌표계 {R}에 존재하는 한 점 P = {X₀, Y₀, Z₀}와, 카메라를 통해 비춰지는 영상좌표계 {C}의 한 점 p = {x₀, y₀, z₀} 사이의 상관관계를 규명하는 것을 카메라 켈리브레이션이라고 한다. 이상적인 카메라의 경우 전체 기하학적 모델은 다음과 같이 표현된다.

여기서 롤(Roll), 피치(Pitch), 요(yaw) 앵글(angle)을 사용할 경우,

,

이며, 행렬식 형태로 다음과 같이 표현된다.

여기서, 초점거리

는 알려져 있고, 여기에서 1로 일반화할 수 있으면, 이 모델은 표준 프로젝션(projection)

를 따르는 유클리디안 변환(euclidean transformation) g로 간단하게 정리할 수 있다. 즉,

(1)

결과적으로 3×4 차원을 갖는

행렬 및 4×4 차원을 갖는 g행렬의 해를 구하는 것이 카메라 켈리브레이션 문제이다. 이를 위한 여러 방법들이 연구되고 있으며, 체크 같은 특정 모양의 지그를 사용하는 것이 일반적인 방법이다.

본 발명에서 요구되는 높이 정보에 따른 실제좌표 계산 및 카메라 회전에 따른 켈리브레이션 정보 보정을 위해서는 앞서 명시한 켈리브레이션 매트릭스의 엘리먼트의 값 뿐 만이 아니라 이 엘리먼트의 요소인 실제 카메라 파라미터 정보 즉, 회전각도

와 설치위치

및 포커스 거리

와 화소크기

를 알 필요가 있다.

본 발명에서 도 3에 도시한 바와 같이 실제좌표계 {R}에의 바닥면 (Z=0)에 존재하는 크기를 아는 임의의 직사각형 4개의 꼭지점 P₁, P₂, P₃, P₄ 가 영상좌표계 {C}안에서 관찰되었을 경우 수리적인 방법으로 해를 구해 사용한다. 상기 식(1)에서 Z₀ = 0이라고 가정하면

행렬은 2×2로 간략화 될 수 있으며, 이를

라고 한다면, 각 꼭지점의 실제와 영상사이의 관계는 다음과 같이 표현할 수 있다. 즉,

(2)

(3)

(4)

(5)

이때, 상기 식(2) ~ 식(5)의 연립방정식의 해를 구해야하며, 이때 행렬의 엘리먼트를 구하는 선형방적식의 해는 쉽게 구할 수 있겠지만, 우리가 원하는 카메라 파라미터를 얻기 위해서는 각 파라미터를 대입하여 비선형 방정식을 구해야 하며, 이 경우 산술적인 방법으로는 그 해를 구하기 매우 어렵기 때문에 수리적인 방법을 사용한다. 또한, 비선형 다원 고차 방정식의 해를 구하기 위한 일반적이고 강건한 방법은 뉴튼(Newton) 방법이 있지만, 상기 경우와 같은 복잡한 비선형 방정식에는 지역 최적값(local-minima)에 빠지는 경우가 다수 발생하므로, 전역 수렵이 가능한 브로이든(Broyden) 방법을 사용하는 것이 바람직하다.

상기 수식에 의해 카메라 파라미터가 구해지면 임의의 실제좌표계 {R}에 대한 값에 대해서 영상좌표계 {C}에 나타나는 값을 식(1)로 구할 수 있게 된다. 반대로 영상에 보여지는 좌표를 이용하여 실제 좌표를 계산하기 위해서는 식(1)의 역함수를 구한다. 그러나, 영상좌표계의 변수는 2개이고, 실제좌표계의 변수는 3개로 단일 해가 구해지지 않고 무한히 많은 해가 존재하게 되고, 참고로 이때 두 개의 다른 카메라로 각각의 영상좌표를 구해 해를 구하는 것이 스테레오 비젼이다. 하지만 본 발명에서 사용하는 단일 카메라에서 사용하기 위해 높이를 또 하나의 변수로 입력하고 해를 구하면 다음과 같이 나타낼 수 있다. 즉,

(6)

따라서, 식(1)로부터 임의의 실제 좌표로부터 맵핑(mapping)되는 카메라 좌표와 식(6)으로부터 카메라에 보이는 한 점이 특정 높이일 경우의 실제좌표를 구할 수 있다.

도 1에 도시한 바와 같이, 본 발명에 따른 보행자 검지 및 보행밀도 계산방법은 연속된 에지영상들에서 모든 이동물체를 검출하고(S101), 각 이동물체 및 그 주변을 포함하는 다수의 관심 영역을 추출한다(S103). 이동하는 물체를 검출하기 위해 배경영상을 사용하는 방법은 카메라의 이용이나 광량의 변화가 있을 경우 심한 오차를 발생함으로 배제하고, 본 발명에서는 연속하는 3개의 에지영상에서 각각 이웃하는 에지영상 차의 절대값을 구하고, 두 절대값 사이의 논리적 곱(AND)을 구하면 움직이는 물체만의 에지를 구할 수 있다. 이를 수식으로 나타내면 아래와 같다. 즉,

여기서

는 발견된 움직이는 물체가 포함된 영상이며,

는 시간 t에서의 에지영상이다. 상기와 같은 방법으로 구해진 이동물체의 에지 영상

를 라벨링(labeling)을 통해 각 이동물체를 분류하고, 분류된 각 이동물체별로 그 주변을 포함하여 관심영역(Region Of Interesting:ROI)으로 정의한다.

이후, 도 4에 도시한 바와 같이 추출한 관심영역을 기준좌표계로 변환하는데(S105), 그 방법은 도 5에 도시된 바와 같다. 즉, 추출한 관심영역 내부에 있는 이동물체의 중심

을 구하고, 구해진 이동물체의 중심

을 기준좌표계의 중심으로 둔다.

로 둔 상태에서

을 변화시키면서, 상기 식(1)에 대입하여 영상좌표들을 구하고, 구해진 영상좌표들을 이용하여 기준좌표계로 변환된 영상을 구한다. 이때 기준좌표계로 변환되는 영상좌표들을 별도의 배열에 저장해 둠으로써 추후 물체의 실제 위치 계산에 사용한다.

본 발명에 따른 보행자 검지 방법은 기준좌표계에 대한 사람의 머리, 상반신, 전신의 영상을 학습하고, 입력 영상의 관심영역을 기준좌표계로 변환한 후(S105), 기준좌표계로 변환된 관심영역에 대해 유사 특징(Haar-like feature) 및 에이다부스트(AdaBoost) 알고리즘을 이용하여 머리, 상반신, 전신에 대해서 검지한다(S109, S111, S113). 검지된 결과에서 다음의 세 가지 경우에만 사람이라고 판단한다.

즉, 도 6에 도시한 바와 같이, 머리 영역을 P_h, 상반신 영역을 P_u, 전신 영역을 P_w로 나타내면, 사람의 머리, 상반신, 전신이 검지된 경우에는

를 만족할 때 사람이라고 판단하고, 사람의 머리와 상반신이 검지된 경우에는

를 만족할 때 사람이라고 판단하며 사람의 머리가 검지된 경우에는 사람이라고 판단한다.

상기와 같이 보행자가 검지된 이후 보행자의 위치를 연산하고(S115), 단위공간당 보행자의 밀도를 연산한다(S117). 이때 보행자의 위치 연산 방법은 보행자의 전신이 검지되었을 경우에는 검지된 사람의 발이라 예상되는 최하단의 좌표에 대한 영상좌표 즉, 관심영역을 기준좌표계로 변화할 때 저장해둔 영상좌표값을 찾고, 이 영상좌표로부터 식(6)에서 높이 Z₀ = 0으로 두고 실제좌표계 상의 X, Y 좌표를 구하여 이 좌표를 보행자의 실제좌표계의 발의 좌표로 추정한다.

또한, 보행자의 상반신 또는 머리만 검지된 경우에는 사람의 머리로 예상되는 최상단의 좌표에 대한 영상좌표값을 찾고, 이 영상좌표값이 평균 신장 높이가 되는 좌표를 구한다. 즉, 식(6)에서 높이 Z₀ = 167cm (한국인 평균신장이 남 = 173cm, 여 = 161cm라고 할 때) 일 때의 실제좌표계 상의 X, Y 좌표를 구하고, 이 좌표를 보행자의 실제좌표계의 발의 좌표로 추정한다. 이후, 상기에서 얻어진 실제 좌표들을 실제공간을 단위공간으로 분할한 배열에 누적하면, 누적 수로부터 단위공간상의 보행자 밀도를 구할 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위 에 포함되는 것으로 해석되어야 할 것이다.

도 1은 본 발명의 실시 예에 따른 보행자 검지 및 보행밀도 계산방법을 나타내는 순서도이다.

도 2는 실제좌표계에 존재하는 하나의 특정 위치가 카메라를 통해 투영된 영상좌표계를 나타내는 도면이다.

도 3은 실제좌표계에 존재하는 다수의 특정 위치가 카메라를 통해 투영된 영상좌표계를 나타내는 도면이다.

도 4는 본 발명의 실시 예에 따라 추출한 관심영역을 기준좌표계로 변환한 영상을 나타내는 도면이다.

도 5는 본 발명의 실시 예에 따른 보행자 검지 방법을 나타내는 도면이다.

도 6은 본 발명의 실시 예에 따른 보행자 검지 방법을 이용하여 검지된 결과 영상을 나타내는 도면이다.

Claims (5)

1. 연속된 에지영상들에서 모든 이동물체를 검출하고, 각 이동물체 및 그 주변을 포함하는 다수의 관심영역을 추출하는 단계와,

   상기 추출된 각 관심영역의 영상좌표계를 기준좌표계로 변환하는 단계와,

   상기 기준좌표계로 변환된 관심영역에 대해서 머리, 상반신, 전신을 검지하여 보행자를 검지하는 단계와,

   상기 검지된 보행자의 발의 위치에 해당하는 실제좌표계의 좌표를 추정하는 단계 및

   상기 추정된 발의 위치에 해당하는 실제좌표계의 좌표로부터 단위 공간 내에 서 있는 보행자의 수를 계산하여 보행자 밀도를 구하는 단계

   를 포함하는 보행자 검지 및 보행밀도 계산방법.
2. 삭제
3. 제1항에 있어서, 상기 보행자의 발의 위치에 해당하는 실제좌표계의 좌표를 추정하는 단계는,

   보행자의 전신이 검지된 경우에는 검지된 보행자의 발이라고 추정되는 해당 관심영역의 영상좌표계에서의 최하단의 좌표를 실제좌표계로 변환하였을때의 좌표를 실제좌표계의 발의 좌표로 추정하며,

   보행자의 상반신 및 머리만 검지된 경우에는 검지된 보행자의 머리라고 추정되는 해당 관심영역의 영상좌표계에서의 최상단의 좌표에서 높이 부분을 평균신장만큼 뺀 좌표를 실제좌표계로 변환하였을때의 좌표를 실제좌표계의 발의 좌표로 추정하는 것임을 특징으로 하는 보행자 검지 및 보행밀도 계산방법.
4. 제1항에 있어서, 상기 이동물체 검출 및 관심영역 추출 단계는,

   연속하는 3개의 에지영상에서 각각 이웃하는 에지영상 차의 절대값을 구하고, 두 절대값의 논리적 곱(AND)을 구하여 이동물체의 에지들을 구하는 단계와,

   상기 구해진 이동물체의 에지들을 라벨링(labeling)하여 각 이동물체를 분류하고, 분류된 각 이동물체별로 그 주변을 포함한 관심영역을 추출하는 단계

   를 포함하는 보행자 검지 및 보행밀도 계산방법.
5. 제1항에 있어서, 관심영역의 영상좌표계를 기준좌표계로 변환하는 단계는,

   상기 관심영역 내의 이동물체의 중심을 구하는 단계와,

   상기 이동물체의 중심을 기준좌표계의 중심으로 두고 관심영역에 포함되는 영상좌표들을 구하는 단계 및

   상기 구해진 영상좌표들을 이용하여 기준좌표계로 변환된 영상을 구하는 단계

   를 포함하는 보행자 검지 및 보행밀도 계산방법.

Images