KR100746351B1 - 기하학 정보를 이용한 실시간 높이 측정 방법 - Google Patents

Abstract

본 발명에 따르면, 카메라로부터 입력된 영상의 소실점을 찾아내는 소실점추출단계와 이 영상의 소실선을 찾아내는 소실선추출단계와 영상 속의 실제 높이인 기준 높이를 설정하는 기준높이설정단계와 영상의 노이즈를 제거하는 노이즈제거단계와 이 노이즈가 제거된 영상에서 움직임 객체를 추출하는 움직임객체추출단계와 추출된 움직임 객체의 바닥점 및 상위점을 추출하는 높이좌표점추출단계와 상기 소실선, 소실점, 기준 높이, 바닥점 및 상위점을 이용하여 움직임 객체의 높이를 계산하는 높이계산단계 및 새로운 영상 프레임(frame)을 움직임객체추출단계로 입력하는 프레임입력단계를 포함하는 것을 특징으로 하는 기하학 정보를 이용한 실시간 높이 측정 방법이 제공된다.

개시된 기하학 정보를 이용한 실시간 높이 측정 방법에 의하면, 카메라를 통하여 입력된 시퀀스 영상내의 움직임 객체를 실시간으로 추출함에 있어서 움직임 객체의 추출정확도를 현저하게 향상시킬 수 있으므로, 상기 움직임 객체의 높이를 정확하게 측정할 수 있다.

소실점, 소실선, 높이 측정, 움직임 객체, 시퀀스 영상

Description

기하학 정보를 이용한 실시간 높이 측정 방법{Real-time height measurement method using geometric information}

도 1은 본 발명의 일 실시예에 따른 기하학 정보를 사용한 실시간 높이 측정 방법을 나타낸 흐름도,

도 2는 도 1에 도시된 기하학 정보를 이용한 실시간 높이 측정 방법을 통하여 움직임 객체의 높이를 측정한 결과를 나타낸 도면이다.

본 발명은 높이 측정 방법에 관한 것으로, 보다 구체적으로는 카메라를 통하여 입력된 영상의 높이를 실시간으로 측정할 수 있는 기하학 정보를 이용한 실시간 높이 측정 방법에 관한 것이다.

일반적으로 카메라를 통하여 입력된 연속된 이미지로 이루어진 시퀀스 영상에서 소정의 두 점 사이의 거리는 달라지며, 또한 소정의 두 직선 사이의 각도도 달라진다.

그러나, 소실점 및 소실선의 기하학정보와 기준 높이를 알면 영상내의 기저 평면으로부터 소정의 높이에 있는 점 사이의 거리를 계산할 수 있다. 상기 소실점 및 소실선에는 선들의 방향성과 평면들의 방위에 대한 많은 정보가 담겨 있기 때문이다.

상기와 같은 소실점 및 소실선은 카메라와 장면 시점과의 기하학적 지식이 없어도 카메라로부터 입력된 이미지로부터 직접 계산하여 얻을 수 있다. 때때로, 소실점 및 소실선은 이미지의 바깥에 위치할 수 있으나 이러한 경우에도 소실점 및 소실선을 얻을 수 있다.

종래에는 시퀀스 영상에서 높이를 측정하기 위하여, 바닥에 검은색 테이프를 붙이고 시퀀스 영상에서 머리부분의 상위점을 사용자 입력으로 선택하고, 상위점과 수직인 테이프 위의 한 점을 기저점으로 선택하여 높이를 측정하였다.

또한, 시퀀스 영상에서 움직임 객체의 높이를 측정하기 위해서는 움직임 객체를 시퀀스 영상에서 추출하여야 하는데, 이러한 움직임 객체를 추출하기 위하여 배경을 생성하고 배경영상에서 움직임 객체가 있는 영상의 차이를 구하는 방법을 사용한다.

배경을 생성하기 위해서는 시퀀스 영상의 각 픽셀에 median filter를 사용하거나 최소 중간값 자승 추정을 사용하는 방법을 사용하게 된다. 그런데, 이러한 방법들은 일정한 시간 동안 각 픽셀의 값들을 저장하고 처리하여야 하기 때문에 실시간으로 움직임 객체를 추출할 수 없다.

따라서, 최근에는 시퀀스 영상에서 움직임 객체를 실시간으로 추출하기 위하여 프레임 사이의 차이 또는 기준영상과 입력영상과의 차이를 이용하는 방법을 사용한다. 그런데, 이와 같이 프레임 사이 또는 기준영상과 입력영상과의 차이를 구 하는 방법은 프레임들에서 발생할 수 있는 작은 의사 변화에는 유리하지만 짧은 시간간격의 프레임 사이에서는 움직임 객체의 일부분만 강조되거나 짧은 시간의 주기 동안 멈추어 있는 객체들은 추출되지 않는 경우가 발생하게 된다는 문제점이 있다.

본 발명은 상술한 문제점을 해결하기 위하여 창안된 것으로, 카메라를 통하여 입력된 시퀀스 영상내의 움직임 객체를 실시간으로 추출함에 있어서, 움직임 객체의 추출정확도를 현저하게 향상시킴으로써 상기 움직임 객체의 높이를 정확하게 측정할 수 있는 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적 및 장점들은 하기에 설명될 것이며, 본 발명의 실시예에 의해 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 청구 범위에 나타낸 수단 및 조합에 의해 실현될 수 있다.

상기의 목적을 달성하기 위한 본 발명의 기하학 정보를 이용한 실시간 높이 측정 방법은 카메라로부터 입력된 영상의 소실점을 찾아내는 소실점추출단계; 상기 영상의 소실선을 찾아내는 소실선추출단계; 상기 영상 속의 실제 높이인 기준 높이를 설정하는 기준높이설정단계; 상기 영상의 노이즈를 제거하는 노이즈제거단계; 상기 노이즈가 제거된 영상에서 움직임 객체를 추출하는 움직임객체추출단계; 추출된 상기 움직임 객체의 바닥점 및 상위점을 추출하는 높이좌표점추출단계; 상기 소실선, 소실점, 기준 높이, 바닥점 및 상위점을 이용하여 움직임 객체의 높이를 계산하는 높이계산단계; 및 새로운 영상 프레임(frame)을 상기 움직임객체추출단계로 입력하는 프레임입력단계를 포함하는 것을 특징으로 한다.

또한, 상기 노이즈제거단계는 상기 영상에서 문턱치에 의하여 움직이는 영역을 추출하고 상기 추출된 영역의 노이즈를 형태학적 침식 연산을 이용하여 제거하며, 상기 문턱치는 아래와 같은 식에 의하여 설정되는 것이 바람직하다.

여기서, M(x)는 소정시간 동안의 상기 영상의 각 픽셀 최대값이고, N(x)는 소정시간 동안의 각 픽셀의 최소값이며, D(x)는 프레임 사이의 최대 변화값이다.

게다가, 상기 움직임객체추출단계는 형태학적 열림 연산에 의하여 움직임 객체의 실루엣(silhouette) 영상을 추출하는 것이 바람직하다.

아울러, 상기 높이좌표점추출단계는 상기 추출된 실루엣 영상에 카드보드 모델(Cardboard Model)을 적용하여 상기 움직임 객체의 바닥점 및 상단점을 추출할 수 있다.

이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1은 본 발명의 일 실시예에 따른 기하학 정보를 이용한 실시간 높이 측정 방법을 나타낸 흐름도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 기하학 정보를 이용한 실시간 높이 측정 방법(100)은 소실점추출단계(S110), 소실선추출단계(S120), 기준높이설정단계(S130), 노이즈제거단계(S140), 움직임객체추출단계(S150), 높이좌표점추출단계(S160), 높이계산단계(S170) 및 프레임입력단계(S180)를 포함한다.

소실점추출단계(S110)는 카메라로부터 입력된 영상으로부터 소실점을 추출하는 단계이다. 소실점은 실세계의 평행한 선들이 무한 평면에서 교차하는 점으로, 카메라의 방향 정보를 담고 있다.

소실점은 실세계에서 서로 평행한 직선들의 벡터 곱을 통하여 계산할 수 있으므로, 사영공간에서의 두 직선의 교점으로 표현할 수 있다.

두 직선 l₁, l₂가 다음과 같이 표현될 때,

상기 두 직선 l₁, l₂의 교점, 즉 소실점은

이다.

소실선추출단계(S120)는 카메라로부터 입력된 영상으로부터 소실선을 추출하는 단계이다.

소실선은 소실점들의 집합으로, 카메라로부터 입력된 이미지에서 평행한 선들은 각각 소실선에 위치한 점들에서 교차한다. 그러므로, 상기와 같은 평행한 선들이 2개 이상이면 평면 소실선을 정의할 수 있다.

사영공간에서 두 점을 지나는 직선은 다음과 같이 벡터곱으로 나타낼 수 있다.

기준높이설정단계(S130)는 상기 영상내의 실제 높이를 설정하는 단계이다. 높이가 5m인 나무를 카메라로 촬영하였을 경우, 촬영된 영상에서는 길이가 보존되지 않으므로 상기 영상내의 나무가 실제 높이인 5m로 인식될 수 있도록 상기 영상에 기준높이를 설정하는 단계이다.

노이즈제거단계(S140)는 문턱치를 이용하여 추출된 영역의 노이즈를 형태학적 침식 연산을 이용하여 제거하는 단계이다.

여기서, 문턱치란 어떠한 자극에 대해 반응하기 시작하는 분계수치, 즉 임계치(threshold)를 뜻하며, 상기 문턱치는 아래와 같은 식에 의하여 설정되는 것이 바람직하다.

여기서, M(x)는 소정시간 동안의 상기 영상의 각 픽셀의 최대값이고, I(x)는 소정시간 동안의 상기 영상의 각 픽셀값이며, D(x)는 프레임 사이의 최대 변화값이고, N(x)는 소정시간 동안의 각 픽셀의 최소값이다.

또한, 상기 M(x), I(x), D(x) 및 N(x)의 값은 주기적으로 갱신되는 것이 바람직하다.

상기와 같이 문턱치를 이용하여 추출된 영역은 노이즈를 포함하고 있기 때문에 형태학적 침식연산을 통해 노이즈 성분을 제거하게 된다.

일반적으로 형태학적 침식 연산은 물체에 대해 배경을 확장시키고, 물체와 배경 사이의 노이즈 제거와 같이 아주 작은 물체를 제거하는데 사용된다.

로 표기되는 형태학적 침식 연산은 다음과 같이 정의된다.

여기서, f(s+x,t+y)함수는 s와 t의 음의 방향에서 움직인다. 또한,

이어야 하는 조건은 형태소 b가 원영상 f에 완전히 포함되어야 함을 의미한다.

움직임객체추출단계(S150)는 상기 노이즈가 제거된 영상에서 형태학적 열림 연산 과정을 통하여 움직임 객체의 영역을 추출하는 단계이다.

여기서, 상기 움직임 객체의 영역은 실루엣(silhouette) 이미지로 표현되는 것이 바람직하다.

높이좌표점추출단계(S160)는 상기 실루엣 이미지에 카드보드(cardboard) 모델을 적용하여 상기 실루엣 이미지의 높이에 관한 좌표점을 추출하는 단계이다.

영상내의 움직임 객체의 높이를 측정하기 위해서는 움직임 객체의 바닥점(b)과 상위점(t)의 두 좌표점을 추출하여야 한다. 따라서, b와 t의 두 좌표점을 추출하기 위하여 상기 실루엣 이미지에 카드보드 모델을 적용한다.

카드보드 모델은 사람의 형태를 표현하는 것으로, 머리부분은 추출된 영역의 높이의 1/6, 몸통부분은 2.5/6, 다리부분은 2.5/6 으로 나누어 표현하는 것을 특징으로 한다.

이를 통하여, 머리와 몸통 부분의 수직 투영이 가장 큰 좌표를 구하고, 머리 부분에서 얻어진 x좌표축을 스캔하여 얻어진 실루엣과 만나는 첫 번째 점을 상위점의 좌표로 설정한다. 그리고, 다리 부분에서는 머리와 몸통 부분의 중심좌표를 이용하여 b와 t 좌표를 구한다.

높이계산단계(S170)는 상기 소실점추출단계(S110) 및 소실선추출단계(S120)에서 추출된 소실점 및 소실선과 기준높이설정단계(S130)에서 설정된 기준 높이와 상기 바닥점(b) 및 상위점(t)을 이용하여 움직임 객체의 높이를 계산하는 단계이다.

상기 소실점 및 소실선을 이용하여 카메라로부터 입력된 영상에서 점 i를 다음과 같은 식을 사용하여 계산한다.

상기와 같은 과정으로부터 동일선상의 네 점 p, i, t, b를 구성할 수 있다. 여기서, 점 p는 수직 소실점으로서 수직 방향으로 기준 평면, 즉 지면으로부터 무한 거리의 위치에 놓이게 된다. 그리고, b는 움직임 객체의 바닥점, t는 움직임 객체의 상위점을 나타낸다.

따라서, 점 b와 점 t사이의 거리를 계산함으로써, 움직임 객체의 높이를 알 수 있는 것이다. 점 b와 점 t사이의 거리는 다음과 같은 2×2 선 대응 상동관계(line-to-line homography)에 의하여 계산할 수 있다.

여기서, x_i 는 영상의 위치, x_w는 실세계의 위치를 나타낸다.

또한, H는 2×2 선 상동관계 매트릭스(homography matrix)로서, 다음과 같이 나타낼 수 있다.

여기서, d(a,b)는 a와 b사이의 거리를 나타낸다.

또한, 상기와 같은 계산에 의하여 추출된 영역의 높이는 2-벡터 S의 구성 요소인 s₁ 및 s₂ 에 의하여 높이를 계산할 수 있다.

여기서,

이다.

프레임입력단계(S180) 시퀀스 영상에서 새로운 프레임, 즉 다음프레임을 상 기 노이즈제거단계(S140)로 입력하는 단계이다. 이와 같이 하나의 프레임이 처리되고 다음 프레임이 다시 입력되는 과정이 반복됨으로써, 시퀀스 영상을 실시간으로 처리하여 움직임 객체의 높이를 측정할 수 있는 것이다.

도 2는 도 1에 도시된 기하학 정보를 이용한 실시간 높이 측정 방법을 통하여 움직임 객체의 높이를 측정한 결과를 나타낸 도면이다.

상기 기하학 정보를 이용한 실시간 높이 측정 방법(100)은 IBM PC Pentium Ⅲ 850㎒ 에서 Visual C++ 6.0으로 구현하였으며, 사용된 카메라는 [i]dom Computer PC-Camera이다. 또한, 상기 카메라에 의하여 입력된 영상은 320×240 픽셀의 RGB 컬러 영상이며, 키가 174㎝인 사람을 대상으로 높이를 측정하였다.

도 2를 참조하면 본 발명의 일 실시예에 따른 기하학 정보를 이용한 실시간 높이 측정 방법(100)은 상기와 같은 조건에서 ±11.4㎝ 의 평균오차를 갖고 움직임 객체의 높이를 측정할 수 있음을 알 수 있다.

이상과 같이, 본 발명은 비록 한정된 실시예에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 특허청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

본 발명의 기하학 정보를 이용한 실시간 높이 측정 방법에 따르면, 카메라를 통하여 입력된 시퀀스 영상내의 움직임 객체를 실시간으로 추출함에 있어서 움직임 객체의 추출정확도를 현저하게 향상시킬 수 있으므로, 상기 움직임 객체의 높이를 정확하게 측정할 수 있게 된다.

Claims (4)

1. 카메라로부터 입력된 영상의 소실점을 찾아내는 소실점추출단계;

   상기 영상의 소실선을 찾아내는 소실선추출단계;

   상기 영상 속의 실제 높이인 기준 높이를 설정하는 기준높이설정단계;

   상기 영상의 노이즈를 제거하는 노이즈제거단계;

   상기 노이즈가 제거된 영상에서 움직임 객체를 추출하는 움직임객체추출단계;

   추출된 상기 움직임 객체의 바닥점 및 상위점을 추출하는 높이좌표점추출단계;

   상기 소실선, 소실점, 기준 높이, 바닥점 및 상위점을 이용하여 움직임 객체의 높이를 계산하는 높이계산단계; 및

   새로운 영상 프레임(frame)을 상기 움직임객체추출단계로 입력하는 프레임입력단계를 포함하는 것을 특징으로 하는 기하학 정보를 이용한 실시간 높이 측정 방법.
2. 제 1 항에 있어서, 상기 노이즈제거단계는,

   상기 영상에서 문턱치에 의하여 움직이는 영역을 추출하고 상기 추출된 영역의 노이즈를 형태학적 침식 연산을 이용하여 제거하며,

   상기 문턱치는 아래와 같은 식에 의하여 설정되는 것을 특징으로 하는 기하 학 정보를 이용한 실시간 높이 측정 방법.

   

   여기서, M(x)는 소정시간 동안의 상기 영상의 각 픽셀의 최대값이고, I(x)는 소정시간 동안의 상기 영상의 각 픽셀값이며, D(x)는 프레임 사이의 최대 변화값이고, N(x)는 소정시간 동안의 각 픽셀의 최소값이다.
3. 제 2 항에 있어서, 상기 움직임객체추출단계는,

   형태학적 열림 연산에 의하여 움직임 객체의 실루엣(silhouette) 영상을 추출하는 것을 특징으로 하는 기하학 정보를 이용한 실시간 높이 측정 방법.
4. 제 3 항에 있어서, 상기 높이좌표점추출단계는,

   상기 추출된 실루엣 영상에 카드보드 모델(Cardboard Model)을 적용하여 상기 움직임 객체의 바닥점 및 상단점을 추출하는 것을 특징으로 하는 기하학 정보를 이용한 실시간 높이 측정 방법.

Images