KR100691348B1 - 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적추적방법 및 그 시스템 - Google Patents

팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적추적방법 및 그 시스템 Download PDF

Info

Publication number
KR100691348B1
KR100691348B1 KR1020050127243A KR20050127243A KR100691348B1 KR 100691348 B1 KR100691348 B1 KR 100691348B1 KR 1020050127243 A KR1020050127243 A KR 1020050127243A KR 20050127243 A KR20050127243 A KR 20050127243A KR 100691348 B1 KR100691348 B1 KR 100691348B1
Authority
KR
South Korea
Prior art keywords
target
pan
tilt
face
control
Prior art date
Application number
KR1020050127243A
Other languages
English (en)
Inventor
고정환
Original Assignee
고정환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고정환 filed Critical 고정환
Priority to KR1020050127243A priority Critical patent/KR100691348B1/ko
Application granted granted Critical
Publication of KR100691348B1 publication Critical patent/KR100691348B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적방법을 제공하기 위한 것으로, 팬/틸트가 탑제된 스테레오 카메라를 이용하여 이동중인 표적의 얼굴성분만을 검출하는 표적얼굴 검출단계와; 상기 표적얼굴 검출단계에서 검출된 표적얼굴의 중심좌표를 결정하는 표적얼굴 중심좌표 결정단계와; 상기 표적이 카메라 시야에 중앙에 놓이게 하기 위해 상기 표적얼굴 중심좌표에 카메라의 광축이 일치하도록 Kanatani 영상정보 알고리즘을 이용하여 팬/틸트의 제어각도를 산출하여 상기 팬/틸트를 작동시키는 팬/틸트의 각도 제어단계와; 상기 팬/틸트 제어단계에서 산출된 제어각도를 이용하여 표적의 위치를 파악하여 표적의 위치를 3차원 좌표계상에 나타내는 표적위치 표시단계와; 상기 표적얼굴의 중심좌표가 이동함에 따라 상기 팬/틸트 각도 제어단계와 표적위치 표시단계를 반복 수행하여 나타내어지는 표적위치를 모티터링 하는 표적위치 모니터링 단계를 포함하여 수행된다.
스테레오, 카메라, 팬, 틸트, 영상, 표적

Description

팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적방법 및 그 시스템{Method for Tracking Moving Target with Using Stereo Camera Based On Pan/tilt Contol And System implementing thereof}
도 1은 본 발명의 일실시예에 의한 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적 시스템의 블록도,
도 2는 발명의 일실시예에 의한 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적방법의 흐름도,
도 3은 본 발명의 일실시예에 의한 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적방법에서 팬/틸트의 제어각도 산출과정의 이해를 돕기 위해 같은 렌즈 중심을 가진 두 영상평면 위에 맺힌 3차원 공간상의 점을 나타내는 개념도,
도 4는 본 발명의 일실시예에 의한 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적방법에서 표적의 키 높이 추정과정의 이해를 돕기 위한 표적 영상의 3차원 구면 좌표계를 나타내는 개념도,
도 5는 표적의 키 높이 과정을 나타내는 개념도,
도 6은 본 발명을 구현하는 바람직한 실험예를 나타내는 실험 시스템도,
도 7은 도 6의 도시된 시스템을 이용하여 실험하는 경우의 팬/틸트 제어과정 을 나타내는 개념도,
도 8은 도 6에 도시된 시스템을 사용하여 실험한 경우에 실험에 사용된 80프레임 중 4프레임의 스테레오 입력영상 샘플을 나타내는 사진도,
도 9는 도 8의 사진도에서 주시각이 제어된 상태를 나타내는 사진도,
도 10은 도 6에 도시된 시스템을 이용하여 실험한 경우에, 실험에 참여한 세사람의 추정된 신체크기를 나타내는 그래프,
도 11은 도 6에 도시된 시스템을 이용하여 실험한 경우에, 실험에 참여한 세사람의 추정된 신체크기와 실제 신체크기와의 오차를 나타내는 그래프,
도 12는 도 6에 도시된 시스템을 이용하여 실험한 경우에, 이동중인 표적의 추정된 이동궤적을 나타내는 개념도,
도 13은 이동중인 표적의 이동궤적의 실제 측정치와 계산치를 비교한 것을 나타내는 그래프이다.
* 도면의 주요 부분에 대한 부호의 설명 *
C1, C2: 카메라 T: 표적
10: 영상입력부 20: 중심좌표 검출부
30: 팬/틸트 각도 제어부 40: 3차원 좌표게 추출부
50: 키 높이 추정부 60: 표시부
본 발명은 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적방법 및 그 시스템에 관한 것으로, 특히 팬/틸트 탑재형 스테레오 카메라의 능동적인 제어를 통해 표적의 다양한 변화에 관계없이 표적의 거리정보 및 3차원적 이동 정보를 실시간적으로 검출함으로써 표적의 적응적 추적이 가능한 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적방법 및 그 시스템에 관한 것이다.
또한, 본 발명은 이동표적의 위치를 3차원 좌표계로 변환하여 표적의 키 높이를 추정할 수 있는 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적방법 및 그 시스템에 관한 것이다.
최근, 세계각지에서 발생하고 있는 일련의 테러사건들 이후, 공공 건물에 대한 보안감시 요구가 증대되고 있으며, 사회가 발전함에 따라 범죄의 유형도 지능화되고 다양화되는 경향을 보이고 있어 기존의 아날로그 CCTV 감시 시스템을 대체할 수 있는 최첨단 영상처리 기술을 이용한 보안감시 시스템의 요구가 증대되고 있다.
또한, 감시 카메라로부터 획득된 비디오 영상의 분석을 통해 표적 대상인의 얼굴 인식과 보다 정확한 형체 정보의 검출을 통한 표적의 실시간 감시 및 모니터링 기술은 날로 증가하고 있는 범죄와 사건을 해결하기 위한 실마리를 제공해 줄 수 있으며, 이미 널리 설치되어 있는 감시용 CCD 카메라에 보다 지능적인 인식 모듈의 추가로 가능하다는 점에서 활발한 연구가 진행되고 있다.
일반적으로 보안감시 시스템은 건물 내, 외곽으로 출입하는 표적에 대한 인증과 확인을 요구하는 표적 인식기술 및 표적의 돌발적인 행동을 감시하기 위한 추적 기술, 그리고 표적으로 지목된 사람의 사건 발생 이후의 상황을 재해석하는 모 니터링 기술 등 다양한 형태로 발전되고 있다. 이러한 보안감시 기술 중, 사건 발생 직후 감시 카메라를 통해 녹화된 자료를 이용한 정확한 상황파악 및 근거자료 확보와 개인의 인상착의 및 이동 경로를 파악하는 일은 사건을 해결하기 위한 실마리를 제공해 줄 수 있는 중요한 단서로 작용하고 있다.
그러나 이러한 보안감시 시스템이 설치되어 있는 공간 안에서는 표적으로 지목된 용의자의 행동이 예측하기 힘든 돌발적인 상황으로 변할 수 있고, 더욱이 카메라 시야에서 멀어질 경우, 혹은 얼굴 안면이 은폐된 상황이라면 용의자의 얼굴 인식은 더욱 어려운 문제로 야기될 수 있다.
한편, 기존의 단안식 감시 카메라에 기반하여 개발된 대부분의 비젼 알고리듬은 같은 시야의 카메라를 통해 입력되는 연속적인 영상들의 비교분석만을 통하기 때문에 표적의 자세, 회전, 크기, 그리고 조망 방향 변화 등에 능동적으로 대처하는데 많은 어려움이 있으며, 시스템의 강건성 및 감시범위의 제한 등의 문제점이 나타나게 된다.
또한, 표적으로 지목된 용의자의 전체 모습이 카메라 시야에 들어오지 않을 경우, 얼굴 인식에서 좀 더 포괄적인 외형적인 신체 모습을 추정하는 데에는 많은 어려움이 존재하게 된다.
이에 본 발명은 상기와 같은 종래의 제반 문제점을 해결하기 위해 제안된 것으로, 본 발명의 목적은 팬/틸트가 탑제된 스테레오 카메라를 이용하여 표적 대상을 정확히 감시 추적하여 오작동 및 사각지대(occlusion region)의 발생을 방지함 은 물론, 침입위치 및 이동경로에 대한 원격 모니터링을 구현할 수 있는 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적방법 및 그 시스템을 제공하는데 있다.
또한, 본 발명은 팬/틸트가 탑제된 스테레오 카메라 기반의 표적 높이 추정 기법을 제공하는데 또다른 목적이 있다.
본 발명에 따른 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적방법은 팬/틸트가 탑제된 스테레오 카메라를 이용하여 이동중인 표적의 얼굴성분만을 검출하는 표적얼굴 검출단계와; 상기 표적얼굴 검출단계에서 검출된 표적얼굴의 중심좌표를 결정하는 표적얼굴 중심좌표 결정단계와; 상기 표적이 카메라 시야에 중앙에 놓이게 하기 위해 상기 표적얼굴 중심좌표에 카메라의 광축이 일치하도록 Kanatani 영상정보 알고리즘을 이용하여 팬/틸트의 제어각도를 산출하여 상기 팬/틸트를 작동시키는 팬/틸트의 각도 제어단계와; 상기 팬/틸트 제어단계에서 산출된 제어각도를 이용하여 표적의 위치를 파악하여 표적의 위치를 3차원 좌표계상에 나타내는 표적위치 표시단계와; 상기 표적얼굴의 중심좌표가 이동함에 따라 상기 팬/틸트 각도 제어단계와 표적위치 표시단계를 반복 수행하여 나타내어지는 표적위치를 모티터링 하는 표적위치 모니터링 단계를 포함하여 수행된다.
상기 표적얼굴 검출단계는 YCbCr 체계의 칼라 모델을 이용하여 피부색을 감지하고, 영상 차분필터를 이용하여 영상간의 공통된 움직임을 검출하여 표적얼굴을 검출하는 것이 바람직하다.
또한, 상기 표적얼굴 검출단계는 이동중인 표적의 얼굴성분을 토대로 잡음영역을 제거하기 위해 모폴로지 오프닝(morphological opening) 연산을 수행하고, 4-연결도를 사용한 순차 연결성분 알고리즘(Sequential Connected Components Algorithm Using 4-connectivity)과 사이즈 필터링(size filtering)을 통해 각 영역별 픽셀의 평균값을 구하여 최대의 평균값을 갖는 영역부터 차례로 얼굴 후보영역으로 검출할 대상 영역을 제한함으로써 최종적인 표적의 얼굴 영역만을 검출하는 방법을 사용할 수 있다.
그리고 상기 표적얼굴 중심좌표 검출단계는 일측 카메라로 촬영되는 영상은 무게 중심법을 이용하고, 타측 카메라로 촬영되는 영상은 위상형 상관기법을 사용하여 표적얼굴의 중심좌표를 결정하는 방법을 취하여 수행하는 것이 바람직하다.
한편, 본 발명에 의한 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적방법은 상기 표적위치 표시단계에서 산출된 좌표계의 좌표를 이용하여 하기에 식에 의하여 표적의 키 높이를 추정하는 이동표적의 키 높이 추정단계를 더 포함하여 수행하는 것이 바람직하다.
Mh=(Ph+Dh)-z+fh
(Mh: 표적의 키 높이, Ph: 팬/틸트의 높이, Dh:팬/틸트를 올려놓은 단상높이 fh: 표적의 머리끝에서 코까지의 길이 z: 3차원 좌표계의 z좌표(팬/틸트를 올려놓은 단상의 최하단의 z좌표가 0이된다.) )
또한, 본 발명에 따른 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표 적 추적 시스템은 팬/틸트가 탑제된 카메라를 적어도 2대 이상 구비하여 이동표적의 얼굴부분만을 감지하여 스테레오 영상이 입력되는 영상입력부와; 상기 영상입력부로부터 입력된 이동표적의 얼굴부분의 중심좌표를 검출하는 중심좌표 검출부와; 상기 중심좌표 검출부에서 검출된 중심좌표를 이용하여 팬/틸트의 제어각도를 산출하여 제어하는 팬/틸트 각도 제어부와; 상기 팬/필트 각도 제어부에서 제어된 제어각도에 따라 표적얼굴 중심좌표의 위치를 3차원 좌표계로 변화하여 위치를 표시하는 3차원 좌표계 추출부와; 상기 표적얼굴의 중심좌표가 이동함에 따라 팬/틸트 각도 제어부와 3차원 좌표계 추출부가 반복적으로 팬/틸트의 각도를 제어하고, 표적얼굴의 중심좌표의 위치를 표시하여 모니터링 하는 표시부를 포함하여 구성된다.
그리고 본 발명에 따른 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적 시스템은 상기 3차원 좌표계 추출부에서 추출된 좌표를 이용하여 하기의 식에 의해 표적의 키 높이를 추정하는 키 높이 추정부를 더 포함하여 구성하는 것이 바람직하다.
Mh=(Ph+Dh)-z+fh
(Mh: 표적의 키 높이, Ph: 팬/틸트의 높이, Dh:팬/틸트를 올려놓은 단상높이 fh: 표적의 머리끝에서 코까지의 길이 z: 3차원 좌표계의 z좌표(팬/틸트를 올려놓은 단상의 최하단의 z좌표가 0이된다.) )
이하, 상기와 같은 본 발명, 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적 시스템의 기술적 사상에 따른 일실시예를 도면을 참조하여 설명하면 다음과 같다.
도 1은 본 발명의 일실시예에 의한 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적 시스템의 블록도이다.
이에 도시된 바와 같이, 이동하는 표적(T)을 감시하기 위한 카메라(C1, C2)가 좌, 우 양측에 구비되어 상기 카메라들(C1, C2)에 의해 이동하는 표적의 얼굴부분만을 감지하여 촬영한 스테레오 영상이 영상입력부(10)에 입력된다. 그리고 중심좌표 검출부(20)에서는 상기 영상입력부(10)에 입력된 표적얼굴의 중심좌표를 검출한다. 검출된 중심좌표를 이용하여 팬/틸트 각도 제어부(30)에서 팬/틸트의 주시각을 제어하게 된다. 또한, 3차원 좌표계 추출부(40)에서 상기 제어각도를 이용하여 표적(T)의 위치를 3차원 좌표로 나타낸다. 또한, 키 높이 추정부(50)에서는 상기 3차원 좌표계 추출부(40)에서 추출된 3차원 좌표의 z값을 이용하여 표적(T)의 키 높이를 추정한다. 그리고 표시부(60)에서는 상기 표적(T)이 이동하면 팬/틸트 각도 제어부(30)와 3차원 좌표계 추출부(40) 팬/틸트 각도 제어와 3차원 좌표계 표시를 반복적으로 수행하여 모니터링 한다.
이하는 상기와 같은 시스템이 작동되는 원리에 대해 본 발명의 일실시예인 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적방법을 토대로 보다 상세하게 설명하도록 하겠다.
도 2는 발명의 일실시예에 의한 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적방법의 흐름도로 크게 2단계로 이루어진다.
도시된 바와 같이, 제 1 단계(S10)에서는 실시간으로 입력되는 스테레오 입 력영상 중 좌영상으로부터 YCbCr 칼라 모델과 영상 차분필터를 이용하여 이동중인 표적의 얼굴 성분만을 검출한 뒤, 기준영상으로 갱신된 좌영상과 우영상간에 위상형 상관 기법을 이용하여 우측 카메라로부터 입력된 얼굴 중심좌표를 검출하게 된다. 검출된 이들 좌, 우 얼굴영상의 중심좌표 값에 의해 스테레오 카메라의 팬/틸트가 제어되어 결과적으로 표적얼굴에 대한 주시각 제어를 수행하게 된다. 제 2 단계(S20)에서는 주시각이 제어된 스테레오 카메라의 팬/틸트 움직임 각도와 3차원 구면 좌표계(three-dimensional spherical polar coordinate)를 이용하여 스테레오 카메라와 표적간의 3차원 좌표계상의 실제 위치값을 검출함으로써 표적 대상의 실제 키를 산출하게 된다.
이하, 상기 단계를 세분하여 상세히 설명하면 다음과 같다.
1. 표적얼굴 후보영역 검출
본 단계는 표적얼굴 검출단계에 해당하는 것으로, 이하에서 상세히 설명하기로 한다.
본 발명에서는 표적 영상에 대한 키 높이 추정기법의 전처리 과정으로 YCbCr 체계의 칼라 모델(D. Chai and A. Bouzerdoum, "A Bayesian approach to skin color classification in YCbCr color space", IEEE Region Ten Conference(TENCON' 2000), vol.2, no.1, pp.421-424, 2000)을 이용하여 일반적인 조명상태에서의 피부색과 피부색이 아닌 영역으로 표적 대상의 얼굴 후보영역을 검출및 분리하게 된다.
여기서, 광도는 Y로 기호화되고, 푸른 정보는 Cb, 붉은 정보는 Cr로 기호화되며, 카메라로부터 입력되는 RGB 체계의 칼라 모델은 식(1)과 같은 변환 행렬을 이용하여 얼굴영역을 분리하게 된다.
Figure 112005075072448-pat00001
(1)
한편, 영상간의 공통된 움직임을 검출하기위한 방법으로 영상 차분필터를 사용하였으며, 그 결과는 식(2)과 같이 두 영상간의 움직임 성분으로 나타나게 된다.
Figure 112005075072448-pat00002
(2)
다음으로, 영상 차분필터의 결과로부터 공통된 움직임을 구별해 내기 위하여 dfl과 df2의 값을 서로 논리곱 연산(AND operation)을 취으로써 표적영상을 검출할 수 있다. 이런 과정을 통하여 연속으로 입력되는 두 영상으로부터 운동성분을 찾아내게 된다. 즉, 표적 운동 성분값을 T m (u,v)라고 하면 식(3)와 같이 나타낼 수 있으며 Bt는 이진화 과정을 의미한다.
Figure 112005075072448-pat00003
(3)
또한, 검출된 움직임 성분을 토대로 기타 불규칙적인 조명 변화로 인해 생길 수 있는 잡음영역을 제거하기 위해 모폴로지 오프닝(morphological opening) 연산 을 수행하였으며, 최종적으로, 4-연결도를 사용한 순차 연결성분 알고리즘 (Sequential Connected Components Algorithm Using 4-connectivity)과 사이즈 필터링(size filtering)을 통해 각 영역별 픽셀의 평균값을 구하여 최대의 평균값을 갖는 영역부터 차례로 얼굴 후보영역으로 검출할 대상 영역을 제한함으로써 최종적인 표적의 얼굴 영역만을 검출하게 되고, 그 외의 영역은 배경으로 간주하여 모두 제거하게 된다. 다음에 좌측 영상에서 추적 물체의 위치좌표 (-Δx l ,,+Δy l )를 추출하여 중앙으로 위치하도록 (+Δx l ,,-Δy l )만큼 이동시켜 새로운 영상인 l｀t(x,y)을 구한다. 이 영상은 위상형 상관 평면의 기준영상과 다음 프레임의 좌측 영상에서 갱신된 기준 영상으로 사용하게 된다. 그리고 이동값인 (+Δx l ,,-Δy l )은 좌측 카메라의 팬/틸트 제어값이 된다.
2. 표적얼굴 중심좌표 결정
본 단계는 표적얼굴 중심좌표 검출단계에 해당하는 것으로, 이하에서 상세히 설명하기로 한다.
본 발명의 일실시예에서는 좌영상은 기하 무게 중심법을 이용하여 중심좌표를 결정하고, 우영상은 위상형 상관기법을 이용하여 중심좌표를 결정하는 방법을 택한다.
(1) 기하 무게 중심법을 이용한 얼굴 중심좌표 결정
표적 영상의 위치추정을 위한 좌표 검출을 위해 선행되어야 할 팬/틸트 제어값의 획득을 위해서는 좌, 우 영상에서 검출된 얼굴 후보영역의 중심좌표 추출이 필수적이다.
그러나 일반적으로 카메라에서 멀리 떨어진 표적 영상의 경우, 그 대상체가 사람인지를 검증하는 데에는 많은 어려움이 존재하게 된다. 더욱이 얼굴임이 확신되지 않은 상황에서 스테레오 추적을 위한 얼굴 영상의 중심좌표를 획득하는 것은 얼굴의 특징점 분석 자체가 불가능하므로, 본 발명에서는 이러한 한계점을 극복하기 위해, 식(4)와 같이 상기 표적얼굴 후보영역 검출과정에서 추출된 비대칭 형태의 얼굴의 후보영역에 대한 기하 무게 중심법을 이용하여 표적얼굴 영상의 중심좌표를 검출하게 된다.
식 (4)는 검출된 움직임 성분의 얼굴 후보영역을 각각 n개의 x, y 화소값으로 나눈값으로 얼굴영역의 무게 중심값을 정의할 수 있으며, 이는 표적 얼굴영상의 중심좌표로 설정하여 스테레오 카메라 시야(FOV:field of view)의 중심으로 이동시키기는 주시각 제어를 위한 좌측 카메라의 팬/틸트 제어값으로 변환된다.
Figure 112005075072448-pat00004
(4)
(2) 위상형 상관기법을 이용한 표적얼굴 중심좌표 결정
정확한 주시각 제어를 위해서는 좌, 우측 카메라에서 추출된 얼굴 후보영역의 일치된 주시점 검출이 필수적이다. 따라서, 본 발명에서는 상관 판별력을 보다 개선하고 효율을 극대화한 시스템으로 발표된 광 BPEJTC(optical binary phase extraction joint transform correlator) 알고리듬을 디지털적으로 변형한 위상형 상관(phase-type correlation) 기법을 이용하여 검출된 얼굴 후보 영역간의 상관을 통해 좌, 우 얼굴 영역의 일치점 및 영상간의 떨어진 상대거리를 구하여 우측 카메라의 팬/틸트 제어값으로 사용하였다.
일반적으로 좌측 기준영상 l'_{ t } (x,y)와 우측영상 rt(x,y)간에 퓨리에 변환한 주파수 세기 분포인 JTPS(joint transform power spectrum)를 역 퓨리에 변환하여 얻은 상관 결과는 식(5)과 같이 주어진다.
Figure 112005075072448-pat00005
(5)
여기서,
Figure 112005075072448-pat00006
는 컨벌루션(convolution)을, 그리고 *는 상관을 각각 나타낸 것이다.
식(5)은 중심 좌표에 있는 기준영상과 우측영상 간에 떨어진 상대거리를 나타내는 상관 첨두치로 식(6)와 같이 각 영상에 대한 얼굴 중심 좌표값을 검출할 수 있다.
Figure 112005075072448-pat00007
(6)
식(6)에서 상관 첨두치는 중심 좌표에 있는 좌, 우측 입력영상에서 얼굴간의 떨어진 상대거리로 첨두치의 위치 좌표를 얻을 수 있으며, 이러한 좌표값으로부터 좌, 우측 얼굴 영상의 위치좌표를 식(7), (8)과 같이 검출할 수 있다.
Figure 112005075072448-pat00008
(7)
Figure 112005075072448-pat00009
(8)
식(7), (8)과 같이 검출된 얼굴 영상의 위치좌표는 스테레오 카메라의 팬/틸트 제어값으로 변환되며, 이를 통해 좌, 우측 얼굴 영상의 한 점으로 수렴하는 주시각 제어가 이루어지게 된다.
3. 팬/틸트 제어각도 산출
본 단계는 팬/틸트 각도 제어단계에 해당하는 것으로, 이하에서 상세히 설명하기로 한다.
본 발명에서는 Kanatani의 영상보정 알고리듬을 응용하여 2차원 영상평면에서 검출된 이동된 좌표값을 팬/틸트 시스템의 제어각도로 변환하였다. 도 3은 공간상의 같은 점에 대해 대하여 카메라의 회전으로 인한 두 카메라 좌표의 차이로 인하여 두 영상 면에서의 점의 이동을 나타낸 것으로써 카메라 렌즈의 축을 중심으로 회전하는 카메라에서 획득한 영상은 그 정보가 변하지 않는다는 것을 보여주고 있다.
도 3에 도시된 바와 같이, 실제 3차원 공간상으로 수렴되는 임의의 한 점을 Pr(x,y,z)이라 하고, 그 점이 2차원 영상 평면에 투영되는 현재 영상과 이전 영상에 서의 점을 각각 Pc(x t ,y t )와 Pc(x t -1 ,y t -1 )라고 하면, Kanatani의 영상보정 알고리듬에 의해 식(9)와 (10)으로 표현될 수 있다.
Figure 112005075072448-pat00010
(9)
Figure 112005075072448-pat00011
(10)
따라서 식 (9)와 (10)에서 카메라의 회전 각도인 팬(θ)과 틸트(Φ), 그리고 초기각도인 α와 카메라의 초점 거리 f를 알면 시간 t에서의 좌표점 x t 로부터 시간 t-1에서의 좌표점 x t -1 을 복원이 가능함을 알 수 있다. 결국 이전 영상과 현재 영상간의 표적영상의 이동변이에 따라 제어될 팬/틸트 각도는 식 (9)와 (10)을 팬과 틸트의 각도인 θ 와 Φ에 대해 정리할 수 있고, 이는 식 (11)와 (12)으로 나타낼 수 있다.
Figure 112005075072448-pat00012
(11)
Figure 112005075072448-pat00013
(12)
또한 식(11)과 (12)를 카메라 렌즈의 초점거리 f, 이전영상과 현재영상의 위치 좌표값으로 표현하면 식(13)과 (14)로 나타낼 수 있다.
Figure 112005075072448-pat00014
(13)
Figure 112005075072448-pat00015
(14)
따라서, 스테레오 영상의 이전영상과 현재영상의 2차원 화소값으로 구성된 위치값을 검출하면 식(13)과 (14)를 통해 팬과 틸트 각도가 산출되고 이는 팬/틸트 시스템의 엔코더를 통해 최종적으로 모터의 제어각도로 구동될 수 있다. 결국, 추적대상의 표적 물체를 카메라 시야(FOV)의 중앙에 놓게 하기 위한 팬/틸트 시스템은 영상 평면의 원점 (0, 0)을 중심으로 2차원 영상 평면에 사상된 표적물체의 위치 변이(Δx r ,,Δy r ) 를 팬/틸트 시스템의 제어값인 각도값으로 환산하여 추적 및 감시 기능을 수행하게 된다.
4. 표적거리 측정 및 표적의 키 높이 추정
본 단계는 표적위치 표시단계, 표적위치 모니터링 단계 및 이동표적의 키 높이 추정단계에 해당하는 것으로, 이하에서 상세히 설명하기로 한다.
PID 제어기와 인코더를 통해 획득된 표적영상의 팬/틸트 제어값은 스테레오 카메라의 시야를 중심으로 좌, 우측 팬/틸트를 이동시키는 주시각 제어를 수행하게 된다. 이때 획득된 좌, 우 카메라의 팬/틸트값은 스테레오 카메라와 표적 대상간의 기하학적인 관계에 의해 현재 위치한 3차원 좌표는 물론 신체 크기까지도 추정할 수 있다. 감시추적 대상인 표적 대상의 신체 크기는 스테레오 카메라로부터 입력된 좌, 우 입력영상에 대한 팬/틸트 이동각도 및 카메라로부터 얼굴 중심좌표까지의 광축 거리를 이용한 구면 좌표계에서 직교 좌표계로의 변환을 통해서 구할 수 있 다.
도 4는 본 발명의 일실시예에 의한 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적방법에서 표적의 키 높이 추정과정의 이해를 돕기 위한 표적 영상의 3차원 구면 좌표계를 나타내는 개념도이다. 우선, 도 4와 같이 표적이 임의의 공간 안에 직립해 있다고 가정했을 때, 주시각이 제어된 스테레오 카메라의 팬/틸트의 각도는 각각 θ1과 θ2 및 Φ1과 Φ2로 주어지게 된다.
따라서, 이를 이용하여 산출된 스테레오 카메라의 수평선상으로부터 표적 영상의 얼굴 중심좌표까지의 수직 거리는 식(15)과 같이 D로써 표현할 수 있다.
Figure 112005075072448-pat00016
(15)
또한, 도 4에 도시된 바와 같와, 임의의 공간 안에서 감시추적 시스템과 표적간의 기하학적 파라메타들은 표 1과 같이 정의할 수 있다.
Figure 112005075072448-pat00017
도 4에서 각각 θ1과 Φ1의 각도를 갖은 팬과 틸트에 탑재된 우측 카메라의 위치가 점 O라고 했을 때, 이는 어떤 점의 위치를 하나의 길이와 두개의 각으로 나타낼 수 있는 3차원 구면 좌표계로 표현될 수 있으며, 공간 안에서 얼굴영상의 중심좌표를 점 P라고 하면, 이는 (r1,Φ1,θ1)의 좌표계로 표현될 수 있다. 여기서, r1은 좌, 우 팬/틸트와 표적 영상까지의 거리이므로 스테레오 카메라의 수평축과 표적 영상까지의 수직 거리인 D를 이용하여 식(16)와 같이 쉽게 구할 수 있다.
Figure 112005075072448-pat00018
(16)
따라서, 표적 영상의 얼굴 중심좌표인 점 P(r,Φ,θ)는 식(17), (18), (19)과 같이 OX, OY, OZ가 서로 직교하는 3차원 직각좌표인 P(x,y,z)로써 변환될 수 있다.
또한, 표적 영상의 중심좌표인 점 P(x, y, z)에 수선을 내린 점 Q(x,y,o)는 표적 대상물이 현재 서 있는 X, Y 좌표계상의 점이므로 표적이 이동하는 움직임 경로를 추정하는데 이용되게 된다.
Figure 112005075072448-pat00019
(17)
Figure 112005075072448-pat00020
(18)
Figure 112005075072448-pat00021
(19)
따라서 식(17), (18), (19)에서 검출된 직교 좌표계의 Q(x,y,o)는 실시간으로 표적 물체의 실제 위치를 파악할 수 있으며, 원격 모니터링을 통해 표적 물체의 실제 이동경로를 추정할 수 있는 정보로 이용될 수 있다. 결국, 식(19)에서 변환된 z값은 식 (18)과 같이 전체 사각 공간안에서 팬/틸트 높이(Ph)와 팬/틸트를 올려놓은 단상의 높이(Dh)에서 z값을 뺀 후, 일반적인 사람의 머리끝부터 코까지의 길이(fh)만큼을 더해주게 되면 대략적인 표적 영상의 키를 추정할 수 있다.
Figure 112005075072448-pat00022
(20)
도 5는 얼굴의 중심좌표에 따라 제어된 틸트 각도와 미리 산정된 팬/틸트 높이(Ph) 및 팬/틸트를 올려놓은 단상의 높이(Dh), 그리고 직교 좌표계를 통해 최종 산출된 z값을 이용하여 식(20)에서와 같이 표적 대상체의 키 높이에 대한 추정을 나타낸 것이다.
따라서 식(17), (18), (19)에서 검출된 직교 좌표계값으로 표적 영상의 실제 위치와 이동경로를 추정할 수 있으며, 식(20)은 원격 모니터링을 통해 얼굴 정보와 함께 감시 대상인물의 키 높이를 추정하는데 이용될 수 있는 정보로 사용될 수 있게 된다.
이하, 본 발명의 바람직한 실시예를 통해 본 발명을 좀 상세히 알아 보기로 한다.
[실험예]
본 발명을 이루는 구성단계 중 하나인 스테레오 카메라 기반의 표적 키 높이 추정기법의 실험 시나리오는 도 6 내지 도 7에 도시된 바와 같이, 일정한 사각 공간 안에서 표적의 얼굴 인식을 통해 미리 설치된 스테레오 감시 카메라로부터 표적의 얼굴 영상까지의 거리 산출 및 추적된 팬/틸트 제어각도를 이용하여 표적의 구면 좌표계를 검출한 후, 직교 좌표계로의 변환을 통해 실제 표적영상의 3차원 정보 및 키 높이를 검출하는 것이다.
먼저, 스테레오 영상 획득용 카메라로는 320×240 픽셀의 해상도와 30 frame/sec의 촬영속도를 갖는 웹 카메라를 사용하였으며, 팬/틸트 제어장치는 한울 로보틱스사의 HWR-PT1 시스템 2개를 사용하였다. 또한, 좌, 우 카메라 사이의 이격 거리는 55cm로 고정하였으며, 디지털 시스템은 512MB 메모리의 펜티엄 1.8GHz를 사용하였다.
(1) 얼굴 중심좌표 검출 및 주시각 제어 실험
본 발명에서는 실시간으로 획득되는 스테레오 입력영상 시퀀스에 대해 감시 및 추적 성능을 검증하기 위해 각기 다른 신체 특징을 가진 세 사람의 서로 다른 이동경로를 320×240 픽셀의 해상도를 갖는 스테레오 입력 영상을 초당 30 프레임의 속도로 처리하여 총 240프레임의 테스트 영상을 가지고 실험을 수행하였다. 그림 7은 전체 480 프레임의 테스트 실험영상 중, 서로 다른 3사람을 상대로 획득된 3 프레임(3, 98, 161 번째 프레임)에 대한 좌우 스테레오 입력영상 샘플을 나타낸 것이다.
표 2는 좌, 우 얼굴 영상의 중심좌표 [단위: 픽셀]를 나타내는 것으로, 표 2는 실험에 사용된 3개의 샘플 스테레오 입력영상에 대해 얼굴 피부색 임계값인 77<Cb<127, 133<Cr<173의 범위를 적용하여 얼굴 후보영역을 추출하고, 위상형 상관기법을 이용하여 중심좌표(160, 120)을 기준으로 x, y축 방향으로 이동된 표적 얼굴영상의 위치좌표 값을 나타낸 것이다.
Figure 112005075072448-pat00023
표 2에서 획득된 3 프레임에 대한 위치좌표들은 조명의 밝기 및 명암도 차이에 따라 약간의 차이는 있으나 초당 30 프레임의 영상 처리 속도에도 적응적으로 위치정보를 검출함으로써 실시간적 처리의 가능성을 보여주고 있다. 또한, 표 2에서 획득된 위치 좌표값은 각각의 프레임에서 입력된 표적 영상의 실제 이동값인 (Δx l ,,Δy l )를 의미하며, 이 값은 식(13)과 (14)를 통해 팬/틸트 제어각도로 변환되며, 변환된 제어값에 따라 카메라의 주시각이 제어됨으로써 이동 표적이 카메라 시야의 중심으로 이동하게 된다.
본 발명에서는 카메라의 광축이 표적영상의 주시점에 일치하도록 하는 교차식 카메라 설정법을 사용하였으므로 표적영상까지의 수직거리(D)는 식 (15)에 의해 구할 수 있으며, 팬/틸트 각도와 함께 구면좌표계를 형성하기 위한 각 카메라와 표적 영상까지의 광축 주시점 거리(r)는 식(16)를 통해 산출할 수 있다. 또한, 표적영상의 실제 이동값인(Δx l ,,Δy l )을 통해 제어될 팬/틸트 각도 θ와 Φ는 각 시스템 엔코더를 사용하여 표 3과 같이 구할 수 있다.
Figure 112005075072448-pat00024
표 3은 중심좌표에 대한 구면좌표 파라메타[단위:cm]를 나타내는 것으로, 표 3에서, 광축거리(r)과 팬/틸트 제어각도(θ,Φ)는 표적 영상의 중심점에 대한 구면좌표계를 형성할 수 있으며, 이는 직교 좌표계로의 변환을 통해 표적물체의 현재의 직립 위치를 추정할 수 있는 정보로 제공된다.
도 9는 실시간으로 입력되는 3 프레임의 스테레오 입력영상에 대해 중심좌표인 (160, 120)을 기준으로 표 3의 좌, 우 팬/틸트 각도를 통해 주시각이 제어된 이후의 좌, 우 영상을 나타낸 것이다. 그림 8에서 보면 320×240 해상도의 중심좌표인 (160, 120)을 기준으로 표적영상은 정확히 카메라 시야의 중앙에 위치하는 것을 볼 수 있으며, 실내조명과 밝기의 영향으로 ㅁ8 픽셀의 오차를 보이고 있지만, 실험에 사용한 전체 프레임에 대한 표준 편차는 각각 1.82 및 1.11을 유지하며 얼굴 피부색이 서로 다른 사람에게도 적응적으로 주시각이 제어됨을 볼 수 있다. 또한, 입력되는 스테레오 영상 시퀀스에 대해 프레임 당 0.06초의 처리시간을 가지고 평균 2 프레임 이내에 추적이 이루어짐으로 제안된 감시추적 알고리즘의 실시간적 처리가 가능함이 분석되었다.
(2) 표적 영상의 3차원 위치좌표 검출 및 키 높이 추정 실험
표 4[단위:Cm]는 제안된 알고리즘을 통해 산출된 값과 실제 측정한 값과의 오차를 분석하기 위해, 표 3에서 검출된 구면 좌표계를 직교 좌표계로 변환한 표적영상의 3차원 정보와 실험환경에서 측정한 실제좌표를 나타낸 것이다. 즉, 스테레오 카메라와 표적 영상까지의 수직 거리(D) 및 좌, 우 카메라의 광축 주시 거리(r)을 이용하여 구면 좌표계상의 (r,θ,Φ)을 구성한 뒤, 식 (12), (13), (14)를 이용하여 직교 좌표계상의 (x,y,z)로 변환한 값이다. 표 4에서 보면 좌, 우측 영상 간에 존재하는 직교 좌표계의 오차는 평균 1.5cm 미만의 작은 오차가 존재함을 알 수 있는 데, 이는 불규칙한 조명, 동일하지 않은 영상밝기 및 저가의 웹 카메라의 사용임을 고려할 때, 우수한 실험결과로 분석된다. 특히, z값은 식 (15)와 같이 표적 영상의 팬/틸트 자체 높이인 46cm와 팬/틸트가 설치된 단상 높이인 179cm를 더한 전체높이(Ph+Dh)인 225cm에서 z 값을 뺀 후, 일반적인 사람의 머리끝부터 코까지의 길이(f)인 약 15cm 만큼을 더해주게 되면 표 4의 표적 측정좌표 (x,y,Mh) 중 Mh과 같이 대략적인 표적 영상의 키를 추정할 수 있다.
Figure 112005075072448-pat00025
도 10 내지 도 11은 실험 참여 대상에 대한 추정된 신체 크기와 표준 편차로써, 그림 9 (a)는 우측 카메라에서 획득한 좌표값에 비해 실제 좌표와의 오차율이 상대적으로 작은 좌측 카메라에서 획득한 직교 좌표값를 이용하여 표적물체의 추정된 신체 크기를 3차원 공간상에 나타낸 것이다.
따라서, 검출된 직교 좌표계상의 (x, y) 점만을 추적하게 되면 표적 대상체의 이동 경로 및 용의자의 신체 크기를 쉽게 추정할 수 있음을 알 수 있다. 또한, 도 11은는 실험에 사용된 세사람에 대해 각각 6 프레임씩 셈플링하여 실제 신체 크기를 중심으로 이격된 편차를 나타낸 것이다. 즉, 실험에 참여한 3 사람의 신체 크기(167cm, 175cm, 185cm)를 기준으로 제안된 시스템의 추정된 결과오차를 나타낸 것이다. 또한, 그림 9 (b)과 같이 실험에 참여한 세 사람(3, 98, 161 프레임)에 늡隆 각각 6 프레임씩의 결과값을 이용한 표준편차
Figure 112005075072448-pat00026
는 1.63, 0.4 및 1.07을 나타내었으며, 제안된 시스템에서 계산된 좌표값과 실제 실험대상으로 참여한 사람의 정확한 실제 위치와의 차이 역시 평균 1.2cm 미만의 오차와 전체적으로 0.5 %의 오차를 보임으로써 보다 적응적인 감시추적 시스템의 실시간적 구현 가능성을 제시하고 있다.
또한, 본 실험예는 도 12에 도시된 바와 같이, 표적이 현재 서 있는 위치의 상대적인 차이와 프레임 시간을 고려하여 표적의 보폭 및 이동 속도까지도 추정할 수 있는 단서를 포착함으로써, 공간상에 진입하는 표적 대상체에 대한 인증 및 보안 감시의 효율성이 증대될 수 있다.
도 13은 이동중인 표적의 이동궤적의 실제 측정치와 계산치를 비교한 것을 나타내는 그래프로서, 이는 전체 60초 동안의 감시 추적 실험 중 3초 간격으로 획득된15 프레임에서 이동 중인 용의자의 이동궤적의 실제 측정치와 계산치의 비교한 것이다. 따라서 도 13에서 도시된 바와 같이, 이전 영상으로부터 현재영상의 좌표값을 이용하여 이동중인 용의자의 보폭을 추정할 수 있으며, 이전 프레임과 현재 프레임간의 처리시간을 이용하여 이동중인 용의자의 이동 속도까지도 추정할 수 있게 된다. 기 검출된 좌표값을 이용하여 실험한 결과, 이동중인 용의자의 평균 보폭은 24.14 cm 이며, 이동속도는 (380cm / (14 frame 3 sec) = 9.04 cm/sec) 임을 알 수 있다.
이상에서 본 발명의 바람직한 실시예와 실험예를 설명하였으나, 본 발명은 다양한 변화와 변경 및 균등물을 사용할 수 있다. 본 발명은 상기 실시예를 적절히 변형하여 동일하게 응용할 수 있음이 명확하다. 따라서 상기 기재 내용은 하기 특허청구범위의 한계에 의해 정해지는 본 발명의 범위를 한정하는 것이 아니다.
이상에서 살펴본 바와 같이, 본 발명에 의한 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적방법 및 그 시스템은 팬/틸트 탑재형 스테레오 카메라의 능동적인 제어를 통해 표적의 다양한 변화에 관계없이 표적의 거리정보 및 3차원적 이동 정보를 실시간적으로 검출함으로써 표적의 적응적 추적이 가능하다는 장점이 있다.
또한, 표적의 키 높이를 추정하는 방법을 취함으로써, 보안 및 감시 기능을 향상시키는 장점이 있다.

Claims (7)

  1. 팬/틸트가 탑제된 스테레오 카메라를 이용하여 이동중인 표적의 얼굴성분만을 검출하는 표적얼굴 검출단계와;
    상기 표적얼굴 검출단계에서 검출된 표적얼굴의 중심좌표를 결정하는 표적얼굴 중심좌표 결정단계와;
    상기 표적이 카메라 시야에 중앙에 놓이게 하기 위해 상기 표적얼굴 중심좌표에 카메라의 광축이 일치하도록 Kanatani 영상정보 알고리즘을 이용하여 팬/틸트의 제어각도를 산출하여 상기 팬/틸트를 작동시키는 팬/틸트의 각도 제어단계와;
    상기 팬/틸트 제어단계에서 산출된 제어각도를 이용하여 표적의 위치를 파악하여 표적의 위치를 3차원 좌표계상에 나타내는 표적위치 표시단계와;
    상기 표적얼굴의 중심좌표가 이동함에 따라 상기 팬/틸트 각도 제어단계와 표적위치 표시단계를 반복 수행하여 나타내어지는 표적위치를 모티터링 하는 표적위치 모니터링 단계를 포함하여 수행되는 것을 특징으로 하는 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적방법.
  2. 제 1 항에 있어서,
    상기 표적위치 표시단계에서 산출된 좌표계의 좌표를 이용하여 하기에 식에 의하여 표적의 키 높이를 추정하는 이동표적의 키 높이 추정단계를 더 포함하여 수행되는 것을 특징으로 하는 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표 적 추적방법.
    Mh=(Ph+Dh)-z+fh
    (Mh: 표적의 키 높이, Ph: 팬/틸트의 높이, Dh:팬/틸트를 올려놓은 단상높이 fh: 표적의 머리끝에서 코까지의 길이 z: 3차원 좌표계의 z좌표(팬/틸트를 올려놓은 단상의 최하단의 z좌표가 0이된다.) )
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 표적얼굴 검출단계는 YCbCr 체계의 칼라 모델을 이용하여 피부색을 감지하고, 영상 차분필터를 이용하여 영상간의 공통된 움직임을 검출하는 것을 특징으로 하는 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적방법.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 표적얼굴 검출단계는 이동중인 표적의 얼굴성분을 토대로 잡음영역을 제거하기 위해 모폴로지 오프닝(morphological opening) 연산을 수행하고, 4-연결도를 사용한 순차 연결성분 알고리즘(Sequential Connected Components Algorithm Using 4-connectivity)과 사이즈 필터링(size filtering)을 통해 각 영역별 픽셀의 평균값을 구하여 최대의 평균값을 갖는 영역부터 차례로 얼굴 후보영역으로 검출할 대상 영역을 제한함으로써 최종적인 표적의 얼굴 영역만을 검출하는 것을 특징으로 하는 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적방법.
  5. 제 3 항에 있어서,
    상기 표적얼굴 중심좌표 검출단계는 일측 카메라로 촬영되는 영상은 무게 중심법을 이용하고, 타측 카메라로 촬영되는 영상은 위상형 상관기법을 사용하여 표적얼굴의 중심좌표를 결정하는 것을 특징으로 하는 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적방법.
  6. 팬/틸트가 탑제된 카메라를 적어도 2대 이상 구비하여 이동표적의 얼굴부분만을 감지하여 스테레오 영상이 입력되는 영상입력부와;
    상기 영상입력부로부터 입력된 이동표적의 얼굴부분의 중심좌표를 검출하는 중심좌표 검출부와;
    상기 중심좌표 검출부에서 검출된 중심좌표를 이용하여 팬/틸트의 제어각도를 산출하여 제어하는 팬/틸트 각도 제어부와;
    상기 팬/필트 각도 제어부에서 제어된 제어각도에 따라 표적얼굴 중심좌표의 위치를 3차원 좌표계로 변화하여 위치를 표시하는 3차원 좌표계 추출부와;
    상기 표적얼굴의 중심좌표가 이동함에 따라 팬/틸트 각도 제어부와 3차원 좌표계 추출부가 반복적으로 팬/틸트의 각도를 제어하고, 표적얼굴의 중심좌표의 위치를 표시하여 모니터링하는 표시부를 포함하여 구성되는 것을 특징으로 하는 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적 시스템.
  7. 제 6 항에 있어서,
    상기 3차원 좌표계 추출부에서 추출된 좌표를 이용하여 하기의 식에 의해 표적의 키 높이를 추정하는 키 높이 추정부를 더 포함하여 구성되는 것을 특징으로 하는 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적 추적 시스템.
    Mh=(Ph+Dh)-z+fh
    (Mh: 표적의 키 높이, Ph: 팬/틸트의 높이, Dh:팬/틸트를 올려놓은 단상높이 fh: 표적의 머리끝에서 코까지의 길이 z: 3차원 좌표계의 z좌표(팬/틸트를 올려놓은 단상의 최하단의 z좌표가 0이된다.) )
KR1020050127243A 2005-12-21 2005-12-21 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적추적방법 및 그 시스템 KR100691348B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050127243A KR100691348B1 (ko) 2005-12-21 2005-12-21 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적추적방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050127243A KR100691348B1 (ko) 2005-12-21 2005-12-21 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적추적방법 및 그 시스템

Publications (1)

Publication Number Publication Date
KR100691348B1 true KR100691348B1 (ko) 2007-03-12

Family

ID=38102762

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050127243A KR100691348B1 (ko) 2005-12-21 2005-12-21 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적추적방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR100691348B1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100913165B1 (ko) * 2007-08-22 2009-08-19 한국전자통신연구원 이동체의 위치 검출 장치 및 방법
KR100950463B1 (ko) * 2007-11-23 2010-03-31 한국전자통신연구원 엔티에스씨/피에이엘 카메라용 영상 추적 칩 개발 장치
US20120173053A1 (en) * 2011-01-04 2012-07-05 Kabushiki Kaisha Topcon Flight Control System For Flying Object
KR101236475B1 (ko) * 2009-04-14 2013-02-22 한국전자통신연구원 얼굴 검출 장치 및 이를 이용한 거리 측정 방법
WO2013162198A1 (ko) * 2012-04-26 2013-10-31 (주)비전에스티 감시 장치 및 제어 방법
WO2013187551A1 (ko) * 2012-06-11 2013-12-19 재단법인 실감교류인체감응솔루션연구단 아이콘텍이 가능한 3차원 원격회의 장치 및 이를 이용한 방법
US8630755B2 (en) 2010-09-28 2014-01-14 Kabushiki Kaisha Topcon Automatic taking-off and landing system
KR101372860B1 (ko) * 2012-04-30 2014-03-12 전자부품연구원 영상 검색 시스템 및 영상 분석 서버
CN107390722A (zh) * 2017-07-28 2017-11-24 上海瞬动科技有限公司合肥分公司 一种无人机飞行角度智能控制方法
KR101814040B1 (ko) * 2017-09-06 2018-01-02 한국기술교육대학교 산학협력단 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치
CN112307941A (zh) * 2020-10-28 2021-02-02 广东小天才科技有限公司 一种图像转换方法及终端设备
CN112380965A (zh) * 2020-11-11 2021-02-19 浙江大华技术股份有限公司 进行人脸识别的方法及多目摄像机
KR20220001078A (ko) * 2020-06-29 2022-01-05 충남대학교산학협력단 음장검사시스템 및 이를 이용한 음장검사방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010002097A (ko) * 1999-06-11 2001-01-05 김운용 피부색 및 움직임 자동 추적에 의한 얼굴 촬영/인식방법과 그장치
JP2003284053A (ja) 2002-03-27 2003-10-03 Minolta Co Ltd 監視カメラシステムおよび監視カメラ制御装置
KR20040079804A (ko) * 2003-03-06 2004-09-16 삼성전자주식회사 얼굴영상 검출이 가능한 감시시스템 및 그의 얼굴영상검출방법
KR20050017419A (ko) * 2003-08-08 2005-02-22 (주)아이디스 팬/틸트/줌 카메라를 이용한 영상 보안 시스템 및 방법
KR20050089266A (ko) * 2004-03-04 2005-09-08 삼성전자주식회사 스테레오 카메라를 이용한 사람 검출 방법 및 장치
KR20050114817A (ko) * 2004-06-02 2005-12-07 김상훈 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010002097A (ko) * 1999-06-11 2001-01-05 김운용 피부색 및 움직임 자동 추적에 의한 얼굴 촬영/인식방법과 그장치
JP2003284053A (ja) 2002-03-27 2003-10-03 Minolta Co Ltd 監視カメラシステムおよび監視カメラ制御装置
KR20040079804A (ko) * 2003-03-06 2004-09-16 삼성전자주식회사 얼굴영상 검출이 가능한 감시시스템 및 그의 얼굴영상검출방법
KR20050017419A (ko) * 2003-08-08 2005-02-22 (주)아이디스 팬/틸트/줌 카메라를 이용한 영상 보안 시스템 및 방법
KR20050089266A (ko) * 2004-03-04 2005-09-08 삼성전자주식회사 스테레오 카메라를 이용한 사람 검출 방법 및 장치
KR20050114817A (ko) * 2004-06-02 2005-12-07 김상훈 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100913165B1 (ko) * 2007-08-22 2009-08-19 한국전자통신연구원 이동체의 위치 검출 장치 및 방법
KR100950463B1 (ko) * 2007-11-23 2010-03-31 한국전자통신연구원 엔티에스씨/피에이엘 카메라용 영상 추적 칩 개발 장치
KR101236475B1 (ko) * 2009-04-14 2013-02-22 한국전자통신연구원 얼굴 검출 장치 및 이를 이용한 거리 측정 방법
US8630755B2 (en) 2010-09-28 2014-01-14 Kabushiki Kaisha Topcon Automatic taking-off and landing system
US20120173053A1 (en) * 2011-01-04 2012-07-05 Kabushiki Kaisha Topcon Flight Control System For Flying Object
US8666571B2 (en) * 2011-01-04 2014-03-04 Kabushiki Kaisha Topcon Flight control system for flying object
WO2013162198A1 (ko) * 2012-04-26 2013-10-31 (주)비전에스티 감시 장치 및 제어 방법
KR101372860B1 (ko) * 2012-04-30 2014-03-12 전자부품연구원 영상 검색 시스템 및 영상 분석 서버
KR101350996B1 (ko) * 2012-06-11 2014-01-13 재단법인 실감교류인체감응솔루션연구단 아이콘텍이 가능한 3차원 원격회의 장치 및 이를 이용한 방법
WO2013187551A1 (ko) * 2012-06-11 2013-12-19 재단법인 실감교류인체감응솔루션연구단 아이콘텍이 가능한 3차원 원격회의 장치 및 이를 이용한 방법
US9077974B2 (en) 2012-06-11 2015-07-07 Center Of Human-Centered Interaction For Coexistence 3D video-teleconferencing apparatus capable of eye contact and method using the same
CN107390722A (zh) * 2017-07-28 2017-11-24 上海瞬动科技有限公司合肥分公司 一种无人机飞行角度智能控制方法
KR101814040B1 (ko) * 2017-09-06 2018-01-02 한국기술교육대학교 산학협력단 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치
KR20220001078A (ko) * 2020-06-29 2022-01-05 충남대학교산학협력단 음장검사시스템 및 이를 이용한 음장검사방법
KR102407173B1 (ko) * 2020-06-29 2022-06-08 충남대학교산학협력단 음장검사시스템 및 이를 이용한 음장검사방법
CN112307941A (zh) * 2020-10-28 2021-02-02 广东小天才科技有限公司 一种图像转换方法及终端设备
CN112380965A (zh) * 2020-11-11 2021-02-19 浙江大华技术股份有限公司 进行人脸识别的方法及多目摄像机
CN112380965B (zh) * 2020-11-11 2024-04-09 浙江大华技术股份有限公司 进行人脸识别的方法及多目摄像机

Similar Documents

Publication Publication Date Title
KR100691348B1 (ko) 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적추적방법 및 그 시스템
KR101172747B1 (ko) 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법
US7574021B2 (en) Iris recognition for a secure facility
US9767568B2 (en) Image processor, image processing method, and computer program
US20050084179A1 (en) Method and apparatus for performing iris recognition from an image
Hongo et al. Focus of attention for face and hand gesture recognition using multiple cameras
JP5127531B2 (ja) 画像監視装置
WO2008036092A1 (en) A method and system for three-dimensional model acquisition
JP2005538278A (ja) ステレオドアセンサ
JP5001930B2 (ja) 動作認識装置及び方法
CN110633648B (zh) 一种自然行走状态下的人脸识别方法和系统
JP5101429B2 (ja) 画像監視装置
CN107547865A (zh) 跨区域人体视频目标跟踪智能监控方法
JP4235018B2 (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
KR101053253B1 (ko) 3차원 정보를 이용한 얼굴 인식 장치 및 방법
KR100434876B1 (ko) 스테레오 물체 추적 방법 및 시스템
CN113724335A (zh) 一种基于单目相机的三维目标定位方法及系统
Zhu et al. 3d head pose estimation with optical flow and depth constraints
Hossain et al. A real-time face to camera distance measurement algorithm using object classification
TW201205449A (en) Video camera and a controlling method thereof
JP2007172509A (ja) 顔検出照合装置
Wan et al. Stereo vision tracking system
Amnuaykanjanasin et al. Face tracking using two cooporative static and moving cameras
JP4039659B2 (ja) 画像処理装置および画像処理方法
Cheung et al. Human tracking in crowded environment with stereo cameras

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120228

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130214

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee