KR102362695B1 - 다중카메라 연계추적을 위한 AI기반의 복수 이동물체추적 Embedded 영상처리시스템을 통한 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법 - Google Patents

다중카메라 연계추적을 위한 AI기반의 복수 이동물체추적 Embedded 영상처리시스템을 통한 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법 Download PDF

Info

Publication number
KR102362695B1
KR102362695B1 KR1020200095046A KR20200095046A KR102362695B1 KR 102362695 B1 KR102362695 B1 KR 102362695B1 KR 1020200095046 A KR1020200095046 A KR 1020200095046A KR 20200095046 A KR20200095046 A KR 20200095046A KR 102362695 B1 KR102362695 B1 KR 102362695B1
Authority
KR
South Korea
Prior art keywords
camera
ptz camera
ptz
tracking target
control method
Prior art date
Application number
KR1020200095046A
Other languages
English (en)
Other versions
KR20220015040A (ko
Inventor
김지태
이동규
Original Assignee
주식회사 영국전자
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 영국전자 filed Critical 주식회사 영국전자
Priority to KR1020200095046A priority Critical patent/KR102362695B1/ko
Publication of KR20220015040A publication Critical patent/KR20220015040A/ko
Application granted granted Critical
Publication of KR102362695B1 publication Critical patent/KR102362695B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23299—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H04N5/23296—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

다중카메라 연계추적을 위한 AI기반의 복수 이동물체추적 Embedded 영상처리시스템을 통한 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법은 전방향 검지카메라와 PTZ카메라의 상대위치를 산출하는 단계, 추적대상을 검출하는 단계, 검출된 추적대상에 대한 전방향 검지카메라 및 PTZ카메라의 pan각도를 산출하는 단계 및 산출된 pan각도에 기초하여 PTZ카메라를 이동하는 단계를 포함한다.

Description

다중카메라 연계추적을 위한 AI기반의 복수 이동물체추적 Embedded 영상처리시스템을 통한 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법{PTZ Camera Control Method for obtaining precise images in connection with Omnidirectional Panoramic Camera}
본 발명은 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법에 관한 것으로, 보다 상세하게는 전방향 검지카메라와 PTZ카메라를 이용하여 추적대상을 연계 추적 시 PTZ카메라의 제어 정밀도를 향상시킬 수 있는 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법에 관한 것이다.
고정 설치되는 전방향 검지카메라에서 획득된 영상에서 추적대상을 검출하며, 검출된 해당 좌표로 PTZ 카메라를 자동 제어하여 촬영함으로써 추적대상을 선명하게 관찰할 수 있다.
그러나 일반적으로 전방향 검지카메라의 위치나 영상 정보만으로 대상의 PTZ 좌표를 계산하여 사용하고 있으므로 전방향 검지카메라와 PTZ 카메라의 위치가 다른 상황에서 산출된 PTZ 좌표는 오차가 발생될 수밖에 없으므로 연계 추적이 어려워지는 문제가 있다. 또한, 전방향 검지카메라에서 추적대상을 검출하면 PTZ카메라가 해당 위치로 이동하는데, PTZ카메라가 이동하는 동안 추적대상은 이동하므로 전방향 검지카메라가 추적대상을 검출한 위치로 PTZ카메라가 이동하여 촬영을 하여도 촬영영상의 중앙영역이 아닌 테두리 영역에서 촬영이 이루어지며 추적대상은 짧은 시간 이내에 PTZ카메라의 촬영영상에서 벗어나게 되므로 연계 추적의 효율이 저하되는 문제가 있다.
따라서 본 발명의 목적은 추적대상의 연계추적이 정확하고 원활하게 이루어질 수 있도록 하는 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명에 따른 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법은, 상기 전방향 검지카메라와 상기 PTZ카메라의 상대위치를 산출하는 단계; 추적대상을 검출하는 단계; 상기 검출된 추적대상에 대한 상기 전방향 검지카메라 및 상기 PTZ카메라의 pan각도를 산출하는 단계; 및 상기 산출된 pan각도에 기초하여 상기 PTZ카메라를 이동하는 단계를 포함한다. 서로 다른 위치에 설치된 전방향 검지카메라와 PTZ카메라의 위치를 감안하여 산출된 pan각도에 따라 PTZ카메라가 정확하고 원활하게 이동하여 PTZ카메라 촬영영역 중앙에 추적대상이 위치하도록 하기 쉬우므로 연계추적의 효율성이 향상될 수 있다.
여기서, 상기 전방향 검지카메라와 상기 PTZ카메라의 거리 및 상대각도를 측정하는 단계를 더 포함하면 PTZ카메라의 이동경로를 정확하게 산출할 수 있어 바람직하다.
그리고 상기 전방향 검지카메라와 상기 PTZ카메라를 설치하는 단계; 및 상기 전방향 검지카메라와 상기 PTZ카메라로 감시영역을 촬영하는 단계를 더 포함하면 전방향 검지카메라와 PTZ카메라를 이용하여 감시영역을 촬영하며 추적대상을 연계 추적할 수 있어 바람직하다.
여기서, 상기 전방향 검지카메라에서 촬영된 이미지 상에서 x축과 y축에 대한 상기 감시영역의 실제좌표를 산출하는 단계를 더 포함하면 정확한 위치로 PTZ카메라를 이동시킬 수 있어 바람직하다.
그리고 상기 추적대상에 대한 상기 PTZ카메라의 Tilt각도를 산출하면 추적대상을 광범위하게 추적할 수 있도록 할 수 있어 바람직하다.
여기서, 상기 전방향 검지카메라에서 상기 검출된 추적대상의 위치, 이동방향 및 평균이동속도 중 적어도 하나를 검출하는 단계를 더 포함하고, 상기 검출된 추적대상의 이동방향 및 평균이동속도 중 적어도 하나에 기초하여 상기 PTZ카메라를 이동시키면 추적대상의 이동에 대하여 정확하게 알 수 있으므로 PTZ카메라를 정확한 위치로 이동시킬 수 있어 바람직하다.
그리고 상기 검출된 추적대상이 상기 PTZ카메라의 촬영영역의 중앙영역에 위치하도록 이동시키면 연계 추적의 효율이 향상될 수 있어 바람직하다.
여기서, 상기 전방향 검지카메라와 상기 PTZ카메라에서 촬영되는 복수의 영상프레임 중 상기 추적대상의 검출 이후 누적 영상프레임이 적어도 기설정된 소정 치 이상에서 상기 검출된 추적대상의 분류를 확정하면 추적대상의 분류를 정확하게 판단할 수 있으므로 연계 추적 효율이 향상될 수 있어 바람직하다.
그리고 상기 추적대상에 대한 복수의 영상프레임 중 적어도 2개 이상의 인접한 영상프레임에 상기 추적대상에 대한 이동위치를 예측하며, 상기 예측된 이동위치로 상기 PTZ카메라로 이동시키면 예측된 위치로 PTZ카메라를 이동시켜 촬영영역 중앙에 추적대상이 위치하도록 하기 쉬우므로 연계 추적이 원활하게 이루어지도록 할 수 있어 바람직하다.
본 발명에 따르면 서로 다른 위치에 설치된 전방향 검지카메라와 PTZ카메라의 위치를 감안하여 산출된 pan각도에 따라 PTZ카메라가 정확하고 원활하게 이동하여 PTZ카메라 촬영영역 중앙에 추적대상이 위치하도록 하기 쉬우므로 연계추적의 효율성이 향상될 수 있는 효과가 있다.
도 1은 전방향 검지카메라(파노라마 카메라)와 PTZ카메라가 서로 가리는 형상을 나타내는 예시도.
도 2는 전방향 검지카메라(파노라마 카메라)에 PTZ카메라가 촬영영역을 가리는 것을 나타내는 영상의 예시도.
도 3은 PTZ 카메라(좌)와 전방향 검지카메라(파노라마 카메라)(우)의 위치 관계를 나타내는 예시도.
도 4는 전방향 검지카메라(파노라마 카메라)와 PTZ카메라의 pan 각도 계산을 위한 예시도.
도 5는 전방향 검지카메라(파노라마 카메라)와 PTZ카메라 간의 x축과 y축 거리를 직접 측정하는 예시도.
도 6은 전방향 검지카메라(파노라마 카메라)와 PTZ카메라 간의 직선 거리 및 사이각 측정 예시도.
도 7은 전방향 검지카메라(파노라마 카메라)의 촬영영상 상의 X좌표와 실제 촬영영역 상의 X좌표의 관계를 나타내는 예시도.
도 8은 전방향 검지카메라(파노라마 카메라)의 촬영영상의 가로지름(W)와 세로지름(H)를 나타내는 예시도.
도 9는 전방향 검지카메라(파노라마 카메라)의 촬영영상 상의 Y 좌표와 실제 촬영영역 상의 Y좌표의 관계를 나타내는 예시도.
도 10은 PTZ카메라의 Tilt 각도 계산을 위한 예시도.
도 11은 추적대상 검출 시점 t1과 PTZ카메라 이동 직후 시점 t2의 상황을 나타내는 예시도.
도 12는 보상 시간에 따른 PTZ카메라에서의 대상의 관찰 가능 시간 (t 3 < t 4 < t 5 )을 나타내는 예시도.
표 1은 추적대상인 사람 검출 과정 및 분류확정을 위한 누적 확률 계산을 나타내는 예시표.
도 13은 전방향 검지카메라에서의 객체 인식, 추적, 사람 검출 및 위치 예측 과정을 나타내는 예시도.
도 14는 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법의 흐름도.
이하, 첨부된 도면들을 참조하면서 본 발명의 바람직한 실시 예에 따른 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법을 상세히 설명한다.
도 1은 전방향 검지카메라(파노라마 카메라)와 PTZ카메라가 서로 가리는 형상을 나타내는 예시도이며, 도 2는 전방향 검지카메라(파노라마 카메라)에 PTZ카메라가 촬영영역을 가리는 것을 나타내는 영상의 예시도이고, 도 3은 PTZ 카메라(좌)와 전방향 검지카메라(파노라마 카메라)(우)의 위치 관계를 나타내는 예시도.이며, 도 4는 전방향 검지카메라(파노라마 카메라)와 PTZ카메라의 pan 각도 계산을 위한 예시도이고, 도 5는 전방향 검지카메라(파노라마 카메라)와 PTZ카메라 간의 x축과 y축 거리를 직접 측정하는 예시도이며, 도 6은 전방향 검지카메라(파노라마 카메라)와 PTZ카메라 간의 직선 거리 및 사이각 측정 예시도이고, 도 7은 전방향 검지카메라(파노라마 카메라)의 촬영영상 상의 X좌표와 실제 촬영영역 상의 X좌표의 관계를 나타내는 예시도이며, 도 8은 전방향 검지카메라(파노라마 카메라)의 촬영영상의 가로지름(W)와 세로지름(H)를 나타내는 예시도이고, 도 9는 전방향 검지카메라(파노라마 카메라)의 촬영영상 상의 Y 좌표와 실제 촬영영역 상의 Y좌표의 관계를 나타내는 예시도이며, 도 10은 PTZ카메라의 Tilt 각도 계산을 위한 예시도이고, 도 11은 추적대상 검출 시점 t1과 PTZ카메라 이동 직후 시점 t2의 상황을 나타내는 예시도이며, 도 12는 보상 시간에 따른 PTZ카메라에서의 대상의 관찰 가능 시간 (t3 < t4 < t5)을 나타내는 예시도이고, 표 1은 추적대상인 사람 검출 과정 및 분류확정을 위한 누적 확률 계산을 나타내는 예시표이며, 도 13은 전방향 검지카메라에서의 객체 인식, 추적, 사람 검출 및 위치 예측 과정을 나타내는 예시도이며, 도 14는 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법의 흐름도이다.
전방향 검지카메라(파노라마 카메라)와 PTZ카메라를 이용하여 감시영역을 촬영하며 추적대상을 연계하여 추적하기 위한 PTZ카메라의 제어방법으로 도 14를 참조하여 먼저 전방향 검지카메라(파노라마 카메라)와 PTZ카메라를 설치한다.
전방향 검지카메라와 PTZ카메라로 감시영역을 촬영한다(S100). 여기서, 전방향 검지카메라만 촬영을 하고 있을 수 있으며, PTZ카메라는 촬영을 하고 있지 않을 수 있다.
전방향 검지카메라와 PTZ카메라의 상대위치를 산출한 후 추적대상을 검출한다. 움직임 객체를 검출하고 추적할 수 있다(S200).
전방향 검지카메라와 PTZ카메라에서 촬영되는 복수의 영상프레임 중 추적대상의 검출 이후 누적 영상프레임이 적어도 기설정된 소정 치 이상에서 검출된 추적대상의 분류를 확정한다(S300). 즉, 추적대상이 사람인지 자동차인지를 판별하여 확정하는 단계이다.
검출된 추적대상에 대한 전방향 검지카메라 및 PTZ카메라의 pan각도를 산출한다(S400).
전방향 검지카메라와 PTZ카메라의 거리 및 상대각도를 측정한다.
전방향 검지카메라에서 촬영된 이미지 상에서 x축과 y축에 대한 감시영역의 실제좌표를 산출한다.
추적대상에 대한 PTZ카메라의 Tilt각도를 산출한다.
전방향 검지카메라에서 검출된 추적대상의 위치, 이동방향 및 평균이동속도 중 적어도 하나를 검출한다.
상기의 산출된 수치들과 검출된 추적대상의 이동방향 및 평균이동속도 중 적어도 하나에 기초하여 PTZ카메라의 촬영영역의 중앙영역에 위치하도록 PTZ카메라를 이동시킬 수도 있고, 추적대상에 대한 복수의 영상프레임 중 적어도 2개 이상의 인접한 영상프레임에 상기 추적대상에 대한 이동위치를 예측하며, 예측된 이동위치로 PTZ카메라를 이동시킬 수도 있다(S500).
PTZ카메라로 감시영역의 추적대상을 촬영한다(S600).
전방향 검지카메라와 PTZ카메라의 설치 위치차이에 따른 Pan, Tilt 위치 오차 보상 방법에 대하여 설명한다.
전방향 검지카메라와 PTZ카메라를 동일한 위치에 설치할 수 없기 때문에 각 카메라를 서로 다른 위치에 설치하게 되는데, 너무 가깝게 설치하면 카메라끼리 서로가 서로를 가리는 영역이 커져서 가까이 설치할 수 없고, 너무 멀리 설치하면 위치 차이로 인한 Pan, Tilt 제어 오차가 그만큼 커지게 된다.
도 1과 2를 참조하면 Pan, Tilt 제어 오차가 커지는 것에 대한 것을 알 수 있다. 도 1은 전방향 검지카메라(파노라마 카메라)와 PTZ카메라가 서로 가리는 형상을 나타내는 예시도이다. 전방향 검지카메라(파노라마 카메라)와 PTZ카메라 다른 위치에 설치되었으나 상호측을 촬영하는 경우 서로가 가리게 되는 현상이 발생한다. 도 2는 전방향 검지카메라(파노라마 카메라)에 PTZ카메라가 촬영영역을 가리는 것을 나타내는 영상의 예시도와 같이 가리게 된다.
도 3은 PTZ 카메라(좌)와 전방향 검지카메라(파노라마 카메라)(우)의 위치 관계를 나타내는 예시도이다.
도 3에서 XR, YR, ZR는 각각 실제 공간 (Real World) 좌표계의 X, Y, Z축을 나타낸다. 파노라마 카메라가 실제 공간의 원점에서 높이 성분(zr p )만 가진다고 가정하면, PTZ 카메라는 파노라마 카메라에서 (xr p , yr p )만큼 떨어져 있고 높이 성분은 같다고 가정할 수 있다.
PTZ카메라가 추적대상을 향하게 하는 Pan 각도는 PTZ카메라 및 추적 대상의 Z축 위치와 무관하게 산출되므로, Pan 각도를 편하게 계산하기 위해서 전방향 검지카메라(파노라마 카메라), PTZ카메라 및 추적 대상을 X-Y 평면에 놓고 생각해 보면, PTZ 카메라의 Pan 각도는 전방향 검지카메라(파노라마 카메라)에서 계산한 Pan 각도 θ pan1 이 아니라, PTZ 카메라의 위치를 기준으로 계산한 θ pan2 가 되어야 한다.
도 4는 전방향 검지카메라(파노라마 카메라)와 PTZ카메라의 pan 각도 계산을 위한 예시도이다. 이를 참조하면,
일반적으로는 PTZ 카메라와 전방향 검지카메라(파노라마 카메라)의 위치 차이를 무시하고, 전방향 검지카메라(파노라마 카메라)를 기준으로 Pan 각도를 다음과 같이 구한다.
Figure 112020079955719-pat00001
하지만 정확하게는 PTZ 카메라를 기준으로 계산을 해야 하며, 다음과 같이 θ pan2 를 구할 수 있다.
Figure 112020079955719-pat00002
여기서, 도 6은 직선 거리 및 사이각 측정 예시도이며, 도 6을 참조하면 xr p , yr p 는 실제 공간상의 X축, Y축 상에서 전방향 검지카메라(파노라마 카메라)와 떨어진 X축 방향 거리, Y축 방향 거리를 직접 측정하거나 두 카메라 사이의 직선 거리(D E )와 PTZ 카메라 위치의 전방향 검지카메라(파노라마 카메라) 위치에 대한 각도(θ E )를 측정하여
Figure 112020079955719-pat00003
로 계산할 수도 있다.
그러나 도 5는 x축과 y축 거리를 직접 측정하는 예시도이며, 이를 참조하면, 수식 표현의 편의성을 위해서 xr p , yr p 는 각각
Figure 112020079955719-pat00004
와
Figure 112020079955719-pat00005
로 전개하지 않고 xr p , yr p 로 표기할 수도 있다.
실제 공간상의 좌표와 이미지 좌표간의 관계를 도 7과 도9와 같이 나타낼 수도 있다.
도 7은 전방향 검지카메라(파노라마 카메라)의 촬영영상 상의 X좌표와 실제 촬영영역 상의 X좌표의 관계를 나타내는 예시도이고, 도 8은 전방향 검지카메라(파노라마 카메라)의 촬영영상의 가로지름(W)와 세로지름(H)를 나타내는 예시도이다. 이를 참조하면,
Figure 112020079955719-pat00006
는 각각 이미지(Image) 좌표계의 X, Y축을 나타낸다.
360도 파노라마 이미지 상에서 대상의 X축 좌표가
Figure 112020079955719-pat00007
Figure 112020079955719-pat00008
이고 실제 공간상의 대상의 X축 좌표가
Figure 112020079955719-pat00009
Figure 112020079955719-pat00010
일 때, 아래와 같은 식이 성립한다.
Figure 112020079955719-pat00011
Figure 112020079955719-pat00012
위 두 식을 근거로, 아래와 같이
Figure 112020079955719-pat00013
Figure 112020079955719-pat00014
을 이용하여
Figure 112020079955719-pat00015
Figure 112020079955719-pat00016
를 구할 수 있다.
Figure 112020079955719-pat00017
도 9는 전방향 검지카메라(파노라마 카메라)의 촬영영상 상의 Y좌표와 실제 촬영영역 상의 Y좌표의 관계를 나타내는 예시도이다.
상기와 마찬가지로, 아래와 같이
Figure 112020079955719-pat00018
Figure 112020079955719-pat00019
을 이용하여
Figure 112020079955719-pat00020
Figure 112020079955719-pat00021
를 구할 수 있다.
Figure 112020079955719-pat00022
최종적으로 Pan 각도를 아래와 같이 계산할 수 있다.
Figure 112020079955719-pat00023
도 10은 PTZ카메라의 Tilt 각도 계산을 위한 예시도이다. 이를 참조하여 Tilt 각도를 구할 수 있다.
일반적으로는 PTZ 카메라와 파노라마 카메라의 위치 차이를 무시하고, 파노라마 카메라를 기준으로 Tilt 각도를 다음과 같이 구한다. (일반적인 경우)
Figure 112020079955719-pat00024
하지만 정확하게는 PTZ카메라를 기준으로 계산을 해야 하며, 다음과 같이
Figure 112020079955719-pat00025
Figure 112020079955719-pat00026
를 구할 수 있다.
Figure 112020079955719-pat00027
PTZ 카메라와 추적 대상간의 X-Y 평면상의 거리
Figure 112020079955719-pat00028
Figure 112020079955719-pat00029
는 아래와 같이 계산할 수 있다.
Figure 112020079955719-pat00030
앞에서 구한
Figure 112020079955719-pat00031
Figure 112020079955719-pat00032
과
Figure 112020079955719-pat00033
Figure 112020079955719-pat00034
식을 이용하면, 아래와 같이 계산할 수 있다.
Figure 112020079955719-pat00035
최종적으로
Figure 112020079955719-pat00036
Figure 112020079955719-pat00037
는 아래와 같이 나타낼 수 있다.
Figure 112020079955719-pat00038
추적대상의 위치를 예상하여 PTZ카메라의 이동 시간을 보상하는 방법에 대하여 설명한다.
도 11은 추적대상 검출 시점 t 1 과 PTZ카메라 이동 직후 시점 t 2 의 상황을 나타내는 예시도이다. 이를 참조하면, PTZ 카메라가 임의의 영역을 비추고 있는 상태에서, 전방향 검지카메라(파노라마 카메라)가 특정 대상을 검출하여 추적(이동) 명령을 전송하였을 때, PTZ카메라에서 대상이 검출된 시점과 PTZ 카메라가 해당 객체를 비추는 시점은 물리적으로 차이가 발생할 수밖에 없다.
도 12는 보상 시간에 따른 PTZ카메라에서의 대상의 관찰 가능 시간 (t3 < t4 < t5)을 나타내는 예시도이다.
주로 이동하는 대상이 관찰되기 때문에, 전방향 검지카메라(파노라마 카메라)에서 t 1 시간에 검출한 대상은 PTZ 카메라가 해당 지점으로 이동하는 동안 일정량 이동하여, t 2 (=t 1 +dt) 시간에는 검출된 위치가 아닌 다른 위치에 있게 되고, 이러한 과정에 의하여 PTZ 카메라는 항상 이동 물체가 지나간 자리를 비추게 되며, PTZ카메라가 더 이상 추적하지 않는다면 짧은 시간(t 3 ) 후에 대상은 PTZ 카메라의 촬영영역에서 벗어나게 된다.
따라서 PTZ 카메라가 대상을 비추기까지의 평균 이동 시간을 고려하여, 이 시간만큼 대상이 이동할 거리를 계산할 수 있다면, PTZ이동 후 대상이 촬영영역 중앙 부근에 위치하게 할 수도 있으며(도12 (b)), 혹은 대상을 더 오래 관찰할 수 있도록 할 수도 있다(도12 (c)).
일반적으로 영상에서 사람을 검출할 때, 신뢰도를 향상시키기 위해서 여러 프레임의 정보를 누적하여 사용한다.
Figure 112020079955719-pat00039
최소 4장의 연속된 프레임에서 누적 평균이 0.6 이상이 될 때 검출을 최종 결정한다고 가정하면, 표 1에서 1003번 프레임에서 추적대상이 처음으로 감지되었고, 이 추적대상이 사람일 확률은 0.5이며 아직은 확률도 기준치 이하이며 누적 프레임 수도 1장이므로 사람을 정상 검출했다고 알리지 않고 검출 및 추적 정보를 유지한다. 다음 프레임에서 해당 추적대상은 0.8의 확률로 사람임이 판단되고 누적 평균은 0.65로 기준치 이상이지만 누적 프레임 수가 기준에 미달하여 최종 확정으로 이어지지 않는다. 5프레임째인 1007 프레임에서 누적 평균이 0.7로 기준치를 넘어서기 때문에 최종적으로 추적대상이 사람으로 확정되었다고 판단하며, 이때 이전 4개의 프레임에서의 검출 위치 정보가 있기 때문에 처음 검출된 시점에서도 이를 이용하여 짧은 미래의 시점에 해당 추적대상의 위치를 예상할 수 있다.
도 13은 전방향 검지카메라에서의 객체 인식, 추적, 사람 검출 및 위치 예측 과정을 나타내는 예시도이다.
전방향 검지카메라(파노라마 카메라)와 PTZ카메라를 포함하는 추적연계시스템이 초당 4프레임 이미지 분석을 한다고 가정하고 PTZ키메라가 대상을 비추기까지 평균 1초의 시간이 걸린다고 가정하면, 1003번 프레임의 P 1 위치에서 처음 관찰된 사람이 1007번 프레임의 P 2 위치에서 사람으로 처음 인식이 되었고, 이때의 위치를 PTZ 카메라로 전송하면 PTZ 카메라는 P 2 위치로 이동하는 대신에 P 3 위치로 이동하는 편이 PTZ카메라의 화면 중앙에 대상이 관찰될 확률이 높다는 것이다.
위치 예측을 위해서 대상 객체의 추적 위치 정보를 1차 함수 혹은 2차 함수로 모델링하여 사용할 수도 있으나, 검출 전후 1 ~ 2초는 직선 이동한다는 가정 하에 단순하게 1초 전의 위치와 현재의 위치 차이를 1초간 이동한 거리로 보고, 2초 뒤의 위치를 예측함에 있어서 1초간 이동한 거리를 2배하여 사용할 수 있다.
위치 정보는 전방향 검지카메라(파노라마 카메라) 촬영영상 상에서의 픽셀 위치가 아니라, 실제 공간상에서의 위치 (xr t , yr t , zr t )를 계산하여 사용해야 실제 공간에서 등속 이동하는 물체의 속도를 제대로 반영할 수 있다. 대상의 (xr t , yr t ) 좌표를 계산하는 방법은 위에 제시되었고, zr t =0으로 가정한다.
상기의 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법으로 인하여 서로 다른 위치에 설치된 전방향 검지카메라와 PTZ카메라의 위치를 감안하여 산출된 pan각도에 따라 PTZ카메라가 정확하고 원활하게 이동하여 PTZ카메라 촬영영역 중앙에 추적대상이 위치하도록 하기 쉬우므로 연계추적의 효율성이 향상될 수 있다.
여기서, 전방향 검지카메라와 PTZ카메라의 거리 및 상대각도를 측정하는 단계로 인하여PTZ카메라의 이동경로를 정확하게 산출할 수 있다. 그리고 전방향 검지카메라와 PTZ카메라를 설치하는 단계 및 전방향 검지카메라와 PTZ카메라로 감시영역을 촬영하는 단계로 인하여 전방향 검지카메라와 PTZ카메라를 이용하여 감시영역을 촬영하며 추적대상을 연계 추적할 수 있다.
여기서, 전방향 검지카메라에서 촬영된 이미지 상에서 x축과 y축에 대한 감시영역의 실제좌표를 산출하는 단계로 인하여 정확한 위치로 PTZ카메라를 이동시킬 수 있다. 그리고 추적대상에 대한 PTZ카메라의 Tilt각도를 산출하여 추적대상을 광범위하게 추적할 수 있도록 할 수 있다.
여기서, 전방향 검지카메라에서 검출된 추적대상의 위치, 이동방향 및 평균이동속도 중 적어도 하나를 검출하는 단계를 더 포함하고, 검출된 추적대상의 이동방향 및 평균이동속도 중 적어도 하나에 기초하여 PTZ카메라를 이동시키면 추적대상의 이동에 대하여 정확하게 알 수 있으므로 PTZ카메라를 정확한 위치로 이동시킬 수 있다.
그리고 검출된 추적대상이 PTZ카메라의 촬영영역의 중앙영역에 위치하도록 이동시키면 연계 추적의 효율이 향상될 수 있다. 여기서, 전방향 검지카메라와 PTZ카메라에서 촬영되는 복수의 영상프레임 중 추적대상의 검출 이후 누적 영상프레임이 적어도 기설정된 소정 치 이상에서 검출된 추적대상의 분류를 확정하면 추적대상의 분류를 정확하게 판단할 수 있으므로 연계 추적 효율이 향상될 수 있다. 그리고 추적대상에 대한 복수의 영상프레임 중 적어도 2개 이상의 인접한 영상프레임에 추적대상에 대한 이동위치를 예측하며, 예측된 이동위치로 PTZ카메라로 이동시키면 예측된 위치로 PTZ카메라를 이동시켜 촬영영역 중앙에 추적대상이 위치하도록 하기 쉬우므로 연계 추적이 원활하게 이루어지도록 할 수 있다.

Claims (10)

  1. 다중카메라 연계추적을 위한 AI기반의 복수 이동물체추적 Embedded 영상처리시스템을 통한 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법에 있어서,
    상기 전방향 검지카메라와 상기 PTZ카메라의 상대위치를 산출하는 단계;
    추적대상을 검출하는 단계;
    상기 검출된 추적대상에 대한 상기 전방향 검지카메라 및 상기 PTZ카메라의 pan각도를 산출하는 단계; 및
    상기 산출된 pan각도에 기초하여 상기 PTZ카메라를 이동하는 단계; 를 포함하는
    상기 전방향 검지카메라에서 상기 검출된 추적대상의 위치, 이동방향 및 평균이동속도 중 적어도 하나를 검출하는 단계; 및
    상기 검출된 추적대상의 이동방향 및 평균이동속도 중 적어도 하나에 기초하여 상기 검출된 추적대상에 대한 복수의 영상프레임 중 적어도 2개 이상의 인접한 영상프레임에 상기 검출된 추적대상에 대한 이동위치를 예측하며, 예측된 이동위치로 상기 PTZ카메라를 상기 검출된 추적대상이 상기 PTZ카메라의 촬영영역의 중앙영역에 위치하도록 이동시키는 단계를 포함하며,
    상기 PTZ카메라의 pan각도를 산출하는 단계는,
    상기 Pan 각도를 아래와 같이 계산하는 PTZ카메라 제어방법.

    Figure 112022004677956-pat00054

    θpan2 : PTZ카메라의 pan각도, xit: 360도 파노라마 이미지 상에서 대상의 X축 좌표, xrt: 실제 공간상의 대상의 X축 좌표, yit: 360도 파노라마 이미지 상에서 대상의 Y축 좌표, yrt: 실제 공간상의 대상의 Y축 좌표, xrp: 실제 공간상의 X축 상에서 전방향 검지카메라(파노라마 카메라)와 떨어진 X축 방향 거리, yrp : 실제 공간상의 Y축 상에서 전방향 검지카메라(파노라마 카메라)와 떨어진 Y축 방향 거리, zrp : 실제 공간상의 Z축 상에서 전방향 검지카메라(파노라마 카메라)와 떨어진 Z축 방향 거리, W: 전방향 검지카메라(파노라마 카메라)의 촬영영상의 가로지름, H: 전방향 검지카메라(파노라마 카메라)의 촬영영상의 세로지름.
    PTZ카메라 제어방법.
  2. 제1항에 있어서,
    상기 전방향 검지카메라와 상기 PTZ카메라의 거리 및 상대각도를 측정하는 단계를 더 포함하는
    PTZ카메라 제어방법.
  3. 제1항에 있어서,
    상기 전방향 검지카메라와 상기 PTZ카메라를 설치하는 단계; 및
    상기 전방향 검지카메라와 상기 PTZ카메라로 감시영역을 촬영하는 단계를 더 포함하는
    PTZ카메라 제어방법.
  4. 제3항에 있어서,
    상기 전방향 검지카메라에서 촬영된 이미지 상에서 x축과 y축에 대한 상기 감시영역의 실제좌표를 산출하는 단계를 더 포함하는
    PTZ카메라 제어방법.
  5. 제1항에 있어서,
    상기 추적대상에 대한 상기 PTZ카메라의 Tilt각도를 산출하는 단계를 더 포함하는
    PTZ카메라 제어방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제1항에 있어서,
    상기 전방향 검지카메라와 상기 PTZ카메라에서 촬영되는 복수의 영상프레임 중 상기 추적대상의 검출 이후 누적 영상프레임이 적어도 기설정된 소정 치 이상에서 상기 검출된 추적대상의 분류를 확정하는
    PTZ카메라 제어방법.
  10. 제9항에 있어서,
    상기 추적대상에 대한 복수의 영상프레임 중 적어도 2개 이상의 인접한 영상프레임에 상기 추적대상에 대한 이동위치를 예측하며, 상기 예측된 이동위치로 상기 PTZ카메라를 이동시키는
    PTZ카메라 제어방법.
KR1020200095046A 2020-07-30 2020-07-30 다중카메라 연계추적을 위한 AI기반의 복수 이동물체추적 Embedded 영상처리시스템을 통한 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법 KR102362695B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200095046A KR102362695B1 (ko) 2020-07-30 2020-07-30 다중카메라 연계추적을 위한 AI기반의 복수 이동물체추적 Embedded 영상처리시스템을 통한 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200095046A KR102362695B1 (ko) 2020-07-30 2020-07-30 다중카메라 연계추적을 위한 AI기반의 복수 이동물체추적 Embedded 영상처리시스템을 통한 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법

Publications (2)

Publication Number Publication Date
KR20220015040A KR20220015040A (ko) 2022-02-08
KR102362695B1 true KR102362695B1 (ko) 2022-02-14

Family

ID=80252324

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200095046A KR102362695B1 (ko) 2020-07-30 2020-07-30 다중카메라 연계추적을 위한 AI기반의 복수 이동물체추적 Embedded 영상처리시스템을 통한 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법

Country Status (1)

Country Link
KR (1) KR102362695B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100585822B1 (ko) * 2004-04-26 2006-06-01 주식회사 일리시스 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그시스템의 제어방법
KR101019384B1 (ko) 2009-03-13 2011-03-07 중앙대학교 산학협력단 전방위 카메라 및 팬/틸트/줌 카메라를 이용한 무인 감시 장치 및 방법
JP2014154898A (ja) 2013-02-05 2014-08-25 Nissan Motor Co Ltd 物体検知装置
KR101859883B1 (ko) 2017-09-22 2018-05-18 (주)엔토스정보통신 네트워크 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101347450B1 (ko) * 2012-04-10 2014-01-09 한국기술교육대학교 산학협력단 듀얼 카메라를 이용한 화상 감지 방법 및 장치
KR20150074569A (ko) * 2013-12-24 2015-07-02 경북대학교 산학협력단 영상 처리 장치 및 그 방법
KR102108391B1 (ko) * 2018-07-18 2020-05-12 주식회사 영국전자 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100585822B1 (ko) * 2004-04-26 2006-06-01 주식회사 일리시스 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그시스템의 제어방법
KR101019384B1 (ko) 2009-03-13 2011-03-07 중앙대학교 산학협력단 전방위 카메라 및 팬/틸트/줌 카메라를 이용한 무인 감시 장치 및 방법
JP2014154898A (ja) 2013-02-05 2014-08-25 Nissan Motor Co Ltd 物体検知装置
KR101859883B1 (ko) 2017-09-22 2018-05-18 (주)엔토스정보통신 네트워크 장치

Also Published As

Publication number Publication date
KR20220015040A (ko) 2022-02-08

Similar Documents

Publication Publication Date Title
US7385626B2 (en) Method and system for performing surveillance
US8170277B2 (en) Automatic tracking apparatus and automatic tracking method
US8488001B2 (en) Semi-automatic relative calibration method for master slave camera control
US7920718B2 (en) Multi-zone passageway monitoring system and method
US8189051B2 (en) Moving object detection apparatus and method by using optical flow analysis
Senior et al. Acquiring multi-scale images by pan-tilt-zoom control and automatic multi-camera calibration
KR100470931B1 (ko) 템플레이트 매칭을 이용한 물체추적방법 및 장치
US20100013917A1 (en) Method and system for performing surveillance
KR100676232B1 (ko) 물체추적방법, 물체추적장치 및 물체추적을 행하기 위한 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
EP1560160A2 (en) A multiple camera system for obtaining high resolution images of objects
KR20010085692A (ko) 침입물체 감시방법 및 침입물체 감시시스템
JP3814779B2 (ja) 侵入者自動追尾方法および装置並びに画像処理装置
US20040179729A1 (en) Measurement system
CN105554443A (zh) 视频图像中异响来源的定位方法及装置
JP2018205870A (ja) オブジェクト追跡方法および装置
KR102362695B1 (ko) 다중카메라 연계추적을 위한 AI기반의 복수 이동물체추적 Embedded 영상처리시스템을 통한 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법
CN113392714A (zh) 一种聚众事件检测方法及系统
WO2005088962A1 (ja) 追尾装置、及びモーションキャプチャ装置
JPH1021408A (ja) 画像抽出装置および方法
JP4752319B2 (ja) 画像認識装置及び画像認識方法
KR102441436B1 (ko) 보안 감시 시스템 및 이를 이용한 보안 감시 방법
JP3758511B2 (ja) 物体検出装置及び物体検出プログラム
JP2006033188A (ja) 監視装置および監視方法
JP4744789B2 (ja) 物体識別方法及び物体識別装置
KR20100050264A (ko) 줌 카메라의 광축 오차 보상 시스템, 그 보상 방법 및 광축오차 보상 기능이 구현된 줌 카메라

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant