KR20180032400A - 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치 및 그 방법 - Google Patents

다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치 및 그 방법 Download PDF

Info

Publication number
KR20180032400A
KR20180032400A KR1020160121581A KR20160121581A KR20180032400A KR 20180032400 A KR20180032400 A KR 20180032400A KR 1020160121581 A KR1020160121581 A KR 1020160121581A KR 20160121581 A KR20160121581 A KR 20160121581A KR 20180032400 A KR20180032400 A KR 20180032400A
Authority
KR
South Korea
Prior art keywords
information
image
tracking
camera
objects
Prior art date
Application number
KR1020160121581A
Other languages
English (en)
Inventor
엄기문
김광용
김유경
이호재
조기성
함경준
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160121581A priority Critical patent/KR20180032400A/ko
Publication of KR20180032400A publication Critical patent/KR20180032400A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/1961—Movement detection not involving frame subtraction, e.g. motion detection on the basis of luminance changes in the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 스포츠 경기 등 다수의 인물 객체가 동시에 움직이는 환경에서 다수의 고정 카메라를 이용하여 영상 내 객체 정보를 추출 다중 객체 추적 기술에 관한 것으로써, 영상 가공부, 객체 위치정보 생성부, 객체 부가 정보 생성부, 객체 위치변화 판단부, 객체 최종위치 확정부를 포함하며, 객체간 겹침 등 차폐현상이나 객체가 사라지거나 나타날 수 있는 객체의 위치 변화 상황을 객체 부가 정보 계산을 통해 예측하고, 이러한 상황이 발생한 경우 미리 수집되고 예측된 정보를 이용하여 객체의 위치를 최대한 보정하여 추적 실패를 감소하도록 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치 및 그 방법을 제공하는 것을 목적으로 한다.

Description

다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치 및 그 방법{multiple object tracking apparatus based Object information of multiple camera and method therefor}
본 발명은 스포츠 경기 등 다수의 인물 객체가 동시에 움직이는 환경에서 다수의 고정 카메라를 이용하여 영상 내 객체 정보를 추출 다중 객체 추적 기술에 관한 것이다.
종래기술로서 고정 또는 이동식 카메라를 이용한 객체 추적 분야에 대한 기술은 활발히 연구되고 있으며 주로 실내 외 CCTV를 이용한 보안 서비스, 스포츠 경기 분야 내 경기 분석을 위한 서비스로 활용되고 있다.
기존의 고정 또는 이동식 카메라를 이용한 객체 추적 방법으로는 실내 스포츠 경기를 천장에 설치한 두 대의 고정 카메라를 이용해 촬영하면서 선수 검출과 그 선수의 팀 정보에 대한 식별 후 실시간으로 선수를 추적하는 방법이 있다.
이러한 기술은 비교적 객체간 겹침이 있는 경우에도 구분이 다른 옆에서 찍거나 대각선 방향에서 촬영한 카메라를 이용한 객체 추적보다 오류가 적다는 장점이 있으나, 인접한 객체의 컬러가 유사한 경우에는 객체를 놓치거나 객체 id가 뒤바뀌는 오류가 발생하는 단점이 있다.
또 다른 고정 또는 이동식 카메라를 이용한 객체 추적 방법으로는 다수의 카메라를 경기 장 내에 설치하고, 각각의 카메라에서 추적된 결과를 공유하여 객체를 추적하는 방법이 있다.
이러한 기술은 한 대의 카메라에서 추적을 실패했을 경우 다른 카메라에 의해 계속 추적을 할 수 있는 장점이 있으나, 비교적 많은 수의 카메라 영상을 이용하게 되어 상대적으로 계산량도 많고, 비용이 많이 든다는 단점이 존재한다.
또한 측면이나 대각선 시점에서만 추적을 하므로 천정에 설치된 카메라보다 시야가 제한적일 수 있는 제한이 있을 수 있어 차폐 등의 문제에 취약할 수 있으며, 차폐 등으로 인하여 객체가 겹쳤다 떨어졌을 때 오추적이 발생할 수 있다.
본 발명은 객체간 겹침 등 차폐현상이나 객체가 사라지거나 나타날 수 있는 객체의 위치 변화 상황을 객체 부가 정보 계산을 통해 예측하고, 이러한 상황이 발생한 경우 미리 수집되고 예측된 정보를 이용하여 객체의 위치를 최대한 보정하여 추적 실패를 감소하도록 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치 및 그 방법을 제공하는 것을 목적으로 한다.
본 발명의 실시 예에 따르면 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치는 적어도 두 개의 카메라로부터 획득한 영상을 분석하여 카메라 영상의 왜곡을 보정함으로써 영상을 가공하는 영상 가공부; 상기 보정된 영상으로부터 추적할 객체를 검출하고, 상기 검출된 객체의 위치를 추적하여 객체 위치정보를 생성하는 객체 위치정보 생성부; 상기 객체 위치정보를 분석하여 객체 움직임 정보, 객체 간 거리, 영상 영역 내 객체 개수를 포함하는 객체 부가 정보를 생성하는 객체 부가 정보 생성부; 상기 객체 부가 정보를 이용하여 객체의 위치변화가 존재하는지 여부를 판단하는 객체 위치변화 판단부; 및 객체의 위치변화가 존재한다고 판단되는 경우 상기 적어도 두 개의 카메라가 촬영한 각각의 영상을 분석하여 개별 객체위치를 산정하고, 상기 개별 객체위치의 차이가 미리 설정된 임계 값보다 큰 경우 객체를 재검출하며, 객체 변화가 존재하지 않다고 판단되거나 개별 객체위치의 차이가 미리 설정된 임계 값보다 작은 경우 상기 객체 위치정보를 최종 위치로 확정하는 객체 최종위치 확정부를 포함할 수 있다.
본 발명의 일 실시 예에 따르면 상기 영상 가공부는, 적어도 두 개의 카메라로부터 획득한 영상을 분석하여 각 카메라 간의 위치 관계에 대한 호모그래피 정보 및 렌즈 왜곡 파라미터를 획득하는 보정정보 획득부; 및 획득한 상기 호모그래피 정보 및 렌즈 왜곡 파라미터를 이용하여 카메라 영상의 왜곡을 보정하는 영상 보정부를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면 상기 객체 위치정보 생성부는, 배경 영상과의 색상 차이 계산을 통해 각 객체영역을 검출하는 객체영역 검출부; 및 검출된 상기 각 객체영역의 중심점을 산출하고, 산출된 중심점을 이용하여 각 객체의 추적을 수행하여 객체의 위치에 대한 객체 위치정보를 생성하는 객체 추적부를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면 상기 객체 추적부는, 상기 객체의 추적은 미리 정해진 주기마다 각 카메라 별로 수행되며, 객체의 추적 시에 기준 카메라는 객체 움직임 영역을 수직으로 촬영할 수 있는 카메라일 수 있다.
본 발명의 일 실시 예에 따르면 상기 객체 부가 정보 생성부는, 객체의 움직임 벡터의 형태로 크기와 방향을 계산하는 객체 움직임 정보 생성부; 영상 내 객체 위치 기반으로 객체 간 유클리디안 거리를 계산하는 객체 간 거리 정보 생성부; 추적하는 객체의 개수를 모두 합산하여 계산하는 객체 개수 정보 생성부를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면 상기 객체 위치변화 판단부는, 상기 객체 움직임 정보를 이용하여 예측한 객체 예상 위치가 영상 범위를 벗어나는지 여부, 상기 객체 간 거리 정보를 이용하여 객체와 객체간의 중심점 거리가 미리 설정된 임계 값을 초과하는지 여부, 객체 개수 정보를 이용하여 이전 주기와 현재 주기의 객체 개수가 동일한지 여부에 따라 객체의 위치변화가 존재하는지 여부를 판단할 수 있다.
본 발명의 일 실시 예에 따르면 상기 객체 최종위치 확정부는, 객체의 위치변화가 존재한다고 판단되는 경우 상기 객체를 촬영하고 있는 별도 카메라의 존재 유무와 호모그래피를 이용한 영상 내 객체 위치를 확인하고, 기준 카메라 영상 내 객체 위치와 기타 카메라 영상 내 객체 위치를 비교하여 위치 차이가 미리 설정된 임계 값보다 큰 객체는 추적 실패로 판단하여 객체를 재검출 하는 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치.
본 발명의 일 실시 예에 따르면 상기 객체 최종위치 확정부는, 상기 객체의 재검출을 위하여 상기 획득한 영상의 전체 영역에 대해 수행하거나, 상기 객체 간 거리 정보를 이용하여 객체와 객체간 중심점 거리가 미리 설정된 임계 값을 초과하여 객체의 위치변화가 존재한다고 판단되는 경우 상기 객체와 객체간 중심점 거리의 미리 정해진 배수만큼의 영역을 재검출 대상영역으로 정하여, 상기 재검출 대상영역에 대해 상기 객체의 재검출을 수행할 수 있다.
본 발명의 일 실시 예에 따르면 상기 객체 추적부는, 검출된 상기 객체 영역 중에 데이터 베이스에 저장된 객체 얼굴, 객체 식별자 정보와 대응되는 영역이 존재하는 경우, 상기 영역을 이용하여 객체의 위치에 대한 객체 식별정보를 생성할 수 있다.
본 발명의 일 실시 예에 따르면 상기 객체 최종위치 확정부는, 상기 객체 식별정보, 다중 카메라 간 객체 위치정보, 재검출된 객체 위치정보를 이용하여 가장 신뢰성이 높은 객체의 ID를 재검출된 객체에 할당하여 객체 위치정보를 최종 위치로 확정하는 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치.
본 발명의 실시 예에 따르면 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 방법은 적어도 두 개의 카메라로부터 획득한 영상을 분석하여 카메라 영상의 왜곡을 보정함으로써 영상을 가공하는 단계; 상기 보정된 영상으로부터 추적할 객체를 검출하고, 상기 검출된 객체의 위치를 추적하여 객체 위치정보를 생성하는 단계; 상기 객체 위치정보를 분석하여 객체 움직임 정보, 객체 간 거리, 영상 영역 내 객체 개수를 포함하는 객체 부가 정보를 생성하는 단계; 상기 객체 부가 정보를 이용하여 객체의 위치변화가 존재하는지 여부를 판단하는 단계; 및 객체의 위치변화가 존재한다고 판단되는 경우 상기 적어도 두 개의 카메라가 촬영한 각각의 영상을 분석하여 개별 객체위치를 산정하고, 상기 개별 객체위치의 차이가 미리 설정된 임계 값보다 큰 경우 객체를 재검출하며, 객체 변화가 존재하지 않다고 판단되거나 개별 객체위치의 차이가 미리 설정된 임계 값보다 작은 경우 상기 객체 위치정보를 최종 위치로 확정하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면 상기 영상을 가공하는 단계는, 적어도 두 개의 카메라로부터 획득한 영상을 분석하여 각 카메라 간의 위치 관계에 대한 호모그래피 정보 및 렌즈 왜곡 파라미터를 획득하는 단계; 및 획득한 상기 호모그래피 정보 및 렌즈 왜곡 파라미터를 이용하여 카메라 영상의 왜곡을 보정하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면 상기 객체 위치정보를 생성하는 단계는, 배경 영상과의 색상 차이 계산을 통해 각 객체영역을 검출하는 단계; 및 검출된 상기 각 객체영역의 중심점을 산출하고, 산출된 중심점을 이용하여 각 객체의 추적을 수행하여 객체의 위치에 대한 객체 위치정보를 생성하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면 상기 객체의 위치에 대한 객체 위치정보를 생성하는 단계는, 상기 객체의 추적은 미리 정해진 주기마다 각 카메라 별로 수행되며, 객체의 추적 시에 기준 카메라는 객체 움직임 영역을 수직으로 촬영할 수 있는 카메라일 수 있다.
본 발명의 일 실시 예에 따르면 상기 객체 부가 정보를 생성하는 단계는, 체의 움직임 벡터의 형태로 크기와 방향을 계산하는 단계; 상 내 객체 위치 기반으로 객체 간 유클리디안 거리를 계산하는 단계; 및 추적하는 객체의 개수를 모두 합산하여 계산하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면 상기 객체의 위치변화가 존재하는지 여부를 판단하는 단계는, 상기 객체 움직임 정보를 이용하여 예측한 객체 예상 위치가 영상 범위를 벗어나는지 여부, 상기 객체 간 거리 정보를 이용하여 객체와 객체간의 중심점 거리가 미리 설정된 임계 값을 초과하는지 여부, 객체 개수 정보를 이용하여 이전 주기와 현재 주기의 객체 개수가 동일한지 여부에 따라 객체의 위치변화가 존재하는지 여부를 판단할 수 있다.
본 발명의 일 실시 예에 따르면 상기 객체 위치정보를 최종 위치로 확정하는 단계는, 객체의 위치변화가 존재한다고 판단되는 경우 상기 객체를 촬영하고 있는 별도 카메라의 존재 유무와 호모그래피를 이용한 영상 내 객체 위치를 확인하고, 기준 카메라 영상 내 객체 위치와 기타 카메라 영상 내 객체 위치를 비교하여 위치 차이가 미리 설정된 임계 값보다 큰 객체는 추적 실패로 판단하여 객체를 재검출할 수 있다.
본 발명의 일 실시 예에 따르면 상기 객체 위치정보를 최종 위치로 확정하는 단계는, 상기 객체의 재검출을 위하여 상기 획득한 영상의 전체 영역에 대해 수행하거나, 상기 객체 간 거리 정보를 이용하여 객체와 객체간 중심점 거리가 미리 설정된 임계 값을 초과하여 객체의 위치변화가 존재한다고 판단되는 경우 상기 객체와 객체간 중심점 거리의 미리 정해진 배수만큼의 영역을 재검출 대상영역으로 정하여, 상기 재검출 대상영역에 대해 상기 객체의 재검출을 수행할 수 있다.
본 발명의 일 실시 예에 따르면 상기 객체의 위치에 대한 객체 위치정보를 생성하는 단계는, 검출된 상기 객체 영역 중에 데이터 베이스에 저장된 객체 얼굴, 객체 식별자 정보와 대응되는 영역이 존재하는 경우, 상기 영역을 이용하여 객체의 위치에 대한 객체 식별정보를 생성할 수 있다.
본 발명의 일 실시 예에 따르면 상기 객체 위치정보를 최종 위치로 확정하는 단계는, 상기 객체 식별정보, 다중 카메라 간 객체 위치정보, 재검출된 객체 위치정보를 이용하여 가장 신뢰성이 높은 객체의 ID를 재검출된 객체에 할당하여 객체 위치정보를 최종 위치로 확정할 수 있다.
본 발명에 따르면 사전에 객체 변화가 발생할 것을 객체 부가 정보 계산을 통하여 예측 및 감지하고, 배경 영상과의 비교에 의한 객체 재검출, 객체 식별, 다중 카메라 간 추적 위치 정보 확인 등을 통해 객체 추적 위치 보정을 수행함으로써 객체 추적 실패나, 오추적을 방지할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치의 구성도이다.
도 2는 도 1에 도시된 영상 가공부의 세부 구성도이다.
도 3은 도 1에 도시된 객체 위치정보 생성부의 세부 구성도이다.
도 4는 도 1에 도시된 객체 부가정보 생성부의 세부 구성도이다.
도 5는 본 발명의 일 실시 예에 따른 다중 카메라 영상의 객체 정보 기반 다중 객체 추적방법을 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 도면을 참조하여 본 발명의 실시 예에 따른 클럭 제어를 이용한 통신 시스템 소모전력 제어장치 및 그 방법에 대하여 설명한다.
도 1은 본 발명의 실시 예에 따른 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치의 구성도이다.
도 1을 참조하면 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치는 영상 가공부(100), 객체 위치정보 생성부(200), 객체 부가 정보 생성부(300), 객체 위치변화 판단부(400), 객체 최종위치 확정부(500)를 포함할 수 있다.
영상 가공부(100)는 적어도 두 개의 카메라로부터 획득한 영상을 분석하여 카메라 영상의 왜곡을 보정함으로써 영상을 가공할 수 있다.
본 발명의 일 실시 예에 따르면 영상 가공부(100)는 최소 두 개 이상의 고정 카메라와 카메라 간 위치 관계를 기술하는 호모그래피(homography) 정보 및 렌즈 왜곡 파라미터 등을 산출하여 렌즈 왜곡 등의 카메라 영상 왜곡을 보정할 수 있다.
본 발명의 일 실시 예 따르면 먼저 고정 카메라는 2대 이상이 설치되며, 그 중 최소 한 대는 스포츠 경기장 천장과 같이 촬영 영역 전체가 수직으로 다 보이는 꼭대기에 설치될 수 있으며, 1대 이상의 고정 카메라는 관중석과 같이 촬영 영역을 측면에서 내려다볼 수 있는 위치에 설치될 수 있다.
영상 가공부(100)는 도 2를 참조하여 더 자세히 설명하도록 한다.
객체 위치정보 생성부(200)는 보정된 영상으로부터 추적할 객체를 검출하고, 검출된 객체의 위치를 추적하여 객체 위치정보를 생성할 수 있다.
본 발명의 일 실시 예에 따르면 객체 위치정보 생성부(200)는 보정된 영상을 분석하여 추적할 객체를 자동으로 검출할 수 있으며, 검출된 객체의 위치를 추적할 수 있다.
객체 위치정보 생성부(200)는 도 3을 참조하여 더 자세하게 설명하도록 한다.
객체 부가 정보 생성부(300)는 객체 위치정보를 분석하여 객체 움직임 정보, 객체 간 거리, 영상 영역 내 객체 개수를 포함하는 객체 부가 정보를 생성할 수 있다.
본 발명의 일 실시 예에 따르면 객체 위치정보를 분석하여 객체 추적 중에 객체 움직임 정보, 객체 간 거리, 영상 영역 내 객체 개수에 대한 정보를 산출하여 객체 움직임 정보, 객체 간 거리, 영상 영역 내 객체 개수를 포함하는 객체 부가 정보를 생성할 수 있다.
객체 부가 정보 생성부(300)는 도 4을 참조하여 더 자세하게 설명하도록 한다.
객체 위치변화 판단부(400)는 객체 부가 정보를 이용하여 객체의 위치변화가 존재하는지 여부를 판단할 수 있다.
본 발명의 일 실시 예에 따르면 객체 위치변화 판단부(400)는 객체 부가 정보를 기반으로 객체가 겹치거나, 나타나거나 사라지는 등의 객체 위치의 변화를 예측함으로써 객체의 위치변화가 존재하는지 여부를 판단할 수 있다.
본 발명의 일 실시 예에 따르면 객체 위치변화 판단부(400)는 객체 움직임 정보를 이용하여 예측한 객체 예상 위치가 영상 범위를 벗어나는지 여부에 따라 체의 위치변화가 존재하는지를 판단할 수 있다.
또한 객체 간 거리 정보를 이용하여 객체와 객체간의 중심점 거리가 미리 설정된 임계 값을 초과하는지 여부에 따라 체의 위치변화가 존재하는지를 판단할 수도 있다.
추가적으로 객체 개수 정보를 이용하여 이전 주기와 현재 주기의 객체 개수가 동일한지 여부에 따라 객체의 위치변화가 존재하는지를 판단할 수 있다.
본 발명의 일 실시 예에 따르면 객체의 위치변화가 존재하는지를 판단하기 위하여 상술한 3가지 방법 중에 적어도 하나를 이용할 수 있다.
본 발명의 일 실시 예에 따르면 객체의 위치변화가 존재하는지를 판단하기 위하여 상술한 3가지 방법 중에 적어도 하나를 이용하는 경우, 그 중 한 가지 방법을 통해서라도 객체의 위치변화가 존재한다는 결과가 도출되면 객체의 위치변화가 존재하는 것으로 판단할 수 있다.
객체 최종위치 확정부(500)는 객체의 위치변화가 존재한다고 판단되는 경우 상기 적어도 두 개의 카메라가 촬영한 각각의 영상을 분석하여 개별 객체위치를 산정하고, 개별 객체위치의 차이가 미리 설정된 임계 값보다 큰 경우 객체를 재검출하며, 객체 변화가 존재하지 않다고 판단되거나 개별 객체위치의 차이가 미리 설정된 임계 값보다 작은 경우 상기 객체 위치정보를 최종 위치로 확정할 수 있다.
본 발명의 일 실시 예에 따르면 객체의 위치변화가 존재한다고 판단되는 경우 상기 객체를 촬영하고 있는 별도 카메라의 존재 유무와 호모그래피를 이용한 영상 내 객체 위치를 확인하고, 기준 카메라 영상 내 객체 위치와 기타 카메라 영상 내 객체 위치를 비교하여 위치 차이가 미리 설정된 임계 값보다 큰 객체는 추적 실패로 판단하여 객체를 재검출할 수 있다.
본 발명의 일 실시 예에 따르면 객체의 위치변화가 존재한다고 판단되는 경우, 객체 변화가 발생하였다고 간주하여 해당되는 객체들을 촬영하고 있는 다른 고정 카메라 존재 유무와 호모그래피를 이용한 영상 내 객체 위치를 확인하여 천정에 설치된 수직 촬영 카메라(기준 카메라)의 영상 내 객체 위치와 다른 수평 카메라 (고정 카메라)의 영상 내 객체 위치를 비교할 수 있다.
이때 수직 촬영 카메라의 영상 내 객체 위치와 다른 수평 카메라의 영상 내 객체 위치 사이에 존재하는 위치 차이가 미리 정해진 임계 값보다 큰 객체는 추적 실패로 할 수 있다.
그리고 추적 실패로 판단된 객체를 대상으로 객체 재검출을 수행할 수 있다.
본 발명의 일 실시 예에 따르면 객체의 재검출을 위하여 상기 획득한 영상의 전체 영역에 대해 수행할 수 있다.
본 발명의 또 다른 일시 예에 따르면 객체 간 거리 정보를 이용하여 객체와 객체간 중심점 거리가 미리 설정된 임계 값을 초과하여 객체의 위치변화가 존재한다고 판단되는 경우 객체와 객체간 중심점 거리의 미리 정해진 배수만큼의 영역을 재검출 대상영역으로 정하여, 재검출 대상영역에 대해 객체의 재검출을 수행할 수 있다.
상기 실시 예에 따르면 재검출 대상영역에 대해서만 객체의 재검출을 수행하게 되므로 전체 영역에 대해서 객체의 재검출을 수행할 때 보다 더 적은 연산능력, 시간 등으로 수행이 가능한 효과가 존재한다.
본 발명의 일 실시 예에 따르면 객체 최종위치 확정부(500)는 객체 식별정보, 다중 카메라 간 객체 위치정보, 재검출된 객체 위치정보를 이용하여 가장 신뢰성이 높은 객체의 ID를 재검출된 객체에 할당하여 객체 위치정보를 최종 위치로 확정할 수 있다.
본 발명의 일 실시 예에 따르면 객체의 검출, 객체 위치정보 생성, 객체 부가정보 생성, 객체 위치변화 판단, 객체의 재검출에 따른 객체 위치 보정 등의 절차를 종료 명령을 수신할 때까지 반복해서 수행함으로써 객체 사라짐/나타남 등을 미리 예측/감지 하면서 추적 오류를 최소화하면서 계속 추적을 수행할 수 있게 된다. 만약 이러한 객체 추적 위치 자동 보정 과정이 모두 실패할 경우에는 선택적으로 사용자 개입 기능을 두어 오류를 보정할 수 있다.
도 2는 도 1에 도시된 영상 가공부의 세부 구성도이다.
도 2를 참조하면 영상 가공부(100)은 보정정보 획득부(110), 영상 보정부(120)를 더 포함할 수 있다.
보정정보 획득부(110)는 적어도 두 개의 카메라로부터 획득한 영상을 분석하여 각 카메라 간의 위치 관계에 대한 호모그래피 정보 및 렌즈 왜곡 파라미터를 획득할 수 있다.
여기서 호모그래피 정보는 투시변환을 위해 다수의 카메라 간의 위치 관계에 대한 관계정보를 의미할 수 있다.
영상 보정부(120)는 획득한 상기 호모그래피 정보 및 렌즈 왜곡 파라미터를 이용하여 카메라 영상의 왜곡을 보정할 수 있다.
본 발명의 일 실시 예에 따르면 렌즈 왜곡 파라미터를 획득한 카메라 영상에 적용하여 카메라 영상에서 발생한 왜곡을 보정할 수 있다.
도 3은 도 1에 도시된 객체 위치정보 생성부의 세부 구성도이다.
도 3을 참조하면 객체 위치정보 생성부(200)는 객체영역 검출부(210), 객체 추적부(220)를 포함할 수 있다.
객체영역 검출부(210)는 배경 영상과의 색상 차이 계산을 통해 각 객체영역을 검출할 수 있다.
본 발명의 일 실시 예에 따르면 배경 영상과의 색상 차이가 미리 설정된 임계 값 이상인 영역을 객체영역으로 선정하여 검출할 수 있으며, 이때 검출하는 객체영역은 다수가 될 수 있다.
객체 추적부(220)는 검출된 각 객체영역의 중심점을 산출하고, 산출된 중심점을 이용하여 각 객체의 추적을 수행하여 객체의 위치에 대한 객체 위치정보를 생성할 수 있다.
본 발명의 일 실시 예에 따르면 객체 위치정보에는 산출된 중심점의 위치 및 객체영역의 크기 등의 정보가 포함될 수 있다.
본 발명의 일 실시 예에 따르면 객체의 추적은 미리 정해진 주기마다 각 카메라 별로 수행되며, 객체의 추적 시에 기준 카메라는 객체 움직임 영역을 수직으로 촬영할 수 있는 카메라일 수 있다.
본 발명의 일 실시 예에 따르면 검출된 객체 영역 중에 데이터 베이스에 저장된 객체 얼굴, 객체 식별자 정보와 대응되는 영역이 존재하는 경우, 데이터 베이스의 영역을 이용하여 객체의 위치에 대한 객체 식별정보를 생성할 수 있다.
여기서 객체 식별자 정보는 객체를 식별할 수 있는 특정 식별자를 포함하고 있는 정보를 의미할 수 있으며, 예를 들어 스포츠 선수의 유니폼 백 넘버 등이 사용될 수 있으나 이에 한정되지 아니하고, 객체를 식별할 수 있는 식별자라면 제한 없이 사용될 수 있다.
도 4는 도 1에 도시된 객체 부가정보 생성부의 세부 구성도이다.
도 4를 참조하면 객체 움직임 정보 생성부(310), 객체 간 거리 정보 생성부 (320), 객체 개수 정보 생성부(330)를 포함할 수 있다.
객체 움직임 정보 생성부(310)는 객체의 움직임 벡터의 형태로 크기와 방향을 계산하여 객체 움직임 정보를 생성할 수 있다.
객체 간 거리 정보 생성부(320)는 영상 내 객체 위치 기반으로 객체 간 유클리디안 거리를 계산하여 객체 간 거리 정보를 생성할 수 있다.
객체 개수 정보 생성부(330) 추적하는 객체의 개수를 모두 합산하여 객체 개수 정보를 생성할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 다중 카메라 영상의 객체 정보 기반 다중 객체 추적방법을 나타낸 흐름도이다.
카메라 영상의 왜곡을 보정한다(510).
본 발명의 일 실시 예에 따르면 최소 두 개 이상의 고정 카메라와 카메라 간 위치 관계를 기술하는 호모그래피(homography) 정보 및 렌즈 왜곡 파라미터 등을 산출하여 렌즈 왜곡 등의 카메라 영상 왜곡을 보정할 수 있다.
본 발명의 일 실시 예 따르면 먼저 고정 카메라는 2대 이상이 설치되며, 그 중 최소 한 대는 스포츠 경기장 천장과 같이 촬영 영역 전체가 수직으로 다 보이는 꼭대기에 설치될 수 있으며, 1대 이상의 고정 카메라는 관중석과 같이 촬영 영역을 측면에서 내려다볼 수 있는 위치에 설치될 수 있다.
본 발명의 일 실시 예에 따르면 적어도 두 개의 카메라로부터 획득한 영상을 분석하여 각 카메라 간의 위치 관계에 대한 호모그래피 정보 및 렌즈 왜곡 파라미터를 획득할 수 있다.
여기서 호모그래피 정보는 투시변환을 위해 다수의 카메라 간의 위치 관계에 대한 관계정보를 의미할 수 있다.
본 발명의 일 실시 예에 따르면 획득한 상기 호모그래피 정보 및 렌즈 왜곡 파라미터를 이용하여 카메라 영상의 왜곡을 보정할 수 있다.
본 발명의 일 실시 예에 따르면 렌즈 왜곡 파라미터를 획득한 카메라 영상에 적용하여 카메라 영상에서 발생한 왜곡을 보정할 수 있다.
객체를 검출하고, 검출된 객체의 위치를 추적하여 객체 위치정보를 생성한다(520).
본 발명의 일 실시 예에 따르면 보정된 영상으로부터 추적할 객체를 검출하고, 검출된 객체의 위치를 추적하여 객체 위치정보를 생성할 수 있다.
본 발명의 일 실시 예에 따르면 보정된 영상을 분석하여 추적할 객체를 자동으로 검출할 수 있으며, 검출된 객체의 위치를 추적할 수 있다.
본 발명의 일 실시 예에 따르면 배경 영상과의 색상 차이 계산을 통해 각 객체영역을 검출할 수 있다.
본 발명의 일 실시 예에 따르면 배경 영상과의 색상 차이가 미리 설정된 임계 값 이상인 영역을 객체영역으로 선정하여 검출할 수 있으며, 이때 검출하는 객체영역은 다수가 될 수 있다.
본 발명의 일 실시 예에 따르면 검출된 각 객체영역의 중심점을 산출하고, 산출된 중심점을 이용하여 각 객체의 추적을 수행하여 객체의 위치에 대한 객체 위치정보를 생성할 수 있다.
본 발명의 일 실시 예에 따르면 객체 위치정보에는 산출된 중심점의 위치 및 객체영역의 크기 등의 정보가 포함될 수 있다.
본 발명의 일 실시 예에 따르면 객체의 추적은 미리 정해진 주기마다 각 카메라 별로 수행되며, 객체의 추적 시에 기준 카메라는 객체 움직임 영역을 수직으로 촬영할 수 있는 카메라일 수 있다.
본 발명의 일 실시 예에 따르면 검출된 객체 영역 중에 데이터 베이스에 저장된 객체 얼굴, 객체 식별자 정보와 대응되는 영역이 존재하는 경우, 데이터 베이스의 영역을 이용하여 객체의 위치에 대한 객체 식별정보를 생성할 수 있다.
여기서 객체 식별자 정보는 객체를 식별할 수 있는 특정 식별자를 포함하고 있는 정보를 의미할 수 있으며, 예를 들어 스포츠 선수의 유니폼 백 넘버 등이 사용될 수 있으나 이에 한정되지 아니하고, 객체를 식별할 수 있는 식별자라면 제한 없이 사용될 수 있다.
객체 위치정보를 분석하여 객체 부가 정보를 생성한다(530).
본 발명의 일 실시 예에 따르면 객체 위치정보를 분석하여 객체 움직임 정보, 객체 간 거리, 영상 영역 내 객체 개수를 포함하는 객체 부가 정보를 생성할 수 있다.
본 발명의 일 실시 예에 따르면 객체 위치정보를 분석하여 객체 추적 중에 객체 움직임 정보, 객체 간 거리, 영상 영역 내 객체 개수에 대한 정보를 산출하여 객체 움직임 정보, 객체 간 거리, 영상 영역 내 객체 개수를 포함하는 객체 부가 정보를 생성할 수 있다.
본 발명의 일 실시 예에 따르면 객체의 움직임 벡터의 형태로 크기와 방향을 계산하여 객체 움직임 정보를 생성할 수 있다.
본 발명의 일 실시 예에 따르면 영상 내 객체 위치 기반으로 객체 간 유클리디안 거리를 계산하여 객체 간 거리 정보를 생성할 수 있다.
본 발명의 일 실시 예에 따르면 추적하는 객체의 개수를 모두 합산하여 객체 개수 정보를 생성할 수 있다.
객체 부가 정보를 이용하여 객체의 위치변화가 존재하는지 여부를 판단한다(540).
본 발명의 일 실시 예에 따르면 객체 부가 정보를 이용하여 객체의 위치변화가 존재하는지 여부를 판단할 수 있다.
본 발명의 일 실시 예에 따르면 객체 부가 정보를 기반으로 객체가 겹치거나, 나타나거나 사라지는 등의 객체 위치의 변화를 예측함으로써 객체의 위치변화가 존재하는지 여부를 판단할 수 있다.
본 발명의 일 실시 예에 따르면 객체 움직임 정보를 이용하여 예측한 객체 예상 위치가 영상 범위를 벗어나는지 여부에 따라 체의 위치변화가 존재하는지를 판단할 수 있다.
또한 객체 간 거리 정보를 이용하여 객체와 객체간의 중심점 거리가 미리 설정된 임계 값을 초과하는지 여부에 따라 체의 위치변화가 존재하는지를 판단할 수도 있다.
추가적으로 객체 개수 정보를 이용하여 이전 주기와 현재 주기의 객체 개수가 동일한지 여부에 따라 객체의 위치변화가 존재하는지를 판단할 수 있다.
본 발명의 일 실시 예에 따르면 객체의 위치변화가 존재하는지를 판단하기 위하여 상술한 3가지 방법 중에 적어도 하나를 이용할 수 있다.
본 발명의 일 실시 예에 따르면 객체의 위치변화가 존재하는지를 판단하기 위하여 상술한 3가지 방법 중에 적어도 하나를 이용하는 경우, 그 중 한 가지 방법을 통해서라도 객체의 위치변화가 존재한다는 결과가 도출되면 객체의 위치변화가 존재하는 것으로 판단할 수 있다.
영상을 분석하여 산정한, 개별 객체위치의 차이가 미리 설정된 임계 값보다 큰지 여부를 판단한다(550).
본 발명의 일 실시 예에 따르면 객체의 위치변화가 존재한다고 판단되는 경우 상기 적어도 두 개의 카메라가 촬영한 각각의 영상을 분석하여 개별 객체위치를 산정하고, 개별 객체위치의 차이가 미리 설정된 임계 값보다 큰 경우 객체를 재검출하며, 객체 변화가 존재하지 않다고 판단되거나 개별 객체위치의 차이가 미리 설정된 임계 값보다 작은 경우 상기 객체 위치정보를 최종 위치로 확정할 수 있다.
본 발명의 일 실시 예에 따르면 객체의 위치변화가 존재한다고 판단되는 경우 상기 객체를 촬영하고 있는 별도 카메라의 존재 유무와 호모그래피를 이용한 영상 내 객체 위치를 확인하고, 기준 카메라 영상 내 객체 위치와 기타 카메라 영상 내 객체 위치를 비교하여 위치 차이가 미리 설정된 임계 값보다 큰 객체는 추적 실패로 판단하여 객체를 재검출할 수 있다.
본 발명의 일 실시 예에 따르면 객체의 위치변화가 존재한다고 판단되는 경우, 객체 변화가 발생하였다고 간주하여 해당되는 객체들을 촬영하고 있는 다른 고정 카메라 존재 유무와 호모그래피를 이용한 영상 내 객체 위치를 확인하여 천정에 설치된 수직 촬영 카메라(기준 카메라)의 영상 내 객체 위치와 다른 수평 카메라 (고정 카메라)의 영상 내 객체 위치를 비교할 수 있다.
이때 수직 촬영 카메라의 영상 내 객체 위치와 다른 수평 카메라의 영상 내 객체 위치 사이에 존재하는 위치 차이가 미리 정해진 임계 값보다 큰 객체는 추적 실패로 할 수 있다.
그리고 추적 실패로 판단된 객체를 대상으로 객체 재검출을 수행할 수 있다.
본 발명의 일 실시 예에 따르면 객체의 재검출을 위하여 상기 획득한 영상의 전체 영역에 대해 수행할 수 있다.
본 발명의 또 다른 일시 예에 따르면 객체 간 거리 정보를 이용하여 객체와 객체간 중심점 거리가 미리 설정된 임계 값을 초과하여 객체의 위치변화가 존재한다고 판단되는 경우 객체와 객체간 중심점 거리의 미리 정해진 배수만큼의 영역을 재검출 대상영역으로 정하여, 재검출 대상영역에 대해 객체의 재검출을 수행할 수 있다.
상기 실시 예에 따르면 재검출 대상영역에 대해서만 객체의 재검출을 수행하게 되므로 전체 영역에 대해서 객체의 재검출을 수행할 때 보다 더 적은 연산능력, 시간 등으로 수행이 가능한 효과가 존재한다.
객체 위치정보를 최종 위치로 확정한다(560).
본 발명의 일 실시 예에 따르면 객체 식별정보, 다중 카메라 간 객체 위치정보, 재검출된 객체 위치정보를 이용하여 가장 신뢰성이 높은 객체의 ID를 재검출된 객체에 할당하여 객체 위치정보를 최종 위치로 확정할 수 있다.
본 발명의 일 실시 예에 따르면 객체의 검출, 객체 위치정보 생성, 객체 부가정보 생성, 객체 위치변화 판단, 객체의 재검출에 따른 객체 위치 보정 등의 절차를 종료 명령을 수신할 때까지 반복해서 수행함으로써 객체 사라짐/나타남 등을 미리 예측/감지 하면서 추적 오류를 최소화하면서 계속 추적을 수행할 수 있게 된다. 만약 이러한 객체 추적 위치 자동 보정 과정이 모두 실패할 경우에는 선택적으로 사용자 개입 기능을 두어 오류를 보정할 수 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100 : 영상 가공부 200 : 객체 위치정보 생성부
300 : 객체 부가 정보 생성부 400 : 객체 위치변화 판단부
500 : 객체 최종위치 확정부

Claims (20)

  1. 적어도 두 개의 카메라로부터 획득한 영상을 분석하여 카메라 영상의 왜곡을 보정함으로써 영상을 가공하는 영상 가공부;
    상기 보정된 영상으로부터 추적할 객체를 검출하고, 상기 검출된 객체의 위치를 추적하여 객체 위치정보를 생성하는 객체 위치정보 생성부;
    상기 객체 위치정보를 분석하여 객체 움직임 정보, 객체 간 거리, 영상 영역 내 객체 개수를 포함하는 객체 부가 정보를 생성하는 객체 부가 정보 생성부;
    상기 객체 부가 정보를 이용하여 객체의 위치변화가 존재하는지 여부를 판단하는 객체 위치변화 판단부; 및
    객체의 위치변화가 존재한다고 판단되는 경우 상기 적어도 두 개의 카메라가 촬영한 각각의 영상을 분석하여 개별 객체위치를 산정하고, 상기 개별 객체위치의 차이가 미리 설정된 임계 값보다 큰 경우 객체를 재검출하며, 객체 변화가 존재하지 않다고 판단되거나 개별 객체위치의 차이가 미리 설정된 임계 값보다 작은 경우 상기 객체 위치정보를 최종 위치로 확정하는 객체 최종위치 확정부를 포함하는 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치.
  2. 제 1 항에 있어서 상기 영상 가공부는,
    적어도 두 개의 카메라로부터 획득한 영상을 분석하여 각 카메라 간의 위치 관계에 대한 호모그래피 정보 및 렌즈 왜곡 파라미터를 획득하는 보정정보 획득부; 및
    획득한 상기 호모그래피 정보 및 렌즈 왜곡 파라미터를 이용하여 카메라 영상의 왜곡을 보정하는 영상 보정부를 더 포함하는 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치.
  3. 제 1 항에 있어서 상기 객체 위치정보 생성부는,
    배경 영상과의 색상 차이 계산을 통해 각 객체영역을 검출하는 객체영역 검출부; 및
    검출된 상기 각 객체영역의 중심점을 산출하고, 산출된 중심점을 이용하여 각 객체의 추적을 수행하여 객체의 위치에 대한 객체 위치정보를 생성하는 객체 추적부를 더 포함하는 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 방법.
  4. 제 3 항에 있어서 상기 객체 추적부는,
    상기 객체의 추적은 미리 정해진 주기마다 각 카메라 별로 수행되며, 객체의 추적 시에 기준 카메라는 객체 움직임 영역을 수직으로 촬영할 수 있는 카메라인 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치.
  5. 제 1 항에 있어서 상기 객체 부가 정보 생성부는,
    객체의 움직임 벡터의 형태로 크기와 방향을 계산하는 객체 움직임 정보 생성부;
    영상 내 객체 위치 기반으로 객체 간 유클리디안 거리를 계산하는 객체 간 거리 정보 생성부;
    추적하는 객체의 개수를 모두 합산하여 계산하는 객체 개수 정보 생성부를 더 포함하는 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치.
  6. 제 5 항에 있어서 상기 객체 위치변화 판단부는,
    상기 객체 움직임 정보를 이용하여 예측한 객체 예상 위치가 영상 범위를 벗어나는지 여부, 상기 객체 간 거리 정보를 이용하여 객체와 객체간의 중심점 거리가 미리 설정된 임계 값을 초과하는지 여부, 객체 개수 정보를 이용하여 이전 주기와 현재 주기의 객체 개수가 동일한지 여부에 따라 객체의 위치변화가 존재하는지 여부를 판단하는 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치.
  7. 제 1 항에 있어서 상기 객체 최종위치 확정부는,
    객체의 위치변화가 존재한다고 판단되는 경우 상기 객체를 촬영하고 있는 별도 카메라의 존재 유무와 호모그래피를 이용한 영상 내 객체 위치를 확인하고, 기준 카메라 영상 내 객체 위치와 기타 카메라 영상 내 객체 위치를 비교하여 위치 차이가 미리 설정된 임계 값보다 큰 객체는 추적 실패로 판단하여 객체를 재검출 하는 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치.
  8. 제 7 항에 있어서 상기 객체 최종위치 확정부는,
    상기 객체의 재검출을 위하여 상기 획득한 영상의 전체 영역에 대해 수행하거나, 상기 객체 간 거리 정보를 이용하여 객체와 객체간 중심점 거리가 미리 설정된 임계 값을 초과하여 객체의 위치변화가 존재한다고 판단되는 경우 상기 객체와 객체간 중심점 거리의 미리 정해진 배수만큼의 영역을 재검출 대상영역으로 정하여, 상기 재검출 대상영역에 대해 상기 객체의 재검출을 수행하는 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치.
  9. 제 3 항에 있어서 상기 객체 추적부는,
    검출된 상기 객체 영역 중에 데이터 베이스에 저장된 객체 얼굴, 객체 식별자 정보와 대응되는 영역이 존재하는 경우, 상기 영역을 이용하여 객체의 위치에 대한 객체 식별정보를 생성하는 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치.
  10. 제 9 항에 있어서 상기 객체 최종위치 확정부는,
    상기 객체 식별정보, 다중 카메라 간 객체 위치정보, 재검출된 객체 위치정보를 이용하여 가장 신뢰성이 높은 객체의 ID를 재검출된 객체에 할당하여 객체 위치정보를 최종 위치로 확정하는 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치.
  11. 적어도 두 개의 카메라로부터 획득한 영상을 분석하여 카메라 영상의 왜곡을 보정함으로써 영상을 가공하는 단계;
    상기 보정된 영상으로부터 추적할 객체를 검출하고, 상기 검출된 객체의 위치를 추적하여 객체 위치정보를 생성하는 단계;
    상기 객체 위치정보를 분석하여 객체 움직임 정보, 객체 간 거리, 영상 영역 내 객체 개수를 포함하는 객체 부가 정보를 생성하는 단계;
    상기 객체 부가 정보를 이용하여 객체의 위치변화가 존재하는지 여부를 판단하는 단계; 및
    객체의 위치변화가 존재한다고 판단되는 경우 상기 적어도 두 개의 카메라가 촬영한 각각의 영상을 분석하여 개별 객체위치를 산정하고, 상기 개별 객체위치의 차이가 미리 설정된 임계 값보다 큰 경우 객체를 재검출하며, 객체 변화가 존재하지 않다고 판단되거나 개별 객체위치의 차이가 미리 설정된 임계 값보다 작은 경우 상기 객체 위치정보를 최종 위치로 확정하는 단계를 포함하는 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 방법.
  12. 제 11 항에 있어서 상기 영상을 가공하는 단계는,
    적어도 두 개의 카메라로부터 획득한 영상을 분석하여 각 카메라 간의 위치 관계에 대한 호모그래피 정보 및 렌즈 왜곡 파라미터를 획득하는 단계; 및
    획득한 상기 호모그래피 정보 및 렌즈 왜곡 파라미터를 이용하여 카메라 영상의 왜곡을 보정하는 단계를 더 포함하는 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 방법.
  13. 제 11 항에 있어서 상기 객체 위치정보를 생성하는 단계는,
    배경 영상과의 색상 차이 계산을 통해 각 객체영역을 검출하는 단계; 및
    검출된 상기 각 객체영역의 중심점을 산출하고, 산출된 중심점을 이용하여 각 객체의 추적을 수행하여 객체의 위치에 대한 객체 위치정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 방법.
  14. 제 13 항에 있어서 상기 객체의 위치에 대한 객체 위치정보를 생성하는 단계는,
    상기 객체의 추적은 미리 정해진 주기마다 각 카메라 별로 수행되며, 객체의 추적 시에 기준 카메라는 객체 움직임 영역을 수직으로 촬영할 수 있는 카메라인 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 방법.
  15. 제 11 항에 있어서 상기 객체 부가 정보를 생성하는 단계는,
    객체의 움직임 벡터의 형태로 크기와 방향을 계산하는 단계;
    영상 내 객체 위치 기반으로 객체 간 유클리디안 거리를 계산하는 단계; 및
    추적하는 객체의 개수를 모두 합산하여 계산하는 단계를 더 포함하는 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 방법.
  16. 제 15 항에 있어서 상기 객체의 위치변화가 존재하는지 여부를 판단하는 단계는,
    상기 객체 움직임 정보를 이용하여 예측한 객체 예상 위치가 영상 범위를 벗어나는지 여부, 상기 객체 간 거리 정보를 이용하여 객체와 객체간의 중심점 거리가 미리 설정된 임계 값을 초과하는지 여부, 객체 개수 정보를 이용하여 이전 주기와 현재 주기의 객체 개수가 동일한지 여부에 따라 객체의 위치변화가 존재하는지 여부를 판단하는 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 방법.
  17. 제 11 항에 있어서 상기 객체 위치정보를 최종 위치로 확정하는 단계는,
    객체의 위치변화가 존재한다고 판단되는 경우 상기 객체를 촬영하고 있는 별도 카메라의 존재 유무와 호모그래피를 이용한 영상 내 객체 위치를 확인하고, 기준 카메라 영상 내 객체 위치와 기타 카메라 영상 내 객체 위치를 비교하여 위치 차이가 미리 설정된 임계 값보다 큰 객체는 추적 실패로 판단하여 객체를 재검출 하는 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 방법.
  18. 제 17 항에 있어서 상기 객체 위치정보를 최종 위치로 확정하는 단계는,
    상기 객체의 재검출을 위하여 상기 획득한 영상의 전체 영역에 대해 수행하거나, 상기 객체 간 거리 정보를 이용하여 객체와 객체간 중심점 거리가 미리 설정된 임계 값을 초과하여 객체의 위치변화가 존재한다고 판단되는 경우 상기 객체와 객체간 중심점 거리의 미리 정해진 배수만큼의 영역을 재검출 대상영역으로 정하여, 상기 재검출 대상영역에 대해 상기 객체의 재검출을 수행하는 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 방법.
  19. 제 13 항에 있어서 상기 객체의 위치에 대한 객체 위치정보를 생성하는 단계는,
    검출된 상기 객체 영역 중에 데이터 베이스에 저장된 객체 얼굴, 객체 식별자 정보와 대응되는 영역이 존재하는 경우, 상기 영역을 이용하여 객체의 위치에 대한 객체 식별정보를 생성하는 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 방법.
  20. 제 19 항에 있어서 상기 객체 위치정보를 최종 위치로 확정하는 단계는,
    상기 객체 식별정보, 다중 카메라 간 객체 위치정보, 재검출된 객체 위치정보를 이용하여 가장 신뢰성이 높은 객체의 ID를 재검출된 객체에 할당하여 객체 위치정보를 최종 위치로 확정하는 것을 특징으로 하는 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 방법.
KR1020160121581A 2016-09-22 2016-09-22 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치 및 그 방법 KR20180032400A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160121581A KR20180032400A (ko) 2016-09-22 2016-09-22 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160121581A KR20180032400A (ko) 2016-09-22 2016-09-22 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20180032400A true KR20180032400A (ko) 2018-03-30

Family

ID=61900297

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160121581A KR20180032400A (ko) 2016-09-22 2016-09-22 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20180032400A (ko)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102019301B1 (ko) * 2018-04-24 2019-09-06 군산대학교 산학협력단 농축산 도난을 감지하는 영상 감시 장치 및 그 방법
KR20190134916A (ko) * 2018-05-11 2019-12-05 초록소프트 주식회사 실시간 로드 영상을 통해 유동 인구 데이터를 수집하는 방법 및 장치
KR20200056905A (ko) * 2018-11-15 2020-05-25 삼성전자주식회사 3d 모델 정렬 방법 및 장치
CN111435535A (zh) * 2019-01-14 2020-07-21 株式会社日立制作所 一种关节点信息的获取方法及装置
WO2020214775A1 (en) * 2019-04-18 2020-10-22 Standard Cognition, Corp. Systems and methods for deep learning-based subject persistence
US10853965B2 (en) 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
CN112543935A (zh) * 2019-12-31 2021-03-23 商汤国际私人有限公司 一种图像识别方法及装置、计算机可读存储介质
US11023850B2 (en) 2017-08-07 2021-06-01 Standard Cognition, Corp. Realtime inventory location management using deep learning
US11195146B2 (en) 2017-08-07 2021-12-07 Standard Cognition, Corp. Systems and methods for deep learning-based shopper tracking
CN113763435A (zh) * 2020-06-02 2021-12-07 精标科技集团股份有限公司 基于多摄像机的跟踪拍摄方法
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US11232687B2 (en) 2017-08-07 2022-01-25 Standard Cognition, Corp Deep learning-based shopper statuses in a cashier-less store
US11250376B2 (en) 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
US11295270B2 (en) 2017-08-07 2022-04-05 Standard Cognition, Corp. Deep learning-based store realograms
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
US11361468B2 (en) 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
US11538186B2 (en) 2017-08-07 2022-12-27 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
KR20230075538A (ko) 2021-11-23 2023-05-31 숭실대학교산학협력단 객체 추적 장치 및 방법
US12026665B2 (en) 2022-03-03 2024-07-02 Standard Cognition, Corp. Identifying inventory items using multiple confidence levels

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11538186B2 (en) 2017-08-07 2022-12-27 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US11544866B2 (en) 2017-08-07 2023-01-03 Standard Cognition, Corp Directional impression analysis using deep learning
US11232687B2 (en) 2017-08-07 2022-01-25 Standard Cognition, Corp Deep learning-based shopper statuses in a cashier-less store
US11250376B2 (en) 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
US11270260B2 (en) 2017-08-07 2022-03-08 Standard Cognition Corp. Systems and methods for deep learning-based shopper tracking
US10853965B2 (en) 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
US11295270B2 (en) 2017-08-07 2022-04-05 Standard Cognition, Corp. Deep learning-based store realograms
US11023850B2 (en) 2017-08-07 2021-06-01 Standard Cognition, Corp. Realtime inventory location management using deep learning
US11195146B2 (en) 2017-08-07 2021-12-07 Standard Cognition, Corp. Systems and methods for deep learning-based shopper tracking
US11810317B2 (en) 2017-08-07 2023-11-07 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
KR102019301B1 (ko) * 2018-04-24 2019-09-06 군산대학교 산학협력단 농축산 도난을 감지하는 영상 감시 장치 및 그 방법
KR20190134916A (ko) * 2018-05-11 2019-12-05 초록소프트 주식회사 실시간 로드 영상을 통해 유동 인구 데이터를 수집하는 방법 및 장치
KR20200056905A (ko) * 2018-11-15 2020-05-25 삼성전자주식회사 3d 모델 정렬 방법 및 장치
CN111435535A (zh) * 2019-01-14 2020-07-21 株式会社日立制作所 一种关节点信息的获取方法及装置
CN111435535B (zh) * 2019-01-14 2024-03-08 株式会社日立制作所 一种关节点信息的获取方法及装置
WO2020214775A1 (en) * 2019-04-18 2020-10-22 Standard Cognition, Corp. Systems and methods for deep learning-based subject persistence
US11232575B2 (en) 2019-04-18 2022-01-25 Standard Cognition, Corp Systems and methods for deep learning-based subject persistence
US11948313B2 (en) 2019-04-18 2024-04-02 Standard Cognition, Corp Systems and methods of implementing multiple trained inference engines to identify and track subjects over multiple identification intervals
CN112543935A (zh) * 2019-12-31 2021-03-23 商汤国际私人有限公司 一种图像识别方法及装置、计算机可读存储介质
CN112543935B (zh) * 2019-12-31 2024-05-21 商汤国际私人有限公司 一种图像识别方法及装置、计算机可读存储介质
CN113763435A (zh) * 2020-06-02 2021-12-07 精标科技集团股份有限公司 基于多摄像机的跟踪拍摄方法
US11361468B2 (en) 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
US11818508B2 (en) 2020-06-26 2023-11-14 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
KR20230075538A (ko) 2021-11-23 2023-05-31 숭실대학교산학협력단 객체 추적 장치 및 방법
US12026665B2 (en) 2022-03-03 2024-07-02 Standard Cognition, Corp. Identifying inventory items using multiple confidence levels

Similar Documents

Publication Publication Date Title
KR20180032400A (ko) 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치 및 그 방법
JP2020107349A (ja) 物体追跡システム、物体追跡方法、プログラム
Snidaro et al. Video security for ambient intelligence
KR101087592B1 (ko) Ｉｒ 영상추적기의 단일표적 추적성능 향상 방법
CN104754302B (zh) 一种基于枪球联动系统的目标检测跟踪方法
KR102101438B1 (ko) 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법
JP6655878B2 (ja) 画像認識方法及び装置、プログラム
US10327045B2 (en) Image processing method, image processing device and monitoring system
KR102410268B1 (ko) 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치
US20160019700A1 (en) Method for tracking a target in an image sequence, taking the dynamics of the target into consideration
WO2014155979A1 (ja) 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
JP2016099941A (ja) オブジェクト位置推定システム、及びそのプログラム
JP5484184B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20040141633A1 (en) Intruding object detection device using background difference method
JP5754990B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6292540B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP2017117244A (ja) カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法
WO2001043072A1 (en) 2-d/3-d recognition and tracking algorithm for soccer application
JPWO2008035411A1 (ja) 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム
JP2005346425A (ja) 自動追尾装置及び自動追尾方法
Mohedano et al. Robust 3d people tracking and positioning system in a semi-overlapped multi-camera environment
KR20080079506A (ko) 촬영장치 및 이의 대상 추적방법
Sincan et al. Moving object detection by a mounted moving camera
JP6548306B2 (ja) カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法
KR101828710B1 (ko) 객체 가려짐 검출 장치 및 그 방법