KR101619838B1 - 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템 - Google Patents

다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템 Download PDF

Info

Publication number
KR101619838B1
KR101619838B1 KR1020150174874A KR20150174874A KR101619838B1 KR 101619838 B1 KR101619838 B1 KR 101619838B1 KR 1020150174874 A KR1020150174874 A KR 1020150174874A KR 20150174874 A KR20150174874 A KR 20150174874A KR 101619838 B1 KR101619838 B1 KR 101619838B1
Authority
KR
South Korea
Prior art keywords
subject
ptz camera
camera
stereo
photographing
Prior art date
Application number
KR1020150174874A
Other languages
English (en)
Inventor
이종훈
황인규
천준호
Original Assignee
공간정보기술 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 공간정보기술 주식회사 filed Critical 공간정보기술 주식회사
Priority to KR1020150174874A priority Critical patent/KR101619838B1/ko
Application granted granted Critical
Publication of KR101619838B1 publication Critical patent/KR101619838B1/ko
Priority to PCT/KR2016/014491 priority patent/WO2017099541A1/ko
Priority to JP2017533380A priority patent/JP2018502504A/ja
Priority to CN201680001935.9A priority patent/CN107113403A/zh
Priority to US15/323,274 priority patent/US20180278919A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H04N13/0203—
    • H04N13/0246—
    • H04N13/0271—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 피사체의 움직임을 추적하는 스테레오 카메라에 관한 것으로, 복수 개로 구성되는 스테레오 카메라와, 상기 복수의 스테레오 카메라 각각의 촬영 영역에 따라 생성된 깊이지도를 정합하는 공간데이터 합성부와, 스테레오 카메라의 촬영 영역에 피사체가 존재 여부를 판단하는 피사체 감지부와, 패닝(Panning) 및 틸팅(Tilting)을 수행하여 촬영 방향이 피사체를 향하도록 이동하고 피사체를 중심으로 주밍(Zooming)을 수행하는 PTZ카메라와, 상기 PTZ카메라를 구동하는 구동 제어부로 구성되며, 상기 구동 제어부는 상기 스테레오 카메라의 촬영 범위 중 어느 한점의 위치를 상기 PTZ카메라의 각도와 매칭하여 초기값을 설정하고 피사체가 감지되면 피사체의 중심 좌표를 기초로 이동에 필요한 팬 각과 틸트 각 및 피사체와의 거리에 따라 산출된 줌 레벨에 맞춰 상기 PTZ카메라를 구동하는 제1 방식과, 3차원 공간에 대한 촬영 구역을 설정하고 설정된 각각의 구역으로 촬영 방향이 향하도록 상기 PTZ카메라의 구동값을 수동으로 프리세팅(pre-setting)한 후 피사체가 감지된 구역에 대한 프리세팅 값을 호출하여 상기 PTZ카메라를 구동하는 제2 방식을 사용하는 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템을 제시한다.

Description

다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템{SYSTEM FOR TRACKING MOVEMENT OF SUBJECT USING MULTI STEREO CAMERA}
본 발명은 측량 기술분야 중 스테레오 카메라에 관한 것으로 보다 자세하게는 PTZ카메라 및 복수 개의 스테레오 카메라를 조합하여 3차원 공간에 대한 디지털 형태의 논리구조를 형성하여 3차원 공간에 대한 정보 공유를 통해 피사체의 움직임에 대한 추적이 용이하고, 피사체에 대한 3차원 좌표를 기초로 PTZ카메라의 팬, 틸트, 줌 구동값을 설정함으로써 정밀한 추적이 가능한 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템에 관한 것이다.
일반적으로 주택, 백화점, 은행, 전시장 등의 보안이 요구되는 장소에서는 침입, 도난 또는 화재 등을 비롯한 재해를 예방·방지 또는 신속한 처리를 위하여 감시카메라(CCTV; Closed Circuit Television)를 설치하고 있다. 또한, 최근에는 범죄가 자주 발생하는 지하 주차장이나 주차 단속 등을 위한 도로 등에도 감시카메라가 많이 설치되고 있다.
종래 감시카메라는 일정한 부분만을 촬영할 수 있다는 단점이 있었으며, 이를 해결하기 위해 감시카메라를 복수 개로 구성하거나 대한민국 특허 등록번호 1311859호에 개시된 것처럼 어안렌즈를 장착한 카메라를 이용하여 촬영 범위를 넓히고자 하는 노력이 시도되고 있다. 그러나 이러한 경우에도 촬영 범위만 넓어질 뿐 감시 대상이 되는 차량이나 사람 등의 피사체의 움직임을 계속적으로 추적하는 시스템에 대한 개발은 미비한 수준에 이르고 있다.
즉, 종래의 감시카메라를 통해 피사체의 움직임이 감지되면 피사체의 정보(피사체가 사람인 경우 얼굴, 피사체가 차량인 경우 번호판)를 취득하기 위해 감시카메라와 별도로 구비되는 고해상도 카메라를 수동 또는 자동으로 조작하여 피사체를 촬영하는데, 이처럼 피사체의 움직임을 감지하기 위한 카메라, 그리고 피사체의 정보를 취득하기 위한 고해상도 카메라가 개별적으로 동작함으로써 3차원 공간에 대한 정보 공유가 이루어지지 않게 되고, 그 결과 피사체 추적 중에 피사체가 계속적으로 움직이면 재추적이 어려운 단점이 있다.
대한민국 특허 등록번호 1311859호(2013.09.17) "전방위 카메라를 이용한 불법 주정차 단속 시스템 및 단속방법"
본 발명은 상기의 문제점을 해결하기 위하여 창안된 것으로 피티지(PTZ)카메라 및 복수 개의 스테레오 카메라를 조합하여 3차원 공간에 대한 디지털 형태의 논리구조를 형성하여 3차원 공간에 대한 정보 공유를 통해 피사체의 움직임에 대한 추적이 용이하고, 피사체에 대한 3차원 좌표를 기초로 PTZ카메라의 팬, 틸트, 줌 구동값을 설정함으로써 정밀 추적이 가능한 다수 스테레오 카메라를 제공하는 것을 발명의 목적으로 한다.
상기와 같은 목적을 달성하기 위하여 창안된 본 발명은 복수 개로 구성되며 서로 다른 방향을 향해 고정 설치되는 스테레오 카메라와, 상기 복수의 스테레오 카메라 각각의 촬영 영역에 따라 생성된 깊이지도를 정합하여 3차원 공간에 대한 정보 공유가 이루어지는 공간지도를 형성하는 공간데이터 합성부와, 상기 공간지도의 포인트 클라우드를 분석하여 특정 포인트에 변화가 생기면 해당 포인트에 대응되는 스테레오 카메라의 촬영 영역에 피사체가 존재하는 것으로 판단하는 피사체 감지부와, 패닝(Panning) 및 틸팅(Tilting)을 수행하여 촬영 방향이 피사체를 향하도록 이동하고 피사체를 중심으로 주밍(Zooming)을 수행하는 PTZ카메라와, 상기 스테레오 카메라의 촬영 범위 중 어느 한점의 위치를 상기 PTZ카메라의 각도와 매칭하여 초기값을 설정하고 피사체가 감지되면 피사체의 중심 좌표를 기초로 이동에 필요한 팬 각과 틸트 각 및 피사체와의 거리에 따라 산출된 줌 레벨에 맞춰 상기 PTZ카메라를 구동하는 제1 방식과, 3차원 공간에 대한 촬영 구역을 설정하고 설정된 각각의 구역으로 촬영 방향이 향하도록 상기 PTZ카메라의 구동값을 수동으로 프리세팅(pre-setting)한 후 피사체가 감지된 구역에 대한 프리세팅 값을 호출하여 상기 PTZ카메라를 구동하는 제2 방식 중 어느 하나 또는 상기 제1 및 제2 방식의 조합에 따라 상기 PTZ카메라를 구동하는 구동 제어부를 포함하는 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템을 제공한다.
본 발명의 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템에 따르면, 피사체 추적 중에 다시 피사체가 움직이더라도 계속적인 추적이 가능하다.
또한, 스테레오 카메라를 사용함으로써 피사체에 대한 3차원 좌표를 추출할 수 있고, 이를 통해 PTZ카메라의 팬, 틸트, 줌 구동값을 설정함으로써 피사체에 대한 정밀 추적이 가능하다.
도 1은 본 발명에 따른 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템을 개략적으로 나타낸 블록도,
도 2는 본 발명에 포함된 스테레오 카메라 및 PTZ카메라의 설치 예시를 나타낸 도면,
도 3은 본 발명에 포함된 스테레오 카메라의 촬영 영역을 평면적으로 나타낸 도면,
도 4는 도 3의 촬영 영역을 3차원의 깊이지도로 나타낸 도면,
도 5는 도 4에 도시된 복수 개의 깊이지도가 하나로 정합된 3차원 공간지도를 나타낸 도면,
그리고
도 6은 본 발명에 포함된 PTZ카메라를 구동하기 위한 제1 방식과 제2 방식을 설명하기 위한 도면.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 기술 등은 첨부되는 도면들과 함께 상세하게 후술되어 있는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 본 실시 예는 본 발명의 개시가 완전하도록 함과 더불어, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공될 수 있다.
본 명세서에서 사용된 용어들은 실시 예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 다수형도 포함한다. 또한, 본 명세서에서 언급된 구성요소, 단계, 동작은 하나 이상의 다른 구성요소, 단계, 동작의 존재 또는 추가를 배제하지 않는다.
한편, 도면의 구성요소는 반드시 축척에 따라 그려진 것은 아니고, 예컨대, 본 발명의 이해를 돕기 위해 도면의 일부 구성요소의 크기는 다른 구성요소에 비해 과장될 수 있다. 또한, 각 도면에 걸쳐 표시된 동일 참조 부호는 동일 구성 요소를 지칭하고, 도시의 간략화 및 명료화를 위해, 도면은 일반적 구성 방식을 도시하고 있다, 또한, 본 발명의 설명된 실시 예의 논의를 불필요하게 불명료하도록 하는 것을 피하기 위해 공지된 특징 및 기술의 상세한 설명은 생략될 수 있다.
이하에서는 본 발명을 구현하기 위한 구체적인 실시예에 대하여 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명에 따른 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템을 개략적으로 나타낸 블록도이다.
도 1은 본 발명에 따른 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템을 개략적으로 나타낸 블록도이고, 도 2는 본 발명에 포함된 스테레오 카메라 및 PTZ카메라의 설치 예시를 나타낸 도면이다.
도 1 및 도 2를 참조하면 본 발명에 따른 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템(100)은 크게 스테레오 카메라(110), 공간데이터 합성부(120), 피사체 감지부(130), 구동 제어부(140), 그리고 PTZ카메라(150)를 포함한다. 여기서, 외부에 설치되는 물리적 구성요소는 스테레오 카메라(110)와 PTZ카메라(150)가 되며, 공간데이터 합성부(120), 피사체 감지부(130), 그리고 구동 제어부(140)는 코드화된 프로그램이 설치된 PC를 기반으로 수행된다.
상기 스테레오 카메라(110)는 복수 개로 구성되며 서로 다른 방향을 향해 고정 설치되어 3차원 공간을 공유한다. 즉, 상기 복수 개의 스테레오 카메라(110)는 3차원 공간에 대한 사각지대가 발생하지 않도록 지정된 방향 예를 들어, 도 2에 도시된 것처럼 사거리의 교차로에서 네 대의 스테레오 카메라(110)가 각각 동, 서, 남, 북쪽의 도로를 촬영하도록 설치될 수 있다. 이처럼, 스테레오 카메라(110)의 개수는 3차원 공간을 공유할 수 있을 정도가 되면 충분하고 사거리의 교차로라고 하여 반드시 네 대로 구성할 필요는 없으며, 보다 촘촘한 촬영범위를 원하는 경우 다섯 대 이상으로도 구성 가능함은 본 발명이 속하는 기술 분야에서 자명하다.
이하에서는 도 2에 도시된 대로 네 대로 구성된 스테레오 카메라(110)를 기준으로 설명하며, 편의상 동쪽 도로를 촬영하는 스테레오 카메라(110)를 기준으로 시계방향으로 돌아가면서 각각 1번 스테레오 카메라(110), 2번 스테레오 카메라(110), 3번 스테레오 카메라(110), 4번 스테레오 카메라(110)로 칭하기로 한다.
상기 1번 내지 4번 스테레오 카메라(110)는 각각 소정 간격(baseline) 이격되며 광축이 평행한 좌안 렌즈와 우안 렌즈를 포함하고 있으며, 이에 따라 좌안 렌즈와 우안 렌즈에서 각각 촬영한 영상 중에서 동일 지점이 몇 픽셀 떨어져 있는지 즉, 공유 영상에서 좌안 렌즈와 우안 렌즈에 따른 시차를 계산하여 피사체와의 깊이 값을 계산하고 이를 기초로 깊이지도를 생성한다. 본 실시 예에서 상기 스테레오 카메라(110)는 모두 네 대로 구성되므로 1번 내지 4번 스테레오 카메라(110)에서 생성되는 깊이지도는 모두 네 개가 될 수 있는데, 본 발명에서는 이처럼 복수의 스테레오 카메라(110) 각각의 촬영 영역에 따라 생성되는 깊이지도를 하나의 3차원 공간으로 정합하며, 이는 각각의 스테레오 카메라(110)로부터 촬영 데이터를 입력받는 공간데이터 합성부(120)에서 수행된다.
도 3은 스테레오 카메라의 촬영 영역을 평면적으로 나타낸 도면이고, 도 4는 도 3의 촬영 영역을 3차원의 깊이지도로 나타낸 도면, 그리고 도 5는 복수 개의 깊이지도가 하나로 정합된 3차원 공간지도를 나타낸 도면이다.
도 3에서 각 방향의 화살표는 1번 내지 4번 스테레오 카메라(110) 각각의 촬영 방향을 나타내는 것으로, 도 3에 도시된 것처럼 각각의 스테레오 카메라(110)에 의해 촬영되는 영상 즉, 감시영역은 스테레오 카메라(110)로부터 가까운 거리의 B구역과 먼 거리의 A구역으로 구분되며, 각각의 A구역과 B구역은 스테레오 카메라(110)의 좌안 렌즈와 우안 렌즈의 시차 값에 따라 도 4에 도시된 것처럼 3차원 깊이지도(10)로 변환된다.
그리고, 1번 내지 4번 스테레오 카메라(110) 각각의 A구역 깊이지도(10)와 B구역 깊이지도(10)는 다시 공간데이터 합성부(120)에 의해 도 5에 도시된 것처럼 3차원 디지털 형태의 공간지도(20)로 정합된다. 즉, 도면에는 나타나 있지 않지만 스테레오 카메라(110)의 촬영을 통해 입력되는 컬러 및 좌표 데이터는 공간지도(20)의 특정 위치에 매칭되고, 따라서, 공간지도(20)는 1번 내지 4번 스테레오 카메라(110)에 의한 포인트 클라우드 즉, 무수히 많은 컬러와 좌표 데이터가 모여서 공간적 구성을 형성한다.
피사체 감지부(130)는 이러한 공간지도(20)의 포인트 클라우드를 분석하여 특정 포인트에 변화가 생기면 해당 포인트에 대응되는 스테레오 카메라(110)의 촬영 영역에 피사체가 존재하는 것으로 감지한다. 이때, 공간지도(20)는 동일 메모리 내 동일한 형태의 자료 구조로 저장되므로 어느 한 영역에서의 포인트 변화는 전체로서 공유되고 따라서 피사체가 움직일 때 계속적인 추적이 가능하다.
상기 PTZ카메라(150)는 패닝(Panning) 및 틸팅(Tilting)을 수행하여 촬영 방향이 피사체를 향하도록 하며, 피사체가 사람인 경우 사람의 얼굴 또는 피사체가 자동차인 경우 번호판을 중심으로 주밍(Zooming)을 수행한다. 이처럼, PTZ카메라(150)는 피사체의 정보를 식별하기 위한 구성이므로 피사체의 움직임을 감지하는 스테레오 카메라(110)보다 고해상도의 카메라를 사용하는 것이 바람직하다. 또한, PTZ카메라(150)는 스테레오 카메라(110)의 촬영 범위를 모두 커버할 수 있어야 하므로 PTZ카메라(150)와 스테레오 카메라(110)는 서로 인접하게 설치되며, 가장 바람직하게는 PTZ카메라(150)를 가운데 두고 복수의 스테레오 카메라(110)가 PTZ카메라(150)를 둘러싸는 형태가 되게 설치할 수 있다.
여기서, 상기 PTZ카메라(150)는 구동 제어부(140)에서 산출된 구동값에 따라 제어되며, 상기 구동 제어부(140)는 PTZ카메라(150)를 구동하는 방식으로서 제1 방식과 제2 방식 중 어느 하나 또는 제1 및 제2 방식을 조합하여 PTZ카메라(150)를 구동시킨다.
도 6은 제1 방식에 의한 PTZ카메라(150)의 구동과 제2 방식에 의한 PTZ카메라(150)의 구동을 비교 설명하기 위한 도면이다.
도 6을 참조하면, PTZ카메라(150)를 제어하기 위한 제1 방식은 우선 스테레오 카메라(110)의 촬영 범위 중 어느 한점의 위치를 PTZ카메라(150)의 각도와 매칭하여 초기값을 설정한다. 이후 피사체가 감지되면 피사체의 중심 좌표(예컨대 도 6의 'z')를 기초로 이동에 필요한 팬 각(θ1)과 틸트 각(θ2)을 산출하여 PTZ카메라(150)가 피사체를 향하게 하고 피사체와의 거리를 계산하여 줌 레벨을 맞춘다. 상기의 동작은 피사체가 촬영 범위에서 사라질때까지 반복될 수 있다.
이러한 제1 방식은 피사체를 정확히 포착할 수 있는 장점이 있으나 연산에 필요한 데이터가 증가하기 때문에 시스템 과부하가 발생할 수 있다. 따라서 제1 방식을 보완하기 위해 제2 방식이 사용될 수 있다.
PTZ카메라(150)를 제어하기 위한 제2 방식은 우선 3차원 공간에 대한 촬영 구역을 설정하고 설정된 각각의 구역(예컨대 도 6의 'a', 'b', 'c')으로 PTZ카메라(150)가 향하도록 PTZ카메라(150)의 구동값을 수동으로 프리세팅(pre-setting)한다. 이후 'a'구역에 피사체가 감지되면 'a'구역에 대한 프리세팅 값을 불러와 PTZ카메라(150)가 'a'구역의 피사체를 향하도록 구동시킨다. 'b'구역이나 'c'구역에 피사체가 감지되는 경우에도 동일하게 적용되며, 설명의 편의상 'a', 'b', 'c'구역만을 예시하였으나 촬영 대상이 되는 모든 구역에 대해 PTZ카메라(150)의 구동값을 프리세팅할 수 있다.
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한, 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내고 설명하는 것에 불과하며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉, 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위 내에서 변경 또는 수정이 가능하다. 전술한 실시 예들은 본 발명을 실시하는데 있어 최선의 상태를 설명하기 위한 것이며, 본 발명과 같은 다른 발명을 이용하는데 당업계에 알려진 다른 상태로의 실시, 그리고 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서, 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한, 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.
100: 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템
110: 스테레오 카메라 120: 공간데이터 합성부
130: 피사체 감지부 140: 구동 제어부
150: PTZ카메라

Claims (1)

  1. 복수 개로 구성되며 서로 다른 방향을 향해 고정 설치되는 스테레오 카메라;
    상기 복수의 스테레오 카메라 각각의 촬영 영역에 따라 생성된 깊이지도를 정합하여 3차원 공간에 대한 정보 공유가 이루어지는 공간지도를 형성하는 공간데이터 합성부;
    상기 공간지도의 포인트 클라우드를 분석하여 특정 포인트에 변화가 생기면 해당 포인트에 대응되는 스테레오 카메라의 촬영 영역에 피사체가 존재하는 것으로 판단하는 피사체 감지부;
    패닝(Panning) 및 틸팅(Tilting)을 수행하여 촬영 방향이 피사체를 향하도록 이동하고 피사체를 중심으로 주밍(Zooming)을 수행하는 PTZ카메라; 및
    상기 스테레오 카메라의 촬영 범위 중 어느 한점의 위치를 상기 PTZ카메라의 각도와 매칭하여 초기값을 설정하고 피사체가 감지되면 피사체의 중심 좌표를 기초로 이동에 필요한 팬 각과 틸트 각 및 피사체와의 거리에 따라 산출된 줌 레벨에 맞춰 상기 PTZ카메라를 구동하는 제1 방식과, 3차원 공간에 대한 촬영 구역을 설정하고 설정된 각각의 구역으로 촬영 방향이 향하도록 상기 PTZ카메라의 구동값을 수동으로 프리세팅(pre-setting)한 후 피사체가 감지된 구역에 대한 프리세팅 값을 호출하여 상기 PTZ카메라를 구동하는 제2 방식 중 어느 하나 또는 상기 제1 및 제2 방식의 조합에 따라 상기 PTZ카메라를 구동하는 구동 제어부;를 포함하되,
    상기 스테레오 카메라는 동, 서, 남, 북 방향을 각각 촬영하는 4 개로 이루어지고,
    상기 4 개의 스테레오 카메라는 서로 이격되어 설치되며 광축이 평행한 좌안렌즈와 우안렌즈를 포함하고,
    상기 PTZ카메라를 가운데 두고 상기 4 개의 스테레오 카메라가 상기 PTZ카메라를 둘러싸는 형태로 설치되는 것을 특징으로 하는 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템.
KR1020150174874A 2015-12-09 2015-12-09 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템 KR101619838B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150174874A KR101619838B1 (ko) 2015-12-09 2015-12-09 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템
PCT/KR2016/014491 WO2017099541A1 (ko) 2015-12-09 2016-12-09 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템
JP2017533380A JP2018502504A (ja) 2015-12-09 2016-12-09 複数のステレオカメラを用いた被写体空間移動追跡システム
CN201680001935.9A CN107113403A (zh) 2015-12-09 2016-12-09 利用多个立体摄像头的拍摄对象空间移动跟踪系统
US15/323,274 US20180278919A1 (en) 2015-12-09 2016-12-09 System for tracking subject moving within space using stereo cameras

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150174874A KR101619838B1 (ko) 2015-12-09 2015-12-09 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템

Publications (1)

Publication Number Publication Date
KR101619838B1 true KR101619838B1 (ko) 2016-05-13

Family

ID=56023655

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150174874A KR101619838B1 (ko) 2015-12-09 2015-12-09 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템

Country Status (5)

Country Link
US (1) US20180278919A1 (ko)
JP (1) JP2018502504A (ko)
KR (1) KR101619838B1 (ko)
CN (1) CN107113403A (ko)
WO (1) WO2017099541A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101794311B1 (ko) 2017-09-11 2017-11-07 공간정보기술 주식회사 지피에스(gps) 좌표를 3차원 공간좌표로 투영하여 목표 지점으로 피티젯(ptz) 카메라를 이동시키는 스테레오 카메라 시스템
KR20180065552A (ko) * 2016-12-08 2018-06-18 (주)케이아이오티 지능형 카메라 시스템 및 이의 운용 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107343174A (zh) * 2017-07-26 2017-11-10 浙江树人学院 远距离移动目标防伪人脸虹膜抓拍装置及方法
CN109922251B (zh) * 2017-12-12 2021-10-22 华为技术有限公司 快速抓拍的方法、装置及系统
CN108174090B (zh) * 2017-12-28 2020-10-16 北京天睿空间科技股份有限公司 基于三维空间视口信息的球机联动方法
US10943485B2 (en) * 2018-04-03 2021-03-09 Baidu Usa Llc Perception assistant for autonomous driving vehicles (ADVs)
CN108573456A (zh) * 2018-04-12 2018-09-25 广东汇泰龙科技有限公司 一种基于人脸锁的酒店自助入住方法及系统
US11216954B2 (en) * 2018-04-18 2022-01-04 Tg-17, Inc. Systems and methods for real-time adjustment of neural networks for autonomous tracking and localization of moving subject
KR101916093B1 (ko) 2018-04-20 2018-11-08 유한회사 한국케이비에프 객체 추적 방법
CN110460806A (zh) * 2018-05-07 2019-11-15 厦门脉视数字技术有限公司 一种带云台的网络摄像机实现3d定位与隐私遮挡的算法
KR101996907B1 (ko) * 2018-07-27 2019-07-08 비티에스 유한회사 객체 추적 장치
KR102537784B1 (ko) * 2018-08-17 2023-05-30 삼성전자주식회사 전자 장치 및 그 제어 방법
CN110874926A (zh) * 2018-08-31 2020-03-10 百度在线网络技术（北京）有限公司 智能路侧单元

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3419213B2 (ja) * 1996-08-30 2003-06-23 ミノルタ株式会社 ３次元形状データ処理装置
JP2000261787A (ja) * 1999-03-04 2000-09-22 Matsushita Electric Ind Co Ltd 侵入物体検出方法及び装置
JP4043416B2 (ja) * 2003-07-30 2008-02-06 オリンパス株式会社 安全移動支援装置
US7667730B2 (en) * 2005-06-15 2010-02-23 Mitsubishi Electric Research Laboratories, Inc. Composite surveillance camera system
JP2007085745A (ja) * 2005-09-20 2007-04-05 Fuji Heavy Ind Ltd 物体監視装置
JP2010015258A (ja) * 2008-07-01 2010-01-21 Sony Corp 監視システム、情報処理装置及び情報処理方法、並びにプログラム
JP2010256534A (ja) * 2009-04-23 2010-11-11 Fujifilm Corp 全方位画像表示用ヘッドマウントディスプレイ装置
KR101120131B1 (ko) * 2009-05-29 2012-03-22 주식회사 영국전자 지능형 광역 감시 카메라, 그 제어회로 및 제어방법, 이를 이용한 영상 감시 시스템
JP5258722B2 (ja) * 2009-09-24 2013-08-07 富士フイルム株式会社 複眼カメラ及びその制御方法
MY157170A (en) * 2010-02-01 2016-05-13 Youngkook Electronics Co Ltd Tracking and monitoring camera device and remote monitoring system using same
JP2012198802A (ja) * 2011-03-22 2012-10-18 Denso Corp 侵入物検出システム
KR101228341B1 (ko) * 2011-04-19 2013-01-31 삼성테크윈 주식회사 카메라 간 협업을 이용한 영상 감시 시스템 및 방법
JP2013093013A (ja) * 2011-10-06 2013-05-16 Ricoh Co Ltd 画像処理装置、車両
US9749594B2 (en) * 2011-12-22 2017-08-29 Pelco, Inc. Transformation between image and map coordinates
KR20140036824A (ko) * 2012-09-18 2014-03-26 삼성테크윈 주식회사 3ｄ 영상을 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법
KR101452342B1 (ko) * 2013-04-04 2014-10-23 주식회사 이오씨 감시카메라 유닛 및 그 구동방법
US9742974B2 (en) * 2013-08-10 2017-08-22 Hai Yu Local positioning and motion estimation based camera viewing system and methods
KR102105189B1 (ko) * 2013-10-31 2020-05-29 한국전자통신연구원 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
KR101421700B1 (ko) * 2013-11-01 2014-07-22 주식회사 휴먼시스템 감시카메라의 지능형 분석기능을 이용한 실시간 위치추적 시스템 및 그 위치추적방법
CN104333747B (zh) * 2014-11-28 2017-01-18 广东欧珀移动通信有限公司 一种立体拍照方法和立体拍照设备
CN104777835A (zh) * 2015-03-11 2015-07-15 武汉汉迪机器人科技有限公司 一种全向自动叉车及3d立体视觉导航定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065552A (ko) * 2016-12-08 2018-06-18 (주)케이아이오티 지능형 카메라 시스템 및 이의 운용 방법
KR101794311B1 (ko) 2017-09-11 2017-11-07 공간정보기술 주식회사 지피에스(gps) 좌표를 3차원 공간좌표로 투영하여 목표 지점으로 피티젯(ptz) 카메라를 이동시키는 스테레오 카메라 시스템

Also Published As

Publication number Publication date
WO2017099541A8 (ko) 2017-07-27
JP2018502504A (ja) 2018-01-25
US20180278919A1 (en) 2018-09-27
CN107113403A (zh) 2017-08-29
WO2017099541A1 (ko) 2017-06-15

Similar Documents

Publication Publication Date Title
KR101619838B1 (ko) 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템
US10237478B2 (en) System and method for correlating camera views
US20170094227A1 (en) Three-dimensional spatial-awareness vision system
US11756307B2 (en) Vehicle video system
US20180176545A1 (en) Virtual reality display
US20160125585A1 (en) Camera system and image registration method thereof
TW201301897A (zh) 監視系統
CN102970571A (zh) 立体图像显示装置
KR101778744B1 (ko) 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템
KR102335167B1 (ko) 영상 촬영 장치 및 이의 촬영 방법
KR101297294B1 (ko) 카메라 제어용 맵 인터페이스 시스템
KR101821159B1 (ko) 다수의 카메라를 이용한 이동체의 이동 경로 추적 시스템
US9906769B1 (en) Methods and apparatus for collaborative multi-view augmented reality video
US20200128188A1 (en) Image pickup device and image pickup system
KR101619839B1 (ko) 팬 틸트 줌(pan-tilt-zoom)이 가능한 스테레오 카메라를 이용한 피사체의 크기와 거리 검출장치
JP2018139052A (ja) 通信端末、画像通信システム、表示方法、及びプログラム
US20150172606A1 (en) Monitoring camera apparatus with depth information determination
KR101738514B1 (ko) 어안 열상 카메라를 채용한 감시 시스템 및 이를 이용한 감시 방법
KR101996907B1 (ko) 객체 추적 장치
EP4095745B1 (en) An image processor and a method therein for providing a target image
US20210258503A1 (en) Systems and methods for tracking a viewing area of a camera device
KR102598630B1 (ko) 광시야 카메라에 기반한 객체 추적 팬틸트 장치 및 그 동작 방법
US20230342888A1 (en) Ptz masking control
JP4493434B2 (ja) 画像生成方法および装置
KR102003775B1 (ko) 카메라의 촬영 경로 제어 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190429

Year of fee payment: 4