KR101977635B1 - 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치 - Google Patents

다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치 Download PDF

Info

Publication number
KR101977635B1
KR101977635B1 KR1020170155028A KR20170155028A KR101977635B1 KR 101977635 B1 KR101977635 B1 KR 101977635B1 KR 1020170155028 A KR1020170155028 A KR 1020170155028A KR 20170155028 A KR20170155028 A KR 20170155028A KR 101977635 B1 KR101977635 B1 KR 101977635B1
Authority
KR
South Korea
Prior art keywords
moving object
image
information
facility
camera
Prior art date
Application number
KR1020170155028A
Other languages
English (en)
Inventor
이명진
박건우
강두식
서규
Original Assignee
한국항공대학교산학협력단
타가텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단, 타가텍 주식회사 filed Critical 한국항공대학교산학협력단
Priority to KR1020170155028A priority Critical patent/KR101977635B1/ko
Application granted granted Critical
Publication of KR101977635B1 publication Critical patent/KR101977635B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법이 개시되며, 상기 방법은 (a) 영상 획득 방향이 시설물 주변의 지면을 향하도록 시설물의 외각 둘레를 따라 간격을 두고 배치되는 복수의 고정 카메라 각각에서 획득된 개별 영상을 전달받는 단계; 및 (b) 전달받은 상기 개별 영상을 스티칭하여 항공뷰 영상으로 변환하는 단계를 포함하되, 상기 복수의 고정 카메라 각각은 개별 영상 내에서 이동체를 검출하는 영상 분석 알고리즘을 탑재하고, 상기 복수의 고정 카메라 중 적어도 하나가 상기 영상 분석 알고리즘에 의해 개별 영상 내에서 이동체를 검출한 경우, 상기 서버는 상기 (a) 단계에서 상기 개별 영상과 함께 상기 이동체에 관한 이동체 정보를 전달받고, 상기 (b) 단계에서 상기 이동체 정보를 이용하여 상기 이동체를 라벨링하여 오버레이하는 형태로 상기 항공뷰 영상 변환을 수행하는 단계를 포함할 수 있다.

Description

다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치{MULTI-CAMERA BASED AERIAL-VIEW 360-DEGREE VIDEO STITCHING AND OBJECT DETECTION METHOD AND DEVICE}
본원은 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치(시스템)에 관한 것이다.
전통적으로 CCTV를 이용한 영상 보안 시스템은 감시 카메라의 시야에 들어오는 지역만 감시하고 있기 때문에 그 외의 지역에 있어서는 사각지대가 존재할 수밖에 없었다.
이에 따라 복수의 카메라를 이용하여 전방위 영상을 생성함으로써 사각지대를 제거하는 어라운드 뷰 모니터링(AVM, Around View Monitoring) (이하, AVM이라 한다.) 시스템이 개발되었다.
AVM(Around View Monitor)라고도 하며, AVM 시스템은 물체의 전방과 후방, 좌, 우측에 4개의 카메라를 설치한 후 각 카메라에서 획득한 영상을 하나의 영상으로 조합하여 하늘에서 물체를 바라보는 듯한 탑 뷰 이미지를 제공함으로써 사각지대를 해소 할 수 있게 한다. 주로 차량에서 쓰이는 방식으로 운전자 보조 시스템이다.
기존 차량용 Around-view-Monitoring 시스템은 차량 주변 근거리 영상의 동일 평면상에서 합성하여 단순히 운전자에게 주변영상을 보여주는 방식인바, 이동물체를 감시 및 추적하는 기능은 존재하지 않아 시설물 관리에 있어서 감시 및 추적 목적에는 부적합한 면이 존재하였다.
본원의 배경이 되는 기술은 문헌 K. Nobori, N. Ukita, N. Hagita, "A Surround View Image Generation Method with Low Distortion for Vehicle Camera Systems Using a Composite Projection," 2017 5th IAPR International Conference on Machine Vision Applications에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 시설물 주변 상황을 항공뷰 영상으로 한눈에 파악할 수 있고, 시설물 주변의 이동체를 쉽게 검출하고 추적할 수 있는 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치를 제공하는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제1 측면에 따른 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법은, 서버에 의한 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법으로서, (a) 영상 획득 방향이 시설물 주변의 지면을 향하도록 시설물의 외각 둘레를 따라 간격을 두고 배치되는 복수의 고정 카메라 각각에서 획득된 개별 영상을 전달받는 단계; 및 (b) 전달받은 상기 개별 영상을 스티칭하여 항공뷰 영상으로 변환하는 단계를 포함하되, 상기 복수의 고정 카메라 각각은 개별 영상 내에서 이동체를 검출하는 영상 분석 알고리즘을 탑재하고, 상기 복수의 고정 카메라 중 적어도 하나가 상기 영상 분석 알고리즘에 의해 개별 영상 내에서 이동체를 검출한 경우, 상기 서버는 상기 (a) 단계에서 상기 개별 영상과 함께 상기 이동체에 관한 이동체 정보를 전달받고, 상기 (b) 단계에서 상기 이동체 정보를 이용하여 상기 이동체를 라벨링하여 오버레이하는 형태로 상기 항공뷰 영상 변환을 수행할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제2 측면에 따른 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법은, 서버에 의한 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법으로서, (a) 영상 획득 방향이 시설물 주변의 지면을 향하도록 시설물의 외각 둘레를 따라 간격을 두고 배치되는 복수의 고정 카메라 각각에서 획득된 개별 영상을 전달받는 단계; 및 (b) 전달받은 상기 개별 영상을 스티칭하여 항공뷰 영상으로 변환하는 단계를 포함하되, 상기 서버는 상기 (b) 단계에서 스티칭 된 영상을 이용하여 이동체를 검출하고, 상기 검출된 이동체에 관한 이동체 정보를 이용하여 상기 이동체를 라벨링 하여 오버레이 하는 형태로 상기 항공뷰 영상 변환을 수행할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제3 측면에 따른 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 장치는, 서버에 의한 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 장치로서, 영상 획득 방향이 시설물 주변의 지면을 향하도록 시설물의 외각 둘레를 따라 간격을 두고 배치되는 복수의 고정 카메라 각각에서 획득된 개별 영상을 전달받는 전달부; 및 전달받은 상기 개별 영상을 스티칭하여 항공뷰 영상으로 변환하는 변환부를 포함하되, 상기 복수의 고정 카메라 각각은 개별 영상 내에서 이동체를 검출하는 영상 분석 알고리즘을 탑재하고, 상기 복수의 고정 카메라 중 적어도 하나가 상기 영상 분석 알고리즘에 의해 개별 영상 내에서 이동체를 검출한 경우, 상기 서버는 상기 전달부에서 상기 개별 영상과 함께 상기 이동체에 관한 이동체 정보를 전달받고, 상기 변환부에서 상기 이동체 정보를 이용하여 상기 이동체를 라벨링하여 오버레이하는 형태로 상기 항공뷰 영상 변환을 수행할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제4 측면에 따른 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 장치는, 영상 획득 방향이 시설물 주변의 지면을 향하도록 시설물의 외각 둘레를 따라 간격을 두고 배치되는 복수의 고정 카메라 각각에서 획득된 개별 영상을 전달받는 전달부; 및 전달받은 상기 개별영상을 스티칭하여 항공뷰 영상으로 변환하는 변환부를 포함하되, 상기 변환부는 스티칭된 영상을 이용하여 이동체를 검출하고, 상기 검출된 이동체에 관한 이동체 정보를 이용하여 상기 이동체를 라벨링 하여 오버레이 하는 형태로 상기 항공뷰 영상 변환을 수행할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 시설물의 외각 둘레를 따라 간격을 두고 배치되는 복수의 고정 카메라 각각에서 획득된 개별 영상을 스티칭하여 항공뷰 영상으로 변환하고, 고정 카메라 및 서버 중 하나 이상에 이동체를 검출하는 영상분석 알고리즘을 탑재함으로써, 시설물 주변 상황을 항공뷰 영상으로 한눈에 파악할 수 있고, 시설물 주변의 이동체를 쉽게 검출하고 추적할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법의 동작 흐름을 설명하기 위한 흐름도이다.
도 2는 시설물 주변 영역 촬영을 위한 고정 카메라와 PTZ 카메라 배치 위치 및 각 카메라의 촬영 영역을 평면도 상에 예시적으로 나타낸 개념도이다.
도 3은 고정 카메라가 이동체 검출 기능을 갖는 제1 구현예에서 고정 카메라의 영상 처리 방법에 대한 동작 흐름을 나타낸 도면이다.
도 4는 고정 카메라가 이동체 검출 기능을 갖는 제1 구현예에서 고정 카메라와 연동되는 서버에서의 영상 처리 방법에 대한 동작 흐름을 나타낸 도면이다.
도 5는 고정 카메라가 이동체 검출 기능을 갖지 않는 제2 구현예에서 고정 카메라의 영상 처리 방법에 대한 동작 흐름을 나타낸 도면이다.
도 6은 고정 카메라가 이동체 검출 기능을 갖지 않는 제2 구현예에서 고정 카메라와 연동되는 서버에서의 영상 처리 방법에 대한 동작 흐름을 나타낸 도면이다.
도 7 내지 도 9는 본원의 일 실시예에 따른 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법에 의 해 모니터링 화면에 디스플레이되는 예를 유형별로 나타낸 도면이다.
도 10은 본원의 일 실시예에 따른 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 장치 및 시스템의 블록도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 “간접적으로 연결”되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에","하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원 명세서 전체에서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛 등을 모두 포괄하는 넓은 개념으로 이해될 수 있다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다. 또한, 본원 명세서 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
이하에서는 본원의 일 실시예에 따른 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법(이하 '본 전방위 비디오 합성 및 이동체 검출 방법'이라 함)에 관하여 설명한다.
도 1은 본원의 일 실시예에 따른 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법의 동작 흐름을 설명하기 위한 흐름도이다. 또한, 도 2는 시설물 주변 영역 촬영을 위한 고정 카메라와 PTZ 카메라 배치 위치 및 각 카메라의 촬영 영역을 평면도 상에 예시적으로 나타낸 개념도이다.
본 전방위 비디오 합성 및 이동체 검출 방법은 서버에 의한 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법에 관한 것이다. 여기서, 서버는 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법을 수행하는 장치로서, 전달부(통신부) 및 변환부(영상 합성부)를 포함할 수 있다. 또한, 서버는 획득부를 포함할 수 있다. 이러한 서버(장치)에 관해서는 보다 구체적으로 후술하기로 한다.
도 1 및 도 2를 참조하면, 본 전방위 비디오 합성 및 이동체 검출 방법은, 서버가 영상 획득 방향이 시설물 주변의 지면을 향하도록 시설물의 외각(410) 둘레를 따라 간격을 두고 배치되는 복수의 고정 카메라(200) 각각에서 획득된 개별 영상을 전달받는 단계(S110)를 포함한다. 도 2를 참조하면, 각각의 고정 카메라(200)가 촬영하는 고정 카메라 촬영영역(420) 및 후술할 PTZ 카메라(300)가 촬영하는 PTZ 카메라 촬영영역(430)을 예시적으로 확인할 수 있다. 후술하겠지만, 1대의 고정 카메라(200)가 촬영하는 고정 카메라 촬영영역(420)을 통해 획득되는 개별 영상은 상기 1대의 고정 카메라(200)와 이웃하는 고정 카메라(200)에 의해 획득되는 개별 영상과 일부 중복될 수 있다. 도 2를 참조하면, 상호 이웃하는 개별 영상 간에 중복되는 영역을 중복 획득 영역(421)이라 칭하기로 한다.
시설물 외각에 설치된 복수의 고정 카메라(200)는 네트워크를 통해 서버와 연결되어 상기 개별 영상을 서버로 전달할 수 있다. 또한, 고정 카메라(200)는 촬영한 개별 영상을 압축하여 서버로 전송하거나, 원본 상태로 서버로 전송할 수 있다. 즉, 고정 카메라(200)는 촬영한 개별 영상을 압축하는 압축 모듈을 포함할 수 있다.
도 2를 참조하면, 복수의 고정 카메라(200)는 시설물의 외각(410)의 경계선 상의 어느 한 지점(임의의 지점)이 적어도 하나의 고정 카메라(200)에 의해 촬영되도록 설치될 수 있다. 즉, 복수의 고정 카메라(200)는 시설물 외각 경계선과 그 외각 지역을 촬영할 수 있다. 예시적으로 도 2에 나타난 바와 같이, 복수의 고정 카메라(200)는 서로 이웃하는 2개의 고정 카메라(200) 사이에 영상 획득 영역이 일부 겹치는 중복 획득 영역(421)이 존재하도록 설치될 수 있다.
또한, 복수의 고정 카메라(200)는 서로 동일한 높이에 설치될 수 있다. 또한, 고정 카메라(200)는 고정 초점 카메라일 수 있다. 또한, 시설물은 건물과 같은 부동산 형태의 구조물을 의미할 수 있다.
또한 도 1을 참조하면, 본 전방위 비디오 합성 및 이동체 검출 방법은, 복수의 고정 카메라(200) 각각으로부터 전달받은 개별 영상을 스티칭하여 항공뷰 영상(520)으로 변환하는 단계(S120)를 포함한다.
S120 단계에서, 서버는 복수의 고정 카메라(200) 간의 호모그래피 변환 관계와 개별 영상이 스티칭되는 기준 평면 간의 호모그래피 변환 관계를 고려하여 개별 영상을 스티칭하고, 번들 조정을 수행할 수 있다. 이때, 서버는 시설물이 위치한 지역의 지면을 기준 평면으로 설정할 수 있다. 예시적으로, 서버는 고정 카메라(200)의 최초 설치시 복수의 고정 카메라(200)가 촬영한 각 개별 영상 간의 호모그래피(Homography) 변환 관계와 기준 평면 간의 호모그래피(Homography) 변환 관계를 계산할 수 있다. 예시적으로, 서버(VMS 서버)는 복수의 고정 카메라(200)가 촬영한 개별 영상을 각 고정 카메라 별로 계산한 호모그래피(Homography) 변환 관계를 이용하여 기준 평면으로 스티칭(합성)하여 시설물 또는 시설물 윤곽을 포함한 형태(예를 들면 직사각형)의 항공뷰 영상으로 변환할 수 있다. 또한, 서버(VMS 서버)는 번들 조정을 수행하여 영상의 깔끔한 스티칭이 이루어지도록 할 수 있다.
또한, 서버(VMS 서버)는 복수의 고정 카메라(200)의 intrinsic 정보 또는 extrinsic 정보를 이용하여 스티칭된 영상을 기준 평면으로 시설물 외각에 대응하는 경계 영역(510)의 외측 둘레를 둘러싸도록 형성되는 항공뷰 영상(520)으로 변환할 수 있다.
또한, 본 전방위 비디오 합성 및 이동체 검출 방법은 S120 단계 이후, 서버(영상 합성 서버와 이를 포함한 비디오 관리 서버[VMS, Video Management Server])는 복수의 고정 카메라(200) 각각이 촬영한 개별 영상들을 합성한 항공뷰 영상을 모니터링 화면(500)에 디스플레이하는 단계(S140)를 포함할 수 있다. 이때, 서버는 S110 단계, S120 단계 및 S140 단계를 주기적으로 반복하면서 디스플레이 되는 항공뷰 영상을 갱신할 수 있다.
한편, 이하에서는 본 전방위 비디오 합성 및 이동체 검출 방법에 있어서 복수의 고정 카메라 각각이 영상 분석 알고리즘을 탑재하여 이동체 검출 기능을 갖는 구현예(제1 구현예) 및 복수의 고정 카메라 각각이 영상 분석 알고리즘을 탑재하지 않아 이동체 검출 기능을 갖지 않는 구현예(제2 구현예)에 대하여 차례로 설명한다. 참고로, 제1 구현예 및 제2 구현예에 대하여 설명하기 전에 전술한 내용은 제1 구현예 및 제2 구현예에 공통적으로 적용될 수 있다.
도 3은 고정 카메라가 이동체 검출 기능을 갖는 제1 구현예에서 고정 카메라의 영상 처리 방법에 대한 동작 흐름을 나타낸 도면이고, 도 4는 고정 카메라가 이동체 검출 기능을 갖는 제1 구현예에서 고정 카메라와 연동되는 서버에서의 영상 처리 방법에 대한 동작 흐름을 나타낸 도면이다.
먼저 제1 구현예의 경우, 복수의 고정 카메라(200) 각각은 획득(촬영)하는 개별 영상 내에서 이동체를 검출하는 영상 분석 알고리즘을 탑재할 수 있다. 예시적으로 도 3을 참조하면, 영상 분석 알고리즘은 개별 영상(단일 영상)에서의 배경 생성을 통해 이동체에 대응하는 전경을 추출하여 이동체를 검출하는 알고리즘일 수 있다.
복수의 고정 카메라(200) 중 적어도 하나가 영상 분석 알고리즘에 의해 개별 영상 내에서 이동체를 검출한 경우, 서버(VMS 서버)는 S110 단계에서 개별 영상과 함께 이동체에 관한 이동체 정보를 전달받고, S120 단계에서 이동체 정보를 이용하여 이동체를 라벨링하여 오버레이(overlay)하는 형태로 항공뷰 영상 변환을 수행할 수 있다.
이처럼 복수의 고정 카메라(200) 각각이 영상분석 알고리즘을 탑재한 경우, 복수의 고정 카메라(200) 각각은 획득(촬영)한 개별 영상 내에 이동체(이동하는 생물 또는 물체)에 대한 영역을 탐지하고, 탐지된 이동체가 있는 경우 이동체 정보(예를 들면 바운딩 박스(bounding box) 정보를 포함하는 정보)를 서버로 전송할 수 있다.
예시적으로, S120 단계에서 서버(예를 들면, 영상합성서버와 이를 포함한 VMS 서버)는 고정 카메라(200)로부터 수신한 이동체의 바운딩 박스 정보를 기준 평면에 대하여 변환한 다음 변환된 영역을 둘러싸는 바운딩 박스를 생성하고 합성된 항공뷰 영상에 오버레이(overlay)하여 표시할 수 있다. 여러 고정 카메라(200)가 동시에 동일한 이동체를 탐지한 경우, 서버는 기준 평면으로 변환된 하나 이상의 바운딩 박스 영역 전체를 둘러싸는 바운딩 박스를 생성할 수 있다.
이동체 정보는 이동체에 관한 식별 정보를 포함할 수 있다. 즉, 검출된 이동체는 고정 카메라(200)에서 고유한 ID값, 즉 고유한 식별 정보를 가지게 될 수 있다. 또한, 이동체 정보는 이동체에 관한 좌표 정보(위치 정보)를 포함할 수 있다. 아울러, 이동체 정보는 이동체에 관한 크기 정보를 포함할 수 있다. 예시적으로, 고정 카메라(200)는 추출(검출)된 이동체의 식별 정보, 좌표 정보 및 크기 정보를 압축 영상(고정 카메라에 압축 모듈이 포함된 경우) 또는 원본 영상과 함께 서버(VMS 서버)로 전송할 수 있다. 이때, 복수의 고정 카메라(200) 각각이 전송하는 이동체에 관한 좌표 정보 및 크기 정보는 각 고정 카메라의 개별 영상(단일 영상)을 기준으로 한 좌표 정보 및 크기 정보일 수 있다.
이처럼 서버(VMS 서버)에서 수신받는 이동체 정보가 각 고정 카메라(200)에서 촬영된 영상에 기초하는 단일 영상 좌표계(개별 영상 좌표계)를 사용한 정보이면, 동일한 이동체에 대하여 서로 다른 고정 카메라(200) 각각이 이동체 정보를 전송하는 경우 각 이동체 정보는 각 고정 카메라(200)의 단일 영상 좌표계를 기준으로 설정된 것이기 때문에 동일한 이동체에 관한 정보임에도 서로 다른 정보(다른 위치, 다른 크기 등)를 가질 수 있다. 이에 따라, 서버는 스티칭 영상과 각 고정 카메라(200)의 단일 영상(개별 영상)간의 좌표계 변환 관계를 고려하여 각 고정 카메라(200)로부터 획득된 단일 영상 좌표계에 기준한 이동체 정보를 스티칭 영상 좌표계 기준으로 변환할 수 있다. 또한, 서버는 이러한 스티칭 영상 좌표계 기준으로 변환된 이동체 정보를 이용하여 스티칭 영상의 이동체를 라벨링 가능하며, 이에 따라 이동체가 오버레이된 스티칭 영상을 항공뷰 영상(520)으로 변환할 수 있다.
S110 단계에서 복수의 고정 카메라(200)로부터 전달받은 이동체 정보가 복수개인 경우, 서버는 S120 단계에서 복수개의 이동체 정보 각각에 대응하는 고정 카메라(200)의 위치 정보 및 이동체 정보 각각에 포함되는 이동체의 좌표 정보를 함께 고려하여, 복수개의 이동체 정보 중 중복 획득 영역(421)에 위치하는 이동체에 관한 이동체 정보가 둘 이상 존재하는지 여부를 판단할 수 있다. 전술한 바와 같이 복수의 고정 카메라(200) 간의 감시구역이 일부 겹칠 수 있기 때문에, 서버(VMS 서버)는 복수의 고정 카메라(200)로부터 수신 받은 복수개의 이동체 정보가 동일한 물체에 관한 것인지, 아닌지를 판단한다면 보다 명확한 이동체 인식이 이루어질 수 있다. 이를 위해, 서버는 각 고정 카메라(200)의 좌표 정보(위치 정보)와 이동체의 좌표 정보를 함께 고려하여, 해당 이동체의 위치가 고정 카메라 간의 감시 구역이 중복되는 위치(중복 획득 영역)인지를 판단할 수 있다. 나아가, 둘 이상의 고정 카메라(200) 각각으로부터 전달된 이동체의 좌표 정보(위치 정보)가 모두 동일한 중복 획득 영역(421)에 포함되는 경우, 해당 이동체들 간의 크기의 유사성, 색상의 유사성 등을 고려하여 상호 동일한 이동체인지 여부를 판단할 수 있다. 즉, 고정 카메라(200)로부터 획득되는 이동체 정보는 크기 정보, 색상 정보 등을 포함할 수 있다.
또한, S120 단계에서, 중복 획득 영역(421)에 위치하는 이동체에 관한 이동체 정보가 둘 이상 존재하는 것으로 판단된 경우, 서버는 둘 이상 존재하는 이동체 정보 각각을 고려하여 동일한 이동체에 대한 중복되는 이동체 정보에 해당하는지 여부를 판단할 수 있다. 이때, 영상 분석 알고리즘을 탑재한 고정 카메라(200)가 추출한 이동체 정보는 이동체의 크기(size)에 관한 크기 정보를 포함할 수 있다.
또한 도 1을 참조하면, 본 전방위 비디오 합성 및 이동체 검출 방법은, 검출된 상기 이동체에 관한 이동체 정보에 기초하여 상기 이동체를 추적하거나 상기 이동체를 줌인(zoom-in) 또는 줌아웃(zoom-out)하도록 PTZ 카메라(300)를 제어하여 추적 영상을 획득하는 단계(S130)를 포함할 수 있다. S130 단계는 S110 단계와 S140 단계 사이에 수행될 수 있다. 보다 바람직하게는, S130 단계는 S120 단계와 S140 단계 사이에 수행될 수 있다. S130 단계에서 활용되는 이동체 정보는 좌표 정보를 포함할 수 있다. 또한, 상기 이동체 정보는 크기 정보를 포함할 수 있다. 예를 들어, PTZ 카메라(300)는 이동체에 대한 좌표 정보에 대응하여 이동체를 추적할 수 있고, 이동체에 대한 크기 정보에 대응하여 이동체를 줌인 또는 줌아웃할 수 있다. 또한, PTZ 카메라(300)는 서버에 포함된 PTZ 컨트롤러(PTZ controller)의 제어계수를 기반으로 자동 이동체 추적 기능, 스캐닝 기능 등을 수행할 수 있다. 또한 PTZ 카메라(300)를 통해 생성되는 뷰포트(VIEWPORT)는 후술하는 바와 같이 항공뷰 영상(520)과 함께 디스플레이될 수 있다. 또한, 서버(VMS 서버)의 PTZ 컨트롤러는 고정 카메라(200)를 통해 추출된 이동체 정보를 이용하여 제어계수를 수정할 수 있다.
이동체 정보(이동체의 좌표 정보, 크기 정보 등)를 전달받은 서버의 PTZ 컨트롤러는 이동체의 위치나 크기에 대응하여 각각의 감시구역을 담당하는 복수의 PTZ 카메라(300)를 이용(제어)하여, 이동체를 자동으로 따라가며 추적 영상을 획득하도록 하고, 이동체의 크기 정보에 따라 줌기능을 적절히 활용하여 이동체 중심의 영상이 생성되도록 할 수 있다. 감시구역(각 고정 카메라의 개별 영상) 내에 이동체가 존재하지 않을 경우, 서버의 PTZ 컨트롤러는 몇 가지 미리 정해진 스캐닝 순서에 따라서 감시구역을 촬영하도록 PTZ 카메라(300)를 제어하거나, 필요에 따라서는 사용자가 원하는 방향으로 PTZ 카메라(300)를 제어할 수 있도록 허용할 수 있다.
도 7 내지 도 9는 본원의 일 실시예에 따른 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법에 의 해 모니터링 화면에 디스플레이되는 예를 유형별로 나타낸 도면이다.
도 7을 참조하면, S140 단계는 변환된 항공뷰 영상(520)을 시설물의 평면뷰(plan view)의 외각(410)에 대응하는 경계 영역(510)의 주변을 따라 배치하고, 획득된 추적 영상을 경계 영역(510) 내에 배치하여 디스플레이할 수 있다. 예시적으로 도 7에 나타난 바와 같이, 모니터링 화면(500) 내에는 시설물을 위에서 바라보았을 때 시설물의 외각에 대응하는 경계 영역(510)을 중심으로 항공뷰 영상(520)이 디스플레이되고, 상기 경계 영역(510) 내에 복수의 PTZ 카메라(300)가 촬영한 영상들을 디스플레이하는 각각의 뷰포트(PTZ VIEWPORT)가 배치될 수 있다. 또한, 상기 경계 영역(510) 내에는 현황판 등 다른 정보나 영상에 대한 디스플레이가 이루어질 수 있다. 이러한 S140 단계에서의 모니터링 화면(500) 내 디스플레이는 S110 단계 내지 S130 단계가 재수행됨에 따라 갱신될 수 있다.
도 8을 참조하면, S140 단계는 복수의 PTZ VIEWPORT 각각이 이동체가 포함된 이동체 대응 영역(540)과 이웃하도록 배치하는 형태로 디스플레이할 수 있다. 이 경우, 이동체가 이동되면서 이동체 대응 영역(540)이 이동되는 경우, 이에 대응하는 PTZ VIEW PORT도 함께 이동될 수 있다. 도 8에 나타난 바와 같이, 경계 영역(510) 내에는 현황판 등 다른 정보나 영상에 대한 디스플레이가 이루어질 수 있다. 또는 다른 예로 도 9를 참조하면, S140 단계는 복수의 PTZ VIEWPORT를 항공뷰 영상(520)의 외측(도 9에서는 항공뷰 영상의 오른편)에 배치하여 디스플레이할 수 있다. 도 9에 나타난 바와 같이, 경계 영역(510) 내에는 현황판 등 다른 정보나 영상에 대한 디스플레이가 이루어질 수 있다.
한편, 복수의 고정 카메라 각각이 영상 분석 알고리즘을 탑재하지 않아 이동체 검출 기능을 갖지 않는 제2 구현예의 경우를 설명한다. 다만, 제1 구현예에서 설명한 구성과 동일 또는 유사한 구성에 대해서는 동일한 도면부호를 부여하고, 중복되는 설명은 간략히 하거나 생략하기로 한다.
도 5는 고정 카메라가 이동체 검출 기능을 갖지 않는 제2 구현예에서 고정 카메라의 영상 처리 방법에 대한 동작 흐름을 나타낸 도면이고, 도 6은 고정 카메라가 이동체 검출 기능을 갖지 않는 제2 구현예에서 고정 카메라와 연동되는 서버에서의 영상 처리 방법에 대한 동작 흐름을 나타낸 도면이다.
제2 구현예의 경우, 복수의 고정 카메라(200) 각각은 획득(촬영)하는 개별 영상 내에서 이동체를 검출하는 영상 분석 알고리즘을 탑재하지 않는 대신, 서버가 S120 단계에서 스티칭된 영상을 이용하여 이동체를 검출하고, 상기 검출된 이동체에 관한 이동체 정보를 이용하여 상기 이동체를 라벨링하여 스티칭 영상에 오버레이 하는 형태로 항공뷰 영상 변환을 수행할 수 있다. 이때, 이동체 정보는 이동체에 관한 식별 정보 및 좌표 정보를 포함할 수 있다.
도 5를 참조하면, 제1 구현예에서와 달리, 제2 구현예에서 S110 단계는 고정 카메라(200)가 획득한 개별 영상의 압축 영상(고정 카메라가 영상 압축 모듈을 포함하는 경우) 또는 원본 영상을 서버가 전달받도록 수행되고, 고정 카메라(200)에 의한 이동체 검출 및 이동체 정보 획득은 수행되지 않는다. 도 6을 참조하면, 제2 구현예에서는 서버(VMS 서버)가 S120 단계를 통해 스티칭된 영상에 대하여 이동체를 검출하고 이동체 정보를 획득할 수 있다. 또한, 도 4 및 도 6을 함께 참조하면, 서버(VMS 서버)는 고정 카메라(200)의 영상 분석 알고리즘 탑재 유/무와 무관하게 공통적으로 복수의 고정 카메라(200)로부터 개별 영상을 수신(S110 단계)하고 이를 항공뷰 영상(520)으로 변환(S120 단계)할 수 있다.
도 6을 참조하면, 이처럼 고정 카메라(200)에 영상 분석 알고리즘이 탑재되지 않은 제2 구현예의 경우, S110 단계에서 서버(VMS서버)로 이동 물체 정보가 전달되지 않으므로, 서버는 S120 단계에서 스티칭된 영상을 이용하여 배경 생성 및 전경 추출을 수행할 수 있다. S120 단계에서 스티칭 영상으로부터의 전경 추출을 통해 이동체 정보를 획득할 수 있으며, 이동체를 추적하고 라벨링할 수 있다. 또한, S120 단계에서 서버는 라벨링된 스티칭 영상을 항공뷰 영상으로 변환하는 동작(과정)을 수행할 수 있다.
이처럼 제 2구현예의 경우, S120 단계에서 서버가 스티칭된 영상을 이용하여 배경 생성 및 전경 추출을 수행하기 때문에, 고정 카메라에 영상 분석 알고리즘이 탑재된 제1 구현예의 경우와 달리 추출되는 이동체에 관한 이동체 정보가 복수개이더라도 이러한 복수개의 이동체 정보가 동일한 이동체로부터 추출된 중복된 이동체 정보인지 여부를 판단할 필요가 없다. 또한, 제2 구현예의 경우, 이동체 정보가 스티칭 영상에 대하여 획득되므로 이동체 정보에 스티칭 영상 좌표계가 적용되어, 이동체 정보를 고정 카메라(200)의 단일 영상 좌표계에서 스티칭 영상 좌표계로 변환할 필요가 없다.
또한 도 1을 참조하면, 제1 구현예에서와 마찬가지로, 본 전방위 비디오 합성 및 이동체 검출 방법은, 검출된 상기 이동체에 관한 이동체 정보에 기초하여 상기 이동체를 추적하거나 상기 이동체를 줌인(zoom-in) 또는 줌아웃(zoom-out)하도록 PTZ 카메라(300)를 제어하여 추적 영상을 획득하는 단계(S130)를 포함할 수 있다. 제1 구현예와 다른 점은, 전술한 바와 같이 이동체 정보를 서버에서 스티칭된 영상에 대하여 획득한다는 점이다. S130 단계에서 활용되는 이동체 정보는 좌표 정보를 포함할 수 있다. 또한, 상기 이동체 정보는 크기 정보를 포함할 수 있다. 또한, PTZ 카메라(300)는 서버에 포함된 PTZ 컨트롤러(PTZ controller)의 제어계수를 기반으로 자동 이동체 추적 기능, 스캐닝 기능 등을 수행할 수 있다. 제2 구현예의 경우, 서버(VMS 서버)의 PTZ 컨트롤러는 서버에서 추출된 이동체 정보를 이용하여 제어계수를 수정할 수 있다.
이동체 정보(이동체의 좌표 정보, 크기 정보 등)를 전달받은 서버의 PTZ 컨트롤러는 이동체의 위치나 크기에 대응하여 각각의 감시구역을 담당하는 복수의 PTZ 카메라(300)를 이용(제어)하여, 이동체를 자동으로 따라가며 추적 영상을 획득하도록 하고, 이동체의 크기 정보에 따라 줌기능을 적절히 활용하여 이동체 중심의 영상이 생성되도록 할 수 있다. 감시구역(스티칭된 영상) 내에 이동체가 존재하지 않을 경우, 서버의 PTZ 컨트롤러는 몇 가지 미리 정해진 스캐닝 순서에 따라서 감시구역을 촬영하도록 PTZ 카메라(300)를 제어하거나, 필요에 따라서는 사용자가 원하는 방향으로 PTZ 카메라(300)를 제어할 수 있도록 허용할 수 있다.
도 7을 참조하면, S140 단계는 변환된 항공뷰 영상(520)을 시설물의 평면뷰(plan view)의 외각(410)에 대응하는 경계 영역(510)의 주변을 따라 배치하고, 획득된 추적 영상을 경계 영역(510) 내에 배치하여 디스플레이할 수 있다. 또는 도 8을 참조하면, S140 단계는 복수의 PTZ VIEWPORT 각각이 이동체가 포함된 이동체 대응 영역(540)과 이웃하도록 배치하는 형태로 디스플레이할 수 있다. 이 경우, 이동체가 이동되면서 이동체 대응 영역(540)이 이동되는 경우, 이에 대응하는 PTZ VIEW PORT도 함께 이동될 수 있다. 또는 다른 예로 도 9를 참조하면, S140 단계는 복수의 PTZ VIEWPORT를 항공뷰 영상(520)의 외측(도 9에서는 항공뷰 영상의 오른편)에 배치하여 디스플레이할 수 있다.
한편, 이하에서는 본원의 일 실시예에 따른 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 장치(이하 '본 전방위 비디오 합성 및 이동체 검출 장치'라 함)에 대하여 설명한다. 다만, 본 전방위 비디오 합성 및 이동체 검출 장치는 전술한 본원의 일 실시예에 따른 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법과 카테고리만 상이할 뿐 동일하거나 상응하는 기술적 특징을 공유하는 발명이라 할 것이므로, 앞서 설명한 구성과 동일 또는 유사한 구성에 대해서는 동일한 도면부호를 부여하고, 중복되는 설명은 간략히 하거나 생략하기로 한다.
도 10은 본원의 일 실시예에 따른 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 장치 및 시스템의 블록도이다.
본 전방위 비디오 합성 및 이동체 검출 장치(100)는 본원의 일 실시예에 따른 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법의 수행 주체인 서버(VMS 서버)일 수 있다. 또한 도 10을 참조하면, 본원의 일 실시예에 따른 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 시스템은 상기 본 전방위 비디오 합성 및 이동체 검출 장치(100), 그리고 복수의 고정 카메라(200)를 포함할 수 있다. 또한, 본원의 일 실시예에 따른 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 시스템은 복수의 PTZ 카메라(300)를 포함할 수 있다.
본 전방위 비디오 합성 및 이동체 검출 장치(100)는, 영상 획득 방향이 시설물 주변의 지면을 향하도록 시설물의 외각(410)의 둘레를 따라 간격을 두고 배치되는 복수의 고정 카메라(200) 각각에서 획득된 개별 영상을 전달받는 전달부(110)를 포함한다. 전달부(110)는 복수의 고정 카메라(200) 등 장치 외부와의 통신을 통해 정보, 신호 등을 송수신하는 통신부라 할 수 있다. 또한, 도 2를 참조하면, 복수의 고정 카메라(200)는 시설물의 외각(410)의 경계선 상의 어느 한 지점(임의의 지점)이 적어도 하나의 고정 카메라(200)에 의해 촬영되도록 설치될 수 있다. 예시적으로 도 2에 나타난 바와 같이, 복수의 고정 카메라(200)는 서로 이웃하는 2개의 고정 카메라(200) 사이에 영상 획득 영역이 일부 겹치는 중복 획득 영역(421)이 존재하도록 설치될 수 있다.
또한, 본 전방위 비디오 합성 및 이동체 검출 장치(100)는, 전달받은 상기 개별 영상을 스티칭하여 항공뷰 영상으로 변환하는 변환부(120)를 포함한다. 변환부(120)는 복수의 고정 카메라(200) 간의 호모그래피 변환 관계와 개별 영상이 스티칭되는 기준 평면 간의 호모그래피 변환 관계를 고려하여 개별 영상을 스티칭하고, 번들 조정을 수행할 수 있다.
또한, 본 전방위 비디오 합성 및 이동체 검출 장치(100)는, 복수의 고정 카메라(200) 각각이 촬영한 개별 영상들을 합성한 항공뷰 영상을 모니터링 화면(500)에 디스플레이할 수 있다.
한편, 제1 구현예의 경우, 복수의 고정 카메라(200) 각각은 획득(촬영)하는 개별 영상 내에서 이동체를 검출하는 영상 분석 알고리즘을 탑재할 수 있다. 예시적으로 도 3을 참조하면, 영상 분석 알고리즘은 개별 영상(단일 영상)에서의 배경 생성을 통해 이동체에 대응하는 전경을 추출하여 이동체를 검출하는 알고리즘일 수 있다.
복수의 고정 카메라(200) 중 적어도 하나가 영상 분석 알고리즘에 의해 개별 영상 내에서 이동체를 검출한 경우, 전달부(110)는 개별 영상과 함께 이동체에 관한 이동체 정보를 전달받고, 변환부(120)는 이동체 정보를 이용하여 이동체를 라벨링하여 오버레이(overlay)하는 형태로 항공뷰 영상 변환을 수행할 수 있다.
이동체 정보는 이동체에 관한 식별 정보를 포함할 수 있다. 또한, 이동체 정보는 이동체에 관한 좌표 정보(위치 정보)를 포함할 수 있다. 아울러, 이동체 정보는 이동체에 관한 크기 정보를 포함할 수 있다.
전달부(110)가 복수의 고정 카메라(200)로부터 전달받은 이동체 정보가 복수개인 경우, 변환부(120)는 복수개의 이동체 정보 각각에 대응하는 고정 카메라(200)의 위치 정보 및 이동체 정보 각각에 포함되는 이동체의 좌표 정보를 함께 고려하여, 복수개의 이동체 정보 중 중복 획득 영역(421)에 위치하는 이동체에 관한 이동체 정보가 둘 이상 존재하는지 여부를 판단할 수 있다.
또한, 변환부(120)는 중복 획득 영역(421)에 위치하는 이동체에 관한 이동체 정보가 둘 이상 존재하는 것으로 판단된 경우, 둘 이상 존재하는 이동체 정보 각각을 고려하여 동일한 이동체에 대한 중복되는 이동체 정보에 해당하는지 여부를 판단할 수 있다. 이때, 영상 분석 알고리즘을 탑재한 고정 카메라(200)가 추출한 이동체 정보는 이동체의 크기(size)에 관한 크기 정보를 포함할 수 있다.
또한, 본 전방위 비디오 합성 및 이동체 검출 장치(100)는, 검출된 상기 이동체에 관한 이동체 정보에 기초하여 상기 이동체를 추적하거나 상기 이동체를 줌인(zoom-in) 또는 줌아웃(zoom-out)하도록 PTZ 카메라(300)를 제어하여 추적 영상을 획득하는 추적부(130)를 포함할 수 있다. 추적부(130)는 PTZ 컨트롤러를 포함하거나, PTZ 컨트롤러 그 자체라 할 수 있다. 추적부(130)가 활용하는 이동체 정보는 좌표 정보를 포함할 수 있다. 또한, 상기 이동체 정보는 크기 정보를 포함할 수 있다.
도 7을 참조하면, 본 전방위 비디오 합성 및 이동체 검출 장치(100)는 변환된 항공뷰 영상(520)을 시설물의 평면뷰(plan view)의 외각(410)에 대응하는 경계 영역(510)의 주변을 따라 배치하고, 획득된 추적 영상을 경계 영역(510) 내에 배치하여 모니터링 화면(500)에 디스플레이할 수 있다. 또는 도 8을 참조하면, 본 전방위 비디오 합성 및 이동체 검출 장치(100)는 복수의 PTZ VIEWPORT 각각이 이동체가 포함된 이동체 대응 영역(540)과 이웃하도록 배치하는 형태로 모니터링 화면(500)에 디스플레이할 수 있다. 이 경우, 이동체가 이동되면서 이동체 대응 영역(540)이 이동되는 경우, 이에 대응하는 PTZ VIEW PORT도 함께 이동될 수 있다. 또는 다른 예로 도 9를 참조하면, 본 전방위 비디오 합성 및 이동체 검출 장치(100)는 복수의 PTZ VIEWPORT를 항공뷰 영상(520)의 외측(도 9에서는 항공뷰 영상의 오른편)에 배치하여 모니터링 화면(500)에 디스플레이할 수 있다.
한편, 제2 구현예의 경우, 복수의 고정 카메라(200) 각각은 획득(촬영)하는 개별 영상 내에서 이동체를 검출하는 영상 분석 알고리즘을 탑재하지 않는 대신, 변환부(120)가 스티칭된 영상을 이용하여 이동체를 검출하고, 상기 검출된 이동체에 관한 이동체 정보를 이용하여 상기 이동체를 라벨링하여 스티칭 영상에 오버레이 하는 형태로 항공뷰 영상 변환을 수행할 수 있다. 이때, 이동체 정보는 이동체에 관한 식별 정보 및 좌표 정보를 포함할 수 있다.
또한, 제1 구현예에서와 마찬가지로, 제2 구현예에서 본 전방위 비디오 합성 및 이동체 검출 장치(100)는, 검출된 상기 이동체에 관한 이동체 정보에 기초하여 상기 이동체를 추적하거나 상기 이동체를 줌인(zoom-in) 또는 줌아웃(zoom-out)하도록 PTZ 카메라(300)를 제어하여 추적 영상을 획득하는 추적부(130)를 포함할 수 있다. 제1 구현예와 다른 점은, 전술한 바와 같이 이동체 정보를 변환부(120)에서 스티칭된 영상에 대하여 획득한다는 점이다. 추적부(130)는 PTZ 컨트롤러를 포함하거나, PTZ 컨트롤러 그 자체라 할 수 있다. 추적부(130)가 활용하는 이동체 정보는 좌표 정보를 포함할 수 있다. 또한, 상기 이동체 정보는 크기 정보를 포함할 수 있다.
도 7을 참조하면, 본 전방위 비디오 합성 및 이동체 검출 장치(100)는 변환된 항공뷰 영상(520)을 시설물의 평면뷰(plan view)의 외각(410)에 대응하는 경계 영역(510)의 주변을 따라 배치하고, 획득된 추적 영상을 경계 영역(510) 내에 배치하여 모니터링 화면(500)에 디스플레이할 수 있다. 또는 도 8을 참조하면, 본 전방위 비디오 합성 및 이동체 검출 장치(100)는 복수의 PTZ VIEWPORT 각각이 이동체가 포함된 이동체 대응 영역(540)과 이웃하도록 배치하는 형태로 모니터링 화면(500)에 디스플레이할 수 있다. 이 경우, 이동체가 이동되면서 이동체 대응 영역(540)이 이동되는 경우, 이에 대응하는 PTZ VIEW PORT도 함께 이동될 수 있다. 또는 다른 예로 도 9를 참조하면, 본 전방위 비디오 합성 및 이동체 검출 장치(100)는 복수의 PTZ VIEWPORT를 항공뷰 영상(520)의 외측(도 9에서는 항공뷰 영상의 오른편)에 배치하여 모니터링 화면(500)에 디스플레이할 수 있다.
본원의 일 실시예에 따른 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본원의 다양한 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본원의 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 살펴본 바와 같이, 본원의 일 예에 따르면, 복수의 고정 초점 카메라를 시설물 외곽에 설치하여 시설물을 관리하는 영상보안시스템에서 시설물 외곽 상황을 항공뷰 영상으로 한눈에 파악할 수 있는 합성된 전방위 영상이 제공될 수 있다. 또한, 본원의 일 예에 따르면, 시설물(건물) 주변의 감시구역의 중첩(중복)되는 부분을 제거한 통합적인 항공뷰 영상을 생성하므로 보다 효과적인 감시가 가능하며, 자동화된 이동체 검출 및 추적을 통해 감시 효율을 높일 수 있다. 또한, PTZ 카메라의 자동 이동물체 추적 기능, 스캐닝 기능 등과 연계되는 PTZ 뷰포트(PTZ VIEWPORT)를 통해 사용자의 편의를 증대시킬 수 있다.
또한, 본원의 일 예에 따르면, 복수의 고정 카메라를 시설물 외곽에 설치하여 시설물을 관리하는 영상보안시스템에서 시설물 외곽 주변에 움직이는 이동체를 자동으로 탐지하여 합성된 전방위 항공뷰 영상 위에 표시할 수 있고, 별도의 상황 그래픽 화면을 제공할 수 있다. 즉, 본원의 일 예에 따르면, 복수의 고정 카메라를 시설물 외곽에 설치하여 시설물을 관리하는 영상보안시스템에서 각 고정 카메라에서 탐지한 시설물 외곽의 이동체의 여러 정보를 비디오 관리 서버(Video Management Server)나 영상분석 서버에서 수신하고, 합성된 전방위 항공뷰 영상 좌표계로 변환하여 표시할 수 있다.
또한, 본원의 일 예에 따르면, 각 고정 카메라가 획득하는 개별 영상에서 탐지되거나, 또는 그로부터 스티칭되어 합성된 전방위 항공뷰 영상에서 탐지된 시설물 외곽 주변의 이동체를 시설물 외곽에 설치된 PTZ 카메라를 이용하여 추적하고 이동체의 크기에 대응하여 줌인 또는 줌아웃된 뷰포트를 제공할 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 발명의 상세한 설명보다는 후술하는 청구범위에 의해 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등개념으로부터 도출 되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석 되어야 한다.
110: 전달부
120: 변환부
130: 획득부
200: 고정 카메라
300: PTZ 카메라
410: 시설물의 외각
420: 고정 카메라 촬영영역
421: 중복 획득 영역
430: PTZ 카메라 촬영영역
500: 모니터링 화면
510: 시설물 외각에 대응하는 경계 영역
520: 합성(변환)된 항공뷰 영상
530: PTZ 카메라 뷰 영역
540: 이동체 대응 영역

Claims (16)

  1. 서버에 의한 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법으로서,
    (a) 영상 획득 방향이 시설물 주변의 지면을 향하도록 시설물의 외각 둘레를 따라 간격을 두고 배치되는 복수의 고정 카메라 각각에서 획득된 개별 영상을 전달받는 단계; 및
    (b) 전달받은 상기 개별 영상을 스티칭하여 항공뷰 영상으로 변환하는 단계를 포함하되,
    상기 복수의 고정 카메라 각각은 개별 영상 내에서 이동체를 검출하는 영상 분석 알고리즘을 탑재하고,
    상기 복수의 고정 카메라 중 적어도 하나가 상기 영상 분석 알고리즘에 의해 개별 영상 내에서 이동체를 검출한 경우, 상기 서버는 상기 (a) 단계에서 상기 개별 영상과 함께 상기 이동체에 관한 이동체 정보를 전달받고, 상기 (b) 단계에서 상기 이동체 정보를 이용하여 상기 이동체를 라벨링하여 오버레이하는 형태로 상기 항공뷰 영상 변환을 수행하고,
    상기 복수의 고정 카메라는 서로 이웃하는 2개의 고정 카메라 사이에 영상 획득 영역이 일부 겹치는 중복 획득 영역이 존재하도록 설치되고,
    상기 (a) 단계에서 전달받은 상기 이동체 정보가 복수개인 경우, 상기 서버는 상기 (b) 단계에서 복수개의 상기 이동체 정보 각각에 대응하는 고정 카메라의 위치 정보 및 상기 이동체 정보 각각에 포함되는 이동체의 좌표 정보를 함께 고려하여, 복수개의 상기 이동체 정보 중 상기 중복 획득 영역에 위치하는 이동체에 관한 이동체 정보가 둘 이상 존재하는지 여부를 판단하고,
    상기 (b) 단계에서, 상기 중복 획득 영역에 위치하는 이동체에 관한 이동체 정보가 둘 이상 존재하는 것으로 판단된 경우, 둘 이상 존재하는 이동체 정보 각각에 포함된 크기 정보 및 색상 정보를 고려하여 동일한 이동체에 대한 중복되는 이동체 정보에 해당하는지 여부를 판단하고,
    상기 전방위 비디오 합성 및 이동체 검출 방법은,
    (c) 상기 이동체 정보에 기초하여 상기 이동체를 추적하거나 상기 이동체를 줌인 또는 줌아웃하도록 PTZ 카메라를 제어하여 추적 영상을 획득하는 단계; 및
    (d) 변환된 상기 항공뷰 영상을 시설물의 평면뷰의 외각에 대응하는 경계 영역의 외각 주변을 따라 배치하고, 획득된 상기 추적 영상을 상기 경계 영역 내에 배치하여 모니터링 화면 내에 디스플레이하는 단계를 더 포함하는 것인, 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법.
  2. 제1항에 있어서,
    상기 이동체 정보는 상기 이동체에 관한 식별 정보 및 좌표 정보를 포함하는 것인, 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법.
  3. 제1항에 있어서,
    상기 복수의 고정 카메라는 상기 시설물의 외각 경계선 상의 어느 한 지점이 적어도 하나의 고정 카메라에 의해 촬영되도록 설치되는 것인, 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법.
  4. 제1항에 있어서,
    상기 영상 분석 알고리즘은, 상기 개별 영상에서의 배경 생성을 통해 상기 이동체에 대응하는 전경을 추출하여 상기 이동체를 검출하는 알고리즘인 것인, 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법.
  5. 제1항에 있어서,
    상기 (b) 단계에서, 상기 서버는 상기 복수의 고정 카메라 간의 호모그래피 변환 관계와 상기 개별 영상이 스티칭되는 기준 평면 간의 호모그래피 변환 관계를 고려하여 상기 개별 영상을 스티칭하고, 번들 조정을 수행하는 것인, 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 장치로서,
    영상 획득 방향이 시설물 주변의 지면을 향하도록 시설물의 외각 둘레를 따라 간격을 두고 배치되는 복수의 고정 카메라 각각에서 획득된 개별 영상을 전달 받는 전달부; 및
    전달받은 상기 개별 영상을 스티칭하여 항공뷰 영상으로 변환하는 변환부를 포함하되,
    상기 복수의 고정 카메라 각각은 개별 영상 내에서 이동체를 검출하는 영상 분석 알고리즘을 탑재하고,
    상기 복수의 고정 카메라 중 적어도 하나가 상기 영상 분석 알고리즘에 의해 개별 영상 내에서 이동체를 검출한 경우, 상기 전달부는 상기 개별 영상과 함께 상기 이동체에 관한 이동체 정보를 전달받고, 상기 변환부는 상기 이동체 정보를 이용하여 상기 이동체를 라벨링하여 오버레이하는 형태로 상기 항공뷰 영상 변환을 수행하고,
    상기 복수의 고정 카메라는 서로 이웃하는 2개의 고정 카메라 사이에 영상 획득 영역이 일부 겹치는 중복 획득 영역이 존재하도록 설치되고,
    상기 전달부에서 전달받은 상기 이동체 정보가 복수개인 경우, 상기 전방위 비디오 합성 및 이동체 검출 장치는 상기 변환부에서 복수개의 상기 이동체 정보 각각에 대응하는 고정 카메라의 위치 정보 및 상기 이동체 정보 각각에 포함되는 이동체의 좌표 정보를 함께 고려하여, 복수개의 상기 이동체 정보 중 상기 중복 획득 영역에 위치하는 이동체에 관한 이동체 정보가 둘 이상 존재하는지 여부를 판단하고,
    상기 변환부는, 상기 중복 획득 영역에 위치하는 이동체에 관한 이동체 정보가 둘 이상 존재하는 것으로 판단된 경우, 둘 이상 존재하는 이동체 정보 각각에 포함된 크기 정보 및 색상 정보를 고려하여 동일한 이동체에 대한 중복되는 이동체 정보에 해당하는지 여부를 판단하고,
    상기 전방위 비디오 합성 및 이동체 검출 장치는,
    상기 이동체 정보에 기초하여 상기 이동체를 추적하거나 상기 이동체를 줌인 또는 줌아웃하도록 PTZ 카메라를 제어하여 추적 영상을 획득하는 추적부를 더 포함하고,
    변환된 상기 항공뷰 영상을 시설물의 평면뷰의 외각에 대응하는 경계 영역의 외각 주변을 따라 배치하고, 획득된 상기 추적 영상을 상기 경계 영역 내에 배치하여 모니터링 화면 내에 디스플레이하는 것인, 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 장치.
  16. 삭제
KR1020170155028A 2017-11-20 2017-11-20 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치 KR101977635B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170155028A KR101977635B1 (ko) 2017-11-20 2017-11-20 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170155028A KR101977635B1 (ko) 2017-11-20 2017-11-20 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101977635B1 true KR101977635B1 (ko) 2019-05-13

Family

ID=66582002

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170155028A KR101977635B1 (ko) 2017-11-20 2017-11-20 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101977635B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210011124A (ko) * 2019-07-22 2021-02-01 서광모 조향성과 레일 접지성이 향상된 궤도 점검용 레일드론 시스템
KR20210064092A (ko) * 2019-11-25 2021-06-02 한국전자통신연구원 회전형 카메라 기반 검출영역 구성 방법 및 장치
KR102271521B1 (ko) * 2019-12-31 2021-07-01 씨제이포디플렉스 주식회사 주변 영상 생성 방법 및 이를 수행하는 서버
WO2023210839A1 (ko) * 2022-04-27 2023-11-02 주식회사 넥스트케이 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030034995A (ko) * 2001-10-29 2003-05-09 삼성전자주식회사 영상압축 알고리즘을 이용한 카메라 제어방법
KR20150014311A (ko) * 2013-07-29 2015-02-06 인하대학교 산학협력단 어라운드뷰 제공 장치, 방법 및 차량
KR101566964B1 (ko) * 2014-05-27 2015-11-13 주식회사 피엘케이 테크놀로지 이동 물체를 추적할 수 있는 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체
KR20160014413A (ko) * 2014-07-29 2016-02-11 주식회사 일리시스 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030034995A (ko) * 2001-10-29 2003-05-09 삼성전자주식회사 영상압축 알고리즘을 이용한 카메라 제어방법
KR20150014311A (ko) * 2013-07-29 2015-02-06 인하대학교 산학협력단 어라운드뷰 제공 장치, 방법 및 차량
KR101566964B1 (ko) * 2014-05-27 2015-11-13 주식회사 피엘케이 테크놀로지 이동 물체를 추적할 수 있는 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체
KR20160014413A (ko) * 2014-07-29 2016-02-11 주식회사 일리시스 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210011124A (ko) * 2019-07-22 2021-02-01 서광모 조향성과 레일 접지성이 향상된 궤도 점검용 레일드론 시스템
KR102210247B1 (ko) * 2019-07-22 2021-02-02 서광모 조향성과 레일 접지성이 향상된 궤도 점검용 레일드론 시스템
KR20210064092A (ko) * 2019-11-25 2021-06-02 한국전자통신연구원 회전형 카메라 기반 검출영역 구성 방법 및 장치
US20210218901A1 (en) * 2019-11-25 2021-07-15 Electronics And Telecommunications Research Institute Method and apparatus for configuring detection area based on rotatable camera
KR102432901B1 (ko) 2019-11-25 2022-08-18 한국전자통신연구원 회전형 카메라 기반 검출영역 구성 방법 및 장치
US11716450B2 (en) 2019-11-25 2023-08-01 Electronics And Telecommunications Research Institute Method and apparatus for configuring detection area based on rotatable camera
KR102271521B1 (ko) * 2019-12-31 2021-07-01 씨제이포디플렉스 주식회사 주변 영상 생성 방법 및 이를 수행하는 서버
WO2023210839A1 (ko) * 2022-04-27 2023-11-02 주식회사 넥스트케이 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치

Similar Documents

Publication Publication Date Title
US10339386B2 (en) Unusual event detection in wide-angle video (based on moving object trajectories)
KR101977635B1 (ko) 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치
JP5891061B2 (ja) 映像監視装置、監視システム、監視システム構築方法
US9398214B2 (en) Multiple view and multiple object processing in wide-angle video camera
US9602700B2 (en) Method and system of simultaneously displaying multiple views for video surveillance
Senior et al. Acquiring multi-scale images by pan-tilt-zoom control and automatic multi-camera calibration
KR101695249B1 (ko) 감시 영상 표시 방법 및 시스템
KR101120131B1 (ko) 지능형 광역 감시 카메라, 그 제어회로 및 제어방법, 이를 이용한 영상 감시 시스템
KR101096157B1 (ko) 듀얼 카메라를 이용한 실시간 감시장치
KR101718081B1 (ko) 손 제스처 인식용 초광각 카메라 시스템 및 그가 적용된 TVI(Transport Video Interface) 장치
KR101916093B1 (ko) 객체 추적 방법
KR101410985B1 (ko) 감시카메라를 이용한 감시시스템 및 감시장치와 그 감시방법
TW201410015A (zh) 多攝影機的整合處理系統及其方法
KR102009988B1 (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치
JP2002101408A (ja) 監視カメラシステム
KR101619953B1 (ko) 감시카메라용 자동 다중 추적 영상처리방법
JP2006033188A (ja) 監視装置および監視方法
KR20140036824A (ko) 3ｄ 영상을 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법
KR101996907B1 (ko) 객체 추적 장치
JP5436056B2 (ja) 障害物検出装置および障害物検出方法
JP2005260753A (ja) カメラ選択装置、及びカメラ選択方法
JP2020057981A (ja) 画像作成システム、画像作成装置、及び画像作成装置の制御方法
KR20180134114A (ko) 실시간 영상 감시 시스템
KR102046043B1 (ko) 영상의 3차원 정보를 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법
JP2008079174A (ja) カメラ視野制御装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant