KR20160094655A - 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법 - Google Patents

복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법 Download PDF

Info

Publication number
KR20160094655A
KR20160094655A KR1020150015895A KR20150015895A KR20160094655A KR 20160094655 A KR20160094655 A KR 20160094655A KR 1020150015895 A KR1020150015895 A KR 1020150015895A KR 20150015895 A KR20150015895 A KR 20150015895A KR 20160094655 A KR20160094655 A KR 20160094655A
Authority
KR
South Korea
Prior art keywords
image
resolution
low
panoramic image
displaying
Prior art date
Application number
KR1020150015895A
Other languages
English (en)
Inventor
장정훈
이형주
Original Assignee
주식회사 일리시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 일리시스 filed Critical 주식회사 일리시스
Priority to KR1020150015895A priority Critical patent/KR20160094655A/ko
Priority to PCT/KR2015/002035 priority patent/WO2016125946A1/ko
Publication of KR20160094655A publication Critical patent/KR20160094655A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19634—Electrical details of the system, e.g. component blocks for carrying out specific functions
    • G08B13/19636—Electrical details of the system, e.g. component blocks for carrying out specific functions pertaining to the camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23225—
    • H04N5/23238—

Abstract

본 발명의 일 실시예에 따른 복수의 고해상도 카메라와 연결된 영상 감시 장치에서 실행되는 영상 감시 방법은 상기 복수의 고해상도 카메라로부터 고해상도카메라 영상을 수신하는 단계, 저해상도 파노라마 영상 생성 테이블을 기초로 상기 고해상도카메라 영상을 이용하여 저해상도 파노라마 영상을 생성하여 표시하는 단계, 상기 저해상도 파노라마 영상에서 특정 위치 또는 특정 이동 객체 지정 시 초고해상도 파노라마 영상 생성 테이블을 이용하여 지정된 영역에 해당하는 고해상도 디지털 PTZ 영상을 생성하여 표시하는 단계를 포함한다.
본 발명은 파노라마 영상의 표출 및 영상 분석을 위해서는 초고해상도의 파노라마 영상을 생성하는 대신 저해상도 파노라마 영상을 생성하여 사용하고, 관심 대상의 고해상도 영상 표출을 위해서는 초고해상도 파노라마 영상 전체를 생성하는 대신 관심 대상의 영역에 해당하는 영상(고해상도 디지털 PTZ 영상)만을 생성하여 사용함으로써 효율적인 고해상도 파노라마 영상 감시 시스템을 구축할 수 있도록 해주는 효과가 있다.

Description

복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법 {The System and Method for Panoramic Video Surveillance with Multiple High-Resolution Video Cameras}
본 발명의 실시예들은 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 방법 및 이를 실행하는 장치에 관한 것이다.
일반적으로 영상 감시 시스템은 특정 위치에 카메라를 설치하고, 다른 장소에서 특정 위치에 설치된 카메라에서 촬영된 영상을 표출하여 특정 위치를 감시하는 시스템을 말한다.
영상 감시 시스템 중 파노라마 영상 기반의 감시 시스템은 180도 또는 360도의 광각 영상을 제공하는 시스템으로, 하나의 영상으로 넓은 지역을 한꺼번에 감시 할 수 있다는 장점을 가지고 있다. 또한 영상 감시의 자동화를 위해 비디오 영상으로부터 이동 객체들을 자동 추적하는 경우, 파노라마 영상은 넓은 지역에서 이동하는 객체들을 끊김 없이 추적할 수 있도록 해주는 장점을 가지고 있다.
일반적으로 파노라마 비디오 영상을 획득하는 방식으로는 한 대의 고해상도 카메라에 어안 렌즈 또는 반사경을 부착하여 180도/360도의 광각 영상을 획득하는 방식과 방사형으로 배치된 복수의 일반 카메라로부터 얻은 영상들을 서로 붙여서 광각의 파노라마 영상을 획득하는 방식으로 나눌 수 있다.
최근에는 비교적 간단한 구성으로 파노라마 영상을 획득할 수 있는 "단일카메라 + 어안 렌즈" 방식이 영상 감시 시스템에서 주로 사용되고 있다. 하지만, 이 방식은 단일 카메라의 해상도에 의해 파노라마 영상의 전체 해상도가 결정되는 문제, 렌즈의 가장자리로 갈수록 영상 왜곡이 심해지는 문제 등을 가지고 있다. 그로 인하여 이 방식은 근거리 영상 감시에만 주로 활용되고 있다.
반면 복수의 일반 카메라를 이용하여 파노라마 영상을 획득하는 방식은 상는 "단일카메라 + 어안 렌즈" 방식보다 카메라 구성 및 파노라마 영상 생성 방식이 복잡하기는 하나,는 "단일카메라 + 어안 렌즈" 방식의 문제점을 극복할 수 있기 때문에 근거리뿐만 아니라 원거리 영상 감시에도 활용될 수 있다.
일반적으로 카메라의 화각이 고정되어 있을 때 카메라 영상의 해상도가 높을수록 원거리 피사체에 대해 더 상세한 정보를 획득할 수 있다. 따라서 광역/원거리 감시 시스템에서는 높은 해상도의 카메라가 주로 사용된다.
복수의 일반 카메라 기반 파노라마 영상 감시 시스템에서 개별 카메라의 영상 해상도가 높으면, 개별 카메라의 영상을 서로 붙여서 생성한 파노라마 영상은 매우 높은 영상 해상도를 갖는다. 예를 들면 수평 배치된 5대의 일반 카메라를 사용하고, 개별 카메라의 영상 해상도가 Full-HD급(1920x1080)인 경우, 이를 통해 얻어지는 파노라마 영상의 최대 해상도는 약 8448x1080에 이른다(이웃하는 카메라 영상 사이의 겹침 정도를 15%라고 가정하는 경우). 이러한 초고해상도의 파노라마 영상을 별도의 전용 하드웨어 장치 없이 일반 PC에서 실시간(즉, 적어도 15FPS 이상)으로 생성하려면 막대한 CPU 자원이 필요하기 때문에 현실적으로 실시간 처리가 이루어지기 매우 어렵다. 따라서 복수의 고해상도 카메라를 기반으로 하는 파노라마 영상 감시 시스템의 경우 기존의 방식 그대로 운영하기에 어려운 점이 있다.
대한민국 공개특허공보 제10-2006-0044129호(2006년 05월 16일) 대한민국 공개특허공보 제10-2005-0045845호(2005년 05월 17일) 대한민국 공개특허공보 제10-2005-0046822호(2005년 05월 18일) 대한민국 공개특허공보 제10-2009-0121102호(2009년 10월 26일)
본 발명은 복수의 고해상도 카메라를 이용한 파노라마 영상 감시 시스템에서, 파노라마 영상의 표출 및 영상 분석을 위해서는 초고해상도의 파노라마 영상을 생성하는 대신 저해상도 파노라마 영상을 생성하여 사용하고, 관심 피사체의 고해상도 영상 표출을 위해서는 초고해상도 파노라마 영상 전체를 생성하는 대신 관심 피사체의 영역에 해당하는 영상(고해상도 디지털 PTZ 영상)만을 생성하여 사용함으로써 효율적인 고해상도 파노라마 영상 감시 시스템을 구축할 수 있도록 하는 영상 감시 방법 및 이를 실행하는 장치를 제공하는 것을 목적으로 한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
실시예들 중에서, 방사 형태로 배치되고 영상의 일부가 서로 겹치게 설치된 복수의 고해상도 카메라와 연결된 영상 감시 장치에서 실행되는 영상 감시 방법은 상기 복수의 고해상도 카메라로부터 고해상도 카메라 영상을 수신하는 단계, 저해상도 파노라마 영상 생성 테이블을 기초로 상기 고해상도 카메라 영상을 이용하여 저해상도 파노라마 영상을 생성하여 생성하여 표시하는 단계, 상기 저해상도 파노라마 영상에서 특정 위치 또는 특정 이동 객체 지정 시 초고해상도 파노라마 영상 생성 테이블을 이용하여 지정된 영역에 해당하는 고해상도 디지털 PTZ 영상을 생성하여 표시하는 단계를 포함한다.
실시예들 중에서, 방사 형태로 배치되고 영상의 일부가 서로 겹치게 설치된 복수의 고해상도 카메라와 연결된 영상 감시 장치는 상기 복수의 고해상도 카메라로부터 고해상도 카메라 영상을 수신하는 영상 입력부, 저해상도파노라마 영상 생성 테이블을 기초로 상기 고해상도 카메라 영상을 이용하여 저해상도의 파노라마 영상을 생성하는 저해상도 파노라마 영상 생성부, 상기 저해상도 파노라마 영상에서 특정 위치 또는 특정 이동 객체가 지정되면 초고해상도 파노라마 영상 생성 테이블을 이용하여 지정된 영역에 해당하는 고해상도 디지털 PTZ 영상을 생성하는 고해상도 디지털 PTZ 영상 생성부를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
본 발명에 따르면, 방사 형태로 배치된 다수의 고해상도 영상 촬영 기기로부터 수신된 고해상도 영상으로 저해상도 파노라마 영상을 생성하여 파노라마 영상을 표시하고 실시간 영상 분석을 통해 이벤트가 발생하면 해당 위치에 대한 입력된 고해상도 영상을 이용하여 디지털 PTZ 영상을 제공함으로써 적은 CPU 자원을 이용하여 고해상도 파노라마 영상 감시 시스템을 구축할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 파노라마 영상 감시 시스템을 설명하기 위한 전체 구성도이다.
도 2는 본 발명의 일 실시예에 따른 파노라마 영상 감시 장치를 설명하기 위한 블록도이다.
도 3은 본 발명에 따른 파노라마 영상 감시 방법의 일 실시예를 설명하기 위한 흐름도이다.
도 4는 본 발명에 따른 파노라마 영상 감시 방법의 다른 일 실시예를 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 파노라마 영상 감시 장치가 저해상도 파노라마 영상을 생성하는 과정을 설명하기 위한 참조도이다.
도 6은 본 발명의 일 실시예에 따른 파노라마 영상 감시 장치가 고해상도 디지털 PTZ 영상을 생성하는 과정을 설명하기 위한 참조도이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 파노라마 영상 감시 시스템을 설명하기 위한 전체 구성도이다.
도 1을 참조하면, 고해상도 파노라마영상 감시 시스템은 방사 형태로 배치된 다수의 영상 촬영 기기(100) 및 영상 감시 장치(200)를 포함한다.
방사 형태로 배치된 다수의 영상 촬영 기기(100)는 촬영 영역의 일부가 서로 겹치게 설치되며 주변의 영상을 촬영하여 고해상도 영상을 영상 감시장치(200)에 제공한다.
여기에서, 다수의 영상 촬영 기기(100)는 방사 형태로 고정되어 해당 영역을 촬영하여 고해상도 영상을 획득할 수 있는 장치를 의미하며, 예를 들어 고해상도 메가픽셀 카메라 등이 될 수 있다.
영상 감시 장치(200)는 다수의 영상 촬영 기기(100)로부터 고해상도 영상을 수신하면 저해상도 파노라마 영상 생성 테이블을 기초로 저해상도 파노라마 영상을 생성하여 표시한다.
영상 감시 장치(200)는 저해상도 파노라마 영상을 생성하여 표출하고, 실시간 영상 분석을 통해 객체 검출/추적 및 이벤트 감지를 수행하고, 지정된 이벤트가 감지되면(예를 들어 "침입" 이벤트는 파노라마 영상의 지정된 영역 내에 이동체가 출연하는 경우를 의미함), 해당 객체 또는 이벤트 발생 위치에 대응하는 고해상도 디지털 PTZ 영상을 생성하여 표출한다.
이와 같이, 본 발명은 방사 형태로 배치된 다수의 영상 촬영 기기로부터 수신된 고해상도 영상을 이용하여 저해상도 파노라마 영상을 생성하여 표시하고 실시간 영상 분석을 통해 이벤트가 발생하면 해당 위치에 대한 고해상도 디지털 PTZ 영상을 제공함으로써 적은 CPU 자원을 이용하여 초고해상도 파노라마 영상 감시 시스템을 효율적으로 구축 및 운영 할 수 있다는 효과가 있다. 이하에서는 도 2를 참조하여 영상 감시 장치를 보다 구체적으로 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 영상 감시 장치를 설명하기 위한 블록도이다.
도 2를 참조하면, 영상 감시 장치(200)는 영상 입력부(210), 영상 디코딩부(211), 영상 저장부(212), 영상 검색/재생부(213), 저해상도 파노라마 영상 생성부(214), 저해상도 파노라마 영상 생성 테이블(215), 객체 추적부(216), 수동 디지털 PTZ 제어부(217), 자동 디지털 PTZ 제어부(218), 고해상도 디지털 PTZ 영상 생성부(219), 초고해상도 파노라마 영상 생성 테이블(220) 및 영상 표출부(221)를 포함한다.
영상 입력부(210)는 방사 형태로 배치되어 있고 촬영 영역의 일부가 서로 겹치게 설치된 다수의 영상 촬영 기기(100)로부터 압축된 고해상도 영상을 수신하여 영상 디코딩부(211) 및 영상 저장부(212) 각각에 제공한다.
영상 디코딩부(211)는 영상 입력부(210)로부터 고해상도 영상을 수신하여 디코딩을 실행하고, 디코딩된 영상을 저해상도 파노라마 영상 생성부(214) 또는 고해상도 디지털 PTZ 영상 생성부(219)에 제공한다.
영상 저장부(212)는 영상 입력부(210)로부터 영상 스트림을 수신하여 그대로 저장한다.
영상 검색/재생부(213)는 특정 조건에 해당하는 영상의 검색이 요청되면 영상 저장부(212)에서 특정 조건에 해당하는 영상 데이터를 독출하여 영상 디코딩부(211)에 제공한다. 여기에서, 특정 조건은 이벤트 감지 정보(예를 들어, 배회, 가상펜스, 역방향 이동 등과 같은 이벤트 감지), 객체 감지 정보(특정 색상, 크기등과 같은 객체 정보)를 기반으로 검색 조건을 제시하거나 검색하고자 하는 날짜를 기초로 하는 조건 중 적어도 하나를 포함한다.
저해상도 파노라마 영상 생성부(214)는 저해상도의 파노라마 영상 생성 정보를 가지고 있는 저해상도 파노라마 영상 생성 테이블(215)을 이용하여 저해상도 파노라마 영상 생성한다. 저해상도 파노라마 영상 생성부(214)는 저해상도 파노라마 영상을 객체 추적부(216) 및 수동 디지털 PTZ 제어부(217)에 각각 제공 하고 영상 표출을 위해 영상 표출부(221)에 제공한다.
보다 구체적으로, 저해상도 파노라마 영상 생성부(214)는 저해상도 파노라마 영상 생성 테이블(215)에 저장되어 있는 이미지 워핑(warping) 및 블렌딩(blending) 정보를 이용하여 저해상도 파노라마 영상을 생성한다.
객체 추적부(216)는 저해상도 파노라마 영상 생성부(214)로부터 저해상도 파노라마 영상을 수신하면 객체 감지 및 추적을 통하여 설정된 이벤트 감지를 수행한다.
객체 추적부(216)는 프레임 별 객체의 위치 및 크기 정보를 자동 디지털 PTZ 제어부(218)에 제공한다. 여기에서, 객체 감지 및 추적하는 방법은 본 발명의 범위에서 벗어나므로 생략한다. 수동 디지털 PTZ 제어부(217)는 사용자가 저해상도 파노라마 영상에서 지정한 위치좌표 정보를 고해상도 파노라마 영상의 위치 좌표로 변환하여 고해상도 디지털 PTZ 영상 생성부(219)에 제공한다.
자동 디지털 PTZ 제어부(218)는 객체 추적부(216)에서 감지된 저해상도 파노라마 영상에서의 감지 위치좌표 정보를 고해상도 파노라마 영상의 위치좌표로 변환하여 고해상도 디지털 PTZ 영상 생성부(219)에 제공한다.
고해상도 디지털 PTZ 영상 생성부(219)는 수신된 고해상도 파노라마 영상의 위치좌표에 해당하는 고해상도 디지털 PTZ 영상을 생성하여 영상 표출부(221)에 제공한다. 이때, 고해상도 디지털 PTZ 영상 생성부(219)에서는 전체 고해상도 파노라마 영상을 생성하지 않고 초고해상도 파노라마 영상 생성 테이블(220)의 일부만 이용하여 해당 위치 좌표에 해당하는 고해상도 디지털 PTZ 영상을 생성한다.
영상 표출부(221)는 저해상도 파노라마 영상 생성부(214) 또는 고해상도 디지털PTZ 영상 생성부(219)로부터 수신된 영상을 표시한다.
도 3은 본 발명에 따른 영상 감시 방법의 일 실시예를 설명하기 위한 흐름도이다.
도 3을 참조하면, 영상 감시 장치(200)는 방사 형태로 배치되고 촬영 영역의 일부가 서로 겹치게 설치된 복수의 고해상도 카메라로부터 영상 입력부(210)를 통해 고해상도 영상을 수신한다(단계 S310). 수신된 고해상도 영상은 통상적으로 H.264 등과 같은 코덱을 통해 인코딩(압축)되어 있는 형태이다.
영상 감시 장치(200)는 각 카메라별로 수신한 고해상도 영상을 영상 저장부(212)를 통해 저장한다(단계 S320). 이때 저장되는 영상 데이터의 형태는 카메라로부터 수신된, 인코딩되어 있는 영상 데이터의 형태이다.
영상 감시 장치(200)는 각 카메라별로 수신한 영상 데이터의 디코딩을 수행한다(단계 S330).
영상 감시 장치(200)는 디코딩된 각 카메라 별 영상 데이터로부터 저해상도 파노라마 영상 생성부(214)를 통해 저해상도 파노라마 영상을 생성하고, 영상 표출부(221)를 통해 파노라마 영상을 표출한다. 이때 저해상도 파노라마 영상 생성부(214)는 저해상도 파노라마 영상 생성 테이블(215)에 저장되어 있는 이미지 워핑(warping) 및 블렌딩(blending) 정보를 이용하여 고해상도 카메라 영상들로부터 저해상도 파노라마 영상을 생성한다.
영상 감시 장치(200)는 저해상도 파노라마 영상에서 특정 위치 또는 특정 이동 객체가 지정되면(단계 S350), 수동 디지털 PTZ 제어부(217) 또는 자동 디지털 PTZ 제어부(218)를 통해 지정된 위치 또는 지정된 이동 객체의 위치에 해당하는 고해상도 디지털 PTZ 영상의 영역 정보를 획득한다(단계 S360).
단계 S350에 대한 일 실시예로, 사용자는 표출 중인 저해상도 파노라마 영상에서 관심 영역에 해당하는 위치를 지정할 수 있다.
단계 S350에 대한 다른 실시예로, 사용자는 객체 추적부(216)을 통해 추적 중인 이동 객체들 중에 관심 객체를 지정할 수 있다.
단계 S350에 대한 또 다른 실시예로, 객체 추적부(216)을 통해 감지된 이벤트의 발생 위치 또는 감지된 이벤트를 발생시킨 객체가 관심 위치 또는 관심 객체로 자동 지정될 수 있다.
영상 감시 장치(200)는 단계 S360에서 획득한 고해상도 디지털 PTZ 영상의 영역 정보를 이용하여 고해상도 디지털 PTZ 영상 생성부(219)를 통해 고해상도 디지털 PTZ 영상을 생성하고, 영상 표출부(221)을 통해 화면에 표출한다. 이때 고해상도 디지털 PTZ 영상 생성부(219)는 초고해상도 파노라마 영상 생성 테이블(220)에 저장되어 있는 이미지 워핑(warping) 및 블렌딩(blending) 정보를 이용하여, 영상 디코딩부(211)로부터 얻은 고해상도 카메라 영상들로부터 고해상도 디지털 PTZ 영상을 생성한다.
도 4는 본 발명에 따른 영상 감시 방법의 일 실시예를 설명하기 위한 흐름도이다.
도 4를 참조하면, 사용자는 영상 감시 장치(200)에게 녹화된 영상의 재생을 요청한다(단계 S410). 녹화 영상의 재생 시작 위치는 다양한 방법으로 지정될 수 있다. 예를 들면 사용자가 재생 시작 위치에 해당하는 시점을 직접 지정하던가, 사용자가 기 발생한 이벤트들 중에 특정 이벤트를 선택하면, 선택된 이벤트의 발생 시작 시점으로 지정될 수 있다.
영상 감시 장치(200)는 영상 검색/재생부(213)을 통해 영상 저장부(212)에 녹화되어 있는 각 카메라 별 녹화 영상 데이터를 가져온다(단계 S420).
영상 감시 장치(200)는 각 카메라 별 녹화 영상 데이터를 영상 디코딩부(211)을 통해 디코딩한다(단계 S430).
영상감시 장치(200)는 디코딩된 각 카메라 별 영상 데이터로부터 저해상도 파노라마 영상 생성부(214)를 통해 저해상도 파노라마 영상을 생성하고, 영상 표출부(221)을 통해 화면에 표출한다(단계 S440).
사용자는 관심 영역 또는 관심 이동 객체에 대한 고해상도 영상을 보기 위해, 관심 영역의 해당 위치 또는 관심 이동 객체를 표출 중인 저해상도 파노라마 영상에서 지정한다(단계 S450).
영상 감시 장치(200)는 사용자가 관심 영역의 해당 위치를 지정한 경우, 수동 디지털 PTZ 제어부(217)를 통해 해당 고해상도 디지털 PTZ 영상의 영역 정보를 획득하고, 사용자가 관심 이동 객체를 지정한 경우, 자동 디지털 PTZ 제어부(218)을 통해 해당 고해상도 디지털 PTZ 영상의 영역 정보를 획득한다(단계 S460).
영상 감시 장치(200)는 단계 S430에서 획득한 각 카메라 별 디코딩된 영상 데이터와 단계 S460에서 획득한 고해상도 디지털 PTZ 영상의 영역 정보로부터 고해상도 디지털 PTZ 영상 생성부(219)를 통해 고해상도 디지털 PTZ 영상을 생성하고, 영상 표출부(221)을 통해 화면에 표출한다.
도 5는 본 발명의 일 실시예에 따른 영상 감시 장치(200)가 저해상도 파노라마 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 2와 도 5를 참조하면, 동시간에 획득한 각 카메라의 고해상도 영상으로부터, 영상 감시 장치(200)의 저해상도 파노라마 영상 생성부(214)는 저해상도 파노라마 영상 생성 테이블(215)에 저장되어 있는 이미지 워핑(warping) 및 블렌딩(blending) 정보를 이용하여 저해상도 파노라마 영상 생성 테이블과 동일한 크기(해상도)의 파노라마 영상을 생성한다.
보다 구체적으로, 파노라마 영상의 특정 픽셀의 밝기 값(컬러 영상인 경우에는 R/G/B 값)은 그것에 대응하는 카메라 영상들의 픽셀 밝기 값들의 가중 합(Weighted Sum)으로 구해진다. 예를 들어, N개의 카메라들로부터 획득한 N개의 카메라 영상들 중에 파노라마 영상 Ip의 특정 픽셀 좌표 (x,y)에 대응하는 픽셀을 갖는 카메라 영상이 I1과 I2라고 가정하자(도 5 참조). 그러면 파노라마 영상 Ip의 픽셀 좌표 (x,y)에서의 픽셀 밝기 값 Ip(x,y)는 하기 [수학식 1]에 의해 구해진다
Figure pat00001
상기 [수학식 1]에서 a(x,y)는 파노라마 영상의 픽셀 좌표 (x,y)에서의 블렌딩(blending) 계수 값으로, 0과 1 사이의 값을 갖는다. 픽셀 좌표 (x1,y1)과 (x2,y2)는 파노라마 영상의 픽셀 좌표 (x,y)에 대응하는 카메라 영상 I1과 I2에서의 픽셀 좌표 값을 의미한다. 즉, 파노라마 영상 Ip의 생성 시, 카메라 영상 I1과 I2의 픽셀 좌표 (x1,y1)과 (x2,y2)는 파노라마 영상 Ip의 픽셀 좌표 (x,y)로 워핑(warping)이 되는 것을 의미한다.
파노라마 영상 생성 테이블에는 생성할 파노라마 영상의 각 픽셀에 대응하는 카메라 영상의 픽셀 좌표 및 블렌딩 계수 값이 저장되어 있다. 따라서 N개의 카메라로부터 동시간에 획득한 N개의 카메라 영상이 입력으로 주어지면, 파노라마 영상 생성 테이블을 이용하여 파노라마 영상 전체 또는 그 일부를 손쉽게 계산할 수 있다. 파노라마 영상 생성 테이블은 카메라 보정(Camera Calibration) 기법에 의해 구할 수 있으며, 구체적인 방법은 본 특허의 범위를 벗어나므로 설명을 생략한다.
저해상도 파노라마 영상 생성 테이블의 크기는 화면 상에 출력하거나 객체 추적을 위한 파노라마 영상의 해상도를 고려하여 결정한다. 예를 들면 수평 배치된 5대의 Full-HD급(1920x1080) 카메라를 이용하는 경우, 이를 통해 얻어지는 파노라마 영상의 해상도는 최대 8448x1080에 이른다(이웃하는 카메라 영상 사이의 겹침 정도가 15%라고 가정하는 경우). 그러나 통상적인 표출 장치(모니터)의 해상도는 이것에 훨씬 못 미치는 1920x1080 정도이다. 따라서 화면에 파노라마 영상을 한 줄로 표출하는 경우, 표출용 파노라마 영상의 해상도는 1920x246이면 족하다. 그러므로 상기 예에서는 크기가 1920x246인 저해상도 파노라마 영상 생성 테이블을 마련하면 된다.
도 6은 본 발명의 일 실시예에 따른 영상 감시 장치(200)가 고해상도 디지털 PTZ 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 2와 도 6을 참조하면, 동시간에 획득한 각 카메라의 고해상도 영상으로부터, 영상 감시 장치(200)의 고해상도 디지털 PTZ 영상 생성부(219)는 수동 디지털 PTZ 제어부(217) 또는 자동 디지털 PTZ 제어부(218)로부터 얻은 영역 정보 및 초고해상도 파노라마 영상 생성 테이블(220)에 저장되어 있는 이미지 워핑(warping) 및 블렌딩(blending) 정보를 이용하여 고해상도 디지털 PTZ 영상을 생성한다.
상기 초고해상도 파노라마 영상 생성 테이블(220)의 구조는 저해상도 파노라마 영상 생성 테이블(215)와 동일하며, 테이블의 크기는 원 카메라 영상들을 통해 생성할 수 있는 파노라마 영상의 최대 해상도를 따른다.
상기 고해상도 디지털 PTZ 영상은 상기 초고해상도 파노라마 영상 생성 테이블의 해당 영역 내에서만 이미지 워핑 및 블렌딩 작업을 수행함에 의해 생성되며, 디지털 PTZ 영상의 크기(해상도)는 사용자가 임의로 지정할 수 있다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
100: 다수의 고해상도 카메라
200: 영상 감시 장치
210: 영상 입력부
211: 영상 디코딩부
212: 영상 저장부
213: 영상 검색/재생부
214: 저해상도 파노라마 영상 생성부
215: 저해상도 파노라마 영상 생성 테이블
216: 객체 추적부
217: 수동 디지털 PTZ 제어부
218: 자동 디지털 PTZ 제어부
219: 고해상도 디지털 PTZ 영상 생성부
220: 초고해상도 파노라마 영상 생성 테이블
221: 영상 표출부

Claims (10)

  1. 방사 형태로 배치되고 촬영 영역의 일부가 서로 겹치게 설치된 다수의 영상 촬영 기기와 연결된 영상 감시 장치에서 실행되는 영상 감시 방법에 있어서,
    상기 다수의 영상 촬영 기기 각각으로부터 고해상도 영상을 수신하는 단계;
    저해상도 파노라마 영상 생성 테이블을 기초로 상기 고해상도 영상을 이용하여 저해상도 파노라마 영상을 생성하여 표시하는 단계; 및
    상기 저해상도 파노라마 영상을 표시하는 과정에서 이벤트가 발생하면 고해상도 파노라마 영상 생성 테이블을 이용하여 고해상도 디지털 PTZ 영상을 표시하는 단계를 포함하는
    영상 감시 방법.
  2. 청구항 1에 있어서,
    상기 저해상도 파노라마 영상 생성 테이블을 기초로 상기 고해상도 영상을 이용하여 저해상도 파노라마 영상을 생성하여 표시하는 단계는
    상기 저해상도 파노라마 영상 생성 테이블에 저장되어 있는 이미지 워핑(warping) 및 블렌딩(blending) 정보를 이용하여 고해상도 카메라 영상들로부터 저해상도 파노라마 영상을 생성하여 표시하는 단계를 포함하는 것을 특징으로 하는
    영상 감시 방법.
  3. 청구항 1에 있어서,
    상기 저해상도 파노라마 영상을 표시하는 과정에서 이벤트가 발생하면 고해상도 파노라마 영상 생성 테이블을 이용하여 고해상도 디지털 PTZ 영상을 생성하여 표시하는 단계는
    상기 저해상도 파노라마 영상에서 특정 위치 또는 특정 이동 객체가 지정되면 상기 지정된 위치 또는 상기 지정된 이동 객체의 위치에 해당하는 고해상도 디지털 PTZ 영상의 영역 정보를 획득하는 단계;
    상기 고해상도 디지털 PTZ 영상의 영역 정보를 이용하여 고해상도 디지털 PTZ 영상을 생성하는 단계; 및
    상기 고해상도 디지털 PTZ 영상을 표시하는 단계를 포함하는 것을 특징으로 하는
    영상 감시 방법.
  4. 청구항 3에 있어서,
    상기 고해상도 디지털 PTZ 영상을 표시하는 단계는
    초고해상도 파노라마 영상 생성 테이블에 저장되어 있는 이미지 워핑(warping) 및 블렌딩(blending) 정보를 이용하여 고해상도 디지털 PTZ 영상을 생성하여 표시하는 단계를 포함하는 것을 특징으로 하는
    영상 감시 방법.
  5. 청구항 1에 있어서,
    특정 조건에 해당하는 영상의 검색이 요청되면 저장 장치부에서 상기 특정 조건에 해당하는 영상을 독출하는 단계를 더 포함하고,
    상기 특정 조건은
    이벤트 감지 정보, 객체 감지 정보를 기반으로 검색 조건 또는 검색하고자 하는 날짜를 기초로 하는 검색 조건 중 적어도 하나를 포함하는 것을 특징으로 하는
    영상 감시 방법.
  6. 방사형태로 배치되고 촬영 영역의 일부가 서로 겹치게 설치된 다수의 영상 촬영 기기와 연결된 영상 감시 장치에 있어서,
    상기 다수의 영상 촬영 기기 각각으로부터 고해상도 영상을 수신하는 영상 입력부;
    저해상도 파노라마 영상 생성 테이블을 기초로 상기 고해상도 영상을 이용하여 저해상도 파노라마 영상을 생성하여 영상 표시부를 통해 표시하는 저해상도 파노라마 영상 생성부; 및
    상기 영상 표시부가 상기 저해상도 파노라마 영상을 표시하는 과정에서 이벤트가 발생하면 고해상도 파노라마 영상 생성 테이블을 이용하여 고해상도 디지털 PTZ 영상을 생성하여 상기 영상 표시부를 통해 표시하는 고해상도 디지털 PTZ 영상 생성부를 포함하는
    영상 감시 장치.
  7. 청구항 6에 있어서,
    상기 저해상도 파노라마 영상 생성부는
    상기 저해상도 파노라마 영상 생성 테이블에 저장되어 있는 이미지 워핑(warping) 및 블렌딩(blending) 정보를 이용하여 고해상도 카메라 영상들로부터 저해상도 파노라마 영상을 생성하여 영상 표시부를 통해 표시하는 것을 특징으로 하는
    영상 감시 장치.
  8. 청구항 6에 있어서,
    상기 영상 표시부가 상기 저해상도 파노라마 영상을 표시하는 과정에서 사용자에 의해 특정 위치 또는 특정 이동 객체가 지정되면 상기 지정된 위치 또는 상기 지정된 이동 객체의 위치에 해당하는 고해상도 디지털 PTZ 영상의 영역 정보를 획득하는 자동 디지털 PTZ 제어부를 더 포함하고,
    상기 고해상도 디지털 PTZ 영상 생성부는
    상기 고해상도 디지털 PTZ 영상의 영역 정보를 이용하여 고해상도 디지털 PTZ 영상을 생성하여 영상 표출부를 통해 표시하는 것을 특징으로 하는
    영상 감시 장치.
  9. 청구항 8에 있어서,
    상기 고해상도 디지털 PTZ 영상 생성부는
    초고해상도 파노라마 영상 생성 테이블에 저장되어 있는 이미지 워핑(warping) 및 블렌딩(blending) 정보를 이용하여 고해상도 디지털 PTZ 영상을 생성하여 영상 표출부를 통해 표시하는 것을 특징으로 하는
    영상 감시 장치.
  10. 청구항 6에 있어서,
    특정 조건에 해당하는 영상의 검색이 요청되면 영상 저장부에서 상기 특정 조건에 해당하는 영상을 도출하는 영상 검색부를 더 포함하고,
    상기 특정 조건은
    이벤트 감지 정보, 객체 감지 정보를 기반으로 검색 조건 또는 검색하고자 하는 날짜를 기초로 하는 검색 조건 중 적어도 하나를 포함하는 것을 특징으로 하는
    영상 감시 장치
KR1020150015895A 2015-02-02 2015-02-02 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법 KR20160094655A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150015895A KR20160094655A (ko) 2015-02-02 2015-02-02 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
PCT/KR2015/002035 WO2016125946A1 (ko) 2015-02-02 2015-03-03 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150015895A KR20160094655A (ko) 2015-02-02 2015-02-02 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20160094655A true KR20160094655A (ko) 2016-08-10

Family

ID=56564273

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150015895A KR20160094655A (ko) 2015-02-02 2015-02-02 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR20160094655A (ko)
WO (1) WO2016125946A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018101605A1 (ko) * 2016-11-30 2018-06-07 한화테크윈 주식회사 이벤트 정보를 표시하는 영상 감시 장치
CN108831085A (zh) * 2018-04-28 2018-11-16 淮阴师范学院 量子通信技术的视频监控系统
KR20190118747A (ko) * 2018-04-11 2019-10-21 한국전자통신연구원 순람표에 기반한 스티칭 영상 생성 장치 및 방법
WO2021049855A1 (en) * 2019-09-10 2021-03-18 Samsung Electronics Co., Ltd. Method and electronic device for capturing roi
WO2023172031A1 (ko) * 2022-03-07 2023-09-14 한화비전 주식회사 파노라마 감시 영상의 생성

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107241540A (zh) * 2017-08-01 2017-10-10 哈尔滨市舍科技有限公司 一种双分辨率集成式全景摄像装置及方法
CN107197166A (zh) * 2017-08-01 2017-09-22 哈尔滨市舍科技有限公司 一种双分辨率一体式全景摄像装置及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050045845A (ko) 2003-11-10 2005-05-17 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘 피 파노라마 화상 생성 방법 및 카메라
KR20050046822A (ko) 2002-10-18 2005-05-18 사르노프 코포레이션 다수의 카메라들을 사용하여 파노라마식 시각화를 가능하게하는 방법 및 시스템
KR20060044129A (ko) 2004-11-11 2006-05-16 김배훈 360°파노라마 촬영용 카메라장치
KR20090121102A (ko) 2008-05-21 2009-11-25 재단법인 제주하이테크산업진흥원 해조추출물을 포함하는 염증 및 피부자극 개선 및 완화용조성물

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10310636A1 (de) * 2003-03-10 2004-09-30 Mobotix Ag Überwachungsvorrichtung
JP2005033649A (ja) * 2003-07-09 2005-02-03 Hirobumi Matsuo 監視回路，監視カメラおよび監視システム
JP5150943B2 (ja) * 2006-12-18 2013-02-27 富士フイルム株式会社 監視システム、監視方法、及びプログラム
JP4345829B2 (ja) * 2007-03-09 2009-10-14 ソニー株式会社 画像表示システム、画像表示装置、画像表示方法およびプログラム
KR101300873B1 (ko) * 2011-10-11 2013-08-27 서울시립대학교 산학협력단 클라우드 컴퓨팅 기반의 영상 코딩 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050046822A (ko) 2002-10-18 2005-05-18 사르노프 코포레이션 다수의 카메라들을 사용하여 파노라마식 시각화를 가능하게하는 방법 및 시스템
KR20050045845A (ko) 2003-11-10 2005-05-17 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘 피 파노라마 화상 생성 방법 및 카메라
KR20060044129A (ko) 2004-11-11 2006-05-16 김배훈 360°파노라마 촬영용 카메라장치
KR20090121102A (ko) 2008-05-21 2009-11-25 재단법인 제주하이테크산업진흥원 해조추출물을 포함하는 염증 및 피부자극 개선 및 완화용조성물

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018101605A1 (ko) * 2016-11-30 2018-06-07 한화테크윈 주식회사 이벤트 정보를 표시하는 영상 감시 장치
US10979675B2 (en) 2016-11-30 2021-04-13 Hanwha Techwin Co., Ltd. Video monitoring apparatus for displaying event information
KR20190118747A (ko) * 2018-04-11 2019-10-21 한국전자통신연구원 순람표에 기반한 스티칭 영상 생성 장치 및 방법
US10963989B2 (en) 2018-04-11 2021-03-30 Electronics And Telecommunications Research Institute Apparatus and method of generating stitched image based on look-up table
CN108831085A (zh) * 2018-04-28 2018-11-16 淮阴师范学院 量子通信技术的视频监控系统
WO2021049855A1 (en) * 2019-09-10 2021-03-18 Samsung Electronics Co., Ltd. Method and electronic device for capturing roi
US11606504B2 (en) 2019-09-10 2023-03-14 Samsung Electronics Co., Ltd. Method and electronic device for capturing ROI
WO2023172031A1 (ko) * 2022-03-07 2023-09-14 한화비전 주식회사 파노라마 감시 영상의 생성

Also Published As

Publication number Publication date
WO2016125946A1 (ko) 2016-08-11

Similar Documents

Publication Publication Date Title
KR20160094655A (ko) 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
US8427538B2 (en) Multiple view and multiple object processing in wide-angle video camera
CN109005334B (zh) 一种成像方法、装置、终端和存储介质
US20020054211A1 (en) Surveillance video camera enhancement system
JP4140591B2 (ja) 撮像システム及び撮像方法
KR100883632B1 (ko) 고해상도 카메라를 이용한 지능형 영상 감시 시스템 및 그 방법
US20090213209A1 (en) Monitoring system for a photography unit, monitoring method, computer program, and storage medium
US7697025B2 (en) Camera surveillance system and method for displaying multiple zoom levels of an image on different portions of a display
JP6622650B2 (ja) 情報処理装置及びその制御方法、撮影システム
JP2016220173A (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP2012016003A (ja) 監視カメラを使用する能動的客体追跡装置及び方法
KR20110072846A (ko) 감시 카메라 장치 및 영상 데이터 처리 방법
US20170026573A1 (en) High-resolution cctv panoramic camera device
US20150109408A1 (en) System and method for capturing and rendering a landscape image or video
US20180343435A1 (en) Display control apparatus, display control method, and storage medium
CN102801963A (zh) 基于高清数字摄像头监控的电子ptz方法及装置
KR101778744B1 (ko) 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템
JP2006092450A (ja) 画像処置装置および画像処理方法
JP2007288354A (ja) カメラ装置、画像処理装置および画像処理方法
US20090051770A1 (en) Camera control method, camera control device, camera control program, and camera system
KR20210108691A (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
TW201410015A (zh) 多攝影機的整合處理系統及其方法
KR102009988B1 (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치
JP2012089918A (ja) 撮像装置
JP2004088558A (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application