KR20180085432A - 카메라와 연계해서 증강현실 프리미티브와 이벤트를 연동시키는 시스템 및 그 시스템의 구동방법 - Google Patents

카메라와 연계해서 증강현실 프리미티브와 이벤트를 연동시키는 시스템 및 그 시스템의 구동방법 Download PDF

Info

Publication number
KR20180085432A
KR20180085432A KR1020170008942A KR20170008942A KR20180085432A KR 20180085432 A KR20180085432 A KR 20180085432A KR 1020170008942 A KR1020170008942 A KR 1020170008942A KR 20170008942 A KR20170008942 A KR 20170008942A KR 20180085432 A KR20180085432 A KR 20180085432A
Authority
KR
South Korea
Prior art keywords
camera
primitive
marker
event
augmented reality
Prior art date
Application number
KR1020170008942A
Other languages
English (en)
Other versions
KR102008672B1 (ko
Inventor
최준호
김지현
장민기
Original Assignee
주식회사 인텔리빅스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인텔리빅스 filed Critical 주식회사 인텔리빅스
Priority to KR1020170008942A priority Critical patent/KR102008672B1/ko
Publication of KR20180085432A publication Critical patent/KR20180085432A/ko
Application granted granted Critical
Publication of KR102008672B1 publication Critical patent/KR102008672B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection

Abstract

본 발명은 카메라와 연계해서 증강현실 프리미티브와 이벤트를 연동시키는 시스템 및 그 시스템의 구동방법에 관한 것으로서, 본 발명의 실시예에 따른 증강현실 프리미티브와 이벤트를 연동시키는 시스템은, 카메라로 촬영되는 영상에서 사용자의 관심 지역을 증강 현실로 나타내기 위한 표식을 저장하는 저장부, 및 관심 지역에 이벤트가 발생하면, 저장한 표식을 화면에 활성화하여 표시하도록 디스플레이를 제어하는 제어부를 포함할 수 있다.

Description

카메라와 연계해서 증강현실 프리미티브와 이벤트를 연동시키는 시스템 및 그 시스템의 구동방법{System for Performing Linkage Operation of Augmented Reality and Event in Association with Camera and Driving Method Thereof}
본 발명은 카메라와 연계해서 증강현실 프리미티브와 이벤트를 연동시키는 시스템 및 그 시스템의 구동방법에 관한 것으로서, 더 상세하게는 가령 보안용 PTZ(Pan-Tilt-Zoom) 카메라의 촬영 영상에서 모니터링 요원이 특정 지역 및/또는 특정 지역의 이벤트를 증강현실 프리미티브를 통해 빠르게 인지할 수 있는 시스템 및 그 시스템의 구동방법에 관한 것이다.
텔레비전 시스템은 폐회로시스템(closed circuit system)과 개회로시스템(open circuit system)으로 분류된다. 후자는 화상 정보를 불특정 다수에서 전달하는 것을 목적으로 하며, 일반적으로 말하는 TV 방송이 여기에 속한다. 전자인 폐회로 시스템은 화상 정보를 특정의 목적으로 특정의 사용자에게 전달하는 시스템을 가리키며 이것을 폐쇄회로 TV 즉 CCTV라 부른다. CCTV는 화상의 송수신을 유선 또는 무선으로 연결하며 수신 대상 이외는 임의로 수신할 수 없도록 되어 있는 TV이다. CCTV는 때로 산업용 TV의 약어인 ITV로 불리기도 하는데 방송텔레비전 이외의 산업용, 교육용, 의료용, 교통관제용 감시, 방재용 및 사내의 화상정보 전달용 등으로 그 용도가 다양하다. 최근에는 특히 골목과 같은 우범지대에 CCTV를 설치하는 등 범죄 예방을 위한 설치가 늘고 있어 프라이버시 침해 문제가 거론되고 있기도 하다. 통상 감시를 위한 이러한 CCTV는 관제 센터에서 모니터링 요원에 의해 감시되고 있다.
그런데, CCTV의 용도로 사용되고 있는 종래의 카메라로서, 360도 광역 지역을 감시하는 PTZ 카메라나 특정 지역을 고배율로 확대하는 줌(Zoom) 카메라의 경우 사용자 즉 감시 요원이 현재 바라보고 있는 위치 및 지형지물을 빠르게 인지할 수 없는 문제가 있다.
또한, 사건, 사고와 같은 특정 이벤트가 발생하였을 때에는 모니터링 요원이 이벤트 발생을 신속하게 확인하여 빠른 대응을 수행할 수 있어야 하지만, 이러한 이벤트를 신속하게 확인할 수 없는 문제가 있다.
본 발명의 실시예는 가령 보안용 PTZ(Pan-Tilt-Zoom) 카메라의 촬영 영상에서 모니터링 요원이 특정 지역 및/또는 특정 지역의 이벤트를 증강현실 프리미티브를 통해 빠르게 인지할 수 있는 시스템 및 그 시스템의 구동방법을 제공함에 그 목적이 있다.
본 발명의 실시예에 따른 증강현실 프리미티브와 이벤트를 연동시키는 시스템은, 카메라로 촬영되는 영상에서 사용자의 관심 지역을 증강 현실로 나타내기 위한 표식(primitive)을 저장하는 저장부, 및 상기 관심 지역에 이벤트가 발생하면, 상기 저장한 표식을 화면에 활성화하여 표시하도록 디스플레이를 제어하는 제어부를 포함한다.
상기 저장부는, 상기 표식의 종류, 색상 및 선의 굵기, 상기 관심 지역의 지형지물과 관련한 이름 중 적어도 하나의 속성값을 저장할 수 있다.
상기 제어부는, 상기 카메라의 촬영 영상 중 적어도 하나의 단위 영상을 취득하여 상기 취득한 단위 영상에 상기 표식을 설정하며, 상기 설정한 표식을 상기 저장부에 저장할 수 있다.
상기 제어부는, 상기 설정한 표식의 좌표값을 상기 카메라의 유형에 근거한 좌표값과 매칭시켜 상기 저장부에 저장하고, 상기 카메라에서 제공하는 좌표값을 근거로 검색된 상기 저장한 표식을 표시하도록 상기 디스플레이를 제어할 수 있다.
상기 제어부는, 상기 카메라의 배율에 따른 다른 크기의 상기 표식을 상기 저장부에 더 저장하고, 상기 카메라에서 제공하는 좌표값 및 상기 배율을 근거로 검색된 상기 저장한 표식을 표시하도록 상기 디스플레이를 제어할 수 있다.
상기 제어부는, 상기 카메라의 배율에 근거하여 상기 표식을 선택적으로 표시하도록 상기 디스플레이를 제어할 수 있다.
상기 제어부는, 상기 배율에 따라 크기가 조절되는 상기 표식의 일측 길이가 기설정된 길이 이상일 때 상기 표식을 표시하도록 상기 디스플레이를 제어할 수 있다.
상기 제어부는, 상기 표식을 깜빡이는 방식, 상기 표식의 위치에 상기 이벤트의 내용을 출력하는 방식 또는 상기 저장한 표식으로 화면을 변경하는 방식으로 상기 화면에 활성화하여 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 본 발명의 실시예에 따른 증강현실 프리미티브와 이벤트를 연동시키는 시스템의 구동방법은, 카메라로 촬영되는 영상에서 사용자의 관심 지역을 증강 현실로 나타내기 위한 표식을 저장하는 단계, 및 상기 관심 지역에 이벤트가 발생하면, 상기 저장한 표식을 화면에 활성화하여 표시하는 단계를 포함한다.
상기 표식을 저장하는 단계는, 상기 표식의 종류, 색상 및 선의 굵기, 상기 관심 지역의 지형지물과 관련한 이름 중 적어도 하나의 속성값을 저장할 수 있다.
상기 표식을 저장하는 단계는, 상기 카메라의 촬영 영상 중 적어도 하나의 단위 영상을 취득하는 단계, 상기 취득한 단위 영상에 상기 표식을 설정하는 단계, 및 상기 설정한 표식을 저장하는 단계를 포함할 수 있다.
상기 설정한 표식을 저장하는 단계는, 상기 설정한 표식의 좌표값을 상기 카메라의 유형에 근거한 좌표값과 매칭시켜 저장하는 단계를 포함하며, 상기 저장한 표식을 화면에 활성화하여 표시하는 단계는, 상기 카메라에서 제공하는 좌표값을 근거로 상기 저장한 표식을 검색하여 상기 화면에 표시할 수 있다.
상기 설정한 표식을 저장하는 단계는, 상기 카메라의 배율에 따른 다른 크기의 상기 표식을 저장하는 단계를 더 포함하며, 상기 저장한 표식을 화면에 활성화하여 표시하는 단계는, 상기 카메라에서 제공하는 좌표값 및 상기 배율을 근거로 상기 저장한 표식을 검색하여 상기 화면에 표시할 수 있다.
상기 저장한 표식을 화면에 활성화하여 표시하는 단계는, 상기 카메라의 배율에 근거하여 상기 표식을 상기 화면에 선택적으로 표시하는 단계를 포함할 수 있다.
상기 화면에 선택적으로 표시하는 단계는, 상기 배율에 따라 크기가 조절되는 상기 표식의 일측 길이가 기설정된 길이 이상일 때 상기 표식을 상기 화면에 표시할 수 있다.
상기 저장한 표식을 화면에 활성화하여 표시하는 단계는, 상기 표식을 깜빡이는 방식, 상기 표식의 위치에 상기 이벤트의 내용을 출력하는 방식 또는 상기 저장한 표식으로 화면을 변경하는 방식으로 상기 화면에 활성화하여 표시할 수 있다.
상기 저장한 표식을 화면에 활성화하여 표시하는 단계는, 상기 카메라의 이동 및 확대 중 적어도 하나의 이벤트가 발생하면, 기설정된 위치에 표시할 표식을 불러내어 상기 화면에 표출하는 단계를 더 포함할 수 있다.
한편, 본 발명의 실시예에 따른 증강현실 프리미티브와 이벤트를 연동시키는 시스템의 구동방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 증강현실 프리미티브와 이벤트를 연동시키는 시스템의 구동방법은 카메라로 촬영되는 영상에서 사용자의 관심 지역을 증강 현실로 나타내기 위한 표식을 설정하는 단계, 및 상기 관심 지역에 이벤트가 발생하면, 상기 설정한 표식을 화면에 활성화하여 표시하는 단계를 실행한다.
본 발명의 실시예에 따르면, 가령 PTZ 카메라나 줌 카메라에서 촬영된 촬영 영상에서 모니터링 요원이 자신이 바라보고 있는 위치 및 지형지물을 빠르게 인지할 수 있을 것이다.
또한, 특정 지역에서 이벤트가 발생하였을 때 이벤트 위치를 신속하게 확인할 수 있어 사건, 사고와 관련한 더욱 빠른 대응처리가 이루어질 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 모니터링 시스템을 나타내는 도면,
도 2a 및 도 2b는 본 발명의 실시예에 따른 모니터링 과정을 설명하기 위한 도면,
도 3은 본 발명의 제1 실시예에 따른 도 1의 모니터링 장치의 세부 구조를 나타내는 블록다이어그램,
도 4는 본 발명의 제2 실시예에 따른 도 1의 모니터링 장치의 세부 구조를 나타내는 블록다이어그램,
도 5는 본 발명의 실시예에 따른 프리미티브의 유형을 예시한 도면,
도 6은 본 발명의 실시예에 따라 프리미티브를 화면에 출력하는 방법을 설명하기 위한 도면,
도 7은 본 발명의 실시예에 따른 LOD 기술을 설명하기 위한 도면,
도 8은 본 발명의 실시예에 따른 모니터링 방법을 나타내는 흐름도, 그리고
도 9는 본 발명의 실시예에 따른 증강현실 프리미티브 설정 과정을 나타내는 흐름도이다.
이하, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 모니터링 시스템을 나타내는 도면이며, 도 2a 및 도 2b는 본 발명의 실시예에 따른 모니터링 과정을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 모니터링 시스템(90)은 카메라(100), 통신망(110) 및 모니터링 장치(120)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 통신망(110)과 같은 일부 구성요소가 생략되어 시스템(90)이 구성됨으로써 카메라(100)와 모니터링 장치(120)가 다이렉트 통신을 수행하거나, 모니터링 장치(120)와 같은 일부 구성요소가 통신망(110)과 같은 다른 구성요소에 통합되어 통신망(110) 내의 하나의 장치가 될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
먼저, 카메라(100)는 가령 보안용 카메라로서, PTZ 카메라나 줌 카메라 등을 포함할 수 있다. 여기서, PTZ 카메라는 렌즈부를 360도 회전하여 광역 지역을 감시할 수 있는 카메라이며, 줌 카메라는 특정 지역의 촬영 영상이 고 배율로 확대되는 카메라에 해당한다. 물론 PTZ 카메라의 경우에도 줌 카메라와 같이 줌 기능은 가능하며, 줌 카메라보다 고성능 또는 저성능을 가질 수 있을 것이다. 카메라(100)는 주변 지역을 실시간으로 촬영하여 해당 촬영 영상이 모니터링 장치(120)로 제공되도록 통신망(110)으로 전송한다. 카메라(100)는 모니터링 장치(120)의 제어에 따라 동작하여 특정 지역(혹은 구역)으로 촬영 지역을 변경할 수 있고, 이의 과정에서 가령 모니터링 요원으로부터 줌인 명령이 있는 경우에는 배율을 높여 해당 지역을 촬영 후 촬영 영상을 모니터링 장치(120)로 제공할 수 있다.
또한, 카메라(100)로 특정 지역을 촬영 중에 이벤트가 발생하여 모니터링 장치(120)로부터 해당 지역을 줌인하도록 설정되어 있다면, 카메라(100)는 모니터링 장치(120)의 명령에 따라 자동으로 해당 지역을 줌인 촬영할 수 있을 것이다. 예를 들어, 해당 지역에 사건, 사고가 발생하거나 사람이 많이 모인 것으로 분석될 때, 카메라(100)는 모니터링 장치(120)의 요청에 따라 해당 지역을 자동으로 줌인 촬영하는 것이다. 물론 이러한 동작은 모니터링 장치(120)에서 영상 분석을 통해 이벤트의 발생을 감지하고 감지 결과에 따라 모니터링 장치(120)로부터 지시를 받아 카메라(100)가 동작하는 것이지만, 카메라(100) 자체적으로도 이러한 동작은 충분히 가능할 수 있으므로, 위의 내용에 특별히 한정하지는 않을 것이다. 예컨대, 통신망(110)의 트래픽이 증가하는 경우에는 서비스가 수월하지 않을 수 있기 때문에 카메라(100) 자체적으로 위의 동작을 수행할 수 있도록 하여 서비스 품질을 더욱 향상시킬 수 있을 것이다. 또는 트래픽의 상태에 따라 카메라(100)가 줌인 동작을 수행할지를 판단하고, 판단 결과에 따라 모니터링 장치(120)가 영상을 분석하여 분석 결과에 따라 카메라(100)는 줌인 동작을 자동으로 수행할 수 있을 것이다.
예를 들어, 이벤트 상황이 화염, 사람들의 군집, 자동차의 충돌 등이라고 가정해 보자. 그러면, 영상 분석 결과 이러한 상황이 판단되면 모니터링 장치(120)는 카메라(100)로 요청하여 기설정된 특정 지역에 대하여 줌인 촬영이 이루어지도록 할 수 있다. 이러한 과정에서 이벤트 상황별로 줌인 배율을 달리하는 것도 가능할 수 있다. 또한, 이러한 특정 이벤트는 증강현실을 구현하기 위한 표식(이하, 프리미티브)과 연계(ex. 매칭)되어 있어, 해당 프리미티브가 화면에 표시되게 된다. 다시 말해, 특정 관심 또는 관찰 지역에 대하여 2배율 영상과 5배율 영상은 화면에 표시되는 프리미티브가 동일할 수 없기 때문에 이러한 이벤트의 종류에 따라 결정되어 화면에 표시되는 프리미티브는 다를 수밖에 없을 것이다(ex. 크기, 해상도 등). 여기서, "프리미티브"는 화면에 비치는 영상에서 특정 지역을 사용자에게 증강 현실로 알리기 위하여 점, 선, 도형 및 이들의 결합 형태로 이루어진 표식을 의미한다. 프리미티브의 사전적 의미는, "컴퓨터 그래픽에서 그래픽 프로그램에 의해 개별적인 실체로 그려지고 저장, 조작될 수 있는 선·원·곡선·다각형과 같은 그래픽 디자인을 창작하는 데 필요한 요소이며, 기하학적 프리미티브라고도 한다"라고 정의되어 있다.
나아가, 카메라(100)는 촬영 영상과 함께 해당 촬영 영상이 카메라(100)의 어떠한 자세에서 촬영된 영상인지 모니터링 장치(120)가 판단할 수 있도록 PTZ 카메라의 경우에는 좌표값도 함께 제공해 줄 수 있다. 그러면, 모니터링 장치(120)는 수신된 좌표값을 근거로 가령 기저장된 프리미티브를 검색해서 증강현실을 구현할 수 있게 된다. 이와 관련한 자세한 내용은 이후에 좀 더 살펴보기로 한다.
통신망(110)은 유무선 통신망을 모두 포함한다. 가령 통신망(110)으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(110)은 이에 한정되는 것이 아니며, 향후 구현될 차세대 이동통신 시스템의 접속망으로서 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망 등에 사용될 수 있다. 가령, 통신망(110)이 유선 통신망인 경우 통신망(110) 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Station Transmission), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.
통신망(110)은 액세스포인트를 포함할 수 있다. 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 카메라(100)를 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 카메라(100)와 지그비 및 와이파이(Wi-Fi) 등의 근거리 통신을 수행하기 위한 근거리 통신 모듈을 포함한다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선(IrDA), UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 모니터링 장치(120)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함될 수 있다.
모니터링 장치(혹은 카메라와 연계해서 증강현실 프리미티브와 이벤트를 연동시키는 시스템)(120)는 가령 관제 센터에 구비될 수 있다. 본 발명의 실시예에 따라 모니터링 장치(120)는 보안을 위해 사용되는 것이 바람직하다. 예를 들어, 행정 업무를 수행하는 모니터링 요원의 경우에는 주기적으로 교체될 수 있고, 또 모니터링 요원이 특정 지역의 지리를 상세히 알 수 없는 경우가 많기 때문에 본 발명의 실시예에 따른 장치와 방법은 이러한 상황에서 매우 유용할 수 있다. 모니터링 장치(120)는 일종의 서버와, 서버에 연결되는 있는 컴퓨터를 더 포함할 수 있다. 물론 컴퓨터도 서버로 사용될 수 있기 때문에 이에 특별히 한정하지는 않을 것이다. 모니터링 장치(120)는 카메라(100)의 촬영 범위 내에 있는 특정 지역에 대한 지도 데이터를 기저장할 수 있다. 이러한 지도 데이터는 별도의 경로를 통하여 제공받을 수 있지만, 카메라(100)에서 촬영되어 제공된 영상만을 지도 데이터로 사용할 수도 있다. 여기서, "별도의 경로"란 지도 데이터를 제공하는 행정 기관의 서버를 통해 제공받거나, CD와 같은 기록 매체를 통해 제공받는 것을 의미한다.
이와 같이 특정 지역의 지도 데이터가 확보되면, 모니터링 장치(120)는 관심있는 특정 지역에 대한 증강현실 프리미티브 설정 과정을 수행하게 된다. 이는 DB(120a)의 구축 과정이라 볼 수 있다. 예를 들어, 모니터링 장치(120)는 도 2a 및도 2b에서와 같이 특정 지역의 지도상에 증강현실로 함께 표시하기 위한 프리미티브를 설정하여 DB(120a)에 저장한다. 또한, 모니터링 장치(120)는 도 2a에서 볼 때 A 지역에 특정 이벤트가 발생하면, 도 2b에서와 같이 화면을 (기설정된 배율로) 확대하여 사용자에게 보여주게 된다. 즉 화면을 변경하거나 화면의 일 영역에 확대하여 보여준다. 여기서, 증강현실 프리미티브 설정 과정은 이후에 자세히 설명하겠지만 대략 점, 선 및 도형과 같은 프리미티브에 이름, 색상, 선의 굵기 등의 속성값을 부여하여 사용자가 해당 지역과 지형지물을 쉽게 인지할 수 있도록 하는 과정이다. 이러한 과정에 의해 설정된 프리미티브는 증강 현실로 화면에 보여지게 되는 것이다.
예를 들어, 모니터링 장치(120)는 카메라(100)를 통해 수신된 촬영 영상과 DB(120a)에 저장된 지도 데이터를 비교하거나 카메라(100)를 통해 수신된 특정 지역의 좌표값(ex. PTZ 카메라의 좌표값)을 근거로 프리미티브를 DB(120a)에서 찾고, 검색된 해당 프리미티브를 수신된 촬영 영상에 합성하여 화면에 표시한다. 이때, 모니터링 장치(120)는 카메라(100)의 배율이 어떠한 상태에 있는지 또는 이벤트 상황을 판단하여 그에 맞는 프리미티브를 찾아 영상에 합성하여 화면에 표시하게 된다. 이를 위하여, DB(120a)에는 이벤트 상황이나 배율에 따른 프리미티브가 저장된다.
가령 모니터링 장치(120)는 카메라(100)에서 촬영된 영상 내에서 영상 분석을 통해 이벤트가 발생한 것으로 판단되거나, 모니터링 요원으로부터 별도의 요청이 있는 경우 특정 지역을 확대하여, 가령 도 2b와 같은 화면을 보여주거나, 도 2a에서 특정 프리미티브를 활성화하여 화면에 보여줄 수 있다. 여기서, "활성화"란 영상 내에서 증강현실 프리미티브가 깜빡이거나, 증강현실 프리미티브 위치에 텍스트로 이벤트 내용을 출력해 주거나, 증강현실 프리미티브 위치로의 (화면) 이동(혹은 변경)을 제어하는 것 등을 의미한다. 도 2a에 나타낸 영상은 1배율일 때의 PTZ 카메라 영상이라면, 도 2b에 나타낸 영상은 도 2a에 나타낸 A 지역이 화면의 중심으로 오도록 가령 PTZ 카메라의 팬(fan), 틸트(Tilt) 위치를 이동시킨 후 10배가량 줌인된 것을 나타낸다. 증강현실 프리미티브는 운영자에 의해 PTZ 카메라를 제어하여 영상이 이동, 확대, 축소가 되더라도 영상의 지형지물과 일치되도록 이동되고 스케일링되어 표시될 수 있을 것이다.
이와 같이, 모니터링 장치(120)는 본 발명의 실시예에 따라 증강현실 프리미티브를 설정하는 DB(120a)의 구축 과정 이후에, 카메라(100)로부터 입력되는 영상(혹은 영상 및 좌표값)과, 이의 과정에서 이벤트가 발생하는지, 나아가 어떠한 이벤트가 발생하는지에 따라 다양한 형태로 증강현실을 구현할 수 있게 된다.
상기의 구성 결과, 모니터링 요원 등의 사용자들은 자신이 현재 바라보고 있는 위치 및 지형지물을 빠르게 인지할 수 있고, 만약 특정 지역에 이벤트가 발생하게 되면 이벤트 발생 위치를 신속히 확인하여 빠른 대응조치를 할 수 있게 된다.
도 3은 본 발명의 제1 실시예에 따른 도 1의 모니터링 장치의 세부 구조를 나타내는 블록다이어그램이다.
도 3에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 모니터링 장치(120)는 통신 인터페이스부(300) 및 제어부(310)의 일부 또는 전부를 포함하며, 여기서 "일부 또는 전부를 포함"한다는 것은 앞서서의 의미와 동일하다.
통신 인테페이스부(300)는 도 1의 카메라(100)를 제어하기 위하여 통신망(110)과 통신한다. 통신 인테페이스부(300)는 카메라(100)에서 촬영된 영상을 제어부(310)에 전달하고, 제어부(310)의 제어 하에 카메라(100)를 제어하기 위한 제어 데이터를 카메라(100)로 전송할 수 있다. 여기서, 제어 데이터는 가령 PTZ 카메라를 제어하기 위한 좌표값(θp, θT, θz) 등을 포함할 수 있다.
또한, 통신 인터페이스부(300)는 디스플레이부나 사용자 인터페이스부에 연동할 수 있을 것이다. 예를 들어, 통신 인터페이스부(300)에 디스플레이부가 연동하는 경우, 모니터링 요원과 같은 사용자에 의해 지시된 명령에 따라 프리미티브의 증강현실을 구현하기 위한 다양한 동작을 수행할 수 있을 것이다. 이의 과정에서 가령 음성 인식이 사용될 수 있다면, 사용자 인터페이스부는 음성 수집부, 가령 마이크로폰을 포함할 수 있다. 모니터링 요원에 의한 이벤트 즉 특정 지역을 확대하여 보여달라는 명령은 음성에 의해서도 얼마든지 이루어질 수 있는 것이므로, 본 발명의 실시예에서는 어느 하나의 방식에 특별히 한정하지는 않을 것이다.
제어부(310)는 모니터링 장치(120)의 전반적인 동작을 제어한다. 이를 위하여, 제어부(310)는 예를 들어 CPU(311)와 증강현실 프리미티브 실행부(313)를 포함할 수 있다. 여기서 CPU(311)는 제어회로, 연산부(ALU) 및 레지스터 등을 포함할 수 있으며, 증강현실 프리미티브 실행부(313)는 프리미티브의 증강현실을 구현하기 위한 프로그램을 포함할 수 있다. 이러한 점에서 증강현실 프리미티브 실행부(313)는 메모리를 포함할 수 있고, 메모리는 롬(ROM)(ex. EEPROM) 및 램(RAM) 등을 포함할 수 있다. 여기서, 이이피롬(EEPROM)은 프로그램을 쓰거나 삭제하는 것이 편리하기 때문에 매우 유용할 수 있을 것이다.
제어부(310)는 증강현실 프리미티브 실행부(313)를 가동하여 프리미티브의 증강현실을 구현하기 위한 다양한 동작을 수행할 수 있다. 예를 들어 프리미티브를 설정(혹은 지정)하기 위한 동작을 수행할 수 있고, 설정된 프리미티브를 이벤트 상황에 따라 다양한 설정된 방식으로 사용자에게 보여줄 수 있을 것이다. 가령 1배율로 프리미티브가 설정되어 있다 하더라도 사용자가 5배율을 원했다면 5배율로 설정된 프리미티브를 5배율 영상에 합성할 수 있겠지만, 1배율로 설정된 프리미티브를 5배율에 맞도록 비트 변환을 동시에 수행하여 영상을 합성하는 것도 얼마든지 가능하므로, 본 발명의 실시예에서는 어느 하나의 방식에 특별히 한정하지는 않을 것이다. 기타 자세한 내용은 도 4를 참조하여 계속해서 살펴보기로 한다.
도 4는 본 발명의 제2 실시예에 따른 도 1의 모니터링 장치의 세부 구조를 나타내는 블록다이어그램이다.
도 4에 도시된 바와 같이, 본 발명의 제2 실시예에 따른 모니터링 장치(120')는 통신 인터페이스부(400), 제어부(410) 및 증강현실 프리미티브 실행부(420)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 증강현실 프리미티브 실행부(420)와 같은 일부 구성요소가 제어부(410)에 통합되어 구성되거나, 증강현실 프리미티브 실행부(420)를 구성하는 다양한 구성요소들이 적어도 하나가 생략되거나 서로 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
통신 인터페이스부(400)는 영상 수신부(401) 및 좌표 수신부(403)를 포함할 수 있다. 영상 수신부(401)는 가령 제어부의 제어 하에 수신된 영상을 복조하고, 복조된 영상을 분리하며, 분리된 영상(ex. 비디오 영상)을 디코딩하는 등의 동작을 수행할 수 있을 것이다. 또한, 좌표 수신부(403)는 도 1의 카메라(100)가 PTZ 카메라인 경우 좌표값(θp, θT)을 수신하여 영상 합성부(424)로 제공할 수 있다. 해당 좌표값은 현재 수신된 촬영 영상이 어느 지역에 해당하는지를 판단하는 데에 유용하게 사용될 수 있을 것이다. 물론 이러한 좌표값은 영상 수신부(401)로 영상과 함께 수신되어 디먹스에 의해 분리되고, 분리된 좌표값은 제어부에 의해 영상 합성부(424)로 제공될 수도 있으므로, 본 발명의 실시예에서는 위의 구조에 특별히 한정하지는 않을 것이다. 또한, 좌표 수신부(403)는 좌표 변환 동작을 더 수행할 수 있다. 예를 들어, 프리미티브가 설정되는 좌표값은 평면상 좌표(x, y)이기 때문에 팬 및 틸트 좌표값(θp, θT)을 평면상 좌표(x, y)로 변환하여 이를 영상 합성부(424)로 제공할 수도 있을 것이다.
제어부(미도시)는 가령 화면 제어부로서 본 발명의 실시예에 따라 제1 제어부라 명명될 수 있으며, 모니터링 장치(120')의 전반적인 제어 동작을 수행한다. 다시 말해, 사용자가 프리미티브 설정 동작을 수행하고자 하는 경우 증강현실 프리미티브 실행부(420)를 동작시킬 수 있고, 또 설정된 프리미티브를 기반으로 외부에서 영상이 수신되는 경우 설정된 프리미티브를 합성하여 사용자에게 표시해 줄 수 있다. 이때, 프리미티브는 이벤트 상황에 따라 매칭되어 있는 프리미티브가 DB(120a)에서 검색되어 검색된 프리미티브가 영상에 합성되거나, 또는 이벤트 상황에 따라 합성된 프리미티브가 깜빡이는 등 다양한 연동 동작을 수행할 수 있다.
제어부(410)는 가령 PTZ 카메라 제어부로서 제2 제어부라 명명될 수 있으며, PTZ 카메라를 다양한 방식 중 하나의 방식으로 제어할 수 있다. 예컨대 카메라 제어부(410)는 PTZ 카메라를 이동해야 할 방향과 속도 값을 카메라, 즉 PTZ 카메라에 전달하여 제어하는 방법을 수행할 수 있다. 혹은 카메라 제어부(410)는 절대 좌표값(P, T, Z) 또는 현재 위치에서 상대적인 위치(Dp, Dt, Dz)를 PTZ 카메라에 전달하여 제어하는 방법을 수행할 수 있으며, 이외에 카메라 제어부(410)는 미리 정해놓은 정수형 인덱스에 P, T, Z 위치를 PTZ 카메라 자체에 저장해 놓고 인덱스 값으로 이동시키는 방법을 수행할 수도 있다.
증강현실 프리미티브 실행부(420)는 도 3의 증강현실 프리미티브 실행부(313)와 크게 다르지 않다. 다만, 도 3의 증강현실 프리미티브 실행부(313)와 비교해 볼 때, 도 4의 증강현실 프리미티브 실행부(420)는 하나의 소프트웨어가 아니라, 적어도 하나의 소프트웨어 모듈이 하드웨어적으로 구현될 수 있음을 의미한다.
영상 분석부(421)는 영상 수신부(401)에서 수신된 영상을 수신하여 수신된 영상을 분석한다. 이러한 영상 분석은 수신된 영상을 통해 도 1의 카메라(100)에 의해 촬영된 지역에서 이벤트 발생이 있는지를 판단하기 위해서 이루어진다. 예를 들어, 화염, 차량 충돌, 불법 주차 등이 있거나, 사람이 많이 모여있는지 등을 판단할 수 있을 것이다. 분석 결과는 이벤트 연동처리부(423)로 제공될 수 있다.
이벤트 수신부(422)는 사용자 인터페이스에 의한 사용자 명령을 수신한다. 예를 들어, 사용자가 버튼이나 마이크로폰을 통해 이벤트를 발생시켰다면, 가령 특정 지역을 확대하여 보여줄 것을 요청하였다면 이에 대한 이벤트 신호를 이벤트 연동 처리부(423)에 제공한다.
그러면, 이벤트 연동처리부(423)는 영상 분석부(421)와 이벤트 수신부(422)에서 수신되는 이벤트 신호가 있는지를 판단하고, 수신된 이벤트 신호가 있으면 이를 처리하여 영상 합성부(424)로 제공한다. 여기서, "처리"란 둘 다 신호가 있으면 모두 제공하는 것이고, 하나의 신호만 있으면 하나만 전달하는 것이다.
영상 합성부(424)는 현재 수신된 영상에 매칭하여 기저장되어 있는 프리미티브를 검색하여 검색된 프리미티브를 수신된 영상과 합성하여 영상 표출부(425)로 제공한다. 예를 들어, 이벤트 수신부(422)에서 수신한 이벤트가 특정 프리미티브와 연동이 되어 있고 이 프리미티브가 줌 10배율에서 적절한 크기로 표출되는 표식이라고 가정하자. 그러면, 영상 합성부(424)는 좌표 수신부(403)에서 수신된 좌표값과 이벤트 연동처리부(423)에서 수신된 이벤트 정보를 근거로 특정 지역을 10배율로 보여주기 위한 프리미티브를 프리미티브 저장부(427)에서 검색하여 검색한 프리미티브를 10배율 영상과 합성하여 출력할 수 있다.
영상 표출부(425)는 디스플레이부를 포함하거나 디스플레이부에 연동하여 동작할 수 있다. 예를 들어, 영상 합성부(424)에서 수신된 10배율 영상을 영상 표출부(425)로 출력할 때에 디스플레이부의 해상도에 맞게 해상도를 변환하여 출력하는 등의 역할을 수행할 수 있을 것이다. 이의 과정에서 배율에 맞게 프리미티브의 비트 변환 등이 함께 이루어질 수도 있을 것이다.
프리미티브 설정부(426)는 가령 프리미티브 저장부(427)에 저장된 지도 데이터를 근거로 프리미티브를 설정하거나 변경하거나 삭제하는 등의 동작을 수행할 수 있다. 물론 프리미티브 설정부(426)는 실시간으로 수신된 영상을 이용해 프리미티브를 설정하는 것도 얼마든지 가능하므로 본 발명의 실시예에서는 어느 하나의 방법에 특별히 한정하지는 않을 것이다. 예를 들어, 사용자는 카메라(100)를 통해 수신된 영상에서 특정 지역을 10배율로 확대하고, 해당 지역의 영상을 캡쳐할 수 있다. 그리고 캡쳐된 정지 영상을 카메라(100)의 좌표값과 함께 저장한다. 이후, 저장한 정지 영상을 불러내어 프리미티브를 설정하고, 설정한 프리미티브를 좌표값 등과 매칭시켜 저장할 수 있다. 위의 지도 데이터는 카메라(100)에서 촬영되어 제공되는 실시간 단위 영상들 중 선택된 적어도 하나의 단위 영상일 수 있는데, 제어부(410)는 가령 장면 전환이 있을 때마다 프리미티브 저장부(427) 또는 별도의 메모리에 단위 영상을 저장하면, 프리미티브 설정부(426)는 저장된 단위 영상을 불러내어 프리미티브 설정 동작을 수행할 수 있을 것이다.
프리미티브 저장부(427)는 사용자가 설정한 프리미티브와 프리미티브가 설정된 지역 또는 장소의 좌표값과, 프리미티브의 속성 등 다양한 정보를 매칭시켜 저장한다. 예를 들어, 동일 지역이라 하더라도 배율별로 크기를 다르게 하여 프리미티브를 저장하는 등 저장되는 프리미티브는 다양한 형태로 저장될 수 있을 것이다. 이때, 저장되는 프리미티브의 좌표값은 구면 좌표계상의 좌표값으로 저장되는 것이 바람직하다. 이에 따라, 프리미티브 저장부(427)는 수신되는 좌표값에 매칭되는 프리미티브를 출력할 수 있게 된다.
도 5는 본 발명의 실시예에 따른 프리미티브의 유형을 예시한 도면이다.
도 5의 (a) 내지 (c)에서 볼 수 있는 바와 같이, 본 발명의 실시예에 따른 프리미티브는 가령 PTZ 카메라 영상에서 특정 지점, 경계선, 특정 영역 등을 표시하기 위해서 점, 선 및 도형 등의 기하학적인 프리미티브들을 포함한다.
도 5의 (a)에 나타내는 '점'은 가령 PTZ 화면상의 (x, y) 위치를 지정하는 방식으로 추가 즉 설정되며, 실제 저장할 때에는 점 위치에 해당하는 구면 좌표계 상의 (P, T) 값으로 변환되어 저장된다.
도 5의 (b)에 나타내고 있는 '선', 가령 폴리라인은 PTZ 화면상의 n개의 점(xi, yi) 위치를 지정하는 방식으로 추가되며, 실제 저장할 때는 점 위치에 해당하는 구면 좌표계 상의 (Pi, Ti) 값으로 변환되어 저장된다.
또한, 도 5의 (c)에 나타내는 '도형', 가령 폴리곤은 PTZ 화면상의 n개의 점(xi, yi) 위치를 지정하는 방식으로 추가되며 실제 저장할 때에는 점 위치에 해당하는 구면 좌표계 상의 (Pi, Ti) 값으로 변환되어 저장된다.
도 6은 본 발명의 실시예에 따라 프리미티브를 화면에 출력하는 방법을 설명하기 위한 도면이다.
설명의 편의상 도 6을 도 4와 함께 참조하면, 가령 도 4의 (PTZ) 좌표 수신부(403)가 실시간으로 얻는 팬(Pan), 틸트(Tilt) 및 줌(Zoom)의 좌표값은 (CP, CT, CZ)이다. 이 좌표값은 항상 실시간으로 업데이트된다. 증강현실 프리미티브의 각각의 정점은 구면 좌표계상의 좌표값(Pi, Ti)로 저장되어 있다.
따라서, 도 6에서 볼 때, f 값은 초점거리이며 사전에 측정되어 있어야 한다. f 값의 단위는 픽셀 수이다. 구면 좌표계에서 표현되는 정점 값을 현재 팬, 틸트 및 줌 위치에 있는 영상 평면에 투영시키는 과정은 도 6에 잘 나타내고 있다. 도 6에서 볼 때, 도면번호 600은 PTZ 좌표값이 팬: CP, 틸트: CT, 줌: CZ 배율인 경우의 투영 평면을 나타내고, 도면번호 610은 PTZ 좌표값이 팬: 0, 틸트: 0, 줌: 1배율인 경우의 투영 평면을 나타내고 있다.
한편, 증강현실 프리미티브를 구성하는 정점(Pi, Ti)을 카메라 좌표계에서 방향 벡터로 변환하는 식은 <수학식 1>과 같다.
Figure pat00001
그리고, 영상 평면을 현재 좌표에 해당하는 팬, 틸트 위치로 좌표계를 변환하는 행렬은 <수학식 2>와 같다.
Figure pat00002
증강현실 프리미티브를 구성하는 정점의 방향 벡터 Vi를 현재 팬, 틸트 위치로의 좌표계 상의 방향 벡터 Vi'로 변환하는 공식은 <수학식 3>과 같다.
Figure pat00003
현재 카메라의 줌 값에 따라 투영 위치가 반영되어야 하므로 1배율일 때 측정한 초점거리를 f라고 하면 실제 투영할 평면의 초점거리는 현재 줌 값을 반영해야 하므로 fc = f × CZ가 된다.
이 초점 거리를 반영하여 PTZ 화면상에 증강현실 프리미티브를 구성하는 정점 Vi'를 화면에 투영시키는 공식은 <수학식 4>와 같다.
Figure pat00004
최종적으로 현재 팬, 틸트 위치상에서의 영상 평면에 투영된 Xi 점들을 이어 그려 폴리라인 또는 폴리곤 형태로 그린다. 정점의 수가 하나인 경우에는 점 형태로 그린다.
도 7은 본 발명의 실시예에 따른 LOD 기술을 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 본 발명의 실시예에 따른 증강현실 프리미티브는 항상 모든 배율의 범위에서 표시되지 않는다. 1배율에서는 너무 작아 거의 확인할 수 없는 지형지물이 고 배율에서는 확인 가능한 경우가 많다. 따라서, 증강현실 프리미티브 객체도 배율에 따라 화면 출력 여부가 결정된다.
도 7의 (a)에서 볼 수 있는 바와 같이, 1배율과 4배율은 운용자가 인지할 수 없는 크기로 화면에 거의 나타나지 않는다면, 도 7의 (b)에서 볼 수 있는 바와 같이 8배율 및 16배율은 운용자가 인지할 수 있는 크기이므로 화면에 출력될 수 있을 것이다. 도 7에서 볼 때, 도면번호 700은 증강현실 프리미티브(ex. 폴리곤 타입)를 나타내고, 도면번호 710은 증강현실 프리미티브 바운딩 박스를 나타낸다.
증강현실 프리미티브가 영상에 투영되고 그 투영된 프리미티브의 바운딩 박스의 가장 긴 길이가 일정 길이 이상인 경우만 화면에 출력되도록 한다. 물론, 바운딩 박스는 화면에 표시될 수 있고, 또 (시스템만 인지하고, 화면에) 표시되지 않을 수도 있지만, 화면에 표시된 객체를 서로 다른 배율에 따른 바운딩 박스를 적용하여 적어도 일측 길이를 판단해 볼 수 있고, 그 결과에 따라 객체를 표시할 지를 결정할 수 있을 것이다.
본 발명의 실시예는, 이렇게 LOD(Level of Detail) 기술을 적용함으로써 더욱 많은 정보를 모니터링 화면에 표현할 수 있게 된다.
도 8은 본 발명의 실시예에 따른 모니터링 방법을 나타내는 흐름도이다.
설명의 편의상 도 8을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 모니터링 장치(120)는 카메라(100)로 촬영되는 영상에서 사용자의 관심 지역에 나타내기 위한 증강현실 프리미티브를 저장(혹은 설정)한다(S800). 증강현실 프리미티브를 설정하기 위하여 예를 들어 모니터링 장치(120)는 카메라(100)의 촬영 지역을 변경하여 운용자의 관심 지역에 대한 영상을 취득한다. 가령, 1초에 60프레임의 단위 영상이 취득된다 하더라도 동일 지역을 계속해서 촬영할 것이기 때문에 최초의 한 프레임의 영상을 가지고 증강현실을 위한 프리미티브를 설정할 수 있다.
이후, 모니터링 장치(120)는 사용자의 관심 지역에 이벤트가 발생하면, 저장한 증강현실 프리미티브를 화면에 활성화하여 표시한다(S810). 여기서, 이벤트는 모니터링 장치(120)의 운용자가 요청하거나 해당 관심 지역에 시스템 설계자가 기설정한 특정 사건이나 사고가 발생한 경우를 의미할 수 있다. 이는 앞서 언급한 바와 같이 영상 분석을 통해 알 수 있고, 만약 이벤트가 발생하였다면 해당 관심 지역에 대하여 배율을 높여 촬영이 이루어지도록 하거나 영상 내에서 증강현실 프리미티브를 깜빡거리도록 하거나 증강현실 프리미티브 위치에 텍스트로 이벤트 내용을 출력하는 것과 같은 방식으로 프리미티브를 화면에 활성화시킬 수 있을 것이다.
도 4에서 볼 때 영상 분석부(421)나 이벤트 수신부(422)에서 발생된 이벤트들은 이벤트 연동처리부(423)에서 증강현실 프리미티브와 연동처리를 하게 되는데, 그전에 특정 이벤트는 미리 추가된 증강현실 프리미티브와 연동하여 설정되어 있어야 한다. 이에 따라 모니터링 장치(120)는 이벤트가 발생하면 발생한 이벤트와 연관되어 있는 증강현실 프리미티브를 메모리 혹은 DB(120a)에서 검색하여 증강현실 프리미티브에 이벤트가 발생하였음을 표시해 주게 된다.
도 9는 본 발명의 실시예에 따른 증강현실 프리미티브 설정 과정을 나타내는 흐름도이다.
설명의 편의상 도 9를 도 1과 함께 참조하면, 본 발명의 실시예에 따른 모니터링 장치(120)는 가령 카메라(100)로서 PTZ 카메라를 관심 지역으로 위치를 이동시켜 영상을 취득한다(S900). 가령, PTZ 카메라의 렌즈부를 좌우이동 또는 상하이동시켜 관심 지역에 대한 영상을 취득할 수 있다. PTZ 제어가 이루어지는 동안 현재 PTZ 좌표값은 실시간으로 업데이트된다.
이어, 모니터링 장치(120)는 현재 영상 좌표계 상에서 증강 현실 프리미티브를 추가한다(S910). 예를 들어, 관심 지역에 대한 영상은 카메라(100)를 통해 실시간으로 수신한 영상들 중 취득된 하나의 단위 영상일 수 있고, 해당 단위 영상에 추가되는 증강현실 프리미티브는 평면 좌표계상의 좌표값으로 설정될 수 있다.
이후 모니터링 장치(120)는 증강현실 프리미티브와 함께 속성값도 편집 즉 설정하게 된다(S920). 속성값은 ① 프리미티브의 종류, ② 이름, ③ 색상, 점 또는 라인의 굵기를 포함할 수 있다. 여기서, 프리미티브의 종류는 점, 선 및 도형을 포함하며, 이름은 관심 지역 또는 물체의 이름, 거리 또는 고도 표시 등을 포함한다.
속성값의 편집이 완료되면, 모니터링 장치(120)는 증강현실 프리미티브 정점(x, y)들을 팬, 틸트(Pi, Ti) 좌표로 변환하여 저장한다(S930, S940).
이와 같이 저장이 완료된 후, 모니터링 장치(120)는 카메라(100)로부터 제공되는 팬, 틸트 좌표값을 근거로 기저장된 증강현실 프리미티브를 검색하여 화면에 표시해 줄 수 있을 것이다.
한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100: 카메라 110: 통신망
120: 모니터링 장치 120a: DB
300, 400: 통신 인터페이스부 310, 410: 제어부
311: CPU 313, 420: 증강현실 프리미티브 실행부
401: 영상 수신부 403: 좌표 수신부
421: 영상 분석부 422: 이벤트 수신부
423: 이벤트 연동처리부 424: 영상 합성부
425: 영상 표출부 426: 프리미티브 설정부
427: 프리미티브 저장부

Claims (17)

  1. 카메라로 촬영되는 영상에서 사용자의 관심 지역을 증강 현실로 나타내기 위한 표식(primitive)을 저장하는 단계; 및
    상기 관심 지역에 이벤트가 발생하면, 상기 저장한 표식을 화면에 활성화하여 표시하는 단계;를
    포함하는 증강현실 프리미티브와 이벤트를 연동시키는 시스템의 구동방법.
  2. 제1항에 있어서,
    상기 표식을 저장하는 단계는,
    상기 표식의 종류, 색상 및 선의 굵기, 상기 관심 지역의 지형지물과 관련한 이름 중 적어도 하나의 속성값을 저장하는 증강현실 프리미티브와 이벤트를 연동시키는 시스템의 구동방법.
  3. 제1항에 있어서,
    상기 표식을 저장하는 단계는,
    상기 카메라의 촬영 영상 중 적어도 하나의 단위 영상을 취득하는 단계;
    상기 취득한 단위 영상에 상기 표식을 설정하는 단계; 및
    상기 설정한 표식을 저장하는 단계;를
    포함하는 증강현실 프리미티브와 이벤트를 연동시키는 시스템의 구동방법.
  4. 제3항에 있어서,
    상기 설정한 표식을 저장하는 단계는,
    상기 설정한 표식을 상기 카메라의 유형에 관련된 좌표값과 매칭시켜 저장하는 단계;를 포함하며,
    상기 저장한 표식을 화면에 활성화하여 표시하는 단계는,
    상기 카메라에서 제공하는 좌표값을 근거로 상기 저장한 표식을 검색하여 상기 화면에 표시하는 증강현실 프리미티브와 이벤트를 연동시키는 시스템의 구동방법.
  5. 제4항에 있어서,
    상기 설정한 표식을 저장하는 단계는,
    상기 카메라의 배율에 따른 다른 크기의 상기 표식을 저장하는 단계;를 더 포함하며,
    상기 저장한 표식을 화면에 활성화하여 표시하는 단계는,
    상기 카메라에서 제공하는 좌표값 및 상기 배율을 근거로 상기 저장한 표식을 검색하여 상기 화면에 표시하는 증강현실 프리미티브와 이벤트를 연동시키는 시스템의 구동방법.
  6. 제1항에 있어서,
    상기 저장한 표식을 화면에 활성화하여 표시하는 단계는,
    상기 카메라의 배율에 근거하여 상기 표식을 상기 화면에 선택적으로 표시하는 단계;를 포함하는 증강현실 프리미티브와 이벤트를 연동시키는 시스템의 구동방법.
  7. 제6항에 있어서,
    상기 화면에 선택적으로 표시하는 단계는,
    상기 배율에 따라 크기가 조절되는 상기 표식의 일측 길이가 기설정된 길이 이상일 때 상기 표식을 상기 화면에 표시하는 증강현실 프리미티브와 이벤트를 연동시키는 시스템의 구동방법.
  8. 제1항에 있어서,
    상기 저장한 표식을 화면에 활성화하여 표시하는 단계는,
    상기 표식을 깜빡이는 방식, 상기 표식의 위치에 상기 이벤트의 내용을 출력하는 방식 또는 상기 저장한 표식으로 화면을 변경하는 방식으로 상기 화면에 활성화하여 표시하는 증강현실 프리미티브와 이벤트를 연동시키는 시스템의 구동방법.
  9. 제1항에 있어서,
    상기 저장한 표식을 화면에 활성화하여 표시하는 단계는,
    상기 카메라의 이동 및 확대 중 적어도 하나의 이벤트가 발생하면, 기설정된 위치에 표시할 표식을 불러내어 상기 화면에 표출하는 단계를 더 포함히는 것을 특징으로 하는 증강현실 프리미티브와 이벤트를 연동시키는 시스템의 구동방법.
  10. 카메라로 촬영되는 영상에서 사용자의 관심 지역을 증강 현실로 나타내기 위한 표식(primitive)을 저장하는 저장부; 및
    상기 관심 지역에 이벤트가 발생하면, 상기 저장한 표식을 화면에 활성화하여 표시하도록 디스플레이를 제어하는 제어부;를
    포함하는 증강현실 프리미티브와 이벤트를 연동시키는 시스템.
  11. 제10항에 있어서,
    상기 저장부는, 상기 표식의 종류, 색상 및 선의 굵기, 상기 관심 지역의 지형지물과 관련한 이름 중 적어도 하나의 속성값을 저장하는 증강현실 프리미티브와 이벤트를 연동시키는 시스템.
  12. 제10항에 있어서,
    상기 제어부는, 상기 카메라의 촬영 영상 중 적어도 하나의 단위 영상을 취득하여 상기 취득한 단위 영상에 상기 표식을 설정하며, 상기 설정한 표식을 상기 저장부에 저장하는 증강현실 프리미티브와 이벤트를 연동시키는 시스템.
  13. 제12항에 있어서,
    상기 제어부는, 상기 설정한 표식의 좌표값을 상기 카메라의 유형과 관련한 좌표값과 매칭시켜 상기 저장부에 저장하고, 상기 카메라에서 제공하는 좌표값을 근거로 검색된 상기 저장한 표식을 표시하도록 상기 디스플레이를 제어하는 증강현실 프리미티브와 이벤트를 연동시키는 시스템.
  14. 제12항에 있어서,
    상기 제어부는, 상기 카메라의 배율에 따른 다른 크기의 상기 표식을 상기 저장부에 더 저장하고, 상기 카메라에서 제공하는 좌표값 및 상기 배율을 근거로 검색된 상기 저장한 표식을 표시하도록 상기 디스플레이를 제어하는 증강현실 프리미티브와 이벤트를 연동시키는 시스템.
  15. 제10항에 있어서,
    상기 제어부는, 상기 카메라의 배율에 근거하여 상기 표식을 선택적으로 표시하도록 상기 디스플레이를 제어하는 증강현실 프리미티브와 이벤트를 연동시키는 시스템.
  16. 제15항에 있어서,
    상기 제어부는, 상기 배율에 따라 크기가 조절되는 상기 표식의 일측 길이가 기설정된 길이 이상일 때 상기 표식을 표시하도록 상기 디스플레이를 제어하는 증강현실 프리미티브와 이벤트를 연동시키는 시스템.
  17. 제10항에 있어서,
    상기 제어부는, 상기 표식을 깜빡이는 방식, 상기 표식의 위치에 상기 이벤트의 내용을 출력하는 방식 또는 상기 저장한 표식으로 화면을 변경하는 방식으로 상기 화면에 활성화하여 표시하도록 상기 디스플레이를 제어하는 증강현실 프리미티브와 이벤트를 연동시키는 시스템.
KR1020170008942A 2017-01-19 2017-01-19 카메라와 연계해서 증강현실 프리미티브와 이벤트를 연동시키는 시스템 및 그 시스템의 구동방법 KR102008672B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170008942A KR102008672B1 (ko) 2017-01-19 2017-01-19 카메라와 연계해서 증강현실 프리미티브와 이벤트를 연동시키는 시스템 및 그 시스템의 구동방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170008942A KR102008672B1 (ko) 2017-01-19 2017-01-19 카메라와 연계해서 증강현실 프리미티브와 이벤트를 연동시키는 시스템 및 그 시스템의 구동방법

Publications (2)

Publication Number Publication Date
KR20180085432A true KR20180085432A (ko) 2018-07-27
KR102008672B1 KR102008672B1 (ko) 2019-08-08

Family

ID=63078603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170008942A KR102008672B1 (ko) 2017-01-19 2017-01-19 카메라와 연계해서 증강현실 프리미티브와 이벤트를 연동시키는 시스템 및 그 시스템의 구동방법

Country Status (1)

Country Link
KR (1) KR102008672B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200033064A (ko) * 2018-09-19 2020-03-27 이의선 Mr 그래픽지원 컨텐츠 제공용 플랫폼 서비스 시스템 및 그 구동방법
KR102650518B1 (ko) * 2023-10-10 2024-03-21 이왕일 차량번호를 이용한 입주자 확인 서비스 제공 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120040407A (ko) * 2010-10-19 2012-04-27 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
KR20130022626A (ko) * 2011-08-25 2013-03-07 한국전자통신연구원 증강현실을 이용한 보안 감시 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120040407A (ko) * 2010-10-19 2012-04-27 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
KR20130022626A (ko) * 2011-08-25 2013-03-07 한국전자통신연구원 증강현실을 이용한 보안 감시 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200033064A (ko) * 2018-09-19 2020-03-27 이의선 Mr 그래픽지원 컨텐츠 제공용 플랫폼 서비스 시스템 및 그 구동방법
KR102650518B1 (ko) * 2023-10-10 2024-03-21 이왕일 차량번호를 이용한 입주자 확인 서비스 제공 시스템

Also Published As

Publication number Publication date
KR102008672B1 (ko) 2019-08-08

Similar Documents

Publication Publication Date Title
JP4790613B2 (ja) カメラ制御装置およびこの装置におけるズーム倍率制御方法
CN108737793B (zh) 使用摄像机网络跟踪运动对象的方法、系统及装置
JP6896688B2 (ja) 位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム
JP5427577B2 (ja) 表示制御装置及び表示画像形成方法
US9576335B2 (en) Method, device, and computer program for reducing the resolution of an input image
KR102574910B1 (ko) 감시 시스템 및 그 제어 방법
US20150334299A1 (en) Monitoring system
KR20130130544A (ko) 감시 영상 표시 방법 및 시스템
KR102107189B1 (ko) 3ｄ 화면 상에 지하철 역사의 시설물 이력 관리 및 상태 관리 시스템 및 방법
KR101297237B1 (ko) 재난 감시 시스템 및 방법
KR20160078724A (ko) 카메라 감시 영역 표시 방법 및 장치
US20170163888A1 (en) System and method for remote monitoring at least one observation area
KR20160094655A (ko) 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
KR100888935B1 (ko) 지능형 영상 감시 시스템에서 두 카메라 간의 연동 방법
KR102008672B1 (ko) 카메라와 연계해서 증강현실 프리미티브와 이벤트를 연동시키는 시스템 및 그 시스템의 구동방법
JP2007158496A (ja) 地図連携映像監視方法及びその装置
JP2006319526A (ja) ネットワークカメラシステム及びその制御方法
KR102468685B1 (ko) 가상현실 기반의 작업현장 안전관리장치 및 그 장치의 구동방법
JP7124281B2 (ja) プログラム、情報処理装置、画像処理システム
JP5790788B2 (ja) 監視システム
KR101937582B1 (ko) 인도 보안 안전 시스템
JP2004289779A (ja) 移動体撮像方法、移動体撮像システム
KR101670247B1 (ko) Ｃｃｔｖ 실시간 영상의 원클릭 선택을 이용한 객체 확대 이동 시스템 및 그 방법
KR101749679B1 (ko) 촬영 영상을 이용한 추적대상의 삼차원 형상 생성시스템 및 그 방법
JP6483326B2 (ja) 監視システムおよび端末装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)