KR102400007B1 - 라이다 센서를 포함하는 감시 카메라 시스템 - Google Patents

라이다 센서를 포함하는 감시 카메라 시스템 Download PDF

Info

Publication number
KR102400007B1
KR102400007B1 KR1020210181987A KR20210181987A KR102400007B1 KR 102400007 B1 KR102400007 B1 KR 102400007B1 KR 1020210181987 A KR1020210181987 A KR 1020210181987A KR 20210181987 A KR20210181987 A KR 20210181987A KR 102400007 B1 KR102400007 B1 KR 102400007B1
Authority
KR
South Korea
Prior art keywords
image
camera
information
lidar sensor
monitored
Prior art date
Application number
KR1020210181987A
Other languages
English (en)
Inventor
이윤순
Original Assignee
주식회사 굿링크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 굿링크 filed Critical 주식회사 굿링크
Priority to KR1020210181987A priority Critical patent/KR102400007B1/ko
Application granted granted Critical
Publication of KR102400007B1 publication Critical patent/KR102400007B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • H04N5/23296—
    • H04N5/23299—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

감시 카메라 시스템이 개시된다. 본 발명의 일 실시예에 따른 감시 카메라 시스템은 감시 영역에 밀리미터파를 조사하여 소정의 센싱 범위로 상기 감시 영역에 존재하는 피감시체에 대한 3차원 깊이 데이터를 획득하는 라이다 센서, 이미지 센서를 구비하며 상기 감시 영역에 대한 영상 정보를 획득하되 촬영 화각이 상기 라이다 센서의 센싱 범위보다 좁게 설정되는 카메라 및 상기 3차원 깊이 데이터와 상기 영상 정보를 중첩하여 상기 영상 정보에서 포함된 피감시체의 3차원 좌표 정보를 특정하고, 상기 좌표 정보를 이용하여 상기 피감시체를 확대하여 촬영하기 위한 상기 카메라의 줌인 제어 신호를 생성하는 제어부를 포함한다.

Description

라이다 센서를 포함하는 감시 카메라 시스템{SURVEILLANCE CAMERA SYSTEM INCULDING LIDAR SENSOR}
본 발명은 라이다 센서를 포함하는 감시 카메라 시스템에 관한 것으로, 보다 상세하게는 감시 영역에 존재하는 피사체의 정확한 위치를 라이다 센서로 확인한 후 피사체 영상을 촬영할 수 있는 라이다 센서를 포함하는 감시 카메라 시스템에 관한 것이다.
특정 구역이나 위치로 자동차나 사람 등이 통행하거나 들어오는 것을 감시 영역을 설정하고 해당 감시 영역에 대한 영상을 촬영하는 감시 카메라 시스템이 널리 활용되고 있다.
한편, 감시 카메라 시스템에 포함된 카메라는 영상을 촬영할 수 있는 범위인 화각이 제한되어 있어 감시 영역의 범위가 카메라의 화각보다 넓은 경우 한 번에 감시 영역 전체를 촬영할 수 없다는 문제가 있었다.
이와 같은 문제를 해결하기 위해 감시 영역 내 피감시체를 감지할 수 있는 센서를 감시 카메라 시스템에 포함시키고 피감시체가 감지된 방향으로 카메라를 틸팅 또는 회전시켜 넓은 감시 영역을 하나의 카메라로 촬영하는 방법이 사용되었다.
그러나, 상술한 감시 카메라 시스템의 경우 영상 내에서 피감시체의 3차원상 위치를 명확하게 특정할 수 없어 피감시체의 확대 영상을 획득할 수 없다는 문제점이 있었다.
피감시체에 대한 확대 영상을 획득하기 위해서는 감시 카메라 시스템의 관리자가 영상 내 피사체의 위치로 카메라를 줌인시키거나 기존에 촬영된 영상을 디지털 확대하여 피감시체에 대한 명확한 영상을 획득해야 하는데, 수동으로 카메라를 조작하기 위해서는 관리자가 실시간으로 촬영 영상을 모니터링해야 하고 디지털 확대의 경우 화질이 저하되어 피감시체에 대한 고화질의 영상을 얻을 수 없다는 문제점이 있었다.
이에, 감시 영역을 촬영한 영상에서 피감시체에 대한 고화질의 확대 영상을 얻을 수 있는 새로운 형태의 감시 카메라 시스템에 대한 필요성이 대두되었다.
한국등록특허공보 10-1519235호
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 감시 영역을 촬영한 2차원의 촬영 영상에서 피감시체의 위치를 특정하여 해당 위치로 카메라를 줌-인 함으로써 피사체에 대한 고화질의 확대 영상을 얻을 수 있는 감시 카메라 장치를 제공하는데 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않는 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 감시 카메라 시스템은, 감시 영역에 밀리미터파를 조사하여 소정의 센싱 범위로 상기 감시 영역에 존재하는 피감시체에 대한 3차원 깊이 데이터를 획득하는 라이다 센서, 이미지 센서를 구비하며 상기 감시 영역에 대한 영상 정보를 획득하되 촬영 화각이 상기 라이다 센서의 센싱 범위보다 좁게 설정되는 카메라 및 상기 3차원 깊이 데이터와 상기 영상 정보를 중첩하여 상기 영상 정보에서 포함된 피감시체의 3차원 좌표 정보를 특정하고, 상기 좌표 정보를 이용하여 상기 피감시체를 확대하여 촬영하기 위한 상기 카메라의 줌인 제어 신호를 생성하는 제어부를 포함한다.
본 발명의 일 실시예에 따르면, 상기 제어부는, 상기 센싱 범위의 좌표계를 기준으로 상기 카메라의 회전 각도를 반영하여 상기 촬영 화각에 포함된 피감시체의 좌표 정보를 결정할 수 있다.
본 발명의 일 실시예에 따르면, 상기 제어부는, 상기 촬영 화각의 좌표계를 기준으로 결정된 상기 피감시체의 좌표 정보에 상기 카메라의 회전 각도를 반영하여 상기 촬영 화각의 좌표계를 기준으로 결정한 상기 피감시체의 좌표 정보를 상기 센싱 범위의 좌표계를 기준으로 한 좌표 정보로 수정할 수 있다.
본 발명의 일 실시예에 따르면,상기 제어부는, 상기 피감시체의 3차원 좌표 정보가 특정되면, 상기 피감시체가 촬영 영상의 중앙에 위치하도록 상기 카메라를 틸팅 또는 회전하는 신호 및 상기 피감시체를 확대하기 위한 줌인 제어 신호를 생성할 수 있다.
본 발명의 또 다른 실시예에 따른 감시 카메라 시스템은, 감시 영역에 밀리미터파를 조사하여 소정의 센싱 범위로 상기 감시 영역에 존재하는 피감시체에 대한 3차원 깊이 데이터를 획득하는 라이다 센서, 이미지 센서를 구비하며 상기 감시 영역에 대한 영상 정보를 획득하는 카메라, 상기 감시 영역에 대한 기초 영상 및 상기 기초 영상을 복수의 구역으로 분할한 분할 정보를 저장하는 저장부 및 상기 복수의 구역 중 하나의 구역에서 피감시체가 감지되면, 상기 피감시체가 감지된 분할 구역을 확대 촬영하는 제어 신호를 생성하는 제어부를 포함한다.
본 발명의 일 실시예에 따르면, 상기 감시 영역에 대한 기초 영상은, 상기 라이다 센서의 센싱 범위와 상기 카메라의 촬영 화각이 일치한 상태에서 획득된 것일 수 있다.
본 발명의 일 실시예에 따르면, 상기 저장부는, 상기 분할된 복수의 구역을 확대하여 촬영하기 위한 카메라 설정 정보를 저장할 수 있다.
본 발명의 일 실시예에 따르면, 상기 카메라 설정 정보는, 상기 분할된 복수의 구역 중 선택된 구역을 상기 기초 영상 크기로 촬영하기 위한 상기 카메라의 상하좌우 회전각도 및 초점 거리 정보일 수 있다.
본 발명의 일 실시예에 따르면, 상기 저장부는, 상기 복수의 구역 각각에서 상기 라이다 센서에서 지형 지물까지의 거리의 총합인 기준 데이터를 저장하고, 상기 제어부는, 상기 라이다 센서에서 취득된 3차원 깊이 데이터와 상기 기준 데이터의 차이가 기 설정된 기준값을 벗어난 분할 영역에 피감시체가 등장한 것으로 판단할 수 있다.
상술한 감시 카메라 시스템에 따르면, 카메라로 취득한 영상 정보에서 영상 정보 내에서 피감시체의 정확한 위치 정보를 특정할 수 있게 되는바, 위치 정보를 기반으로 카메라를 제어하여 고화질의 확대된 피감시체 영상 정보를 획득할 수 있게 된다는 효과를 달성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 라이다 센서를 포함하는 감시 카메라 시스템을 설명하기 위한 기능 블록도이다.
도 2는 본 발명의 일 실시예에 따라 3차원 깊이 데이터와 영상 정보의 좌표계를 일치시키는 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따라 줌인 제어 신호를 생성하여 획득한 피감시체의 확대 영상을 설명하기 위한 도면이다.
도 4는 본 발명의 또 다른 실시예에 따른 감시 카메라 시스템을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따라 피감시체가 존재하는 분할 영역을 감지하기 위한 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 개시의 바람직한 실시예들을 상세히 설명한다. 본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 개시의 기술적 사상을 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.
이상과 같이 본 발명에 따른 바람직한 실시예를 살펴보았으며, 앞서 설명된 실시예 이외에도 본 발명이 그 취지나 범주에서 벗어남이 없이 다른 특정 형태로 구체화될 수 있다는 사실은 해당 기술에 통상의 지식을 가진 이들에게는 자명한 것이다. 그러므로, 상술된 실시예는 제한적인 것이 아니라 예시적인 것으로 여겨져야 하고, 이에 따라 본 발명은 상술한 설명에 한정되지 않고 첨부된 청구항의 범주 및 그 동등 범위 내에서 변경될 수도 있다.
각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
또한, 본 개시의 구성요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 또 다른 구성요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
본 개시에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 개시의 다양한 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 라이다 센서를 포함하는 감시 카메라 시스템을 설명하기 위한 기능 블록도이다.
본 발명의 일 실시예에 따른 감시 카메라 시스템(100)은 라이다 센서(110), 카메라(130) 및 제어부(150)를 포함한다.
도 1에는 본 발명의 실시예와 관련있는 구성요소들만이 도시되어 있는바 본 발명이 속하는 기술분야의 통상의 기술자라면 도 1에 도시된 구성요소들 외에 다른 구성요소가 더 포함될 수 있음을 알 수 있다.
라이다 센서(110)는 감시 영역에 밀리미터파를 조사하여 소정의 센싱 범위로 감시 영역에 존재하는 피감시체에 대한 3차원 깊이 데이터를 획득한다. 구체적으로, 본 발명의 일 실시예에 따른 라이다 센서(110)는 감시 영역에 밀리미터파를 송신하기 위한 송신부(미도시) 및 감시 영역에 존재하는 피감시체에 의해 반사되어 돌아온 밀리미터파를 수신하기 위한 수신부(미도시)를 포함할 수 있다.
라이다 센서(110)가 획득한 3차원 깊이 데이터에는 감시 영역에 존재하는 피감시체는 물론 지형 지물들까지의 거리 정보가 포함될 수 있다.
다만, 라이다 센서(110)에서 획득한 3차원 깊이 데이터는 감시 영역에 존재하는 피감시체 또는 지형 지물들에서 반사된 밀리미터파를 이용하여 생성되므로 지형 지물의 반사율 등에 의해 실제 환경 정보를 모두 표현하지 못하는 경우가 있다.
따라서, 감시 영역의 실제 환경 정보를 획득하기 위해 이하에서 설명하는 카메라(130)에서 획득한 정보를 병합한다.
카메라(130)는 이미지 센서를 구비하며 상기 감시 영역에 대한 영상 정보를 획득하되 촬영 화각이 라이다 센서(110)의 센싱 범위보다 좁게 설정된다. 본 발명의 일 실시예에 따른 카메라의 이미지 센서는 CMOS 이미지 센서, CCD 이미지 센서 등 다양한 형태의 이미지 센서가 사용될 수 있으나 이에 한정되지는 않는다.
카메라(130)는 촬영 방향을 변경할 수 있도록 카메라(130)의 틸팅 및 회전 동작 중 하나를 가능하게 하는 구동부(미도시)를 더 포함할 수 있다. 또한, 촬영된 영상에 피감시체가 존재하는 경우 해당 영역으로 줌인 동작을 수행할 수도 있다.
한편, 카메라(130)가 획득한 영상 정보는 2차원의 정보로 영상 내에서 피감시체가 인지된 경우라도 피감시체까지의 정확한 거리를 측정할 수 없어 줌인 동작을 수행하고자 하는 경우 초점 거리를 계산할 수 없어 초점이 맞지 않는 경우가 발생한다. 또한, 카메라(130)는 사물에서 반사된 가시광선을 영상 정보로 변환하므로 날씨, 조명 등의 외부 환경에 취약하다.
이에, 본 발명의 일 실시예에 따른 제어부(150)는 3차원 깊이 데이터와 상기 영상 정보를 중첩하여 상기 영상 정보에 포함된 피감시체의 3차원 좌표 정보를 특정하고, 상기 좌표 정보를 이용하여 상기 피감시체를 확대하여 촬영하기 위한 카메라(130) 줌인 제어 신호를 생성한다.
본 발명의 일 실시예에 따른 3차원 깊이 데이터의 범위가 영상 정보의 범위보다 넓으므로, 상기 3차원 깊이 데이터와 상기 영상 정보가 서로 다른 좌표계를 가지면 두 정보를 중첩시킬 수 없게 된다.
이에, 본 발명의 일 실시예에 따른 제어부(150)는 3차원 깊이 데이터와 영상 정보의 좌표계를 동일한 좌표계로 변환한다. 3차원 깊이 데이터와 영상 정보 좌표계를 일치시키는 구체적인 방법에 대해서는 도 2에서 상세하게 설명하도록 한다.
3차원 깊이 데이터와 영상 정보의 좌표계가 일치시키고 이를 병합하면 2차원 정보인 영상 정보 내에 존재하는 피감시체의 3차원 공간상에서의 위치를 명확하게 특정할 수 있다. 즉, 영상 정보를 이용하여 피감시체의 종류를 특정하고 3차원 깊이 데이터를 이용하여 카메라(130)에서 피감시체까지의 거리를 계산할 수 있다.
한편, 제어부(150)는 감시 영역에 설치된 라이다 센서(110) 및 카메라(130)와 인접한 위치에 설치될 수 있으나 이에 한정되는 것은 아니다. 일례로, 제어부(150)는 감시 영역과 원거리에 위치한 통합 제어 센터에 위치할 수 있다.
이 경우, 감시 카메라 시스템(100)은 통신부(미도시)를 더 포함하여 라이다 센서(110) 및 카메라(130)에서 취득한 데이터를 통신부를 통해 원거리에 위치한 제어부(150)에 송신하고, 제어부(150)는 수신한 데이터를 처리하여 카메라(130) 제어 신호를 포함하는 소정의 제어 신호를 라이다 센서(110) 및 카메라(130)에 전송할 수 있다.
상술한 감시 카메라 시스템(100)에 따르면, 카메라(130)로 취득한 영상 정보에서 영상 정보 내에서 피감시체의 정확한 위치 정보를 특정할 수 있게 되는바, 위치 정보를 기반으로 카메라(130)를 제어하여 고화질의 확대된 피감시체 영상 정보를 획득할 수 있게 된다는 효과를 달성할 수 있다.
도 2는 본 발명의 일 실시예에 따라 3차원 깊이 데이터와 영상 정보의 좌표계를 일치시키는 방법을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 카메라(130)의 촬영 화각(230)은 라이다 센서(210)의 센싱 범위(220)보다 좁게 설정된다. 즉, 센싱 범위(220)와 촬영 화각(230)의 범위가 상이하므로 각각이 서로 다른 좌표계를 사용하면 피사체(210)의 3차원상 좌표 정보를 획득하지 못하게 된다.
이에, 본 발명의 일 실시예에 따른 제어부(150)는 감시 카메라 시스템(100)은 센싱 범위(220)의 좌표계를 기준으로 카메라(130)의 회전 각도를 반영하여 촬영 화각(230)에 포함된 피감시체(210)의 좌표 정보를 결정한다.
센싱 범위(220)의 경계선(a) 촬영 화각(230)의 경계선(a')이 일치하는 경우 센싱 범위(220)의 좌표계와 촬영 화각(230)의 좌표계가 동일하다. 이 경우, 촬영 화각(230) 내에 피감시체가 존재한다면 3차원 깊이 데이터에서 감지된 피감시체의 좌표 정보로 촬영 영상에 피감시체의 3차원 공간상 위치를 특정할 수 있다.
반면, 도 2에 도시된 바와 같이 센싱 범위(220)의 경계선(a) 촬영 화각(230)의 경계선(a')이 상이한 경우 센싱 범위(220)에서의 좌표계와 촬영 화각(230)에서의 좌표계가 달라지므로, 3차원 깊이 데이터에서 확보한 피감시체(210)의 좌표 정보로 영상 정보에서의 피감시체(210) 위치 정보를 특정할 수 없게 된다.
이때, 카메라(130)는 피감시체(210)를 촬영하기 위하여 센싱 범위(220)의 경계선(a)을 기준으로 θ1만큼 회전한 상태이므로 촬영 화각(230)의 좌표계를 기준으로 결정된 피감시체(210)의 좌표 정보는 카메라(130)의 회전 각도를 반영하여 센싱 범위(220)의 좌표계를 기준으로 한 좌표 정보로 수정된다.
상술한 방법에 따르면, 2차원 정보인 영상 정보에서 피감시체에 대한 3차원 공간 정보, 즉, 3차원 좌표 정보를 정확하게 특정할 수 있게 된다는 효과를 달성할 수 있다.
피감시체(210)의 3차원 좌표 정보가 특정되면 카메라(130)를 기준으로 한 피감시체(210)의 거리 정보가 특정되므로 제어부(150)가 초점 거리를 계산할 수 있게 된다.
따라서, 제어부(150)가 줌인 제어 신호를 생성하면 피감시체(210)에 대한 고화질의 확대된 영상을 얻게 된다는 효과를 달성할 수 있다.
도 3은 본 발명의 일 실시예에 따라 줌인 제어 신호를 생성하여 획득한 피감시체의 확대 영상을 설명하기 위한 도면이다.
도 3에서 도시된 확대 전 영상(310)에서 피감시체(210)가 감지되면 제어부(150)는 영상 정보에서 피감시체(210)의 3차원 공간상에서의 위치 정보를 특정하고, 피감시체(210)가 영상의 중앙에 위치하도록 카메라(130)를 틸팅 또는 회전하는 신호 및 피감시체(210)를 확대하기 위한 제어 신호를 생성한다.
구체적으로, 확대 전 영상(310)에서 피감시체(210)의 3차원 위치 정보는 도 2에서 설명한 3차원 깊이 데이터에의 좌표 정보 및 카메라(130)의 회전 각도를 이용하여 산출한다.
한편, 본 발명의 일 실시예에 따른 제어부(150)는 영상 정보에 포함된 피감시체(210)가 기 설정된 유형인 경우에만 줌인 제어 신호를 생성할 수 있다. 영상 정보에는 실제 감시하고자 하는 사람, 차량 이외에 감시 대상이 아닌 물체 등이 포함되어 있을 수 있으므로 기 설정된 유형인 경우에만 줌인 제어 신호를 생성하는 것이다.
상술한 제어 방법에 따르면, 관제 센터에서 관리자가 수동으로 줌인 동작을 수행하지 않아도 피감시체에 대한 확대 영상을 획득할 수 있고, 이미 촬영된 영상을 확대하는 것이 아니고 광학줌인으로 확대된 영상을 획득하는바 피감시체에 대한 고화질의 영상을 획득할 수 있다는 효과를 달성할 수 있다.
도 4는 본 발명의 또 다른 실시예에 따른 감시 카메라 시스템을 설명하기 위한 도면이다.
본 발명의 또 다른 실시예에 따른 감시 카메라 시스템(100)은 도 1에서 설명한 구성요소들 이외에 저장부(170)를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 감시 카메라 시스템(100)에서 라이다 센서(110)는 감시 영역에 밀리미터파를 조사하여 소정의 센싱 범위로 감시 영역에 대한 깊이 데이터를 획득한다.
카메라(130)는 도 1에서 설명한 바와 같이 이미지 센서를 구비하며 감시 영역에 대한 영상 정보를 획득한다. 이때, 카메라(130)의 촬영 화각의 범위는 라이다 센서(110)의 센싱 범위와 일치하거 상이하게 설정될 수도 있다.
저장부(170)는 감시 영역에 대한 기초 영상 및 상기 기초 영상을 복수의 구역으로 분할한 분할 정보를 저장할 수 있다. 여기에서, 기초 영상이란 감시하고자 하는 피감시체가 없는 상태에서 촬영한 영상을 의미한다. 즉, 기초 영상에는 감시 영상에 원래 존재하는 지형 지물들만이 포함되어 있다.
또한, 저장부(170)는 기초 영상의 복수의 영역 각각에 대한 3차원 깊이 데이터를 저장한다. 이때, 기초 영상의 복수의 영역 각각에 대한 3차원 깊이 데이터는 해당 영역에 피감시체가 존재하는 여부를 판단하기 위한 기준 데이터로 활용된다.
예를 들어, 저장부(170)는 도 5에 도시된 바와 같이 감시 영역의 기초 영상(410)을 복수의 구역(410-1, 410-2, 410-3, 410-4, 410-5, 410-6)으로 분할한 분할 정보를 저장한다. 이때, 기초 영상(410)은 라이다 센서(110)의 센싱 범위와 카메라(130)의 촬영 화각이 일치한 상태에서 획득된 것일 수 있다. 따라서, 3차원 깊이 데이터에서의 좌표 정보와 영상 정보에서의 좌표 정보가 일치한다.
또한, 저장부(170)는 분할된 복수의 구역을 확대하여 촬영하기 위한 카메라(130) 설정 정보를 저장할 수 있다.
예를 들어, 제1 분할 구역(410-1)을 기초 영상(410) 크기로 확대하여 촬영하기 위한 카메라(130)의 상하좌우 회전각도 및 초점 거리 정보를 저장할 수 있다. 마찬가지로 나머지 분할 영역들을 기초 영상(410) 크기로 확대하여 촬영하기 위한 촬영 정보들을 사전에 저장할 수 있다.
이후, 제어부(150)는 복수의 구역 중 하나의 구역에서 피감시체가 감지되면, 저장부(170)에 기 저장된 정보를 이용하여 피감시체가 감지된 분할 구역을 확대 촬영하는 제어 신호를 생성한다. 즉, 피감시체가 감지된 분할 구역을 기초 영상(410)의 크기로 촬영하도록 카메라(150)를 제어하는 것이다.
제어부(150)가 복수의 구역 중 피감시체가 존재하는 구역을 감지하는 방법은 이하에서 상세하게 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따라 피감시체가 존재하는 분할 영역을 감지하기 위한 방법을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 제어부(150)는 기초 영상(410)에서 각 구역에 대한 3차원 깊이 데이터를 획득하고 이를 기준 데이터로 저장한다.
본 발명의 일 실시예에 따른 기준 데이터는 각각의 분할 영역에서 라이다 센서(110)로부터 상기 분할 영역에 존재하는 지형 지물까지의 거리의 총합일 수 있다.
도 5에 도시된 바와 같이, 라이다 센서(110)가 전방에 조사된 밀리미터파가 지형 지물(510)에 반사되어 되돌아온다. 이러한 정보를 통합하면 각 영역에 대한 점 구름(Point Cloud) 데이터인 3차원 깊이 데이터를 획득할 수 있는데, 이들을 모두 합한 것이 기준 데이터가 된다.
한편, 감시 영역에 피감시체가 등장하게 되면 라이다 센서(110)에서 조사된 밀리미터파가 지형 지물(510)이 아닌 피감시체에 반사되어 되돌아오므로 이때 획득한 점 구름 데이터에서 거리의 총합은 기준 데이터와 달라지게 된다.
즉, 본 발명의 일 실시예에 따른 제어부(150)는 기준 데이터와 새로 획득된 3차원 깊이 데이터를 비교하여 그 차이가 기준값을 벗어나면 해당 영역에 피감시체가 등장한 것으로 판단할 수 있다.
이후, 제어부(150)는 피감시체가 감지된 분할 영역을 확대하여 촬영하는 제어 신호를 생성한다. 따라서, 피감시체가 등장한 분할 영역에 대한 확대 영상을 획득할 수 있게 된다.
상술한 감시 카메라 시스템(100)에 따르면, 피감시체에 대한 고화질의 영상을 획득할 수 있다는 효과를 달성할 수 있다. 또한, 감시 영역을 움직이는 피감시체의 경우라도 이를 추적하며 복수의 확대된 영상을 획득할 수 있게 된다는 효과를 달성할 수 있다.
지금까지 도 1 내지 도 5를 참조하여 설명된 본 개시의 기술적 사상은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
이상에서, 본 개시의 실시예를 구성하는 모든 구성요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 개시의 기술적 사상이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 개시의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이상 첨부된 도면을 참조하여 본 개시의 실시예들을 설명하였지만, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 개시가 다른 구체적인 형태로도 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시에 의해 정의되는 기술적 사상의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (9)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 감시 영역에 밀리미터파를 조사하여 소정의 센싱 범위로 상기 감시 영역에 존재하는 피감시체에 대한 3차원 깊이 데이터를 획득하는 라이다 센서;
    이미지 센서를 구비하며 상기 감시 영역에 대한 영상 정보를 획득하는 카메라;
    상기 감시 영역에 대한 기초 영상 및 상기 기초 영상을 복수의 구역으로 분할한 분할 정보를 저장하는 저장부; 및
    상기 복수의 구역 중 하나의 구역에서 피감시체가 감지되면, 상기 피감시체가 감지된 분할 구역을 확대 촬영하는 제어 신호를 생성하는 제어부를 포함하되,
    상기 감시 영역에 대한 기초 영상은,
    상기 라이다 센서의 센싱 범위와 상기 카메라의 촬영 화각이 일치한 상태에서 획득된 것이고,
    상기 저장부는,
    상기 복수의 구역 각각에서 상기 라이다 센서에서 지형 지물까지의 거리의 총합인 기준 데이터를 저장하며,
    상기 제어부는,
    상기 라이다 센서에서 취득된 3차원 깊이 데이터와 상기 기준 데이터의 차이가 기 설정된 기준값을 벗어난 분할 영역에 피감시체가 등장한 것으로 판단하는 감시 카메라 시스템.
  6. 삭제
  7. 제5항에 있어서,
    상기 저장부는,
    상기 분할된 복수의 구역을 확대하여 촬영하기 위한 카메라 설정 정보를 저장하는 감시 카메라 시스템.
  8. 제7항에 있어서,
    상기 카메라 설정 정보는,
    상기 분할된 복수의 구역 중 선택된 구역을 상기 기초 영상 크기로 촬영하기 위한 상기 카메라의 상하좌우 회전각도 및 초점 거리 정보인 감시 카메라 시스템.
  9. 삭제
KR1020210181987A 2021-12-17 2021-12-17 라이다 센서를 포함하는 감시 카메라 시스템 KR102400007B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210181987A KR102400007B1 (ko) 2021-12-17 2021-12-17 라이다 센서를 포함하는 감시 카메라 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210181987A KR102400007B1 (ko) 2021-12-17 2021-12-17 라이다 센서를 포함하는 감시 카메라 시스템

Publications (1)

Publication Number Publication Date
KR102400007B1 true KR102400007B1 (ko) 2022-05-19

Family

ID=81804675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210181987A KR102400007B1 (ko) 2021-12-17 2021-12-17 라이다 센서를 포함하는 감시 카메라 시스템

Country Status (1)

Country Link
KR (1) KR102400007B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200396567Y1 (ko) * 2005-03-16 2005-09-26 한덕희 광역감시와 지역감시 자동전환 촬영 기능을 갖는감시카메라
KR20130120914A (ko) * 2012-04-26 2013-11-05 (주) 비전에스티 스테레오 카메라를 이용한 팬/틸트/줌 카메라 장치 및 제어 방법
KR101519235B1 (ko) 2013-11-12 2015-05-11 경북대학교 산학협력단 무선 센서 네트워크 기반 스마트 보안 cctv 시스템 및 그 제어방법
KR102135560B1 (ko) * 2018-05-16 2020-07-20 주식회사 유진로봇 카메라와 라이다를 이용한 융합 센서 및 이동체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200396567Y1 (ko) * 2005-03-16 2005-09-26 한덕희 광역감시와 지역감시 자동전환 촬영 기능을 갖는감시카메라
KR20130120914A (ko) * 2012-04-26 2013-11-05 (주) 비전에스티 스테레오 카메라를 이용한 팬/틸트/줌 카메라 장치 및 제어 방법
KR101519235B1 (ko) 2013-11-12 2015-05-11 경북대학교 산학협력단 무선 센서 네트워크 기반 스마트 보안 cctv 시스템 및 그 제어방법
KR102135560B1 (ko) * 2018-05-16 2020-07-20 주식회사 유진로봇 카메라와 라이다를 이용한 융합 센서 및 이동체

Similar Documents

Publication Publication Date Title
US6297844B1 (en) Video safety curtain
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP5469899B2 (ja) 自動追尾方法及び測量装置
US20120275688A1 (en) Method for automated 3d imaging
US7656508B2 (en) Distance measuring apparatus, distance measuring method, and computer program product
US8705846B2 (en) Position measuring apparatus, position measuring method, image processing apparatus and image processing method
US10719740B2 (en) Method and a system for identifying reflective surfaces in a scene
JP7300948B2 (ja) 測量データ処理装置、測量データ処理方法、測量データ処理用プログラム
JP2005310140A (ja) オブジェクトの認識及び／又は追跡方法
JP2005024463A (ja) ステレオ広視野画像処理装置
US8599368B1 (en) Laser-based speed determination device for use in a moving vehicle
JP7128577B2 (ja) 監視装置
KR102400007B1 (ko) 라이다 센서를 포함하는 감시 카메라 시스템
KR101635408B1 (ko) 복합 영상 생성 장치 및 방법
KR102439678B1 (ko) Cctv와 라이다센서를 이용한 통합 관리 시스템
CN112912895B (zh) 一种检测方法、装置和车辆
CA2520091C (en) Detection system, method for detecting objects and computer program therefor
JP6715205B2 (ja) 作業機械の周囲画像表示装置
JP2006322853A (ja) 距離計測装置、距離計測方法および距離計測プログラム
KR20170031901A (ko) 고속 스캐닝 장치를 이용한 스캐닝 방법
JP2000304508A (ja) ３次元入力装置
JP7206726B2 (ja) 計測装置、計測システムおよび車両
Wang et al. Active stereo vision for improving long range hearing using a laser Doppler vibrometer
EP0547635A2 (en) Method and apparatus for sensing a three-dimensional scene
WO2022202536A1 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20211217

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20211227

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20211217

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220207

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220504

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220516

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220516

End annual number: 3

Start annual number: 1

PG1601 Publication of registration