KR20230140713A

KR20230140713A - 주차 모니터링 장치 및 방법

Info

Publication number: KR20230140713A
Application number: KR1020220039300A
Authority: KR
Inventors: 김한상
Original assignee: 한화비전 주식회사
Priority date: 2022-03-30
Filing date: 2022-03-30
Publication date: 2023-10-10

Abstract

주차 모니터링 장치는, 차량을 포함하는 입력 영상을 수신하되, 상기 입력 영상은 가시광 영상 및 IR 영상을 포함하는 카메라 장치와, 상기 가시광 영상을 분석하여 상기 차량의 모션을 감지하는 모션 디텍터와, 상기 감지된 차량의 모션을 추적하여 이동 방향을 파악하고 상기 판단된 이동 방향과 상기 IR 영상에 의해 얻어지는 상기 차량의 3차원 정보에 기초하여, 상기 차량이 차지하는 주차 슬롯을 인식하는 제어부와, 상기 인식된 슬롯을 기준으로 주차정보를 업데이트하여 저장하는 주차정보 DB로 이루어진다.

Description

주차 모니터링 장치 및 방법{Apparatus and method for monitoring car parking}

본 발명은 주차 모니터링 장치 및 방법에 관한 것으로, 더욱 상세하게는, 주차장에 진입한 차량이 주차 공간을 차지하는지 여부를 실시간으로 모니터링하여 주차정보를 제공하는 기술에 관한 것이다.

최근 들어, 빌딩의 지하 주차장이나 외부의 지상 주차장의 규모가 커지고 많은 수의 차량이 출입하면서 주차장에서 가용한 주차공간에 관한 정보를 실시간으로 제공하는 주차 모니터링 서비스가 필수적인다. 이 경우에 차량이 해당 주차 슬롯을 차지하는가 여부가 실시간으로 체크되어야 하는데, 이를 위해 각 주차 슬롯 별로 센서를 배치하려면 그 비용은 상기 주차장의 규모에 비례하여 급격하게 상승할 수밖에 없다.

이러한 점에서 복수의 위치에 배치된 감시 카메라를 이용하여 주차공간을 모니터링하는 방식이 사용되고 있지만, 상기 감시 카메라의 화각(field of view)이 제한되어 있기 때문에 모니터링 가능한 차량의 수가 제한되고 사각을 방지하기 위해 다수의 감시 카메라를 설치해야 한다는 측면에서 비용 문제가 여전히 발생하게 된다.

감시 카메라의 설치 대수를 최소화하기 위한 방안으로 최근에는 주차 모니터링 시스템에 어안 카메라(fisheye camera)가 사용되기도 한다. 일반적으로, 어안 카메라는 180도 이상의 화각으로 동시에 영상을 촬영하므로 적은 개수로 넓은 범위를 커버할 수 있는 장점이 있다. 물론 넓은 범위를 하나의 영상 프레임으로 표현하기 때문에 에지 부분에서의 왜곡 문제가 있을 수 있고 촬영된 영상을 디워프(dewarp)하는 추가적인 프로세스가 필요하다. 이와 같이 어안 카메라로 얻어진 카메라 영상도 2차원 영상에 불과하므로 주차 슬롯이 비어있는가 여부를 정확하게 판단하기 어렵다.

예를 들어, 도 1의 예시 영상을 참조하면 실제로 3개의 주차 슬롯이 비어 있음에도 감시 카메라의 앞쪽에 큰 차량이 위치하면서 상기 3개의 빈 주차 슬롯을 제대로 감지하기 못하여, 공차 상태를 만차 상태로 오인할 가능성이 있다. 이러한 오류를 방지하기 위해, 상기 디워프된 영상에 딥러닝(deep-learning)과 같은 기계 학습법이 적용되기도 하지만 주차 슬롯을 차지하고 있는 차량의 전부 또는 일부가 가려지거나 빈 주차 슬롯의 전부 또는 일부가 가려진 경우 등 다양한 상황에 기인한 문제는 이러한 딥러닝에 의한 보완으로도 완전히 해소되기 어렵다.

한국 특허공개공보 10-2006-0134719호 (2006.12.28 공개)

본 발명이 이루고자 하는 기술적 과제는, 주차 모니터링 시스템에 IR 프로젝터를 내장하여 3차원 정보를 추가 추출함으로써, 기존 2차원 이미지 센서로 확보되는 오인지를 개선하는 것이다.

본 발명에서 이루고자 하는 기술적 과제는, 라이다(lidar)와 같은 고가의 ToF(time-of-flight) 센서를 사용하지 않고도 최소한의 영상 센서만으로 IR 프로젝션에 따른 스캐닝과 CCTV 모니터링을 동시에 수행할 수 있게 하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 주차 모니터링 장치는, 차량을 포함하는 입력 영상을 수신하되, 상기 입력 영상은 가시광 영상 및 IR 영상을 포함하는 카메라 장치; 상기 가시광 영상을 분석하여 상기 차량의 모션을 감지하는 모션 디텍터; 상기 감지된 차량의 모션을 추적하여 이동 방향을 파악하고 상기 판단된 이동 방향과, 상기 IR 영상에 의해 얻어지는 상기 차량의 3차원 정보에 기초하여, 상기 차량이 차지하는 주차 슬롯을 인식하는 제어부; 및 상기 인식된 슬롯을 기준으로 주차정보를 업데이트하여 저장하는 주차정보 DB를 포함한다.

상기 카메라 장치는, 상기 가시광 영상을 캡쳐하는 가시광 센서; 상기 차량에 IR 투사광을 조사하는 IR 프로젝터; 및 상기 조사되는 IR 투사광이 상기 차량에서 반사된 결과로 얻어지는 상기 IR 영상을 캡쳐하는 IR 센서를 포함한다.

상기 IR 투사광은 소정 간격을 갖는 복수의 격자로 구성된 메시(mesh)를 포함하고, 상기 제어부는 상기 메시가 상기 차량에 반사되어 얻어지는 상기 IR 영상으로부터 상기 차량의 3차원 정보를 획득한다.

상기 복수의 격자 내에는 각각의 격자를 고유하게 식별할 수 있는 코드 아이콘이 포함된다.

상기 카메라 장치는, 상기 입력 영상에서 상기 가시광 영상 및 상기 IR 영상 중에서 적어도 하나를 선택하여 필터링 할 수 있는 컷 필터(cut filter)를 더 포함한다.

상기 제어부는, 상기 차량의 주차장 진입시에 상기 IR 프로젝터 및/또는 상기 IR 센서를 턴온(turn on)하고, 상기 차량이 주차 슬롯에 주차한 것으로 인식되면 상기 IR 프로젝터 및/또는 상기 IR 센서를 턴오프(turn off)한다.

상기 제어부는, 주차장으로 진입하는 상기 차량의 속성을 판별하고, 상기 주차 슬롯에 주차한 차량의 속성이 상기 판별된 차량의 속성과 일치할 때에 한하여, 상기 주차정보 DB 내의 주차정보를 최종적으로 업데이트하여 저장한다.

상기 주차 모니터링 장치는, 상기 주차정보 DB에 저장된 주차정보를 사용자에게 디스플레이하는 사용자 인터페이스를 더 포함한다.

상기 사용자에게 디스플레이되는 주차정보는 비어있는 주차 슬롯 및 상기 주차 슬롯에 주차된 차량의 속성을 포함한다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 주차 모니터링 방법은, 카메라 장치에 의해 차량을 포함하는 입력 영상을 수신하되, 상기 입력 영상은 가시광 영상 및 IR 영상을 포함하는 단계; 모션 디텍터에 의해 상기 가시광 영상을 분석하여 상기 차량의 모션을 감지하는 단계; 상기 감지된 차량의 모션을 추적하여 이동 방향을 파악하는 단계; 상기 판단된 이동 방향과, 상기 IR 영상에 의해 얻어지는 상기 차량의 3차원 정보에 기초하여, 상기 차량이 차지하는 주차 슬롯을 인식하는 단계; 및 상기 인식된 슬롯을 기준으로 주차정보를 업데이트하여 저장하는 단계를 포함하되, 상기 3차원 정보는, 복수의 격자로 구성된 메시를 포함하는 IR 투사광이 상기 차량에서 반사되어 얻어지는 상기 IR 영상으로부터 얻어진다.

본 발명에 따르면, 종래의 2차원 기반의 주차 모니터링 시스템에 비해 보다 정확한 주차공간 모니터링이 가능해진다.

또한, 본 발명에 따르면, 3차원 정보를 취득하는 IR 프로젝터를 차량의 주차 모니터링이 필요한 시간 내에서만 작동시킴으로써 에너지 소모를 최소화할 수 있다.

또한, 본 발명에 따르면, 단순히 주차 슬롯이 비어 있는가 여부에 더해, 주차 슬롯을 차지하고 있는 차량의 속성 정보를 추가로 제공할 수 있다.

도 1은 공차 상태를 만차 상태로 오인할 가능성이 있는 감시 영상의 예를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 주차 모니터링 장치의 구성을 도시한 블록도이다.
도 3은 도 2에서 카메라 장치의 구성을 보다 자세히 도시한 블록도이다.
도 4는 차량의 가시광 영상으로부터 얻어진 에지 데이터의 예시를 보여주는 도면이다.
도 5는 IR 프로젝터에 의해 IR 투사광이 조사되고, 객체의 표면에서 반사된 IR 영상이 IR 카메라로 입사되는 과정을 보여주는 도면이다.
도 6은 IR 프로젝터에 의해 조사되는 IR 투사광이, 복수의 격자로 구성된 메시를 포함하는 예를 보여주는 도면이다.
도 7은 IR 투사광을 구성하는 격자들 내에, 각각의 격자를 식별하는 고유의 코드 아이콘이 부가된 예를 보여주는 도면이다.
도 8은 도 2의 주차 모니터링 장치를 실현하는 컴퓨팅 장치의 하드웨어 구성을 예시하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 주차 모니터링 장치에서 수행되는 주차 모니터링 방법을 개략적으로 도시한 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

이하 첨부된 도면들을 참조하여 본 발명의 일 실시예를 상세히 설명한다.

도 2는 본 발명의 일 실시예에 따른 주차 모니터링 장치(200)의 구성을 도시한 블록도이다. 주차 모니터링 장치(200)는 프로세서와, 상기 프로세서에 의해 실행 가능한 인스트럭션들을 저장하는 메모리를 포함하는 컴퓨팅 장치로서, 카메라 장치(100), 모션 디텍터(210), 제어부(220), 주차 정보 DB(230)를 포함하여 구성될 수 있으며, 차량 식별부(240)와 사용자 인터페이스(250)를 더 포함할 수 있다.

카메라 장치(100)는 차량을 포함하는 입력 영상을 수신한다. 이 때, 상기 입력 영상은 가시광 영상 및 IR(infra-red) 영상을 포함할 수 있다. 일반적으로 가시광 조명이 차량에서 반사되는 광은 가시광 영상으로, IR 조명이 차량에서 반사되는 광은 IR 영상으로 제공된다. 이러한 가시광이나 IR은 전자기파의 주파수 대역에 따른 구분이므로, 만약 가시광 및 IR을 모두 포함하는 대역의 영상이고 카메라의 이미지 센서가 상기 대역을 커버할 수 있는 카메라에서는, 컷 필터(cut-filter)를 통해 원하는 대역의 영상만을 필터링하여 이미지 센서에 제공할 수도 있다.

모션 디텍터(motion detector)(210)는 상기 가시광 영상을 분석하여 상기 차량의 모션을 감지한다. 이러한 모션 감지 알고리즘으로는 연속된 프레임 사이에서 특정 객체에 대한 복수의 모션 벡터를 취득하고 상기 복수의 모션 벡터가 갖는 크기 및 방향을 통해 상기 객체의 모션을 감지하는 방식이 사용될 수 있다. 상기 모션 벡터의 크기가 소정의 임계치를 넘는 경우 차량의 움직임이 있는 것으로 판단할 수 있을 것이다. 다만, 주차장 내에 차량 이외에 사람 등 다른 움직이는 객체를 차량으로 오인하지 않기 위하여, 딥러닝에 의해 차량을 식별하거나 차량에서 추출된 특징점의 비교하는 방식(예: KAZE, AKAZE, ORB 등)에 의해 차량인지 여부를 먼저 판단할 수 있다. 물론, 차량이 아니라고 판단된 객체는 실제로 모션이 발생하더라도 차량의 모션으로 감지되지 않고 무시된다.

이와 같이, 차량으로 인식된 객체의 모션 벡터의 크기가 소정의 임계치를 넘게 되면, 모션 디텍터(210)는 상기 모션 벡터의 방향을 고려하여 상기 차량이 움직이는 방향까지 파악할 수 있다.

도 2의 제어부(220)는 주차 모니터링 장치(200) 내의 다른 블록들의 동작을 전반적으로 제어한다. 특히, 제어부(220)는 상기 모션 디텍터(210)에 의해 감지된 차량의 모션 방향을 추적하여 차량의 전체적인 이동 방향(이동 궤적)을 파악하고, 상기 이동 방향과 상기 IR 영상에 의해 얻어지는 상기 차량의 3차원 정보에 기초하여, 상기 차량이 차지하는 주차 슬롯을 인식한다. 즉, 제어부(220)는 차량의 이동 방향과 차량의 3차원 정보를 함께 고려하여 주차 슬롯의 인식 정확성을 제고한다. 예를 들어, 제어부(220)는 현재 주차정보 DB(230)로부터 얻은 정보를 기초로, 현재 차량의 이동 궤적을 고려하여 최종적으로 상기 차량에 의해 차지된 주차 슬롯을 인식한다. 만약, A 구역으로 차량이 이동하였는데 B 구역에서 차량이 주차한 것으로 인식된다면 이는 오인식일 가능성이 높다.

제어부(220)는 이와 같은 차량의 이동 궤적뿐만 아니라 차량의 3차원 정보를 함께 고려하여 주차 슬롯을 인식함으로써 한층 더 정확성을 높일 수 있다. 상기 차량이 이동을 멈추고 특정 주차 슬롯에 주차한 상태에서, 카메라 장치(100)는 IR 프로젝터에 의해 상기 차량의 방향으로 IR 투사광을 조사하고 그 반사된 IR 영상을 취득하여 제어부(220)에 제공한다. 제어부(220)는 이러한 IR 영상을 통해 상기 차량의 3차원 정보를 얻어서 상기 차량이 특정 주차 슬롯에 주차한 것이 확실한지 확인할 수 있다. 이러한 3차원 정보 취득에 관한 보다 구체적인 설명은 도 3을 참조하여 후술하기로 한다.

다시 도 2를 참조하면, 주차정보 DB(database)(230)는 상기 인식된 슬롯을 기준으로 주차정보를 업데이트하여 저장한다. 상기 주차정보 DB는 제어부(220)에 주차정보를 실시간으로 제공하고 사용자 인터페이스(250)를 통해 사용자에게 주차정보를 제공하기 위한 데이터를 저장한 저장 매체의 일종이다.

상기 주차정보 DB(230)에 저장된 주차정보는 사용자 인터페이스(250)를 통해 사용자에게 시각적 또는 청각적으로 표시될 수 있다. 상기 사용자에게 디스플레이되는 주차정보는 비어있는 주차 슬롯 및 상기 주차 슬롯에 주차된 차량의 속성을 포함할 수 있다.

추가적으로, 제어부(220)는 주차장으로 진입하는 상기 차량의 속성을 판별하고, 상기 주차 슬롯에 주차한 차량의 속성이 상기 판별된 차량의 속성과 일치할 때에 한하여, 상기 주차정보 DB(230) 내의 주차정보를 최종적으로 업데이트하여 저장할 수도 있다. 이러한 차량의 속성이란 차량 종류(세단/SUV/스포츠카 등), 차량 모델(차량 제조자별 브랜드), 차량 색상 등을 포함할 수 있다. 상기 입차하는 차량의 속성 판단은 차량 식별부(240)에 의해 이루어질 수 있다. 차량 식별부(240)는 상기 차량의 차량 번호(number-plate)를 통해 상기 차량의 속성을 취득할 수도 있지만, 카메라 장치(100)에 의해 캡쳐된 영상으로부터 특징점 추출을 통해 상기 차량의 속성을 취득할 수도 있다. 상기 특징점이란 차량의 특징을 대표할 수 있는 영상 부분의 에지 데이터(도 4의 예시 참조)를 의미하는데, 차량의 라디에이터 그릴, 차량의 헤드라이트, 차량의 필라 라인 등을 포함할 수 있다. 이러한 차량의 특징점은 얼굴 인식 알고리즘에서 사용되는 양안, 코, 입의 형상 및 간격 등에 상응되는 차량 고유의 요소이다.

도 3은 도 2에서 카메라 장치(100)의 구성을 보다 자세히 도시한 블록도이다. 카메라 장치(100)는 기본적으로 카메라 컨트롤러(140)에 의해 동작되며, 가시광 센서(120), IR 센서(130) 및 IR 프로젝터(160)를 포함하여 구성될 수 있다. 또한, 카메라 장치(100)는 컷 필터(110), 스토리지(150) 및 패턴 저장부(170)를 더 포함할 수 있다.

가시광 센서(120)는 상기 차량을 포함하는 가시광 영상을 캡쳐한다. 상기 가시광 센서(120)는 바람직하게는 180도 이상의 범위를 커버하는 어안 카메라이다.

IR 프로젝터(160)는 상기 차량에 IR 투사광을 조사하고, IR 센서(130)는 상기 조사되는 IR 투사광이 상기 차량에서 반사된 결과로 얻어지는 상기 IR 영상을 캡쳐한다. 도 5에 예시된 바와 같이, IR 프로젝터(160)가 IR 투사광을 소정의 객체(10)에 조사하면, 상기 객체(10)의 표면에서는 상기 IR 투사광이 반사되어 IR 영상의 형태로 IR 센서 내지 IR 카메라(130)로 입사된다. 이러한 IR 영상은 광 스펙트럼상 IR 대역에 위치하므로 사람의 육안으로는 관찰되지 않는다.

이 때, 상기 IR 투사광은 소정 간격을 갖는 복수의 격자로 구성된 메시(mesh)를 포함할 수 있다. 이에 따라, 도 2의 제어부(220)는 상기 메시가 상기 차량에 반사되어 얻어지는 상기 IR 영상으로부터 상기 차량의 3차원 정보를 획득할 수 있는 것이다.

도 6은 IR 프로젝터(160)에 의해 조사되는 IR 투사광이, 복수의 격자로 구성된 메시(30)를 포함하는 예를 보여주는 도면이다. 도 6을 참조하면, 상기 복수의 격자는 일정한 가로 및 세로 크기를 갖는 정사각형일 수 있다. 이러한 IR 투사광이 차량(20)의 일부에 조사되면 상기 메시(30)에 포함된 격자는 상기 차량(20)의 3차원 프로파일에 따라 서로 상이한 형태로 경사지고 비틀어질 수 있다. 예를 들어, 상기 IR 프로젝터(160)에 대해 수직으로 배치된 표면에서 상기 격자는 원래의 형태가 유지되지만, 이와 다른 각도의 표면에서는 정사각형 형태가 유지되지 않고 왜곡되는데, 제어부(220)는 이러한 왜곡의 방향을 분석하여 상기 차량(20)이 갖는 프로파일의 3차원 형태를 인식할 수 있다. 이와 같이 얻어진 3차원 정보는 단순히 주차 슬롯을 가리는가 여부에 그치지 않고 상기 차량(20)이 주차 슬롯을 정확히 차지하고 있는가를 보다 분명하게 알 수 있게 해준다. 본 발명에 따를 카메라 장치(100)에서, 가시광 센서(120)는 어안 카메라의 형태를 가질 경우 차량(20)의 이동에 따른 팬-틸트(Pan-tile) 제어가 불필요하지만, IR 센서(130) 및 IR 프로젝터(160)는 방향성을 가지므로 상기 차량(20)의 이동에 따른 카메라 장치(100)의 팬-틸트 제어가 추가로 필요할 수 있다.

또한, 보다 정확하게 3차원 정보를 얻기 위해 상기 복수의 격자 내에는 각각의 격자를 고유하게 식별할 수 있는 코드 아이콘이 포함될 수 있다. 이러한 코드 아이콘은 패턴 저장부(170)에 저장되어 IR 프로젝터(160)에 제공되며, 도 7에 도시된 바와 같이 격자의 위치에 따라 서로 상이한 고유의 형태로 정의될 수 있다. 따라서, IR 프로젝터(160)에 의해 이러한 코드 아이콘을 포함하는 IR 투사광이 조사되면, IR 센서(130)가 캡쳐하는 IR 영상에도 이러한 코드 아이콘이 포함되므로, 제어부(220)는 특정 격자가 어떤 위치에 있는 격자인지 인식할 수 있기 때문에 보다 정확한 3차원 정보를 얻는 데에 도움이 될 수 있다.

다시 도 3을 참조하면, 컷 필터(cut filter)(110)는 제어부(220) 및/또는 카메라 컨트롤러(140)의 제어(filter control) 하에 상기 입력 영상에서 상기 가시광 영상 및 상기 IR 영상 중에서 적어도 하나를 선택하여 필터링한다. 이러한 컷 필터(110)의 동작으로 인해 항상 가시광 영상 및 IR 영상을 수신하지 않고 상황에 따라 가시광 영상만, IR 영상만 또는 두 종류의 영상 모두를 수신하는 것이 가능하다.

이와 같은 과정을 통해, 제어부(220)는 상기 차량의 이동 궤적과 3차원 정보를 모두 고려하여 특정 주차 슬롯에 차량이 주차했는지를 실시간으로 파악할 수 있게 된다. 그런데, 가시광 영상을 수신하는 것에 비해, IR 영상을 수신하는 것은 상대적으로 많은 에너지를 소모하게 된다. 따라서, 상기 차량(20)이 주차 슬롯에 주차한 후에는 IR 영상 처리 기능은 턴오프(turn-off)하고 가시광 영상에 의한 모니터링만 수행하는 것이 바람직하다. 따라서, 제어부(220)는 상기 차량의 주차장 진입시에 상기 IR 프로젝터(160) 및/또는 상기 IR 센서(130)를 턴온(turn on)하여 차량의 주차 모니터링을 시작할 수 있다. 또한, 제어부(220)는 상기 차량이 주차 슬롯에 주차한 것으로 인식되면 상기 IR 프로젝터 및/또는 상기 IR 센서를 턴오프(turn off)하여 주차 모니터링을 종료할 수 있다.

도 8은 도 2의 주차 모니터링 장치(200)를 구현하는 컴퓨팅 장치(300)의 하드웨어 구성을 예시하는 도면이 다.

컴퓨팅 장치(300)는 버스(320), 프로세서(330), 메모리(340), 스토리지(350), 입출력 인터페이스(310) 및 네트워크 인터페이스(360)를 가진다. 버스(320)는 프로세서(330), 메모리(340), 스토리지(350), 입출력 인터페이스(310) 및 네트워크 인터페이스(360)가 서로 데이터를 송수신하기 위한 데이터 전송로이다. 단, 프로세서(330) 등을 서로 접속하는 방법은 버스 연결로 제한되지 않는다. 프로세서(330)는 CPU (Central Processing Unit)나 GPU (Graphics Processing Unit) 등의 연산 처리 장치이다. 메모리(340)는 RAM (Random Access Memory)나 ROM (Read Only Memory) 등의 메모리이다. 스토리지(350)는 하드 디스크, SSD (Solid State Drive), 또는 메모리 카드 등의 저장 장치이다. 또한 스토리지(350)는 RAM 나 ROM 등의 메모리일 수 있다.

입출력 인터페이스(310)는 컴퓨팅 장치(300)와 입출력 디바이스를 접속하기 위한 인터페이스이다. 예를 들면 입출력 인터페이스(310)에는 키보드나 마우스 등이 접속된다.

네트워크 인터페이스(360)는 컴퓨팅 장치(300)을 외부 장치와 통신 가능하게 접속하여 전송 패킷을 송수신하기 위한 인터페이스이다. 네트워크 인터페이스(360)는 유선 회선과 접속하기 위한 네트워크 인터페이스라도 좋고 무선 회선과 접속하기 위한 네트워크 인터페이스라도 좋다. 예를 들면, 컴퓨팅 장치(300)는 네트워크(50)를 통해 다른 컴퓨팅 장치(300-1)와 접속될 수 있다.

스토리지(350)는 컴퓨팅 장치(300)의 각 기능을 구현하는 프로그램 모듈을 기억하고 있다. 프로세서(330)는 이들 각 프로그램 모듈을 실행함으로써, 그 프로그램 모듈에 대응하는 각 기능을 구현한다. 여기서 프로세서(330)는 상기 각 모듈을 실행할 때, 이 모듈들을 메모리(340) 상으로 읽어낸 후 실행할 수 있다.

다만, 컴퓨팅 장치(300)의 하드웨어 구성은 도 8에 나타낸 구성으로 제한되지 않는다. 예를 들면 각 프로그램 모듈은 메모리(340)에 저장되어도 좋다. 이 경우, 컴퓨팅 장치(300)는 스토리지(350)을 구비하지 않아도 된다.

이와 같이, 주차 모니터링 장치(200)는 적어도, 프로세서(330)와 상기 프로세서(330)에 의해 실행 가능한 인스트럭션들(instructions)을 저장하는 메모리(340)를 포함한다. 특히, 도 2의 주차 모니터링 장치(200)는 상기 주차 모니터링 장치(200)에 포함된 다양한 기능 블록들 내지 단계들을 포함하는 인스트럭션들이 상기 프로세서(330)에 의해 수행됨으로써 동작된다.

도 9는 본 발명의 일 실시예에 따른 주차 모니터링 장치(200)에서 수행되는 주차 모니터링 방법을 개략적으로 도시한 흐름도이다.

먼저, 카메라 장치(100)는 의해 차량을 포함하는 입력 영상을 수신한다(S91). 여기서, 상기 입력 영상은 가시광 영상 및 IR 영상을 포함한다.

다음으로, 모션 디텍터(210)는 상기 가시광 영상을 분석하여 상기 차량의 모션을 감지한다(S92). 이러한 모션 감지 알고리즘으로는 연속된 프레임 사이에서 특정 객체에 대한 복수의 모션 벡터를 취득하고 상기 복수의 모션 벡터가 갖는 크기 및 방향을 통해 상기 객체의 모션을 감지하는 방식이 사용될 수 있다. 물론, 상기 객체가 차량이 아니라고 판단되면 실제로 모션이 발생하더라도 무시될 수 있다.

제어부(220)는 상기 감지된 차량의 모션을 추적하여 이동 방향을 파악하고(S93), 상기 판단된 이동 방향과, 상기 IR 영상에 의해 얻어지는 상기 차량의 3차원 정보에 기초하여, 상기 차량이 차지하는 주차 슬롯을 인식한다(S94).

그 결과, 주차 정보 DB(230)는 상기 인식된 슬롯을 기준으로 주차정보를 업데이트하여 저장한다(S95).

여기서, 상기 3차원 정보는, 복수의 격자로 구성된 메시를 포함하는 IR 투사광이 상기 차량에서 반사되어 얻어지는 상기 IR 영상으로부터 얻어질 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

50: 네트워크
100: 카메라 장치
110: 컷 필터
120: 가시광 센서
130; IR 센서
140: 카메라 컨트롤러
150: 스토리지
160: IR 프로젝터
170: 패턴 저장부
200: 주차 모니터링 장치
210: 모션 디텍터
220: 제어부
230: 주차정보 DB
240: 차량 식별부
250: 사용자 인터페이스
300: 컴퓨팅 장치
310: 입출력 인터페이스
320: 버스
330: 프로세서
340: 메모리
350: 스토리지
360: 네트워크 인터페이스

Claims

프로세서와, 상기 프로세서에 의해 실행 가능한 인스트럭션들을 저장하는 메모리를 포함하는 주차 모니터링 장치로서,
차량을 포함하는 입력 영상을 수신하되, 상기 입력 영상은 가시광 영상 및 IR 영상을 포함하는 카메라 장치;
상기 가시광 영상을 분석하여 상기 차량의 모션을 감지하는 모션 디텍터;
상기 감지된 차량의 모션을 추적하여 이동 방향을 파악하고 상기 판단된 이동 방향과, 상기 IR 영상에 의해 얻어지는 상기 차량의 3차원 정보에 기초하여, 상기 차량이 차지하는 주차 슬롯을 인식하는 제어부; 및
상기 인식된 슬롯을 기준으로 주차정보를 업데이트하여 저장하는 주차정보 DB를 포함하는, 주차 모니터링 장치.
제1항에 있어서, 상기 카메라 장치는
상기 가시광 영상을 캡쳐하는 가시광 센서;
상기 차량에 IR 투사광을 조사하는 IR 프로젝터; 및
상기 조사되는 IR 투사광이 상기 차량에서 반사된 결과로 얻어지는 상기 IR 영상을 캡쳐하는 IR 센서를 포함하는, 주차 모니터링 장치.
제2항에 있어서,
상기 IR 투사광은 소정 간격을 갖는 복수의 격자로 구성된 메시(mesh)를 포함하고,
상기 제어부는 상기 메시가 상기 차량에 반사되어 얻어지는 상기 IR 영상으로부터 상기 차량의 3차원 정보를 획득하는, 주차 모니터링 장치.
제2항에 있어서,
상기 복수의 격자 내에는 각각의 격자를 고유하게 식별할 수 있는 코드 아이콘이 포함되는, 주차 모니터링 장치.
제2항에 있어서, 상기 카메라 장치는
상기 입력 영상에서 상기 가시광 영상 및 상기 IR 영상 중에서 적어도 하나를 선택하여 필터링 할 수 있는 컷 필터(cut filter)를 더 포함하는, 주차 모니터링 장치.
제2항에 있어서, 상기 제어부는
상기 차량의 주차장 진입시에 상기 IR 프로젝터 및/또는 상기 IR 센서를 턴온(turn on)하고, 상기 차량이 주차 슬롯에 주차한 것으로 인식되면 상기 IR 프로젝터 및/또는 상기 IR 센서를 턴오프(turn off)하는, 주차 모니터링 장치.
제1항에 있어서, 상기 제어부는
주차장으로 진입하는 상기 차량의 속성을 판별하고, 상기 주차 슬롯에 주차한 차량의 속성이 상기 판별된 차량의 속성과 일치할 때에 한하여, 상기 주차정보 DB 내의 주차정보를 최종적으로 업데이트하여 저장하는, 주차 모니터링 장치.
제7항에 있어서,
상기 주차정보 DB에 저장된 주차정보를 사용자에게 디스플레이하는 사용자 인터페이스를 더 포함하는, 주차 모니터링 장치.
제7항에 있어서,
상기 사용자에게 디스플레이되는 주차정보는 비어있는 주차 슬롯 및 상기 주차 슬롯에 주차된 차량의 속성을 포함하는, 주차 모니터링 장치.
프로세서와, 상기 프로세서에 의해 실행 가능한 인스트럭션들을 저장하는 메모리를 포함하는 주차 모니터링 장치에서, 상기 인스트럭션들에 의해 수행되는 주차 모니터링 방법으로서,
카메라 장치에 의해 차량을 포함하는 입력 영상을 수신하되, 상기 입력 영상은 가시광 영상 및 IR 영상을 포함하는 단계;
모션 디텍터에 의해 상기 가시광 영상을 분석하여 상기 차량의 모션을 감지하는 단계;
상기 감지된 차량의 모션을 추적하여 이동 방향을 파악하는 단계;
상기 판단된 이동 방향과, 상기 IR 영상에 의해 얻어지는 상기 차량의 3차원 정보에 기초하여, 상기 차량이 차지하는 주차 슬롯을 인식하는 단계; 및
상기 인식된 슬롯을 기준으로 주차정보를 업데이트하여 저장하는 단계를 포함하되,
상기 3차원 정보는, 복수의 격자로 구성된 메시를 포함하는 IR 투사광이 상기 차량에서 반사되어 얻어지는 상기 IR 영상으로부터 얻어지는, 주차 모니터링 장치.