KR101953796B1

KR101953796B1 - 차량용 주변 감시 장치 및 방법

Info

Publication number: KR101953796B1
Application number: KR1020150185284A
Authority: KR
Inventors: 이상헌
Original assignee: 에스엘 주식회사
Priority date: 2015-12-23
Filing date: 2015-12-23
Publication date: 2019-03-05
Also published as: KR20170075521A

Abstract

본 발명은 차량용 주변 감시 장치 및 방법 에 관한 것으로서, 차량의 주행 상태에 따라 서로 다른 알고리즘을 이용하여 차량의 주변에 존재하는 감시 대상 객체를 감시하는 차량용 주변 감시 장치 및 방법에 관한 것이다.
본 발명의 실시예에 따른 차량용 주변 감시 장치는 카메라로부터 영상 프레임을 입력 받는 입력부와, 상기 카메라를 구비한 차량의 주행 속도를 감지하는 차량 정보 감지부, 및 상기 차량의 주행 속도에 따라 상기 영상 프레임을 학습 기반 알고리즘 또는 벡터 기반 알고리즘으로 분석하여 상기 영상 프레임에 감시 대상 객체가 포함되는지 여부를 판단하는 영상 분석부를 포함한다.

Description

차량용 주변 감시 장치 및 방법{Apparatus and method for monitoring environment of vehicle}

본 발명은 차량용 주변 감시 장치 및 방법에 관한 것으로서, 더욱 상세하게는 차량의 주행 상태에 따라 서로 다른 알고리즘을 이용하여 차량의 주변에 존재하는 객체를 감시하는 차량용 주변 감시 장치 및 방법에 관한 것이다.

차량의 주변에 대한 정보를 운전자에게 제공하기 위하여 적어도 하나의 카메라가 차량에 구비될 수 있다. 카메라에 의하여 촬영된 영상은 그대로 운전자에게 제공되거나 가공되어 별도의 형태로 제공될 수 있다.

카메라에 의하여 촬영된 영상은 상대 차량 및 보행자와 같은 주변 환경에 대한 것뿐만 아니라, 카메라를 장착하고 있는 본 차량의 환경도 포함된다.

한편, 상대 차량 또는 보행자와 같이 차량의 주변에 존재하는 객체는 이동 및 정지를 수행할 수 있다. 여기서, 이동하는 객체의 감지는 용이하나 정지된 객체의 감지는 용이하지 않다. 특히, 차량의 주행 상태에 따라 객체의 상대적인 움직임이 상이하기 때문에 객체를 감지하는 것이 용이하지 않다.

따라서, 차량의 주행 상태에 따라 객체를 용이하게 감지할 수 있도록 하는 발명의 등장이 요구된다.

대한민국 공개특허공보 제 10-2014-0099079호 (2014.08.11)

본 발명의 해결하고자 하는 과제는 차량의 주행 상태에 따라 서로 다른 알고리즘을 이용하여 차량의 주변에 존재하는 객체를 감시하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 실시예에 따른 차량용 주변 감시 장치는 카메라로부터 영상 프레임을 입력 받는 입력부와, 상기 카메라를 구비한 차량의 주행 속도를 감지하는 차량 정보 감지부, 및 상기 차량의 주행 속도에 따라 상기 영상 프레임을 학습 기반 알고리즘 또는 벡터 기반 알고리즘으로 분석하여 상기 영상 프레임에 감시 대상 객체가 포함되는지 여부를 판단하는 영상 분석부를 포함한다.

본 발명의 실시예에 따른 차량용 주변 감시 방법은 카메라로부터 영상 프레임을 입력 받는 단계와, 상기 카메라를 구비한 차량의 주행 속도를 감지하는 단계, 및 상기 차량의 주행 속도에 따라 상기 영상 프레임을 학습 기반 알고리즘 또는 벡터 기반 알고리즘으로 분석하여 상기 영상 프레임에 감시 대상 객체가 포함되는지 여부를 판단하는 단계를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

상기한 바와 같은 본 발명의 실시예에 따른 차량용 주변 감시 장치 및 방법 에 따르면 차량의 주행 상태에 따라 서로 다른 알고리즘을 이용하여 차량의 주변에 존재하는 객체를 감시하기 때문에 객체의 인식 효율을 향상시키는 장점이 있다.

도 1은 본 발명의 실시예에 따른 차량에 카메라가 부착된 것을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 주변 감시 시스템을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 차량의 주변에 감시 대상 객체가 이동하는 것을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 영상 내에서 감시 대상 객체가 이동하는 것을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 영상 프레임간 감시 대상 객체의 위치 변화를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 카메라에 의하여 차량에 구비된 광원의 광이 감지되는 것을 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 차량용 주변 감시 장치를 나타낸 블록도이다.
도 8은 본 발명의 실시예에 따른 모델링 정보를 나타낸 예시도이다.
도 9는 본 발명의 실시예에 따른 학습 기반 알고리즘이 이용되어 감시 대상 객체의 감시가 수행되는 것을 나타낸 도면이다.
도 10은 본 발명의 실시예에 따른 영상에 포함된 특징점의 모션 벡터를 나타낸 도면이다.
도 11은 본 발명의 실시예에 따른 변속단과 카메라간의 관계를 나타낸 감시 카메라 테이블을 나타낸 도면이다.
도 12는 본 발명의 실시예에 따른 차량용 주변 감시 방법을 나타낸 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

도 1은 본 발명의 실시예에 따른 차량에 카메라가 부착된 것을 나타낸 도면이다.

도 1을 참조하면, 차량(10)은 적어도 하나의 카메라(20)를 구비할 수 있다. 카메라(20)는 피사체를 촬영하여 피사체에 대한 영상을 생성하는 역할을 수행한다. 카메라(20)의 영상 센서는 아날로그 영상 신호를 입력 받는 것으로서, 영상 신호을 입력 받기 위하여 영상 센서에는 촬상 소자가 구비되어 있을 수 있다. 촬상 소자로는 CCD(Charge-Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor)가 사용될 수 있으나 이에 한정되지는 않는다.

차량(10)의 적어도 하나의 위치에 카메라(20)가 부착될 수 있다. 도 1은 차량(10)의 전면, 후면, 상부면 및 양측면에 카메라(20)가 구비된 것을 도시하고 있으나, 카메라(20)가 부착되는 위치가 이에 한정되는 것은 아니다. 또한, 유사한 위치에 복수의 카메라(20)가 구비될 수도 있으며, 이러한 경우 각 카메라(20)가 향하는 방향은 서로 상이할 수 있다.

카메라(20)는 차량(10)의 주변을 촬영하거나 차량(10) 자체를 촬영할 수도 있다. 예를 들어, 카메라(20)는 차량(10)의 주변에 존재하는 상대 차량 또는 보행자를 촬영할 수 있으며, 차량(10)의 일측을 촬영할 수도 있다.

도 2는 본 발명의 실시예에 따른 주변 감시 시스템을 나타낸 도면이다.

도 2를 참조하면, 주변 감시 시스템(1)은 차량용 주변 감시 장치(100) 및 카메라(20)를 포함하여 구성된다.

카메라(20)는 촬영하여 생성된 영상을 차량용 주변 감시 장치(100)로 송신할 수 있다. 이를 위하여, 카메라(20)와 차량용 주변 감시 장치(100)간에는 유선 또는 무선 채널이 형성될 수 있다.

본 발명에서 카메라(20)는 촬영된 피사체에 대한 정지 영상 또는 동영상을 생성할 수 있다. 동영상이 생성되는 경우 카메라(20)는 동영상을 구성하는 복수의 영상 프레임을 차량용 주변 감시 장치(100)로 송신할 수 있다.

한편, 정지 영상이 생성되는 경우 카메라(20)는 이벤트가 발생될 때마다 정지 영상을 송신할 수 있다. 예를 들어, 차량용 주변 감시 장치(100)는 영상 송신 명령을 카메라(20)에게 전달할 수 있는데, 카메라(20)는 영상 송신 명령의 수신에 대응하여 피사체를 촬영하여 정지 영상을 생성하고, 생성된 정지 영상을 차량용 주변 감시 장치(100)로 송신할 수 있는 것이다. 또는, 카메라(20)는 주기적으로 정지 영상을 차량용 주변 감시 장치(100)로 송신할 수도 있다.

이하, 동영상을 구성하는 것뿐만 아니라 주기적으로 송신되는 각각의 정지 영상도 영상 프레임이라 하기로 한다. 즉, 카메라는 동영상을 구성하는 영상 프레임 또는 일련의 정지 영상을 구성하는 영상 프레임을 순차적으로 송신할 수 있는 것이다.

차량용 주변 감시 장치(100)는 카메라(20)로부터 수신된 영상을 분석하여 경보 제공 기능을 수행할 수 있다. 예를 들어, 차량용 주변 감시 장치(100)는 영상을 분석하여 차량의 주변에 보행자가 있는 것으로 판단되는 경우 경보를 출력할 수 있다.

도 3에 도시된 바와 같이, 차량(10)의 후면에서 보행자(30)가 이동하는 경우 이는 카메라(20)에 의하여 촬영될 수 있다. 그리하여, 카메라(20)에 의하여 생성된 영상은 차량용 주변 감시 장치(100)로 전달되고, 차량용 주변 감시 장치(100)는 영상을 분석하여 보행자(30)가 있는 것으로 판단하고, 운전자에게 경보를 제공할 수 있다.

보행자(30)가 존재하는지 여부는 영상 내의 객체에 움직임이 포함되는지를 판단함으로써 수행될 수 있다. 도 4에 도시된 바와 같이, 영상(200) 내에 포함된 객체에 움직임이 있는 경우 차량용 주변 감시 장치(100)는 보행자(30)가 있는 것으로 판단하는 것이다.

영상(200) 내에 포함된 객체(210)의 움직임은 순차적으로 입력된 영상 프레임을 분석함으로써 수행될 수 있다. 도 5에 도시된 바와 같이, 복수의 영상 프레임(300)이 카메라(20)로부터 입력될 수 있는데, 차량용 주변 감시 장치(100)는 각 영상 프레임(300)간의 차이를 통하여 영상 내에 포함된 객체의 움직임이 있는지 여부를 판단할 수 있다.

도 5는 n-1 시점에 입력된 영상 프레임(이하, n-1 영상 프레임이라 한다)(300) 및 n 시점에 입력된 영상 프레임(이하, n 영상 프레임이라 한다)(300)을 도시하고 있다. n-1 영상 프레임(300)은 영상 프레임의 영역 중 우측에 객체(311)를 포함하고 있지만, n 영상 프레임(300)은 영상 프레임의 영역 중 좌측에 객체(312)를 포함하고 있다. 즉, n-1 영상 프레임(300)과 n 영상 프레임(300)간에 차이가 존재하는 것이다. 차량용 주변 감시 장치(100)는 이와 같은 영상 프레임간의 차이를 이용하여 차량(10)의 주변에 보행자(30)가 있는지 여부를 판단할 수 있다.

한편, 본 발명에서 차량(10)의 주변에서 이동하는 대상물은 보행자(30)에 한정되지 않는다. 예를 들어, 애완 동물 또는 상대 차량이 차량의 주변에서 이동할 수 있으며, 보행자(30)가 소지하고 있는 가방 또는 우산과 같은 사물이 차량의 주변에서 이동할 수 있다. 이에, 차량의 주변에 존재하여 경보 출력의 대상이 되는 모든 대상물을 이하 감시 대상 객체라 하기로 한다.

다시 도 2를 설명하면, 본 발명에서 차량용 주변 감시 장치(100)는 차량(10)에 장착된 것일 수 있으나, 이에 한정되지는 않는다. 예를 들어, 스마트폰과 같은 사용자의 휴대용 단말기가 차량용 주변 감시 장치(100)의 역할을 수행할 수 있다. 사용자가 휴대용 단말기를 소지하여 차량(10)에 인접한 경우 카메라(20)는 휴대용 단말기와 통신 채널을 구성하고 영상을 송신할 수 있다. 이에, 휴대용 단말기는 수신된 영상을 분석하여 경보 제공 기능을 수행할 수 있다.

도 6은 본 발명의 실시예에 따른 카메라에 의하여 차량에 구비된 광원의 광이 감지되는 것을 나타낸 도면이다.

본 발명의 실시예에 따른 차량(10)은 버스일 수 있으며, 카메라(20)는 출입구의 주변에 설치될 수 있다. 도 6은 출입구의 상측에 카메라(20)가 설치된 것을 도시하고 있다.

카메라(20)는 출입구에서 출입하는 이동체를 촬영하여 생성된 영상을 차량용 주변 감시 장치(100)로 제공할 수 있다. 이에, 차량용 주변 감시 장치(100)는 전달된 영상을 분석하여 출입구에 이동체가 존재하는지 여부를 판단하고, 이동체가 존재하는 것으로 판단되는 경우 운전자에게 경보를 제공할 수 있다. 경보를 제공받은 운전자는 운행을 중단하고 안전 조치를 취할 수 있게 된다.

한편, 단순히 영상 프레임(300)간의 차이만을 이용하여 감시 대상 객체의 존재 여부를 판단하는 경우 감시 대상 객체의 감지가 용이하지 않을 수 있다. 감시 대상 객체가 이동한 경우 영상 프레임(300)간에 차이가 존재하지만, 감시 대상 객체가 정지한 경우 영상 프레임(300)간에 차이가 존재하지 않기 때문이다.

예를 들어, 차량(10)의 출입구 주변에서 움직이지 않고 있는 사람을 촬영하여 영상 프레임(300)을 생성한 경우 영상 프레임(300)간 차이가 없기 때문에 경보가 출력되지 않을 수 있는 것이다.

이에, 본 발명의 실시예에 따른 차량용 주변 감시 장치(100)는 차량(10)의 주행 속도에 따라 학습 기반 알고리즘 또는 벡터 기반 알고리즘을 적용하여 감시 대상 객체를 감지할 수 있다.

이하, 차량용 주변 감시 장치(100)에 대하여 자세히 설명하기로 한다.

도 7은 본 발명의 실시예에 따른 차량용 주변 감시 장치를 나타낸 블록도이다.

도 7을 참조하면, 차량용 주변 감시 장치(100)는 입력부(110), 차량 정보 감지부(120), 저장부(130), 제어부(140), 영상 분석부(150) 및 출력부(160)를 포함하여 구성된다.

입력부(110)는 카메라(20)로부터 영상 프레임(300)을 입력 받는 역할을 수행한다. 이를 위하여, 입력부(110)와 카메라(20)간에는 유선 또는 무선 통신 채널이 구성될 수 있다. 전술한 바와 같이, 차량(10)에는 적어도 하나의 카메라(20)가 구비될 수 있는데, 입력부(110)는 각 카메라(20)별로 통신 채널을 구성할 수 있다.

차량 정보 감지부(120)는 카메라(20)를 구비한 차량(10)의 주행 속도를 감지하는 역할을 수행한다. 차량 정보 감지부(120)는 차량 내부의 제어 시스템으로부터 차량(10)의 주행 속도를 제공받을 수 있으며, 차량(10)의 바퀴에 구비된 엔코더로부터 직접 차량(10)의 주행 속도를 제공받을 수도 있다. 또는, GPS(Global Positioning System) 수신기를 구비하여 GPS 신호를 수신함으로써 차량(10)의 주행 속도를 감지할 수도 있다. 이러한 경우 차량 정보 감지부(120)는 차량(10)에 구비될 수 있다.

또한, 주행 속도뿐만 아니라 차량 정보 감지부(120)는 차량(10)의 다양한 정보를 감지할 수 있다. 예를 들어, 차량(10)의 시동 상태 및 변속단 등을 감지할 수 있는 것이다.

영상 분석부(150)는 차량 정보 감지부(120)에 의하여 감지된 차량(10)의 주행 속도에 따라 영상 프레임(300)을 학습 기반 알고리즘 또는 벡터 기반 알고리즘으로 분석하여 영상 프레임(300)에 감시 대상 객체가 포함되는지 여부를 판단하는 역할을 수행한다.

구체적으로, 차량(10)의 주행 속도가 0인 경우 영상 분석부(150)는 영상 프레임(300)을 학습 기반 알고리즘으로 분석하여 영상 프레임(300)에 감시 대상 객체가 포함되는지 여부를 판단할 수 있다. 학습 기반 알고리즘은 사전에 구비된 모델링 정보와 영상 프레임(300) 각각에 포함된 객체간의 유사도를 판단하는 알고리즘을 포함한다.

도 8은 본 발명의 실시예에 따른 모델링 정보를 나타낸 예시도이고, 도 9는 본 발명의 실시예에 따른 학습 기반 알고리즘이 이용되어 감시 대상 객체의 감시가 수행되는 것을 나타낸 도면이다.

모델링 정보(400)는 사람에 대한 모델링 정보(410), 애완 동물에 대한 모델링 정보(420), 상대 차량에 대한 모델링 정보(430) 및 사람의 소지품에 대한 모델링 정보(440)가 포함될 수 있다. 그러나, 이는 예시적인 것으로서 보다 다양한 객체의 모델링 정보가 구비될 수 있다.

특정 객체에 대한 모델링 정보(410~440)는 세부 모델링 정보로 구성될 수 있다. 즉, 사람에 대한 모델링 정보(410)는 사람의 전체 모습, 얼굴, 손, 몸체 및 다리에 대한 세부 모델링 정보를 포함할 수 있다.

각 모델링 정보(410~440)는 저장부(130)에 저장될 수 있으며, 영상 분석부(150)는 저장부(130)에 저장된 모델링 정보(400)와 영상 프레임(300)을 비교하여 감시 대상 객체가 영상 프레임(300)에 포함되었는지 여부를 판단할 수 있다.

특히, 영상 분석부(150)는 서로 다른 감시 대상 객체에 대한 적어도 하나의 모델링 정보를 참조하여 영상 프레임(300)에 감시 대상 객체가 포함되는지 여부를 판단할 수 있다.

즉, 영상 분석부(150)는 저장부(130)에 저장된 모델링 정보(400) 모두를 적용하여 영상 프레임(300)에 감시 대상 객체가 포함되는지 여부를 판단할 수 있으며, 일부 모델링 정보만을 적용하여 영상 프레임(300)에 감시 대상 객체가 포함되었는지 여부를 판단할 수도 있는 것이다. 예를 들어, 영상 분석부(150)는 사용자에 의하여 선택된 모델링 정보를 적용하여 영상 분석을 수행할 수 있다. 사용자는 카메라별로 서로 다른 모델링 정보를 적용할 수 있다. 즉, 출입구를 향하는 카메라(20)에 대해서는 사람, 애완 동물 및 소지품에 대한 모델링 정보(410, 420, 440)를 적용하고, 차량(10)의 전면 또는 후면을 향하는 카메라(20)에 대해서는 사람 및 상대 차량에 대한 모델링 정보(410, 430)를 적용하여 영상 분석을 수행할 수 있다.

또한, 영상 분석부(150)는 사람에 대한 모델링 정보(410)를 적용함에 있어서 전체 모습, 얼굴, 손, 몸체 및 다리 중 선택된 세부 모델링 정보를 적용하여 영상 분석을 수행할 수도 있다.

카메라별 모델링 정보의 선택 정보는 저장부(130)에 저장될 수 있으며, 영상 분석부(150)는 모델링 정보의 선택 정보를 참조하여 선택된 모델링 정보만을 적용하여 영상 분석을 수행할 수 있다.

모델링 정보(400) 및 선택 정보뿐만 아니라 저장부(130)는 입력부(110)를 통하여 입력된 영상을 임시적으로 또는 영구적으로 저장하는 역할을 수행한다. 또한, 저장부(130)는 입력부(110)를 통하여 입력된 다양한 정보 및 차량용 주변 감시 장치(100)의 내부에서 전달되는 각종 데이터를 임시적으로 또는 영구적으로 저장할 수도 있다.

차량(10)의 주행 속도가 0을 초과하고 임계 속도의 이하인 경우 영상 분석부(150)는 영상 프레임(300)을 벡터 기반으로 분석하여 영상 프레임(300)에 감시 대상 객체가 포함되는지 여부를 판단할 수 있다.

차량(10)이 주행 중인 경우 카메라(20)의 노출 시간에 의하여 피사체의 형체가 완전하지 않을 수 있다. 그리하여, 차량(10)이 주행 중인 경우에는 학습 기반 알고리즘을 적용하는 것이 용이하지 않다. 이에, 본 발명의 실시예에 따른 영상 분석부(150)는 차량(10)이 주행 중인 경우에는 벡터 기반 알고리즘을 이용하여 감시 대상 객체의 존재 여부를 판단할 수 있다.

벡터 기반 알고리즘은 영상 프레임(300)간 특징점의 이동 패턴을 판단하는 알고리즘을 포함하는 것으로서, 도 10은 본 발명의 실시예에 따른 영상에 포함된 특징점의 모션 벡터를 도시하고 있다.

영상 분석부(150)는 영상을 분석하여 영상에 포함된 특징점을 추출하고, 영상 프레임(300)간 차이를 이용하여 각 특징점의 모션 벡터를 산출할 수 있다.

도 10에 도시된 바와 같이, 영상(200)에 포함된 전체 특징점(510, 520)은 우측을 향하는데 일부 특징점(520)의 모션 벡터의 크기는 다른 대부분의 특징점(510)의 모션 벡터의 크기와 상이할 수 있다. 특히, 일부 특징점(520) 모션 벡터의 크기는 다른 대부분의 특징점(510)의 모션 벡터의 크기에 비하여 클 수 있다.

사람이 카메라(20)에 의하여 촬영되는 경우 사람과 함께 주변의 배경도 촬영된다. 이 때, 차량(10)이 이동하는 경우 카메라(20)도 같이 이동하며, 사람과 주변 배경은 촬영된 영상 내에서 이동하는 것으로 인식된다. 한편, 주변 배경에 비하여 사람이 카메라(20)에 가깝기 때문에 카메라(20)에 의하여 사람의 움직임이 보다 크게 인식된다.

이에, 영상 분석부(150)는 영상에 포함된 특징점(510, 520)의 모션 벡터를 분석하여 주변 배경의 특징점(510)에 비하여 큰 모션 벡터를 갖는 특징점(510)이 그룹을 형성한 경우 이를 감시 대상 객체인 것으로 판단할 수 있다. 또는, 영상 분석부(150)는 영상에 포함된 특징점의 모션 벡터를 분석하여 주변 배경의 특징점과 다른 방향의 모션 벡터를 갖는 특징점이 그룹을 형성한 경우 이를 감시 대상 객체인 것으로 판단할 수 있다.

여기서, 주변 배경의 특징점(510)은 다양한 방식으로 산출될 수 있다. 예를 들어, 영상 분석부(150)는 영상 영역의 특정 면적 이상 유사한 모션 벡터의 크기를 갖는 특징점을 주변 배경의 특징점(510)으로 판단할 수 있다. 또는, 영상 영역에서 사람이 존재할 수 없을 것으로 판단되는 영역의 특징점을 주변 배경의 특징점(510)으로 판단할 수도 있다. 그러나, 주변 배경의 특징점 산출이 이에 한정되는 것은 아니다.

한편, 차량(10)의 주행 속도가 임계 속도를 초과하는 경우 주변 배경에 대한 특징점(510)과 감시 대상 객체에 대한 특징점(520)의 모션 벡터 크기는 유사하게 감지될 수 있다. 이에, 차량(10)의 주행 속도가 임계 속도를 초과하는 경우 영상 분석부(150)는 영상 분석을 수행하지 않을 수 있다.

또한, 영상 분석부(150)는 차량에 설치된 복수의 카메라(20) 중 차량(10)의 변속단에 대응하는 카메라(20)로부터 입력된 영상 프레임(300)을 분석하여 영상 프레임(300)에 감시 대상 객체가 포함되는지 여부를 판단할 수 있다.

도 11은 본 발명의 실시예에 따른 변속단과 카메라간의 관계를 나타낸 감시 카메라 테이블을 나타낸 도면이다.

도 11을 참조하면, 감시 카메라 테이블(600)은 변속단 필드(610) 및 카메라 필드(620)를 포함하여 구성된다.

변속단 필드(610)는 차량(10)의 변속단을 포함하고, 카메라 필드(620)는 차량(10)에 설치된 카메라의 위치를 포함한다.

영상 분석부(150)는 감시 카메라 테이블(600)을 참조하여 영상 분석을 수행할 수 있다. 즉, 영상 분석부(150)는 변속단에 대응하는 카메라에 대한 영상 분석만을 수행할 수 있는 것이다.

전술한 바와 같이, 각 카메라(20)는 자신의 식별 정보를 포함시켜 영상을 생성할 수 있다. 이에, 영상 분석부(150)는 영상에 포함된 식별 정보를 참조하여 영상 분석하고자 하는 영상 프레임(300)을 선택할 수 있다.

변속단이 P단인 경우 영상 분석부(150)는 차량(10)의 전면, 후면, 측면 및 상부에 설치된 카메라로부터 수신된 영상에 대한 분석을 수행할 수 있다.

변속단이 R단인 경우 영상 분석부(150)는 차량(10)의 후면, 측면 및 상부에 설치된 카메라로부터 수신된 영상에 대해서만 분석을 수행할 수 있다.

변속단이 N단인 경우 영상 분석부(150)는 이전 변속단에 따른 분석을 유지할 수 있다. 예를 들어, 이전 변속단이 P단인 경우 영상 분석부(150)는 P단에 대응하는 카메라의 영상만을 분석하고, 이전 변속단이 R단인 경우 영상 분석부(150)는 R단에 대응하는 카메라의 영상만을 분석할 수 있다.

변속단이 D단인 경우 영상 분석부(150)는 차량(10)의 전면 및 측면에 설치된 카메라로부터 수신된 영상에 대해서만 분석을 수행할 수 있다.

그러나, 이와 같은 변속단과 카메라간의 동작 관계는 예시적인 것으로서 다양한 동작 관계가 존재할 수 있으며, 사용자에 의하여 실시간으로 수정될 수도 있다.

다시 도 7을 설명하면, 운전석의 주변에 구비된 출력부(160)는 영상 분석부(150)에 의하여 판단된 결과에 따른 경보를 영상으로 출력하는 역할을 수행한다. 즉, 출력부(160)는 감시 대상 객체가 존재하는 경우 경보를 출력하고, 감시 대상 객체가 존재하지 않는 경우 경보를 출력하지 않을 수 있다.

영상과 같은 시각적 방식뿐만 아니라 출력부(160)는 청각적 방식 또는 촉각적 방식으로 경보를 출력할 수도 있다. 이를 위하여, 출력부(160)는 영상 출력 수단(미도시), 음성 출력 수단(미도시) 및 진동 출력 수단(미도시)을 포함할 수 있으며, 각 출력 수단을 통하여 경보를 출력할 수 있다.

예를 들어, 출력부(160)는 특정 카메라에 의하여 생성된 영상 프레임(300)에 감시 대상 객체가 존재함을 출력할 수 있다. 이 때, 출력부(160)는 해당 카메라의 식별 정보를 출력할 수 있다. 카메라(20)는 자신의 식별 정보를 포함시켜 영상을 생성할 수 있는데, 출력부(160)는 영상에 포함된 식별 정보를 이용하여 감시 대상 객체를 감지한 카메라의 식별 정보를 출력할 수 있는 것이다. 또한, 영상 출력 수단을 포함하는 경우 출력부(160)는 해당 카메라에 의하여 촬영된 영상을 출력할 수도 있다.

경보를 제공 받음에 따라 사용자는 적절한 조치를 취할 수 있게 된다. 예를 들어, 사용자가 운전자인 경우 운행을 중단하고, 안전 조치를 취할 수 있다.

제어부(140)는 입력부(110), 차량 정보 감지부(120), 저장부(130), 영상 분석부(150) 및 출력부(160)에 대한 전반적인 제어를 수행한다.

도 12는 본 발명의 실시예에 따른 차량용 주변 감시 방법을 나타낸 흐름도이다.

주변 감시를 수행하기 위하여, 입력부(110)는 카메라(20)로부터 영상 프레임(300)을 입력 받는다(S710). 입력된 영상은 영상 분석부(150)로 전달된다.

차량 정보 감지부(120)는 차량(10)의 시동이 걸려있는지 판단할 수 있다(S720). 그리하여, 차량(10)이 시동이 걸려있는 경우 차량 정보 감지부(120)는 차량(10)의 주행 속도를 확인하여 영상 분석부(150)로 전달한다.

영상 분석부(150)는 차량(10)의 주행 속도가 0인지 확인할 수 있다(S730). 그리하여, 차량(10)의 주행 속도가 0인 경우 영상 분석부(150)는 학습 기반 알고리즘으로 영상 분석을 수행하여 감시 대상 객체의 존재 여부를 판단할 수 있다(S740).

한편, 차량(10)의 주행 속도가 0이 아닌 경우 영상 분석부(150)는 차량(10)의 주행 속도가 0을 초과하고 임계 속도의 이하인지를 확인할 수 있다(S750).

그리하여, 주행 속도가 0을 초과하고 임계 속도의 이하인 경우 영상 분석부(150)는 벡터 기반 알고리즘으로 영상 분석을 수행하여 감시 대상 객체의 존재 여부를 판단할 수 있다(S760).

영상 분석부(150)의 판단 결과에 따라 감시 대상 객체가 존재하는 것으로 판단되는 경우 출력부(160)는 영상으로 경보를 출력한다(S770). 출력부(160)에 의한 경보 출력 방식은 영상에 한정되지 않으며, 청각적 방식 또는 촉각적 방식으로 경보가 출력될 수도 있다.

이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

110: 입력부
120: 차량 정보 감지부
130: 저장부
140: 제어부
150: 영상 분석부
160: 출력부

Claims

카메라로부터 영상 프레임을 입력 받는 입력부;
상기 카메라를 구비한 차량의 주행 속도를 감지하는 차량 정보 감지부;
상기 차량의 주행 속도에 따라 상기 영상 프레임을 학습 기반 알고리즘 및 벡터 기반 알고리즘 중 어느 하나로 분석하여 상기 영상 프레임에 감시 대상 객체가 포함되는지 여부를 판단하는 영상 분석부; 및
상기 판단 결과에 따른 경보를 영상으로 출력하는 출력부를 포함하며,
상기 영상 분석부는,
상기 차량이 정지 상태인 경우 상기 학습 기반 알고리즘을 통해 상기 감시 대상 객체의 포함 여부를 판단하고, 상기 차량이 주행 상태인 경우 상기 학습 기반 알고리즘 대신에 상기 벡터 기반 알고리즘을 통해 감시 대상 객체의 포함 여부를 판단하고,
상기 영상 분석부는,
상기 차량의 주행 속도가 0을 초과하고 임계 속도의 이하인 경우 상기 영상 프레임을 상기 벡터 기반으로 분석하여 상기 영상 프레임에 감시 대상 객체가 포함되는지 여부를 판단하며, 상기 차량의 주행 속도가 상기 임계 속도를 초과하는 경우 상기 영상 프레임의 분석을 수행하지 않는 차량용 주변 감시 장치.
제 1항에 있어서,
상기 학습 기반 알고리즘은 사전에 구비된 모델링 정보와 상기 영상 프레임 각각에 포함된 객체간의 유사도를 판단하는 알고리즘을 포함하고,
상기 벡터 기반 알고리즘은 상기 영상 프레임간 특징점의 이동 패턴을 판단하는 알고리즘을 포함하는 차량용 주변 감시 장치.
삭제
제 1항에 있어서,
상기 영상 분석부는 서로 다른 감시 대상 객체에 대한 적어도 하나의 모델링 정보를 참조하여 상기 영상 프레임에 감시 대상 객체가 포함되는지 여부를 판단하는 차량용 주변 감시 장치.
삭제
제 1항에 있어서,
상기 영상 분석부는 복수의 상기 카메라 중 상기 차량의 변속단에 대응하는 카메라로부터 입력된 영상 프레임을 분석하여 상기 영상 프레임에 감시 대상 객체가 포함되는지 여부를 판단하는 차량용 주변 감시 장치.
카메라로부터 영상 프레임을 입력 받는 단계;
상기 카메라를 구비한 차량의 주행 속도를 감지하는 단계; 및
상기 차량의 주행 속도에 따라 상기 영상 프레임을 학습 기반 알고리즘 및 벡터 기반 알고리즘 중 어느 하나로 분석하여 상기 영상 프레임에 감시 대상 객체가 포함되는지 여부를 판단하는 단계를 포함하며,
상기 영상 프레임에 감시 대상 객체가 포함되는지 여부를 판단하는 단계는,
상기 차량이 정지 상태인 경우 상기 학습 기반 알고리즘을 통해 상기 감시 대상 객체의 포함 여부를 판단하고, 상기 차량이 주행 상태인 경우 상기 학습 기반 알고리즘 대신에 상기 벡터 기반 알고리즘을 통해 감시 대상 객체의 포함 여부를 판단하는 단계를 포함하고,
상기 영상 프레임에 감시 대상 객체가 포함되는지 여부를 판단하는 단계는,
상기 차량의 주행 속도가 0을 초과하고 임계 속도의 이하인 경우 상기 영상 프레임을 상기 벡터 기반으로 분석하여 상기 영상 프레임에 감시 대상 객체가 포함되는지 여부를 판단하며, 상기 차량의 주행 속도가 상기 임계 속도를 초과하는 경우 상기 영상 프레임의 분석을 수행하지 않는 차량용 주변 감시 방법.
제 7항에 있어서,
상기 학습 기반 알고리즘은 사전에 구비된 모델링 정보와 상기 영상 프레임 각각에 포함된 객체간의 유사도를 판단하는 알고리즘을 포함하고,
상기 벡터 기반 알고리즘은 상기 영상 프레임간 특징점의 이동 패턴을 판단하는 알고리즘을 포함하는 차량용 주변 감시 방법.
삭제
제 7항에 있어서,
상기 영상 프레임에 감시 대상 객체가 포함되는지 여부를 판단하는 단계는 서로 다른 감시 대상 객체에 대한 적어도 하나의 모델링 정보를 참조하여 상기 영상 프레임에 감시 대상 객체가 포함되는지 여부를 판단하는 단계를 포함하는 차량용 주변 감시 방법.
삭제
제 7항에 있어서,
상기 영상 프레임에 감시 대상 객체가 포함되는지 여부를 판단하는 단계는 복수의 상기 카메라 중 상기 차량의 변속단에 대응하는 카메라로부터 입력된 영상 프레임을 분석하여 상기 영상 프레임에 감시 대상 객체가 포함되는지 여부를 판단하는 단계를 포함하는 차량용 주변 감시 방법.