KR20170075523A - 차량용 주변 감시 장치 및 방법 - Google Patents

차량용 주변 감시 장치 및 방법 Download PDF

Info

Publication number
KR20170075523A
KR20170075523A KR1020150185288A KR20150185288A KR20170075523A KR 20170075523 A KR20170075523 A KR 20170075523A KR 1020150185288 A KR1020150185288 A KR 1020150185288A KR 20150185288 A KR20150185288 A KR 20150185288A KR 20170075523 A KR20170075523 A KR 20170075523A
Authority
KR
South Korea
Prior art keywords
image
foreground
frames
sensitive area
foreground image
Prior art date
Application number
KR1020150185288A
Other languages
English (en)
Inventor
이상헌
Original Assignee
에스엘 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스엘 주식회사 filed Critical 에스엘 주식회사
Priority to KR1020150185288A priority Critical patent/KR20170075523A/ko
Publication of KR20170075523A publication Critical patent/KR20170075523A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • H04N5/23277—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 차량용 주변 감시 장치 및 방법 에 관한 것으로서, 카메라가 촬영한 영상에 포함된 정보 중 필요한 정보와 불필요한 정보를 구별하여 제공하는 차량용 주변 감시 장치 및 방법에 관한 것이다.
본 발명의 실시예에 따른 차량용 주변 감시 장치는 카메라로부터 영상 프레임을 입력 받는 입력부와, 상기 입력된 영상 프레임 중 사전에 설정된 기준 개수의 영상 프레임으로 구성된 영상 프레임 그룹을 서로 다른 개수로 누적하여 배경 영상, 제 1 전경 영상 및 제 2 전경 영상을 생성하는 누적 영상 생성부와, 상기 제 1 전경 영상 및 상기 제 2 전경 영상에서 각각 상기 배경 영상을 차감하여 제 1 차영상 및 제 2 차영상을 생성하는 차영상 생성부와, 상기 제 1 차영상 및 상기 제 2 차영상을 참조하여 상기 영상 프레임에 비감시 영역이 존재하는지 여부 및 상기 비감시 영역의 크기를 판단하는 영역 판단부와, 상기 영상 프레임의 영상 영역 중 상기 비감시 영역을 제외한 감시 영역을 분석하여 상기 영상 프레임에 이동체가 존재하는지 여부를 판단하는 영상 분석부, 및 상기 판단 결과에 따른 경보를 영상으로 출력하는 출력부를 포함하되, 상기 비감시 영역은 점멸 광 이미지가 포함된 영역을 포함한다.

Description

차량용 주변 감시 장치 및 방법{Apparatus and method for monitoring environment of vehicle}
본 발명은 차량용 주변 감시 장치에 관한 것으로서, 더욱 상세하게는 카메라가 촬영한 영상에 포함된 정보 중 필요한 정보와 불필요한 정보를 구별하여 제공하는 차량용 주변 감시 장치 및 방법에 관한 것이다.
차량의 주변에 대한 정보를 운전자에게 제공하기 위하여 적어도 하나의 카메라가 차량에 구비될 수 있다. 카메라에 의하여 촬영된 영상은 그대로 운전자에게 제공되거나 가공되어 별도의 형태로 제공될 수 있다.
카메라에 의하여 촬영된 영상은 상대 차량 및 보행자와 같은 주변 환경에 대한 것뿐만 아니라, 카메라를 장착하고 있는 본 차량의 환경도 포함된다.
한편, 2차원 정보인 영상이 가지고 있는 제약으로 인하여 차량의 주변에 대한 올바른 정보가 제공되지 못할 수도 있다. 예를 들어, 불필요한 정보가 영상에 포함됨에 따라 올바른 판단을 수행하는데 제한이 될 수 있는 것이다.
이에, 영상에 포함된 정보 중 필요한 정보와 필요하지 않은 정보를 구별하여 제공하는 발명의 등장이 요구된다.
대한민국 공개특허공보 제10-2014-0099079호 (2014.08.11)
본 발명의 해결하고자 하는 과제는 카메라가 촬영한 영상에 포함된 정보 중 필요한 정보와 불필요한 정보를 구별하여 제공하는 것이다.
또한, 본 발명의 해결하고자 하는 과제는 영상 분석을 통하여 차량 주변의 움직임을 감시함에 있어서 점멸 광의 이미지에 따른 오인식을 방지하고, 점멸 광의 이미지 영역에서의 움직임 감지 효율을 향상시키는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 차량용 주변 감시 장치는 카메라로부터 영상 프레임을 입력 받는 입력부와, 상기 입력된 영상 프레임 중 사전에 설정된 기준 개수의 영상 프레임으로 구성된 영상 프레임 그룹을 서로 다른 개수로 누적하여 배경 영상, 제 1 전경 영상 및 제 2 전경 영상을 생성하는 누적 영상 생성부와, 상기 제 1 전경 영상 및 상기 제 2 전경 영상에서 각각 상기 배경 영상을 차감하여 제 1 차영상 및 제 2 차영상을 생성하는 차영상 생성부와, 상기 제 1 차영상 및 상기 제 2 차영상을 참조하여 상기 영상 프레임에 비감시 영역이 존재하는지 여부 및 상기 비감시 영역의 크기를 판단하는 영역 판단부와, 상기 영상 프레임의 영상 영역 중 상기 비감시 영역을 제외한 감시 영역을 분석하여 상기 영상 프레임에 이동체가 존재하는지 여부를 판단하는 영상 분석부, 및 상기 판단 결과에 따른 경보를 영상으로 출력하는 출력부를 포함하되, 상기 비감시 영역은 점멸 광 이미지가 포함된 영역을 포함한다.
본 발명의 실시예에 따른 차량용 주변 감시 방법은 카메라로부터 영상 프레임을 입력 받는 단계와, 상기 입력된 영상 프레임 중 사전에 설정된 기준 개수의 영상 프레임으로 구성된 영상 프레임 그룹을 서로 다른 개수로 누적하여 배경 영상, 제 1 전경 영상 및 제 2 전경 영상을 생성하는 단계와, 상기 제 1 전경 영상 및 상기 제 2 전경 영상에서 각각 상기 배경 영상을 차감하여 제 1 차영상 및 제 2 차영상을 생성하는 단계와, 상기 제 1 차영상 및 상기 제 2 차영상을 참조하여 상기 영상 프레임에 비감시 영역이 존재하는지 여부 및 상기 비감시 영역의 크기를 판단하는 단계와, 상기 영상 프레임의 영상 영역 중 상기 비감시 영역을 제외한 감시 영역을 분석하여 상기 영상 프레임에 이동체가 존재하는지 여부를 판단하는 단계, 및 상기 판단 결과에 따른 경보를 영상으로 출력하는 단계를 포함하되, 상기 비감시 영역은 점멸 광 이미지가 포함된 영역을 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기한 바와 같은 본 발명의 실시예에 따른 차량용 주변 감시 장치 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 카메라가 촬영한 영상에 포함된 정보 중 필요한 정보와 불필요한 정보를 구별하여 제공함으로써 올바른 판단을 수행할 수 있도록 하는 장점이 있다.
둘째, 영상 분석을 통하여 차량 주변의 움직임을 감시함에 있어서 점멸 광의 이미지에 따른 오인식을 방지하고, 점멸 광의 이미지 영역에서의 움직임 감지 효율을 향상시키는 장점이 있다.
도 1은 본 발명의 실시예에 따른 차량에 카메라가 부착된 것을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 주변 감시 시스템을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 차량의 주변에 이동체가 이동하는 것을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 영상 내에서 이동체가 이동하는 것을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 영상 프레임간 이동체의 위치 변화를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 카메라에 의하여 차량에 구비된 광원의 광이 감지되는 것을 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 영상 프레임에 점멸 광 이미지가 포함된 것을 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 차량용 주변 감시 장치에 의하여 감지되는 점멸 광의 점멸 패턴을 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 감시 영역 및 비감시 영역을 나타낸 도면이다.
도 10은 본 발명의 실시예에 따른 영상 프레임에 포함된 점멸 광 이미지를 나타낸 도면이다.
도 11은 본 발명의 실시예에 따른 차량용 주변 감시 장치를 나타낸 블록도이다.
도 12는 본 발명의 실시예에 따른 복수의 영상 프레임이 누적되어 누적 영상이 생성되는 것을 나타낸 도면이다.
도 13은 본 발명의 실시예에 따른 배경 영상 및 전경 영상의 기초가 되는 영상 프레임을 나타낸 도면이다.
도 14 및 도 15는 본 발명의 실시예에 따른 차영상을 나타낸 도면이다.
도 16은 본 발명의 실시예에 따른 차량용 주변 감시 방법을 나타낸 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명의 실시예에 따른 차량에 카메라가 부착된 것을 나타낸 도면이다.
도 1을 참조하면, 차량(10)은 적어도 하나의 카메라(20)를 구비할 수 있다. 카메라(20)는 피사체를 촬영하여 피사체에 대한 영상을 생성하는 역할을 수행한다. 카메라(20)의 영상 센서는 아날로그 영상 신호를 입력 받는 것으로서, 영상 신호을 입력 받기 위하여 영상 센서에는 촬상 소자가 구비되어 있을 수 있다. 촬상 소자로는 CCD(Charge-Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor)가 사용될 수 있으나 이에 한정되지는 않는다.
차량(10)의 적어도 하나의 위치에 카메라(20)가 부착될 수 있다. 도 1은 차량(10)의 전면, 후면, 상부면 및 양측면에 카메라(20)가 구비된 것을 도시하고 있으나, 카메라(20)가 부착되는 위치가 이에 한정되는 것은 아니다. 또한, 유사한 위치에 복수의 카메라(20)가 구비될 수도 있으며, 이러한 경우 각 카메라(20)가 향하는 방향은 서로 상이할 수 있다.
카메라(20)는 차량(10)의 주변을 촬영하거나 차량(10) 자체를 촬영할 수도 있다. 예를 들어, 카메라(20)는 차량(10)의 주변에 존재하는 상대 차량 또는 보행자를 촬영할 수 있으며, 차량(10)의 일측을 촬영할 수도 있다.
도 2는 본 발명의 실시예에 따른 주변 감시 시스템을 나타낸 도면이다.
도 2를 참조하면, 주변 감시 시스템(1)은 차량용 주변 감시 장치(100) 및 카메라(20)를 포함하여 구성된다.
카메라(20)는 촬영하여 생성된 영상을 차량용 주변 감시 장치(100)로 송신할 수 있다. 이를 위하여, 카메라(20)와 차량용 주변 감시 장치(100)간에는 유선 또는 무선 채널이 형성될 수 있다.
본 발명에서 카메라(20)는 촬영된 피사체에 대한 정지 영상 또는 동영상을 생성할 수 있다. 동영상이 생성되는 경우 카메라(20)는 동영상을 구성하는 복수의 영상 프레임을 차량용 주변 감시 장치(100)로 송신할 수 있다.
한편, 정지 영상이 생성되는 경우 카메라(20)는 이벤트가 발생될 때마다 정지 영상을 송신할 수 있다. 예를 들어, 차량용 주변 감시 장치(100)는 영상 송신 명령을 카메라(20)에게 전달할 수 있는데, 카메라(20)는 영상 송신 명령의 수신에 대응하여 피사체를 촬영하여 정지 영상을 생성하고, 생성된 정지 영상을 차량용 주변 감시 장치(100)로 송신할 수 있는 것이다. 또는, 카메라(20)는 주기적으로 정지 영상을 차량용 주변 감시 장치(100)로 송신할 수도 있다.
이하, 동영상을 구성하는 것뿐만 아니라 주기적으로 송신되는 각각의 정지 영상도 영상 프레임이라 하기로 한다. 즉, 카메라는 동영상을 구성하는 영상 프레임 또는 일련의 정지 영상을 구성하는 영상 프레임을 순차적으로 송신할 수 있는 것이다.
차량용 주변 감시 장치(100)는 카메라(20)로부터 수신된 영상을 분석하여 경보 제공 기능을 수행할 수 있다. 예를 들어, 차량용 주변 감시 장치(100)는 영상을 분석하여 차량의 주변에 보행자가 있는 것으로 판단되는 경우 경보를 출력할 수 있다.
도 3에 도시된 바와 같이, 차량(10)의 후방에서 보행자(30)가 이동하는 경우 이는 카메라(20)에 의하여 촬영될 수 있다. 그리하여, 카메라(20)에 의하여 생성된 영상은 차량용 주변 감시 장치(100)로 전달되고, 차량용 주변 감시 장치(100)는 영상을 분석하여 보행자(30)가 있는 것으로 판단하고, 운전자에게 경보를 제공할 수 있다.
보행자(30)가 존재하는지 여부는 영상 내의 객체에 움직임이 포함되는지를 판단함으로써 수행될 수 있다. 도 4에 도시된 바와 같이, 영상(200) 내에 포함된 객체에 움직임이 있는 경우 차량용 주변 감시 장치(100)는 보행자(30)가 있는 것으로 판단하는 것이다.
영상(200) 내에 포함된 객체(210)의 움직임은 순차적으로 입력된 영상 프레임을 분석함으로써 수행될 수 있다. 도 5에 도시된 바와 같이, 복수의 영상 프레임(300)이 카메라(20)로부터 입력될 수 있는데, 차량용 주변 감시 장치(100)는 각 영상 프레임(300)간의 차이를 통하여 영상 내에 포함된 객체의 움직임이 있는지 여부를 판단할 수 있다.
도 5는 n-1 시점에 입력된 영상 프레임(이하, n-1 영상 프레임이라 한다)(300) 및 n 시점에 입력된 영상 프레임(이하, n 영상 프레임이라 한다)(300)을 도시하고 있다. n-1 영상 프레임(300)은 영상 프레임의 영역 중 우측에 객체(311)를 포함하고 있지만, n 영상 프레임(300)은 영상 프레임의 영역 중 좌측에 객체(312)를 포함하고 있다. 즉, n-1 영상 프레임(300)과 n 영상 프레임(300)간에 차이가 존재하는 것이다. 차량용 주변 감시 장치(100)는 이와 같은 영상 프레임간의 차이를 이용하여 차량(10)의 주변에 보행자(30)가 있는지 여부를 판단할 수 있다.
한편, 본 발명에서 차량(10)의 주변에서 이동하는 대상물은 보행자(30)에 한정되지 않는다. 예를 들어, 애완 동물 또는 상대 차량이 차량의 주변에서 이동할 수 있으며, 보행자(30)가 소지하고 있는 가방 또는 우산과 같은 사물이 차량의 주변에서 이동할 수 있다. 이에, 차량의 주변에 존재하여 경보 출력의 대상이 되는 모든 대상물을 이하 이동체라 하기로 한다.
다시 도 2를 설명하면, 본 발명에서 차량용 주변 감시 장치(100)는 차량(10)에 장착된 것일 수 있으나, 이에 한정되지는 않는다. 예를 들어, 스마트폰과 같은 사용자의 휴대용 단말기가 차량용 주변 감시 장치(100)의 역할을 수행할 수 있다. 사용자가 휴대용 단말기를 소지하여 차량(10)에 인접한 경우 카메라(20)는 휴대용 단말기와 통신 채널을 구성하고 영상을 송신할 수 있다. 이에, 휴대용 단말기는 수신된 영상을 분석하여 경보 제공 기능을 수행할 수 있다.
도 6은 본 발명의 실시예에 따른 카메라에 의하여 차량에 구비된 광원의 광이 감지되는 것을 나타낸 도면이다.
본 발명의 실시예에 따른 차량(10)은 버스일 수 있으며, 카메라(20)는 출입구의 주변에 설치될 수 있다. 도 6은 출입구의 상측에 카메라(20)가 설치된 것을 도시하고 있다.
카메라(20)는 출입구에서 출입하는 이동체를 촬영하여 생성된 영상을 차량용 주변 감시 장치(100)로 제공할 수 있다. 이에, 차량용 주변 감시 장치(100)는 전달된 영상을 분석하여 출입구에 이동체가 존재하는지 여부를 판단하고, 이동체가 존재하는 것으로 판단되는 경우 운전자에게 경보를 제공할 수 있다. 경보를 제공받은 운전자는 운행을 중단하고 안전 조치를 취할 수 있게 된다.
한편, 카메라(20)에 의한 촬영 범위에 차량(10)의 방향 지시등과 같은 점멸 광원(40)이 포함될 수 있다. 점멸 광원(40)에 의하여 형성되는 광은 점멸 광으로서, 점멸 광원(40)은 주기적으로 광의 점등과 소등을 반복한다. 예를 들어, 점멸 광원(40)은 분당 약 90회 광의 점등 및 소등을 반복하여 점멸 패턴을 형성할 수 있다. 특히, 야간에는 주위 환경이 어둡기 때문에 배경에 대한 점멸 광원(40)에 의한 광의 이미지가 주간에 비하여 뚜렷하게 나타난다. 이에, 본 발명과 같이 영상 분석을 통하여 차량 주변의 움직임을 감지하는 경우 점멸 광에 대한 이미지가 사람 등의 움직임으로 오인식될 가능성이 있다.
점멸 광원(40)이 카메라(20)에 의하여 촬영됨에 따라, 해당 영상에 대한 영상 프레임은 점멸 광원(40)의 점멸 광에 대한 이미지를 포함할 수 있는데, 이는 도 7에 도시된 것과 같다. 즉, 영상 프레임(300)에 포함된 점멸 광 이미지(310)의 크기는 적어도 일부 영상 프레임에서 서로 상이할 수 있는 것이다. 특히, 점멸 광원(40)의 점등과 소등이 전환되는 구간에서는 영상 프레임간 점멸 광 이미지의 크기가 크게 변화하게 된다.
도 8은 본 발명의 실시예에 따른 차량용 주변 감시 장치에 의하여 감지되는 점멸 광의 점멸 패턴을 나타낸 도면으로서, 도 8은 점멸 광의 휘도를 나타낸 그래프(410)와 영상 프레임별 점멸 광 이미지의 크기를 나타낸 그래프(420)를 도시하고 있다.
도시된 바와 같이, 점등과 소등의 전환 구간에서 차량용 주변 감시 장치(100)에 의하여 인식되는 광의 크기 변화는 점등이 유지되거나 소등이 유지되는 구간에 비하여 크게 형성된다.
이와 같이, 인접한 영상 프레임에 포함된 광의 크기가 상이한 경우 점멸 광 이미지는 이동체인 것으로 인식될 수 있다. 즉, 영상 프레임간의 차이가 있기 때문에 해당 점멸 광 이미지가 포함된 영역이 이동체가 존재하는 영역으로 인식될 수 있는 것이다. 점멸 광 이미지가 이동체인 것으로 인식되는 경우 이동체가 없음에도 불구하고 차량용 주변 감시 장치(100)는 경보를 제공할 수 있다.
이에, 본 발명의 실시예에 따른 차량용 주변 감시 장치(100)는 영상 프레임의 영상 영역 중 점멸 광 이미지가 포함된 영역을 비감시 영역으로 설정하고, 비감시 영역을 제외한 감시 영역에 대해서만 이동체 감시를 수행할 수 있다.
도 9는 본 발명의 실시예에 따른 감시 영역 및 비감시 영역을 나타낸 도면이다.
도 9에 도시된 바와 같이, 영상 프레임(300)의 전체 영역 중 점멸 광 이미지(310)에 대응하는 영역은 비감시 영역(320)으로 설정될 수 있다. 그리고, 차량용 주변 감시 장치(100)는 비감시 영역(320)을 제외한 나머지 영역 즉, 감시 영역(330)에 대해서만 이동체 감시를 수행할 수 있다. 이에 따라, 점멸 광에 의한 경보 제공 오류의 발생이 방지될 수 있게 된다. 도 9는 비감시 영역(320)의 형태가 사각형인 것을 도시하고 있으나, 본 발명의 몇몇 실시예에 따르면 비감시 영역의 형태는 점멸 광 이미지의 형태에 대응하는 다각형이거나, 사용자에 의하여 설정된 별도의 형태일 수도 있다.
한편, 영상 프레임(300)에 포함된 점멸 광 이미지의 크기를 정의하는 것은 용이하지 않다. 즉, 도 10에 도시된 바와 같이 점멸 광 이미지(310)는 중심이 가장 큰 휘도를 갖고 가장자리로 퍼져나갈수록 휘도가 감소되는 형태를 가질 수 있는 것으로서, 그 경계가 명확하지 않은 것이다.
또한, 영상 프레임에 점멸 광 이미지가 포함되었는지 여부를 확인하는 것도 용이하지 않다. 영상 프레임간에 차이가 존재하는 것만으로 그러한 차이가 이동체에 의한 것인지 점멸 광에 의한 것인지 단정 지을 수 없는 것이다.
이에, 본 발명의 실시예에 따른 차량용 주변 감시 장치(100)는 카메라(20)로부터 수신된 영상 프레임을 분석하여 점멸 광 이미지가 존재하는지 확인하고, 점멸 광 이미지가 존재하는 경우 그 크기를 확인하여 비감시 영역을 설정할 수 있다.
이하, 차량용 주변 감시 장치(100)에 대하여 자세히 설명하기로 한다.
도 11은 본 발명의 실시예에 따른 차량용 주변 감시 장치를 나타낸 블록도이다.
도 11을 참조하면, 차량용 주변 감시 장치(100)는 입력부(110), 누적 영상 생성부(120), 차영상 생성부(130), 저장부(140), 제어부(150), 영역 판단부(160), 영상 분석부(170) 및 출력부(180)를 포함하여 구성될 수 있다.
입력부(110)는 카메라(20)로부터 영상 프레임을 입력 받는 역할을 수행한다. 이를 위하여, 입력부(110)와 카메라(20)간에는 유선 또는 무선 통신 채널이 구성될 수 있다. 전술한 바와 같이, 차량(10)에는 적어도 하나의 카메라(20)가 구비될 수 있는데, 입력부(110)는 각 카메라(20)별로 통신 채널을 구성할 수 있다.
누적 영상 생성부(120)는 입력부(110)로 입력된 영상 프레임 중 사전에 설정된 기준 개수의 영상 프레임으로 구성된 영상 프레임 그룹을 서로 다른 개수로 누적하여 배경 영상, 제 1 전경 영상 및 제 2 전경 영상을 생성하는 역할을 수행한다.
입력부(110)는 카메라(20)로부터 지속적으로 영상 프레임을 입력 받을 수 있고, 입력된 영상 프레임을 누적 영상 생성부(120)로 전달할 수 있다. 그리고, 누적 영상 생성부(120)는 특정 개수만큼 영상 프레임이 전달된 경우 이를 누적하여 누적 영상을 생성할 수 있다.
도 12에 도시된 바와 같이, 누적 영상 생성부(120)는 복수의 영상 프레임(300)을 누적하여 하나의 누적 영상(500)을 생성할 수 있다. 도 12는 N개의 영상 프레임(300)에 대한 누적 영상(500)이 생성된 것을 도시하고 있다.
복수의 영상 프레임(300) 각각에 포함된 대응하는 위치의 화소값을 모두 합산하고, 합산된 화소값을 영상 프레임의 개수로 나누어줌으로써 누적 영상(500)이 생성될 수 있다. 누적 영상(500)에는 전술한 배경 영상, 제 1 전경 영상 및 제 2 전경 영상이 포함될 수 있다. 누적 영상 생성부(120)는 기준 개수의 영상 프레임을 서로 다른 개수로 누적하여 배경 영상, 제 1 전경 영상 및 제 2 전경 영상을 생성할 수 있다.
여기서, 기준 개수는 사전에 설정된 것일 수 있다. 예를 들어, 기준 개수는 30일 수 있는 것으로서, 이러한 경우 누적 영상 생성부(120)는 30개의 영상 프레임을 이용하여 배경 영상, 제 1 전경 영상 및 제 2 전경 영상을 생성할 수 있다.
누적 영상 생성부(120)는 입력부(110)로부터 전달된 기준 개수의 영상 프레임을 모두 누적하여 배경 영상을 생성하고, 기준 개수의 영상 프레임 중 제 1 개수의 영상 프레임을 누적하여 제 1 전경 영상을 생성하며, 기준 개수의 영상 프레임 중 제 2 개수의 영상 프레임을 누적하여 제 2 전경 영상을 생성할 수 있다. 기준 개수와 마찬가지로, 제 1 개수 및 제 2 개수도 사전에 설정된 것일 수 있다.
배경 영상은 기준 개수의 영상 프레임 전반에 걸친 평균 화소값을 갖는 영상으로서, 기준 개수의 영상 프레임에 포함된 특징을 구별하기 위한 기본 영상의 역할을 수행한다.
제 1 전경 영상은 제 1 개수의 영상 프레임이 누적되어 생성되고, 제 2 전경 영상은 제 2 개수의 영상 프레임이 누적되어 생성될 수 있다. 여기서, 제 1 개수는 제 2 개수보다 클 수 있다. 즉, 제 1 전경 영상은 제 2 전경 영상에 비하여 보다 많은 영상 프레임이 누적되어 생성된 것이다.
도 13은 본 발명의 실시예에 따른 배경 영상 및 전경 영상의 기초가 되는 영상 프레임을 나타낸 도면이다.
도 13은 N개의 영상 프레임(300)을 도시하고 있다. 여기서, N개는 기본 개수일 수 있다. N개의 영상 프레임이 누적되어 배경 영상이 생성되고, N1개의 영상 프레임이 누적되어 제 1 전경 영상이 생성되며, N2개의 영상 프레임이 누적되어 제 2 전경 영상이 생성될 수 있다.
도 13은 현재 시점에서 가장 먼 시점에서부터 누적되어 전경 영상이 생성된 것을 도시하고 있다. 도시된 바와 같이, n시점이 현재 시점이고, n-1 시점이 이전 시점이라고 할 때, 제 1 전경 영상 및 제 2 전경 영상의 대상이 되는 영상 프레임은 기준 개수의 영상 프레임 중 현재 시점에서 가장 먼 시점에서부터 진행된 영상 프레임일 수 있는 것이다.
그러나, 본 발명의 전경 영상이 이에 한정되는 것은 아니며 전경 영상을 구성하는 영상 프레임의 위치는 기준 개수의 영상 프레임 내에서 자유롭게 선택될 수 있다. 또한, 제 1 전경 영상을 구성하는 복수의 영상 프레임과 제 2 전경 영상을 구성하는 복수의 영상 프레임은 그 일부가 동일할 수 있고, 완전히 상이할 수도 있다.
다만, 전경 영상을 구성하는 복수의 영상 프레임은 서로 인접하여 그룹을 구성하는 것이 바람직하다. 또한, 제 1 전경 영상과 제 2 전경 영상간의 구별을 뚜렷하게 하기 위하여 제 1 개수와 제 2 개수의 차이는 큰 것이 바람직하다. 예를 들어, 제 1 개수와 제 2 개수의 차이는 기준 개수의 절반 이상일 수 있다.
다시 도 11을 설명하면, 차영상 생성부(130)는 제 1 전경 영상 및 제 2 전경 영상에서 각각 배경 영상을 차감하여 제 1 차영상 및 제 2 차영상을 생성하는 역할을 수행한다.
도 14 및 도 15는 본 발명의 실시예에 따른 차영상을 나타낸 도면으로서, 도 14는 제 1 차영상(610)을 나타낸 도면이고, 도 15는 제 2 차영상(620)을 나타낸 도면이다.
차영상은 전경 영상과 배경 영상간의 차이가 반영된 영상이다. 따라서, 전경 영상과 배경 영상 중 유사한 부분은 제거되고 차이가 존재하는 부분만으로 차영상이 생성될 수 있다.
점멸 광 이미지가 존재하는 경우 도 14에 도시된 바와 같이 제 1 차영상(610)에 포함된 점멸 광 이미지(611)는 작게 표시되고, 도 15에 도시된 바와 같이 제 2 차영상(620)에 포함된 점멸 광 이미지(621)는 크게 표시될 수 있다.
점멸 광 이미지가 존재하는 경우 복수의 영상 프레임에 걸쳐 점멸 광 이미지가 표시된다. 이 때, 점멸 광 이미지는 영상 영역의 동일한 위치에 표시된다. 즉, 복수의 영상 프레임에 표시된 점멸 광 이미지는 동일한 중심을 갖고 그 크기만이 변경되어 표시될 수 있는 것이다.
제 1 차영상(610)은 제 1 전경 영상과 배경 영상간의 차이가 반영된 영상이다. 여기서, 제 1 전경 영상은 제 1 개수의 영상 프레임이 누적되어 생성된 누적 영상으로서, 제 1 개수는 제 2 개수에 비하여 기준 개수와 유사하다. 유사한 개수의 영상 프레임이 누적된 2개의 누적 영상간의 차이에 대응하는 객체가 영상 영역의 특정 부분에서 뚜렷하게 나타났다는 것은 해당 객체가 점멸 광 이미지일 가능성이 큰 것을 의미한다. 이에, 제 1 차영상(610)에 포함된 객체의 선명도 및 크기가 참조되어 점멸 광 이미지의 존재 여부 즉, 비감시 영역의 존재 여부가 판단될 수 있다.
제 2 차영상(620)은 제 2 전경 영상과 배경 영상간의 차이가 반영된 영상이다. 여기서, 제 2 전경 영상은 제 2 개수의 영상 프레임이 누적되어 생성된 누적 영상으로서, 제 2 개수는 제 1 개수에 비하여 기준 개수와 차이가 크다. 제 2 개수의 영상 프레임에 점멸 광 이미지의 최대 크기가 포함되고, 이러한 영상 프레임이 누적되어 제 2 전경 영상이 생성된 경우 제 2 전경 영상은 최대 크기의 점멸 광 이미지에 대한 특징을 포함할 수 있다. 이에, 제 2 전경 영상에서 배경 영상을 차감하여 제 2 차영상(620)을 생성하는 경우, 제 2 차영상(620)에는 최대 크기의 점멸 광 이미지가 표시될 수 있다. 이에, 제 2 차영상(620)에 포함된 객체의 크기가 참조되어 점멸 광 이미지의 크기 즉, 비감시 영역의 크기가 판단될 수 있다.
다시 도 11을 설명하면, 영역 판단부(160)는 제 1 차영상(610) 및 제 2 차영상(620)을 참조하여 영상 프레임에 비감시 영역이 존재하는지 여부 및 비감시 영역의 크기를 판단할 수 있다. 여기서, 비감시 영역은 점멸 광 이미지가 포함된 영역을 포함한다. 그러나, 본 발명의 비감시 영역은 점멸 광 이미지가 포함된 영역에 한정되지 않으며, 다양한 조건에 의하여 비감시 영역이 설정될 수 있다. 예를 들어, 사용자가 설정된 특정 영역이 비감시 영역으로 설정될 수 있다. 이하, 비감시 영역은 점멸 광 이미지가 포함된 영역인 것을 위주로 설명하기로 한다.
영역 판단부(160)는 제 1 전경 영상 및 제 2 전경 영상 중 보다 많은 영상 프레임의 누적 개수를 갖는 전경 영상의 차영상을 이용하여 비감시 영역의 존재 여부를 판단할 수 있다. 제 1 전경 영상에 포함된 영상 프레임의 누적 개수가 제 2 전경 영상에 포함된 영상 프레임의 누적 개수보다 많기 때문에 영역 판단부(160)는 제 1 전경 영상의 차영상인 제 1 차영상(610)을 이용하여 비감시 영역의 존재 여부를 판단할 수 있다.
제 1 차영상(610)에 포함된 객체의 형상이 뚜렷하고, 그 크기가 충분한 경우 영역 판단부(160)는 영상 프레임에 비감시 영역이 존재하는 것으로 판단할 수 있다.
또한, 영역 판단부(160)는 제 1 전경 영상 및 제 2 전경 영상 중 보다 적은 영상 프레임의 누적 개수를 갖는 전경 영상의 차영상을 이용하여 비감시 영역의 크기를 판단할 수 있다. 제 2 전경 영상에 포함된 영상 프레임의 누적 개수가 제 1 전경 영상에 포함된 영상 프레임의 누적 개수보다 적기 때문에 영역 판단부(160)는 제 2 전경 영상의 차영상인 제 2 차영상(620)을 이용하여 비감시 영역의 크기를 판단할 수 있다.
비감시 영역의 존재 여부 판단 및 크기 판단은 동시에 수행될 수 있고, 순차적으로 수행될 수도 있다. 예를 들어, 비감시 영역의 존재 여부 판단이 수행된 이후에 비감시 영역의 크기 판단이 수행될 수 있다. 비감시 영역이 존재하지 않는 것으로 판단되는 경우 영역 판단부(160)는 비감시 영역의 크기 판단을 수행하지 않을 수 있다.
영상 분석부(170)는 영상 프레임을 분석하여, 영상 프레임에 이동체가 존재하는지 여부를 판단하는 역할을 수행한다. 특히, 영상 분석부(170)는 영상 프레임의 영상 영역 중 비감시 영역을 제외한 감시 영역을 분석하여 영상 프레임에 이동체가 존재하는지 여부를 판단할 수 있다. 즉, 영상 분석부(170)는 비감시 영역에 대해서는 이동체의 존재 여부를 판단하지 않고 감시 영역에 대해서만 이동체의 존재 여부를 판단하는 것이다.
영상 분석부(170)는 인접한 영상 프레임간의 차이를 이용하여 이동체의 존재 여부를 판단할 수 있다. 즉, 기준 개수의 영상 프레임 중에서 인접한 영상 프레임간의 차이가 사전에 설정된 임계치를 초과하는 것이 있는 경우 영상 분석부(170)는 이동체가 존재하는 것으로 판단할 수 있다. 영상 프레임간 차이를 이용한 이동체의 존재 여부 판단에 대해서는 도 5를 통하여 전술하였으므로, 자세한 설명은 생략하기로 한다.
다만, 영상 프레임간의 차이가 존재하는 부분이 비감시 영역인 경우 영상 분석부(170)는 해당 영역에 대해서는 이동체의 존재 여부를 판단하는데 이용하지 않을 수 있다. 즉, 영상 분석부(170)는 감시 영역에서의 차이만을 이용하여 이동체의 존재 여부를 판단하는 것이다.
또한, 영상 분석부(170)는 서로 다른 영상 프레임 그룹에 대하여 사전에 설정된 회수만큼 비감시 영역이 존재하는 것으로 판단되는 경우, 이동체의 존재 여부를 판단함에 있어서 영상 영역에서 비감시 영역을 제외할 수 있다.
영역 판단부(160)에 의하여 비감시 영역이 존재하는 것으로 판단될 수 있으나, 이는 일시적인 오류에 의한 것일 수 있다. 예를 들어, 영상 프레임에 노이즈가 반영된 경우 비감시 영역이 존재하지 않음에도 불구하고 영역 판단부(160)는 비감시 영역이 존재하는 것으로 판단할 수 있는 것이다.
이에, 영상 분석부(170)는 영역 판단부(160)가 수 차례 반복하여 비감시 영역이 존재하는 것으로 판단하는 경우 영상 영역에 비감시 영역을 적용할 수 있다. 영역 판단부(160)는 하나의 영상 프레임 그룹에 대하여 한번의 비감시 영역의 존재 여부를 판단한다. 이에, 서로 연결된 복수의 영상 프레임 그룹에 대하여 영역 판단부(160)가 지속적으로 비감시 영역이 존재하는 것으로 판단한 경우 영상 분석부(170)는 영상 영역에서 비감시 영역을 제외하고 감시 영역에 대해서만 이동체 존재 여부를 판단할 수 있다.
저장부(140)는 입력부(110)를 통하여 입력된 영상을 임시적으로 또는 영구적으로 저장하는 역할을 수행한다. 또한, 저장부(140)는 입력부(110)를 통하여 입력된 다양한 정보 및 차량용 주변 감시 장치(100)의 내부에서 전달되는 각종 데이터를 임시적으로 또는 영구적으로 저장할 수도 있다.
운전석의 주변에 구비된 출력부(180)는 영상 분석부(170)에 의하여 판단된 결과에 따라 경보를 영상으로 출력하는 역할을 수행한다. 즉, 출력부(180)는 이동체가 존재하는 경우 경보를 출력하고, 이동체가 존재하지 않는 경우 경보를 출력하지 않을 수 있다.
영상과 같은 시각적 방식뿐만 아니라 출력부(180)는 청각적 방식 또는 촉각적 방식으로 경보를 출력할 수 있다. 이를 위하여, 출력부(180)는 영상 출력 수단(미도시), 음성 출력 수단(미도시) 및 진동 출력 수단(미도시)을 포함할 수 있으며, 각 출력 수단을 통하여 경보를 출력할 수 있다.
예를 들어, 출력부(180)는 특정 카메라(20)에 의하여 생성된 영상 프레임에 이동체가 존재함을 출력할 수 있다. 이 때, 출력부(180)는 해당 카메라(20)의 식별 정보를 출력할 수 있다. 카메라(20)는 자신의 식별 정보를 포함시켜 영상을 생성할 수 있는데, 출력부(180)는 영상에 포함된 식별 정보를 이용하여 이동체를 감지한 카메라(20)의 식별 정보를 출력할 수 있는 것이다. 또한, 영상 출력 수단을 포함하는 경우 출력부(180)는 해당 카메라(20)에 의하여 촬영된 영상을 출력할 수도 있다.
경보를 제공 받음에 따라 사용자는 적절한 조치를 취할 수 있게 된다. 예를 들어, 사용자가 운전자인 경우 운행을 중단하고, 안전 조치를 취할 수 있다.
제어부(150)는 입력부(110), 누적 영상 생성부(120), 차영상 생성부(130), 저장부(140), 영역 판단부(160), 영상 분석부(170) 및 출력부(180)에 대한 전반적인 제어를 수행한다.
도 16은 본 발명의 실시예에 따른 차량용 주변 감시 방법을 나타낸 흐름도이다.
주변 감시를 수행하기 위하여, 입력부(110)는 카메라(20)로부터 영상 프레임을 입력 받는다(S710).
입력된 영상은 누적 영상 생성부(120)로 전달되고, 누적 영상 생성부(120)는 누적 영상을 생성한다(S720). 본 발명에서 누적 영상은 배경 영상, 제 1 전경 영상 및 제 2 전경 영상을 포함한다. 누적 영상 생성부(120)는 입력된 영상 프레임 중 사전에 설정된 기준 개수의 영상 프레임을 서로 다른 개수로 누적하여 배경 영상, 제 1 전경 영상 및 제 2 전경 영상을 생성할 수 있다.
배경 영상, 제 1 전경 영사 및 제 2 전경 영상은 차영상 생성부(130)로 전달되고, 차영상 생성부(130)는 제 1 전경 영상 및 제 2 전경 영상에서 각각 배경 영상을 차감하여 제 1 차영상(610) 및 제 2 차영상(620)을 생성한다(S730).
차영상이 생성됨에 따라 영역 판단부(160)는 제 1 차영상(610)을 참조하여 영상 프레임에 비감시 영역이 존재하는지를 판단한다(S740). 그리하여, 영상 프레임에 비감시 영역이 존재하는 것으로 판단되는 경우 영역 판단부(160)는 비감시 영역의 크기를 판단한다(S750).
영상 분석부(170)는 영상 프레임을 분석하여 이동체가 존재하는지 여부를 판단할 수 있다(S760). 이 때, 영상 분석부(170)는 영상 프레임의 영상 영역 중 비감시 영역을 제외한 감시 영역을 분석하여 영상 프레임에 이동체가 존재하는지 여부를 판단할 수 있다. 즉, 영상 분석부(170)는 영상 영역 중 영역 판단부(160)에 의하여 판단된 비감시 영역의 크기만큼을 제외하고, 나머지 영역인 감시 영역에 대해서만 이동체의 존재 여부를 판단하는 것이다.
한편, 영역 판단부(160)에 의한 판단 결과에 따라 비감시 영역이 존재하지 않은 것으로 판단되는 경우 영상 분석부(170)는 영상 영역 전체에 대하여 이동체의 존재 여부를 판단할 수 있다.
영상 분석부(170)의 판단 결과에 따라 이동체가 존재하는 것으로 판단되는 경우 출력부(180)는 영상으로 경보를 출력한다(S770). 출력부(180)에 의한 경보 출력 방식은 영상에 한정되지 않으며, 청각적 방식 또는 촉각적 방식으로 경보가 출력될 수도 있다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
110: 입력부
120: 누적 영상 생성부
130: 차영상 생성부
140: 저장부
150: 제어부
160: 영역 판단부
170: 영상 분석부
180: 출력부

Claims (12)

  1. 카메라로부터 영상 프레임을 입력 받는 입력부;
    상기 입력된 영상 프레임 중 사전에 설정된 기준 개수의 영상 프레임으로 구성된 영상 프레임 그룹을 서로 다른 개수로 누적하여 배경 영상, 제 1 전경 영상 및 제 2 전경 영상을 생성하는 누적 영상 생성부;
    상기 제 1 전경 영상 및 상기 제 2 전경 영상에서 각각 상기 배경 영상을 차감하여 제 1 차영상 및 제 2 차영상을 생성하는 차영상 생성부;
    상기 제 1 차영상 및 상기 제 2 차영상을 참조하여 상기 영상 프레임에 비감시 영역이 존재하는지 여부 및 상기 비감시 영역의 크기를 판단하는 영역 판단부;
    상기 영상 프레임의 영상 영역 중 상기 비감시 영역을 제외한 감시 영역을 분석하여 상기 영상 프레임에 이동체가 존재하는지 여부를 판단하는 영상 분석부; 및
    상기 판단 결과에 따른 경보를 영상으로 출력하는 출력부를 포함하되,
    상기 비감시 영역은 점멸 광 이미지가 포함된 영역을 포함하는 차량용 주변 감시 장치.
  2. 제 1항에 있어서,
    상기 누적 영상 생성부는 상기 기준 개수의 영상 프레임을 누적하여 배경 영상을 생성하고,
    상기 기준 개수의 영상 프레임 중 제 1 개수의 영상 프레임을 누적하여 상기 제 1 전경 영상을 생성하며,
    상기 기준 개수의 영상 프레임 중 제 2 개수의 영상 프레임을 누적하여 상기 제 2 전경 영상을 생성하는 차량용 주변 감시 장치.
  3. 제 1항에 있어서,
    상기 영역 판단부는 상기 제 1 전경 영상 및 상기 제 2 전경 영상 중 보다 많은 영상 프레임의 누적 개수를 갖는 전경 영상의 차영상을 이용하여 상기 비감시 영역의 존재 여부를 판단하는 차량용 주변 감시 장치.
  4. 제 1항에 있어서,
    상기 영역 판단부는 상기 제 1 전경 영상 및 상기 제 2 전경 영상 중 보다 적은 영상 프레임의 누적 개수를 갖는 전경 영상의 차영상을 이용하여 상기 비감시 영역의 크기를 판단하는 차량용 주변 감시 장치.
  5. 제 1항에 있어서,
    상기 영상 분석부는 인접한 영상 프레임간의 차이를 이용하여 상기 이동체가 존재하는지 여부를 판단하는 차량용 주변 감시 장치.
  6. 제 1항에 있어서,
    상기 영상 분석부는 서로 다른 영상 프레임 그룹에 대하여 사전에 설정된 회수만큼 상기 비감시 영역이 존재하는 것으로 판단되는 경우, 상기 이동체의 존재 여부를 판단함에 있어서 상기 영상 영역에서 상기 비감시 영역을 제외하는 차량용 주변 감시 장치.
  7. 카메라로부터 영상 프레임을 입력 받는 단계;
    상기 입력된 영상 프레임 중 사전에 설정된 기준 개수의 영상 프레임으로 구성된 영상 프레임 그룹을 서로 다른 개수로 누적하여 배경 영상, 제 1 전경 영상 및 제 2 전경 영상을 생성하는 단계;
    상기 제 1 전경 영상 및 상기 제 2 전경 영상에서 각각 상기 배경 영상을 차감하여 제 1 차영상 및 제 2 차영상을 생성하는 단계;
    상기 제 1 차영상 및 상기 제 2 차영상을 참조하여 상기 영상 프레임에 비감시 영역이 존재하는지 여부 및 상기 비감시 영역의 크기를 판단하는 단계;
    상기 영상 프레임의 영상 영역 중 상기 비감시 영역을 제외한 감시 영역을 분석하여 상기 영상 프레임에 이동체가 존재하는지 여부를 판단하는 단계; 및
    상기 판단 결과에 따른 경보를 영상으로 출력하는 단계를 포함하되,
    상기 비감시 영역은 점멸 광 이미지가 포함된 영역을 포함하는 차량용 주변 감시 방법.
  8. 제 7항에 있어서,
    상기 배경 영상, 제 1 전경 영상 및 제 2 전경 영상을 생성하는 단계는 상기 기준 개수의 영상 프레임을 누적하여 배경 영상을 생성하고,
    상기 기준 개수의 영상 프레임 중 제 1 개수의 영상 프레임을 누적하여 상기 제 1 전경 영상을 생성하며,
    상기 기준 개수의 영상 프레임 중 제 2 개수의 영상 프레임을 누적하여 상기 제 2 전경 영상을 생성하는 단계를 포함하는 차량용 주변 감시 방법.
  9. 제 7항에 있어서,
    상기 비감시 영역이 존재하는지 여부를 판단하는 단계는 상기 제 1 전경 영상 및 상기 제 2 전경 영상 중 보다 많은 영상 프레임의 누적 개수를 갖는 전경 영상의 차영상을 이용하여 상기 비감시 영역이 존재하는지 여부를 판단하는 단계를 포함하는 차량용 주변 감시 방법.
  10. 제 7항에 있어서,
    상기 비감시 영역이 존재하는지 여부를 판단하는 단계는 상기 제 1 전경 영상 및 상기 제 2 전경 영상 중 보다 적은 영상 프레임의 누적 개수를 갖는 전경 영상의 차영상을 이용하여 상기 비감시 영역이 존재하는지 여부를 판단하는 단계를 포함하는 차량용 주변 감시 방법.
  11. 제 7항에 있어서,
    상기 이동체가 존재하는지 여부를 판단하는 단계는 상기 기준 개수의 영상 프레임 각각에서 상기 배경 영상을 차감한 차영상을 이용하여 상기 이동체가 존재하는지 여부를 판단하는 단계를 포함하는 차량용 주변 감시 방법.
  12. 제 7항에 있어서,
    상기 이동체가 존재하는지 여부를 판단하는 단계는 서로 다른 영상 프레임 그룹에 대하여 사전에 설정된 회수만큼 상기 비감시 영역이 존재하는지 판단하는 단계; 및
    상기 사전에 설정된 회수만큼 상기 비감시 영역이 존재하는 것으로 판단된 경우 상기 이동체의 존재 여부를 판단함에 있어서 상기 영상 영역에서 상기 비감시 영역을 제외하는 단계를 포함하는 차량용 주변 감시 방법.
KR1020150185288A 2015-12-23 2015-12-23 차량용 주변 감시 장치 및 방법 KR20170075523A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150185288A KR20170075523A (ko) 2015-12-23 2015-12-23 차량용 주변 감시 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150185288A KR20170075523A (ko) 2015-12-23 2015-12-23 차량용 주변 감시 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20170075523A true KR20170075523A (ko) 2017-07-03

Family

ID=59357926

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150185288A KR20170075523A (ko) 2015-12-23 2015-12-23 차량용 주변 감시 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20170075523A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528794A (zh) * 2020-12-03 2021-03-19 北京百度网讯科技有限公司 信号灯的故障识别方法、装置及路侧设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528794A (zh) * 2020-12-03 2021-03-19 北京百度网讯科技有限公司 信号灯的故障识别方法、装置及路侧设备

Similar Documents

Publication Publication Date Title
CN109691079B (zh) 成像装置和电子设备
US10528825B2 (en) Information processing device, approaching object notification method, and program
JP3201518U (ja) イメージセンサ視野内の障害物を検出するためのシステム
EP3239945A1 (en) Vehicle safety system
JP5437855B2 (ja) 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法
KR101751362B1 (ko) 야간 카메라 영상 저장 장치 및 그 영상 저장 방법
KR101723401B1 (ko) 야간 카메라 영상 저장 장치 및 그 영상 저장 방법
US10671868B2 (en) Vehicular vision system using smart eye glasses
KR101729486B1 (ko) Avm 시스템에서의 사각 지대 감시 방법 및 그 avm 시스템
US11710291B2 (en) Image recognition device and image recognition method
WO2016143306A1 (ja) 警告装置、警告方法及び警告プログラム
JP2009157492A (ja) 車両検出装置、車両検出システム及び車両検出方法
JP2022551243A (ja) 走行支援装置、方法、車両及び記憶媒体
US20230254456A1 (en) Monitoring camera, camera parameter determining method and storage medium
KR102069735B1 (ko) 차량용 모니터링 방법 및 장치
KR20170075523A (ko) 차량용 주변 감시 장치 및 방법
JP5587068B2 (ja) 運転支援装置及び方法
EP3226554B1 (en) Imaging device and vehicle
KR20170075510A (ko) 차량용 주변 감시 장치 및 방법
WO2015098107A1 (ja) 画像処理装置、警報装置、および画像処理方法
JP6299630B2 (ja) 警告装置、警告方法及び警告プログラム
KR20170075513A (ko) 차량용 주변 감시 장치 및 방법
JP2007253781A (ja) 車載表示システム
KR102643152B1 (ko) 스마트 어라운드 뷰 모니터 영상 처리 장치
KR101797696B1 (ko) 스마트 폰 기반 차량 번호판 인식 시스템 및 방법