KR102644146B1 - 차량의 운행정보를 반영한 영상 관제 기능을 갖는 avm 시스템 및 그 방법 - Google Patents

차량의 운행정보를 반영한 영상 관제 기능을 갖는 avm 시스템 및 그 방법 Download PDF

Info

Publication number
KR102644146B1
KR102644146B1 KR1020230083590A KR20230083590A KR102644146B1 KR 102644146 B1 KR102644146 B1 KR 102644146B1 KR 1020230083590 A KR1020230083590 A KR 1020230083590A KR 20230083590 A KR20230083590 A KR 20230083590A KR 102644146 B1 KR102644146 B1 KR 102644146B1
Authority
KR
South Korea
Prior art keywords
avm
vehicle
image
video
information
Prior art date
Application number
KR1020230083590A
Other languages
English (en)
Inventor
손승서
Original Assignee
주식회사 에이스뷰
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이스뷰 filed Critical 주식회사 에이스뷰
Priority to KR1020230083590A priority Critical patent/KR102644146B1/ko
Application granted granted Critical
Publication of KR102644146B1 publication Critical patent/KR102644146B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은, 차량용 AVM(Around View Monitoring) 시스템에 있어서, 차량에 설치되며 상기 차량 주변의 실시간 영상을 수집하여 실시간 AVM 영상을 생성 및 표출하되, 상기 차량의 운행 또는 정차시 발생하는 이벤트별로 미리 설정된 영상표시정보에 의거하여 상기 실시간 AVM 영상의 표시화면을 자동 전환하는 적어도 하나의 차량용 AVM 장치; 및 상기 차량용 AVM 장치들과 통신망으로 연결되어 상기 차량용 AVM 장치들 각각으로부터 대응된 차량의 위치정보 및 상기 실시간 AVM 영상을 수집하고, 상기 수집 정보에 의거하여 대응된 차량들 각각의 운행정보를 분석/관리하는 영상관제서버를 포함함으로써, 차량들 각각의 운행정보를 반영하여 적어도 하나의 차량용 AVM 장치들 각각에서 생성한 AVM 영상을 영상관제서버로 전달함으로써, 차량의 운행정보를 반영한 AVM 영상을 원격지에서 모니터링하고 통합관제할 수 있고, 이로 인해, 사고상황 또는 위급상황 발생시 보다 신속하고 정확한 대처가 가능한 장점이 있다.

Description

차량의 운행정보를 반영한 영상 관제 기능을 갖는 AVM 시스템 및 그 방법{APPARATUS AND METHOD FOR REALTIME AROUND VIEW MONITORING REFLECTING VEHICLE DRIVING INFORMATION}
본 발명은 AVM(Around View Monitoring) 시스템에 관한 것이다.
AVM은 자동차 주행 중 주변 상황을 모니터링하기 위한 기술로서, 소정개의 카메라를 통해 수집된 영상을 취합하여 차량 주변의 영상을 제공한다. 이를 위해, AVM은, 통상적으로, 차량의 전방, 후방, 좌측, 우측에 설치된 4개의 카메라, 및 차량 내부에 설치된 디스플레이를 포함하고, 상기 카메라들을 통해 수집된 영상을 취합하여 360도 전방향의 영상을 생성한 후, 상기 디스플레이에 표시한다.
이로 인해, AVM은 운전자가 차량 주변 상황을 정확하게 파악할 수 있도록 함으로써, 주차 및 주행 중에 발생할 수 있는 사고 예방에 큰 도움을 줄 수 있다. 뿐만 아니라, 최근에는 자율주행 자동차에서도 이러한 AVM을 적극적으로 활용하고 있는 추세이다.
관련하여, 한국등록특허 제10-1366112호에는 차량용 AVM(Around View Monitoring) 시스템에 있어서, 상기 AVM 시스템을 구성하는 카메라들 중 일부의 카메라들로 구축된 제1 카메라 네트워크; 상기 AVM 시스템을 구성하는 카메라들 중 다른 일부의 카메라들로 구축된 제2 카메라 네트워크; 및 상기 제1 카메라 네트워크를 구성하는 카메라들에 의해 생성된 영상들로부터 제1 영상을 생성하고, 상기 제2 카메라 네트워크를 구성하는 카메라들에 의해 생성된 영상들로부터 제2 영상을 생성하는 프로세서;를 포함하고, 상기 제1 카메라 네트워크를 구성하는 카메라들과 상기 제2 카메라 네트워크를 구성하는 카메라들은, 차량의 진행 방향에 따라 자동으로 가변하되, 상기 제1 카메라 네트워크의 카메라 대수와 상기 제2 카메라 네트워크의 카메라 대수는 원래의 대수를 유지하는 것을 특징으로 하는 AVM 시스템이 개시되어 있다.
상기 특허에 의하면, 버스, 트럭과 같은 특수 차량에 일반 차량의 AVM 시스템 보다 많은 카메라를 설치하여 차량 특성에 따른 사각지대를 없애는 경우에도, 원활한 네트워킹이 가능하여 영상 지연이 발생하지 않게 되어, 사각지대와 영상 지연에 의한 사고 발생을 미연에 방지할 수 있는 장점이 있다.
하지만, 이러한 종래 기술은 차량의 운행정보를 고려한 AVM 영상 제공 서비스를 제공하지 않음으로써, 차량 운행상황(예컨대, 정차, 및 출발 등)이 수시로 변하고 불특정 다수의 승객이 승/하차하는 버스와 같이, 차량의 운행상황에 따라 운전자가 집중적으로 주시해야 할 영역이 가변하는 차량의 운전자에게 필요한 정보를 적절하게 제공할 수 없었고, 이로 인해 사고 예방이 제한적이었다.
즉, 종래에는 소정 개의 카메라를 이용하여 합성된 영상 전체를 차량 주변에 표시하거나, 상기 카메라들 각각이 수집한 영상 정보를 다수의 분할영역을 이용하여 일괄 표시함으로써, 운전자가 운행상황에 따라 전체 영상 중 집중적으로 주시해야 할 영역을 선택적으로 확인해야 하는데, 전자의 경우 기술적으로 사각지대가 존재하고, 후자의 경우 다수의 분할영역을 동시에 제공함으로써 인지력이 떨어져 오히려 사고 유발의 원인이 되는 문제가 있었다.
또한, 종래에는 차량의 운행정보를 반영한 AVM 영상을 원격지에서 모니터링하고 통합관제하기 위한 영상 관제 기능을 수행할 수 없었다.
한국등록특허 제10-1366112호
따라서 상기 문제를 해결하기 위해 본 발명에서는, 차량의 운행정보를 반영하여 안전운행을 위해 필요한 정보를 선별적으로 제공함으로써 운전자에게 필요한 정보를 적절하게 제공할 수 있고, 이로 인해, 운전자의 인지력을 향상시켜 사고를 효과적으로 예방할 수 있는 차량용 실시간 AVM 시스템 및 그 방법을 제공하고자 한다.
또한, 본 발명은, 차량의 운행 또는 정차시 발생 가능한 예측이벤트별로 영상표시정보를 미리 설정한 후 상기 영상표시정보에 의거하여 실제이벤트의 발생시마다 실시간 AVM 영상의 표시화면을 자동 전환함으로써 운전자가 집중적으로 주시해야 할 영역에 대한 정보를 자동으로 선택하여 표출할 수 있고, 이로 인해, 운전자의 착오로 인한 사고를 효과적으로 예방할 수 있는 차량용 실시간 AVM 시스템 및 그 방법을 제공하고자 한다.
또한, 본 발명은, 별도의 동작조건에 의해 추가적인 영상을 수집하는 적어도 하나의 추가카메라들을 구비하고 상기 추가카메라로부터 수집된 추가영상, 또는 상기 추가영상과의 합성영상을 우선적으로 표출함으로써 사고위험이 높은 역역에 대하여 감시를 강화할 수 있고, 이로 인해, 사고위험이 높은 특정조건에 의한 사고를 집중적으로 예방할 수 있는 차량용 실시간 AVM 시스템 및 그 방법을 제공하고자 한다.
또한, 본 발명은, 차량들 각각의 운행정보를 반영하여 적어도 하나의 차량용 AVM 장치들 각각에서 생성한 AVM 영상을 영상관제서버로 전달함으로써, 차량의 운행정보를 반영한 AVM 영상을 원격지에서 모니터링하고 통합관제할 수 있고, 이로 인해, 사고상황 또는 위급상황 발생시 보다 신속하고 정확한 대처가 가능한 차량용 실시간 AVM 시스템 및 그 방법을 제공하고자 한다.
상기 목적을 달성하기 위해, 본 발명에서 제공하는 AVM(Around View Monitoring) 시스템은, 차량에 설치되며 상기 차량 주변의 실시간 영상을 수집하여 실시간 AVM 영상을 생성 및 표출하되, 상기 차량의 운행 또는 정차시 발생하는 이벤트별로 미리 설정된 영상표시정보에 의거하여 상기 실시간 AVM 영상의 표시화면을 자동 전환하는 적어도 하나의 차량용 AVM 장치; 및 상기 차량용 AVM 장치들과 통신망으로 연결되어 상기 차량용 AVM 장치들 각각으로부터 대응된 차량의 위치정보 및 상기 실시간 AVM 영상을 수집하고, 상기 수집 정보에 의거하여 대응된 차량들 각각의 운행정보를 분석/관리하는 영상관제서버를 포함하는 것을 특징으로 한다.
바람직하게, 상기 차량용 AVM 장치는 차량의 운행 또는 정차시 발생할 것으로 예측되는 적어도 하나의 예측이벤트별로 미리 설정된 영상표시정보를 포함하는 AVM 동작정보를 저장하는 AVM 동작정보 저장부; 운행 또는 정차 중인 제1 차량 주변의 실시간 영상을 수집하는 영상수집부; 상기 제1 차량에서 발생한 실제이벤트에 응답하여, 상기 수집된 영상으로부터 실시간 AVM 영상을 생성하는 영상처리부; 및 상기 실시간 AVM 영상을 표시하는 디스플레이부를 포함하되, 상기 영상처리부는 상기 AVM 동작정보 저장부로부터 상기 실제이벤트에 대응한 영상표시정보를 검출하고, 그 영상표시정보에 의거하여 상기 실시간 AVM 영상을 생성할 수 있다.
바람직하게, 상기 영상표시정보는 상기 실시간 AVM 영상을 표시하기 위해 상기 예측이벤트별로 서로 다르게 설정된 상기 디스플레이부 화면의 분할정보; 및 상기 분할정보에 의거하여 분할된 분할화면들 각각에 표시되어야 할 영상을 매칭시킨 영상매칭정보를 포함할 수 있다.
바람직하게, 상기 AVM 동작정보는 상기 예측이벤트별로 구동되어야 할 적어도 하나의 AVM 카메라에 대한 정보를 매칭시킨 카메라 구동정보를 더 포함하고, 상기 영상수집부는 상기 AVM 동작정보 저장부로부터 상기 실제이벤트에 대응한 상기 카메라 구동정보를 검출하고, 그 카메라 구동정보에 의거하여 상기 AVM 카메라들을 구동시켜 상기 제1 차량 주변의 실시간 영상을 수집할 수 있다.
바람직하게, 상기 영상수집부는 미리 설정된 제1 동작조건을 만족하는 경우에만 선택적으로 동작하되, 상기 제1 차량의 우측 전방에 대한 실시간 추가영상인 제1 추가영상을 수집하는 제1 추가카메라를 더 포함하고, 상기 디스플레이부는 상기 제1 추가카메라의 동작에 응답하여, 미리 설정된 제1 추가영상표시정보에 의해 상기 제1 추가영상을 표시하도록 표시화면을 전환할 수 있다.
바람직하게, 상기 차량용 AVM 장치는 상기 제1 차량의 우측 전방에 위치하는 사물의 존재여부, 및 상기 사물의 이동방향을 감지하는 사물 감지부를 더 포함하고, 상기 사물 감지부는 상기 제1 차량의 우측 전방을 향해 접근하는 사물이 감지된 경우 상기 제1 추가 카메라를 동작시키기 위한 제1 추가이벤트를 생성할 수 있다.
바람직하게, 상기 차량용 AVM 장치는 미리 설정된 제2 동작조건을 만족하는 경우에만 선택적으로 동작하되, 상기 제1 차량의 내부에 대한 실시간 추가영상인 제2 추가영상을 수집하는 제2 추가카메라를 더 포함하고, 상기 디스플레이부는 상기 제2 추가카메라의 동작에 응답하여, 미리 설정된 제2 추가영상표시정보에 의해 상기 제2 추가영상을 표시하도록 표시화면을 전환할 수 있다.
한편, 상기 목적을 달성하기 위해, 본 발명에서 제공하는 AVM 방법은, 차량에 설치되며 상기 차량 주변의 실시간 영상을 수집하여 실시간 AVM 영상을 생성 및 표출하는 적어도 하나의 차량용 AVM(Around View Monitoring) 장치, 및 상기 차량용 AVM 장치들과 통신하는 영상관제서버를 이용한 AVM 방법에 있어서, 상기 차량용 AVM 장치가, 차량의 운행 또는 정차시 발생할 것으로 예측되는 이벤트인 적어도 하나의 예측이벤트별로 미리 설정된 영상표시정보에 의거하여 상기 실시간 AVM 영상의 표시화면을 자동 전환하는 AVM 영상 표시단계; 미리 설정된 영상전송조건에 의거하여, 상기 차량용 AVM 장치가, 대응된 차량의 위치정보 및 상기 실시간 AVM 영상 표시화면을 상기 영상관제서버로 전송하는 AVM 영상 전송단계; 및 상기 영상관제서버가, 상기 차량용 AVM 장치로부터 수신된 정보에 의거하여 대응된 차량들 각각의 운행정보를 분석/관리하는 영상관제단계를 포함하는 것을 특징으로 한다.
바람직하게, 상기 AVM 영상 표시단계는 상기 차량용 AVM 장치가, 상기 예측이벤트별로 미리 설정된 영상표시정보를 포함하는 AVM 동작정보를 저장하는 AVM 동작정보 저장단계; 운행 또는 정차 중인 제1 차량 주변의 실시간 영상을 수집하는 영상수집단계; 상기 제1 차량에서 발생한 실제이벤트에 응답하여, 상기 수집된 영상으로부터 실시간 AVM 영상을 생성하는 영상처리단계; 및 상기 실시간 AVM 영상을 표시하는 영상표시단계를 포함하되, 상기 영상처리단계는 상기 AVM 동작정보로부터 상기 실제이벤트에 대응한 영상표시정보를 검출한 후, 그 영상표시정보에 의거하여 상기 실시간 AVM 영상을 생성할 수 있다.
바람직하게, 상기 영상표시정보는 상기 실시간 AVM 영상을 표시하기 위해 상기 예측이벤트별로 서로 다르게 설정된 상기 디스플레이부 화면의 분할정보; 및 상기 분할정보에 의거하여 분할된 분할화면들 각각에 표시되어야 할 영상을 매칭시킨 영상매칭정보를 포함할 수 있다.
바람직하게, 상기 AVM 동작정보는 상기 예측이벤트별로 구동되어야 할 적어도 하나의 AVM 카메라에 대한 정보를 매칭시킨 카메라 구동정보를 더 포함하고, 상기 영상수집단계는 상기 AVM 동작정보로부터 상기 실제이벤트에 대응한 상기 카메라 구동정보를 검출한 후, 그 카메라 구동정보에 의거하여 상기 AVM 카메라를 구동시켜 상기 제1 차량 주변의 실시간 영상을 수집할 수 있다.
바람직하게, 상기 영상수집단계는 미리 설정된 제1 동작조건을 만족하는 경우 상기 제1 차량의 우측 전방에 대한 실시간 추가영상인 제1 추가영상을 수집하는 제1 추가영상 수집단계를 더 포함하고, 상기 영상표시단계는 상기 제1 추가영상의 수집에 응답하여, 미리 설정된 제1 추가영상표시정보에 의해 상기 제1 추가영상을 표시하도록 디스플레이부의 표시화면을 자동 전환할 수 있다.
바람직하게, 상기 제1 추가영상 수집단계는 상기 제1 차량의 우측 전방을 집중 모니터링하는 모니터링 단계를 더 포함하고, 상기 제1 추가영상수집단계는 상기 모니터링 결과, 상기 제1 차량의 우측 전방을 향해 접근하는 사물이 감지된 경우 상기 제1 추가영상을 수집할 수 있다.
바람직하게, 상기 영상수집단계는 미리 설정된 제2 동작조건을 만족하는 경우 상기 제1 차량의 내부에 대한 실시간 추가영상인 제2 추가영상을 수집하는 제2 추가영상 수집단계를 더 포함하고, 상기 영상표시단계는 상기 제2 추가영상의 수집에 응답하여, 미리 설정된 제2 추가영상표시정보에 의해 상기 제2 추가영상을 표시하도록 디스플레이부의 표시화면화면을 전환할 수 있다.
상기와 같은 본 발명의 차량용 실시간 AVM 시스템 및 그 방법은 차량의 운행정보를 반영하여 안전운행을 위해 필요한 정보를 선별적으로 제공함으로써 운전자에게 필요한 정보를 적절하게 제공할 수 있고, 이로 인해, 운전자의 인지력을 향상시켜 사고를 효과적으로 예방할 수 있는 장점이 있다.
또한, 본 발명은, 차량의 운행 또는 정차시 발생 가능한 예측이벤트별로 영상표시정보를 미리 설정한 후 상기 영상표시정보에 의거하여 실제이벤트의 발생시마다 실시간 AVM 영상의 표시화면을 자동 전환함으로써 운전자가 집중적으로 주시해야 할 영역에 대한 정보를 자동으로 선택하여 표출할 수 있고, 이로 인해, 운전자의 착오로 인한 사고를 효과적으로 예방할 수 있는 장점이 있다.
또한, 본 발명은, 별도의 동작조건에 의해 추가적인 영상을 수집하는 적어도 하나의 추가카메라들을 구비하고 상기 추가카메라로부터 수집된 추가영상, 또는 상기 추가영상과의 합성영상을 우선적으로 표출함으로써 사고위험이 높은 역역에 대하여 감시를 강화할 수 있고, 이로 인해, 사고위험이 높은 특정조건에 의한 사고를 집중적으로 예방할 수 있는 장점이 있다.
또한, 본 발명은, 차량들 각각의 운행정보를 반영하여 적어도 하나의 차량용 AVM 장치들 각각에서 생성한 AVM 영상을 영상관제서버로 전달함으로써, 차량의 운행정보를 반영한 AVM 영상을 원격지에서 모니터링하고 통합관제할 수 있고, 이로 인해, 사고상황 또는 위급상황 발생시 보다 신속하고 정확한 대처가 가능한 장점이 있다.
도 1은 본 발명의 일 실시 예에 따른 차량용 실시간 AVM 시스템에 대한 개략적인 시스템 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 차량용 AVM 장치에 대한 개략적인 블록도이다.
도 3a 및 도 3b는 본 발명의 일 실시 예에 따른 AVM 카메라의 설치 위치 및 동작 정보를 설명하기 위한 도면들이다.
도 4는 본 발명의 일 실시 예에 따른 차량용 AVM 장치가 설치된 차량으로 접근하는 사물을 감지하기 위한 센서부의 부착위치를 설명하기 위한 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 차량용 AVM 장치에 부착된 센서부를 이용하여 사물의 접근을 감지하는 원리를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따라 예측이벤트별로 미리 설정된 AVM 동작정보들을 예시하는 도면이다.
도 7a 내지 도 7d는 본 발명의 일 실시 예에 따른 차량용 AVM 장치의 표시 화면을 예시한 도면들이다.
도 8은 본 발명의 일 실시 예에 따른 영상관제서버에 대한 개략적인 블록도이다.
도 9 내지 도 12는 본 발명의 일 실시 예에 따른 실시간 영상관제기능을 갖는 AVM 방법에 대한 개략적인 처리 흐름도들이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 설명하되, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 한편 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한 상세한 설명을 생략하여도 본 기술 분야의 당업자가 쉽게 이해할 수 있는 부분의 설명은 생략하였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시 예에 따른 차량용 실시간 AVM 시스템에 대한 개략적인 시스템 구성도이다. 도 1을 참조하면, 본 발명의 일 실시 예에 따른 차량용 실시간 AVM 시스템은, 임의의 차량(예컨대, 주행 중이거나 정차 중인 차량)(10)들 각각에 설치된 차량용 AVM 장치(100)들, 및 차량용 AVM 장치(100)들과 통신망(20)으로 연결되어 해당 차량(10)들에 대한 영상관제를 수행하는 영상관제서버(200)를 포함한다.
차량용 AVM 장치(100)는 적어도 하나의 차량(10)들 각각에 설치되며 대응된 차량(10) 주변의 실시간 영상을 수집하여 실시간 AVM 영상을 생성 및 표출한다. 특히, 차량용 AVM 장치(100)는 차량의 운행 또는 정차시 발생하는 이벤트별로 미리 설정된 영상표시정보에 의거하여 상기 실시간 AVM 영상의 표시화면을 자동 전환할 수 있다. 이를 위해, 차량용 AVM 장치(100)는 각종 센서, AVM 카메라, 및 디스플레이를 포함하여 구성될 수 있다. 하지만, 도 1의 예에서는, 설명의 편의를 위해, 차랑(10)별로 대응된 차량용 AVM 장치(100)를 간략화하여 도시하였다.
이를 위한, 차량용 AVM 장치(100)의 구성, 및 구체적인 동작에 대하여는 도 2 내지 도 7d를 참조하여 후술될 것이다.
영상관제서버(200)는 통신망(20)을 통해 적어도 하나의 차량용 AVM 장치(100)들 각각과 연결되며, 차량용 AVM 장치(100)들 각각으로부터 대응된 차량의 위치정보 및 상기 실시간 AVM 영상을 수집하고, 상기 수집 정보에 의거하여 대응된 차량들 각각의 운행정보를 분석/관리한다.
즉, 영상관제서버(200)는 차량용 AVM 장치(100)로부터 전달된 실시간 AVM 영상을 통해, 적어도 하나의 차량들 각각의 운행정보, 및 상기 차량들 주변에서 일어나는 다양한 상황을 인지할 수 있다.
예를 들어, 임의의 노선버스가 지연 운행되는 경우, 영상관제서버(200)는 상기 실시간 AVM 영상을 통해 해당 차량의 주변상황을 모니터링함으로써 상기 운행지연이 사고에 의한 것인지, 단순 지체에 의한 것인지를 파악하고, 그 결과를 관리자 또는 운전자에게 전달함으로써, 신속 정확하게 대처할 수 있도록 할 수 있다.
또한, 영상관제서버(200)는 차량용 AVM 장치(100)로부터 전달된 차량내부영상을 통해 차량 내부에 발생한 위급상황을 인지한 후, 이를 미처 확인하지 못한 운전자에게 알리거나, 구조대원이 출동이 필요한 경우 이를 관계기관에 알림으로써, 도로위에서, 또는 차량내부에서 발생할 수 있는 긴급상황에 신속하게 대처할 수 있도록 할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 차량용 AVM 장치에 대한 개략적인 블록도이다. 도 2를 참조하면, 본 발명의 일 실시 예에 따른 차량용 AVM 장치(100)은 AVM 카메라(110), 추가 카메라(120), 영상수집부(130), 사물감지부(140), 이벤트수집부(150), AVM 동작정보 저장부(160), 영상처리부(170), 표시부(180), 및 제어부(190)를 포함한다.
AVM 카메라(110)는 차량 내/외부에 설치되어, 해당 차량 주변의 실시간 영상을 촬영한다. 이를 위해, AVM 카메라(110)는 차량의 전방을 촬영하는 전방 카메라(111), 차량의 후방을 촬영하는 후방 카메라(112), 차량의 우측방을 촬영하는 우측방 카메라(113), 및 차량의 좌측방을 촬영하는 좌측방 카메라(114)를 포함한다.
각 카메라들(111 내지 114)은 해당 차량의 운행 또는 정차시, 또는 외부로부터 전달되는 동작 명령에 의해 구동하여, 그 설치 위치에 따라 해당 차량 주변의 실시간 영상을 촬영할 수 있다.
이 때, 카메라들(111 내지 114) 각각은 해당 차량 주변의 실시간 360°영상을 생성하기 위해 동시에 일괄적으로 구동되거나, 해당 차량에서 발생할 것으로 예측되는 이벤트의 종류별(즉, 예측이벤트별)로 미리 설정된 동작정보(즉, 카메라 구동정보)에 의해 선택적으로 구동될 수 있다. 이를 위해, 제어부(190)는 차량용 AVM 장치(100)의 동작이 개시됨과 동시에 모든 카메라들(111 내지 114)을 일괄 구동시키거나, 해당 차량의 운행 또는 정차 중에 실제로 발생한 이벤트(즉, 실제이벤트)를 상기 예측이벤트와 매칭시킴으로써 상기 실제이벤트에 대응한 카메라 구동정보를 검출한 후 그 결과에 의해 카메라를 선택적으로 구동시킬 수 있다.
이 때, 상기 예측이벤트는 좌/우측 방향지시등의 조작, 차량의 출입문 개/폐 조작, 운전석에 설치된 적어도 하나의 스위치 조작, 및 하차 신호벨의 조작을 포함할 수 있다.
예를 들어, 차량이 정주행 중일 때, 제어부(190)는 카메라들(111 내지 114) 모두를 일괄적으로 동작시키고 그 때 수집된 정보를 이용하여 생성된 탑뷰영상을 운전자에게 제공하다가, 차량의 우측 방향 지시등이 점등된 경우, 즉, 우측 방향 지시등 이벤트가 발생한 경우, 그에 대응하여 미리 설정된 동작정보에 의해 카메라들(111 내지 114)을 선택적으로 동작시킬 수 있다. 우측 방향 지시등 이벤트에 대응한 카메라 구동정보에 우측방 카메라(113)만 포함된 경우, 제어부(190)는 우측방 카메라(113)만을 동작시켜, 차량의 우측방에 대한 실시간 영상만을 집중적으로 수집 및 제공하도록 카메라들(111 내지 114) 및 주변장치들(예컨대, 표시부(180))을 제어할 수 있다.
추가카메라(120)는 AVM 카메라(110)의 동작정보와는 다른 별도의 동작조건에 의해 동작하여 추가적인 영상을 촬영한다. 즉, 추가카메라(120)는 사고위험이 높은 특정조건에 의한 사고를 집중적으로 예방하기 위해 추가로 설치된 카메라로써, 평소에는 대기모드(standby mode)로 동작하다가 차량에서 발생하는 특정 이벤트(예컨대, 우측 방향 지시등 동작, 또는 출입문 개방 등), 또는 미리 설정된 별도의 동작조건(예컨대, 운전자의 요청, 또는 차량으로 접근하는 사물 또는 사람 감지 등)을 만족하는 경우에 동작하여 대응된 영역을 촬영한다.
이 때, 상기 사고위험이 높은 특정조건은 차량이 우회전을 하는 경우, 차량 주변에 사람 또는 사물이 감지된 경우, 차량 방향으로 이동하는 사람 또는 사물이 감지된 경우, 노선버스의 승객이 승/하차하는 경우, 또는 차량 내부에 위험상황이 발생한 경우를 포함할 수 있다.
추가카메라(120)는 차량의 우측전방을 촬영하는 우측전방 카메라(121), 및 차량 내부를 촬영하는 실내 카메라(122)를 포함할 수 있으며, 추가카메라(120)에서 수집된 추가영상은 독립적으로 또는 AVM 카메라(110)에서 수집된 영상과 합성되어 운전자에게 제공될 수 있다.
우측전방 카메라(121)는 차량의 우측전방을 집중적으로 촬영하기 위한 카메라로서, 우측전방 감시가 강화되어야 하는 특별한 상황에 동작할 수 있다. 예를 들어, 차량에서 우측 방향 지시등을 동작시키기 위한 이벤트가 감지되거나, 차량의 핸들이 우측으로 소정각도 이상 회전하거나, 차량의 우측전방으로 접근하는 사물 또는 사람이 감지된 경우, 제어부(190)는 우측전방 카메라(121)를 동작시켜 우측전방 감시를 강화시킬 수 있다.
이는 차량의 좌측 전방에 운전석이 위치하는 차량의 운전자가 우측전방에 대한 시야를 확보하기 어려운 특징으로 인해, 차량의 우측전방에 대한 주변 상황을 인지하기 어려울 뿐만 아니라, 차량의 우측전방 모서리 부분에 전방카메라(111) 및 우측방카메라(113) 만으로는 촬영이 어려운 사각지대가 존재함으로써 발생하는 사고의 위험을 줄이기 위함이다. 따라서 해당 차량에서 발생한 특정 이벤트(예컨대, 우측 방향 지시등 점등, 핸들의 우측방향 회전각도 등)에 의해 우회전이 감지되거나, 차량 외부에 설치된 감지장치로부터 차량의 우측 진행방향 또는 차량의 우측 전방 주변에 사람 또는 사물이 감지된 경우, 제어부(190)는 우측전방 카메라(121)를 구동시켜 운전자가 차량의 우측전방을 집중해서 모니터링할 수 있도록 함으로써 차량의 우측 전방에 대한 사각지대를 없애고 사고의 위험을 줄일 수 있도록 한다.
특히, 우측방향으로 주행하는 차량 운전자가 교차로에서 별도의 신호를 받지 않고 우회전을 진행하는 교통시스템에서, 우회전하는 차량의 운전자가 보행자를 인지하지 못하여 발생하는 안전사고를 방지할 수 있다.
이와 같이, 본 발명은, 별도의 동작조건에 의해 동작하는 우측전방 카메라(121)를 구비하고, 해당 조건 만족시 우측전방 카메라(121)를 동작시킴으로써, 운전자가 차량의 우측 진행방향 또는 차량의 우측 전방 주변에 위치하는 사람 또는 사물을 인지하기 어려워서 발생하는 사고를 방지할 수 있다.
한편, 운전석이 우측전방에 위치하는 차량의 경우는, 우측전방이 아닌 좌측전방에 추가카메라를 설치함으로써, 좌측전방 감시가 강화되어야 하는 특별한 상황(예컨대, 좌회전 등)에 좌측전방 감시를 강화시킬 수 있다.
실내 카메라(122)는 차량의 내부를 집중적으로 촬영하기 위한 카메라로서, 차량의 내부(즉, 실내) 감시가 강화되어야 하는 특별한 상황에 동작할 수 있다. 예를 들어, 차량에서 출입문을 개방하기 위한 이벤트가 감지되거나, 운전자의 요청신호가 감지된 경우, 제어부(190)는 실내 카메라(122)를 동작시켜 차량의 내부 감시를 강화시킬 수 있다. 이를 위해, 실내 카메라(122)는 해당 차량의 내부에 적어도 하나가 설치될 수 있으며, 차량 내부 전체를 촬영할 수 있도록, 차량의 내부에 분산 배치될 수 있다. 또한, 운전석 주변에는 이러한 실내 카메라(122)를 조작하기 위한 조작키를 더 포함할 수 있다.
이로 인해, 상기 출입문 개방 이벤트가 발생하거나, 차량 내부의 상황을 모니터링할 필요가 있다고 판단한 운전자가 상기 조작키를 조작한 경우 실내 카메라(122)가 동작하여 차량 내부를 촬영하고, 그 정보를 운전자에게 실시간으로 제공할 수 있다.
이는, 미리 정해진 소정의 노선을 주기적으로 운행하는 노선버스와 같이, 불특정 다수의 승객의 승/하차를 돕기 위해 차량의 정차 및 출발을 반복하는 차량의 경우, 운전자가 승객의 승/하차 상황을 정확히 파악하지 못하거나, 차량의 정차 위치 주변에 위치한 사람 또는 사물을 인지하지 못함으로써 발생하는 안전사고를 방지하기 위함이다.
즉, 실내 카메라(122)는 출입문의 개/폐 신호에 응답하여 동작이 결정되며, 출입문이 개방되었을 때 동작하여 주변 영상을 수집할 수 있다. 또는, 출입문 개방신호가 발생된 경우, 실내 카메라(122)가 우측방카메라(113)와 함께 동작하여, 각각에서 수집된 영상을 합성함으로써, 차량의 출입문 내/외의 주변 상황을 운전자에게 정확하게 전달하도록 할 수 있다.
한편, 우측전방 카메라(121) 및 실내 카메라(122)는 제어부(190), 또는 제어부(190)의 제어를 받아 동작하는 영상수집부(130)의 제어를 받아 동작할 수 있다.
도 3a 및 도 3b는 본 발명의 일 실시 예에 따른 AVM 카메라의 설치 위치 및 동작 정보를 설명하기 위한 도면들로서, 도 3a는 AVM 카메라(110), 및 추가카메라(120) 각각의 설치위치 및 각각의 촬영영역들을 예시하고, 도 2b는 차량의 운행정보를 반영한 촬영영역을 예시하고, 도 3b는 차량의 운행정보를 반영하여 결정된 감시영역을 예시한다.
도 3a를 참조하면, 본 발명의 차량용 AVM 장치(100)는 차량(10)의 전면에 설치된 전방카메라(111)(촬영영역(111A)), 차량(10)의 후면에 설치된 후방카메라(112)(촬영영역 생략), 차량(10)의 우측면에 설치된 우측방카메라(113)(촬영영역(113A)), 차량(10)의 좌측면에 설치된 좌측방카메라(114)(촬영영역(114A)), 차량(10)의 우측전방(즉, 우측전방꼭지점 위치)에 설치된 우측전방카메라(121)(촬영영역(121A)), 및 차량(10) 내부 좌측면에 설치된 실내카메라(122)(촬영영역(122A))를 포함함을 알 수 있다.
본 발명의 차량용 AVM 장치(100)는 도 3a에 예시된 바와 같이 설치된 카메라들(111 내지 114, 121, 및 122) 각각을 일괄 또는 선택적으로 동작시킴으로써 차량(10)의 운행정보를 반영한 감시영역을 결정할 수 있는데, 도 3b를 참조하면, 우회전시 전방카메라(111), 우측방카메라(113), 및 전방우측카메라(121)를 구동시킴으로써 제1 영역(S1)을 집중적으로 감시하도록 제어하고, 정차시 우측방카메라(113), 및 실내카메라(122)를 구동시킴으로써 제2 영역(S2)을 집중적으로 감시하도록 제어하고, 좌회전시 전방카메라(111), 및 좌측방카메라(114)를 구동시킴으로써 제3 영역(S3)을 집중적으로 감시하도록 제어할 수 있다.
이와 같이, 본 발명의 차량용 AVM 장치(100)는, 차량(10)의 운행정보를 반영하여 카메라들(111 내지 114, 121, 및 122) 각각을 일괄 또는 선택적으로 동작시킴으로써, 차량(10)의 운행상태별로 대응된 영역(111A 내지 114A, 121A, 및 122A)에 대한 영상을 일괄 또는 선택적으로 촬영할 수 있고, 이를 이용하여 차량(10) 주변의 실시간 AVM 영상을 선별적으로 생성하여 제공함으로써, 운전자의 인지력을 향상시켜 사고를 효과적으로 예방할 수 있다.
영상수집부(130)는 AVM 카메라(110), 및 추가카메라(120)들 중 적어도 하나로부터 차량(10) 주변의 실시간 영상을 수집한다. 이를 위해, 영상수집부(130)는 제어부(190)의 제어를 받을 수 있으며, 운행 또는 정차 중인 차량(10)에 설치된 전방카메라(111), 후방카메라(112), 우측방카메라(113), 좌측방카메라(114), 우측전방카메라(121), 및 실내카메라(122) 중 적어도 하나로부터 대응된 영역에 대하여 실시간으로 촬영된 영상을 수집한다. 특히, 영상수집부(130)는 우측전방카메라(121), 및 실내카메라(122) 각각에 대하여 미리 설정된 동작조건을 만족하는 경우에만, 우측전방카메라(121), 및 실내카메라(122)로부터 실시간으로 촬영된 영상을 수집할 수 있다. 예를 들어, 영상수집부(130)는 후술될 AVM 동작정보 저장부(160)로부터 실제이벤트에 대응한 카메라 구동정보를 검출한 후, 그 카메라 구동정보에 의거하여 AVM 카메라들(111 내지 114), 및 추가카메라들(121, 및 122)을 구동시켜, 대응된 차량(10) 주변의 실시간 영상을 수집할 수 있다.
사물감지부(140)는 차량의 주변에 위치하는 사물 또는 사람의 존재여부 및 이동방향을 감지하고, 그 결과에 의해 추가이벤트를 생성한다. 예를 들어, 사물감지부(140)는, 운전자의 시야 확보가 어려운, 차량의 우측전방에 위치하는 사물 또는 사람, 및 그의 이동방향을 감지하고, 그 결과에 의해 우측전방카메라(121)를 동작시키기 위한 추가이벤트를 생성하여 제어부(190)로 전달할 수 있다. 이를 위해, 사물감지부(140)는 복수의 초음파센서, 또는 복수의 라이다(LiDAR)센서로 구현될 수 있으며, 차량의 우측전면에 설치되는 것이 바람직하다.
도 4는 본 발명의 일 실시 예에 따른 차량용 AVM 장치가 설치된 차량으로 접근하는 사물을 감지하기 위한 센서부의 부착위치를 설명하기 위한 도면으로서, 복수의 센서(141)로 구성된 사물감지부(140)가 차량(10)(즉, 버스) 우측전면에 인접하여 설치된 예를 도시하고, 도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 차량용 실시간 AVM 시스템에 부착된 센서부를 이용하여 사물의 접근을 감지하는 원리를 설명하기 위한 도면으로서, 도 5a는 우측전면에 센서(141)를 부착하고 우회전하는 차량들 전방으로 형성된 감지영역(141A)을 예시하고, 도 5b는 상기 감지영역(141A)에서 보행자 및 보행자의 진행방향을 감지하여 접근 여부를 결정하는 원리를 예시하고 있다.
도 4, 도 5a 및 도 5b를 참조하면, 차량 우측전면에 인접하여 설치된 복수의 센서(141)들 각각은 직선방향으로 감지신호(L1, L2)(예컨대, 초음파신호, 및 레이저펄드 등)를 출력함으로써, 차량(10)으로 접근하는 사물 또는 사람을 감지하는데, 차량(10)으로부터 거리가 멀어질수록 그 사잇각이 벌어지는 방향으로 상기 감지신호를 출력한다. 이는 상기 사물 또는 사람을 감지하기 위한 감지영역을 확보하기 위함이며, 그 사잇각이 좁으면 감지거리가 긴 반면 차량 주변의 감지영역이 좁아지고, 반대의 경우 감지거리가 짧은 반면 차량 주변의 감지영역이 넓어지는 특징이 있다. 따라서 차량의 높이, 및 차량의 폭 등을 고려하여 복수의 센서(141)의 설치간격을 결정하는 것이 바람직하다.
도 5b를 참조하면, 감지영역(141A)들은 각각 복수의 감지신호들(L1, L2)에 의해 도면의 좌측에 예시된 바와 같은 형태로 형성될 수 있으며, 도면의 우측에 표시된 바와 같이 보행자가 복수의 감지신호들(L1, L2)에 접하는 순서에 의해 보행자의 진행방향을 알 수 있다. 예를 들어, 보행자가 제1 감지신호(L1)를 거친 후 제2 감지신호(L2)와 접촉하는 경우 보행자의 진행방향은 도면의 우측으로부터 좌측방향이고, 반대의 경우 보행자의 진행방향도 반대가 된다. 만약에 보행자가 복수의 감지신호들(L1, L2) 중 어느 하나와만 접하는 경우는 보행자가 차량(10)으로 접근하지 않는 것으로 판단할 수 있다. 한편, 복수의 감지신호들(L1, L2)과 보행자의 접촉여부는 복수의 감지신호들(L1, L2) 각각이 끊어지는 현상이 발생하는지 여부에 의해 결정될 수 있다.
이러한 동작에 의해, 차량의 주변에 위치하는 사물 또는 사람의 존재여부 및 이동방향을 감지한 사물감지부(140)는 상기 추가이벤트를 생성함과 동시에, 보행자에게 위험을 알리기 위한 경고음을 발생하도록 하기 위한 수단(예컨대, 부저 등)을 더 포함할 수 있다. 또는 본 발명의 차량용 AVM 장치(100)가 음향출력수단(예컨대, 스피커 등)(미도시)를 더 포함하고, 상기 추가이벤트에 응답하여 제어부(190)가 상기 음향출력수단을 제어함으로써, 경고음을 출력하도록 할 수도 있다.
이벤트수집부(150)는 차량(10)에서 발생하는 실제이벤트를 실시간으로 수집하여 제어부(190)로 전달한다. 이를 위해, 이벤트수집부(150)는 차량(10)의 동작을 제어하는 전자제어유닛(Electronic Control Unit)으로부터 정보를 수집하거나, 별도의 센서부를 통해 감지된 신호를 이용하여 상기 실제이벤트를 실시간으로 수집할 수 있다.
AVM 동작정보 저장부(160)는 미리 설정된 차량용 AVM 장치(100)의 동작정보를 저장한다. 즉, AVM 동작정보 저장부(160)는 차량의 운행 또는 정차시 발생할 것으로 예측되는 적어도 하나의 예측이벤트별로 미리 설정된 영상표시정보, 및 카메라 구동정보를 포함하는 AVM 동작정보를 저장할 수 있다.
이 때, 상기 영상표시정보는 실시간 AVM 영상을 표시하기 위해 상기 예측이벤트별로 서로 다르게 설정된 상기 디스플레이부 화면의 분할정보; 및 상기 분할정보에 의거하여 분할된 분할화면들 각각에 표시되어야 할 영상을 매칭시킨 영상매칭정보를 포함할 수 있다. 한편, 상기 카메라 구동정보는 상기 예측이벤트별로 구동되어야 할 적어도 하나의 AVM 카메라에 대한 정보를 포함할 수 있다.
도 6은 본 발명의 일 실시 예에 따라 예측이벤트별로 미리 설정된 AVM 동작정보들을 예시하는 도면으로서, AVM 동작정보 저장부(160)에 저장된 AVM 동작 정보를 예시하고 있다.
도 6을 참조하면, 상기 AVM 동작정보는 이벤트종류(161), 동작카메라(162), 및 표시영상(163) 필드를 포함할 수 있으며, 이벤트종류(161) 필드에는 발생 가능한 상기 예측이벤트들이 저장되고, 동작카메라(162) 필드에는 상기 예측이벤트에 대응하여 선별적으로 동작해야 할 카메라 정보가 저장되고, 표시영상(163) 필드에는 운전자의 인지력을 향상시키기 위해 상기 예측이벤트에 대하여 집중적으로 감시해야 할 영역에 대한 정보가 저장될 수 있다. 이 때, 상기 예측이벤트의 종류 및 대응된 동작카메라 및 표시영상 정보는 도 6에 예시된 바와 같다. 한편, 도 6은 상기 AVM 동작정보에 대한 일예를 예시할 뿐이며, 상기 예측 이벤트의 종류 및 대응된 AVM 동작 정보의 예가 도 6에 예시된 내용으로 제한되지는 않는다.
영상처리부(170)는 차량(10)에서 발생한 실제이벤트에 응답하여, 영상수집부(130)를 통해 수집된 영상으로부터 실시간 AVM 영상을 생성한다. 이를 위해, 영상처리부(170)는 AVM 동작정보 저장부(160)로부터 상기 실제이벤트에 대응한 영상표시정보를 검출하고, 그 영상표시정보에 의거하여 상기 실시간 AVM 영상을 생성할 수 있다. 예를 들어, 이벤트수집부(150)를 통해 수집된 실제이벤트가 하차신호벨인 경우, 영상처리부(170)는, 도 6에 예시된 바와 같은, AVM 동작정보 저장부(160)로부터 하차신호벨에 대응한 AVM 동작정보(즉, 카메라 동작정보, 및 영상표시정보)를 검출한 후, 그 결과에 의해 차량내부에 설치된 카메라에서 촬영된 영상을 수집하여 차량내부의 영상을 표시하는 실시간 AVM 영상을 생성할 수 있다.
이 때, 영상처리부(170)는 미리 설정된 영상처리 알고리즘을 이용하여 실시간 AVM 영상을 생성하되, 상기 AVM 동작정보에 의해 선택적으로 동작하는 적어도 하나의 카메라로부터 수집된 영상을 분할하여 표시하도록 처리하거나, 이들을 합성하도록 할 수 있다.
표시부(180)는 영상처리부(170)에서 생성된 실시간 AVM 영상을 표시한다. 이를 위해, 표시부(180)는 제어부(190)의 제어를 받아 동작하되, 상기 실제이벤트의 종류에 따라 그 표시화면을 다르게 구성할 수 있다. 즉, 표시부(180)는 차량의 주행 또는 정차 중에 발생 가능한 실제이벤트들의 종류에 따라 운전자의 인지력을 높이는 방향으로 화면을 구성하여 표시할 수 있다. 이를 위해, 표시부(180)는, 상기 실제이벤트의 종류에 따라 그 분할화면의 개수, 각 분할화면의 크기 및 위치가 다르게 설정된 영상표시정보에 의거하여 상기 실시간 AVM 영상을 표시하되, AVM 동작정보 저장부(160)에 저장된 영상표시정보에 의거하여 표시부(180)의 동작을 제어하는 제어부(190)의 제어를 받아 동작할 수 있다.
한편, 상기 영상표시정보는, 상기 예측이벤트의 종류별로 다르게 사전 설정되어, AVM 동작정보 저장부(160)에 저장될 수 있다.
또한, 표시부(180)는 추가카메라(120)의 동작에 응답하여, 추가카메라(120)를 통해 수집된 추가영상을 표시하도록 표시화면을 자동 전환할 수 있다. 이를 위해, 상기 영상표시정보는 추가카메라(120)를 통해 수집된 추가영상의 종류에 따라 화면을 자동 전환하기 위한 추가영상표시정보를 더 저장할 수 있다.
예를 들어, 표시부(180)는 우측전방카메라(121)의 동작에 응답하여 차량의 우측전방영상을 표시하도록 표시화면을 자동 전환하되, 차량의 우측전방으로 보행자가 접근하는 경우, 표시부(180)의 화면 전체가 차량의 우측전방영상을 표시하도록 화면을 자동 전환하거나, 현재 화면을 유지한 상태에서 우측전방영상을 팝업형태로 표시하도록 표시상태를 전환하거나, 현재 화면 중 일부 영역을 상기 우측전방영상으로 대체하도록 표시상태를 전환할 수 있다.
한편, 표시부(180)는 실내카메라(122)의 동작에 응답하여 차량의 실내영상을 표시하도록 표시화면을 자동전환하되, 특히, 차량의 출입문이 닫히거나, 출발대기상태가 된 경우, 표시부(180)는, 승/하차 중인 고객이 있는 지 여부를 알리기 위해, 화면 전체가 실내카메라(122) 및 우측방카메라(113) 각각의 영상 또는 이들의 합성 영상을 표시하도록 화면을 자동전환하거나, 현재 화면을 유지한 상태에서 출입문 주변의 실내영상을 포함하는 실시간 영상을 팝업형태로 표시하도록 표시상태를 전환하거나, 현재 화면 중 일부 영역을 상기 실내영상으로 대체하도록 표시상태를 전환할 수 있다.
이를 위해, 상기 우측전방영상 표시를 위한 영상표시정보, 및 상기 출입문 주변의 실내영상을 포함하는 실시간 영상 표시를 위한 영상표시정보가 AVM 동작정보 저장부(160)에 미리 등록되어 있어야 하며, 제어부(190)는 AVM 동작정보 저장부(160)에 저장된 정보에 의거하여 표시부(180)의 동작을 제어할 수 있다.
도 7a 내지 도 7d는 본 발명의 일 실시 예에 따른 차량용 실시간 AVM 시스템의 표시 화면을 예시한 도면들로서, 도 7a 및 도 7b는 차량의 주행 중에 표시되는 화면들(A, B)을 예시하고, 도 7c는 정차중인 차량의 주변영상을 표시하는 화면(C)을 예시하고, 도 7d는 주행 중인 차량의 탑뷰영상과, 실내영상을 함께 표시하는 화면(D)을 예시하고 있다.
도 7a의 예에서는, 표시부(180)가, 표시화면(A)을 4개의 분할화면들(A1, A2, A3, A4)로 분할하고, 제1 분할화면(A1)에는 360°탑뷰영상을, 제2 분할화면(A2)에는 전방영상을, 제3 분할화면(A3)에는 좌측방영상을, 제4 분할화면(A4)에는 우측방영상을 각각 표시하고 있다.
도 7b의 예에서는, 표시부(180)가, 표시화면(B)을 3개의 분할화면들(B1, B2, B3)로 분할하고, 제1 분할화면(B1)에는 전방영상을, 제2 분할화면(B2)에는 좌측방영상을, 제3 분할화면(B3)에는 우측방영상을 각각 표시하고 있다.
도 7c의 예에서는, 표시부(180)가, 표시화면(C)을 5개의 분할화면들(C1, C2, C3, C4, C5)로 분할하고, 제1 분할화면(C1)에는 정차중인 차량의 360°탑뷰영상을, 제2 분할화면(C2)에는 정차중인 차량의 좌측전방영상을, 제3 분할화면(C3)에는 정차중인 차량의 우측전방영상을, 제4 분할화면(C4)에는 정차중인 차량의 좌측후방영상을, 제5 분할화면(C5)에는 정차중인 차량의 우측후방영상을 각각 표시하고 있다.
도 7d의 예에서는, 표시부(180)가, 표시화면(D)을 2개의 분할화면들(D1, D2)로 분할하고, 제1 분할화면(D1)에는 주행 중인 차량의 360°탑뷰영상을, 제2 분할화면(D2)에는 실내영상을 각각 표시하고 있다.
이와 같이, 본 발명은 미리 설정된 영상표시정보에 의거하여 표시부(180) 표시화면을 다양한 형태로 분할하되, 주행중이거나 정차중인 차량에서 발생하는 실제이벤트의 종류에 따라 다르게 설정된 정보를 이용함으로써, 운전자의 인지력을 높이는 방향으로 표시화면을 운용할 수 있다.
뿐만 아니라, 본 발명은, 사고위험이 높은 특정조건에 응답하여 촬영된 영상을 표시하기 위한 추가영상표시정보를 더 포함하고, 그에 응답하여, 표시부(180)의 화면을 자동전환하도록 함으로써, 위험상황에 대한 운전자의 인지력을 더욱 향상시킬 수 있다.
제어부(190)는 미리 설정된 AVM 제어 알고리즘에 의거하여, 차량용 AVM 장치(100)의 전반적인 동작을 제어한다. 즉, 제어부(190)는 상기 AVM 제어 알고리즘에 의거하여, AVM 카메라(110), 추가 카메라(120), 영상수집부(130), 사물감지부(140), 이벤트수집부(150), AVM 동작정보 저장부(160), 영상처리부(170), 및 표시부(180) 각각의 동작을 제어한다.
도 8은 본 발명의 일 실시 예에 따른 영상관제서버에 대한 개략적인 블록도이다. 도 1 내지 도 8을 참조하면, 본 발명의 일 실시 예에 따른 영상관제서버(200)는 차량별 AVM 영상 저장부(210), 사고정보 저장부(220), 통신 I/F(230), 학습부(240), 영상분석부(250), 사고진단부(260), 사고예측부(270), 및 제어부(280)를 포함한다.
차량별 AVM 영상 저장부(210)는 차량별 실시간 AVM 영상을 저장하되, 대응된 차량의 위치, 및 해당 영상이 수집된 시간을 함께 저장한다. 이를 위해, 차량별 AVM 영상 저장부(210)는 제어부(280)의 제어를 받아 동작하며, 제어부(280)는 적어도 하나의 차량용 AVM 장치(100)들 각각으로부터 전달된 정보를 차량별 AVM 영상 저장부(210)에 저장한다.
사고정보 저장부(220)는 후술될 사고진단부(260)의 진단결과, 및 대응된 사고영상을 저장한다. 예를 들어, 사고정보 저장부(220)는 임의의 차량에 사고가 발생한 것으로 진단된 경우, 제어부(280)를 통해 그 사고 영상과, 사고의 종류를 전달받아 저장할 수 있다.
통신 I/F(230)는 통신망과의 인터페이스를 통해, 다수의 차량용 AVM 장치(100)들과 통신하며, 적어도 하나의 차량용 AVM 장치(100)들 각각으로부터 실시간 AVM 영상을 수집하거나, 적어도 하나의 차량용 AVM 장치(100)들 각각으로 임의의 제어신호를 전달할 수 있다. 이를 위해, 통신 I/F(230)는 제어부(280)의 제어를 받아 동작하는데, 특히, 후술될 사고예측부(270)를 통해 임의의 차량에 사고가 예측되는 경우 이를 알리기 위해 제어부(280)에서 생성한 알림메시지를 대응된 차량의 차량용 AVM 장치(100)로 전달할 수 있다.
학습부(240)는 차량의 운행 또는 정차시 발생 가능한 사고 또는 위험상황에 대한 불특정 다수의 영상정보를 미리 학습하여 사고 상황 모델을 생성한다. 예를 들어, 학습부(240)는 과거의 사고 영상들을 그 사고의 종류별로 미리 학습하여 사고의 종류별 사고상황모델을 생성할 수 있다.
영상분석부(250)는, 상기 사고상황 모델을 이용하여 차량별 실시간 AVM 영상들을 분석한다. 예를 들어, 영상분석부(250)는, 상기 사고상황 모델과, 상기 차량별 실시간 AVM 영상을 비교하여 사고진단 기준이 되는 유사도를 산출할 수 있다.
사고진단부(260)는, 영상분석부(250)의 처리 결과에 의해 사고 또는 위험상황이 발생한 임의의 제2 차량, 그 사고 또는 위험상황의 종류, 및 사고 발생 시간을 실시간으로 판독한다. 예를 들어, 사고진단부(260)는 상기 유사도가 미리 설정된 임계유사도를 초과하는 경우 사고가 발생한 것으로 진단하고, 그 때의 차량정보, 사고 또는 위험상황의 종류, 및 사고 발생시간을 실시간으로 판독할 수 있다.
사고예측부(270)는, 차량별 AVM 영상 저장부(210) 및 사고정보 저장부(220)에 저장된 정보에 의거하여 임의의 차량에 대한 사고발생을 예측한다. 예를 들어, 사고예측부(270)는 과거에 사고가 발생한 임의의 제2 차량에 대한 과거 영상, 즉, 상기 제2 차량의 사고 발생시간으로부터 소정 시간 이전의 영상과, 임의의 제1 차량의 실시간 AVM 영상을 비교/분석하여 상기 제1 차량의 사고를 예측한다. 상기 제2 차량의 사고 발생시간으로부터 소정 시간 이전의 영상과 상기 제1 차량의 실시간 AVM 영상이 유사한 경우(즉, 유사도가 미리 설정된 임계치를 초과하는 경우), 상기 소정시간 이후에 상기 제1 차량에 사고가 발생할 것으로 예측할 수 있다.
제어부(280)는 미리 설정된 영상관제알고리즘에 의거하여, 영상관제서버(200)의 전반적인 동작을 제어한다. 즉, 제어부(280)는 상기 영상관제알고리즘에 의거하여, 차량별 AVM 영상 저장부(210), 사고정보 저장부(220), 통신 I/F(230), 학습부(240), 영상분석부(250), 사고진단부(260), 및 사고예측부(270) 각각의 동작을 제어한다.
특히, 제어부(280)는 사고예측부(270)의 예측 결과를 상기 제1 차량의 운전자에게 통보할 수 있다.
도 9 내지 도 12는 본 발명의 일 실시 예에 따른 실시간 영상관제기능을 갖는 AVM 방법에 대한 개략적인 처리 흐름도들이다. 도 9는 본 발명의 일 실시 예에 따라 실시간 영상관제기능을 갖는 AVM 방법에 대한 전반적인 처리 절차를 예시하고, 도 10 및 도 11은 도 9에 예시된 AVM 영상표시과정에 대한 처리 절차를 예시하고, 도 12는 도 9에 예시된 영상관제과정에 대한 처리 절차를 예시하고 있다.
도 1 내지 도 9를 참조하면, 차량용 AVM(Around View Monitoring) 장치(100), 및 영상관제서버(200)를 이용한 AVM 방법은 다음과 같다.
먼저, 단계 S100에서는, 차량용 AVM 장치(100)가, 차량 주변에서 수집된 영상으로부터 실시간 AVM 영상을 생성한 후, 이를 표시한다. 특히, 단계 S100에서, 차량용 AVM 장치(100)는, 차량의 운행 또는 정차시 발생할 것으로 예측되는 적어도 하나의 예측이벤트별로 미리 설정된 영상표시정보에 의거하여 실시간 AVM 영상의 표시화면을 자동 전환할 수 있다. 이를 위한 보다 구체적인 처리 과정에 대하여는 도 10 및 도 11을 참조하여 후술할 것이다.
단계 S200에서는, 차량용 AVM 장치(100)가 실시간 AVM 영상정보를 영상관제서버(200)로 전송한다. 이를 위해, 차량용 AVM 장치(100)는 미리 설정된 영상전송조건(예컨대, 미리 설정된 전송주기 또는 표시화면 전환시점 등)에 의거하여, 대응된 차량의 위치정보 및 상기 실시간 AVM 영상 표시화면을 포함하는 실시간 AVM 영상정보를 영상관제서버(200)로 전송할 수 있다.
단계 S300에서는, 영상관제서버(200)가 상기 수신된 실시간 AVM 영상정보를 이용하여 영상관제를 수행한다. 이 때, 영상관제서버(200)는 적어도 하나의 차량용 AVM 장치(100)로부터 상기 실시간 AVM 영상정보를 수집하고, 이들을 취합하여 대응된 차량들 각각의 운행정보를 분석/관리하는 영상관제를 수행할 수 있다. 이를 위한 보다 구체적인 처리 과정에 대하여는 도 12를 참조하여 후술할 것이다.
도 1 내지 도 11을 참조하여, 상기 단계 S100을 좀 더 상세히 설명하면 다음과 같다.
먼저, 단계 S105에서는, 차량용 AVM 장치(100)가, 차량의 운행 또는 정차시 발생할 것으로 예측되는 적어도 하나의 예측이벤트별로 미리 설정된 AVM 동작정보를 저장한다. 이를 위해, 차량용 AVM 장치(100)는, 상기 AVM 동작정보를 사용자 인터페이스(미도시)를 통해 입력받거나, 통신망으로 전달받거나, 상기 AVM 동작정보가 기 저장된 별도의 저장매체를 통해 오프라인으로 저장할 수 있다.
이 때, 상기 AVM 동작정보는 상기 예측이벤트별 카메라 구동정보, 및 영상표시정보를 포함할 수 있다. 상기 카메라 구동정보는 상기 예측이벤트별로 구동되어야 할 적어도 하나의 AVM 카메라에 대한 정보(예컨대, 카메라 식별정보, 또는 카메라의 설치 위치 정보 등)를 포함하고, 상기 영상표시정보는 상기 실시간 AVM 영상을 생성하기 위한 영상처리정보(예컨대, 영상 합성/분할 알고리즘 등), 상기 실시간 AVM 영상을 표시하기 위해 상기 예측이벤트별로 서로 다르게 설정된 표시부(180) 화면의 분할정보, 및 상기 분할정보에 의거하여 분할된 분할화면들 각각에 표시되어야 할 영상을 매칭시킨 영상매칭정보를 포함할 수 있다.
단계 S110에서는, 영상수집부(130)가 운행 또는 정차 중인 제1 차량 주변의 실시간 영상을 수집한다. 단계 S110는 상기 제1 차량에서 이벤트(즉, 실제이벤트)가 발생하기 이전 단계이므로, 시스템의 초기 설정정보에 의거하여 차량용 AVM 장치(100)에 포함된 모든 카메라들(111 내지 114, 121, 및 122) 각각으로부터 실시간 영상을 수집할 수 있다.
단계 S115에서는, 제어부(190)가 상기 제1 차량에서 이벤트(즉, 실제이벤트)가 발생하는지 여부를 확인한다. 이는, 차량의 운행정보를 고려하여 AVM 영상을 생성하기 위함이다.
즉, 단계 S115의 확인 결과 상기 실제이벤트가 발생하지 않은 경우, 제어부(190)는 단계 S110에서 수집된 실시간 영상에 의거하여 AVM 영상을 생성하되, 단계 S120에서, 초기 AVM 영상을 생성하도록 영상처리부(170)를 제어하고, 단계 S125에서는, 상기 초기 AVM 영상을 표시하도록 표시부(180)를 제어한다. 이 때, 초기 AVM 영상이란, 차량의 운행정보(즉, 상기 실제이벤트의 발생)를 고려하지 않고 생성된 AVM 영상을 말하는 것으로서, 종래의 AVM 시스템에서 제공하는 탑뷰 영상 등을 의미할 수 있다.
한편, 단계 S115의 확인 결과 상기 실제이벤트가 발생한 경우, 제어부(190)는 상기 실제이벤트에 대응한 AVM 동작정보를 검출하고 그 정보에 의거하여 영상수집부(130), 영상처리부(170), 및 표시부(180)를 제어할 수 있다. 즉, 제어부(190)는 상기 실제이벤트에 대응한 영상을 수집한 후 그 수집된 영상으로부터 실시간 AVM 영상을 생성하여 표시하도록 영상수집부(130), 영상처리부(170), 및 표시부(180)를 제어할 수 있다.
이를 위해, 먼저, 제어부(190)는, 단계 S130에서, 상기 AVM 동작정보에 상기 실제이벤트에 대응한 카메라 구동정보가 저장되었는지 여부를 확인하고, 상기 실제이벤트에 대응한 카메라 구동정보가 저장된 경우, 단계 S135 및 단계 S140에서, 상기 실제이벤트에 대응한 AVM 카메라를 선택구동한 후 선택영상을 수집하도록 영상수집부(130)를 제어한다. 즉, 단계 S140에서는, 영상수집부(130)가 제어부(190)의 제어를 받아 구동된 적어도 하나의 카메라들(111 내지 114, 121, 및 122)로부터 해당 영역의 실시간 영상, 즉, 구동된 카메라들 각각에 대응한 상기 제1 차량 주변의 실시간 영상을 수집할 수 있다.
단계 S130의 확인결과, 상기 실제이벤트에 대응한 카메라 구동정보가 저장되지 않은 경우, 상기 단계 S135 및 단계 S140는 생략될 수 있다.
단계 S145에서는, 제어부(190)가 상기 AVM 동작정보에 포함된 이벤트별 영상표시정보로부터 상기 실제이벤트에 대응한 영상표시정보를 검출하고, 단계 S150 및 단계 S155에서는, 제어부(190)가, 상기 검출된 영상표시정보에 의거하여 상기 실제이벤트를 고려한 AVM 영상(즉, 이벤트별 AVM 영상)을 생성한 후 표시하도록 영상처리부(170) 및 표시부(180)를 제어한다.
단계 S160에서는, 제어부(190)가 미리 설정된 별도의 동작조건에 의해 추가적인 영상을 수집 및 처리하고, 단계 S170에서는, 상기 수집된 추가 영상을 표시하기 위해 화면을 자동전환하도록 영상수집부(130), 및 표시부(180)를 제어한다.
이를 위해, 제어부(190)는 추가카메라(120) 각각을 동작시키기 위한 동작조건을 미리 저장하고, 그 동작조건을 만족하는 상황이 발생했을 때, 대응된 추가카메라(120)를 동작시켜 해당 영상을 수집할 수 있다. 예를 들어, 제어부(190)는 사고위험이 높은 특정조건을 미리 저장하고, 상기 특정조건을 만족하는 운전상황이 발생했을 때, 추가카메라(120)를 동작시켜 대응된 영역에 대한 영상을 수집하도록 할 수 있다.
이 때, 상기 사고위험이 높은 특정조건은 차량이 우회전을 하는 경우, 차량 주변에 사람 또는 사물이 감지된 경우, 차량 방향으로 이동하는 사람 또는 사물이 감지된 경우, 노선버스의 승객이 승/하차하는 경우, 또는 차량 내부에 위험상황이 발생한 경우를 포함할 수 있다.
즉, 제어부(190)는 우측전방카메라(121)를 동작시키기 위한 제1 동작조건을 미리 저장하고, 단계 S162 및 단계 S164에서, 상기 제1 동작조건을 만족하는 상황이 발생한 경우 우측전방의 추가영상을 수집하도록 우측전방카메라(121) 및 영상수집부(130)를 제어할 수 있다. 이 때, 상기 제1 동작조건은 차량에서 우측 방향 지시등을 동작시키기 위한 이벤트가 감지된 경우, 차량의 핸들이 우측으로 소정각도 이상 회전한 경우, 차량의 우측전방으로 접근하는 사물 또는 사람이 감지된 경우를 포함할 수 있다. 따라서 단계 S162에서 상기 제1 동작조건을 만족하는 것으로 결정된 경우, 제어부(190)는, 단계 S164에서, 우측전방 카메라(121)를 동작시켜 우측전방 감시를 강화시킬 수 있다. 이를 위해, 제어부(190)는 상기 제1 차량의 우측 전방을 집중 모니터링하도록 사물감지부(140)를 제어함으로써, 상기 제1 차량의 우측 전방을 향해 접근하는 사물 또는 사람의 존재하는 경우 이를 감지할 수 있다.
또한, 제어부(190)는 실내카메라(122)를 동작시키기 위한 제2 동작조건을 미리 저장하고, 단계 S166 및 단계 S168에서, 상기 제2 동작조건을 만족하는 상황이 발생한 경우 차량의 실내에 대한 추가영상을 수집하도록 실내카메라(122) 및 영상수집부(130)를 제어할 수 있다. 이 때, 상기 제2 동작조건은 차량에서 출입문을 개방하기 위한 이벤트가 감지된 경우, 또는 운전자의 요청신호가 감지된 경우를 포함할 수 있다. 따라서 단계 S166에서 상기 제2 동작조건을 만족하는 것으로 결정된 경우, 제어부(190)는, 단계 S168에서, 실내 카메라(122)를 동작시켜 차량의 내부 감시를 강화시킬 수 있다.
단계 S170에서는, 제어부(190)가 표시부(180)의 표시화면을 자동전환하여 상기 추가영상을 표시하되, 상기 실제이벤트의 종류에 따라 서로 다르게 설정된 정보에 의거하여, 그 표시화면을 자동전환할 수 있다.
예를 들어, 제어부(190)는 상기 실제이벤트의 종류에 따라 위험도, 또는 긴급도를 미리 저장하고, 그 위험도, 또는 긴급도에 의거하여, 표시부(180)의 표시화면을 자동전환하되, 표시부(180)의 화면 전체가 상기 추가영상을 표시하도록 화면을 자동전환하거나, 현재 화면을 유지한 상태에서 상기 추가영상을 팝업형태로 표시하도록 표시상태를 전환하거나, 현재 화면 중 일부 영역을 상기 추가영상으로 대체하도록 표시상태를 전환할 수 있다.
도 1 내지 도 12를 참조하면, 상기 단계 S300을 좀 더 상세히 설명하면 다음과 같다.
먼저, 단계 S310에서는, 영상관제서버(200)가 사고상황모델을 생성한다. 이를 위해, 단계 S310에서는 학습부(240)가 차량의 운행 또는 정차시 발생 가능한 사고 또는 위험상황에 대한 불특정 다수의 영상정보를 미리 학습하되, 그 종류별로 미리 학습하여 사고의 종류별 사고상황모델을 생성할 수 있다.
단계 S320 및 단계 S330에서는, 제어부(280)가 통신 I/F(230)를 통해 실시간 AVM 영상을 수신한 후, 이를 차량별 AVM 영상 저장부(210)에 저장한다. 이 때, 제어부(280)는 대응된 차량의 위치, 및 시간을 함께 저장할 수 있다.
단계 S340에서는, 영상분석부(250)가 상기 사고상황 모델을 이용하여 차량별 실시간 AVM 영상들을 분석하고, 단계 S350에서는, 사고진단부(260)가 상기 단계 S340의 영상 분석 결과에 의해 사고를 진단한다. 즉, 단계 S350에서, 사고진단부(260)는 사고 또는 위험상황이 발생한 임의의 제2 차량, 그 사고 또는 위험상황의 종류, 및 사고 발생 시간을 실시간으로 판독한다.
단계 S360에서는, 제어부(280)가 상기 단계 S350의 진단결과, 및 대응된 사고영상을 사고정보 저장부(220)에 저장한다.
단계 S370에서는, 사고예측부(270)가 상기 단계 S330, 및 상기 단계 S360에서 저장된 정보를 이용하여 임의의 제1 차량에 대한 사고를 예측한다. 이를 위해, 사고예측부(270)는 과거에 사고가 발생한 임의의 제2 차량의 사고 발생 시간으로부터 소정 시간 이전의 영상과 상기 제1 차량의 실시간 AVM 영상을 비교/분석하여 상기 제1 차량의 사고를 예측할 수 있다.
단계 S380에서는, 제어부(280)가 상기 예측결과를 상기 제1 차량의 운전자에게 통보하도록 통신 I/F(230)를 제어한다.
이 때, 본 발명의 영상관제기능을 갖는 AVM 방법 설명시, 도 1 내지 도 7d에서 이미 언급된 내용에 대하여는, 중복설명을 생략한다.
이와 같이 함으로써, 상기와 같은 본 발명의 차량용 실시간 AVM 시스템 및 그 방법은 차량의 운행정보를 반영하여 안전운행을 위해 필요한 정보를 선별적으로 제공함으로써 운전자에게 필요한 정보를 적절하게 제공할 수 있고, 이로 인해, 운전자의 인지력을 향상시켜 사고를 효과적으로 예방할 수 있는 특징이 있다.
또한, 본 발명은, 차량의 운행 또는 정차시 발생 가능한 예측이벤트별로 영상표시정보를 미리 설정한 후 상기 영상표시정보에 의거하여 실제이벤트의 발생시마다 실시간 AVM 영상의 표시화면을 자동 전환함으로써 운전자가 집중적으로 주시해야 할 영역에 대한 정보를 자동으로 선택하여 표출할 수 있고, 이로 인해, 운전자의 착오로 인한 사고를 효과적으로 예방할 수 있는 특징이 있다.
또한, 본 발명은, 별도의 동작조건에 의해 추가적인 영상을 수집하는 적어도 하나의 추가카메라들을 구비하고 상기 추가카메라로부터 수집된 추가영상, 또는 상기 추가영상과의 합성영상을 우선적으로 표출함으로써 사고위험이 높은 역역에 대하여 감시를 강화할 수 있고, 이로 인해, 사고위험이 높은 특정조건에 의한 사고를 집중적으로 예방할 수 있는 특징이 있다.
또한, 본 발명은, 차량들 각각의 운행정보를 반영하여 적어도 하나의 차량용 AVM 장치들 각각에서 생성한 AVM 영상을 영상관제서버로 전달함으로써, 차량의 운행정보를 반영한 AVM 영상을 원격지에서 모니터링하고 통합관제할 수 있고, 이로 인해, 사고상황 또는 위급상황 발생시 보다 신속하고 정확한 대처가 가능한 특징이 있다.
이상에서는 본 발명의 실시예를 설명하였으나, 본 발명의 권리범위는 이에 한정되지 아니하며 본 발명이 실시예로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 용이하게 변경되어 균등한 것으로 인정되는 범위의 모든 변경 및 수정을 포함한다.
100: 차량용 AVM 장치 110: AVM 카메라
120: 추가카메라 130: 영상수집부
140: 사물감지부 150: 이벤트 수집부
160: AVM 동작정보 저장부 170: 영상처리부
180: 표시부 190: 제어부

Claims (14)

  1. AVM(Around View Monitoring) 시스템에 있어서,
    차량에 설치되며 상기 차량 주변의 실시간 영상을 수집하여 실시간 AVM 영상을 생성 및 표출하되, 상기 차량의 운행 또는 정차시 발생하는 이벤트별로 미리 설정된 영상표시정보에 의거하여 상기 실시간 AVM 영상의 표시화면을 자동 전환하는 적어도 하나의 차량용 AVM 장치; 및
    상기 차량용 AVM 장치들과 통신망으로 연결되어 상기 차량용 AVM 장치들 각각으로부터 대응된 차량의 위치정보 및 상기 실시간 AVM 영상을 수집하고, 상기 수집 정보에 의거하여 대응된 차량들 각각의 운행정보를 분석한 후, 그 결과를 관리자 또는 운전자에게 전달하는 영상관제서버를 포함하되,
    상기 영상관제서버는
    상기 차량용 AVM 장치들 각각으로부터 수집된 차량별 실시간 AVM 영상을 저장하되, 대응된 차량의 위치, 및 해당 영상이 수집된 시간을 함께 저장하는 차량별 AVM 영상저장부;
    임의의 차량에 대한 사고영상과, 사고의 종류를 저장하는 사고정보 저장부; 및
    과거에 사고가 발생한 제2 차량의 사고발생시간으로부터 소정시간 이전의 영상과, 임의의 제1 차량의 실시간 AVM 영상을 비교/분석하여 상기 제1 차량의 사고를 예측하는 사고예측부를 포함하는 것을 특징으로 하는 영상관제기능을 갖는 AVM 시스템.
  2. 제1항에 있어서, 상기 차량용 AVM 장치는
    차량의 운행 또는 정차시 발생할 것으로 예측되는 적어도 하나의 예측이벤트별로 미리 설정된 영상표시정보를 포함하는 AVM 동작정보를 저장하는 AVM 동작정보 저장부;
    운행 또는 정차 중인 제1 차량 주변의 실시간 영상을 수집하는 영상수집부;
    상기 제1 차량에서 발생한 실제이벤트에 응답하여, 상기 수집된 영상으로부터 실시간 AVM 영상을 생성하는 영상처리부; 및
    상기 실시간 AVM 영상을 표시하는 디스플레이부를 포함하되,
    상기 영상처리부는
    상기 AVM 동작정보 저장부로부터 상기 실제이벤트에 대응한 영상표시정보를 검출하고, 그 영상표시정보에 의거하여 상기 실시간 AVM 영상을 생성하는 것을 특징으로 하는 영상관제기능을 갖는 AVM 시스템.
  3. 제2항에 있어서, 상기 영상표시정보는
    상기 실시간 AVM 영상을 표시하기 위해 상기 예측이벤트별로 서로 다르게 설정된 상기 디스플레이부 화면의 분할정보; 및
    상기 분할정보에 의거하여 분할된 분할화면들 각각에 표시되어야 할 영상을 매칭시킨 영상매칭정보를 포함하는 것을 특징으로 하는 영상관제기능을 갖는 AVM 시스템.
  4. 제3항에 있어서, 상기 AVM 동작정보는
    상기 예측이벤트별로 구동되어야 할 적어도 하나의 AVM 카메라에 대한 정보를 매칭시킨 카메라 구동정보를 더 포함하고,
    상기 영상수집부는
    상기 AVM 동작정보 저장부로부터 상기 실제이벤트에 대응한 상기 카메라 구동정보를 검출하고, 그 카메라 구동정보에 의거하여 상기 AVM 카메라들을 구동시켜 상기 제1 차량 주변의 실시간 영상을 수집하는 것을 특징으로 하는 영상관제기능을 갖는 AVM 시스템.
  5. 제2항에 있어서, 상기 영상수집부는
    미리 설정된 제1 동작조건을 만족하는 경우에만 선택적으로 동작하되, 상기 제1 차량의 우측 전방에 대한 실시간 추가영상인 제1 추가영상을 수집하는 제1 추가카메라를 더 포함하고,
    상기 디스플레이부는
    상기 제1 추가카메라의 동작에 응답하여, 미리 설정된 제1 추가영상표시정보에 의해 상기 제1 추가영상을 표시하도록 표시화면을 전환하는 것을 특징으로 하는 영상관제기능을 갖는 AVM 시스템.
  6. 제5항에 있어서, 상기 차량용 AVM 장치는
    상기 제1 차량의 우측 전방에 위치하는 사물의 존재여부, 및 상기 사물의 이동방향을 감지하는 사물 감지부를 더 포함하고,
    상기 사물 감지부는
    상기 제1 차량의 우측 전방을 향해 접근하는 사물이 감지된 경우 상기 제1 추가 카메라를 동작시키기 위한 제1 추가이벤트를 생성하는 것을 특징으로 하는 영상관제기능을 갖는 AVM 시스템.
  7. 제5항에 있어서, 상기 차량용 AVM 장치는
    미리 설정된 제2 동작조건을 만족하는 경우에만 선택적으로 동작하되, 상기 제1 차량의 내부에 대한 실시간 추가영상인 제2 추가영상을 수집하는 제2 추가카메라를 더 포함하고,
    상기 디스플레이부는
    상기 제2 추가카메라의 동작에 응답하여, 미리 설정된 제2 추가영상표시정보에 의해 상기 제2 추가영상을 표시하도록 표시화면을 전환하는 것을 특징으로 하는 영상관제기능을 갖는 AVM 시스템.
  8. 차량에 설치되며 상기 차량 주변의 실시간 영상을 수집하여 실시간 AVM 영상을 생성 및 표출하는 적어도 하나의 차량용 AVM(Around View Monitoring) 장치, 및 상기 차량용 AVM 장치들과 통신하는 영상관제서버를 이용한 AVM 방법에 있어서,
    상기 차량용 AVM 장치가, 차량의 운행 또는 정차시 발생할 것으로 예측되는 이벤트인 적어도 하나의 예측이벤트별로 미리 설정된 영상표시정보에 의거하여 상기 실시간 AVM 영상의 표시화면을 자동 전환하는 AVM 영상 표시단계;
    미리 설정된 영상전송조건에 의거하여, 상기 차량용 AVM 장치가, 대응된 차량의 위치정보 및 상기 실시간 AVM 영상 표시화면을 상기 영상관제서버로 전송하는 AVM 영상 전송단계; 및
    상기 영상관제서버가, 상기 차량용 AVM 장치로부터 수신된 정보에 의거하여 대응된 차량들 각각의 운행정보를 분석/관리하는 영상관제단계를 포함하되,
    상기 영상관제단계는
    상기 차량용 AVM 장치들 각각으로부터 수집된 차량별 실시간 AVM 영상을 저장하되, 대응된 차량의 위치, 및 해당 영상이 수집된 시간을 함께 저장하는 차량별 AVM 영상저장단계;
    임의의 차량에 대한 사고영상과, 사고의 종류를 저장하는 사고정보 저장부; 및
    과거에 사고가 발생한 제2 차량의 사고발생시간으로부터 소정시간 이전의 영상과, 임의의 제1 차량의 실시간 AVM 영상을 비교/분석하여 상기 제1 차량의 사고를 예측하는 사고예측단계를 포함하는 것을 특징으로 하는 영상관제기능을 갖는 AVM 방법.
  9. 제8항에 있어서, 상기 AVM 영상 표시단계는
    상기 차량용 AVM 장치가, 상기 예측이벤트별로 미리 설정된 영상표시정보를 포함하는 AVM 동작정보를 저장하는 AVM 동작정보 저장단계;
    운행 또는 정차 중인 제1 차량 주변의 실시간 영상을 수집하는 영상수집단계;
    상기 제1 차량에서 발생한 실제이벤트에 응답하여, 상기 수집된 영상으로부터 실시간 AVM 영상을 생성하는 영상처리단계; 및
    상기 실시간 AVM 영상을 표시하는 영상표시단계를 포함하되,
    상기 영상처리단계는
    상기 AVM 동작정보로부터 상기 실제이벤트에 대응한 영상표시정보를 검출한 후, 그 영상표시정보에 의거하여 상기 실시간 AVM 영상을 생성하는 것을 특징으로 하는 영상관제기능을 갖는 AVM 방법.
  10. 제9항에 있어서, 상기 영상표시정보는
    상기 실시간 AVM 영상을 표시하기 위해 상기 예측이벤트별로 서로 다르게 설정된 상기 디스플레이부 화면의 분할정보; 및
    상기 분할정보에 의거하여 분할된 분할화면들 각각에 표시되어야 할 영상을 매칭시킨 영상매칭정보를 포함하는 것을 특징으로 하는 영상관제기능을 갖는 AVM 방법.
  11. 제9항에 있어서, 상기 AVM 동작정보는
    상기 예측이벤트별로 구동되어야 할 적어도 하나의 AVM 카메라에 대한 정보를 매칭시킨 카메라 구동정보를 더 포함하고,
    상기 영상수집단계는
    상기 AVM 동작정보로부터 상기 실제이벤트에 대응한 상기 카메라 구동정보를 검출한 후, 그 카메라 구동정보에 의거하여 상기 AVM 카메라를 구동시켜 상기 제1 차량 주변의 실시간 영상을 수집하는 것을 특징으로 하는 영상관제기능을 갖는 AVM 방법.
  12. 제9항에 있어서, 상기 영상수집단계는
    미리 설정된 제1 동작조건을 만족하는 경우 상기 제1 차량의 우측 전방에 대한 실시간 추가영상인 제1 추가영상을 수집하는 제1 추가영상 수집단계를 더 포함하고,
    상기 영상표시단계는
    상기 제1 추가영상의 수집에 응답하여, 미리 설정된 제1 추가영상표시정보에 의해 상기 제1 추가영상을 표시하도록 디스플레이부의 표시화면을 자동 전환하는 것을 특징으로 하는 영상관제기능을 갖는 AVM 방법.
  13. 제12항에 있어서, 상기 제1 추가영상 수집단계는
    상기 제1 차량의 우측 전방을 집중 모니터링하는 모니터링 단계를 더 포함하고,
    상기 제1 추가영상수집단계는
    상기 모니터링 결과, 상기 제1 차량의 우측 전방을 향해 접근하는 사물이 감지된 경우 상기 제1 추가영상을 수집하는 것을 특징으로 하는 영상관제기능을 갖는 AVM 방법.
  14. 제12항에 있어서, 상기 영상수집단계는
    미리 설정된 제2 동작조건을 만족하는 경우 상기 제1 차량의 내부에 대한 실시간 추가영상인 제2 추가영상을 수집하는 제2 추가영상 수집단계를 더 포함하고,
    상기 영상표시단계는
    상기 제2 추가영상의 수집에 응답하여, 미리 설정된 제2 추가영상표시정보에 의해 상기 제2 추가영상을 표시하도록 디스플레이부의 표시화면화면을 전환하는 것을 특징으로 하는 영상관제기능을 갖는 AVM 방법.
KR1020230083590A 2023-06-28 2023-06-28 차량의 운행정보를 반영한 영상 관제 기능을 갖는 avm 시스템 및 그 방법 KR102644146B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230083590A KR102644146B1 (ko) 2023-06-28 2023-06-28 차량의 운행정보를 반영한 영상 관제 기능을 갖는 avm 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230083590A KR102644146B1 (ko) 2023-06-28 2023-06-28 차량의 운행정보를 반영한 영상 관제 기능을 갖는 avm 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102644146B1 true KR102644146B1 (ko) 2024-03-06

Family

ID=90239804

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230083590A KR102644146B1 (ko) 2023-06-28 2023-06-28 차량의 운행정보를 반영한 영상 관제 기능을 갖는 avm 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102644146B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007106198A (ja) * 2005-10-12 2007-04-26 Mitsuba Corp 車両周辺監視装置
KR101366112B1 (ko) 2012-09-04 2014-02-24 전자부품연구원 카메라 네트워크를 분리하여 운용하는 차량용 ａｖｍ 시스템 및 방법
KR101474470B1 (ko) * 2013-09-16 2014-12-22 이강식 차량 안전운행 제어시스템 및 그 방법
KR20170064134A (ko) * 2015-11-30 2017-06-09 현대오트론 주식회사 헤드업 디스플레이의 표시 제어 장치 및 방법
KR20170074149A (ko) * 2015-12-21 2017-06-29 한국전자통신연구원 블랙박스 영상정보의 온라인 수집 및 모니터링 장치와 그에 따른 동작방법
KR20220167810A (ko) * 2021-06-14 2022-12-22 황성용 실시간 관제 기능을 갖는 avm 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007106198A (ja) * 2005-10-12 2007-04-26 Mitsuba Corp 車両周辺監視装置
KR101366112B1 (ko) 2012-09-04 2014-02-24 전자부품연구원 카메라 네트워크를 분리하여 운용하는 차량용 ａｖｍ 시스템 및 방법
KR101474470B1 (ko) * 2013-09-16 2014-12-22 이강식 차량 안전운행 제어시스템 및 그 방법
KR20170064134A (ko) * 2015-11-30 2017-06-09 현대오트론 주식회사 헤드업 디스플레이의 표시 제어 장치 및 방법
KR20170074149A (ko) * 2015-12-21 2017-06-29 한국전자통신연구원 블랙박스 영상정보의 온라인 수집 및 모니터링 장치와 그에 따른 동작방법
KR20220167810A (ko) * 2021-06-14 2022-12-22 황성용 실시간 관제 기능을 갖는 avm 시스템

Similar Documents

Publication Publication Date Title
CN103987577B (zh) 用于监视和信号化车辆的周围环境中的交通情况的方法
JP4720386B2 (ja) 運転支援装置
WO2021159604A1 (zh) 一种轨道列车的监控系统，监控方法及监控装置
JP6845306B2 (ja) 監視システム及び監視方法
JP2000244897A (ja) 状態認識システムおよび状態認識表示生成方法
JP2005309797A (ja) 歩行者警報装置
JPWO2018180311A1 (ja) 監視システム及び監視方法
KR101729486B1 (ko) Avm 시스템에서의 사각 지대 감시 방법 및 그 avm 시스템
JP2007195130A (ja) 映像監視システム
US11558584B2 (en) Systems and methods for providing real-time surveillance in automobiles
JP2007140606A (ja) 駐車場監視システム
JP2020123339A (ja) 極限状況でフォールトトレランス及びフラクチュエーションロバスト性のある、自動車間通信基盤の協業的なブラインドスポット警報方法及び装置
CN101349562A (zh) 车辆行驶偏向的警报方法及装置
KR102187021B1 (ko) 전방 저속 차량 알림 시스템
JP3902531B2 (ja) 列車の定位置停止支援装置
CN111369708A (zh) 车辆行驶的信息记录方法及装置
KR20090074103A (ko) 출입문 모니터링 스크린도어시스템 및 제어방법
EP3647153B1 (en) Train coupling support system
JP7184533B2 (ja) 報知装置
KR102188461B1 (ko) 지능형 운전자 주행 보조 기능을 제공하는 독립형 다채널 차량용 데이터 처리 시스템 및 그 방법
KR102644146B1 (ko) 차량의 운행정보를 반영한 영상 관제 기능을 갖는 avm 시스템 및 그 방법
KR102644145B1 (ko) 차량의 운행정보를 반영한 차량용 실시간 avm 시스템 및 그 방법
CN112406961A (zh) 站台门视频障碍物探测控制系统及方法
US20200159230A1 (en) Vehicle motion adaptation systems and methods
CN112272946A (zh) 车辆控制装置

Legal Events

Date Code Title Description
GRNT Written decision to grant