KR101666343B1 - 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템 - Google Patents

차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템 Download PDF

Info

Publication number
KR101666343B1
KR101666343B1 KR1020150047335A KR20150047335A KR101666343B1 KR 101666343 B1 KR101666343 B1 KR 101666343B1 KR 1020150047335 A KR1020150047335 A KR 1020150047335A KR 20150047335 A KR20150047335 A KR 20150047335A KR 101666343 B1 KR101666343 B1 KR 101666343B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
data
sensor
object detection
Prior art date
Application number
KR1020150047335A
Other languages
English (en)
Other versions
KR20160118744A (ko
Inventor
김기혁
Original Assignee
주식회사 성우모바일
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 성우모바일 filed Critical 주식회사 성우모바일
Priority to KR1020150047335A priority Critical patent/KR101666343B1/ko
Publication of KR20160118744A publication Critical patent/KR20160118744A/ko
Application granted granted Critical
Publication of KR101666343B1 publication Critical patent/KR101666343B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B60R2016/02—
    • B60R2021/0134—
    • G01S2015/931—

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명은 차량 주변의 물체 등을 감지하기 위해 탑재되는 초음파 센서와 영상 센서로부터 발생하는 데이터를 통합처리할 수 있도록 하는 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템에 관한 것이다. 본 발명의 실시 예에 따른 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템은 차량에 탑재되는 초음파 센서와 영상 센서의 데이터를 처리하는 시스템에 있어서, 초음파 센서로부터 물체 감지 데이터를 수신하는 제 1 수신부; 영상 센서로부터 영상 데이터를 수신하는 제 2 수신부; 수신된 물체 감지 데이터와 영상 데이터를 저장하는 메모리; 및 물체 감지 데이터와 영상 데이터를 통합하여 처리하는 통합 제어부; 를 포함하여 구성이 이루어질 수 있다.

Description

차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템{System for processing integrated data of the ultra sonic sensors and camera on vehicle}
본 발명은 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템에 관한 것으로서, 더욱 상세하게는 차량 주변의 물체 등을 감지하기 위해 탑재되는 초음파 센서와 영상 센서로부터 발생하는 데이터를 통합처리할 수 있도록 하는 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템에 관한 것이다.
전자정보통신기술 및 센서기술의 발달과 함께 차량에도 운전자의 편의와 안전운행을 위한 다양한 기술이 적용되고 있다.
한 예로, 차량의 주차시 차량의 전후방에 설치된 초음파 센서 및 영상 센서(후방 카메라 등) 등을 통해 감지된 물체에 대한 정보를 운전자에게 제공해줌으로써 운전자는 보다 안전하게 주차 등을 수행할 수 있게 된다.
한 걸음 나아가서는 초음파 센서 및 영상 센서 등에서 입력되는 데이터에 기초하여 차량 내부에 설치된 모니터를 통해서 주차구획선 또는 주차안내선 등을 안내하는 기능이 차량에 탑재되고 있는 실정이다.
한 걸음 더 나아가서는 차량의 주차 과정에서 운전자의 조작이 아닌 차량 ECU의 조작에 의해서 차량이 제어되도록 함으로써 주차가 이루어질 수 있도록 하는 기술도 개발 및 적용되고 있는 실정이다.
한편, 차량에 탑재된 초음파 센서 및 영상 센서에서 측정된 데이터에 기초하여 운전자의 차량 주차를 지원할 수 있도록 하는 시스템을 주차 보조 시스템(PAS, Parking Assist System)이라 하며, 이와 같은 주차 보조 시스템에 대한 연구 개발이 활발이 진행되고 있다.
전술한 바와 같이 최근의 차량에는 운전 편의성 및 안전성 등이 고려된 장치들의 적용이 늘고 있으며, 서로 다른 기능을 수행하는 장치들끼리의 통합을 위한 시도도 점차 늘어나고 있는 상황이다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위하여 창안된 것으로서,차량 주변의 물체 등을 감지하기 위해 탑재되는 초음파 센서와 영상 센서로부터 발생하는 데이터를 통합처리할 수 있도록 하는 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템을 제공하는 데 목적이 있다.
상기와 같은 목적을 달성하기 위해 본 발명은 다음과 같은 수단으로 이루어질 수 있다.
본 발명의 실시 예에 따른 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템은 차량에 탑재되는 초음파 센서와 영상 센서의 데이터를 처리하는 시스템에 있어서, 초음파 센서로부터 물체 감지 데이터를 수신하는 제 1 수신부; 영상 센서로부터 영상 데이터를 수신하는 제 2 수신부; 수신된 물체 감지 데이터와 영상 데이터를 저장하는 메모리; 및 물체 감지 데이터와 영상 데이터를 통합하여 처리하는 통합 제어부; 를 포함하여 구성이 이루어질 수 있다.
본 발명의 실시 예에 따른 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템은 제 1 수신부를 통해 수신된 초음파 센서의 물체 감지 데이터를 차량 내에 탑재된 오디오 시스템을 통해 출력되도록 음성 데이터로 변환하거나, 차량 내에 탑재된 디스플레이 시스템을 통해 출력되도록 영상 데이터로 변환하는 데이터 변환부; 를 더 포함하여 구성이 이루어질 수 있다.
본 발명의 실시 예에 따른 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템에서 통합 제어부는 물체 감지 데이터를 이용하여 차량으로부터 미리 정해진 거리 이내에 물체가 존재하는 것으로 판단되면, 미리 정해진 시간 동안 영상 센서를 구동시켜 차량의 주변 영상을 획득하여 저장하는 구성으로 이루어질 수 있다.
본 발명의 실시 예에 따른 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템에서 통합 제어부는 물체 감지 데이터가 변환된 영상과 차량의 주변 영상을 통합하여 디스플레이 시스템을 통해 표시하되, 물체 감지 데이터가 변환된 영상과 차량의 주변 영상이 표시되는 영역을 분할하여 표시하도록 구성이 이루어질 수 있다.
본 발명의 실시 예에 따른 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템에서 통합 제어부는 복수의 영상 센서를 통해 획득된 각 영상 데이터를 조합하여 차량의 주변 영상을 구성하고, 하나의 파일 형태로 차량의 주변 영상을 메모리에 저장하도록 구성이 이루어질 수 있다.
본 발명의 실시 예에 따른 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템에서 통합 제어부는 차량의 주변영상을 저장 시 차량의 주변영상에 포함된 프레임 중 어느 하나를 스틸 컷 이미지로 함께 저장하도록 구성이 이루어질 수 있다.
본 발명의 실시 예에 따른 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템에서 통합 제어부는 차량의 주변 영상에 포함된 프레임 중 차량의 번호판이 촬영된 프레임을 스틸 컷 이미지로 저장하도록 구성이 이루어질 수 있다.
본 발명의 실시 예에 따른 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템에서 통합 제어부는 사용자의 요청에 따라서 저장소에 저장된 스틸 컷 이미지를 상기 디스플레이 시스템을 통해 표시하고, 사용자로부터 선택된 스틸 컷 이미지에 해당하는 차량의 주변영상 파일을 디스플레이 시스템을 통해 재생하도록 구성이 이루어질 수 있다.
본 발명의 일 실시 예에 따르면 차량의 주변 물체를 감지하는 초음파 센서의 물체 감지 상태와, 차량의 주변을 촬영하는 영상 센서의 영상 처리를 통합하여 처리함으로써, 운전자의 조작을 최소로 하여 운전자의 편의성을 높일 수 있다.
또한, 초음파 센서를 통해 감지된 물체가 미리 정해진 거리 이내인 경우에 영상 센서를 이용하여 차량의 주변 영상을 녹화함으로써 불필요한 영상의 녹화를 최소화할 수 있고 영상이 저장되는 저장 공간의 효율성을 높일 수 있다.
뿐만 아니라, 차량의 주변 영상을 저장 시 영상에 등장하는 차량의 번호판을 스틸 컷 이미지로 저장함으로써 사고 발생 시 매우 유용한 정보로 활용할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 차량의 멀티 센서를 통합 처리하는 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 차량의 멀티 센서를 통합 처리하는 과정을 도시한 흐름도.
도 3은 본 발명의 일 실시예에 따른 차량의 멀티 센서를 통합 처리 시 차량 내 디스플레이 시스템을 통해 표시되는 화면을 도시한 도면.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다.
또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 구비할 수 있다는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템의 구성을 설명하기 위해 도시한 도면이다.
본 발명의 일 실시예에 따른 차량에 설치된 복수의 초음파 센서와 영상 센서의 데이터를 통합하여 처리하는 시스템(이하, 감지 데이터 통합처리 시스템이라 함)(100)는 제 1 수신부(110), 제 2 수신부(120), 데이터 변환부(130), 메모리(140) 및 통합 제어부(150)를 포함할 수 있다.
각 구성 요소를 설명하면, 제 1 수신부(110)는 복수의 초음파 센서로부터 차량 주변의 물체를 감지한 데이터(이하, 물체 감지 데이터라고 함)를 수신할 수 있다.
여기서, 초음파 센서는 복수의 초음파 센서가 하나의 셋트(set)로 구성되어 차량의 다양한 위치(예를 들어 앞 범퍼, 뒷 범퍼, 앞 범퍼 측면, 뒷 범퍼 측면 등)에 각각 설치될 수 있다.
한편, 제 2 수신부(120)는 복수의 영상 센서로부터 차량의 주변을 촬영한 영상 데이터를 수신할 수 있다.
여기서 영상 센서는 복수의 영상 센서가 하나의 셋트로 구성되어 차량의 복수 위치(예를 들어 앞 범퍼, 뒷 범퍼, 좌측면, 우측면 등)에 각각 설치될 수 있으며, 각 영상 센서로부터 획득된 영상이 조합되면 마치 차량을 위에서 내려다보는 것과 같은 탑 뷰(top veiw) 영상을 구성할 수 있다.
한편, 데이터 변환부(130)는 초음파 센서의 물체 감지 데이터를 차량 내 디스플레이 시스템의 영상 출력 형식 또는 차량 내 오디오 시스템의 소리 출력 형식으로 변환할 수 있다.
여기서, 물체 감지 데이터가 디스플레이 시스템의 영상 출력 형식으로 변환 된다는 것은 초음파 센서를 통해 감지된 물체까지의 거리 등 물체 감지 상태가 영상으로 표시되는 것을 의미할 수 있다.
또한, 데이터 변환부(130)는 영상 센서로부터 획득된 차량의 주변 영상을 디스플레이 시스템의 영상 출력 형식으로 변환할 수 있다.
참고로, 차량 내의 디스플레이 시스템은 통합 제어부(130)의 제어에 따라서 초음파 센서의 물체 감지 상태를 나타내는 영상과 복수의 영상 센서로부터 획득된 차량의 주변 영상 중 하나 이상을 표시할 수 있다.
또한, 디스플레이 시스템은 초음파 센서 또는 영상 센서를 동작시키기 위한 사용자의 조작을 입력 받을 수 있으며, 이를 위한 사용자 인터페이스(User Interface;UI)가 표시될 수 있다.
사용자 인터페이스는 하나의 화면에 초음파 센서의 동작과 관련된 사용자 인터페이스 및 영상 센서의 동작과 관련된 사용자 인터페이스를 포함하는 통합된 사용자 인터페이스일 수 있다.
예를 들어, 초음파 센서가 주행 중인 차량으로부터 미리 정해진 거리 이내에 물체를 감지하면 영상 센서가 구동되어 차량의 주변을 촬영할 수 있도록 미리 정해진 거리를 통합된 사용자 인터페이스를 통해 입력할 수 있다.
또한, 통합된 사용자 인터페이스를 통해 미리 정해진 거리 이내에 물체가 감지되면, 영상 센서를 구동 시키는 구동 시간을 설정할 수도 있으며, 초음파 센서가 물체를 감지 시 차량 내 오디오 시스템을 통해 소리를 출력하는 크기(볼륨 크기) 또한 설정할 수 있다.
한편, 메모리(140)는 데이터 변환부(130)에 의해 변환된 물체 감지 데이터와 영상 데이터를 저장할 수 있다.
한편, 통합 제어부(130)는 물체 감지 데이터와 영상 데이터를 통합하여 처리할 수 있다.
통합 처리의 일 실시예로서, 통합 제어부(130)는 디스플레이 시스템을 통해 입력된 사용자의 조작에 따라서 초음파 센서의 물체 감지 상태를 나타내는 영상과 영상 센서의 차량 주변 영상 중 하나 이상을 통합 제어할 수 있다.
예를 들어, 초음파 센서의 물체 감지 상태를 나타내는 영상만이 디스플레이 시스템을 통해 표시되도록 제어할 수도 있고, 영상 센서의 차량 주변 영상만이 디스플레이 시스템을 통해 표시되도록 제어할 수도 있으며, 초음파 센서의 물체 감지 상태를 나타내는 영상과 영상 센서의 차량 주변 영상을 통합하여 표시할 수도 있다.
이때, 통합 제어부(130)는 두 영상이 표시되는 영역을 분할하여 디스플레이 시스템을 통해 표시할 수 있다.
또한, 통합 제어부(130)는 초음파 센서의 물체 감지 신호가 주행 중인 차량으로부터 미리 정해진 거리 이내인 것으로 판단되면, 미리 정해진 시간 동안 영상 센서를 구동시켜 차량의 주변 영상을 획득하여 소정의 저장소(예를 들어 차량 내 저장소 또는 클라우드 등)에 저장할 수 있다.
이때, 통합 제어부(130)는 마치 차량을 위에서 내려다보는 것과 같은 탑 뷰 영상을 하나의 영상 파일로 저장할 수 있으며, 영상 파일에 포함된 프레임 중 어느 하나를 스틸 컷 이미지로 함께 저장할 수 있다.
참고로, 통합 제어부(130)는 주행 중인 차량의 주변 영상을 저장 시, 영상에 주변 차량의 번호판을 인식할 수 있으며, 인식된 차량 번호판이 포함된 프레임을 스틸 컷 이미지로 저장할 수도 있다.
미리 정해진 거리 이내에 차량이 감지된다는 것은 차량 사고의 위험이 그 만큼 높아질 수 있다는 것이며, 이를 위해 만일의 사태에 대비하여 차량의 주변 영상을 저장할 뿐만 아니라, 가까이 접근하는 차량의 번호판을 스틸 컷 이미지로 저장함으로써 차량 사고 등이 발생 시 매우 유용한 정보로 활용할 수 있다.
또한, 통합 제어부(130)는 초음파 센서에 감지된 물체의 거리를 차량 내 오디오 시스템을 통해 음성으로 출력할 수 있으며, 디스플레이 시스템을 통해 문자로 출력할 수도 있다.
뿐만 아니라, 초음파 센서에 감지된 물체의 거리가 미리 정해진 거리 이내이면, 차량 내 오디오 시스템이나 디스플레이 시스템을 통해 경고 음성이나 문자로 출력할 수 있다.
참고로, 영상 센서를 구동시키는 미리 정해진 거리와 경고 음성이 출력되는 미리 정해진 거리는 서로 동일할 수도 있고 서로 다를 수도 있으며, 미리 정해진 거리와 미리 정해진 시간은, 전술한 바와 같이, 상기 통합된 사용자 인터페이스를 통해 설정될 수 있다.
또한, 통합 제어부(130)는 사용자의 요청에 따라서 상기 소정의 저장소에 저장된 차량의 주변 영상을 제공할 수 있다.
이때, 통합 제어부(130)는 상기 소정의 저장소에 저장된 영상 파일의 스틸 컷 이미지, 더욱 유용하게는 주변 차량의 번호판이 포함된 스틸 컷 이미지를 디스플레이 시스템을 통해 표시할 수 있으며, 복수의 스틸 컷 이미지가 표시되는 경우, 사용자가 선택한 특정 스틸 컷 이미지에 해당하는 주변 영상 파일을 디스플레이 시스템을 통해 재생할 수 있다.
또한, 통합 제어부(130)는 데이터의 중요도에 따른 로드 밸런싱(load balancing)을 수행할 수 있으며, 이를 통해 차량 내 전력 소모를 최소화할 수 있다.
예를 들어, 영상 센서를 이용한 차량 주변의 녹화가 시작되는 경우, 통합 제어부(130)는 내비게이터와 같은 경로 안내 장치의 영상 전환(예를 들어, 차량 속도에 따른 지도 축적의 변화 등)등 우선 순위가 낮은 장치들의 동작을 최소화할 수 있다.
이후, 초음파 센서를 통한 물체 감지가 미리 정해진 시간 동안 없는 경우 통합 제어부(130)는 영상 센서를 이용한 차량 주변 촬영을 중단하면서 우선 순위가 낮은 장치들의 동작을 원상태로 구동시킬 수 있다.
이를 위해, 통합 제어부(130)는 사용자로부터 로드 밸런싱을 위한 우선 순위를 입력 받는 사용자 인터페이스를 디스플레이 시스템을 통해 표시할 수 있으며, 사용자로부터 해당 사용자 인터페이스를 통해 로드 밸런싱을 위한 우선 순위를 입력 받을 수 있다.
도 2는 본 발명의 일 실시예에 따른 차량의 멀티 센서를 통합 처리하는 과정을 도시한 흐름도이다.
도 2에 도시된 흐름도는 감지 데이터 통합처리 시스템(100)에 의해 수행될 수 있으며, 이하, 감지 데이터 통합처리 시스템(100)을 주체로 차량에 설치된 복수의 초음파 센서와 영상 센서의 데이터를 통합하여 처리하는 도 2의 흐름도를 설명하도록 한다.
먼저, 감지 데이터 통합처리 시스템(100)은 디스플레이 시스템에 포함된 입력수단을 통해, 주행 중 영상 센서를 구동시키기 위한 미리 정해진 거리와 시간을 입력 받는다(S201).
즉, 내 차량의 주변 몇 미터(물론, 50cm 단위 등 더 세부적일 수도 있다) 이내에 주변 차량이 접근하면 영상 센서를 구동시켜 차량 주변을 촬영하겠다는 의미이다.
S201 후, 감지 데이터 통합처리 시스템(100)은 초음파 센서를 통해 감지되는 주변 차량의 거리가 S201에서 설정한 미리 정해진 거리 이내인지를 지속적으로 판단한다(S202).
판단 결과, 주변 차량이 미리 정해진 거리 이내에 접근한 경우, 감지 데이터 통합처리 시스템(100)은 영상 센서를 구동시켜 차량의 주변 영상을 획득하여 저장한다.
이때, 감지 데이터 통합처리 시스템(100)은 마치 차량을 위에서 내려다보는 것과 같은 차량 주변 영상을 하나의 영상 파일로 저장하되, 영상 파일의 스틸 컷 이미지(주변 차량의 번호판을 포함하는 스틸 컷 이미지일 수도 있다)를 함께 저장할 수 있다.
그리고, 영상 센서로부터 획득된 차량의 주변 영상과 초음파 센서를 통해 감지된 주변 차량의 거리를 표시하는 영상을 통합하여 디스플레이 시스템을 통해 표시한다(S203).
이때, 감지 데이터 통합처리 시스템(100)은 초음파 센서를 통해 감지된 주변 차량의 거리를 표시하는 영상과 영상 센서를 통해 획득된 차량의 주변 영상을 분할하여 화면에 표시할 수 있으며, 본 차량에 접근하는 주변 차량의 거리를 음성이나 문자로 출력할 수 있다.
S203 후, 감지 데이터 통합처리 시스템(100)은 S201에서 설정된 미리 정해진 시간, 즉, 영상 센서를 구동시키는 시간에 도달하였는지를 판단한다(S204).
판단 결과, 미리 정해진 시간에 도달한 경우, 즉, 미리 정해진 시간 동안 초음파 센서를 통해 미리 정해진 거리 이내에 감지되는 주변 차량이 없는 경우, 감지 데이터 통합처리 시스템(100)은 영상 센서의 구동을 중단시킨다(S205).
이때, 감지 데이터 통합처리 시스템(100)은 영상 센서의 구동이 중단되었음을 알리는 음성이나 문자를 출력할 수 있으며, 디스플레이 시스템을 통해 네비게이터 등의 다른 차량 내 장치의 영상을 표시할 수 있다.
도 3은 본 발명의 일 실시예에 따른 차량의 멀티 센서를 통합 처리 시 차량 내 디스플레이 시스템을 통해 표시되는 화면을 도시한 도면이다.
도 3의 (a)는 초음파 센서를 통해 주변 차량의 접근이 감지될 때, 영상 센서를 구동시켜 차량 주변 영상을 촬영하고자 하는 거리와 영상 센서의 구동 시간, 즉, 초음파 센서를 통해 미리 정해진 거리 이내에 주변 차량이 감지되지 않는 시간을 설정하는 화면이다.
도 3의 (a) 실시예에서는 미리 정해진 거리를 0.5m 단위로 증가시키거나 감소시킬 수 있으며, 미리 정해진 시간을 30초 단위로 증가시키거나 감소시켜 설정할 수 있다.
이때, 거리와 시간이 표시되는 부분의 좌측의 화살표를 클릭하여 해당 거리와 시간을 설정할 수 있다.
도 3의 (b)는 초음파 센서를 통해 도 3의 (a)에서 설정된 거리 이내에 주변 차량이 감지되는 경우로서, 영상 센서가 구동되어 차량 주변 영상이 촬영되고 있음을 볼 수 있다.
또한, 초음파 센서를 통해 감지된 주변 차량의 접근 위치(310)와 접근 거리 그리고 접근 중인 차량의 수가 카운트되어 함께 표시되고 있음을 볼 수 있다.
참고로, 주변 차량의 접근 위치(310)는 도 3의 (b)와 같이 단순한 도형으로 표시될 수도 있고, 미리 정해진 차량의 이미지로 표시될 수도 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 감지 데이터 통합처리 시스템
110 : 제 1 수신부
120 : 제 2 수신부
130 : 데이터 변환부
140 : 메모리
150 : 통합 제어부

Claims (8)

  1. 차량에 설치된 초음파 센서로부터 물체 감지 데이터를 수신하는 제 1 수신부; 상기 차량의 주변을 촬영하기 위해 상기 차량에 설치된 영상 센서들로부터 영상 데이터를 수신하는 제 2 수신부; 상기 수신된 물체 감지 데이터와 영상 데이터를 저장하는 메모리; 상기 물체 감지 데이터를 상기 차량 내에 탑재된 오디오 시스템을 통해 출력되도록 음성 데이터로 변환하거나, 상기 차량 내에 탑재된 디스플레이 시스템을 통해 출력되도록 영상 데이터로 변환하는 데이터 변환부; 및 상기 물체 감지 데이터와 상기 영상 데이터를 통합하여 처리하여, 상기 차량의 주변 영상을 획득한 후 상기 차량 내에 탑재된 디스플레이 시스템을 통해 표시하도록 처리하는 통합 제어부; 를 포함하여 구성되는 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템에 있어서,
    상기 영상 센서들을 구동시키기 위한 주변 차량과의 접근 거리와 상기 영상 센서들의 구동 시간을 입력받기 위한 입력수단이 상기 디스플레이 시스템에 표시되며,
    상기 통합 제어부는 상기 입력수단에 의해 입력된 상기 구동 시간 동안 주변 차량이 감지되지 않으면 상기 영상 센서들의 구동을 중단시키고 상기 디스플레이 시스템에 상기 차량에 탑재된 다른 장치의 영상이 출력되도록 설정되며, 상기 디스플레이 시스템에 출력되는 영상은 로드 밸런싱을 위해 사용자 인터페이스를 통해서 사전에 입력받은 우선 순위에 따른 영상 순으로 표시되도록 설정된 것을 특징으로 하는 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 통합 제어부는,
    상기 물체 감지 데이터가 변환된 영상과 상기 차량의 주변 영상을 통합하여 상기 디스플레이 시스템을 통해 표시하되,
    상기 물체 감지 데이터가 변환된 영상과 상기 차량의 주변 영상이 표시되는 영역을 분할하여 표시하는 것을 특징으로 하는 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템.
  5. 제 1 항에 있어서,
    상기 통합 제어부는,
    상기 영상 센서들을 통해 획득된 각 영상 데이터를 조합하여 상기 차량의 주변 영상을 구성하고, 하나의 파일 형태로 상기 차량의 주변 영상을 상기 메모리에 저장하는 것을 특징으로 하는 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템.
  6. 제 5 항에 있어서,
    상기 통합 제어부는,
    상기 차량의 주변영상을 저장 시 상기 차량의 주변영상에 포함된 프레임 중 어느 하나를 스틸 컷 이미지로 함께 저장하는 것을 특징으로 하는 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템.
  7. 제 6 항에 있어서,
    상기 통합 제어부는,
    상기 차량의 주변 영상에 포함된 프레임 중 차량의 번호판이 촬영된 프레임을 상기 스틸 컷 이미지로 저장하는 것을 특징으로 하는 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템.
  8. 제 6 항에 있어서,
    상기 통합 제어부는,
    사용자의 요청에 따라서 상기 저장소에 저장된 스틸 컷 이미지를 상기 디스플레이 시스템을 통해 표시하고,
    사용자로부터 선택된 스틸 컷 이미지에 해당하는 차량의 주변영상 파일을 상기 디스플레이 시스템을 통해 재생하는 것을 특징으로 하는 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템.
KR1020150047335A 2015-04-03 2015-04-03 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템 KR101666343B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150047335A KR101666343B1 (ko) 2015-04-03 2015-04-03 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150047335A KR101666343B1 (ko) 2015-04-03 2015-04-03 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템

Publications (2)

Publication Number Publication Date
KR20160118744A KR20160118744A (ko) 2016-10-12
KR101666343B1 true KR101666343B1 (ko) 2016-10-13

Family

ID=57173840

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150047335A KR101666343B1 (ko) 2015-04-03 2015-04-03 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템

Country Status (1)

Country Link
KR (1) KR101666343B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101867182B1 (ko) * 2016-11-16 2018-07-20 한국철도기술연구원 이미지 프로세싱 및 거리감지를 이용한 열차조성 안전장치 및 그 제어방법
KR102333470B1 (ko) * 2019-12-27 2021-12-02 주식회사 유라코퍼레이션 주차 이벤트 영상 기록 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120018614A (ko) * 2010-08-23 2012-03-05 현대모비스 주식회사 차선 변경 보조기능이 구비된 자동차 및 차선변경방법
KR101458131B1 (ko) * 2012-12-26 2014-11-05 주식회사 이미지넥스트 차선 변경 보조 기능이 구비된 차량 및 그의 차선 변경 방법
KR101514451B1 (ko) * 2013-01-31 2015-04-24 주식회사 에이피엑스 카메라 통합형 주차 조향 보조 시스템 및 자동 주차 방법

Also Published As

Publication number Publication date
KR20160118744A (ko) 2016-10-12

Similar Documents

Publication Publication Date Title
US11027746B2 (en) Drive mode switching control device, method and program
US11158190B2 (en) Recommended driving output device, recommended driving output method and recommended driving output system
WO2018119860A1 (zh) 车辆预警方法、装置及系统
EP3324378A1 (en) Electronic safety system and method for detecting a vehicle driver's attention
WO2016154777A1 (en) Intelligent voice assistant system, apparatus, and method for vehicle
CN106875507A (zh) 一种基于移动终端的行车记录方法和装置
US20150291095A1 (en) Lane departure warning system and method in combination with driving behavior
KR101580567B1 (ko) 이벤트 영상 촬영 녹화 장치, 이벤트 영상 제공 방법
KR101666343B1 (ko) 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템
KR101563639B1 (ko) 차량용 경고 장치 및 차량 운전자에게 제공되는 단계별 운전자 경고 방법
WO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
US8570166B2 (en) System and method for assisting driver when reversing motor vehicle
KR20120046645A (ko) 차량 운행 보조 장치 및 방법
WO2014076841A1 (ja) 表示装置、制御方法、プログラム、及び記憶媒体
JP6018840B2 (ja) ドライブレコーダ
JP2019188855A (ja) 車両用視認装置
KR101665590B1 (ko) 블랙박스 및 avm 영상을 이용한 차선 이탈 감지 시스템 및 감지 방법
KR101788663B1 (ko) 초음파 센서와 영상 센서의 데이터 통합처리 시스템
CN205334568U (zh) 带有酒精检测功能的行车记录仪
CN208335296U (zh) 一种双路行车记录仪
KR101698822B1 (ko) 후방 카메라 겸용 블랙박스
KR101719504B1 (ko) 차량의 네비게이터와 avm 카메라 영상을 통합 처리하는 이기종 영상 통합처리 시스템
JP6804676B1 (ja) プログラム、情報記録装置及び情報記録方法
CN104029634A (zh) 辅助停车的立体显示方法
JP2006148347A (ja) 画像表示システム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190909

Year of fee payment: 4