KR102309833B1 - 자율 주행 차량에서 자율 주행 중 광고 제공 장치 및 그 방법 - Google Patents

자율 주행 차량에서 자율 주행 중 광고 제공 장치 및 그 방법 Download PDF

Info

Publication number
KR102309833B1
KR102309833B1 KR1020170065885A KR20170065885A KR102309833B1 KR 102309833 B1 KR102309833 B1 KR 102309833B1 KR 1020170065885 A KR1020170065885 A KR 1020170065885A KR 20170065885 A KR20170065885 A KR 20170065885A KR 102309833 B1 KR102309833 B1 KR 102309833B1
Authority
KR
South Korea
Prior art keywords
information
vehicle
driving
grid map
control unit
Prior art date
Application number
KR1020170065885A
Other languages
English (en)
Other versions
KR20180130162A (ko
Inventor
이형명
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020170065885A priority Critical patent/KR102309833B1/ko
Publication of KR20180130162A publication Critical patent/KR20180130162A/ko
Application granted granted Critical
Publication of KR102309833B1 publication Critical patent/KR102309833B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0265—Vehicular advertisement
    • G06Q30/0266—Vehicular advertisement based on the position of the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement

Abstract

본 발명은 자율 주행 차량에서 자율 주행 중 광고 제공 장치 및 그 방법이 개시된다. 본 발명은 주행경로에 대한 3차원 격자 지도의 존재여부에 따라 3차원 격자 지도를 다운로드 받거나 생성하고, 위치정보 수신부와 DAS 센서부로부터 입력된 자차량의 위치정보와 주변의 DAS 정보를 기반으로 자율 주행을 수행하면서 위치정보와 DAS 정보의 신뢰도를 판단하여 3차원 격자 지도정보를 반영하고, 근거리 통신부를 통해 휴대단말기에 검색승인을 요청하여 승인결과를 입력받으며, 네트워크 접속부를 통해 서비스 제공서버에 승인결과를 전송한 후 서비스 제공서버로부터 광고정보를 수신하여 전방 장애물의 감지상태에 따라 운전 위험도를 분석하여 3차원 격자 지도에 광고정보를 표출함으로써 자율 주행 중 안전한 자율 주행을 도모하면서 운전자의 특성 및 주변 정보에 따른 광고 제공으로 광고의 효과를 높일 수 있다.

Description

자율 주행 차량에서 자율 주행 중 광고 제공 장치 및 그 방법{APPARATUS FOR PROVIDING ADVERTISEMENT DURING AUTONOMOUS DRIVING AT AUTONOMOUS VEHICLE AND METHOD THEREOF}
본 발명은 자율 주행 차량에서 자율 주행 중 광고 제공 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 자율 주행 차량에서 운전자와 관련된 정보를 기반으로 키워드를 추출하여 매칭되는 광고와 3차원 격자 지도로부터 주변 환경정보를 획득하여 자율 주행 중 광고를 제공하는 자율 주행 차량에서 자율 주행 중 광고 제공 장치 및 그 방법에 관한 것이다.
일반적으로, 차량의 위치를 파악하려면 GPS(Global Positioning System)를 이용하는 것이 일반적이지만, 건물이나 터널 안에서는 GPS 신호를 잡지 못하는 문제점이 있고, 시가지의 빌딩 숲을 달리다보면 GPS로는 측정이 부정확해지는 문제점이 있다.
따라서 최근에는 GPS 정보와 더불어 고정밀 맵과 레이더를 이용할 뿐만 아니라 스테레오 전방위 카메라를 이용한 실시간 3차원 격자 지도를 생성하여 이를 반영하고 있다.
전방위 카메라는 회전체 반사경과 집광 렌즈 및 촬상 소자를 이용하여 전방위를 한 번에 촬영하는 카메라 시스템으로서, 보안 시설과 감시 카메라, 로봇 비전 등에 응용된다. 회전체 반사경의 형상으로는 쌍곡면이나 구면, 원추, 복합형 등 다양하며, 촬상 소자로는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor)가 사용된다. 이 촬상 소자의 촬상면에 투영되는 화상(즉 전방위 영상)은 회전체 반사경에 반사된 것이어서 인간이 그대로 관찰하기에는 적합하지 않은 일그러진 화상이다. 따라서 화상의 정확한 관찰을 위해 촬상 소자의 출력을 외부의 마이크로프로세서 등을 통해 그 좌표를 변환하여 새로운 파노라마 영상을 만들어낸다.
이 전방위 카메라를 통해 얻은 전방위 영상은 전방위 카메라 주변에 대한 2차원적인 정보를 제공한다. 만약 복수의 전방위 카메라를 통해 서로 다른 방향에서 촬영한 복수의 전방위 영상을 이용하면 전방위 카메라 주변에 대한 3차원적인 정보를 얻을 수 있다. 복수의 전방위 카메라로 구성되는 영상 장치를 스테레오 전방위 카메라라고 한다.
이와 같은 스테레오 전방위 카메라를 무인 차량이나 이동 로봇에 장착하여, 스테레오 전방위 카메라에서 촬영된 전방위 영상을 무인 차량 또는 이동 로봇의 위치 인식 및 지도 작성에 이용하기도 한다.
본 발명의 배경기술은 대한민국 등록특허공보 제0955483호(2010.04.30. 공고, 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법)에 개시되어 있다.
본 발명의 일 측면에 따른 본 발명의 목적은 자율 주행 차량에서 운전자와 관련된 정보를 기반으로 키워드를 추출하여 매칭되는 광고와 3차원 격자 지도로부터 주변 환경정보를 획득하여 자율 주행 중 광고를 제공하는 자율 주행 차량에서 자율 주행 중 광고 제공 장치 및 그 방법을 제공하는 것이다.
본 발명의 일 측면에 따른 자율 주행 차량에서 자율 주행 중의 광고 제공 장치는, 회전체 반사경과 집광 렌즈 및 촬상 소자를 이용하여 자차량의 전방위를 한 번에 촬영하여 전방위 영상을 제공하는 전방위 카메라; 위성항법 정보를 통해 자차량의 위치를 수신하는 위치정보 수신부; 자차량의 전방 및 주변을 감지하는 DAS 센서부; 3차원 격자지도 및 광고정보를 표출하는 표시부; 차량내 휴대단말기와 통신하기 위한 근거리 통신부; 네트워크를 통해 서비스 제공서버와 접속하기 위한 네트워크 접속부; 주행경로에 대한 3차원 격자 지도의 존재여부에 따라 3차원 격자 지도를 다운로드 받거나 생성하고, 위치정보 수신부와 DAS 센서부로부터 입력된 자차량의 위치정보와 주변의 DAS 정보를 기반으로 자율 주행을 수행하면서 위치정보와 DAS 정보의 신뢰도를 판단하여 3차원 격자 지도정보를 반영하고, 근거리 통신부를 통해 휴대단말기에 검색승인을 요청하여 승인결과를 입력받으며, 네트워크 접속부를 통해 서비스 제공서버에 승인결과를 전송한 후 서비스 제공서버로부터 광고정보를 수신하여 전방 장애물의 감지상태에 따라 운전 위험도를 분석하여 3차원 격자 지도에 광고정보를 표출하는 차량 제어부를 포함하는 것을 특징으로 한다.
본 발명에서 휴대단말기는, 검색승인 요청에 따라 사전 설정된 검색대상이 표출되고, 승인된 경우 검색대상에 대한 승인결과를 전송하는 것을 특징으로 한다.
본 발명에서 서비스 제공서버는, 차량 제어부로부터 승인결과가 입력되면 휴대단말기에서 선택된 검색대상을 기반으로 네트워크에 접속된 포탈서버를 검색하여 운전자의 특성에 연관된 키워드를 추출하고, 키워드와 매칭되는 광고정보를 광고서버로부터 추출하여 차량 제어부에 제공하는 것을 특징으로 한다.
본 발명에서 차량 제어부는, 전방 장애물의 감지상태를 판단하여 설정시간 동안의 검출횟수를 기반으로 운전 위험도를 판단하는 것을 특징으로 한다.
본 발명에서 차량 제어부는, 표출되는 광고정보의 대상이 목적지로 선택된 경우 선택된 목적지로 길안내를 수행하는 것을 특징으로 한다.
본 발명에서 차량 제어부는, 전방위 카메라로부터 주변의 전방위 영상을 획득하여 현재의 2차원 위치를 확인하고, 전방위 영상의 3차원 복원을 수행하여 2차원 위치 확인 결과와 3차원 복원 결과를 결합하여 주변의 3차원 격자 지도를 생성하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 자율 주행 차량에서 자율 주행 중 광고 제공 방법은, 차량 제어부가 주행경로에 대한 3차원 격자 지도의 존재여부에 따라 존재하는 경우, 3차원 격자 지도를 다운로드 받는 단계; 차량 제어부가 위치정보 수신부와 DAS 센서부로부터 입력된 자차량의 위치정보와 주변의 DAS 정보를 기반으로 자율 주행을 수행하는 단계; 차량 제어부가 위치정보와 DAS 정보의 신뢰도를 판단하여 3차원 격자 지도정보를 반영하여 자율 주행을 수행하는 단계; 차량 제어부가 자율 주행을 수행하면서 근거리 통신부를 통해 휴대단말기에 검색승인을 요청하여 승인결과를 입력받는 단계; 차량 제어부가 네트워크 접속부를 통해 서비스 제공서버에 승인결과를 전송하고, 서비스 제공서버로부터 광고정보를 수신하는 단계; 차량 제어부가 전방위 카메라와 DAS 센서부를 통해 전방위 영상과 DAS 정보로부터 전방 장애물을 감지하여 운전 위험도를 분석하는 단계; 및 차량 제어부가 운전 위험도의 분석결과에 기초하여 3차원 격자 지도에 수신된 광고정보를 표출하는 단계를 포함하는 것을 특징으로 한다.
본 발명에서 운전 위험도를 분석하는 단계는, 차량 제어부가 전방 장애물을 감지하여 설정시간 동안의 검출횟수를 기반으로 운전 위험도를 판단하는 것을 특징으로 한다.
본 발명은 차량 제어부가 표출되는 광고정보의 대상이 목적지로 선택된 경우 선택된 목적지로 길안내를 수행하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명은 차량 제어부가 주행경로에 대한 3차원 격자 지도의 존재여부에 따라 존재하지 않는 경우 전방위 카메라로부터 주변의 전방위 영상을 획득하여 현재의 2차원 위치를 확인하고, 전방위 영상의 3차원 복원을 수행하여 2차원 위치 확인 결과와 3차원 복원 결과를 결합하여 주변의 3차원 격자 지도를 생성하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명은 휴대 단말기가 차량 제어부로부터 검색 승인요청이 입력되면, 사전 설정된 검색대상을 표출하고, 승인된 경우 검색대상에 대한 승인결과를 차량 제어부로 전송하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명은 서비스 제공서버가 차량 제어부로부터 승인결과가 입력되면, 휴대단말기에서 선택된 검색대상을 기반으로 네트워크에 접속된 포탈서버를 검색하여 운전자의 특성에 연관된 키워드를 추출하고, 키워드와 매칭되는 광고정보를 광고서버로부터 추출하여 차량 제어부에 제공하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 자율 주행 차량에서 자율 주행 중 광고 제공 장치 및 그 방법은 자율 주행 차량에서 운전자와 관련된 정보를 기반으로 키워드를 추출하여 매칭되는 광고와 3차원 격자 지도로부터 주변 환경정보를 획득하여 자율 주행 중 광고를 제공함으로써 자율 주행 중 안전한 자율 주행을 도모하면서 운전자의 특성 및 주변 정보에 따른 광고 제공으로 광고의 효과를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 자율 주행 차량에서 자율 주행 중 광고 제공 장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 자율 주행 차량에서 자율 주행 중 광고 제공 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 자율 주행 차량에서 자율 주행 중 광고 제공 장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 자율 주행 차량에서 자율 주행 중 광고 제공 장치를 나타낸 블록 구성도이다.
도 1에 도시된 바와 같이 본 발명의 일 실시에에 따른 자율 주행 차량에서 자율 주행 중의 광고 제공 장치는, 전방위 카메라(10), 위치정보 수신부(20), DAS 센서부(30), 표시부(50), 근거리 통신부(60), 네트워크 접속부(70) 및 차량 제어부(40)를 비롯하여 서비스 제공서버(90)를 포함한다.
전방위 카메라(10)는 회전체 반사경(미도시)과 집광 렌즈(미도시) 및 촬상 소자(미도시)를 이용하여 전방위를 한 번에 촬영하여 전방위 영상을 차량 제어부(40)에 제공하여 위치 인식 및 3차원 격자 지도 작성에 이용된다.
위치정보 수신부(20)는 GNSS(Global Navigation Satellite System)를 기반으로 인공위성에서 발신된 전파를 통해 자차량의 위치정보를 수신하여 차량 제어부(40)에 제공한다.
GNSS로는 GPS(Global Positioning System), GLONASS(Global Navigation Satellite System), 갈릴레오(Galileo), 베이더우(Beidou) 등이 있다.
DAS(Driver Assistant System) 센서부(30)는 자차량의 전방 및 주변을 감지하여 감지결과는 차량 제어부(40)에 제공한다.
여기서 DAS 센서부(30)로는 자차량의 전방을 감시하기 위한 전방 카메라(미도시)와 전방 레이더(미도시)를 구비할 수 있고, 자차량의 후방 및 측방을 감시하기 위한 후방 레이더(미도시)와 측방 레이더(미도시)를 포함할 수 있다.
표시부(50)는 3차원 격자지도 및 광고정보를 표출한다.
근거리 통신부(60)는 차량내 휴대단말기(65)와 블루투스와 같은 근거리 통신으로 접속되어 검색대상의 승인요청 및 승인결과를 제공받을 수 있도록 지원한다.
네트워크 접속부(70)는 무선 통신망의 네트워크(80)를 통해 서비스 제공서버(90)와 접속할 수 있도록 지원한다.
차량 제어부(40)는 주행경로에 대한 3차원 격자 지도의 존재여부에 따라 이미 주행하여 3차원 격자 지도가 생성된 주행경로인 경우에는 3차원 격자 지도를 다운로드 받고, 3차원 격자 지도가 존재하지 않는 주행경로인 경우에는 전방위 카메라(10)로부터 획득되는 전방위 영상을 기반으로 3차원 격자 지도를 생성한다.
여기서 3차원 격자 지도를 다운로드 받을 때 차량 제어부(40)는, 출발지로부터 목적지까지의 경로를 다운로드 받거나, 자차량 위치로부터 설정반경 이내의 경로를 다운로드 받을 수 있고, 날씨, 교통상황 및 시간대에 따른 함수를 기반으로 자동으로 다운로드 받을 수도 있다.
또한, 차량 제어부(40)는 전방위 카메라(10)로부터 주변의 전방위 영상을 획득하여 에피폴라 라인(Epipolar Line)을 구하고, 이 에피폴라 라인 상의 특징점을 추출하여 이 특징점들의 2차원 좌표를 구하여 현재의 2차원 위치를 확인하고, 전방위 영상으로부터 스테레오 정합 영상을 생성하여 3차원 복원을 수행한 후 이를 2차원 위치 확인 결과와 3차원 복원 결과를 결합하여 주변의 3차원 격자 지도를 생성할 수 있다.
그리고 차량 제어부(40)는 위치정보 수신부(20)와 DAS 센서부(30)로부터 입력된 자차량의 위치정보와 주변의 DAS 정보를 기반으로 자율 주행을 수행하면서 위치정보와 DAS 정보의 신뢰도를 판단하여 3차원 격자 지도정보를 반영하면서 자율 주행을 수행할 수 있다.
예를 들어, 위치정보의 신뢰도가 설정값 이하인 경우에는 DAS 정보와 3차원 격자 지도정보를 반영하여 자율 주행을 수행하고, DAS 정보의 신뢰도가 설정값 이하인 경우에는 위치정보와 3차원 격자 지도정보를 반영하여 자율 주행을 수행할 수 있다.
이렇게 자율 주행을 하면서 차량 제어부(40)는 근거리 통신부(60)를 통해 휴대단말기(65)에 검색승인을 요청하여 승인결과를 입력받고, 네트워크 접속부(70)를 통해 서비스 제공서버(90)에 승인결과를 전송한 후 서비스 제공서버(90)로부터 광고정보를 수신하여, 전방 장애물의 감지상태에 따라 운전 위험도를 분석하여 3차원 격자 지도에 광고정보를 표출한다.
여기서 휴대단말기(65)는, 검색승인 요청에 따라 사전 설정된 검색대상이 표출되고, 승인된 경우 검색대상에 대한 승인결과를 전송할 수 있다.
예를 들어, 검색대상으로는 가입한 인터넷 카페, 블로그, 쇼핑몰, 포탈서버 정보를 표출하여 승인한 경우 가입한 아이디 및 패스워드를 포함하여 제공할 수 있다.
따라서 서비스 제공서버(90)는 차량 제어부(40)로부터 승인결과가 입력되면 휴대단말기(65)에서 제공한 검색대상에 대한 승인결과에 따라 네트워크(80)에 접속된 포탈서버(110)를 검색하여 운전자의 아이디를 기반으로 가입된 카페에서의 작성글, 쪽지 및 구성원 현황, 가입한 블로그의 이웃 및 태그, 쇼핑몰에서의 검색한 물품, 구매이력 및 선호하는 브랜드, 포탈서버(110)에서의 검색한 단어, 읽은 페이지 및 즐겨찾기 정보를 기반으로 운전자의 특성과 연관된 키워드를 추출하고, 키워드와 매칭되는 광고정보를 광고서버(100)로부터 추출하여 차량 제어부(40)에 제공할 수 있다.
위에서 차량 제어부(40)는 운전 위험도를 분석할 때 전방위 카메라(10)와 DAS 센서부(30)를 통해 전방위 영상과 DAS 정보로부터 전방 장애물을 감지상태를 판단하여 설정시간 동안의 검출횟수가 설정횟수 이상으로 감지될 경우에는 운전 위험상태로 판단하여 광고정보의 표출을 중지할 수 있다.
여기서 전방 장애물은 보행자나 자전거 등을 포함할 수 있다.
한편, 차량 제어부(40)는 표시부(60)를 통해 표출되는 광고정보의 대상이 목적지로 선택된 경우, 선택된 목적지로 경로를 탐색하여 길안내를 수행할 수도 있다.
상술한 바와 같이, 본 발명의 실시예에 의한 자율 주행 차량에서 자율 주행 중 광고 제공 장치에 따르면, 자율 주행 차량에서 운전자와 관련된 정보를 기반으로 키워드를 추출하여 매칭되는 광고와 3차원 격자 지도로부터 주변 환경정보를 획득하여 자율 주행 중 광고를 제공함으로써 자율 주행 중 안전한 자율 주행을 도모하면서 운전자의 특성 및 주변 정보에 따른 광고 제공으로 광고의 효과를 높일 수 있다.
도 2는 본 발명의 일 실시예에 따른 자율 주행 차량에서 자율 주행 중 광고 제공 방법을 설명하기 위한 흐름도이다.
도 2에 도시된 바와 같이 본 발명의 일 실시예에 따른 자율 주행 차량에서 자율 주행 중 광고 제공 방법에서는 먼저, 차량 제어부(40)가 주행경로에 대한 3차원 격자 지도의 존재여부에 따라 존재하는 경우, 3차원 격자 지도를 다운로드 받는다(S10).
여기서 3차원 격자 지도를 다운로드 받을 때 차량 제어부(40)는, 출발지로부터 목적지까지의 경로를 다운로드 받거나, 자차량 위치로부터 설정반경 이내의 경로를 다운로드 받을 수 있고, 날씨, 교통상황 및 시간대에 따른 함수를 기반으로 자동으로 다운로드 받을 수도 있다.
한편, 주행경로에 대한 3차원 격자 지도가 존재하지 않을 경우, 차량 제어부(40)는 전방위 카메라(10)로부터 주변의 전방위 영상을 획득하여 에피폴라 라인(Epipolar Line)을 구하고, 이 에피폴라 라인 상의 특징점을 추출하여 이 특징점들의 2차원 좌표를 구하여 현재의 2차원 위치를 확인하고, 전방위 영상으로부터 스테레오 정합 영상을 생성하여 3차원 복원을 수행한 후 이를 2차원 위치 확인 결과와 3차원 복원 결과를 결합하여 주변의 3차원 격자 지도를 생성할 수 있다.
위에서 3차원 격자 지도를 다운로드 받은 후 차량 제어부(40)는 위치정보 수신부(20)와 DAS 센서부(30)로부터 입력된 자차량의 위치정보와 주변의 DAS 정보를 기반으로 자율 주행을 수행한다(S20).
S20 단계에서 위치정보와 주변의 DAS 정보를 기반으로 자율 주행을 수행하면서, 차량 제어부(40)는 위치정보와 DAS 정보의 신뢰도를 판단하여 3차원 격자 지도정보를 반영한다(S30).
위치정보는 인공위성에서 발신된 전파를 수신하여 측정하기 때문에 건물이나 터널 안에서는 전파가 수신되지 않아 측정할 수 없으며, 시가지의 빌딩 숲을 주행할 경우에는 측정이 부정확해진다. 또한 DAS 정보도 전방 카메라와 레이더를 통해 감지할 경우 복잡한 도로에서는 부정확해진다.
따라서 위치정보와 DAS 정보의 신뢰도를 판단하여 3차원 격자 지도정보를 반영하면서 자율 주행을 수행할 수 있다.
예를 들어, 위치정보의 신뢰도가 설정값 이하인 경우에는 DAS 정보와 3차원 격자 지도정보를 반영하여 자율 주행을 수행하고, DAS 정보의 신뢰도가 설정값 이하인 경우에는 위치정보와 3차원 격자 지도정보를 반영하여 자율 주행을 수행할 수 있다.
이렇게 자율 주행을 하면서 차량 제어부(40)는 근거리 통신부(60)를 통해 휴대단말기(65)에 검색승인을 요청한다(S40).
S40 단계에서 휴대단말기(65)로 검색승인을 요청하면, 휴대단말기(65)는 검색승인 요청에 따라 사전 설정된 검색대상이 표출되고, 승인된 경우 검색대상에 대한 승인결과를 전송한다.
예를 들어, 검색대상으로는 가입한 인터넷 카페, 블로그, 쇼핑몰, 포탈서버 정보를 표출하여 승인한 경우 가입한 아이디 및 패스워드를 포함하여 제공할 수 있다.
S40 단계에서 검색승인을 요청한 후 휴대단말기(65)로부터 승인결과가 입력되면, 차량 제어부(40)는 네트워크 접속부(70)를 통해 네트워크(80)에 접속된 서비스 제공서버(90)에 승인결과를 전송한다(S50).
이와 같이 서비스 제공서버(90)에 검색 승인결과를 전송하면, 서비스 제공서버(90)는 휴대단말기(65)에서 제공한 검색대상에 대한 승인결과에 따라 네트워크(80)에 접속된 포탈서버(110)를 검색하여 운전자의 아이디를 기반으로 가입된 카페에서의 작성글, 쪽지 및 구성원 현황, 가입한 블로그의 이웃 및 태그, 쇼핑몰에서의 검색한 물품, 구매이력 및 선호하는 브랜드, 포탈서버(110)에서의 검색한 단어, 읽은 페이지 및 즐겨찾기 정보를 기반으로 운전자의 특성과 연관된 키워드를 추출하고, 키워드와 매칭되는 광고정보를 광고서버(100)로부터 추출하여 차량 제어부(40)에 제공할 수 있다.
따라서 차량 제어부(40)는 S50 단계에서 서비스 제공서버(90)에 승인결과를 전송한 후 서비스 제공서버(90)로부터 광고정보를 수신한다(S60).
S60 단계에서 광고정보가 수신되면 차량 제어부(40)는 전방 장애물을 감지하여 운전 위험도를 분석한다(S70).
여기서, 차량 제어부(40)는 운전 위험도를 분석할 때 전방위 카메라(10)와 DAS 센서부(30)를 통해 전방위 영상과 DAS 정보로부터 전방 장애물을 감지상태를 판단하여 설정시간 동안의 검출횟수가 설정횟수 이상인지 판단하여 운전 위험도를 분석할 수 있다.
이때 전방 장애물은 보행자나 자전거 등을 포함할 수 있다.
S70 단계에서 운전 위험도를 분석한 후 차량 제어부(40)는 위험도와 설정값을 비교한다(S80).
S80 단계에서 위험도와 설정값을 비교하여 위험도가 설정값 이상인 경우, 차량 제어부(40)는 운전 위험상태로 판단하여 광고정보의 표출을 중지할 수 있다(S120).
한편, S80 단계에서 위험도와 설정값을 비교하여 위험도가 설정값 미만인 경우, 차량 제어부(40)는 표시부(50)를 통해 3차원 격자 지도에 광고정보를 표출한다(S90).
S90 단계에서 운전자의 특성에 맞는 광고정보를 표출한 후 차량 제어부(40)는 광고정보가 표출되는 동안 광고정보의 대상이 목적지로 선택되었는지 판단할 수 있다(S100).
S100 단계에서 광고정보의 대상이 목적지로 선택되지 않은 경우, 차량 제어부(40)는 자율 주행 중 광고정보를 계속해서 표출한다.
그러나 S100단계에서 광고정보의 대상이 목적지로 선택된 경우, 차량 제어부(40)는 선택된 목적지로 길안내를 수행할 수 있다(S110).
상술한 바와 같이, 본 발명의 실시예에 의한 자율 주행 차량에서 자율 주행 중 광고 제공 방법에 따르면, 자율 주행 차량에서 운전자와 관련된 정보를 기반으로 키워드를 추출하여 매칭되는 광고와 3차원 격자 지도로부터 주변 환경정보를 획득하여 자율 주행 중 광고를 제공함으로써 자율 주행 중 안전한 자율 주행을 도모하면서 운전자의 특성 및 주변 정보에 따른 광고 제공으로 광고의 효과를 높일 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
10 : 전방위 카메라 20 : 위치정보 수신부
30 : DAS 센서부 40 : 차량 제어부
50 : 표시부 60 : 근거리 통신부
65 : 휴대단말기 70 : 네트워크 접속부
80 : 네트워크 90 : 서비스 제공서버
100 : 광고서버 110 : 포탈서버

Claims (12)

  1. 회전체 반사경과 집광 렌즈 및 촬상 소자를 이용하여 자차량의 전방위를 한 번에 촬영하여 전방위 영상을 제공하는 전방위 카메라;
    위성항법 정보를 통해 상기 자차량의 위치를 수신하는 위치정보 수신부;
    상기 자차량의 전방 및 주변을 감지하는 DAS 센서부;
    3차원 격자지도 및 광고정보를 표출하는 표시부;
    차량내 휴대단말기와 통신하기 위한 근거리 통신부;
    네트워크를 통해 서비스 제공서버와 접속하기 위한 네트워크 접속부;
    주행경로에 대한 상기 3차원 격자 지도의 존재여부에 따라 상기 3차원 격자 지도를 다운로드 받거나 생성하고, 상기 위치정보 수신부와 상기 DAS 센서부로부터 입력된 상기 자차량의 위치정보와 주변의 DAS 정보를 기반으로 자율 주행을 수행하면서 상기 위치정보와 상기 DAS 정보의 신뢰도를 판단하여 상기 3차원 격자 지도정보를 반영하고, 상기 근거리 통신부를 통해 상기 휴대단말기에 검색승인을 요청하여 승인결과를 입력받으며, 상기 네트워크 접속부를 통해 상기 서비스 제공서버에 상기 승인결과를 전송한 후 상기 서비스 제공서버로부터 상기 광고정보를 수신하여 전방 장애물의 감지상태에 따라 운전 위험도를 분석하여 상기 3차원 격자 지도에 광고정보를 표출하는 차량 제어부를 포함하되,
    상기 휴대단말기는, 상기 검색승인 요청에 따라 사전 설정된 검색대상이 표출되고, 승인된 경우 상기 검색대상에 대한 상기 승인결과를 전송하고,
    상기 서비스 제공서버는, 상기 차량 제어부로부터 상기 승인결과가 입력되면 상기 휴대단말기에서 선택된 상기 검색대상을 기반으로 네트워크에 접속된 포탈서버를 검색하여 운전자의 특성에 연관된 키워드를 추출하고, 상기 키워드와 매칭되는 광고정보를 광고서버로부터 추출하여 상기 차량 제어부에 제공하며,
    상기 검색대상에 대한 상기 승인결과를 전송할 때, 상기 검색대상에 가입한 아이디 및 패스워드를 포함하여 제공하고,
    상기 포털서버를 검색하여 운전자의 특성에 연관된 키워드를 추출할 때, 상기 검색대상에 가입한 운전자의 상기 아이디를 기반으로 활동정보를 검색하여 운전자의 특성에 연관된 키워드를 추출하는 것을 특징으로 하는 자율 주행 차량에서 자율 주행 중의 광고 제공 장치.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서, 상기 차량 제어부는, 상기 전방 장애물의 감지상태를 판단하여 설정시간 동안의 검출횟수를 기반으로 상기 운전 위험도를 판단하는 것을 특징으로 하는 자율 주행 차량에서 자율 주행 중의 광고 제공 장치.
  5. 제 1항에 있어서, 상기 차량 제어부는, 표출되는 상기 광고정보의 대상이 목적지로 선택된 경우 선택된 상기 목적지로 길안내를 수행하는 것을 특징으로 하는 자율 주행 차량에서 자율 주행 중의 광고 제공 장치.
  6. 제 1항에 있어서, 상기 차량 제어부는, 상기 전방위 카메라로부터 주변의 전방위 영상을 획득하여 현재의 2차원 위치를 확인하고, 상기 전방위 영상의 3차원 복원을 수행하여 상기 2차원 위치 확인 결과와 상기 3차원 복원 결과를 결합하여 주변의 상기 3차원 격자 지도를 생성하는 것을 특징으로 하는 자율 주행 차량에서 자율 주행 중의 광고 제공 장치.
  7. 차량 제어부가 주행경로에 대한 3차원 격자 지도의 존재여부에 따라 존재하는 경우, 3차원 격자 지도를 다운로드 받는 단계;
    상기 차량 제어부가 위치정보 수신부와 DAS 센서부로부터 입력된 자차량의 위치정보와 주변의 DAS 정보를 기반으로 자율 주행을 수행하는 단계;
    상기 차량 제어부가 상기 위치정보와 상기 DAS 정보의 신뢰도를 판단하여 상기 3차원 격자 지도정보를 반영하여 자율 주행을 수행하는 단계;
    상기 차량 제어부가 자율 주행을 수행하면서 근거리 통신부를 통해 휴대단말기에 검색승인을 요청하여 승인결과를 입력받는 단계;
    상기 차량 제어부가 네트워크 접속부를 통해 서비스 제공서버에 상기 승인결과를 전송하고, 상기 서비스 제공서버로부터 광고정보를 수신하는 단계;
    상기 차량 제어부가 전방위 카메라와 상기 DAS 센서부를 통해 전방위 영상과 상기 DAS 정보로부터 전방 장애물을 감지하여 운전 위험도를 분석하는 단계; 및
    상기 차량 제어부가 상기 운전 위험도의 분석결과에 기초하여 상기 3차원 격자 지도에 수신된 상기 광고정보를 표출하는 단계를 포함하되,
    상기 휴대 단말기가 상기 차량 제어부로부터 검색 승인요청이 입력되면, 사전 설정된 검색대상을 표출하고, 승인된 경우 상기 검색대상에 대한 상기 승인결과를 상기 차량 제어부로 전송하는 단계; 및
    상기 서비스 제공서버가 상기 차량 제어부로부터 상기 승인결과가 입력되면, 상기 휴대단말기에서 선택된 상기 검색대상을 기반으로 네트워크에 접속된 포탈서버를 검색하여 운전자의 특성에 연관된 키워드를 추출하고, 상기 키워드와 매칭되는 상기 광고정보를 광고서버로부터 추출하여 상기 차량 제어부에 제공하는 단계;를 더 포함하며,
    상기 검색대상에 대한 상기 승인결과를 전송할 때, 상기 검색대상에 가입한 아이디 및 패스워드를 포함하여 제공하고,
    상기 포털서버를 검색하여 운전자의 특성에 연관된 키워드를 추출할 때, 상기 검색대상에 가입한 운전자의 상기 아이디를 기반으로 활동정보를 검색하여 운전자의 특성에 연관된 키워드를 추출하는 것을 특징으로 하는 자율 주행 차량에서 자율 주행 중 광고 제공 방법.
  8. 제 7항에 있어서, 상기 운전 위험도를 분석하는 단계는, 상기 차량 제어부가 상기 전방 장애물을 감지하여 설정시간 동안의 검출횟수를 기반으로 상기 운전 위험도를 판단하는 것을 특징으로 하는 자율 주행 차량에서 자율 주행 중 광고 제공 방법.
  9. 제 7항에 있어서, 상기 차량 제어부가 표출되는 상기 광고정보의 대상이 목적지로 선택된 경우 선택된 상기 목적지로 길안내를 수행하는 단계를 더 포함하는 것을 특징으로 하는 자율 주행 차량에서 자율 주행 중 광고 제공 방법.
  10. 제 7항에 있어서, 상기 차량 제어부가 주행경로에 대한 상기 3차원 격자 지도의 존재여부에 따라 존재하지 않는 경우, 상기 전방위 카메라로부터 주변의 전방위 영상을 획득하여 현재의 2차원 위치를 확인하고, 상기 전방위 영상의 3차원 복원을 수행하여 상기 2차원 위치 확인 결과와 상기 3차원 복원 결과를 결합하여 주변의 상기 3차원 격자 지도를 생성하는 단계를 더 포함하는 것을 특징으로 하는 자율 주행 차량에서 자율 주행 중 광고 제공 방법.
  11. 삭제
  12. 삭제
KR1020170065885A 2017-05-29 2017-05-29 자율 주행 차량에서 자율 주행 중 광고 제공 장치 및 그 방법 KR102309833B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170065885A KR102309833B1 (ko) 2017-05-29 2017-05-29 자율 주행 차량에서 자율 주행 중 광고 제공 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170065885A KR102309833B1 (ko) 2017-05-29 2017-05-29 자율 주행 차량에서 자율 주행 중 광고 제공 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20180130162A KR20180130162A (ko) 2018-12-07
KR102309833B1 true KR102309833B1 (ko) 2021-10-07

Family

ID=64669409

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170065885A KR102309833B1 (ko) 2017-05-29 2017-05-29 자율 주행 차량에서 자율 주행 중 광고 제공 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102309833B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021002519A1 (ko) * 2019-07-04 2021-01-07 엘지전자 주식회사 차량용 광고 제공 장치 및 차량용 광고 제공 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014089073A (ja) * 2012-10-29 2014-05-15 Toyota Motor Corp 運転支援装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100955483B1 (ko) * 2008-08-12 2010-04-30 삼성전자주식회사 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법
KR101700764B1 (ko) * 2011-06-29 2017-01-31 엘지전자 주식회사 자율 이동 방법 및 그 장치
KR101610502B1 (ko) * 2014-09-02 2016-04-07 현대자동차주식회사 자율주행차량의 주행환경 인식장치 및 방법
KR20170010645A (ko) * 2015-07-20 2017-02-01 엘지전자 주식회사 자율 주행 차량 및 이를 구비하는 자율 주행 차량 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014089073A (ja) * 2012-10-29 2014-05-15 Toyota Motor Corp 運転支援装置

Also Published As

Publication number Publication date
KR20180130162A (ko) 2018-12-07

Similar Documents

Publication Publication Date Title
US20210302990A1 (en) Mobile robot system and method for autonomous localization using straight lines extracted from visual images
US20180031375A1 (en) Methods, apparatuses, and mobile terminals for positioning and searching for a vehicle
US20220215751A1 (en) Moving object and driving support system for moving object
US20170192436A1 (en) Autonomous driving service system for autonomous driving vehicle, cloud server for the same, and method for operating the cloud server
JP5901779B2 (ja) 画像データベース地図サービスからアシストシステム内にデータを移す方法
CN108680173B (zh) 电子装置、电子装置的控制方法及计算机可读记录介质
EP3252432A1 (en) Information-attainment system based on monitoring an occupant
KR102260975B1 (ko) 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법
US10579067B2 (en) Method and system for vehicle localization
CN110293965B (zh) 泊车方法和控制装置、车载设备及计算机可读介质
JP2022176234A (ja) 情報表示制御装置、情報表示制御方法及び情報表示制御プログラム
WO2015125210A1 (ja) 情報表示装置及び情報表示プログラム
US11377125B2 (en) Vehicle rideshare localization and passenger identification for autonomous vehicles
US11956693B2 (en) Apparatus and method for providing location
KR102309833B1 (ko) 자율 주행 차량에서 자율 주행 중 광고 제공 장치 및 그 방법
CN110741425A (zh) 地图更新装置、地图更新系统、地图更新方法及程序
WO2022255190A1 (ja) 歩行者装置およびその測位方法
KR20160128967A (ko) 촬영 영상을 이용한 길 안내 시스템 및 방법
EP3748606A1 (en) Road surface information acquisition method
CN115484288B (zh) 智能寻车系统及寻车方法
JP7241582B2 (ja) 移動体位置検出方法及び移動体位置検出システム
US20240071091A1 (en) Vehicle Control Device and Control Method Thereof
KR102531722B1 (ko) 차량 단말을 이용한 주차위치안내 서비스 방법 및 장치
CN112149490A (zh) 确定机动交通工具的环境中的对象
CN114127514A (zh) 机动车周围环境的位置数据的提供和传输

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant