KR20200043252A - 차량의 부감 영상 생성 시스템 및 그 방법 - Google Patents

차량의 부감 영상 생성 시스템 및 그 방법 Download PDF

Info

Publication number
KR20200043252A
KR20200043252A KR1020180170097A KR20180170097A KR20200043252A KR 20200043252 A KR20200043252 A KR 20200043252A KR 1020180170097 A KR1020180170097 A KR 1020180170097A KR 20180170097 A KR20180170097 A KR 20180170097A KR 20200043252 A KR20200043252 A KR 20200043252A
Authority
KR
South Korea
Prior art keywords
vehicle
image
sub
information
signal
Prior art date
Application number
KR1020180170097A
Other languages
English (en)
Inventor
카즈유키 하마다
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Publication of KR20200043252A publication Critical patent/KR20200043252A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/28—
    • B60K35/85—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257—
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B60K2360/176—
    • B60K2360/177—
    • B60K2360/21—
    • B60K2360/5915—
    • B60K2360/592—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]

Abstract

자기 차량주위의 교통 상황을 정확하게 파악할 수 있는 차량의 부감 영상 생성 시스템 및 그 방법을 제공한다.
본 발명의 부감 영상 생성 시스템은, 자기 차량 및 주위 차량의 주행 상황을 파악할 수 있는 광역 부감 영상을 생성하는 부감 영상 생성 장치와, 광역 부감 영상을 표시하는 표시 장치를 포함하고, 부감 영상 생성 장치는 차량과 사물과의 통신(V2X)을 이용하여 다른 차량과 통신함으로써 복수의 촬영 영상을 포함하는 다른 차량의 촬영 영상 신호를 취득하고, 취득된 다른 차량의 촬영 영상 신호를 이미지 합성하여 자기 차량 및 주위 차량을 포함하는 광역 부감 영상을 생성하며, 생성된 자기 차량 및 주위 차량을 포함하는 광역 부감 영상을 표시 장치에 표시한다.

Description

차량의 부감 영상 생성 시스템 및 그 방법{Overlooking image generation system of vehicle and method thereof}
본 발명은 차량의 부감 영상 생성 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 시점의 변환을 이용하여 높은 위치, 전방, 후방, 측방 위치 등 임의의 시점으로부터 부감 영상을 생성하는 차량의 부감 영상 생성 시스템 및 그 방법에 관한 것이다.
종래 기술의 예로서 이하의 문헌에 기재된 것이 알려지고 있다.
먼저, 특허 문헌 1에는, 자기 차량에서 전후 좌우 측에 설치된 복수 개의 카메라로 촬영하여 얻어진 영상을 합성하여 자기 차량 상공의 시점(視點)에서 보이는 부감 영상으로 변환하는 것이 개시되어 있다. 예를 들어 일부 또는 전부를 포함하는 자기 차량의 전후 좌우의 주위 상황을 한눈에 알 수 있는 탑 뷰(top view)의 영상으로 변환하여 디스플레이에 표시함으로써 주차 지원을 수행하는 것이 나타나 있다.
또한, 특허 문헌 2에는, 전후 좌우의 카메라 및 지붕에 설치된 광각 카메라로 촬영한 영상을 1개의 영상에 합성하여 운전 지원을 수행하는 것이 나타나 있다. 이는 원경(遠景) 카메라의 영상, 왼쪽 카메라의 영상, 앞쪽 카메라의 영상, 및 오른쪽 카메라의 영상을 합성하여 디스플레이에 표시하는 것으로, 예를 들어 좁은 길을 전진 주행하는 경우에서 자기 차량 전방의 장애물을 포함하여 차량의 좌우를 쉽게 확인할 수 있도록 되어 있다.
그러나, 상기한 종래기술 모두가 자기 차량 주변의 한정된 영역만을 표시하는 것이며, 한정된 영역 이외의 주변 상황을 표시할 수 없기 때문에, 자기 차량의 비교적 가까운 영역에 존재하고 있음에도 불구하고, 자기 차량에 접근하는 다른 차량이나, 장애물, 노면 상황 등 주변 환경과 자기 차량 간의 관계를 포함한 자기 차량 주위의 교통 상황을 정확하게 운전자에게 알려줄 수 없다.
(특허 문헌 1) 일본 공개특허 제2013-133098호 공보 (특허 문헌 2) 일본 공개특허 제2010-166196호 공보
본 발명은 상기와 같은 종래의 문제점을 감안하여 이루어진 것으로서, 본 발명의 목적은 자기 차량 주위의 교통 상황을 정확하게 파악할 수 있는 차량의 부감 영상을 생성하는 시스템 및 그 방법을 제공함에 있다.
상기한 목적을 달성하기 위해, 본 발명의 일 양태에 따른 차량의 부감 영상 생성 시스템은, 자기 차량 및 주위 차량의 주행 상황을 파악할 수 있는 광역 부감 영상을 생성하는 부감 영상 생성 장치와, 상기 광역 부감 영상을 표시하는 표시 장치를 포함하고, 상기 부감 영상 생성 장치는, 차량과 사물 간의 통신(V2X)을 이용하여 다른 차량과 통신함으로써 복수의 촬영 영상을 포함하는 다른 차량의 촬영 영상 신호를 취득하며, 상기 취득된 다른 차량의 촬영 영상 신호를 이미지 합성하여 자기 차량 및 주위 차량을 포함하는 광역 부감 영상을 생성하고, 상기 생성된 자기 차량 및 주위 차량을 포함하는 광역 부감 영상을 상기 표시 장치에 표시하는 것을 특징으로 한다.
상기 부감 영상 생성 장치는 자기 차량의 촬영 영상 신호에 상기 취득된 다른 차량의 촬영 영상 신호를 이미지 합성하여 자기 차량을 다른 차량과 식별 가능하도록 표시한 상기 광역 부감 영상을 생성할 수 있다.
상기 부감 영상 생성 장치는, 자기 차량의 촬영 영상 신호 및 상기 취득된 다른 차량의 촬영 영상 신호로부터 차량 및 운전에 관련된 정보를 추출하고, 상기 추출된 차량 및 운전에 관련된 정보에 근거하여, 주위 차량의 움직임 예측에 관한 정보를 상기 광역 부감 영상에 중첩하여 표시할 수 있다.
상기 부감 영상 생성 장치는, 자기 차량의 내비게이션 정보 및 상기 차량과 사물 간의 통신(V2X)을 이용하여 취득된 다른 차량의 내비게이션 정보를 포함하는 정보 신호, 및 통신 수단을 개재한 클라우드 상의 정보 신호 중의 하나 이상을 취득하는 정보 신호 수신부를 더 구비하고, 상기 취득된 정보 신호를 처리하여 상기 광역 부감 영상에 중첩하여 표시할 수 있다.
상기 부감 영상 생성 장치는, 상기 취득된 다른 차량의 촬영 영상 신호 및 상기 취득된 정보 신호에 근거하여 다른 차량의 움직임 예측을 수행하고, 상기 광역 부감 영상에 상기 다른 차량의 움직임 예측의 표시를 할 수 있다.
상기 부감 영상 생성 장치는, 상기 취득된 다른 차량의 촬영 영상 신호 및 상기 취득된 정보 신호에 근거하여 다른 차량의 움직임 예측을 수행하고, 예측으로부터 빗나간 다른 차량의 정보를 거동이 부자연스러운 차량으로서 상기 광역 부감 영상에 표시할 수 있다.
상기 부감 영상 생성 장치는, 사용자의 조작에 의해, 상기 광역 부감 영상으로서 다른 지점 또는 다른 시점 위치의 부감 영상을 생성할 수 있다.
상기 부감 영상 생성 장치는, 상기 광역 부감 영상의 다른 차량의 영상을, 상기 다른 차량의 영상과 관련하여 부여된 차량의 위치 정보에 근거하여 취사선택하여 표시할 수 있다.
상기 부감 영상 생성 장치는, 사용자의 조작에 의해, 상기 광역 부감 영상의 영상 범위의 이동, 확대, 축소 표시를 할 수 있다.
상기 부감 영상 생성 장치는, 인프라에 설치된 카메라로부터의 영상 신호에 의해 다른 차량의 촬영 영상 신호를 취득할 수 있다.
상기 광역 부감 영상 및 상기 광역 부감 영상에 관한 정보는, 상기 차량과 사물간의 통신(V2X)을 이용하여 다른 차량에 제공될 수 있다.
상기 광역 부감 영상 및 상기 광역 부감 영상에 관한 정보는, 통신 수단을 개재하여 접속된 외부의 전자 장치에 제공될 수 있다.
상기 목적을 달성하기 위해, 본 발명의 다른 양태에 따른 차량의 부감 영상 생성 시스템은, 자기 차량 및 주위 차량의 주행 상황을 파악할 수 있는 광역 부감 영상을 생성하는 부감 영상 생성 장치와, 상기 광역 부감 영상을 표시하는 표시 장치를 포함하고, 상기 부감 영상 생성 장치는, 차량과 사물과의 통신(V2X)을 이용하여 도로에 설치된 교통 감시 카메라와 통신하여 도로 촬영 영상 신호를 취득하고, 상기 취득된 도로 촬영 영상 신호를 이미지 처리하여 자기 차량 및 주위 차량을 포함하는 광역 부감 영상을 생성하며, 상기 생성된 자기 차량 및 주위 차량을 포함하는 광역 부감 영상을 상기 표시 장치에 표시하는 것을 특징으로 한다.
상기 부감 영상 생성 장치는, 자기 차량의 촬영 영상 신호에 상기 취득된 도로 촬영 영상 신호를 이미지 합성하여 자기 차량을 다른 차량과 식별 가능하도록 표시한 상기 광역 부감 영상을 생성할 수 있다.
또한, 상기 목적을 달성하기 위해, 본 발명의 다른 양태에 따른 차량의 부감 영상 생성 방법은, 부감 영상 생성 장치 및 표시 장치를 포함하는 차량의 부감 영상 생성 시스템에 있어서 상기 부감 영상 생성 장치의 부감 영상 생성 방법이며, 차량과 사물과의 통신(V2X)을 이용하여 다른 차량과 통신하여 복수의 촬영 영상을 포함하는 다른 차량의 촬영 영상을 취득하는 단계와, 자기 차량의 촬영 영상 신호와 상기 취득된 다른 차량의 촬영 영상 신호를 이미지 합성하여 자기 차량을 다른 차량과 식별 가능하도록 표시한 광역 부감 영상을 생성하는 단계와, 상기 생성된 광역 부감 영상을 상기 표시 장치에 표시하는 단계를 가지는 것을 특징으로 한다.
상기 목적을 달성하기 위해, 본 발명의 다른 양태에 따른 차량의 부감 영상 생성 방법은, 부감 영상 생성 장치 및 표시 장치를 구비한 차량의 부감 영상 생성 시스템에 있어서 상기 부감 영상 생성 장치의 부감 영상 생성 방법이며, 차량과 사물과의 통신(V2X)을 이용하여 도로에 설치된 교통 감시 카메라와 통신하여 도로 촬영 영상 신호를 취득하는 단계와, 자기 차량의 촬영 영상 신호와 상기 취득된 도로 촬영 영상 신호를 이미지 합성하여 자기 차량을 다른 차량과 식별 가능하도록 표시한 광역 부감 영상을 생성하는 단계와, 상기 생성된 광역 부감 영상을 상기 표시 장치에 표시하는 단계를 구비하는 것을 특징으로 한다.
본 발명의 차량의 부감 영상 생성 시스템에 의하면, 자기 차량 및 다른 차량에 탑재된 카메라의 촬영 영상 신호를 기본으로 차량의 주행 상황을 파악할 수 있는 광역 부감 영상을 생성하는 것으로부터, 자기 차량 주위의 교통 상황을 정확하게 파악할 수 있다. 예를 들면, 차선 변경이나 우회전, 좌회전 등을 용이하게 수행할 수 있고, 특히 차선의 수가 많은 간선도로 및 혼잡한 도로, 복합 교차로, 고속도로 등에서 유효하며, 사고 방지에 기여할 수 있다.
또한, 자기 차량의 표시 장치로 자기 차량 주변의 부감 영상을 모니터링 하면서, 스마트폰 등으로 자기 차량 주변 이외의 영상, 예를 들면 자기 차량 전방의 영상을 동시에 모니터링 할 수 있고, 궁극적으로는 자기 차량을 주행시키지 않아도 목적지까지의 도로 상황을 경로에 따라 부감 영상으로서 모니터링 할 수 있다. 또한, 구체적인 목적지가 없어도 스마트폰 등의 스크롤 기능 등을 이용하여 부감 영상을 이동시키면서 모니터링 할 수 있는 어플리케이션의 이용도 가능하게 된다.
도 1은 본 발명의 일 실시 형태에 따른 것으로서 개별 차량의 카메라 영상을 이용하는 부감 영상 생성 시스템과 그 처리의 흐름을 나타내는 전체 구성도이다.
도 2는 종래의 AVM 영상을 생성하기 위해 자기 차량에 설치된 카메라의 위치와 그 촬영 영상을 도시한 도면이다.
도 3은 본 발명의 일 실시 형태에 따른 것으로서 개별 차량의 카메라 영상을 이용하는 부감 영상 생성의 플로우차트이다.
도 4는 본 발명의 일 실시 형태에 따른 것으로서 도로에 설치된 교통 감시 카메라를 이용하는 부감 영상 생성의 플로우차트이다.
도 5는 본 발명의 일 실시 형태에 의한 부감 영상의 예이다.
도 6은 본 발명의 일 실시 형태에 의한 도로 옆의 교통 감시 카메라와 차량과의 통신 상황을 도시한 도면이다.
도 7은 본 발명의 일 실시 형태에 의한 차량 간의 통신 상황을 도시한 도면이다.
도 8은 본 발명의 일 실시 형태에 의한 특징점(양(量)) 추출에 의한 이미지 합성의 일례를 도시한 도면이다.
이하, 본 발명에 따른 차량의 부감 영상 생성 시스템 및 그 방법을 실시하기 위한 형태의 구체적인 예를 도면을 참조하면서 상세하게 설명한다.
V2X(Vehicle to Eｖerything：차량과 사물과의 통신)는, V2N(Vehicle to Network：커넥티드 카), V2V(Vehicle to Vehicle：차량들 간의 통신), V2I(Vehicle to roadside Infrastructure：노변 차간 통신), V2P(Vehicleto Pedestrian：차량과 스마트폰 등과의 통신) 모두를 총칭하고, 제5세대(5G) 무선 이동 통신 방식에 의한 기가비트 통신 기술의 진행이나 자동 운전차의 기술 개발에 수반하여, 자동차 등의 차량용 무선 통신 기술로서 차량 간뿐만 아니라 도로에 설치된 기기나 보행자가 보유하는 스마트폰 등과 통신하는 V2X의 연구가 진행되고 있다.
도 1은 본 발명의 일 실시 형태에 의한 것으로서 개별 차량의 카메라 영상을 이용하는 부감 영상 생성 시스템과 그 처리의 흐름을 나타내는 전체 구성도이며, 도 2는 종래의 AVM(Around view monitor) 영상을 생성하기 위해 자기 차량(자차)에 설치된 카메라 위치와 그 촬영 영상을 도시한 도면이다.
도 1을 참조하면, 부감 영상 생성 시스템은 자기 차량(도 1에서 "자차")(10), 자기 차량 주변에 존재하는 복수의 다른 차량(도 1에서 "다른 차")(20), 부감 영상 생성 장치(30), 및 표시 장치(50)를 포함하여 구성된다.
자기 차량(10)은 부감 영상 생성 시스템을 구성하기 위해 필요한 장치들, 예를 들면, 차량의 전후 좌우 측에 배치되는 복수 개의 카메라를 구비하고, 자기 차량(10) 및 다른 차량(20)을 포함하는 주위의 촬영 영상을 취득하고, 취득된 촬영 영상을 부감 영상 생성부(30)에 제공한다.
여기서, 다른 차량(20)은 자기 차량(10)의 주변에 존재하는 복수 개로 이루어진 자기 차량(10) 이외의 차량일 수 있다. 이들 다른 차량(20)은 미리 부감 영상 생성 시스템에 접속되도록 구성되고, V2X를 이용하여 부감 영상 생성 장치(30)와 통신하며, 부감 영상 생성 장치(30)로부터의 요청에 기초하여, 자기 차량(10)과 마찬가지로, 부감 영상 생성 시스템을 구성하기 위해 필요한 장치, 예를 들어 차량의 전후 좌우 측에 구비된 복수 개의 카메라로부터, 다른 차량(20) 자신을 포함하는 주위의 촬영 영상을 취득하고, 취득된 촬영 영상을 부감 영상 생성 장치(30)에 제공한다.
자기 차량(10) 또는 다른 차량(20)에 구비되는 카메라로는, 예를 들어 도 2에 도시한 바와 같은 주정차 지원을 위한 AVM(Around view monitor)용 카메라가 될 수 있고, 이 AVM용 카메라로 촬영된 영상이 본 발명에서 이용될 수 있다. 또한, 차량에 구비된 카메라로는, 도 2의 AVM용 카메라로 한정되는 것은 아니며, 차간거리의 유지나 자동 브레이크용으로 설치된 카메라, 드라이브 레코더의 카메라 등 차량에 구비된 카메라라면 모두 이용 가능하다.
부감 영상 생성 장치(30)는 특징점(양) 추출부(32), 일치점 판정부(34), 영상 합성부(36), 부감 영상 생성부(38), 정보 신호 수신부(42), 정보 신호 처리부(44), 중첩 정보 생성부(46), 표시 영상 생성부(48)를 포함한다. 부감 영상 생성 장치(30)는 자기 차량(10)의 카 내비게이션(car navigation) 장치 등에 인스톨 되어 구비되거나, 혹은 자기 차량(10)에 구비된 무선 통신 수단을 개재하여 접속되는 클라우드 상의 서버(도시하지 않음) 내에 설치된 PC(퍼스널 컴퓨터)나 워크스테이션 등의 하드웨어 및 소프트웨어를 포함하여 구성될 수 있다.
특징점(양) 추출부(32)는 도 8을 참조하여 후술하는 특징량 추출 방법을 이용하여 대응점 탐색을 행하여 특징점(양)을 추출한다.
일치점 판정부(34)는 도 8을 참조하여 후술하는 대응점 탐색에 의해 추출된 대응점을 이용하여 영상 신호간의 일치점을 판정한다.
영상 합성부(36)는 일치점 판정부(34)의 결과를 이용하여 영상 신호의 합성을 수행한다.
부감 영상 생성부(38)는 영상 합성 처리 후의 영상의 시점 변환을 수행하여 부감 영상을 생성한다. 또한, 사용자 조작에 따라, 부감 영상의 위치 정보의 변경, 시점 위치의 변경, 확대 축소 등의 처리를 수행한다. 부감 영상으로서 표시되는 차량은 차량으로부터 취득된 촬영 영상에 관련된 정보로서 부여된 그 차량의 GPS 등의 위치 정보에 기초하여, 요구되는 범위에서 취사 선택된다.
정보 신호 수신부(42)는 자기 차량 및 다른 차량에 탑재된 카 내비게이션 장치 등으로부터, 차량에 관한 외형 등의 차량 관련 정보와 함께, GSP 등에 의한 위치 정보, 차속, 조타각 정보, 내비게이션 정보, 액셀, 브레이크, 방향 지시기 등의 운전 관련 정보의 신호를 수신한다.
정보 신호 처리부(44)는 정보 신호 수신부(42)로 얻어진 정보 신호를 통합하여 자기 차량의 주행의 보조가 되는 정보로 변환 처리한다.
중첩 정보 생성부(46)는 정보 신호 처리부(44)로 처리된 정보를 부감 영상에 알기 쉽게 표시하기 위한 중첩 정보를 생성한다. 또한, 사용자의 조작에 따라 부감 영상에 중첩되는 정보를 변경한다.
표시 영상 생성부(48)는 부감 영상 생성부(38)에서 생성된 영상과 중첩 정보 생성부(46)에서 생성된 중첩 정보를 표시 영상으로서 표시하는 신호로 변환하고, 표시 장치(50)에 표시 영상을 제공한다.
표시 장치(50)는 자기 차량(10)에 구비된 카 내비게이션(car navigation) 장치, 드라이브 레코더, 백미러에 내장된 표시 장치일 수 있고, 혹은 카 내비게이션 장치 등에 구비되는 근접 무선 통신이나 클라우드 상의 서버를 개재하여 무선 통신수단에 의해 접속되는 스마트폰 등의 무선 통신수단을 가지는 전자 장치에 구비된 표시 장치일 수 있다. 부감 영상 생성 장치(30)를 클라우드 상에 구비하는 경우는, 외출처의 스마트폰뿐만 아니라, 자택이나 오피스의 PC에 의해, 목적으로 하는 차량의 부감 영상의 장소 및 그 범위 등의 위치 정보의 변경, 시점 위치의 변경, 확대 축소 표시도 가능하게 된다.
도시하고 있지는 않지만, 부감 영상 생성 시스템에는, 터치 패널이나 음성 인식 장치 등에 의한 입력 수단, 각 구성 요소를 제어하는 제어 수단, 플래시 메모리나 SSD 등의 기억 수단, 근거리 무선 통신이나 휴대전화 통신망, 인터넷 등에 의한 외부와의 유선 무선 통신수단, 각종 센서를 포함하는 차내 기기와의 접속 수단 등이 포함된다.
도 3은 본 발명의 일 실시 형태에 의한 개개의 차량의 카메라 영상을 이용한 부감 영상 생성의 플로우차트이다.
도로를 주행 중인 복수 개의 차량(자기 차량(10), 다른 차량(20))은, 각각 차량에 탑재된 차재 카메라, 예를 들면 AVM용의 카메라를 이용하여 자신을 포함하는 전후 좌우의 주위를 각각 촬영하여 카메라 영상 신호를 취득하고(스텝 S301), 촬영된 전후 좌우 주위의 카메라 영상 신호로부터 AVM 영상 신호를 생성한다(스텝 S302).
자기 차량(10)은 V2X를 이용하여 주위를 주행 중인 복수 개의 차량(다른 차량(20))과 통신하고, 각각의 차량(다른 차량(20))으로부터 AVM 영상 신호를 수신하여 자기 차량(10)에 인스톨한다. 혹은, 생성된 AVM 영상 신호를 대신하여, 카메라로 촬영된 전후 좌우 주위의 촬영 영상 신호를 그대로 수신하여 자기 차량(10)의 부감 영상 생성 장치(30)에 인스톨한다(스텝 S303).
자기 차량(10)에 인스톨되어진 복수 개의 차량(다른 차량(20))의 촬영 영상 신호는 부감 영상 생성 장치(30)의 특징점(양) 추출부(32), 일치점 판정부(34), 영상 합성부(36), 부감 영상 생성부(38), 및 표시 영상 생성부(48)에 의해, 시점 변환 및 이미지 합성되어 자기 차량의 상공 또는 자기 차량을 포함하는 후방에서 본 광역 부감 영상을 생성한다(스텝 S304). 생성된 광역 부감 영상은 자기 차량의 내비게이션 장치, 근거리 무선 접속된 스마트폰, 인터넷 접속된 클라우드 상의 PC 등의 표시 장치에 제공된다.
부감 영상 생성 장치(30)는 카메라의 촬영 영상 신호 이외에, 자기 차량 및 다른 차량에 탑재된 카 내비게이션 장치 등으로부터, 차량에 관한 정보, 촬영 영상에 관련지을 수 있는 GSP 등에 의한 위치 정보, 차속, 조타각 정보, 내비게이션 정보, 액셀, 브레이크, 방향 지시기 등의 운전 관련 정보의 신호를 정보 신호 수신부(42)로 수신하고, 정보 신호 처리부(44), 중첩 정보 생성부(46), 및 표시 영상 생성부(48)에 의해, 광역 부감 영상에 중첩하여 표시한다. 광역 부감 영상에 중첩되는 정보 중 사용자 조작에 의해 필요한 정보가 취사 선택된다.
부감 영상 생성 장치(30)에 인스톨되어지는 정보는, 자기 차량(10) 및 다른 차량(20)의 카메라 촬영 영상 신호, 자기 차량(10) 및 다른 차량(20)의 내비게이션 정보 등의 차량으로부터의 정보 이외에, 다른 통신 수단을 개재한 클라우드 상의 정보 신호, 인프라스트럭쳐(infrastructure)(이하, "인프라"라 칭함) 정보 신호로서, 옥외에 설치된 감시 카메라의 영상 신호, 이하에 설명하는 도로에 설치된 교통 감시 카메라의 도로 촬영 영상 신호 등을 포함한다.
도 4는 본 발명의 일 실시 형태에 의한 도로에 설치된 교통 감시 카메라를 이용한 부감 영상 생성의 플로우차트이다.
본 실시 형태에서는 인프라 정보 신호로서 도로 상공에 설치된 교통 감시 카메라를 상정한다. 도 3에서 설명한 내용과 중복되는 설명은 간략하게 설명하거나 또는 생략한다. 도로 상공에 설치된 교통 감시 카메라는 도로상의 주행 차량을 촬영하여 카메라 영상 신호를 취득한다(스텝 S401).
자기 차량(10)은 V2X를 이용하여 도로 상공에 설치된 교통 감시 카메라와 통신하고, 교통 감시 카메라로부터 촬영된 주행 차량의 감시 영상 신호를 수신하여 필요한 범위의 촬영 영상을 자기 차량(10)의 부감 영상 생성 장치(30)에 인스톨한다(스텝 S402).
자기 차량(10)에 인스톨되어진 교통 감시 카메라의 감시 영상 신호는, 부감 영상 생성 장치(30)의 특징점(양) 추출부(32), 일치점 판정부(34), 영상 합성부(36), 부감 영상 생성부(38), 및 표시 영상 생성부(48)에 의해, 시점 변환 및 이미지 처리되어 자기 차량의 상공 또는 자기 차량을 포함하는 후방에서 본 광역 부감 영상을 생성한다(스텝 S403). 생성된 광역 부감 영상은 자기 차량의 내비게이션 장치, 근거리 무선 접속된 스마트폰, 인터넷 접속된 클라우드 상의 PC 등의 표시 장치에 제공된다.
부감 영상 생성 장치(30)에 인스톨되어지는 정보는, 자기 차량(10) 및 교통 감시 카메라의 감시 영상 신호, 자기 차량(10)의 내비게이션 정보 등의 차량으로부터의 정보 이외에, 다른 통신 수단을 개재한 클라우드 상의 정보 신호, 옥외에 설치된 감시 카메라의 영상 신호 등의 다른 인프라 정보 신호를 포함한다.
도 5는 본 발명의 일 실시 형태에 의한 부감 영상의 예이다.
도 5는 카 내비게이션 장치 등의 프런트 디스플레이 장치를 이용하여 자사의 콘솔에 자기 차량(10)을 포함하는 광역 부감 영상을 표시한 예이며, 우측 위 도면 및 우측 아래 도면에 확대 표시한 예를 도시한다. 자기 차량(10)에 탑승하고 있는 사용자는 시점 변환을 이용하여 높은 위치, 후방 위치로부터의 부감 영상을 볼 수 있게 됨으로써 다른 차량(20)의 움직임을 파악하는 것이 용이하게 된다. 또한, 각 차량의 카메라 촬영 정보 및 운전 관련 정보 혹은 인프라로부터의 정보에 의해 주위 차량의 이동 벡터를 검출하여 후방을 포함한 주위 차량의 이동 상황을 파악할 수 있고, 더욱이 전방의 도로 상황을 사전에 파악할 수도 있다.
예를 들면, 자기 차량(10)의 후방 10m로부터 자기 차량(10)을 포함하는 전방 영상을 표시하는 것으로, 자기 차량(10)을 포함하는 주변의 전체 상황을 부감적으로 확인 가능하게 되고, 후방 차량의 접근 상황을 포함한 주위 상황도 확인 가능하게 된다. 부감 영상 생성 장치(30)는 사용자의 조작에 따라, 속도가 빠를수록 전방에서 먼 곳까지 표시하는 등, 운전자의 취향이나 차속에 따른 부감 위치를 조절하는 기능을 가질 수 있다. 예를 들면, 방향 지시기와 연동하는 것으로 표시 범위를 변경하고, 이동 방향 측의 영상이나 후방 영상을 넓게 표시할 수 있다. 또한, 카 내비게이션 장치 등의 지도 정보와 제휴하는 것으로 도로의 커브 상황에 의해 지면 표시의 각도 조절 등을 실시할 수 있다.
광역 부감 영상에는 부감 영상에 관련된 정보로서 각종 속성 정보가 표시된다. 예를 들면, 우측 위 도면 및 우측 아래 도면의 부감 영상을 참조하면, 자기 차량(10)이 다른 차량(20)과 식별 가능하도록 테두리로 둘러싸여 표시될 수 있다. 자기 차량(10)을 구별하기 위한 식별 표시는, 테두리로 둘러싸는 것에 한정되는 것은 아니고, 예를 들어 하이라이트, 플래시, 색 변경, 다른 마킹 수단 등이 사용될 수 있다. 또한, 자기 차량의 촬영 영상 신호 및 취득된 다른 차량의 촬영 영상 신호로부터 차량 및 운전에 관련된 정보를 추출함으로써, 광역 부감 영상에는 주위 차량의 움직임 예측에 관한 정보가 표시될 수 있다. 예를 들면, 취득된 대상이 되는 차량의 방향 지시기의 영상으로부터, 우측 위 도면에는 「합류」하려고 하는 차량, 「진로 변경」하려고 하는 차량이 그 방향과 함께 표시된다. 더욱이, V2X를 이용한 다른 차량의 내비게이션 정보를 포함하는 정보 신호나 통신 수단을 개재한 클라우드 상의 정보 신호를 취득하여 다양한 정보 신호를 처리함으로써 광역 부감 영상에는 보다 상세하고 더욱 정확한 정보가 표시될 수 있다. 예를 들면, 우측 아래 도면에는 「좌회전 차선이 정체」가 표시될 수 있고, 「좌회전」하려고 하는 복수의 차량이 표시될 수 있으며, 부감 영상 생성 장치(30)는 자기 차량(10) 전방의 차량의 대부분이 「좌회전」한다고 판단하여 「차선 변경 지시」를 표시하여 오른쪽 차선으로 변경시키려고 할 수 있다.
종래에는 직진하고 싶어도 전방으로 좌회전 차가 많은지 아닌지를 몰랐지만, V2X와 카 내비게이션 장치를 제휴시키는 것으로, 부감 영상 생성 장치(30)는 좌회전 차가 많은 레인(차선)을 자기 차량(10)이 주행하고 있는 경우에 주행 레인을 변경하도록 미리 지시하는 것이 가능하게 된다.
다른 차량(20)의 내비게이션 정보 등에서 차량의 차선 변경 등 운전 관련 정보를 수집함으로써 이러한 차량의 움직임을 추정하여 표시하는 것이 가능하게 된다. 또한, 도로 혼잡 등으로 인해 오토바이 등의 소형 차량이 대형 차량에 의해 숨겨지는 경우에는, 숨겨진 부분의 사각에 과거의 영상을 합성하여 보완 표시함과 더불어 숨은 사각인 것을 명시하도록 할 수 있다.
광역 부감 영상에 표시되는 상술한 속성 정보는, 자기 차량(10) 및 다른 차량(20)의 촬영 영상 신호로부터 촬영 영상에 관한 정보, 예를 들면 차량 간의 빈 공간을 추출하여, 차량이 숨지 않도록 중첩하여 붙일 수 있다. 혹은, 자기 차량(10) 및 다른 차량(20)의 차량에 관한 외형 등의 정보나 위치 정보, 차속, 내비게이션 정보, 턴 시그널 등의 운전 관련 정보에 기초하여 중첩 스페이스를 추출한다.
스마트폰과 연계하는 것으로, 자기 차량(10)의 카 내비게이션 장치 등의 표시 장치로 자기 차량 주변의 부감 영상을 모니터하면서, 보조석이나 후부 시트의 사용자가 영상을 자유롭게 변경하여 볼 수 있고, 복수의 사용자가 다양한 각도나 다양한 시점에서 운전 상황을 모니터 할 수 있다. 더욱이, 스마트폰 등으로 자기 차량 주변 이외의 영상, 예를 들면, 자기 차량보다 100m 전방의 영상이나 더욱 전방의 영상을 동시에 모니터링 하는 것도 가능하고, 궁극적으로는 자기 차량을 주행시키지 않아도 목적지까지의 도로 상황을 경로에 따라 부감 영상으로서 모니터링 할 수도 있다. 또한, 구체적인 목적지가 없어도 스마트폰 등의 스크롤 기능 등을 이용하여 부감 영상을 이동시키면서 모니터링 한다고 하는 어플리케이션으로서의 이용도 가능하게 된다.
본 발명의 차량의 부감 영상 생성 시스템을 탑재하고 있지 않은 차량에 대해서도, V2X를 이용하여 자기 차량(10)에서 이용하고 있는 부감 영상을 다른 차량(20)에 제공하는 것으로, 널리 안전 주행을 위한 정보 제시에 공헌할 수 있다. 또한, 상술한 부감 영상을 클라우드 상에 보존하는 것으로, 사고시의 상황을 파악할 수도 있고, 사고 이외에도 도로 정비자가 도로 상황을 모니터링 하여, 도로의 보수 점검 작업에도 응용할 수 있다. 더욱이, 전방의 번호판을 읽어 내어, 빅 데이터 등의 클라우드 상의 정보 및 인공지능(AI：Artificial Intelligence)을 활용하는 것으로, 번호판 정보를 기초로 과거의 운전 상황에 관한 정보로부터 요주의 차량을 특정하여 표시함과 동시에, 그 정보를 기초로 운전 보조의 내비게이션을 행하도록 구성할 수도 있다. 또한, 클라우드 상의 서버에 부감 영상 생성 장치(30)를 설치하는 경우는, 도로 상공이나 도로 옆 등의 인프라에 설치된 교통 정보 표시용의 대형 디스플레이상에, 교통 정체 정보와 함께 교통 관련 정보가 중첩된 부감 영상을 표시할 수도 있다.
도 6은 본 발명의 도로 옆의 교통 감시 카메라와 차량과의 통신 상황을 도시한 도면이며, 도 7은 본 발명의 일 실시 형태에 의한 차량 간의 통신 상황을 도시한 도면이다.
도 6 및 도 7을 참조하면서 자기 차량(10) 위치 및 다른 차량(20)의 위치를 특정하는 방법에 대해 설명한다. 각 차량은 카 내비게이션 장치에 구비된 GPS 등을 이용하여 위치 정보를 특정한다. 자기 차량(10)의 위치 정보는 자기 차량(10)의 도로상의 위치를 추정하기 위해서 사용하고, 다른 차량(20)의 위치 정보는 V2X를 이용하여 취득하고 다른 차량(20)의 도로상의 위치를 추정하기 위해서 사용한다. GPS 정보를 취득할 수 없는 경우는, 자이로 센서, 가속도 센서, LIDAR(LIght Detection and Ranging ) 등의 차재 센서와 맵 매칭 기술 등을 이용하여 위치 정보를 보완한다. 부감 영상 생성 장치(30)는 자기 차량(10) 및 다른 차량(20)의 카 내비게이션 장치 등으로부터 위치 정보, 예측 진행 방향을 취득하는 것으로, 카 내비게이션 장치 등의 표시 장치에 표시되는 부감 영상에 중첩하여, 추정된 예측 이동 방향을 표시한다.
도 6에 도시하는 바와 같이, 부감 영상 생성 장치(30)는 자기 차량(10)의 카메라의 촬영 영상 신호를 수신하여 취득함과 함께, V2X(V2V)를 이용하여 다른 차량(20)과 통신하여 다른 차량(20)의 카메라의 촬영 영상 신호를 수신하여 취득하거나, 혹은 V2X(V2I)를 이용하여 도로에 설치된 교통 감시 카메라 등의 인프라 설비와 통신하여 도로 촬영 영상을 취득한다. 이때, 부감 영상 생성 장치(30)는, 동시에 자기 차량(10) 및 다른 차량(20)의 차량에 관한 정보, 위치 정보, 내비게이션 정보 등의 운전 관련 정보를 취득하고, 인프라 설비 또는 다른 통신 수단을 개재하여 클라우드 로부터 다지점의 인프라 설비의 정보를 포함한 다양한 교통 관련 정보 신호를 취득한다. 부감 영상 생성 장치(30)는 복수의 다른 차량(20)의 촬영 영상을 이미지 합성 및 시점 변환을 행하여 광역 부감 영상을 생성하거나, 혹은 V2X(V2I)를 이용하여 인프라 설비로부터 취득된 도로 촬영 영상을 이미지 처리하여 시점 변환된 광역 부감 영상을 생성한다. 다른 차량(20)로부터의 정보 및 인프라 설비로부터의 정보는, 어느 한쪽에 한정되는 것은 아니고, 양자의 정보를 통합적으로 이용할 수도 있다.
도 5에 도시한 바와 같은 부감 영상에 중첩하는 정보에 대해 더 설명한다. V2X에 의한 주변 차량으로부터의 차량 관련 정보나 내비게이션 정보 등의 운전 관련 정보, V2X에 의한 인프라 설비로부터의 정보, 클라우드 상에 보존된 과거의 정체 정보 등을 통합적으로 클라우드 상에 빅 데이터로서 축적하고, AI를 이용하여 빅 데이터를 해석하는 것으로 목적에 맞는 정보를 취득하여 부감 영상에 중첩하여 표시한다. 예를 들면, 좌회전 차, 직진차, 우회전차 등의 차량 진행 정보를 통합하여, 좌회전 차, 우회전차의 감속에 의해 속도 저하에 말려 들어가지 않도록 직진차에 대해서 빨리 진로 변경을 지시하는 것으로, 전체의 통행 차량의 흐름을 원활하게 한다.
이러한 응용예를 더 열거하면, 예를 들면, 좌회전 차가 많기 때문에 좌측 주행 레인에 정체 발생이 예측되는 경우, 좌측 레인의 차량에 추월 차선을 통행하도록 빨리 지시함과 함께, 순조롭게 합류할 수 있도록 주변의 차량에도 지시한다. 예를 들면, 도로에 설치된 교통 정보 표시판에도, 직진차는 현재의 차선을 주행하도록 지시한다. 예를 들면, 각 차량의 내비게이션 정보 및 현재까지의 주행 이력을 이용하여, 방향 지시를 내리지 않는 차량의 주행 경로를 추정하여 빨리 주행 경로를 지시한다. 예를 들면, 예측으로부터 빗나간 차량을 거동이 부자연스러운 차량으로서 표시한다. 예를 들면, 좌회전하는 경우보다 직진 및 우회전하는 다른 경로가 보다 빠르게 목적지까지 도착한다고 상정되는 경우, 좌회전하지 않는 것이 에코 운전이 되는 경우 등, 운전자가 선택하기 쉽게 경로 정보를 표시한다. 예를 들면, 운전자의 주행 경로의 선호도를 학습하여, 정체 상황에서도 진로의 변경을 하고 싶지 않은 경우나, 새로운 도로를 개척하는 것을 좋아하는 사용자에 대해서는, 그 기호에 맞춘 내비게이션을 실행한다.
도 8은 본 발명의 일 실시 형태에 의한 특징점(양) 추출에 의한 이미지 합성의 일례를 도시하는 도면이다.
부감 영상 생성 장치(30)는 자기 차량(10)의 카메라의 촬영 영상 신호, V2X를 이용하여 취득된 다른 차량(20)의 카메라의 촬영 영상 신호, V2X를 이용하여 취득된 교통 감시 카메라 등의 인프라 설비로부터의 도로 촬영 영상 신호를 입력하여, 특징점(양) 추출부(32)에서, 각 이미지별로 검출한 특징량에 대응하는 국소 특징량에 의한 이미지 간의 대응점 탐색을 행한다. 특징점(양) 추출부(32)에서 추출된 각 특징점에 대해, 일치점 판정부(34)에서 이미지 간의 이동량, 투영 변환(호모그라피) 추정 등을 이용하여 대응점을 이용한 이미지 간 이동, 변경량의 추정을 행하여 각 이미지에 대한 일치점의 판정을 행한다. 영상 합성부(36)는 일치점 판정부(34)에서 구한 이동, 변경량을 이용하여 특징점의 매칭 처리를 행하고, 각 이미지의 화소값을 블렌드 처리하여 자연스러운 파노라마 이미지가 되도록 합성 처리하여 합성 영상을 생성한다.
특징량, 특징점을 추출하여 이미지 인식이나 이미지 합성하는 알고리즘의 상세한 설명은, 공지의 문헌이나 자료를 참조하는 것으로 이해된다. 본 명세서에서는, 본 발명의 요지를 애매하게 할 우려가 있기 때문에, 특징량의 추출 방법에 대해서는 이하에 간단하게 설명한다.
특징량으로서는, SIFT(Scale-inｖariant feature transform), SURF(Speeded-Up Robust Features), AKAZE(Accelerated KAZE), ORB(Oriented FAST and Rotated BRIEF) 등이, 회전, 확대·축소, 조명 변화 등에 강한 로버스트인 특징량으로서 알려져 있고, 이것들을 이용하여 이미지 합성에 사용하기 위한 특징량 추출을 행한다.
예를 들면, SIFT(스케일 불변의 특징 변환) 특징량을 사용하는 경우, 헤세 행렬 및 콘트라스트를 기초로 키포인트(특징점)를 검출하여 키포인트의 오리엔테이션을 산출하고, 주변 영역을 오리엔테이션 방향으로 회전시켜, 키포인트를 중심으로서 키포인트를 가지는 스케일을 가우스 창 내의 원 영역 내에서 경사 정보를 구한다. 예를 들면, 주변 영역을 1변당 4블록의 합계 16블록으로 분할하고, 블록마다 8방향(45도씩)의 경사 방향 히스토그램을 작성하고, 히스토그램 = 4블록×4블록×8방향 = 128차원의 특징 벡터를 생성한다. 128차원의 각 특징 벡터의 길이를 벡터의 총 합계로 정규화하고, 조명 변화에 강한 특징량을 취득한다.
다른 이미지 간에 추출된 키포인트의 특징량을 비교하는 것으로 이미지 간의 대응점의 탐색이 가능하게 된다. SIFT 특징량을 사용하는 대응점의 탐색으로 이미지 매칭을 행하고, 2 이미지 간에 추출된 키포인트의 특징량의 거리 계산으로 대응점을 탐색하고, 예를 들면 128차원의 SIFT 특징량 간의 유클리드 거리를 산출하고, 산출된 거리의 가장 작은 점을 대응점으로 한다.
이상으로 본 발명의 실시 형태에 대해 도면을 참조하면서 상세하게 설명하였지만, 본 발명은 상술한 실시 형태로 한정되는 것은 아니고, 본 발명의 기술적 범위로부터 일탈하지 않는 범위 내에서 다양하게 변경 실시하는 것이 가능하다.
10 : 자기 차량 20 : 다른 차량
30 : 부감 영상 생성 장치 32 : 특징점(양) 추출부
34 : 일치점 판정부 36 : 영상 합성부
38 : 부감 영상 생성부 42 : 정보 신호 수신부
44 : 정보 신호 처리부 46 : 중첩 정보 생성부
48 : 표시 영상 생성부 50 : 표시 장치

Claims (16)

  1. 자기 차량 및 주위 차량의 주행 상황을 파악할 수 있는 광역 부감 영상을 생성하는 부감 영상 생성 장치와,
    상기 광역 부감 영상을 표시하는 표시 장치를 포함하고,
    상기 부감 영상 생성 장치는,
    차량과 사물 간의 통신(V2X)을 이용하여 다른 차량과 통신함으로써 복수의 촬영 영상을 포함하는 다른 차량의 촬영 영상 신호를 취득하고,
    상기 취득된 다른 차량의 촬영 영상 신호를 이미지 합성하여 자기 차량 및 주위 차량을 포함하는 광역 부감 영상을 생성하며,
    상기 생성된 자기 차량 및 주위 차량을 포함하는 광역 부감 영상을 상기 표시 장치에 표시하는 것을 특징으로 하는 차량의 부감 영상 생성 시스템.
  2. 제 1 항에 있어서,
    상기 부감 영상 생성 장치는 자기 차량의 촬영 영상 신호에 상기 취득된 다른 차량의 촬영 영상 신호를 이미지 합성하여 자기 차량을 다른 차량과의 식별이 가능하도록 표시한 상기 광역 부감 영상을 생성하는 것을 특징으로 하는 차량의 부감 영상 생성 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 부감 영상 생성 장치는,
    자기 차량의 촬영 영상 신호 및 상기 취득된 다른 차량의 촬영 영상 신호로부터 차량 및 운전에 관련된 정보를 추출하고,
    상기 추출된 차량 및 운전에 관련된 정보에 기초하여 주위 차량의 움직임 예측에 관한 정보를 상기 광역 부감 영상에 중첩하여 표시하는 것을 특징으로 하는 차량의 부감 영상 생성 시스템.
  4. 제 1 항 내지 제 3 항의 어느 한 항에 있어서,
    상기 부감 영상 생성 장치는,
    자기 차량의 내비게이션 정보 및 상기 차량과 사물 간의 통신(V2X)을 이용하여 취득된 다른 차량의 내비게이션 정보를 포함하는 정보 신호, 및 통신 수단을 개재한 클라우드 상의 정보 신호 중 하나 이상을 취득하는 정보 신호 수신부를 더 구비하고,
    상기 취득된 정보 신호를 처리하여 상기 광역 부감 영상에 중첩하여 표시하는 것을 특징으로 하는 차량의 부감 영상 생성 시스템.
  5. 제 4 항에 있어서,
    상기 부감 영상 생성 장치는,
    상기 취득된 다른 차량의 촬영 영상 신호 및 상기 취득된 정보 신호에 기초하여 다른 차량의 움직임 예측을 수행하고,
    상기 광역 부감 영상에 상기 다른 차량의 움직임 예측의 표시를 수행하는 것을 특징으로 하는 차량의 부감 영상 생성 시스템.
  6. 제 4 항에 있어서,
    상기 부감 영상 생성 장치는,
    상기 취득된 다른 차량의 촬영 영상 신호 및 상기 취득된 정보 신호에 기초하여 다른 차량의 움직임 예측을 수행하고,
    예측으로부터 빗나간 다른 차량의 정보를 거동이 부자연스러운 차량으로서 상기 광역 부감 영상에 표시하는 것을 특징으로 하는 차량의 부감 영상 생성 시스템.
  7. 제 1 항에 있어서,
    상기 부감 영상 생성 장치는 사용자의 조작에 의해, 상기 광역 부감 영상으로서 다른 지점 또는 다른 시점 위치의 부감 영상을 생성하는 것을 특징으로 하는 차량의 부감 영상 생성 시스템.
  8. 제 1 항에 있어서,
    상기 부감 영상 생성 장치는 상기 광역 부감 영상의 다른 차량 영상을, 상기 다른 차량의 영상과 관련하여 부여된 차량의 위치 정보에 기초하여 취사선택하여 표시하는 것을 특징으로 하는 차량의 부감 영상 생성 시스템.
  9. 제 1 항에 있어서,
    상기 부감 영상 생성 장치는 사용자의 조작에 의해, 상기 광역 부감 영상의 영상 범위의 이동, 확대, 축소 표시를 수행하는 것을 특징으로 하는 차량의 부감 영상 생성 시스템.
  10. 제 1 항에 있어서,
    상기 부감 영상 생성 장치는 인프라에 설치된 카메라로부터의 영상 신호에 의해 다른 차량의 촬영 영상 신호를 취득하는 것을 특징으로 하는 차량의 부감 영상 생성 시스템.
  11. 제 2 항에 있어서,
    상기 광역 부감 영상 및 상기 광역 부감 영상에 관한 정보는, 상기 차량과 사물 간의 통신(V2X)을 이용하여 다른 차량에 제공되는 것을 특징으로 하는 차량의 부감 영상 생성 시스템.
  12. 제 2 항에 있어서,
    상기 광역 부감 영상 및 상기 광역 부감 영상에 관한 정보는, 통신 수단을 개재하여 접속된 외부의 전자 장치에 제공되는 것을 특징으로 하는 차량의 부감 영상 생성 시스템.
  13. 자기 차량 및 주위 차량의 주행 상황을 파악할 수 있는 광역 부감 영상을 생성하는 부감 영상 생성 장치와,
    상기 광역 부감 영상을 표시하는 표시 장치를 포함하고,
    상기 부감 영상 생성 장치는,
    차량과 사물과의 통신(V2X)을 이용하여 도로에 설치된 교통 감시 카메라와 통신하여 도로 촬영 영상 신호를 취득하고,
    상기 취득된 도로 촬영 영상 신호를 이미지 처리하여 자기 차량 및 주위 차량을 포함하는 광역 부감 영상을 생성하며,
    상기 생성된 자기 차량 및 주위 차량을 포함하는 광역 부감 영상을 상기 표시 장치에 표시하는 것을 특징으로 하는 차량의 부감 영상 생성 시스템.
  14. 제 13 항에 있어서,
    상기 부감 영상 생성 장치는 자기 차량의 촬영 영상 신호에 상기 취득된 도로 촬영 영상 신호를 이미지 합성하여 자기 차량을 다른 차량과 식별 가능하도록 표시한 상기 광역 부감 영상을 생성하는 것을 특징으로 하는 차량의 부감 영상 생성 시스템.
  15. 부감 영상 생성 장치 및 표시 장치를 포함하는 차량의 부감 영상 생성 시스템에 있어서 상기 부감 영상 생성 장치의 부감 영상 생성 방법이며,
    차량과 사물과의 통신(V2X)을 이용하여 다른 차량과 통신하여 복수의 촬영 영상을 포함하는 다른 차량의 촬영 영상을 취득하는 단계와,
    자기 차량의 촬영 영상 신호와 상기 취득된 다른 차량의 촬영 영상 신호를 이미지 합성하여 자기 차량을 다른 차량과 식별 가능하도록 표시한 광역 부감 영상을 생성하는 단계와,
    상기 생성된 광역 부감 영상을 상기 표시 장치에 표시하는 단계를 포함하는 차량의 부감 영상 생성 방법.
  16. 부감 영상 생성 장치 및 표시 장치를 포함하는 차량의 부감 영상 생성 시스템에 있어서 상기 부감 영상 생성 장치의 부감 영상 생성 방법이며,
    차량과 사물과의 통신(V2X)을 이용하여 도로에 설치된 교통 감시 카메라와 통신하여 도로 촬영 영상 신호를 취득하는 단계와,
    자기 차량의 촬영 영상 신호와 상기 취득된 도로 촬영 영상 신호를 이미지 합성하여 자기 차량을 다른 차량과 식별 가능하도록 표시한 광역 부감 영상을 생성하는 단계와,
    상기 생성된 광역 부감 영상을 상기 표시 장치에 표시하는 단계를 포함하는 차량의 부감 영상의 생성 방법.
KR1020180170097A 2018-10-16 2018-12-27 차량의 부감 영상 생성 시스템 및 그 방법 KR20200043252A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2018-195310 2018-10-16
JP2018195310A JP2020065141A (ja) 2018-10-16 2018-10-16 車両の俯瞰映像生成システム及びその方法

Publications (1)

Publication Number Publication Date
KR20200043252A true KR20200043252A (ko) 2020-04-27

Family

ID=70160978

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180170097A KR20200043252A (ko) 2018-10-16 2018-12-27 차량의 부감 영상 생성 시스템 및 그 방법

Country Status (3)

Country Link
US (1) US11082616B2 (ko)
JP (1) JP2020065141A (ko)
KR (1) KR20200043252A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861359B2 (en) * 2017-05-16 2020-12-08 Texas Instruments Incorporated Surround-view with seamless transition to 3D view system and method
US11346685B2 (en) * 2018-11-09 2022-05-31 Toyota Motor North America, Inc. Parking exit coordination systems and methods
US20210269063A1 (en) * 2019-05-31 2021-09-02 Lg Electronics Inc. Electronic device for vehicles and operating method of electronic device for vehicle
CN113183878A (zh) * 2021-04-15 2021-07-30 杭州鸿泉物联网技术股份有限公司 360度环视方法、装置、车辆和电子设备
KR102560104B1 (ko) * 2021-08-19 2023-07-31 한국생산기술연구원 무인 자율주행 차량의 안전성 확보를 위한 관제차량

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010166196A (ja) 2009-01-14 2010-07-29 Clarion Co Ltd 車両周辺監視装置
KR20130133098A (ko) 2011-04-22 2013-12-05 퀄컴 인코포레이티드 피어 투 피어 네트워크에서의 적응적 자원 다중화를 위한 방법들 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101327736B1 (ko) 2011-12-23 2013-11-11 현대자동차주식회사 Ａｖｍ탑뷰 기반 주차지원 시스템
US9639968B2 (en) * 2014-02-18 2017-05-02 Harman International Industries, Inc. Generating an augmented view of a location of interest
US10349011B2 (en) * 2017-08-14 2019-07-09 GM Global Technology Operations LLC System and method for improved obstacle awareness in using a V2X communications system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010166196A (ja) 2009-01-14 2010-07-29 Clarion Co Ltd 車両周辺監視装置
KR20130133098A (ko) 2011-04-22 2013-12-05 퀄컴 인코포레이티드 피어 투 피어 네트워크에서의 적응적 자원 다중화를 위한 방법들 및 장치

Also Published As

Publication number Publication date
JP2020065141A (ja) 2020-04-23
US20200120273A1 (en) 2020-04-16
US11082616B2 (en) 2021-08-03

Similar Documents

Publication Publication Date Title
JP5070809B2 (ja) 運転支援装置、運転支援方法、及び、プログラム
KR20200043252A (ko) 차량의 부감 영상 생성 시스템 및 그 방법
US10318782B2 (en) Image processing device, image processing system, and image processing method
EP3496033A1 (en) Travel assistance device and computer program
JP4752836B2 (ja) 道路環境情報通知装置及び道路環境情報通知プログラム
CN109426256A (zh) 自动驾驶车辆的基于驾驶员意图的车道辅助系统
JP5459137B2 (ja) 交差点案内システム
JP2016218732A (ja) 自動車周辺情報表示システム
CN111164652B (zh) 移动体图像生成记录显示装置和程序产品
JP4093026B2 (ja) 道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラム
JP6993428B2 (ja) 教師データ生成装置
CN107406072A (zh) 车辆辅助系统
JP2021026554A (ja) 走行支援方法、道路撮影画像収集方法、および路側装置
JP2017073008A (ja) 車両用運転支援システムおよび運転支援方法
JP2008097279A (ja) 車両外部情報表示装置
JP7285799B2 (ja) 事故分析装置、事故分析方法及びプログラム
CN112445204A (zh) 工地中的物体移动导航方法、装置和计算机设备
EP3859390A1 (en) Method and system for rendering a representation of an evinronment of a vehicle
US11189162B2 (en) Information processing system, program, and information processing method
JP5825713B2 (ja) 車両用危険場面再現装置
JP2009074888A (ja) 車間距離計測装置
JP2022006844A (ja) 物体検出方法及び物体検出装置
JP2005092516A (ja) 車載用移動体検出装置
JP2022056153A (ja) 一時停止検出装置、一時停止検出システム、及び一時停止検出プログラム
JP2017126213A (ja) 交差点状況確認システム、撮像装置、車載装置、交差点状況確認プログラムおよび交差点状況確認方法