KR20190047279A - 차량에 구비된 카메라를 이용한 차량 주변 영상 합성 방법 및 그 장치 - Google Patents

차량에 구비된 카메라를 이용한 차량 주변 영상 합성 방법 및 그 장치 Download PDF

Info

Publication number
KR20190047279A
KR20190047279A KR1020170140972A KR20170140972A KR20190047279A KR 20190047279 A KR20190047279 A KR 20190047279A KR 1020170140972 A KR1020170140972 A KR 1020170140972A KR 20170140972 A KR20170140972 A KR 20170140972A KR 20190047279 A KR20190047279 A KR 20190047279A
Authority
KR
South Korea
Prior art keywords
interest
image
vehicle
selecting
backward
Prior art date
Application number
KR1020170140972A
Other languages
English (en)
Inventor
박두원
윤재웅
김선진
김민규
권기상
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020170140972A priority Critical patent/KR20190047279A/ko
Priority to US16/102,024 priority patent/US20190126825A1/en
Publication of KR20190047279A publication Critical patent/KR20190047279A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H04N5/2257—
    • H04N5/23296—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

차량 주변 영상 합성 방법이 제공된다. 본 발명의 일 실시예에 따른 차량 주변 영상 합성 방법은 상기 후방 영상에서 관심 객체를 선정하는 단계와, 상기 관심 객체를 기준으로 상기 후방 영상의 뷰 영역을 조정하는 단계와, 상기 뷰 영역에 따른 합성 기준선을 반영하여 상기 좌측 영상, 상기 후방 영상 및 상기 우측 영상을 합성 하는 단계를 포함한다.

Description

차량에 구비된 카메라를 이용한 차량 주변 영상 합성 방법 및 그 장치{METHOD AND APPARATUS FOR COMPOSITING A VEHICLE PERIPHERY IMAGES USING CAMERAS PROVIDED IN VEHICLE}
본 발명은 차량에 구비된 카메라를 이용한 차량 주변 영상 합성 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 차량에 구비된 후방 카메라가 획득한 후방 영상 내에 관심 객체를 선정하고, 상기 관심 객체를 기준으로 뷰 영역을 조정하고, 상기 뷰 영역에 따른 합성 기준선을 영상에 반영하여 상기 차량의 후방 영상을 상기 차량의 좌측 영상 및 상기 우측 영상에 합성하는 방법 및 그 장치에 관한 것이다.
최근 들어서, 차량의 사이드 미러를 대체하는 미러리스(mirrorless) 기술이 개발되고 있다. 상기 미러리스 기술은, 상기 차량의 좌우측에 구비된 사이드 카메라를 이용하여 좌측 영상 및 우측 영상을 촬영하여 상기 차량 내부에 구비된 영상 출력부를 통하여 상기 차량의 운전자에게 차량의 주변 상황의 영상을 제공할 수 있다.
상기 미러리스 기술에 더하여, 기존 차량에 후방 카메라가 설치가 된 인프라를 이용하면 상기 차량의 주변 영상을 일거에 제공할 수 있다.
그러나, 상기 후방 카메라와 상기 사이드 카메라가 구비된 위치가 상이하여 촬영한 각각의 영상은 원근감의 차이가 발생하고, 촬영되는 영상의 영역이 중복되어, 상기 후방 카메라와 상기 사이드 카메라가 촬영한 각각의 영상을 1개의 영상 출력부에 제공하게 되면 운전자에게 후방 상황에 대한 혼란을 주는 문제점이 있다.
한국등록특허 제10-0436812호 (2002.10.11 공개)
본 발명이 해결하고자 하는 기술적 과제는, 차량의 후방 영상에서 관심 객체를 선정하고, 상기 관심 객체를 기준으로 상기 후방 영상의 뷰 영역을 조정하고, 상기 뷰 영역에 따른 합성 기준선을 반영한 복수의 영상을 합성 하는 방법 및 그 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 기술적 과제는, 상기 차량의 후방 영상과 상기 차량의 좌측 영상 및 상기 차량의 우측 영상의 크기 비율의 차이를 해소할 수 있는 보정 방법 및 그 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 상기 차량의 후방 영상에서 감지된 객체의 정보를 분석하여 상기 객체를 관심 객체로 선정한 영상 합성 방법 및 그 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 상기 관심 객체를 기준으로 상기 후방의 뷰 영역을 조정한 영상 합성 방법 및 그 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 차량 주변의 영상에서 복수의 객체를 감지하고, 상기 복수의 객체 중에서 몇몇 후보 관심 객체를 설정하고, 상기 후보 관심 객체에서 한 개의 관심 객체를 선정한 영상 합성 방법 및 그 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 상기 사이드 카메라에 구비된 회전 장치를 이용하고 상기 영상 뷰를 이동할 수 있는 영상 합성 방법 및 그 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 차량 주변 영상 합성 방법은, 상기 후방 영상에서 관심 객체를 선정하는 단계와 상기 관심 객체를 기준으로 상기 후방 영상의 뷰 영역을 조정하는 단계와 상기 뷰 영역에 따른 합성 기준선을 반영하여 상기 좌측 영상, 상기 후방 영상 및 상기 우측 영상을 합성 하는 단계를 포함한다.
일 실시예에서, 차량 주변 영상 합성 방법은, 상기 좌측 영상 및 상기 우측 영상을 확대 보정하는 단계를 더 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 상기 후방 영상을 축소 보정하는 단계를 더 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 상기 후방 영상에서 관심 객체를 선정하는 단계는 상기 차량에 구비된 센서에서 감지된 객체를 상기 관심 객체를 선정하는 단계를 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 상기 후방 영상에서 관심 객체를 선정하는 단계는 상기 차량과 상기 객체 간의 거리가 특정 거리 이하인 경우 관심 객체로 선정하는 단계를 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 상기 후방 영상에서 관심 객체를 선정하는 단계는 상기 객체의 상대 속도가 특정 속도 이상인 경우 관심 객체로 선정하는 단계를 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 상기 후방 영상에서 관심 객체를 선정하는 단계는 상기 객체의 모션 벡터를 분석하여 충돌 가능성을 판단하고, 상기 판단 결과 충돌 가능성이 존재하는 경우 상기 객체를 관심 객체로 선정하는 단계를 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 상기 후방 영상에서 관심 객체를 선정하는 단계는 상기 객체의 주행 안정성에 대한 스코어를 산정하고, 상기 스코어가 일정 값 미만이면, 상기 객체를 관심 객체로 선정하는 단계를 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 상기 후방 영상에서 관심 객체를 선정하는 단계는 상기 차량의 조향 방향을 인식하고, 상기 객체의 이동 방향이 상기 차량의 조향 방향과 같은 상기 객체를 관심 객체로 선정하는 단계를 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 상기 관심 객체를 기준으로 상기 후방 영상의 뷰 영역을 조정하는 단계는 상기 관심 객체가 상기 차량과 근거리인 경우 상기 후방 영상의 뷰 영역의 각도를 넓히는 단계를 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 상기 관심 객체를 기준으로 상기 후방 영상의 뷰 영역을 조정하는 단계는 상기 관심 객체가 상기 차량과 원거리인 경우 상기 후방 영상의 뷰 영역의 각도를 좁히는 단계를 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 상기 관심 객체를 기준으로 상기 후방 영상의 뷰 영역을 조정하는 단계는, 상기 후방 카메라에 구비된 후방 회전 장치를 이용하여 상기 관심 객체를 따라 상기 뷰 영역을 이동하는 단계를 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 상기 후방 카메라에 구비된 후방 회전 장치를 이용하여 상기 관심 객체를 따라 상기 뷰 영역을 이동하는 단계는 상기 차량과 상기 관심 객체간의 거리가 특정 거리 이하인 경우, 상기 뷰 영역의 각도를 넓히는 단계를 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 상기 후방 카메라에 구비된 후방 회전 장치를 이용하여 상기 관심 객체를 따라 상기 뷰 영역을 이동하는 단계는 상기 관심 객체의 상대 속도가 특정 속도 이상인 경우, 상기 뷰 영역의 각도를 넓히는 단계를 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 상기 후방 카메라에 구비된 후방 회전 장치를 이용하여 상기 관심 객체를 따라 상기 뷰 영역을 이동하는 단계는 상기 관심 객체의 모션 벡터를 분석하여 충돌 가능성을 판단하고, 상기 판단 결과 충돌 가능성이 존재하는 경우, 상기 뷰 영역의 각도를 넓히는 단계를 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 상기 후방 카메라에 구비된 후방 회전 장치를 이용하여 상기 관심 객체를 따라 상기 뷰 영역을 이동하는 단계는 상기 관심 객체의 주행 안정성에 대한 스코어를 산정하고, 상기 스코어가 일정 값 미만이면, 상기 뷰 영역의 각도를 넓히는 단계를 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 상기 후방 영상에서 관심 객체를 선정하는 단계는 상기 후방 영상에서 복수의 객체가 감지된 경우, 제1 후보 관심 객체 및 제2 후보 관심 객체를 설정하고, 상기 제1 후보 관심 객체 및 상기 제2 후보 관심 객체와 상기 차량 간에 충돌 가능성을 분석하고, 충돌 가능성이 더 높은 객체를 상기 관심 객체로 선정하는 단계를 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 충돌 가능성이 더 높은 객체를 상기 관심 객체로 선정하는 단계는 상기 제1 후보 관심 객체 및 상기 제2 후보 관심 객체 중에서 상대 속도가 더 빠른 객체를 상기 관심 객체로 선정하는 단계를 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 충돌 가능성이 더 높은 객체를 상기 관심 객체로 선정하는 단계는 상기 제1 후보 관심 객체 및 상기 제2 후보 관심 객체 중에서 상기 차량과 더 가까운 객체를 상기 관심 객체로 선정하는 단계를 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 충돌 가능성이 더 높은 객체를 상기 관심 객체로 선정하는 단계는 상기 제1 후보 관심 객체 및 상기 제2 후보 관심 객체의 모션 벡터를 분석하고, 상기 모션 벡터를 분석하여 충돌 가능성이 더 높은 객체를 상기 관심 객체로 선정하는 단계를 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 충돌 가능성이 더 높은 객체를 상기 관심 객체로 선정하는 단계는 상기 제1 후보 관심 객체 및 상기 제2 후보 관심 객체의 주행 안정성에 대한 스코어를 비교하고, 상기 스코어가 더 낮은 객체를 상기 관심 객체로 선정하는 단계를 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 상기 차량에 좌측면에 구비된 사이드 카메라 및 상기 차량의 우측면에 구비된 사이드 카메라에는 측방 회전 장치를 구비하되, 상기 측방 회전 장치를 이용하여, 상기 좌측 영상 또는 상기 우측 영상에서 예비 관심 객체를 선정하는 단계를 더 포함할 수 있다.
일 실시예에서, 차량 주변 영상 합성 방법은, 상기 예비 관심 객체를 선정하는 단계는 상기 예비 관심 객체가 상기 차량과 접근하는 경우, 상기 예비 관심 객체를 상기 후방 영상의 관심 객체로 전환하는 단계를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 차량 주변 영상 합성을 하기 위하여 구비된 카메라의 위치를 가리키는 도면이다.
도 2는 본 발명의 일 실시예에 따른, 뷰 영역에 따른 합성 기준선을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른, 차량 주변 영상 합성 장치의 구성도이다.
도 4는 본 발명의 일 실시예에 따른, 차량 주변 영상 합성 방법의 순서도이다.
도 5는 본 발명의 일 실시예에 따른, 영상 크기 비율 보정하는 방법의 순서도이다.
도 6은 본 발명의 다른 실시예에 따른, 차량 주변 영상 합성 방법의 순서도이다.
도 7a 내지 도 7f는 본 발명의 몇몇 실시예에 따른, 관심 객체를 선정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른, 회전 장치를 이용한 뷰 영역의 이동을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른, 교차로에서 관심 객체가 변경되는 것을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른, 합류 도로에서 관심 객체가 변경되는 것을 설명하기 위한 도면이다.
도 11a 내지 도 11b는 본 발명의 일 실시예에 따른, 관심 객체의 위치에 따른 뷰 영역의 각도의 조정을 설명하기 위한 도면이다.
도 12a 내지 도 12b는 본 발명의 다른 실시예에 따른, 관심 객체의 속도에 따른 뷰 영역의 각도 조정을 설명하기 위한 도면이다.
도 13a 내지 도 13b는 본 발명의 일 실시예에 따른, 관심 객체의 모션 벡터에 따른 뷰 영역의 이동 및 각도 조정을 설명하기 위한 도면이다.
도 14a 내지 도 14b는 본 발명의 다른 실시예에 따른, 관심 객체의 모션 벡터 및 위치에 따른 뷰 영역의 이동 및 각도 조정을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
이하, 도면들을 참조하여 본 발명의 몇몇 실시예들을 설명한다.
도 1은 본 발명의 일 실시예에 따른, 차량 주변 영상 합성을 하기 위하여 구비된 카메라의 위치를 가리키는 도면이다. 이하, 도 1을 참조하여 본 실시예에 따른 카메라의 위치를 설명한다.
본 실시예에 따른, 차량 주변 영상 합성 방법이 수행되는 차량은 상기 차량의 후면에 후방 카메라(1)가 구비되고, 상기 차량 좌측면에는 좌측 사이드 카메라(2)가 구비되고, 상기 차량 우측면에는 우측 사이드 카메라(3)가 구비된다.
후방 카메라(1), 좌측 사이드 카메라(2) 및 우측 사이드 카메라(3)는 상기 차량의 주변 영상을 촬영하여 상기 주변 영상을 본 실시예에 따른 영상을 합성 하는 방법에 제공된다.
상기 후방 카메라(1)에는 회전 장치가 구비될 수 있다. 상기 회전 장치는 후방 카메라가 촬영한 뷰 영역을 이동할 수 있도록 한다. 본 실시예에 있어서, 상기 회전 장치는 통상의 기술자가 채택할 수 있는 모든 수단을 포함한다. 예를 들어, 상기 회전 장치는 Pan 또는 Tilt 일 수 있다.
상기 후방 카메라(1)는 뷰 영역의 각도를 조절할 수 있는 각도 조절 모듈이 구비될 수 있다. 상기 후방 카메라(1)에 구비된 상기 각도 조절 모듈을 이용하여 상기 후방 카메라(1)에서 촬영된 영상의 시야를 넓힐 수 있다.
상기 각도 조절 모듈이 이용되는 과정에 있어서, 상기 각도 조절 모듈이 후방 카메라(1), 좌측 사이드 카메라(2) 및 우측 사이드 카메라(3)의 시야를 조절할 수 있음은 물론이다. 또한, 상기 각도 조절 모듈은 후방 카메라(1), 좌측 사이드 카메라(2) 및 우측 사이드 카메라(3)가 촬영한 영상에서 영상 처리 기법을 통하여 영상의 일정 부분을 잘라내고, 합성 하는 과정에 이용될 수 있도록 한다. 영상의 일정 부분을 잘라내는 과정에 있어서, 영상의 좌우 영역 및 상하 영역의 폭을 조절할 수 있다.
상기 좌측 사이드 카메라(2) 및 상기 우측 사이드 카메라(3)에도 회전 장치가 구비될 수 있다. 상기 회전 장치는 상기 좌측 사이드 카메라(2) 및 상기 우측 사이드 카메라(3)가 촬영한 뷰 영역을 이동할 수 있도록 한다. 본 실시예에 있어서, 상기 회전 장치는 통상의 기술자가 채택할 수 있는 모든 수단을 포함한다. 예를 들어, 상기 회전 장치는 Pan 또는 Tilt 일 수 있다.
상기 좌측 사이드 카메라(2) 및 상기 우측 사이드 카메라(3)에도 뷰 영역의 각도를 조절할 수 있는 각도 조절 모듈이 구비될 수 있다. 상기 좌측 사이드 카메라(2) 및 상기 우측 사이드 카메라(3)에 구비된 상기 각도 조절 모듈을 이용하여 상기 좌측 사이드 카메라(2) 및 상기 우측 사이드 카메라(3)에서 촬영된 영상의 시야를 넓힐 수 있다.
상기 차량에는 상기 차량 주변의 객체를 감지하기 위한 별도의 센서가 구비될 수 있다. 상기 센서를 이용하여 상기 감지된 객체를 관심 객체로 선정할 수 있다.
상기 차량의 후방에서 복수의 객체가 감지되면, 상기 차량에 구비된 센서가 상기 차량과 객체 간의 거리를 측정한다. 상기 거리의 측정값이 산정되면, 상기 거리의 측정값과 대응되는 거리에 있는 객체를 관심 객체로 선정한다.
상기 센서는 통상의 기술자가 채택 할 수 있는 모든 수단일 수 있다. 예를 들어, 초음파 센서 또는 광학 센서 등의 거리를 측정 할 수 있는 장치일 수 있다.
도 2는 본 발명의 일 실시예에 따른, 뷰 영역에 따른 합성 기준선을 설명하기 위한 도면이다. 이하, 도 2를 참조하여, 본 실시예에 따른 뷰 영역에 따른 합성 기준선이 반영되는 영상에 대하여 설명한다.
도 2를 참조하면, 후방 뷰 영역(21)는 후방 카메라(1)가 촬영하는 영상 영역에 해당한다. 좌측 뷰 영역(22)는 좌측 사이드 카메라(2)가 촬영하는 영상 영역에 해당한다. 우측 뷰 영역(23)는 우측 사이드 카메라(3)가 촬영하는 영상 영역에 해당한다.
후방 카메라(1), 좌측 사이드 카메라(2) 및 우측 사이드 카메라(3) 각각에 구비된 회전 장치에 의하여 상기 뷰 영역이 이동 될 수 있다. 또한, 후방 카메라(1), 좌측 사이드 카메라(2) 및 우측 사이드 카메라(3) 자체에는 상기 뷰 영역의 각도를 조절하여 시야를 조절할 수 있는 각도 조절 모듈 구비될 수 있다.
후방 카메라(1)가 촬영한 영상은 영상 출력부의 후방 영상(1-1)으로 출력된다. 좌측 사이드 카메라(2)가 촬영한 영상은 상기 영상 출력부의 좌측 영상(2-1)으로 출력되고, 우측 사이드 카메라(3)가 촬영한 영상은 상기 영상 출력부의 우측 영상(3-1)으로 출력된다.
상기 영상 출력부에는 좌측 뷰 영역(22)와 후방 뷰 영역(21)의 경계인 좌측 합성 기준선(4-1)이 좌측 영상(2-1)과 후방 영상(1-1) 사이에 생성되고, 우측 뷰 영역(23)와 후방 뷰 영역(21)의 경계인 우측 합성 기준선(4-2)이 우측 영상(3-1)과 후방 영상(1-1) 사이에 생성된다.
상기 영상 출력부는 종래 차량 내부에 구비된 룸 미러 위치에 구비된 디지털 룸 미러(Digital Room Mirror)일 수 있다. 또한, 차량의 대시보드 중앙의 센터페시아에(Center Fasia)위치한 디스플레이 화면에 해당할 수 있다. 또한, 상기 디지털 룸 미러 또는 상기 센터페시아에 한정되는 것이 아니라, 차량의 운전자가 시각적으로 감지할 수 있는 수단이면, 상기 영상 출력부로 채택될 수 있다.
다시 도 2를 참조하면, 자 차량(10) 후방의 객체는 좌측 사이드 카메라(2) 및 후방 카메라(1)가 동시에 촬영하기 때문에, 좌측 뷰 영역(22)과 후방 뷰 영역(21)에 중복된다. 이때, 상기 영상 출력부에는 상기 후방의 객체가 좌측 영상(2-1)과 후방 영상 (1-1)에 불연속적으로 나타나게 된다.
하기에 설명할, 본 발명의 몇몇 실시예에서는 불연속적으로 나타나는 상기 후방의 객체를 영상 합성을 하여, 자 차량(10)의 운전자에게 후방 상황에 대하여 정확한 영상 정보를 제공하기 위함이다.
후방 영상(1-1), 좌측 영상(2-1) 및 우측 영상(3-1)을 합성 하는 수단에 있어서, 상기 합성의 개념은 스티칭(stitching), 블렌딩(blending) 및 파노라마(panorama) 방식을 포함하는 개념이다. 상기 방식들 외에도 상기 영상을 합성하는 방식에 있어서 영상 처리 분야에 있어서 통상의 기술자가 채택할 수 있는 모든 수단을 의미한다.
도 3은 본 발명의 일 실시예에 따른, 차량 주변 영상 합성 장치의 구성도이다. 이하, 도 3을 참조하여, 상기 차량 주변 영상 합성 장치의 구성을 설명한다.
상기 차량 주변 영상 합성 장치는 영상 수신부(100), 영상 보정부(110), 객체 분석부(120), 관심 객체 선정부(130), 회전 장치 조정 신호부(140), 영상 합성부(150) 및 영상 출력부(160)을 포함한다.
영상 수신부(100)는 상기 차량에 구비된 후방 카메라, 좌측 사이드 카메라 및 우측 사이드 카메라가 촬영한 상기 차량의 주변 영상을 제공한다.
영상 보정부(110)는 상기 후방 카메라, 상기 좌측 사이드 카메라 및 상기 우측 사이드 카메라가 촬영한 후방 영상, 좌측 영상 및 우측 영상의 크기 비율을 보정한다.
상기 후방 카메라는 상기 차량의 뒷 부분에 구비되는 것이 통상적이므로, 상대적으로 상기 좌측 사이드 카메라 및 상기 우측 사이드 카메라에서 촬영된 영상보다 크기가 확대되어 상기 후방 영상이 촬영될 것이다.
상기 영상의 크기 및 비율을 조절하기 위하여, 영상 보정부(110)는 상대적으로 크기 비율이 큰 상기 후방 영상을 축소 보정할 수 있다.
상기 영상의 크기 및 비율을 조절하기 위하여, 영상 보정부(110)는 상대적으로 크기 비율이 작은 상기 좌측 영상 및 상기 우측 영상을 확대 보정할 수 있다.
객체 분석부(120)는 상기 차량의 주변에서 감지된 객체를 관심 객체를 선정하기 위하여 상기 객체에 대한 정보를 분석한다. 영상에서 상기 객체가 감지되면 객체 분석부(120)는 영상 처리 기법을 이용하여, 상기 차량과 상기 객체간의 거리, 상기 객체의 속도, 상기 객체의 모션 벡터, 상기 객체의 주행 안정성에 대한 스코어를 산정할 수 있다.
상기 주행 안정성의 스코어는, 상기 차량 주변에서 주행하는 타 차량의 운전 상태를 수치로 파악한 것이다. 예를 들어, 타 차량이 과속을 하거나, 급 제동, 차선 이탈 등의 불안정한 주행을 할 경우, 상기 영상 처리 기법을 통하여 운동 상태를 감지하고, 감지된 횟수만큼 점수를 누적하여 산정하는 것이다. 상기 스코어는 높을수록 불안정한 주행성을 가질 것이다.
관심 객체 선정부(130)는 객체 분석부(120)가 분석한 객체 중에서, 충돌 가능성이 있거나, 상대적으로 높다고 판단된 객체를 관심 객체로 선정한다.
상기 객체가 관심 객체로 선정되면, 상기 관심 객체를 기준으로 상기 후방 영상의 뷰 영역을 조정할 수 있고, 상기 뷰 영역에 따른 합성 기준선을 반영하여 좌측 영상, 후방 영상 및 우측 영상을 합성 할 수 있다.
상기 차량 주변에 객체가 1개인 경우 상기 객체는 관심 객체로 선정될 것이다.
상기 차량 주변의 객체가 2개 이상인 경우, 관심 객체 선정부(130)는 N 개의 후보 관심 객체를 설정하고, 상기 N 개의 후보 관심 객체에서 상기 차량과의 충돌 가능성을 분석한다. 상기 충돌 가능성을 분석하고 상대적으로 충돌 가능성이 가장 높은 후보 관심 객체를 상기 관심 객체로 선정한다.
회전 장치 조정 신호부(140)는 상기 후방 카메라, 상기 좌측 사이드 카메라 및 상기 우측 사이드 카메라에 구비된 회전 장치 및 각도 조절 모듈에 조정 신호를 송신한다.
상기 회전 장치에 조정 신호가 송신되면, 상기 후방 카메라, 상기 좌측 사이드 카메라 및 상기 우측 사이드 카메라가 회전되고, 상기 뷰 영역이 회전되어 영상의 시야가 이동된다.
상기 각도 조절 모듈에 조정 신호가 송신되면, 상기 후방 카메라, 상기 좌측 사이드 카메라 및 상기 우측 사이드 카메라의 뷰 영역의 각도를 조정할 수 있다. 상기 뷰 영역의 각도가 넓혀지면 카메라가 촬영하는 영상의 시야는 넓어진다. 반대로 상기 뷰 영역의 각도가 좁혀지면 상기 카메라가 촬영하는 영상의 시야는 좁혀진다.
회전 장치 조정 신호부(140)는 상기 후방 카메라, 상기 좌측 사이드 카메라 및 상기 우측 사이드 카메라의 각도 조절 모듈이 이용되는 과정에 있어서, 조정 신호를 송신할 뿐만 아니라, 상기 후방 카메라, 상기 좌측 사이드 카메라 및 상기 우측 사이드 카메라가 촬영한 영상에서 영상 처리 기법을 통하여 영상의 일정 부분을 잘라내고, 합성 하는 과정에 이용될 수 있도록 한다. 영상의 일정 부분을 잘라내는 과정에 있어서, 영상의 좌우 영역 및 상하 영역의 폭을 조절할 수 있다.
회전 장치 조정 신호부(140)가 구비되지 않더라도, 영상 보정부(110) 또는 그 외 영상 처리 수단을 이용하여, 상기 후방 카메라, 상기 좌측 사이드 카메라 및 상기 우측 사이드 카메라가 촬영한 영상을 일정 부분 잘라내어, 합성 과정에서 이용될 수 있도록 하여, 회전 장치 조정 신호부(140)의 역할을 대체할 수 있다.
영상 합성부(150)는 상기 뷰 영역에 따른 합성 기준선을 생성하여, 영상 출력부(160)에 제공한다. 상기 뷰 영역은 상기 관심 객체를 기준으로 하여 이동 또는 확대되는 영역에 해당한다. 상기 뷰 영역의 이동과 확대를 반영하여 영상 출력부(160)에 출력되는 영상에 상기 합성 기준선으로 반영된다.
영상 합성부(150)는 주변 교통 상황에 따라 스티링 기준선의 위치를 좌우로 이동할 수 있다. 예를 들어, 차량 주변의 상기 객체가 1 개인 경우 상기 합성 기준선을 좌우로 이동하여 상기 후방 영상을 넓게 설정할 수 있다.
영상 출력부(160)는 영상 합성부(150)에서 제공받은 합성된 영상을 운전자에게 제공한다. 상기 차량의 내부에는 영상 출력부(160)가 구비되어 있고, 영상 출력부(160)에서 상기 합성된 영상을 운전자에게 시각적으로 제공할 수 있다. 영상 출력부(160)에 출력된 상기 합성된 영상은 상기 좌측 영상, 상기 후방 영상 및 상기 우측 영상과 상기 좌측 합성 기준선 및 우측 합성 기준선이 영상에 출력된다.
도 4는 본 발명의 일 실시예에 따른, 차량 주변 영상 합성 방법의 순서도이다. 이하, 도 4를 참조하여, 본 실시예에 따른, 차량 주변 영상 합성 방법에 대해 설명한다.
차량 주변 영상 합성 방법이 개시된다.
후방 카메라, 좌측 사이드 카메라 및 우측 사이드 카메라가 차량의 주변 영상을 촬영하고, 상기 차량의 주변 영상을 수신한다(S200). 상기 수신된 영상은 상기 후방 카메라가 촬영한 후방 영상, 상기 좌측 사이드 카메라가 촬영한 좌측 영상 및 상기 우측 사이드 카메라가 촬영한 우측 영상이다.
관심 객체를 선정하는 과정이 수행된다(S210). 객체 분석부가 상기 객체의 움직임을 분석하고, 충돌 가능성이 높은 객체를 관심 객체로 선정한다. 상기 관심 객체는 상기 후방 영상에서 감지된 객체일 수 있고, 상기 좌측 영상 및 상기 우측 영상에서 감지된 객체일 수 있다. 상기 관심 객체가 선정되면 상기 뷰 영역의 조정을 위하여 관심 객체를 영상 처리 기법을 통하여 추적한다.
상기 관심 객체를 선정하는 과정의 일 실시예는, 상기 객체가 상기 차량과의 거리가 특정 거리 이하일 경우, 상기 관심 객체로 선정할 수 있다. 상기 특정 거리는 상기 차량의 주행 속도에 따른 변경 가능한 값에 해당한다. 상기 차량의 속도가 느린 경우라면 상기 특정 거리는 상대적으로 가까운 거리에 해당할 것이고, 상기 차량의 속도가 빠른 경우라면 상기 특정 거리는 상대적으로 먼 거리에 해당할 것이다. 예를 들어, 상기 특정 거리가 10m, 20m, 30m, 40m 등등 특정 값으로 설정될 수 있다.
상기 관심 객체를 선정하는 다른 일 실시예는, 상기 객체가 특정 속도 이상인 경우, 상기 관심 객체로 선정할 수 있다. 상기 차량에 구비된 센서나 상기 객체 분석부를 이용하여 상기 객체의 속도를 측정하고, 상기 객체의 속도가 특정 속도 이상이면, 상기 객체를 관심 객체로 선정할 수 있다. 예를 들어, 상기 특정 속도가 60km/h, 70 km/h, 80 km/h 등등 특정 값으로 설정될 수 있다.
상기 관심 객체를 선정하는 또 다른 일 실시예는, 상기 객체의 모션 벡터를 분석하여 상기 관심 객체로 선정할 수 있다. 모션 벡터는 상기 객체의 속력 및 방향의 정보이다. 상기 특정 속도를 이용하는 실시예와 상기 차량의 조향 방향 및 상기 객체의 이동 방향을 분석하여 상기 관심 객체를 선정할 수 있다.
상기 관심 객체를 선정하는 또 다른 일 실시예는, 상기 객체의 주행 안정성에 대한 스코어를 산정하고, 상기 스코어 값을 판단 또는 비교하여 상기 객체를 관심 객체로 선정할 수 있다. 상기 주행 안정성의 스코어는, 상기 차량 주변에서 주행하는 타 차량의 운전 상태를 수치로 파악한 것이다. 예를 들어, 타 차량이 과속을 하거나, 급 제동, 차선 이탈 등의 불안정한 주행을 할 경우, 상기 영상 처리 기법을 통하여 운동 상태를 감지하고, 감지된 횟수만큼 점수를 누적하여 산정하는 것이다. 상기 스코어는 높을수록 불안정한 주행성을 가질 것이다.
관심 객체를 기준으로 하는 뷰 영역이 조정된다(S220). 관심 객체가 선정되면 관심 객체를 기준으로 영상이 촬영되고, 상기 영상에 따라 뷰 영역은 조정될 수 있다.
상기 뷰 영역은 상기 후방 카메라, 상기 좌측 사이드 카메라 및 상기 우측 사이드 카메라에 구비된 회전 장치에 의하여 이동이 가능하고, 각도 조절 모듈에 의하여 뷰 영역의 각도가 조절되어 영상의 시야를 확대 또는 축소할 수 있다.
뷰 영역에 따른 합성 기준선을 반영하여 좌측 영상, 후방 영상 및 우측 영상을 합성 하는 과정이 수행된다(S230). 상기 과정에서 상기 영상 출력부에 의하여 제공되는 영상에는 좌측 합성 기준선 및 우측 합성 기준선이 생성된다. 상기 합성 기준선은 상기 뷰 영역에 따른 불연속성을 연결하는 경계이다.
본 실시예에서는, 상기 뷰 영역의 조정을 통하여 상기 불연속성을 제거하고, 차량 주변 영상을 합성 하여, 상기 차량의 운전자가 상기 영상 출력부를 통하여 차량 주변 영상에 대하여 혼란이 없도록 하기 위한 것이다.
상기 영상 출력부에 의하여 합성 된 영상이 출력된다(S240). 상기 영상 출력부는 합성 된 영상을 운전자에게 제공한다. 상기 합성 된 영상은 상기 좌측 영상, 상기 후방 영상 및 상기 우측 영상과 상기 좌측 합성 기준선 및 우측 합성 기준선이 영상에 출력된다.
도 5는 본 발명의 일 실시예에 따른, 영상 크기 비율을 보정하는 방법의 순서도이다. 이하, 도 5를 참조하여, 본 실시예에 따른 영상 크기 비율을 보정하는 방법에 대하여 설명한다.
영상 크기 비율을 보정하는 방법이 개시된다.
후방 카메라, 좌측 사이드 카메라 및 우측 사이드 카메라가 차량의 주변 영상을 촬영하고, 상기 차량의 주변 영상이 수신한다(S300). 상기 수신된 영상은 상기 후방 카메라가 촬영한 후방 영상, 상기 좌측 사이드 카메라가 촬영한 좌측 영상 및 상기 우측 사이드 카메라가 촬영한 우측 영상이다.
상기 후방 카메라와 상기 좌측 사이드 카메라 및 상기 우측 사이드 카메라의 구비된 위치로 인하여 원근감의 차이가 발생할 수 있다.
상기 후방 카메라의 위치는 차량 후방 시야에 더 가까이 구비되므로, 영상이 확대되어 촬영될 것이다. 보정 전 후방 영상은 보정 전 좌측 영상 및 보정 전 우측 영상보다 확대된 비율의 영상일 것이다.
후방 영상과 좌측 영상 및 우측 영상의 크기 비율을 비교하는 과정이 수행된다(S310).
상기 후방 영상을 축소하는 보정 또는 상기 좌측 영상 및 상기 우측 영상을 보정하는 과정이 수행된다(S320).
상기 영상의 크기 비율을 조절하기 위하여, 상대적으로 크기 비율이 큰 상기 후방 영상을 축소 보정하는 과정이 수행될 수 있다.
상기 영상의 크기 비율을 조절하기 위하여, 상대적으로 크기 비율이 작은 상기 좌측 영상 및 상기 우측 영상을 확대 보정하는 과정이 수행될 수 있다.
보정된 영상을 제공하는 단계가 수행된다(S330). 상기 보정된 영상은 차량 주변 영상을 합성하는 과정에 있어서, 더 정확한 영상 정보를 제공하기 위하여 제공되는 것이다.
도 6은 본 발명의 다른 실시예에 따른, 차량 주변 영상 합성 방법의 순서도이다. 이하, 도 6을 참조하여 본 실시예에 따른 차량 주변 영상 합성 방법에 대하여 설명한다.
차량 주변 영상 합성 방법이 개시된다.
후방 카메라, 좌측 사이드 카메라 및 우측 사이드 카메라가 차량의 주변 영상을 촬영하고, 상기 차량의 주변 영상을 수신한다(S400). 상기 수신된 영상은 상기 후방 카메라가 촬영한 후방 영상, 상기 좌측 사이드 카메라가 촬영한 좌측 영상 및 상기 우측 사이드 카메라가 촬영한 우측 영상이다.
상기 주변 영상에서 복수의 객체를 감지하는 과정이 수행된다(S410). 상기 복수의 객체를 감지하여 후술할 후보 관심 객체를 설정하기 위함이다.
상기 주변 영상에서 복수의 객체에서 N 개의 후보 관심 객체를 설정한다(S420).
영상 처리 기법에 있어서, 영상 내 모든 객체를 고려한다면 연산량의 증가에 따라 영상 처리 속도는 느려지게 된다. 본 실시예에서는 연산량의 증가를 방지하기 위하여 충돌 가능성이 존재하는 N 개의 후보 관심 객체를 설정하여, 상기 N 개의 후보 관심 객체에서 관심 객체를 선정하도록 한다.
상기 N 개의 후보 관심 객체들의 움직임을 분석한다(S430).
상기 설정된 N 개의 후보 관심 객체에서 1개의 관심 객체를 선정하기 위하여 상기 N 개의 후보 관심 객체에 대한 정보를 분석한다. 영상 처리 기법을 이용하여, 상기 차량과 상기 후보 관심 객체 간의 거리, 상기 후보 관심 객체들의 속도, 상기 후보 관심 객체들의 모션 벡터, 상기 후보 관심 객체들의 주행 안정성에 대한 스코어를 산정할 수 있다.
상기 N 개의 후보 관심 객체 중 어느 하나를 관심 객체로 선정하는 과정이 수행된다(S440). 후술한 바와 같이 상기 후보 관심 객체들의 분석된 정보를 이용하여 충돌 가능성이 가장 높은 객체를 상기 관심 객체로 선정한다.
상기 후보 관심 객체 중에서 선정된 관심 객체를 기준으로 하는 뷰 영역이 조정된다(S450). 상기 관심 객체가 선정되면 관심 객체를 기준으로 영상이 촬영되고, 상기 영상에 따라 뷰 영역은 조정될 수 있다.
상기 뷰 영역은 상기 후방 카메라, 상기 좌측 사이드 카메라 및 상기 우측 사이드 카메라에 구비된 회전 장치에 의하여 이동이 가능하고, 각도 조절 모듈에 의하여 뷰 영역의 각도가 조절되어 영상의 시야를 확대 또는 축소할 수 있다.
뷰 영역에 따른 합성 기준선을 반영하여 좌측 영상, 후방 영상 및 우측 영상을 합성 하는 과정이 수행된다(S460). 상기 과정에서 상기 영상 출력부에 의하여 제공되는 영상에는 좌측 합성 기준선 및 우측 합성 기준선이 생성된다. 상기 합성 기준선은 상기 뷰 영역에 따른 불연속성을 연결하는 경계이다.
본 실시예에서는, 영상에서 감지된 복수의 객체 중에서 충돌 가능성이 가장 높은 객체를 관심 객체로 선정하여, 영상 처리 과정에 있어서 연산량을 감소시키고 뷰 영역에 대한 기준을 명확히 하여, 운전자에게 후방 상황에 대하여 정확한 정보를 제공할 수 있다.
상기 영상 출력부에 의하여 합성 된 영상이 출력된다(S470). 상기 영상 출력부는 합성 된 영상을 운전자에게 제공한다. 상기 합성 된 영상은 상기 좌측 영상, 상기 후방 영상 및 상기 우측 영상과 상기 좌측 합성 기준선 및 우측 합성 기준선이 영상에 출력된다.
도 7a 내지 도 7f는 본 발명의 몇몇 실시예에 따른, 관심 객체를 선정을 설명하기 위한 도면이다. 이하, 도 7a 내지 도 7f를 참조하여 관심 객체를 선정하는 과정에 대하여 설명한다.
도 7a 내지 도 7f에서 자 차량(10)은 후방 카메라, 좌측 사이드 카메라 및 우측 사이드 카메라가 구비되어 차량 주변 영상을 촬영하는 차량에 해당한다. 후보 객체(12)는 상기 차량 주변 영상에 감지되는 객체에 해당되나, 자 차량(10)과 충돌 가능성이 없는 객체를 의미한다. 현재 관심 객체(14)는 자 차량(10)이 뷰 영역을 조정함에 있어서 현재 선정 된 관심 객체에 해당된다. 예비 관심 객체(16)는 나중에 선정될 관심 객체에 해당한다.
도 7a를 참조하면, 주행 도로에는 자 차량(10)과 현재 관심 객체(14)가 주행 중 이다. 자 차량(10) 주변에 현재 관심 객체(14)는 자 차량(10)과 충돌 가능성이 없으므로 상기 관심 객체의 선정을 하는 과정이 필요 없다.
도 7b를 참조하면, 주행 도로에는 자 차량(10)과 현재 관심 객체(14) 및 후보 객체(12)가 주행 중이다. 현재 관심 객체(14) 및 후보 객체(12)는 자 차량(10)과 충돌 가능성이 없으므로 상기 관심 객체의 선정을 하는 과정이 필요 없다.
도 7c를 참조하면, 주행 도로에는 자 차량(10), 현재 관심 객체(14) 및 예비 관심 객체(16)가 주행 중이다. 자 차량(10)의 관심 객체는 현재 관심 객체(14)였으나, 현재 관심 객체(14)는 자 차량(10)과의 충돌 가능성이 없어졌으나, 진행 방향이 동일하고, 후방에서 접근하는 예비 관심 객체(16)가 자 차량(10)과의 충돌 가능성이 발생하였다. 따라서, 관심 객체는 현재 관심 객체(14)에서 예비 관심 객체(16)로 변경되어 선정된다.
도 7d를 참조하면, 주행 도로에는 자 차량(10), 후보 객체(12), 현재 관심 객체(14) 및 예비 관심 객체(16)가 주행 중이다. 자 차량(10)의 관심 객체는 현재 관심 객체(14)였으나, 자 차량(10)의 좌측 후방에서 예비 관심 객체(16)가 자 차량(10)의 후방에 접근 중이므로, 자 차량(10)은 예비 관심 객체(16)와 충돌 가능성이 발생하였다. 따라서, 관심 객체는 현재 관심 객체(14)에서 예비 관심 객체(16)로 변경되어 선정된다.
도 7e를 참조하면, 주행 도로에는 자 차량(10), 후보 객체(12), 현재 관심 객체(14) 및 예비 관심 객체(16)가 주행 중이다. 자 차량(10)의 좌측 후방 및 우측 후방에는 각각 후보 객체(12)가 주행 중이다. 자 차량(10)의 후방에는 다수의 객체가 존재하나, 상대적으로 충돌 가능성이 있는 차량은 예비 관심 객체(16)에 해당한다. 따라서, 관심 객체는 현재 관심 객체(14)에서 자 차량(10)과 동일 차로에서 주행 중인 예비 관심 객체(16)로 변경되어 선정된다.
도 7f를 참조하면, 주행 도로에는 자 차량(10), 현재 관심 객체(14) 및 예비 관심 객체(16)가 주행 중이다. 현재 관심 객체(14)는 자 차량(10)과 충돌 가능성이 낮아지고, 좌측 후방에서 자 차량(10)과 진행 방향이 겹치게 되는 예비 관심 객체가(16) 충돌 가능성이 발생하였다. 따라서, 관심 객체는 현재 관심 객체(14)에서 자 차량과 동일 차로에서 주행 예정인 예비 관심 객체(16)로 변경되어 선정된다.
도 8은 본 발명의 일 실시예에 따른, 회전 장치를 이용한 뷰 영역의 이동을 설명하기 위한 도면이다. 이하, 도 8을 참조하여, 회전 장치를 이용한 뷰 영역의 이동을 설명한다.
도 8의 왼쪽 도면을 참조하면, 교차로에서 자 차량(10)은 우회전을 시도하고 있다. 이때, 자 차량(10)이 우회전을 완료하기 전에는 좌측의 타 차량과의 충돌 가능성이 예상될 것이다. 따라서, 본 실시예에서는 사이드 카메라에 회전 장치를 구비하여, 미리 객체를 영상으로 감지하고, 상기 관심 객체를 상기 사이드 카메라의 영역에서 선정할 수 있도록 한다. 이때, 상기 사이드 카메라에서 선정된 관심 객체는 우회전이 완료 된 후에는 후방 카메라의 관심 객체로 선정하여 뷰 영역을 조정할 수 있다.
도 8의 오른쪽 도면을 참조하면, 상기 사이드 카메라 및 상기 후방 카메라의 회전에 의한 뷰 영역의 이동을 확인 할 수 있다.
자 차량(10)에는 후방 카메라(1), 좌측 사이드 카메라(2) 및 우측 사이드 카메라(3)가 구비되었다. 회전 장치를 이용하기 전의 뷰 영역은, 후방 카메라(1)가 촬영하는 뷰 영역은 후방 뷰 영역(21), 좌측 사이드 카메라(2)가 촬영하는 좌측 뷰 영역(22) 및 우측 사이드 카메라(3)가 촬영하는 우측 뷰 영역(23)이 있다.
자 차량(10)의 좌측 객체를 감지하기 위해 상기 회전 장치가 작동되면, 좌측 사이드 카메라(2)의 뷰 영역은 좌측 뷰 영역(22)에서 회전 좌측 뷰 영역(32)으로 회전되고, 후방 카메라(1)의 뷰 영역은 후방 뷰 영역(21)에서 회전 후방 뷰 영역(31)으로 회전된다.
상기 회전 장치의 작동은 영상 처리 기법에 의하여 자동적으로 작동될 수도 있고, 자 차량(10)의 조향 방향을 인식하여 작동 될 수도 있다.
도 9는 본 발명의 일 실시예에 따른, 교차로에서 관심 객체가 변경되는 것을 설명하기 위한 도면이다. 이하, 도 9를 참조하여, 교차로에서 관심 객체가 변경되는 과정을 설명한다.
교차로에서 자 차량(10)이 우회전을 하기 전, 충돌 가능성이 있는 객체는 현재 관심 객체(14)에 해당 될 것이다. 그러나, 자 차량(10)이 우회전을 하는 중에는 충돌 가능성이 있는 객체는 예비 관심 객체(16)로 변경 될 것이다.
본 실시예에서는, 상기 교차로에서 충돌 가능성이 있는 객체가 변경됨에 따라, 현재 관심 객체(14)에서 예비 관심 객체(16)로 관심 객체를 변경하여 선정한다. 상기 관심 객체를 선정하는 과정에서, 상기 후방 카메라 및 상기 사이드 카메라에 구비된 회전 장치를 이용할 수 있다.
도 10은 본 발명의 일 실시예에 따른, 합류 도로에서 관심 객체가 변경되는 것을 설명하기 위한 도면이다. 이하, 도 10을 참조하여, 합류 도로에서 관심 객체가 변경되는 것을 설명한다.
상기 합류 도로에는 자 차량(10), 현재 관심 객체(14) 및 예비 관심 객체(16) 및 복수의 후보 객체가 주행 중이다. 현재 자 차량(10)은 우 합류 차로에서 편도 4 차선 도로로 진입을 시도하고 있다. 현재 자 차량(10)은 후방에 있는 현재 관심 객체(14)와의 충돌 가능성이 있으므로 상기 관심 객체는 현재 관심 객체(14)로 설정되었다.
이후에, 자 차량(10)이 편도 4차선 도로로 진입 바로 직전에는 충돌 가능성은 현재 관심 객체(14)가 아닌 예비 관심 객체(16)과 더 높아질 것이다. 이 경우, 상기 관심 객체는 현재 관심 객체(14)에서 예비 관심 객체(16)로 변경되어 선정된다.
도 11a 내지 도 11b는 본 발명의 일 실시예에 따른, 관심 객체의 위치에 따른 뷰 영역의 각도의 조정을 설명하기 위한 도면이다. 이하 도 11a 내지 도 11b를 참조하여, 본 실시예 따른 뷰 영역의 각도 조정 과정을 설명한다.
도 11a 는 자 차량(10)이 현재 관심 객체(16)와의 거리(d1)가 상대적으로 가까운 상황이다. 도 11b와 비교하면 후방 뷰 영역의 각도(a1)는 상대적으로 큰 값을 갖는다. 후방 뷰 영역의 각도(a1)의 각도가 크면, 차량의 구비된 후방 카메라의 시야가 넓어지게 될 것이다. 현재 관심 객체(16)가 자 차량(10)에 가까워 지게 되면 상기 후방 카메라가 넓은 시야로 현재 관심 객체(16)를 감지하여야 운전자에게 충돌 방지를 위한 영상 정보를 제공할 수 있다. 상기 넓어진 후방 뷰 영역(21)에 따라 합성 기준선도 변경되게 될 것이다.
도 11b는 자 차량(1)이 현재 관심 객체(16)와의 거리(d2)가 상대적으로 먼 상황이다. 도 11a와 비교하면 후방 뷰 영역의 각도(a2)는 상대적으로 작은 값을 갖는다. 후방 뷰 영역의 각도(a2)가 작다면, 차량의 구비된 후방 카메라의 시야가 좁아지게 될 것이다. 상기 좁아진 후방 뷰 영역(21)에 따라 합성 기준선도 변경되게 될 것이다.
도 12a 내지 도 12b는 본 발명의 다른 실시예에 따른, 관심 객체의 속도에 따른 뷰 영역의 각도 조정을 설명하기 위한 도면이다. 이하, 도 12a 내지 도 12b를 참조하여, 본 실시예에 따른 뷰 영역의 각도 조정 과정을 설명한다.
도 12a 는 현재 관심 객체(16)의 상대 속도(v1)는 상대적으로 빠른 값이다. 도 12b와 비교하면 후방 뷰 영역의 각도(a1)는 상대적으로 큰 값을 갖는다. 후방 뷰 영역의 각도(a1)의 각도가 크면, 차량의 구비된 후방 카메라의 시야가 넓어지게 될 것이다. 현재 관심 객체(16)의 상대 속도(v1)이 큰 값이면, 상기 후방 카메라가 넓은 시야로 현재 관심 객체(16)를 감지하여야 운전자에게 정확한 충돌 방지를 위한 영상 정보를 제공할 수 있다. 상기 넓어진 후방 뷰 영역(21)에 따라 합성 기준선도 변경되게 될 것이다.
도 12b는 현재 관심 객체(16)의 상대 속도(v2)는 상대적으로 느린 값이다. 도 12a와 비교하면 후방 뷰 영역의 각도(a2)는 상대적으로 작은 값을 갖는다. 후방 뷰 영역의 각도(a2)가 작다면, 차량의 구비된 후방 카메라의 시야가 좁아지게 될 것이다. 상기 좁아진 후방 뷰 영역(21)에 따라 합성 기준선도 변경되게 될 것이다.
도 13a 내지 도 13b는 본 발명의 일 실시예에 따른, 관심 객체의 모션 벡터에 따른 뷰 영역의 이동 및 각도 조정을 설명하기 위한 도면이다. 이하, 도 13a 내지 도 13b를 참조하여, 본 실시예에 따른 관심 객체의 모션 벡터에 따른 뷰 영역의 이동 및 각도 조정에 대하여 설명한다.
도 13a는 현재 관심 객체(14)는 자 차량(10)의 후방에서 주행 중이며, 자 차량(10) 우측면으로 진입을 시도 중이다. 현재 관심 객체(14)의 모션 벡터는 도 13b에 비하여 상대적으로 빠른 속력의 값과 자 차량(10) 우측으로 향하는 방향의 값을 갖는다. 따라서, 자 차량(10)의 후방 뷰 영역(21-1)은 현재 관심 객체(14)를 따라 우측으로 회전한다. 또한, 상기 모션 벡터의 속도 값이 큰 값을 가지므로 후방 뷰 영역(21-1)의 각도는 넓어진다. 후방 카메라가 이동된 넓은 시야로 현재 관심 객체(16)를 감지하여야 운전자에게 정확한 충돌 방지를 위한 영상 정보를 제공할 수 있다. 상기 이동된 넓은 후방 뷰 영역(21-1)에 따라 합성 기준선도 변경되게 될 것이다.
도 13b는 현재 관심 객체(14)는 자 차량(10)의 후방에서 주행 중이며, 자 차량(10) 우측면으로 진입을 시도 중이다. 현재 관심 객체(14)의 모션 벡터는 도 13a에 비하여 상대적으로 느린 속력의 값과 자 차량(10) 우측으로 향하는 방향의 값을 갖는다. 따라서, 자 차량(10)의 후방 뷰 영역(21-1)은 현재 관심 객체(14)를 따라 우측으로 회전한다. 다만, 도 13a와 달리 현재 관심 객체(14)의 속력이 느린 값을 가지므로, 후방 뷰 영역(21-1)의 각도는 상대적으로 작은 값을 가진다. 상기 이동된 좁은 후방 뷰 영역(21-1)에 따라 합성 기준선도 변경되게 될 것이다.
도 14a 내지 도14b는 본 발명의 다른 실시예에 따른, 관심 객체의 모션 벡터 및 위치에 따른 뷰 영역의 이동 및 각도 조정을 설명하기 위한 도면이다. 이하, 도 14a 내지 도 14b를 참조하여 본 실시예에 따른 모션 벡터 및 위치에 따른 뷰 영역의 이동 및 각도 조정을 설명한다.
도 14a에서 현재 관심 객체(14)는 자 차량(10)과 먼 거리에서 주행 중이다. 이 경우, 현재 관심 객체(14)가 먼 거리에서 방향을 이동하더라도, 자 차량(10)과의 충돌 가능성이 낮으므로, 불필요하게 후방 뷰 영역(21-1)을 조정할 필요가 없다. 따라서, 본 실시예에 따른 뷰 영역을 조정하는 과정에서 영상 처리의 연산량을 감소시킬 수 있다.
도 14b에서 현재 관심 객체(14)는 자 차량(10)과 도 14a에 비하여 상대적으로 가까운 거리에서 주행 중이다. 이 경우, 현재 관심 객체(14)는 도 14a에 비하여 충돌 가능성이 높으므로, 후방 뷰 영역(21-1)을 조정할 필요가 있다. 따라서, 본 실시예에서는 후방 뷰 영역(21-1)이 좌측으로 이동되고, 후방 뷰 영역(21-1)의 각도가 증가한다. 상기 이동된 넓은 후방 뷰 영역(21-1)에 따라 합성 기준선도 변경되게 될 것이다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.

Claims (14)

  1. 차량의 후면에 구비된 후방 카메라에서 획득된 후방 영상, 상기 차량의 좌측면에 구비된 사이드 카메라에서 획득된 좌측 영상 및 상기 차량의 우측면에 구비된 사이드 카메라에서 획득된 우측 영상을 합성하는 방법에 있어서,
    상기 후방 영상에서 관심 객체를 선정하는 단계;
    상기 관심 객체를 기준으로 상기 후방 영상의 뷰 영역을 조정하는 단계; 및
    상기 뷰 영역에 따른 합성 기준선을 반영하여 상기 좌측 영상, 상기 후방 영상 및 상기 우측 영상을 합성 하는 단계를 포함하는,
    차량 주변 영상 합성 방법.
  2. 제1 항에 있어서,
    상기 후방 영상에서 관심 객체를 선정하는 단계는,
    상기 후방 영상에서 추출된 복수의 객체 중, 상기 차량에 구비된 센서의 측정 값에 대응되는 객체를 상기 관심 객체로 선정하는 단계를 포함하는,
    차량 후방 영상 합성 방법.
  3. 제1 항에 있어서,
    상기 후방 영상에서 관심 객체를 선정하는 단계는,
    상기 후방 영상에서 추출된 복수의 객체 중 상기 차량과 가장 가까운 객체를 관심 객체로 선정하는 단계를 포함하는,
    차량 주변 영상 합성 방법.
  4. 제1 항에 있어서,
    상기 후방 영상에서 관심 객체를 선정하는 단계는,
    상기 후방 영상에서 추출된 복수의 객체 중, 객체의 상대 속도를 기준으로 관심 객체를 선정하는 단계를 포함하는,
    차량 주변 영상 합성 방법.
  5. 제1 항에 있어서,
    상기 후방 영상에서 관심 객체를 선정하는 단계는,
    상기 후방 영상에서 추출된 복수의 객체 중 모션 벡터를 기반으로 판단된 충돌 가능성을 기준으로 관심 객체를 선정하는 단계를 포함하는,
    차량 주변 영상 합성 방법.
  6. 제1 항에 있어서,
    상기 후방 영상에서 관심 객체를 선정하는 단계는,
    상기 후방 영상에서 추출된 복수의 객체 중, 객체의 운행 패턴 추적 결과를 기반으로 한 주행 안정성 스코어를 기준으로 관심 객체를 선정하는 단계를 포함하는,
    차량 주변 영상 합성 방법.
  7. 제1 항에 있어서,
    상기 후방 영상에서 관심 객체를 선정하는 단계는,
    상기 후방 영상에서 추출된 복수의 객체 중, 상기 차량의 조향 방향과 객체의 모션 벡터의 방향 사이의 유사도를 기준으로 관심 객체를 선정하는 단계를 포함하는,
    차량 주변 영상 합성 방법.
  8. 제1 항에 있어서,
    상기 관심 객체를 기준으로 상기 후방 영상의 뷰 영역을 조정하는 단계는,
    상기 관심 객체와 상기 차량 사이의 거리가 기 지정된 거리 이하인 경우, 상기 후방 영상의 뷰 영역의 각도를 넓히는 단계를 포함하는,
    차량 주변 영상 합성 방법.
  9. 제1 항에 있어서,
    상기 관심 객체를 기준으로 상기 후방 영상의 뷰 영역을 조정하는 단계는,
    상기 관심 객체와 상기 차량 사이의 거리가 기 지정된 거리 이상인 경우, 상기 후방 영상의 뷰 영역의 각도를 좁히는 단계를 포함하는,
    차량 주변 영상 합성 방법.
  10. 제1 항에 있어서,
    상기 관심 객체를 기준으로 상기 후방 영상의 뷰 영역을 조정하는 단계는,
    상기 관심 객체의 위치에 따른 방향으로 상기 후방 카메라가 회전하도록 제어 신호를 송신하는 단계를 포함하는,
    차량 주변 영상 합성 방법.
  11. 제1 항에 있어서,
    상기 후방 영상에서 관심 객체를 선정하는 단계는,
    상기 후방 영상에서 복수의 객체가 감지된 경우, 제1 후보 관심 객체 및 제2 후보 관심 객체를 설정하고, 상기 제1 후보 관심 객체 및 상기 제2 후보 관심 객체와 상기 차량 간에 충돌 가능성을 분석하고,
    충돌 가능성이 더 높은 객체를 상기 관심 객체로 선정하는 단계를 포함하는,
    차량 주변 영상 합성 방법.
  12. 제1 항에 있어서,
    상기 차량에 좌측면에 구비된 사이드 카메라 및 상기 차량의 우측면에 구비된 사이드 카메라에는 측방 회전 장치를 구비하되,
    상기 측방 회전 장치를 이용하여, 상기 좌측 영상 또는 상기 우측 영상에서 예비 관심 객체를 선정하는 단계를 더 포함하는,
    차량 주변 영상 합성 방법.
  13. 제12 항에 있어서,
    상기 예비 관심 객체를 선정하는 단계는,
    상기 예비 관심 객체가 상기 차량과 접근하는 경우, 상기 예비 관심 객체를 상기 후방 영상의 관심 객체로 전환하는 단계를 포함하는,
    차량 주변 영상 합성 방법.
  14. 제1 항에 있어서,
    상기 관심 객체를 선정하는 단계는,
    나들목의 진입 여부를 판정하는 단계;
    상기 차량이 상기 나들목 상에서 본선에 진입하는 것으로 판정된 경우, 상기 본선의 후방 차량에 대응되는 객체를 상기 관심 객체로 선정하는 단계를 포함하는,
    차량 주변 영상 합성 방법.
KR1020170140972A 2017-10-27 2017-10-27 차량에 구비된 카메라를 이용한 차량 주변 영상 합성 방법 및 그 장치 KR20190047279A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170140972A KR20190047279A (ko) 2017-10-27 2017-10-27 차량에 구비된 카메라를 이용한 차량 주변 영상 합성 방법 및 그 장치
US16/102,024 US20190126825A1 (en) 2017-10-27 2018-08-13 Method and apparatus for compositing vehicle periphery images using cameras provided in vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170140972A KR20190047279A (ko) 2017-10-27 2017-10-27 차량에 구비된 카메라를 이용한 차량 주변 영상 합성 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20190047279A true KR20190047279A (ko) 2019-05-08

Family

ID=66245205

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170140972A KR20190047279A (ko) 2017-10-27 2017-10-27 차량에 구비된 카메라를 이용한 차량 주변 영상 합성 방법 및 그 장치

Country Status (2)

Country Link
US (1) US20190126825A1 (ko)
KR (1) KR20190047279A (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7125849B2 (ja) * 2018-03-15 2022-08-25 株式会社小糸製作所 車両システム
KR20200042549A (ko) * 2018-10-15 2020-04-24 현대자동차주식회사 차량 및 그 제어방법
CN113498527A (zh) 2019-02-19 2021-10-12 奥拉科产品有限责任公司 具有动态拼接的镜更换系统
US10882468B1 (en) * 2019-10-29 2021-01-05 Deere & Company Work vehicle composite panoramic vision systems
JP2021092980A (ja) * 2019-12-10 2021-06-17 本田技研工業株式会社 自動運転車用情報提示装置
JP7276262B2 (ja) * 2020-06-29 2023-05-18 トヨタ自動車株式会社 車両用表示装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100436812B1 (ko) 1995-01-06 2004-08-31 도레이 가부시끼가이샤 벤젠축합헤테로환유도체및그유도체를유효성분으로함유하는의약조성물

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100436812B1 (ko) 1995-01-06 2004-08-31 도레이 가부시끼가이샤 벤젠축합헤테로환유도체및그유도체를유효성분으로함유하는의약조성물

Also Published As

Publication number Publication date
US20190126825A1 (en) 2019-05-02

Similar Documents

Publication Publication Date Title
KR20190047279A (ko) 차량에 구비된 카메라를 이용한 차량 주변 영상 합성 방법 및 그 장치
JP4862774B2 (ja) 運転支援方法及び運転支援装置
JP4883977B2 (ja) 車両用画像表示装置
EP1961613B1 (en) Driving support method and driving support device
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
EP2763407B1 (en) Vehicle surroundings monitoring device
US10821975B2 (en) Lane division line recognition apparatus, lane division line recognition method, driving assist apparatus including lane division line recognition apparatus, and driving assist method including lane division line recognition method
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
WO2018207303A1 (ja) 車載用監視カメラ装置
JP4784572B2 (ja) 運転支援方法及び運転支援装置
US20080198226A1 (en) Image Processing Device
JP7072641B2 (ja) 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法
JP4712562B2 (ja) 車両の前方立体物認識装置
CN107004250B (zh) 图像生成装置及图像生成方法
JP2020147059A (ja) 駐車支援装置及び駐車支援方法
JP2016149613A (ja) カメラパラメータ調整装置
US11827148B2 (en) Display control device, display control method, moving body, and storage medium
KR101278654B1 (ko) 차량의 주변 영상 디스플레이 장치 및 방법
KR20190067578A (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
JP2007025739A (ja) 車両用画像表示装置
JP4957589B2 (ja) 障害物警告装置、障害物警告方法及びコンピュータプログラム
JP2020086884A (ja) 区画線推定装置、表示制御装置、方法、及びコンピュータ・プログラム
JP3719029B2 (ja) 割り込み車両検出装置
US20200231099A1 (en) Image processing apparatus
JP6955844B2 (ja) 運転支援方法及び運転支援装置