KR20160122998A - 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 영상 생성 방법 - Google Patents

어라운드 뷰 모니터링 시스템 및 어라운드 뷰 영상 생성 방법 Download PDF

Info

Publication number
KR20160122998A
KR20160122998A KR1020150052949A KR20150052949A KR20160122998A KR 20160122998 A KR20160122998 A KR 20160122998A KR 1020150052949 A KR1020150052949 A KR 1020150052949A KR 20150052949 A KR20150052949 A KR 20150052949A KR 20160122998 A KR20160122998 A KR 20160122998A
Authority
KR
South Korea
Prior art keywords
image
obstacle
images
view
generating
Prior art date
Application number
KR1020150052949A
Other languages
English (en)
Inventor
이준희
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020150052949A priority Critical patent/KR20160122998A/ko
Publication of KR20160122998A publication Critical patent/KR20160122998A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • B60R2021/0134—
    • B60W2050/14—
    • H04N2005/262—

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mathematical Physics (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 영상 생성 방법에 관한 것이다.
본 발명은 다수의 주변 영상 중 어느 하나의 영 상에서만 장애물 이미지가 존재하고, 장애물 이미지의 적어도 일부가 영상 접합 영역에 포함되면, 어라운드 뷰 영상을 생성하기 전에 어느 하나의 영상에서 장애물 이미지를 추출하고, 추출한 장애물 이미지를 어라운드 뷰 영상에 배치하여 어라운드 뷰 영상에서 장애물 이미지가 연속적으로 표시되도록 하는 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 영상 생성 방법을 제공한다.

Description

어라운드 뷰 모니터링 시스템 및 어라운드 뷰 영상 생성 방법{AROUND VIEW MONITORING SYSTEM AND METHOD FOR CREATING ARROUND VIEW IMAGE}
본 발명은 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 영상 생성 방법에 관한 것이다.
차량의 어라운드 뷰 모니터링(AVM: Around View Monitoring) 시스템은 차량의 전방위를 영상으로 보여주는 시스템이다.
어라운드 뷰 시스템은 통상적으로 차량의 전방, 후방, 좌측 및 우측에 카메라가 각각 장착되고, 이 카메라들로부터 얻은 차량의 전방 영상, 후방 영상, 좌측 영상 및 우측 영상을 포함하는 다수의 주변 영상을 합성하여 하나의 어라운드 뷰 영상으로 화면상에 출력한다.
종래의 어라운드 뷰 시스템은 도 1의 1A와 같이 다수의 주변 영상을 각각의 영상 할당 영역에 맞게 편집하고, 편집한 다수의 주변 영상이 각각 접합되는 영상 접합 영역(1A의 점선 표시 부분)을 블렌딩 기법을 통해 접합하여 도 1의 1B와 같이어라운드 뷰 영상을 생성하였다.
여기서, 다수의 주변 영상 중 어느 하나의 영상인 좌측 영상에 장애물 이미지에 해당하는 기둥 이미지가 존재하고, 기둥 이미지의 일부가 영상 접합 영역에 포함되어 어라운드 뷰 영상의 생성시 기둥 이미지가 도 1의 1B에 도시된 바와 같이 불연속적으로 표시(점선 원 부분)될 경우, 운전자는 불연속적으로 표시된 기둥 이미지를 정확하게 인식하지 못하여 운전자가 혼란을 유발할 수 있는 문제점이 있다.
이러한 배경에서, 본 발명의 목적은, 다수의 주변 영상 중 어느 하나의 영 상에서만 장애물 이미지가 존재하고, 장애물 이미지의 적어도 일부가 영상 접합 영역에 포함되면, 어라운드 뷰 영상을 생성하기 전에 어느 하나의 영상에서 장애물 이미지를 추출하고, 추출한 장애물 이미지를 어라운드 뷰 영상에 배치하여 어라운드 뷰 영상에서 장애물 이미지가 연속적으로 표시되도록 하는 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 영상 생성 방법을 제공하는 데 그 목적이 있다.
전술한 목적을 달성하기 위하여, 일 측면에서, 본 발명은 차량의 전방 영상을 촬영하는 전방 카메라, 상기 차량의 후방 영상을 촬영하는 후방 카메라, 상기 차량의 좌측 영상을 촬영하는 좌측 카메라 및 상기 차량의 우측 영상을 촬영하는 우측 카메라를 포함하는 카메라부; 상기 전방 영상, 상기 후방 영상, 상기 좌측 영상 및 상기 우측 영상을 포함하는 다수의 주변 영상 중 어느 하나의 영상에 위치한 제 1 장애물 이미지를 인식하는 장애물 인식부; 및 상기 다수의 주변 영상을 합성하여 상기 차량의 어라운드 뷰 영상을 생성하되, 상기 다수의 주변 영상 중 상기 어느 하나의 영상과 인접한 다른 하나의 영상과 상기 어느 하나의 영상을 접합하는 영상 접합 영역에 상기 제 1 장애물 이미지의 적어도 일부가 포함되어 있으면, 상기 어라운드 뷰 영상을 생성하기 전에 상기 어느 하나의 영상에서 상기 제 1 장애물 이미지를 추출하고, 상기 어라운드 뷰 영상에서 상기 제 1 장애물 이미지가 위치하는 영역에 상기 어느 하나의 영상에서 추출한 상기 제 1 장애물 이미지를 배치하는 영상 합성부를 포함하는 어라운드 뷰 모니터링 시스템을 제공한다.
다른 측면에서, 본 발명은, 어라운드 뷰 모니터링 시스템에서 어라운드 뷰 영상을 생성하는 방법에 있어서, 차량의 전방 영상, 상기 후방 영상, 상기 좌측 영상 및 상기 우측 영상을 포함하는 다수의 주변 영상을 촬영 및 생성하는 주변 영상 생성 단계; 상기 다수의 주변 영상 중 어느 하나의 영상에서 제 1 장애물 이미지를 인식하는 제 1 장애물 인식 단계; 상기 다수의 주변 영상 중 어느 하나의 영상과 인접한 다른 하나의 영상에 제 2 장애물 이미지가 존재하지 않는 것을 인식하는 제 2 장애물 부존재 인식 단계; 상기 어느 하나의 영상과 상기 다른 하나의 영상을 접합하는 영상 접합 영역에 상기 제 1 장애물 이미지의 적어도 일부가 포함되어 있으면, 상기 다수의 주변 영상을 상기 어라운드 뷰 영상으로 합성하기 전에 상기 어느 하나의 영상에서 상기 제 1 장애물 이미지를 추출하는 장애물 이미지 추출 단계; 및 상기 다수의 주변 영상을 상기 어라운드 뷰 영상으로 합성하되, 상기 어라운드 뷰 영상에서 상기 제 1 장애물 이미지가 위치하는 영역에 상기 장애물 이미지 추출 단계에서 추출한 상기 제 1 장애물 이미지를 배치하여 상기 어라운드 뷰 영상을 생성하는 어라운드 뷰 영상 생성 단계를 포함하는 어라운드 뷰 영상 생성 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 다수의 주변 영상 중 어느 하나의 영상에서만 장애물 이미지가 존재하고, 장애물 이미지의 적어도 일부가 영상 접합 영역에 포함되면, 어라운드 뷰 모니터링 시스템에서 어라운드 뷰 영상을 생성하기 전에 어느 하나의 영상에서 장애물 이미지를 추출하고, 추출한 장애물 이미지를 어라운드 뷰 영상에 배치하기 때문에, 어라운드 뷰 영상에서 장애물 이미지가 연속적으로 표시되고, 이로 인해 운전자가 어라운드 뷰 영상에서 장애물 이미지를 정확하게 인식할 수 있는 효과가 있다.
도 1은 종래의 어라운드 뷰 영상을 예시적으로 나타낸 도면,
도 2는 본 발명의 실시예에 따른 어라운드 뷰 모니터링 시스템의 구성을 간략하게 나타낸 블록 구성도,
도 3은 본 발명의 실시예에 따른 어라운드 뷰 모니터링 시스템에서 생성한 어라운드 뷰 영상을 예시적으로 나타낸 도면,
도 4는 본 발명의 실시예에 따른 어라운드 뷰 모니터링 시스템에서 어라운드 뷰 영상을 생성하는 과정을 나타낸 순서도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 2는 본 발명의 실시예에 따른 어라운드 뷰 모니터링 시스템의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 실시예에 따른 어라운드 뷰 모니터링 시스템(200)은 카메라부(210), 영상 처리부(220) 및 영상 출력부(230)를 포함한다.
카메라부(210)는 차량의 전방 영상을 촬영하는 전방 카메라, 차량의 후방 영상을 촬영하는 후방 카메라, 차량의 좌측 영상을 촬영하는 좌측 카메라 및 차량의 우측 영상을 촬영하는 우측 카메라를 포함한다. 이러한 카메라부(210), 즉 전방 카메라, 후방 카메라, 좌측 카메라 및 우측 카메라는 촬영각이 광각인 어안 렌즈 카메라일 수 있다.
영상 처리부(220)는 카메라부(210)로부터 수신한 전방 영상, 후방 영상, 좌측 영상 및 우측 영상의 보정 및 합성을 통해 차량의 어라운드 뷰 영상을 생성한다.
본 발명의 실시예에서 영상 처리부(220)는 전방 영상, 후방 영상, 좌측 영상 및 우측 영상을 포함하는 다수의 주변 영상 중 어느 하나의 영상에 위치한 제 1 장애물 이미지를 인식하는 장애물 인식부(222), 다수의 주변 영상을 합성하여 차량의 어라운드 뷰 영상을 생성하되, 다수의 주변 영상 중 어느 하나의 영상과 인접한 다른 하나의 영상과 어느 하나의 영상을 접합하는 영상 접합 영역에 제 1 장애물 이미지의 적어도 일부가 포함되어 있으면, 어라운드 뷰 영상을 생성하기 전에 어느 하나의 영상에서 장애물 이미지를 추출하고, 어라운드 뷰 영상에서 제 1 장애물 이미지가 위치하는 영역에 어느 하나의 영상에서 추출한 제 1 장애물 이미지를 배치하는 영상 합성부(226)를 포함하고, 영상 합성부(226)에서 어라운드 뷰 영상을 생성하기 전에, 전방 영상, 후방 영상, 좌측 영상 및 우측 영상의 왜곡을 보정하는 영상 보정부(224)를 더 포함할 수 있다.
영상 처리부(220)에 포함된 장애물 인식부(222), 영상 보정부(224) 및 영상 합성부(226)에 대한 구체적인 설명은 다음과 같다.
우선, 장애물 인식부(222)는 전방 영상, 후방 영상, 좌측 영상 및 우측 영상을 포함하는 다수의 주변 영상 중 하나 이상의 영상에 장애물에 해당하는 장애물 이미지가 각각 존재하면, 3차원 특징 추출 기법 에지 영상 추출 기법 등 다양한 장애물 인식 기법 중 어느 하나를 적용하여 다수의 주변 영상 중 하나 이상에 존재하는 장애물 이미지를 인식한다.
본 발명의 실시예에서, 다수의 주변 영상 중 어느 하나의 영상에서만 제 1 장애물 이미지가 존재하고, 다른 영상들에서는 장애물 이미지가 존재하지 않으면, 장애물 인식부(222)는 다수의 주변 영상 중 어느 하나의 영상에 존재하는 제 1 장애물 이미지를 인식한다.
영상 보정부(224)는 후술할 영상 합성부(226)에서 어라운드 뷰 영상을 생성하기 전에 다수의 주변 영상 각각의 왜곡을 보정한다.
본 발명의 실시예에서 장애물 인식부(222)가 다수의 주변 영상 중 어느 하나의 영상에 존재하는 제 1 장애물 이미지를 인식함과 아울러, 다수의 주변 영상 중 어느 하나의 영상과 인접한 다른 하나의 영상에서 제 2 장애물을 더 인식하면, 영상 합성부(226)는 도 1의 1A와 같이 다수의 주변 영상을 각각의 영상 할당 영역에 맞게 편집하고, 편집한 다수의 주변 영상이 각각 접합되는 영상 접합 영역(1A의 점선 표시 부분)을 블렌딩 기법을 통해 접합하여 도 1의 1B와 같이 종래의 어라운드 뷰 영상을 생성한다.
한편, 다수의 주변 영상 중 어느 하나의 영상에서만 제 1 장애물 이미지가 존재하고, 다른 영상들에서는 장애물 이미지가 존재하지 않아서, 장애물 인식부(222)가 다수의 주변 영상 중 어느 하나의 영상에 존재하는 제 1 장애물 이미지만을 인식하면, 영상 합성부(226)는 다수의 주변 영상 중 어느 하나의 영상과 인접한 다른 하나의 영상과 어느 하나의 영상을 접합하는 영상 접합 영역에 제 1 장애물 이미지의 적어도 일부가 포함되어 있는 지를 확인한다.
만약, 제 1 장애물 이미지의 적어도 일부가 영상 접합 영역에 포함되어 어라운드 뷰 영상의 생성시 제 1 장애물 이미지가 도 1의 1B에서 도시된 기둥 이미지와 같이 불연속적으로 표시(점선 원 부분)될 경우, 영상 합성부(226)는 어라운드 뷰 영상에서 제 1 장애물 이미지가 연속적으로 표시될 수 있도록 하기 위해, 어라운드 뷰 영상을 생성하기 전에 어느 하나의 영상에서 제 1 장애물 이미지를 추출하고, 어라운드 뷰 영상에서 제 1 장애물 이미지가 위치하는 영역에 어느 하나의 영상에서 추출한 제 1 장애물 이미지를 배치하여 도 3의 기둥 이미지와 같이 종래에 불연속적으로 표시된 부분을 연속적으로 표시(점선 원 부분)되도록 한다.
다시 말해서, 도 3의 어라운드 뷰 영상에서 제 1 장애물 이미지에 해당하는 기둥 이미지가 연속적으로 표시되도록 하기 위해 차량의 좌측 영상에서 기둥 이미지를 추출하고, 다수의 주변 영상의 영상 접합 영역을 블렌딩 기법을 통해 접합한 후, 어라운드 뷰 영상에서 기둥 이미지가 위치하는 영역에 좌측 영상에서 추출한 기둥 이미지를 배치하는 것이다.
한편, 본 발명의 실시예에서 다른 하나의 영상에 제 2 장애물 이미지가 존재하면, 제 1 장애물 이미지를 연속적으로 표시하는 것으로 인해 제 2 장애물 이미지가 불연속적으로 표시될 가능성이 있기 때문에, 다른 하나의 영상에 제 2 장애물 이미지가 존재하면, 영상 합성부(226)는 도 1의 1B와 같이 종래의 어라운드 뷰 영상을 생성한다.
영상 출력부(230)는 영상 합성부(226)에서 생성한 어라운드 뷰 영상을 화면상에 출력한다.
여기서, 다수의 주변 영상 중에서 어느 하나의 영상에서만 제 1 장애물 이미지가 존재하되 제 1 장애물 이미지의 적어도 일부가 영상 접합 영역에 포함되고, 다른 영상들에서는 장애물 이미지가 존재하지 않으면, 영상 출력부(230)는 도 3과 같이 제 1 장애물 이미지에 해당하는 기둥 이미지가 영상 접합 영역에서도 연속적으로 표시되는 어라운드 뷰 영상을 화면상에 출력한다.
한편, 다수의 주변 영상 중 어느 하나의 영상에 존재하는 제 1 장애물 이미지가 존재함과 아울러, 다수의 주변 영상 중 어느 하나의 영상과 인접한 다른 하나의 영상에서 제 2 장애물이 더 존재하면, 영상 출력부(230)는 도 1의 1B와 같이 제 1 장애물 이미지에 해당하는 기둥 이미지가 영상 접합 영역에서 불연속적으로 표시되는 종래의 어라운드 뷰 영상을 화면상에 출력한다.
위와 같이 본 발명의 실시예에 따른 어라운드 뷰 모니터링 시스템(200)은 다수의 주변 영상 중 어느 하나의 영상에서만 장애물 이미지가 존재하고, 장애물 이미지의 적어도 일부가 영상 접합 영역에 포함되면, 어라운드 뷰 영상을 생성하기 전에 어느 하나의 영상에서 장애물 이미지를 추출하고, 추출한 장애물 이미지를 어라운드 뷰 영상에 배치하기 때문에, 어라운드 뷰 영상에서 장애물 이미지가 연속적으로 표시되어 운전자가 어라운드 뷰 영상에서 장애물 이미지를 정확하게 인식할 수 있게 된다.
이하에서는 본 발명의 실시예에 따른 어라운드 뷰 모니터링 시스템(200)에서 어라운드 뷰 영상을 생성하는 과정을 설명하도록 한다.
도 3은 본 발명의 실시예에 따른 전동식 파워 스티어링 시스템에서 차량의 쏠림을 보상하는 과정을 나타낸 순서도이다.
우선, 어라운드 뷰 모니터링 시스템(200)은 차량의 전방 영상, 상기 후방 영상, 상기 좌측 영상 및 상기 우측 영상을 포함하는 다수의 주변 영상을 촬영 및 생성하고, 다수의 주변 영상 중 어느 하나의 영상에서 제 1 장애물 이미지를 인식함과 아울러, 다수의 주변 영상 중 어느 하나의 영상과 인접한 다른 하나의 영상에서 제 2 장애물 이미지가 인식되는 지를 확인한다(S410, S420, S430). 여기서, 어라운드 뷰 모니터링 시스템(200)은 다수의 주변 영상을 생성한 후에 다수의 주변 영상의 왜곡을 각각 보정하고, 왜곡을 보정한 다수의 주변 영상을 평면화한 후에 제 1 장애물 이미지를 인식할 수 있다.
상기 단계 S430에서 다른 하나의 영상에서 제 2 장애물을 더 인식하면, 어라운드 뷰 모니터링 시스템(200)은 도 1의 1A와 같이 다수의 주변 영상을 각각의 영상 할당 영역에 맞게 편집하고, 편집한 다수의 주변 영상이 각각 접합되는 영상 접합 영역(1A의 점선 표시 부분)을 블렌딩 기법을 통해 접합하여 도 1의 1B와 같이 종래의 어라운드 뷰 영상을 생성한다.
상기 단계 S430에서 다수의 주변 영상 중 어느 하나의 영상에서만 제 1 장애물 이미지를 인식하고, 다른 하나의 영상에서 제 2 장애물 이미지를 미인식, 즉 다른 하나의 영상에서는 제 2 장애물 이미지가 존재하지 않으면, 어라운드 뷰 모니터링 시스템(200)은 다수의 주변 영상 중 어느 하나의 영상과 인접한 다른 하나의 영상과 어느 하나의 영상을 접합하는 영상 접합 영역에 제 1 장애물 이미지의 적어도 일부가 포함되어 있는 지를 확인한다(S440).
상기 단계 S440에서 제 1 장애물 이미지의 적어도 일부가 영상 접합 영역에 포함되지 않으면, 어라운드 뷰 모니터링 시스템(200)은 종래의 어라운드 뷰 영상을 생성하고, 상기 단계 S440에서 제 1 장애물 이미지의 적어도 일부가 영상 접합 영역에 포함되면, 어라운드 뷰 모니터링 시스템(200)은 어라운드 뷰 영상에서 제 1 장애물 이미지가 연속적으로 표시될 수 있도록 하기 위해, 어라운드 뷰 영상을 생성하기 전에 어느 하나의 영상에서 제 1 장애물 이미지를 추출하고, 어라운드 뷰 영상에서 제 1 장애물 이미지가 위치하는 영역에 어느 하나의 영상에서 추출한 제 1 장애물 이미지를 배치하여 어라운드 뷰 영상을 합성함으로써, 도 3의 기둥 이미지와 같이 종래에 불연속적으로 표시된 부분을 연속적으로 표시(점선 원 부분)되도록 한다(S450, S460).
어라운드 뷰 모니터링 시스템(200)은 상기 단계 S460에서 생성된 어라운드 뷰 영상을 화면상에 출력할 수 있음은 물론이다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (5)

  1. 차량의 전방 영상을 촬영하는 전방 카메라, 상기 차량의 후방 영상을 촬영하는 후방 카메라, 상기 차량의 좌측 영상을 촬영하는 좌측 카메라 및 상기 차량의 우측 영상을 촬영하는 우측 카메라를 포함하는 카메라부;
    상기 전방 영상, 상기 후방 영상, 상기 좌측 영상 및 상기 우측 영상을 포함하는 다수의 주변 영상 중 어느 하나의 영상에 위치한 제 1 장애물 이미지를 인식하는 장애물 인식부; 및
    상기 다수의 주변 영상을 합성하여 상기 차량의 어라운드 뷰 영상을 생성하되, 상기 다수의 주변 영상 중 상기 어느 하나의 영상과 인접한 다른 하나의 영상과 상기 어느 하나의 영상을 접합하는 영상 접합 영역에 상기 제 1 장애물 이미지의 적어도 일부가 포함되어 있으면, 상기 어라운드 뷰 영상을 생성하기 전에 상기 어느 하나의 영상에서 상기 제 1 장애물 이미지를 추출하고, 상기 어라운드 뷰 영상에서 상기 제 1 장애물 이미지가 위치하는 영역에 상기 어느 하나의 영상에서 추출한 상기 제 1 장애물 이미지를 배치하는 영상 합성부
    를 포함하는 어라운드 뷰 모니터링 시스템.
  2. 제 1 항에 있어서,
    상기 영상 합성부에서 상기 어라운드 뷰 영상을 생성하기 전에, 상기 전방 영상, 상기 후방 영상, 상기 좌측 영상 및 상기 우측 영상의 왜곡을 보정하는 영상 보정부
    를 더 포함하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템.
  3. 제 1 항에 있어서,
    상기 장애물 인식부가 상기 다른 하나의 영상에서 제 2 장애물 이미지를 인식하면, 상기 영상 합성부는 상기 어라운드 뷰 영상을 생성할 때에 상기 어느 하나의 영상에서 상기 제 1 장애물 이미지를 추출하지 않는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템.
  4. 어라운드 뷰 모니터링 시스템에서 어라운드 뷰 영상을 생성하는 방법에 있어서,
    차량의 전방 영상, 상기 후방 영상, 상기 좌측 영상 및 상기 우측 영상을 포함하는 다수의 주변 영상을 촬영 및 생성하는 주변 영상 생성 단계;
    상기 다수의 주변 영상 중 어느 하나의 영상에서 제 1 장애물 이미지를 인식하는 제 1 장애물 인식 단계;
    상기 다수의 주변 영상 중 어느 하나의 영상과 인접한 다른 하나의 영상에 제 2 장애물 이미지가 존재하지 않는 것을 인식하는 제 2 장애물 부존재 인식 단계;
    상기 어느 하나의 영상과 상기 다른 하나의 영상을 접합하는 영상 접합 영역에 상기 제 1 장애물 이미지의 적어도 일부가 포함되어 있으면, 상기 다수의 주변 영상을 상기 어라운드 뷰 영상으로 합성하기 전에 상기 어느 하나의 영상에서 상기 제 1 장애물 이미지를 추출하는 장애물 이미지 추출 단계; 및
    상기 다수의 주변 영상을 상기 어라운드 뷰 영상으로 합성하되, 상기 어라운드 뷰 영상에서 상기 제 1 장애물 이미지가 위치하는 영역에 상기 장애물 이미지 추출 단계에서 추출한 상기 제 1 장애물 이미지를 배치하여 상기 어라운드 뷰 영상을 생성하는 어라운드 뷰 영상 생성 단계
    를 포함하는 어라운드 뷰 영상 생성 방법.
  5. 제 4 항에 있어서, 상기 주변 영상 생성 단계 이후에,
    상기 다수의 주변 영상의 왜곡을 각각 보정하고, 왜곡을 보정한 다수의 주변 영상을 평면화하는 주변 영상 보정 단계
    를 더 포함하는 것을 특징으로 하는 어라운드 뷰 영상 생성 방법.
KR1020150052949A 2015-04-15 2015-04-15 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 영상 생성 방법 KR20160122998A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150052949A KR20160122998A (ko) 2015-04-15 2015-04-15 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 영상 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150052949A KR20160122998A (ko) 2015-04-15 2015-04-15 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 영상 생성 방법

Publications (1)

Publication Number Publication Date
KR20160122998A true KR20160122998A (ko) 2016-10-25

Family

ID=57446400

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150052949A KR20160122998A (ko) 2015-04-15 2015-04-15 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 영상 생성 방법

Country Status (1)

Country Link
KR (1) KR20160122998A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200076989A (ko) * 2018-12-20 2020-06-30 주식회사 만도 라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200076989A (ko) * 2018-12-20 2020-06-30 주식회사 만도 라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법

Similar Documents

Publication Publication Date Title
JP7397262B2 (ja) 事前定義されたビューポイントルックアップテーブルを用いるサラウンドビューのための３次元レンダリング
US9533618B2 (en) Method, apparatus and system for processing a display from a surround view camera solution
JP5194679B2 (ja) 車両用周辺監視装置および映像表示方法
JP4606336B2 (ja) 車両周辺視認装置
JP7244488B2 (ja) 合成映像作成装置および合成映像作成方法並びに合成映像作成プログラム
US20100103264A1 (en) Vehicle-surroundings displaying method and system
JP2003255925A (ja) 画像表示制御装置
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
JP2012170127A (ja) 車両用周辺監視装置および映像表示方法
JP4830380B2 (ja) 車両周辺監視装置及び車両周辺監視方法
US8994825B2 (en) Vehicle rear view camera system and method
KR20150146071A (ko) 2채널 광각 렌즈 카메라를 이용한 차량 영상 기록 장치 및 방법
JP2009093332A (ja) 車両周辺画像処理装置及び車両周辺状況提示方法
KR101393918B1 (ko) 차량 전방위 감시 시스템
JP2015074257A (ja) 駐車支援装置
KR20160122998A (ko) 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 영상 생성 방법
JP6293089B2 (ja) 後方モニタ
JP6132003B2 (ja) 画像処理システム
JP2019197953A (ja) 画像出力装置、画像出力システム及び画像出力装置の制御方法
JP2010130413A (ja) 周辺状況表示装置
KR20100019605A (ko) 후방 카메라 디스플레이 시스템
KR101241012B1 (ko) 어라운드 뷰 모니터 시스템의 카메라 간 화질차이 개선 방법
JP2017183880A (ja) 電子ミラーの電気回路
KR101750156B1 (ko) 차량의 파노라마 영상 표시장치 및 방법
JP2004128588A (ja) 撮像装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application