KR20160059696A - 차량용 영상 시스템 및 이를 이용한 차량용 영상 처리 방법 - Google Patents

차량용 영상 시스템 및 이를 이용한 차량용 영상 처리 방법 Download PDF

Info

Publication number
KR20160059696A
KR20160059696A KR1020140161512A KR20140161512A KR20160059696A KR 20160059696 A KR20160059696 A KR 20160059696A KR 1020140161512 A KR1020140161512 A KR 1020140161512A KR 20140161512 A KR20140161512 A KR 20140161512A KR 20160059696 A KR20160059696 A KR 20160059696A
Authority
KR
South Korea
Prior art keywords
image
vehicle
visible light
camera unit
far
Prior art date
Application number
KR1020140161512A
Other languages
English (en)
Inventor
이성현
Original Assignee
에스엘 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스엘 주식회사 filed Critical 에스엘 주식회사
Priority to KR1020140161512A priority Critical patent/KR20160059696A/ko
Publication of KR20160059696A publication Critical patent/KR20160059696A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
    • Y02T10/84—Data processing systems or methods, management, administration

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 실시예에 따른 차량용 영상 시스템은, 차량 주변에 대한 가시광 영상을 획득하는 제1 카메라 유닛, 상기 차량 주변에 대한 원적외선 영상을 획득하는 제2 카메라 유닛 및 상기 원적외선 영상 내에 존재하는 열상(熱像) 중 적어도 하나에 대응하는 대상체를 상기 가시광 영상 내에서 식별하는 이미지 처리 유닛을 포함한다.

Description

차량용 영상 시스템 및 이를 이용한 차량용 영상 처리 방법{Image system for vehicle and image processing method using the same}
본 발명은 차량용 영상 시스템 및 이를 이용한 차량용 영상 처리 방법에 관한 것으로서, 보다 상세하게는 차량 주변의 영상 이미지를 획득하는 차량용 영상 시스템과 이를 이용하여 영상 이미지 내에서 장애물을 식별하는 차량용 영상 처리 방법에 관한 것이다.
최근 차량에는 차량 및 탑승자의 안전도 향상을 위해 자동차 주변의 영상을 촬영하고 이를 운전자에게 디스플레이 하는 차량용 영상 시스템이 장착되고 있다.
차량용 영상 시스템은 차량의 후진 주차 시에 차량의 후방을 디스플레이 하는 후방 카메라에서 차량의 360도 영상을 제공하는 어라운드 뷰 시스템으로 발전하고 있다.
그리고, 최근에는 이에 더하여, 차량의 후방 또는 주변 영상에서 차량 주변의 장애물을 인식하고 차량과 장애물의 충돌 가능성이 있는 경우에는 운전자에게 경고 신호를 주는 영상 시스템까지 접목되고 있다.
이러한 영상 시스템은 차량 주변의 영상에서 배경과 장애물을 분리하는 이미지 프로세싱 작업이 필수적이므로 고사양의 DSP(Digital Signal Processing)가 요구되고, 배경으로부터 장애물을 정확하게 인식하기 위한 알고리즘을 구현하는 것은 고난이도의 작업이다.
고사양의 DSP와 고난이도의 알고리즘에 대한 요구는 영상 시스템에 대한 비용 상응으로 이어지게 된다. 따라서, 현재 장애물과의 충돌 가능성에 대한 경고 기능까지 갖춘 영상 시스템은 고급 차량에만 장착되고 있다.
본 발명이 해결하고자 하는 과제는, 종래의 영상 시스템에 비해 장애물 인식 속도가 향상된 차량용 영상 시스템과 이를 이용한 차량용 영상 처리 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 차량용 영상 시스템은, 차량 주변에 대한 가시광 영상을 획득하는 제1 카메라 유닛, 상기 차량 주변에 대한 원적외선 영상을 획득하는 제2 카메라 유닛 및 상기 원적외선 영상 내에 존재하는 열상(熱像) 중 적어도 하나에 대응하는 대상체를 상기 가시광 영상 내에서 식별하는 이미지 처리 유닛을 포함한다.
일 실시예에 따르면, 상기 이미지 처리 유닛은, 상기 원적외선 영상 내에서 상기 열상 및 상기 열상의 인접 부분을 포함하는 관심 영역을 특정하고, 상기 가시광 영상 내에서 상기 관심 영역과 대응하는 처리 영역을 특정하고, 상기 처리 영역 내에서 이미지 프로세싱을 수행하여 상기 대상체를 식별할 수 있다.
일 실시예에 따르면, 상기 가시광 영상 및 상기 원적외선 영상은 상호 대응될 수 있다.
일 실시예에 따르면, 상기 제1 카메라 유닛과 상기 제2 카메라 유닛은 동일 방향을 지향하도록 상호 인접하여 설치될 수 있다.
일 실시예에 따르면, 상기 제1 카메라 유닛의 촬영 각도를 조절하는 카메라 구동부를 더 포함하고, 상기 이미지 처리 유닛은 상기 원적외선 영상 내에서 상기 열상 및 상기 열상의 인접 부분을 포함하는 관심 영역을 특정하며, 상기 카메라 구동부는 상기 제1 카메라 유닛이 상기 관심 영역에 대한 상기 가시광 영상을 획득하도록 상기 제1 카메라 유닛의 촬영 각도를 조절할 수 있다.
일 실시예에 따르면, 상기 관심 영역은 상기 원적외선 영상 중 일부일 수 있다.
일 실시예에 따르면, 상기 대상체는 상기 차량과 다른 상대 속도를 갖는 이동 가능한 대상일 수 있다.
일 실시예에 따르면, 상기 대상체는 타차량, 자전거, 사람 및 동물 중 적어도 하나를 포함할 수 있다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 차량용 영상 처리 방법은, 차량 주변에 대한 가시광 영상을 획득하는 단계, 상기 차량 주변에 대한 원적외선 영상을 획득하는 단계 및 상기 원적외선 영상 내에 존재하는 열상(熱像) 중 적어도 하나에 대응하는 대상체를 상기 가시광 영상 내에서 식별하는 단계를 포함한다.
일 실시예에 따르면, 상기 식별하는 단계는, 상기 원적외선 영상 내에서 상기 열상 및 상기 열상의 인접 부분을 포함하는 관심 영역을 특정하는 단계, 상기 가시광 영상 내에서 상기 관심 영역과 대응하는 처리 영역을 특정하는 단계 및 상기 처리 영역에 대한 이미지 프로세싱을 통해 상기 대상체를 식별하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 가시광 영상 및 상기 원적외선 영상은 상호 대응될 수 있다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 차량용 영상 처리 방법은, 차량 주변에 대한 원적외선 영상을 획득하는 단계, 상기 원적외선 영상 내에 존재하는 열상(熱像) 및 상기 열상의 인접 부분을 관심 영역으로 특정하는 단계, 상기 관심 영역에 대한 가시광 영상을 획득하는 단계 및 상기 가시광 영상 내에서 상기 열상에 대응하는 대상체를 식별하는 단계를 포함한다.
일 실시예에 따르면, 상기 가시광 영상은 촬영 각도가 조절 가능한 카메라 유닛에 의해 획득되며, 상기 카메라 유닛이 상기 관심 영역에 대응하는 상기 차량의 주변 영역을 지향하도록 상기 카메라 유닛의 촬영 각도를 조절하는 단계를 더 포함할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
종래에 비해 저사양의 DSP로도 차량 주변의 장애물을 식별하는 차량용 영상 시스템을 구현할 수 있다.
따라서, 차량용 영상 시스템을 보다 저렴하게 구성할 수 있으며, 이를 통해 낮은 트림 및/또는 저가의 차량에도 차량 주변의 장애물을 식별하는 기능을 탑재한 차량용 영상 시스템을 적용할 수 있다.
따라서, 보다 많은 차량의 사고 예방에 이바지 할 수 있다.
또한, 가시광 이미지만을 사용하여 장애물을 식별하는 종래의 영상 시스템에 비해 빠른 속도로 장애물을 인식할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 제1 실시예에 따른 차량용 영상 시스템을 포함하는 차량 구성을 개략적으로 표현한 도면이다.
도 2는 본 발명의 제1 실시예에 따른 차량용 영상 시스템의 제1 카메라 유닛 및 제2 카메라 유닛의 장착 예를 도시한 도면이다.
도 3은 본 발명의 제1 실시예에 따른 차량용 영상 시스템을 이용한 차량용 영상 처리 방법을 도시한 순서도이다.
도 4는 본 발명의 제1 실시예에 따른 차량용 영상 시스템의 제1 카메라 유닛에 의해 촬영된 가시광 영상의 일례를 표현한 도면이다.
도 5는 본 발명의 제1 실시예에 따른 차량용 영상 시스템의 제2 카메라 유닛에 의해 촬영된 원적외선 영상의 일례를 표현한 도면이다.
도 6은 도 3의 S 12 단계를 설명하기 위한 도면이다.
도 7은 도 3의 S 13 단계 내지 S 15 단계를 설명하기 위한 도면이다.
도 8은 본 발명의 제2 실시예에 따른 차량용 영상 시스템을 포함하는 차량 구성을 개략적으로 표현한 도면이다.
도 9는 본 발명의 제2 실시예에 따른 차량용 영상 시스템을 이용한 차량용 영상 처리 방법을 도시한 순서도이다.
도 10은 본 발명의 제2 실시예에 따른 차량용 영상 시스템의 제1 카메라 유닛에 의해 촬영된 가시광 영상의 일례를 표현한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
또한, 본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 개략도들을 참고하여 설명될 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 또한 본 발명에 도시된 각 도면에 있어서 각 구성 요소들은 설명의 편의를 고려하여 다소 확대 또는 축소되어 도시된 것일 수 있다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시예들에 따른 차량용 영상 시스템 및 이를 이용한 차량용 영상 처리 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대하여 설명하도록 한다.
도 1은 본 발명의 제1 실시예에 따른 차량용 영상 시스템을 포함하는 차량 구성을 개략적으로 표현한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 차량용 영상 시스템(100)은, 제1 카메라 유닛(11), 제2 카메라 유닛(12) 및 이미지 처리 유닛(20)을 포함한다.
도 1에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 차량용 영상 시스템(100)에 있어서, 제1 카메라 유닛(11)과 제2 카메라 유닛(12)은 차량의 전면에 장착되어, 차량의 전방에 대한 영상을 획득한다.
제1 카메라 유닛(11)은 인간이 볼 수 있는 가시광 영역의 파장을 센싱하여 인간에게 보이는 색감과 유사한 색감의 영상을 획득하거나, 흑백 또는 그레이 스케일로 된 영상을 획득할 수 있다.
제2 카메라 유닛(12)은 인간이 볼 수 없는 원적외선 영역의 파장을 센싱하여 영상 정보를 생성한다. 제2 카메라 유닛(12)에 의해 획득된 원적외선 영상은 원적외선을 방출하는 대상과 원적외선을 방출하지 않는 대상을 구분하여 표현한다.
적외선은 가시광선의 붉은색에 대응하는 파장 영역보다 긴 파장을 갖는 광선으로서, 파장의 길이에 따라 근적외선, 중적외선, 원적외선으로 구분된다. 근적외선에서 원적외선으로 갈수록 파장이 길어지며, 적외선 중에서 50~1000μm의 파장을 갖는 광선을 원적외선이라고 지칭하지만, 근적외선, 중적외선, 원적외선은 파장의 상대적인 길이에 따라 구분되는 것이 일반적이다.
근적외선은 일반적인 물체에서는 발산되지 않는다. 따라서, 근적외선 영상을 촬영하기 위해서는 근적외선을 발산하는 광원을 이용해 피사체를 비추고 피사체에서 반사된 근적외선을 감지하여 근적외선 영상을 생성한다. 일반적으로 사용되는 보안용 CCTV나, 군사용으로 사용되는 나이트 비젼 장비들이 근적외선 영상을 이용한 장비이다. 근적외선은 일반적인 CCD 카메라 또는 CMOS 카메라가 감시할 수 있는 적외선 영역으로서, 근적외선 광원을 이용해 근적외선을 촬영할 수 있다.
반면, 원적외선은 온도를 갖는 대부분의 물체로부터 방출된다. 원적외선 센서의 민감도에 따라 촬영할 수 있는 대상의 온도 범위가 달라지지만, 원적외선 영상을 촬영하기 위한 별도의 광원이 필요하지 않다.
제2 카메라 유닛(12)은 이러한 특징을 이용한 것으로, 원적외선을 방출하는 열원(熱源)에 대한 열상(熱像)이 표현된 원적외선 영상을 획득한다.
이미지 처리 유닛(20)은 제1 카메라 유닛(11)이 획득한 가시광 영상과 제2 카메라 유닛(12)이 획득한 원적외선 영상을 비교하여 열상(熱像)에 대응하는 대상체를 식별한다.
대상체는 본 발명의 제1 실시예에 따른 차량용 영상 시스템(100)이 장착된 차량(1)의 운행에 방해가 되거나 차량(1)과의 충돌 가능성이 있는 장애물을 포함하며, 차량(1)과 다른 상대 속도를 갖고 이동하거나 이동할 가능성이 있는 대상으로서 열을 발산하는 대상을 의미한다. 예를 들어, 대상체는 운행 중인 차량 및 자전거, 사람, 동물 등이 될 수 있다.
이미지 처리 유닛(20)의 기능 및 역할 등에 대해서는 후술한다.
도 1에 도시된 바와 같이, 이미지 처리 유닛(20)은 차량(1)의 ECU(Electronic Control Unit, 200)와 연결된다. ECU(200)는 차량(1)의 전륜(301, 302) 및 후륜(303, 304)에 각각 제동력을 제공하는 브레이크 유닛(311, 312, 313, 314)들을 제어할 수 있도록 구성될 수 있다.
따라서, 이미지 처리 유닛(20)이 제1 카메라 유닛(11)이 획득한 가시광 영상과 제2 카메라 유닛(12)이 획득한 원적외선 영상을 기초로 차량(1)의 전방에 충돌 가능성이 있는 대상물이 존재하는 것으로 식별하고, ECU(200)가 대상물과 차량(1)의 충돌이 임박하였다고 판단하는 경우에는, 운전자가 브레이크 페달을 조작하지 않더라도 ECU(200)는 브레이크 유닛(311, 312, 313, 314)들을 제어하여 차량(1)을 감속하거나 정지시킬 수 있다.
한편, 도 2는 본 발명의 제1 실시예에 따른 차량용 영상 시스템의 제1 카메라 유닛 및 제2 카메라 유닛의 장착예를 도시한 도면이다.
도 2에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 차량용 영상 시스템(100)의 제1 카메라 유닛(11) 및 제2 카메라 유닛(12)은 차량(1)의 전면 그릴(405)에 위치하여, 차량의 전방에 대한 가시광 영상 및 원적외선 영상을 각각 획득할 수 있다.
제1 카메라 유닛(11)과 제2 카메라 유닛(12)은 상호 대응되는 가시광 영상과 원적외선 영상을 획득하기 위해, 도 2에 도시된 바와 같이, 상호 인접하게 설치되어 대략 동일한 방향을 지향하도록 설치될 수 있다.
도 1 및 도 2에 도시된 제1 카메라 유닛(11) 및 제2 카메라 유닛(12)의 설치 위치는 본 발명에 대한 이해를 돕기 위해 제안한 하나의 실시예이며, 제1 카메라 유닛(11) 및 제2 카메라 유닛(12)의 설치 위치는 차량(1)의 디자인 등에 의해 변경될 수 있다.
예를 들어, 제1 카메라 유닛(11)과 제2 카메라 유닛(12)은 차량의 외부에 위치하는 사이드 미러(401, 402)에 각각 설치되거나, 전방 범퍼(403)에 설치되거나, 헤드 램프(404) 내에 설치될 수도 있다.
또는, 전방뿐만 아니라 후방에 대한 가시광 영상과 원적외선 영상을 획득하기 위해 차량(1)의 후방 범퍼, 리어 램프 등에 설치될 수도 있다.
이하에서는, 전술한 본 발명의 제1 실시예에 따른 차량용 영상 시스템을 이용한 차량용 영상 처리 방법에 대해 설명한다.
도 3은 본 발명의 제1 실시예에 따른 차량용 영상 시스템을 이용한 차량용 영상 처리 방법을 도시한 순서도이다.
도 3에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 차량용 영상 시스템(100)을 이용한 차량용 영상 처리 방법은, 가시광 영상 및 원적외선 영상을 획득하는 단계(S 11), 원적외선 영상 내에서 관심 영역을 특정하는 단계(S 12), 가시광 영상 내에서 처리 영역을 특정하는 단계(S 13), 처리 영역에 대한 이미지 프로세싱 단계(S 14) 및 대상체를 식별하는 단계(S 15)를 포함한다. 상술한 각 단계들에 대한 구체적인 내용은 이하에서 도 4 내지 도 7을 참고하여 설명한다.
가시광 영상 및 원적외선 영상을 획득하는 단계(S 11)에서는 제1 카메라 유닛(11)이 가시광 영상을 획득하고, 제2 카메라 유닛(12)이 가시광 영상과 대응하는 원적외선 영상을 획득한다. 제1 카메라 유닛(11)과 제2 카메라 유닛(12)의 영상 획득은 거의 동시에 이루어질 수 있다.
도 4는 본 발명의 제1 실시예에 따른 차량용 영상 시스템의 제1 카메라 유닛에 의해 촬영된 가시광 영상의 일례를 표현한 도면이고, 도 5는 본 발명의 제1 실시예에 따른 차량용 영상 시스템의 제2 카메라 유닛에 의해 촬영된 원적외선 영상의 일례를 표현한 도면이다.
도 4에 도시된 바와 같이, 가시광 영상(A1) 내에는 복수의 건물 중 조명이 들어온 창문(51), 노면에 조명을 비추는 가로등 빛(52), 노면을 걷고 있는 사람(53)이 존재한다.
한편, 도 5에 도시된 바와 같이, 원적외선 영상(A2)은 가시광 영상(A1)과 대략적으로 동일한 영역을 촬영한 것으로, 가시광 영상(A1) 내에서 빛을 발하고 있는 창문(51)과 가로등 빛(51)을 각각 열상(61, 62)으로 표현하고 있다. 빛은 가시광 뿐만 아니라 적외선 등의 파장을 포함하고 있으므로, 도 5에 도시된 바와 같이, 빛을 발하고 있는 창문 열상(61)과 가로등 빛 열상(62)이 원적외선 영상(A2) 내에서 배경에 비해 밝게 표현된다.
그리고, 가시광 영상(A1) 내에서 촬영된 노면을 걷고 있는 사람(53) 역시 원적외선 영상(A2) 내에서 열상(63)으로 밝게 표현된다. 사람(53)은 일정한 체온을 가지고 있으므로 원적외선을 방출한다. 따라서, 도 5에 도시된 바와 같이, 노면을 걷고 있는 사람 열상(63)은 원적외선 영상(A2) 내에서 밝게 표현된다.
도시되지는 않았지만, 운행 중인 차량은 차량의 엔진열, 타이어 마찰열 등에 의해 원적외선이 방출되어 그 일부가 원적외선 영상(A2) 내에서 밝게 표현되며, 동물 역시 사람과 같이 체온을 갖고 있으므로 원적외선을 방출하여 원적외선 영상(A2) 내에서 밝게 표현된다.
반면, 가시광 영상(A1) 내에서 빛 또는 열을 발하지 않는 건물, 노면 등은 원적외선을 방출하지 않거나 미약한 원적외선을 방출할 뿐이므로, 원적외선 영상(A2) 내에서 표현되지 않거나 어둡게 표현된다.
도 5에서는 열상(61, 62, 62)은 해칭으로 표현하고 열상(61, 62, 62)에 비해 어둡게 표현되는 배경들은 점선으로 표현하였다.
한편, 원적외선 영상 내에서 관심 영역을 특정하는 단계(S 12), 가시광 영상 내에서 처리 영역을 특정하는 단계(S 13), 처리 영역에 대한 이미지 프로세싱 단계(S 14) 및 대상체를 식별하는 단계(S 15)는 이미지 처리 유닛(20)에 의해 수행된다.
도 6은 도 3의 S 12 단계를 설명하기 위한 도면이다.
도 6에 도시된 바와 같이, 원적외선 영상 내에서 관심 영역을 특정하는 단계(S 12)에서, 이미지 처리 유닛(20)은 획득된 원적외선 영상(A2)에서 열상(61, 62, 62)들이 위치하는 부분을 관심 영역(ROI, Region Of Interest)(71, 72, 73)으로 특정한다.
관심 영역(ROI, Region Of Interest)(71, 72, 73)은 각각 열상(61, 62, 62)과 열상(61, 62, 62)의 인접 부분을 포함하는 영역으로 설정될 수 있다. 이 경우에 관심 영역(71, 72, 73)은 삼각형, 사각형 또는 원형 등의 심플한 경계를 갖는 영역으로 설정될 수 있다.
한편, 도 7은 도 3의 S 13 단계 내지 S 15 단계를 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 가시광 영상 내에서 처리 영역을 특정하는 단계(S 13)에서, 이미지 처리 유닛(20)은 획득된 가시광 영상(A1) 내에서 전 단계(S 12)에서 특정된 관심 영역(71, 72, 73)에 대응하는 영역을 처리 영역(83)으로 특정한다.
도 7에는 사람 열상(63)에 대한 관심 영역(73)만이 처리 영역(83)으로 특정된 상태로 도시되어 있지만, 이미지 처리 유닛(20)은 창문 열상(61)과 가로등 빛 열상(62)에 대한 관심 영역(71, 72)도 처리 영역으로 특정할 수 있다.
또는, 이미지 처리 유닛(20)은 열상(61, 62, 62)의 패턴을 기초로 그 중 일부만을 처리 영역(83)으로 대응시킬 수 있다. 즉, 창문 열상(61)과 가로등 빛 열상(62) 등과 같은 열상은 미리 입력된 알고리즘에 의해 처리 영역으로 특정되는 것이 배제될 수 있다. 창문과 가로등 빛은 차량과의 충돌 가능성인 극히 낮은 대상이기 때문이다.
처리 영역에 대한 이미지 프로세싱 단계(S 14)에서, 이미지 처리 유닛(20)은 전 단계(S 13)에서 특정한 처리 영역(83)에 대한 이미지 프로세싱을 수행한다.
이미지 프로세싱은 처리 영역(83) 내의 이미지에 대해 수행되며, 처리 영역(83) 내의 이미지를 배경과, 차량의 운행에 방해가 되거나 차량과 충돌 가능성이 있는 대상체로 분리한다.
사람 열상(63)에 대응하는 처리 영역(83)에 대한 이미지 프로세싱은, 처리 영역(83)에 대한 가시광 이미지를 대상으로 진행된다. 이미지 처리 유닛(20)은 처리 영역(83)에 대한 이미지 프로세싱 과정에서 사람(53)의 이미지를 발견하고 이를 배경으로부터 분리하는 작업을 수행하게 된다.
창문 열상(61)과 가로등 빛 열상(62)에 대응하는 처리 영역에 대한 이미지 프로세싱이 이루어지는 경우에, 처리 영역 내에 존재하는 창문 및 가로등 불빛은 차량과의 충돌 가능성이 낮은 대상체로 구분되어 해당 관심 영역(71, 72)은 모두 배경으로 처리될 수 있다.
대상체를 식별하는 단계(S 15)에서, 이미지 처리 유닛(20)은 전 단계(S 14)의 이미지 프로세싱 결과를 토대로 처리 영역(83) 내에서 차량과의 충돌 가능성이 존재하는 대상체(예를 들면, 사람 이미지(53))를 특정/식별하게 된다.
이미지 처리 유닛(20)은 특정/식별된 대상체(53)를 운전자에게 디스플레이 되는 영상 이미지 내에서 배경과 구분되도록 표시할 수 있으며, 대상체(53, 63)가 가시광 영상(A1) 및/또는 원적외선 영상(A2) 내에서 사라질 때까지 추적하며 표시할 수 있다.
운전자는 배경과 구분되어 표시되는 대상체(53)를 디스플레이 화면 상으로 확인하며 주의를 기울이게 된다.
종래의 차량용 영상 시스템 및 영상 처리 방법은 촬영 이미지의 전부에 대해 이미지 프로세싱을 수행하며 배경과 대상체를 구별하였다. 따라서, 짧은 시간 내에 이미지 전체 영역에 대한 이미지 프로세싱이 수행되어야 하므로 고사양의 DSP가 요구되었다.
그러나, 본 발명의 제1 실시예에 따른 차량용 영상 시스템(100) 및 차량용 영상 처리 방법은 촬영 이미지 전부에 대해 이미지 프로세싱을 수행하는 방식이 아닌, 원적외선 영상(A2)의 열상(61, 62, 63)을 기초로 일부 특정된 처리 영역(83)에 대해서만 이미지 프로세싱을 수행하면 되므로 저사양의 DSP로도 차량 주변에 위치하는 장애물들을 식별할 수 있다.
저사양의 DSP를 이용해 차량용 영상 시스템을 구현하는 것은 차량용 영상 시스템의 단가를 낮추는 결과로 이어지게 된다. 따라서, 낮은 트림 및/또는 저가의 차량에도 차량 주변의 장애물을 식별하는 기능을 탑재한 차량용 영상 시스템을 적용할 수 있게 되어 보다 많은 차량의 사고 예방에 이바지 할 수 있게 된다.
또한, 본 발명의 제1 실시예에 따른 차량용 영상 시스템(100) 및 차량용 영상 처리 방법은 촬영 이미지 전부에 대해 이미지 프로세싱을 수행하는 방식이 아닌, 원적외선 영상(A2)의 열상(61, 62, 63)을 기초로 일부 특정된 처리 영역(83)에 대해서만 이미지 프로세싱을 수행하면 되므로 빠른 시간 내에 장애물을 식별할 수 있다.
이하에서는 본 발명의 제2 실시예에 따른 차량용 영상 시스템 및 이를 이용한 영상 처리 방법에 대해 설명한다. 설명의 편의를 위하여 제1 실시예와 유사한 부분은 동일한 도면부호를 사용하고, 제1 실시예와 공통되는 부분은 그 설명을 생략한다.
도 8은 본 발명의 제2 실시예에 따른 차량용 영상 시스템을 포함하는 차량 구성을 개략적으로 표현한 도면이다.
도 8에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 차량용 영상 시스템(100, 도 1 참고)과 비교하여, 본 발명의 제2 실시예에 따른 차량용 영상 시스템(100')은 카메라 구동부(30)를 더 포함한다.
카메라 구동부(30)는 가시광 영상을 획득하는 제1 카메라 유닛(10)의 촬영 각도를 조절하는 구성을 갖고 있다. 카메라 구동부(30)는 제1 카메라 유닛(10)의 촬영 범위를 조절하는 줌인/줌아웃 기능을 더 포함할 수 있다.
도 8에 도시된 바와 같이, 카메라 구동부(30)는 이미지 처리 유닛(20)과 전기적인 신호를 주고 받으며 이미지 처리 유닛(20)의 처리 결과에 따라 제1 카메라 유닛(10)의 촬영 각도 및/또는 줌인/줌아웃을 조절하도록 구성된다.
이하에서는, 본 발명의 제2 실시예에 따른 차량용 영상 시스템을 이용한 차량용 영상 처리 방법에 대해 설명한다.
도 9는 본 발명의 제2 실시예에 따른 차량용 영상 시스템을 이용한 차량용 영상 처리 방법을 도시한 순서도이다.
도 9에 도시된 바와 같이, 본 발명의 제2 실시예에 따른 차량용 영상 시스템(100')을 이용한 차량용 영상 처리 방법은, 원적외선 영상을 획득하는 단계(S 21), 원적외선 영상 내에서 관심 영역을 특정하는 단계(S 22), 제1 카메라 유닛을 구동하는 단계(S 23), 관심 영역에 대한 가시광 영상을 획득하는 단계(S 24), 가시광 영상에 대한 이미지 프로세싱 단계(S 25) 및 대상체를 식별하는 단계(S 26)를 포함한다.
원적외선 영상을 획득하는 단계(S 21)는 전술한 제1 실시예의 경우와 유사하게 제2 카메라 유닛(12)에 의해 이루어진다. 제2 카메라 유닛(12)에 의해 획득된 원적외선 영상(A2)은 도 5와 대략 동일하다.
원적외선 영상 내에서 관심 영역을 특정하는 단계(S 22)는 전술한 제1 실시예의 원적외선 영상 내에서 관심 영역을 특정하는 단계(S 12)과 대략 동일하다. 즉, 이미지 처리 유닛(20)은 획득된 원적외선 영상(A2)에서 열상(61, 62, 62)들이 위치하는 부분을 관심 영역(ROI, Region Of Interest)(71, 72, 73)으로 특정한다(도 6 참고).
제1 카메라 유닛을 구동하는 단계(S 23)에서 카메라 구동부(30)는 이미지 처리 유닛(20)으로부터 관심 영역(71, 72, 73)에 대한 정보를 전달받아 제1 카메라 유닛(10)이 관심 영역(71, 72, 73)에 대응하는 차량(1)의 주변 영역을 지향하도록 한다.
도 10은 본 발명의 제2 실시예에 따른 차량용 영상 시스템의 제1 카메라 유닛에 의해 촬영된 가시광 영상의 일례를 표현한 도면이다.
예를 들어, 전 단계(S 22)에서 사람 열상(63)에 대한 관심 영역(73)이 특정된 경우에, 카메라 구동부(30)는 도 10과 같은 이미지가 제1 카메라 유닛(10) 상에 잡히도록 제1 카메라 유닛(10)의 촬영 각도를 조절하고, 필요한 경우에는 제1 카메라 유닛(10)의 줌을 조절하여 관심 영역(73)에 대응하는 영역(83)이 촬영 이미지 내에 거의 가득하게 할 수 있다.
도 6과 같이, 원적외선 영상(A2) 내에 복수의 관심 영역(71, 72, 73)이 존재하는 경우에, 카메라 구동부(30)는 각각의 관심 영역(71, 72, 73)에 대한 가시광 영상을 획득하도록 제1 카메라 유닛(10)의 촬영 각도 등을 조절하거나, 원적외선 영상(A2) 내의 관심 영역(71, 72, 73)이 하나의 이미지 안에 들어오도록 제1 카메라 유닛(10)의 촬영 각도 등을 조절할 수 있다.
관심 영역에 대한 가시광 영상을 획득하는 단계(S 24)에서, 제1 카메라 유닛(10)은 촬영 영역 및/또는 촬영 범위가 카메라 구동부(30)에 의해 조절된 상태에서 도 10과 같은 가시광 영상(A3)을 획득한다.
이후, 획득된 가시광 영상(A3)에 대해서는 이미지 처리 유닛(20)에 의해 이미지 프로세싱 단계가 진행된다(S 25). 가시광 영상에 대한 이미지 프로세싱 단계(S 25)는 전술한 제1 실시예의 처리 영역에 대한 이미지 프로세싱 단계(S 14)와 대략 유사하다. 즉, 획득된 가시광 영상(A3) 내에서 배경과, 차량의 운행에 방해가 되거나 차량과 충돌 가능성이 있는 대상체를 분리하는 이미지 프로세싱이 수행된다.
원적외선 영상(A2) 내에 복수의 관심 영역(71, 72, 73)이 존재하고, 획득된 가시광 영상(A3) 내에 복수의 관심 영역(71, 72, 73)에 대응하는 가시광 이미지가 함께 존재하는 경우에는 제1 실시예의 경우와 같이, 복수의 관심 영역(71, 72, 73)에 대응하는 처리 영역들을 설정한 후에 처리 영역들에 대해서만 이미지 프로세싱을 수행할 수도 있다.
본 실시예의 경우에도 이미지 프로세싱 단계(S 25)를 통해 차량과의 충돌 가능성이 존재하는 대상체(예를 들면, 사람 이미지(53))를 이미지를 발견하고 이를 배경으로부터 분리하는 작업을 수행하게 된다.
대상체를 식별하는 단계(S 26)에서, 이미지 처리 유닛(20)은 전 단계(S 25)의 이미지 프로세싱 결과를 토대로 영역(83) 내에서 차량과의 충돌 가능성이 존재하는 대상체(예를 들면, 사람 이미지(53))를 특정/식별하게 된다.
대상체(53)가 특정된 이후에, 카메라 구동부(30)는 제1 카메라 유닛(11)의 촬영 각도/촬영 범위 등을 지속적으로 조절하며 제1 카메라 유닛(11)이 대상체(53)를 꾸준하게 추적하며 대상체(53)에 대한 가시광 영상(A3)을 획득하도록 할 수 있다.
본 발명의 제2 실시예에 따른 차량용 영상 시스템(100') 및 차량용 영상 처리 방법은 원적외선 영상(A2)의 열상(61, 62, 63)을 기초로 이미지 프로세싱이 필요한 영역(83)을 한정한다. 영역(83)은 이미지가 단순화된 것이거나, 원적외선 영상(A2)의 일부에 대응하는 가시광 이미지이므로 저사양의 DSP로도 차량 주변에 위치하는 장애물들을 식별할 수 있게 된다.
또한, 본 발명의 제2 실시예에 따른 차량용 영상 시스템(100') 및 차량용 영상 처리 방법은 원적외선 영상(A2)의 열상(61, 62, 63)을 기초로 이미지 프로세싱이 필요한 영역(83)을 한정한다. 영역(83)은 이미지가 단순화된 것이거나, 원적외선 영상(A2)의 일부에 대응하는 가시광 이미지이므로 가시광 이미지 내에서 빠른 시간 내에 장애물을 식별할 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 차량 11: 제1 카메라 유닛
12: 제2 카메라 유닛 20: 이미지 처리 유닛
51: 창문 52: 가로등 빛
53: 사람 61: 창문 열상
62: 가로등 빛 열상 63: 사람 열상
71, 72, 73, 83: 관심 영역 100. 100': 차량용 영상 시스템
301, 302: 전륜 303, 304: 후륜
311, 312, 313, 314: 브레이크 유닛 401, 402: 사이드 미러
403: 전방 범퍼 404: 헤드 램프
405: 전면 그릴 A1, A3: 가시광 영상
A2: 원적외석 영상

Claims (13)

  1. 차량 주변에 대한 가시광 영상을 획득하는 제1 카메라 유닛;
    상기 차량 주변에 대한 원적외선 영상을 획득하는 제2 카메라 유닛; 및
    상기 원적외선 영상 내에 존재하는 열상(熱像) 중 적어도 하나에 대응하는 대상체를 상기 가시광 영상 내에서 식별하는 이미지 처리 유닛을 포함하는 차량용 영상 시스템.
  2. 제1항에 있어서,
    상기 이미지 처리 유닛은,
    상기 원적외선 영상 내에서 상기 열상 및 상기 열상의 인접 부분을 포함하는 관심 영역을 특정하고,
    상기 가시광 영상 내에서 상기 관심 영역과 대응하는 처리 영역을 특정하고,
    상기 처리 영역 내에서 이미지 프로세싱을 수행하여 상기 대상체를 식별하는, 차량용 영상 시스템.
  3. 제1항에 있어서,
    상기 가시광 영상 및 상기 원적외선 영상은 상호 대응되는, 차량용 영상 시스템.
  4. 제3항에 있어서,
    상기 제1 카메라 유닛과 상기 제2 카메라 유닛은 동일 방향을 지향하도록 상호 인접하여 설치되는, 차량용 영상 시스템.
  5. 제1항에 있어서,
    상기 제1 카메라 유닛의 촬영 각도를 조절하는 카메라 구동부를 더 포함하고,
    상기 이미지 처리 유닛은 상기 원적외선 영상 내에서 상기 열상 및 상기 열상의 인접 부분을 포함하는 관심 영역을 특정하며,
    상기 카메라 구동부는 상기 제1 카메라 유닛이 상기 관심 영역에 대한 상기 가시광 영상을 획득하도록 상기 제1 카메라 유닛의 촬영 각도를 조절하는, 차량용 영상 시스템.
  6. 제2항 또는 제5항에 있어서,
    상기 관심 영역은 상기 원적외선 영상 중 일부인, 차량용 영상 시스템.
  7. 제1항에 있어서,
    상기 대상체는 상기 차량과 다른 상대 속도를 갖는 이동 가능한 대상인, 차량용 영상 시스템.
  8. 제1항에 있어서,
    상기 대상체는 타차량, 자전거, 사람 및 동물 중 적어도 하나를 포함하는, 차량용 영상 시스템.
  9. 차량 주변에 대한 가시광 영상을 획득하는 단계;
    상기 차량 주변에 대한 원적외선 영상을 획득하는 단계; 및
    상기 원적외선 영상 내에 존재하는 열상(熱像) 중 적어도 하나에 대응하는 대상체를 상기 가시광 영상 내에서 식별하는 단계를 포함하는 차량용 영상 처리 방법.
  10. 제9항에 있어서,
    상기 식별하는 단계는,
    상기 원적외선 영상 내에서 상기 열상 및 상기 열상의 인접 부분을 포함하는 관심 영역을 특정하는 단계;
    상기 가시광 영상 내에서 상기 관심 영역과 대응하는 처리 영역을 특정하는 단계; 및
    상기 처리 영역에 대한 이미지 프로세싱을 통해 상기 대상체를 식별하는 단계를 포함하는 차량용 영상 처리 방법.
  11. 제10항에 있어서,
    상기 가시광 영상 및 상기 원적외선 영상은 상호 대응되는, 차량용 영상 처리 방법.
  12. 차량 주변에 대한 원적외선 영상을 획득하는 단계;
    상기 원적외선 영상 내에 존재하는 열상(熱像) 및 상기 열상의 인접 부분을 관심 영역으로 특정하는 단계;
    상기 관심 영역에 대한 가시광 영상을 획득하는 단계; 및
    상기 가시광 영상 내에서 상기 열상에 대응하는 대상체를 식별하는 단계를 포함하는 차량용 영상 처리 방법.
  13. 제12항에 있어서,
    상기 가시광 영상은 촬영 각도가 조절 가능한 카메라 유닛에 의해 획득되며,
    상기 카메라 유닛이 상기 관심 영역에 대응하는 상기 차량의 주변 영역을 지향하도록 상기 카메라 유닛의 촬영 각도를 조절하는 단계를 더 포함하는, 차량용 영상 처리 방법.
KR1020140161512A 2014-11-19 2014-11-19 차량용 영상 시스템 및 이를 이용한 차량용 영상 처리 방법 KR20160059696A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140161512A KR20160059696A (ko) 2014-11-19 2014-11-19 차량용 영상 시스템 및 이를 이용한 차량용 영상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140161512A KR20160059696A (ko) 2014-11-19 2014-11-19 차량용 영상 시스템 및 이를 이용한 차량용 영상 처리 방법

Publications (1)

Publication Number Publication Date
KR20160059696A true KR20160059696A (ko) 2016-05-27

Family

ID=56105919

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140161512A KR20160059696A (ko) 2014-11-19 2014-11-19 차량용 영상 시스템 및 이를 이용한 차량용 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR20160059696A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112313936A (zh) * 2019-11-26 2021-02-02 深圳市大疆创新科技有限公司 车辆视觉系统及车辆

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112313936A (zh) * 2019-11-26 2021-02-02 深圳市大疆创新科技有限公司 车辆视觉系统及车辆
WO2021102672A1 (zh) * 2019-11-26 2021-06-03 深圳市大疆创新科技有限公司 车辆视觉系统及车辆
CN112313936B (zh) * 2019-11-26 2022-05-27 深圳市大疆创新科技有限公司 车辆视觉系统及车辆

Similar Documents

Publication Publication Date Title
KR101579098B1 (ko) 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
US7593573B2 (en) Method and device for visualizing the surroundings of a vehicle
EP2717238B1 (en) Vehicular field of view assistance device
KR101631439B1 (ko) 카메라, 및 이를 구비한 차량
EP2698777B1 (en) Vehicle-mounted peripheral object recognition device and driving assistance device using same
US20180338117A1 (en) Surround camera system for autonomous driving
JP5853947B2 (ja) 暗視装置
US11805330B2 (en) Image recognition device, solid-state imaging device, and image recognition method
JP2006185410A (ja) 夜間移動体報知装置及び夜間移動体報知方法
US11438531B2 (en) Imaging apparatus and electronic equipment
WO2012014266A1 (ja) 障害物検知システム及び方法、障害物検知装置
WO2020241336A1 (ja) 画像認識装置および画像認識方法
WO2020230636A1 (ja) 画像認識装置および画像認識方法
US10023118B2 (en) Vehicle vision system with thermal sensor
KR20150080639A (ko) 자동차를 위한 운전자 보조 시스템 및 방법
WO2021241360A1 (ja) 検出装置、検出システム及び検出方法
KR20170007961A (ko) 운전 지원 시스템 및 운전 지원 방법
KR20160059696A (ko) 차량용 영상 시스템 및 이를 이용한 차량용 영상 처리 방법
KR101533285B1 (ko) 어두운 환경에서 위험을 감지하기 위한 적외선 영상을 촬영하여 표시하는 차량 안전 시스템 및 적외선 영상 촬영방법
JP2010020557A (ja) 画像処理装置及び画像処理方法
JP7295645B2 (ja) 車両用道路標識認識支援装置
KR20170093490A (ko) 차량용 모니터링 시스템
KR101280259B1 (ko) 차량용 안전 제어 시스템 및 그를 이용한 안전 제어 방법
JPWO2020129517A1 (ja) 画像処理装置
KR102513818B1 (ko) 열 감지 센서를 이용한 피사체 인식률 향상 방법 및 이를 이용한 카메라

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application