KR102384175B1 - 차량의 카메라 장치 - Google Patents

차량의 카메라 장치 Download PDF

Info

Publication number
KR102384175B1
KR102384175B1 KR1020150107054A KR20150107054A KR102384175B1 KR 102384175 B1 KR102384175 B1 KR 102384175B1 KR 1020150107054 A KR1020150107054 A KR 1020150107054A KR 20150107054 A KR20150107054 A KR 20150107054A KR 102384175 B1 KR102384175 B1 KR 102384175B1
Authority
KR
South Korea
Prior art keywords
image
sub
front object
analysis
camera device
Prior art date
Application number
KR1020150107054A
Other languages
English (en)
Other versions
KR20170014168A (ko
Inventor
심상균
Original Assignee
주식회사 만도모빌리티솔루션즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도모빌리티솔루션즈 filed Critical 주식회사 만도모빌리티솔루션즈
Priority to KR1020150107054A priority Critical patent/KR102384175B1/ko
Priority to US15/216,693 priority patent/US10445596B2/en
Priority to DE102016213673.9A priority patent/DE102016213673A1/de
Priority to CN201610618001.1A priority patent/CN106394406B/zh
Publication of KR20170014168A publication Critical patent/KR20170014168A/ko
Application granted granted Critical
Publication of KR102384175B1 publication Critical patent/KR102384175B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/2254—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은, 제1시야각 및 제1초점거리를 가지는 제1렌즈로 제1서브영역과 제2서브영역을 포함하는 제1영역을 촬영하여 제1서브영역에 대한 제1서브이미지 및 제2서브영역에 대한 제2서브이미지를 포함하는 제1이미지를 생성하는 제1이미지생성부, 제2시야각 및 제2초점거리를 가지는 제2렌즈로 제2서브영역과 제3서브영역을 포함하는 제2영역을 촬영하여 제2서브영역에 대한 제3서브이미지 및 제3서브영역에 대한 제4서브이미지를 포함하는 제2이미지를 생성하는 제2이미지생성부; 및 제1서브이미지에 대한 분석을 통해 제1전방 오브젝트를 인식하고 제4서브이미지에 대한 분석을 통해 측방 오브젝트를 인식하며, 제2서브이미지 및 제3서브이미지에 대한 분석을 통해 제2전방 오브젝트를 인식하고 제2전방 오브젝트의 거리를 측정하는 이미지분석부를 포함하는 차량의 카메라 장치를 제공한다.

Description

차량의 카메라 장치{CAMERA DEVICE FOR VEHICLE}
본 발명은 차량의 카메라 장치에 관한 것이다. 더욱 상세하게는 둘 이상의 렌즈를 포함하는 차량의 카메라 장치에 관한 것이다.
최근 차량에는 이미지 센서 기반 카메라들이 장착되어 사용되고 있으며, 이러한 카메라들은 차량의 전후방 등에 장착되어 차량의 주위를 촬영한다. 이렇게 촬영된 영상은 운전자에게 이미지 정보를 제공하는 단순 기능으로 사용되기도 하지만, 2차 분석을 통해 차량의 운행을 자동 제어하거나 운전자에게 위험을 경고하는 다양한 시스템과 연계되어 사용되기도 한다.
이러한 시스템으로는 적응 순항 제어(ACC: Active Cruise Control)시스템, 차선변경보조(Lane Change Assitance)시스템, 차선이탈경보(Lane Departure Waring)시스템, 전방충돌경고(FCW: Forward Collision Warning)시스템 및 주차보조(Parking Assistance)시스템 등이 있다.
한편, 카메라에 사용되는 렌즈는 일정한 시야각과 초점거리를 가지는데, 카메라의 촬영 영역은 이러한 시야각과 초점거리로 제한된다. 이에 따라, 특정 시야각을 가지는 카메라를 통해 이미지를 획득하는 시스템에도 일정한 한계가 생길 수 있다. 예를 들어, 먼 거리를 촬영하기 위해 시야각이 좁고 초점거리가 큰 렌즈를 채용한 카메라는 촬영 영역의 좌우 폭이 좁게 되는데, 이러한 카메라를 통해 이미지를 획득하는 시스템은 측방에 존재하는 오브젝트를 제대로 인식하지 못하는 한계가 있다. 다른 예로서, 좌우로 넓게 촬영하기 위해 시야각이 넓고 초점거리가 작은 렌즈를 채용한 카메라는 촬영 영역의 전방 길이가 짧게 되는데, 이러한 카메라를 통해 이미지를 획득하는 시스템은 먼 거리에 위치하는 오브젝트를 제대로 인식하지 못하는 한계가 있다.
이러한 배경에서, 본 발명의 목적은, 서로 다른 시야각 혹은 서로 다른 초점거리를 가지는 적어도 둘 이상의 렌즈를 이용하여 촬영 영역이 다른 적어도 둘 이상의 이미지를 획득하는 카메라 장치 기술을 제공하는 것이다.
전술한 목적을 달성하기 위하여, 일 측면에서, 본 발명은, 제1시야각 및 제1초점거리를 가지는 제1렌즈로 제1서브영역과 제2서브영역을 포함하는 제1영역을 촬영하여 상기 제1서브영역에 대한 제1서브이미지 및 상기 제2서브영역에 대한 제2서브이미지를 포함하는 제1이미지를 생성하는 제1이미지생성부; 제2시야각 및 제2초점거리를 가지는 제2렌즈로 상기 제2서브영역과 제3서브영역을 포함하는 제2영역을 촬영하여 상기 제2서브영역에 대한 제3서브이미지 및 상기 제3서브영역에 대한 제4서브이미지를 포함하는 제2이미지를 생성하는 제2이미지생성부; 및 상기 제1서브이미지에 대한 분석을 통해 제1전방 오브젝트를 인식하고 상기 제4서브이미지에 대한 분석을 통해 측방 오브젝트를 인식하며, 상기 제2서브이미지 및 상기 제3서브이미지에 대한 분석을 통해 제2전방 오브젝트를 인식하고 상기 제2전방 오브젝트의 거리를 측정하는 이미지분석부를 포함하는 차량의 카메라 장치를 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 카메라 장치는 촬영 영역이 다른 적어도 둘 이상의 이미지를 획득할 수 있고, 카메라의 촬영 이미지를 이용하는 시스템의 오브젝트 인식 영역이 넓어질 수 있다.
도 1은 일 실시예에 따른 카메라 장치의 구성도이다.
도 2는 제1이미지생성부와 제2이미지생성부의 촬영 영역을 나타내는 도면이다.
도 3은 일 실시예에 따른 카메라 장치가 교차로의 신호등을 인식하는 것을 나타내는 도면이다.
도 4는 일 실시예에 따른 카메라 장치가 분기점에서의 차선을 인식하는 것을 나타내는 도면이다.
도 5는 일 실시예에 따른 카메라 장치와 주변 장치의 정보 흐름을 나타내는 도면이다.
도 6 및 도 7은 두 개의 렌즈를 이용하여 오브젝트의 거리를 측정하는 것을 나타내는 도면이다.
도 8a 및 도 8b는 제1이미지와 제2이미지를 나타내는 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 일 실시예에 따른 카메라 장치의 구성도이다.
도 1을 참조하면, 카메라 장치(100)는 제1렌즈(120), 제2렌즈(130), 제1이미지생성부(122), 제2이미지생성부(132) 및 이미지분석부(110) 등을 포함할 수 있다.
제1렌즈(120)는 제1시야각 및 제1초점거리를 가지고 제2렌즈(130)는 제2시야각 및 제2초점거리를 가진다. 이때, 제1렌즈(120)와 제2렌즈(130)의 시야각은 서로 다를 수 있다. 예를 들어, 제1렌즈(120)의 제1시야각이 제2렌즈(130)의 제2시야각보다 작을 수 있다. 또한, 제1렌즈(120)와 제2렌즈(130)의 초점거리는 서로 다를 수 있다. 예를 들어, 제1렌즈(120)의 제1초점거리는 제2렌즈(130)의 제2초점거리보다 길 수 있다.
시야각이 넓은 렌즈가 초점거리가 짧고 시야각이 좁은 렌즈가 초점거리가 길 수 있다. 다만, 이는 일반적인 경우의 예시이며, 모든 렌즈가 이러한 형태로 제한되지는 않는다. 아래에서는 이러한 일반적인 렌즈를 채용한 경우를 예로 들어 설명한다. 이에 따라, 아래에서는 제1렌즈(120)의 제1시야각이 제2렌즈(130)의 제2시야각보다 좁고, 제1렌즈(120)의 제1초점거리가 제2렌즈(130)의 제2초점거리보다 긴 실시예를 중심으로 설명한다.
제1이미지생성부(122)는 제1렌즈(120)를 통해 입력되는 입사광에 따라 제1이미지를 생성한다. 제1이미지는 디지털 이미지 데이터로서 색상 정보 혹은 계조(grayscale) 정보를 포함하는 다수의 화소를 포함할 수 있다.
제2이미지생성부(132)는 제2렌즈(130)를 통해 입력되는 입사광에 따라 제2이미지를 생성한다. 제2이미지는 디지털 이미지 데이터로서 색상 정보 혹은 계조 정보를 포함하는 다수의 화소를 포함할 수 있다.
이미지분석부(110)는 이러한 제1이미지 및 제2이미지를 분석하여 차량 주변의 오브젝트를 인식할 수 있다. 또한, 이미지분석부(110)는 인식된 오브젝트에 대한 정보를 바탕으로 오브젝트의 거리 정보, 오브젝트의 진행 방향 정보, 오브젝트의 속도 정보 등의 부가 정보를 더 생성할 수 있다.
한편, 제1이미지생성부(122)는 제1시야각 및 제1초점거리를 가지는 제1렌즈(120)를 이용하여 제1이미지를 생성하고, 제2이미지생성부(132)는 제2시야각 및 제2초점거리를 가지는 제2렌즈(130)를 이용하여 제2이미지를 생성하기 때문에, 제1이미지생성부(122)와 제2이미지생성부(132)의 촬영 영역은 서로 다를 수 있다.
도 2는 제1이미지생성부와 제2이미지생성부의 촬영 영역을 나타내는 도면이다.
도 2를 참조하면, 제1이미지생성부(122)는 제1영역(210)을 촬영하여 제1이미지를 생성하고, 제2이미지생성부(132)는 제2영역(220)을 촬영하여 제2이미지를 생성한다.
제1렌즈(120)의 초점거리가 제2렌즈(130)의 초점거리보다 길기 때문에, 제1영역(210)의 전방 길이가 제2영역(220)의 전방 길이보다 길 수 있다. 또한, 제2렌즈(130)의 시야각이 제1렌즈(120)의 시야각보다 넓기 때문에 제2영역(220)의 좌우 폭이 제1영역(210)의 좌우 폭보다 넓을 수 있다.
제1영역((210)은 제1서브영역(212)과 제2서브영역(214)을 포함할 수 있다. 제1영역(210)은 실질적으로 제1서브영역(212)과 제2서브영역(214)으로 이루어질 수 있으나 실시예에 따라서는 다른 서브영역을 더 포함할 수도 있다.
제2영역(220)은 제2서브영역(214)과 제3서브영역(222)을 포함할 수 있다. 제2영역(220)은 실질적으로 제2서브영역(214)과 제3서브영역(222)으로 이루어질 수 있으나 실시예에 따라서는 다른 서브영역을 더 포함할 수도 있다.
제2서브영역(214)은 제1영역(210)에도 포함되고 제2영역(220)에도 포함되는 공통 영역이다. 이에 따라, 제1이미지에도 제2서브영역(214)에 대한 이미지가 포함될 수 있고, 제2이미지에도 제2서브영역(214)에 대한 이미지가 포함될 수 있다. 구체적으로, 제1이미지생성부(122)는 제1서브영역(212)에 대한 제1서브이미지 및 제2서브영역(214)에 대한 제2서브이미지를 포함하는 제1이미지를 생성할 수 있고, 제2이미지생성부(132)는 제2서브영역(214)에 대한 제3서브이미지 및 제3서브영역(222)에 대한 제4서브이미지를 포함하는 제2이미지를 생성할 수 있다.
이미지분석부(110)는 제1서브영역(212)을 촬영하여 획득한 제1서브이미지에 대한 분석을 통해 제1전방 오브젝트(232)를 인식할 수 있다. 그리고, 이미지분석부(110)는 제3서브영역(222)을 촬영하여 획득한 제4서버이미지에 대한 분석을 통해 측방 오브젝트(236)를 인식할 수 있다.
제1전방 오브젝트(232)는 차량으로부터 원거리에 위치할 수 있다. 예를 들어, 제1전방 오브젝트(232)는 차량으로부터 200미터 이상의 전방에 위치할 수 있다. 카메라 장치(100)는 제1렌즈(120)로서 초점거리가 긴 망원렌즈를 사용함으로써 이와 같이 차량으로부터 멀리 떨어진 영역에 위치하는 제1전방 오브젝트(232)를 인식할 수 있다.
측방 오브젝트(236)는 차량의 좌우측 영역에 위치할 수 있다. 카메라 장치(100)는 제2렌즈(130)로서 시야각이 큰 광각렌즈를 사용함으로써 이와 같이 차량의 좌우측 영역에 위치하는 측방 오브젝트(236)를 인식할 수 있다.
시야각 및 초점거리가 특정되는 하나의 렌즈가 사용될 경우, 이와 같이 원거리에 위치하는 제1전방 오브젝트(232)와 측방에 위치하는 측방 오브젝트(236)가 동시에 인식될 수 없다. 이에 반해, 일 실시예에 따른 카메라 장치(100)는 서로 다른 시야각 혹은 서로 다른 초점거리를 가지는 두 개의 렌즈(120, 130)를 사용함으로써 원거리에 위치하는 제1전방 오브젝트(232)와 측방에 위치하는 측방 오브젝트(236)를 동시에 인식할 수 있게 된다.
이미지분석부(110)는 제2서브영역(214)을 촬영하여 획득한 제2서브이미지와 제3서브이미지에 대한 분석을 통해 제2전방 오브젝트(234)를 인식하다. 그리고, 이미지분석부(110)는 제2서브이미지와 제3서브이미지에 대한 분석을 통해 제2전방 오브젝트(234)의 거리를 측정할 수 있다. 카메라 장치(100)가 서로 다른 위치에서 촬영한 두 개의 이미지를 분석하면 해당 이미지를 통해 인식되는 오브젝트의 거리를 측정할 수 있다. 일 실시예에 따른 카메라 장치(100)는 제1렌즈(120)를 이용하여 제2서브영역(214)에 위치하는 제2전방 오브젝트(234)를 촬영하고 제2서브이미지를 생성하고 제2렌즈(130)를 이용하여 동일한 제2전방 오브젝트(234)를 촬영하여 제3서브이미지를 생성한다. 이에 따라, 카메라 장치(100)는 동일한 제2전방 오브젝트(234)에 대한 두 개의 이미지(제2서브이미지 및 제3서브이미지)를 획득하게 되고, 이러한 두 개의 이미지(제2서브이미지 및 제3서브이미지)를 분석하여 제2전방 오브젝트(234)의 거리를 측정할 수 있게 된다.
이미지분석부(110)는 제2서브영역(214)을 촬영하여 획득한 제2서브이미지에 대한 분석을 통해 제2전방 오브젝트(234)를 인식하고 동일한 제2서브영역(214)을 촬영하여 획득한 제3서브이미지에 대한 분석을 통해 제2전방 오브젝트(234)에 대한 인식을 검증할 수 있다. 반대로, 이미지분석부(110)는 제2서브영역(214)을 촬영하여 획득한 제3서브이미지에 대한 분석을 통해 제2전방 오브젝트(234)를 인식하고 동일한 제2서브영역(214)을 촬영하여 획득한 제2서브이미지에 대한 분석을 통해 제2전방 오브젝트(234)에 대한 인식을 검증할 수 있다. 이러한 검증을 통해 이미지분석부(110)는 제2전방 오브젝트(234)의 인식에 대한 신뢰성을 제고시킬 수 있다.
전술한 바와 같이 카메라 장치(100)는 서로 다른 시야각 혹은 서로 다른 초점거리를 가지는 두 개의 렌즈(120, 130)를 사용함으로써 오브젝트의 인식 영역을 넓힐 수 있고, 공통 영역에 위치하는 오브젝트의 거리를 측정할 수 있으며, 공통 영역에 위치하는 오브젝트의 인식에 대한 신뢰성을 제고시킬 수 있다.
한편, 카메라 장치(100)에 의해서 인식되는 오브젝트는 차량일 수도 있고, 차선, 장애물, 보행자, 신호등 등 차량의 주변에 위치하는 모든 대상물일 수 있다.
도 3 및 도 4를 참조하여 오브젝트가 신호등인 실시예와 오브젝트가 차선인 실시예를 설명한다.
도 3은 일 실시예에 따른 카메라 장치가 교차로의 신호등을 인식하는 것을 나타내는 도면이다.
도 3을 참조하면, 카메라 장치(100)는 제1서브영역(212)을 촬영하여 획득한 제1서브이미지에 대한 분석을 통해 전방 신호등(232a)을 인식할 수 있다. 또한, 카메라 장치(100)는 제3서브영역(222a, 222b)을 촬영하여 획득한 제4서브이미지에 대한 분석을 통해 측방 신호등(236a, 236b)을 인식할 수 있다. 이와 같이 카메라 장치(100)는 서로 다른 영역을 촬영한 두 개의 이미지를 이용하여 교차로에 위치하는 전,좌,우 방향 신호등(232a, 236a, 236b)을 모두 인식할 수 있게 된다.
도 4는 일 실시예에 따른 카메라 장치가 분기점에서의 차선을 인식하는 것을 나타내는 도면이다.
도 4를 참조하면, 카메라 장치(100)는 초점거리가 긴 제1렌즈(120)를 이용하여 제1영역(210)을 촬영하고 제1영역(210)에서 촬영된 제1이미지를 분석하여 제1차선(232c)을 인식할 수 있다. 이때, 제1차선(232c)은 차선의 곡률이 일정값 이하일 수 있다. 일 예로서, 제1차선(232c)은 직진 차선일 수 있다. 제1렌즈(120)의 초점거리가 길면 촬영 영역이 전방으로 길어지게 되는데, 이에 따라, 카메라 장치(100)는 전방으로 길게 늘어선 영역의 이미지를 획득할 수 있게 된다. 그리고, 카메라 장치(100)는 이러한 전방으로 길게 늘어선 영역의 이미지를 이용하여 곡률이 작은 차선을 인식할 수 있게 된다.
카메라 장치(100)는 시야각이 넓은 제2렌즈(130)를 이용하여 제2영역(220)을 촬영하고 제2영역(220)에서 촬영된 제2이미지를 분석하여 제2차선(236c)을 인식할 수 있다. 이때, 제2차선(236c)은 차선의 곡률이 일정값 이상일 수 있다. 일 예로서, 제2차선(236c)은 곡선로의 차선일 수 있다. 제2렌즈(130)의 시야각이 넓으면 촬영 영역이 측방으로 넓어지게 되는데, 이에 따라, 카메라 장치(100)는 측방으로 넓은 영역의 이미지를 획득할 수 있게 된다. 그리고, 카메라 장치(100)는 이러한 측방으로 넓은 영역의 이미지를 이용하여 곡률이 큰 차선을 인식할 수 있게 된다.
카메라 장치(100)에서 인식된 이러한 신호등 정보나 차선 정보는 다른 장치 혹은 시스템으로 전송되어 차량 제어에 사용될 수 있다.
차량에는 영상정보를 이용하는 다수의 제어장치가 포함될 수 있다. 구체적으로, 차량에는 카메라 장치(100)를 통해 인식된 차선정보를 이용하는 시스템이 포함될 수 있다. 예를 들어, 차량에는 차선이탈경고시스템(LDWS: Lane Departure Warning System), 차선유지보조시스템(LKAS: Lane Keeping Assist System) 등의 시스템이 탑재될 수 있는데, 이러한 시스템은 카메라 장치(100)를 통해 인식된 차선정보를 이용하여 차선이탈을 경고하거나 차선유지를 보조한다. 또한, 차량에는 카메라 장치(100)를 통해 인식된 장애물정보를 이용하는 시스템이 포함될 수 있다. 예를 들어, 차량에는 충돌방지시스템(CAS: Collision Avoidance System), 크로스트래픽시스템(CTA: Cross Traffic Assist System) 등이 탑재될 수 있는데, 이러한 시스템은 카메라 장치(100)를 통해 인식된 장애물정보를 이용하여 차량의 충돌을 방지하거나 경고한다. 또한, 차량에는 브레이크제어시스템(예를 들어, AEB: Automatic Emergency Brake) 혹은 크루즈제어시스템(예를 들어, SCC: Smart Cruise Control) 등이 탑재될 수 있는데, 이러한 시스템은 카메라 장치(100)를 통해 인식된 오브젝트 정보 혹은 오브젝트의 거리 정보를 이용하여 차량을 제동하거나 차량의 크루즈 주행을 제어할 수 있다.
한편, 카메라 장치(100)는 제1전방 오브젝트(도 2의 232 참조) 및 제2전방 오브젝트(도 2의 234 참조)에 대한 인식 정보, 그리고, 제2전방 오브젝트(234)에 대한 거리 정보를 브레이크제어시스템 혹은 크루즈제어시스템으로 전송할 수 있다. 그리고, 브레이크제어시스템 혹은 크루즈제어시스템은 이러한 정보를 이용하여 제어를 수행할 수 있다. 예를 들어, 브레이크제어시스템은 제1전방 오브젝트(232)에 대한 인식 정보를 바탕으로 전방의 제1서브영역(도 2의 212 참조)에 장애물이 있는 것을 확인할 수 있다. 그리고, 브레이크제어시스템은 제2전방 오브젝트(234)에 대한 인식 정보와 거리 정보를 바탕으로 제2서브영역(도 2의 214 참조)에 위치하는 장애물과 차량의 거리를 확인하고 구체적인 제동 시점과 제동 강도를 결정할 수 있다.
각 서브영역에서 인식된 정보는 서로 다른 주변 장치로 전송될 수 있다.
도 5는 일 실시예에 따른 카메라 장치와 주변 장치의 정보 흐름을 나타내는 도면이다.
도 5를 참조하면, 차량에는 제1제어장치(510), 제2제어장치(520) 및 제3제어장치(530)가 탑재될 수 있다.
이러한 차량에서 제1서브영역(도 2의 212 참조)에서 인식된 제1정보는 제1제어장치(510)로 전송되고 제3서브영역(도 2의 222 참조)에서 인식된 제2정보는 제2제어장치(520)로 전송되며 제2서브영역(도 2의 214 참조)에서 인식된 제3정보는 제3제어장치(530)로 전송될 수 있다. 예를 들어, 제1제어장치(510)에는 크루즈제어시스템이 탑재될 수 있고, 제2제어장치(520)에는 크로스트래픽시스템이 탑재될 수 있으며, 제3제어장치(530)에는 브레이크제어시스템이 탑재될 수 있다. 이때, 제1제어장치(510)는 원거리에 위치하는 장애물 정보를 바탕으로 크루즈 제어를 수행할 수 있고, 제2제어장치(520)는 측방에 위치하는 장애물 정보를 바탕으로 크로스트래픽 제어를 수행할 수 있으며, 제3제어장치(530)는 전방으로 근접한 장애물의 거리 정보를 바탕으로 제동 제어를 수행할 수 있다.
한편, 카메라 장치(100)는 두 개의 렌즈(120, 130)를 이용하여 제1이미지와 제2이미지를 생성하는데, 카메라 장치(100)는 동일 오브젝트에 대한 이러한 두 개의 이미지(제1이미지 및 제2이미지)를 이용하여 해당 오브젝트의 거리를 측정할 수 있다.
도 6 및 도 7은 두 개의 렌즈를 이용하여 오브젝트의 거리를 측정하는 것을 나타내는 도면이다.
도 6을 참조하면, 카메라 장치(100)에는 일정 갭(g)만큼 서로 이격된 두 개의 렌즈(120, 130)가 포함되는데, 카메라 장치(100)는 이러한 두 개의 렌즈(120, 130)를 이용하여 제2서브영역(214)에 위치하며 차량으로부터 일정 거리(d)만큼 떨어져 있는 제2전방 오브젝트(234)에 대한 두 개의 촬영 이미지(제1이미지 및 제2이미지)를 생성할 수 있다.
카메라 장치(100)는 제1이미지 및 제2이미지를 분석하여 제2전방 오브젝트(234)의 거리를 측정할 수 있다. 좀더 구체적으로, 카메라 장치(100)는 제1렌즈(120)를 이용하여 제2서브영역(214)을 촬영한 제2서브이미지와 제2렌즈(130)를 이용하여 제2서브영역(214)을 촬영한 제3서브이미지를 분석하여 제2전방 오브젝트(234)를 인식하고 제2전방 오브젝트(234)의 거리를 측정할 수 있다.
제2전방 오브젝트(234)의 거리를 측정하는 방법을 도 7을 참조하여 설명한다.
도 7을 참조하면, 제2전방 오브젝트(234)는 차량으로부터 제1방향(x)으로 xd 및 제2방향(y)으로 yd 만큼 떨어져 있다. 제2전방 오브젝트(234)의 이격 거리(d)는 이러한 제1방향(x) 이격 거리(xd) 및 제2방향(y) 이격 거리(yd)를 계산함으로써 측정될 수 있다.
먼저, 제2방향(y) 이격 거리(yd)는 제2서브이미지에서의 제2전방 오브젝트(234)의 제1방향 좌표(xr) 및 제3서브이미지에서의 제2전방 오브젝트(234)의 제1방향 좌표(xl)의 차이를 이용하여 다음과 같은 수식으로 계산할 수 있다.
Figure 112015073653879-pat00001
여기서, f는 초점거리이다.
한편, 제1렌즈(120)의 초점거리(fr)와 제2렌즈(130)의 초점거리(fl)가 상이하기 때문에, 카메라 장치(100)는 제2서브이미지 혹은 제3서브이미지 중 적어도 하나의 이미지에 대해 크기 혹은 해상도를 보정할 수 있다. 이러한 보정에 의해, 제2서브이미지에서의 제2전방 오브젝트(234)의 제1방향 좌표(xr) 혹은 제3서브이미지에서의 제2전방 오브젝트(234)의 제1방향 좌표(xl)도 변할 수 있다.
예를 들어, 제2서브이미지의 크기 혹은 해상도를 fl/fr 만큼 보정할 경우, 제2서브이미지에서의 제2전방 오브젝트(234)의 제1방향 좌표는 다음과 같이 변할 수 있다.
Figure 112015073653879-pat00002
xr'는 제2서브이미지에서의 제2전방 오브젝트(234)의 제1방향의 보정된 좌표이다.
그리고, 수학식 1은 다음과 같이 수정될 수 있다.
Figure 112015073653879-pat00003
그리고, 제1방향(x) 이격 거리(xd)는 다음과 같이 계산할 수 있다.
Figure 112015073653879-pat00004
카메라 장치(100)는 제2방향 좌표가 같아지도록 제2서브이미지 및 제3서브이미지 중 적어도 하나의 이미지를 보정할 수 있다.
도 8a 및 도 8b는 제1이미지와 제2이미지를 나타내는 도면이다.
도 8a 및 도 8b를 참조하면, 제1이미지(810)는 제1서브이미지(812)와 제2서브이미지(814)로 구성되는데, 제2서브이미지(814)는 제1서브이미지(812)의 아래에 위치할 수 있다. 이때, 제1이미지(810)의 사이즈는 xa x ya1 이고, 제2서브이미지(814)의 사이즈는 xa x ya2 일 수 있다. 그리고, 제2이미지(820)는 제3서브이미지(822)와 제4서브이미지(824)로 구성되는데, 제4서브이미지(824)는 제3서브이미지(822)의 측면에 위치할 수 있다. 이때, 제2이미지(820)의 사이즈는 xb1 x yb 이고, 제3서브이미지(822)의 사이즈는 xb2 x yb 일 수 있다.
동일한 제2전방 오브젝트(234)를 촬영한 제2서브이미지(814)와 제3서브이미지(822)의 사이즈는 상이할 수 있다. 예를 들어, 제2서브이미지(814)는 y축 사이즈가 짧을 수 있고, 제3서브이미지(822)는 x축 사이즈가 짧을 수 있다.
카메라 장치(100)는 제2전방 오브젝트(234)에 대한 y축 좌표가 같아지도록 제2서브이미지(814) 및 제3서브이미지(822) 중 적어도 하나의 이미지를 보정할 수 있다.
한편, 제2서브이미지(814)와 제3서브이미지(822)는 동일한 대상을 촬영한 이미지이기 때문에 카메라 장치(100)는 제2서브이미지(814)에 대한 분석을 통해 제2전방 오브젝트(234)를 인식하고 제3서브이미지(822)에 대한 분석을 통해 제2전방 오브젝트(234)에 대한 인식을 검증하거나, 제3서브이미지(822)에 대한 분석을 통해 제2전방 오브젝트(234)를 인식하고 제2서브이미지(814)에 대한 분석을 통해 제2전방 오브젝트(234)에 대한 인식을 검증할 수 있다.
앞에서 카메라 장치(100)가 두 개의 렌즈(120, 130)를 포함하는 실시예를 설명하였으나 본 발명이 이로 제한되는 것은 아니며 카메라 장치(100)는 3개 이상의 렌즈를 포함할 수도 있다.
예를 들어, 카메라 장치(100)는 제3시야각 및 제3초점거리를 가지는 제3렌즈로 제3영역을 촬영하여 제3이미지를 생성하는 제3이미지생성부를 더 포함하고, 제1이미지와 제3이미지를 분석하여 제1영역과 제3영역의 공통 영역에 위치하는 제3전방 오브젝트의 거리를 측정하거나, 제2이미지와 제3이미지를 분석하여 제2영역과 제3영역의 공통 영역에 위치하는 제4전방 오브젝트의 거리를 측정할 수 있다.
이상에서 설명한 바와 같이 본 발명에 의하면, 카메라 장치(100)는 촬영 영역이 다른 적어도 둘 이상의 이미지를 획득할 수 있고, 카메라의 촬영 이미지를 이용하는 시스템은 오브젝트의 인식 영역을 넓힐 수 있다.
이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 제1시야각 및 제1초점거리를 가지는 제1렌즈로 제1서브영역과 제2서브영역을 포함하는 제1영역을 촬영하여 상기 제1서브영역에 대한 제1서브이미지 및 상기 제2서브영역에 대한 제2서브이미지를 포함하는 제1이미지를 생성하는 제1이미지생성부;
    제2시야각 및 제2초점거리를 가지는 제2렌즈로 상기 제2서브영역과 제3서브영역을 포함하는 제2영역을 촬영하여 상기 제2서브영역에 대한 제3서브이미지 및 상기 제3서브영역에 대한 제4서브이미지를 포함하는 제2이미지를 생성하는 제2이미지생성부; 및
    상기 제1서브이미지에 대한 분석을 통해 제1전방 오브젝트를 인식하고 상기 제4서브이미지에 대한 분석을 통해 측방 오브젝트를 인식하며, 상기 제2서브이미지 및 상기 제3서브이미지에 대한 분석을 통해 제2전방 오브젝트를 인식하고 상기 제2전방 오브젝트의 거리를 측정하는 이미지분석부
    를 포함하며,
    상기 이미지분석부는,
    상기 제1이미지 및 상기 제2이미지의 분석을 통해서 도로의 차선을 구분하여 인식하는 차량의 카메라 장치.
  2. 제1항에 있어서,
    상기 이미지분석부는,
    상기 제2서브이미지 및 상기 제3서브이미지 중 적어도 하나의 이미지에 대해 크기 혹은 해상도를 보정한 후 상기 제2서브이미지 및 상기 제3서브이미지를 분석하는 차량의 카메라 장치.
  3. 제1항에 있어서,
    상기 이미지분석부는,
    상기 제2서브이미지에서의 상기 제2전방 오브젝트의 제1방향 좌표 및 상기 제3서브이미지에서의 상기 제2전방 오브젝트의 상기 제1방향 좌표의 차이를 이용하여 상기 제2전방 오브젝트의 거리를 측정하는 차량의 카메라 장치.
  4. 제3항에 있어서,
    상기 이미지분석부는,
    상기 제2전방 오브젝트에 대한 제2방향 좌표가 같아지도록 상기 제2서브이미지 및 상기 제3서브이미지 중 적어도 하나의 이미지를 보정하는 차량의 카메라 장치.
  5. 제1항에 있어서,
    상기 이미지분석부는,
    상기 제2서브이미지에 대한 분석을 통해 상기 제2전방 오브젝트를 인식하고 상기 제3서브이미지에 대한 분석을 통해 상기 제2전방 오브젝트에 대한 인식을 검증하거나,
    상기 제3서브이미지에 대한 분석을 통해 상기 제2전방 오브젝트를 인식하고 상기 제2서브이미지에 대한 분석을 통해 상기 제2전방 오브젝트에 대한 인식을 검증하는 차량의 카메라 장치.
  6. 제1항에 있어서,
    상기 이미지분석부는,
    상기 제1이미지에 대한 분석을 통해 곡률이 일정값 이하인 도로의 차선을 인식하거나 상기 제2이미지에 대한 분석을 통해 곡률이 일정값 이상인 도로의 차선을 인식하는 차량의 카메라 장치.
  7. 제1항에 있어서,
    상기 이미지분석부는,
    상기 제1전방 오브젝트 및 상기 제2전방 오브젝트에 대한 인식 정보, 그리고 상기 제2전방 오브젝트에 대한 거리 정보를 브레이크제어시스템 혹은 크루즈제어시스템으로 전송하는 차량의 카메라 장치.
  8. 제1항에 있어서,
    제3시야각 및 제3초점거리를 가지는 제3렌즈로 제3영역을 촬영하여 제3이미지를 생성하는 제3이미지생성부를 더 포함하고,
    상기 이미지분석부는,
    상기 제1이미지와 상기 제3이미지를 분석하여 상기 제1영역과 상기 제3영역의 공통 영역에 위치하는 제3전방 오브젝트의 거리를 측정하거나,
    상기 제2이미지와 상기 제3이미지를 분석하여 상기 제2영역과 상기 제3영역의 공통 영역에 위치하는 제4전방 오브젝트의 거리를 측정하는 차량의 카메라 장치.
  9. 제1항에 있어서,
    상기 이미지분석부는,
    상기 제1서브이미지에 대한 분석을 통해 전방 신호등을 인식하고, 상기 제4서브이미지에 대한 분석을 통해 측방 신호등을 인식하는 차량의 카메라 장치.
  10. 제1항에 있어서,
    상기 제1렌즈의 상기 제1시야각은 상기 제2렌즈의 상기 제2시야각보다 좁고 상기 제1렌즈의 상기 제1초점거리는 상기 제2렌즈의 상기 제2초점거리보다 긴 차량의 카메라 장치.
KR1020150107054A 2015-07-29 2015-07-29 차량의 카메라 장치 KR102384175B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150107054A KR102384175B1 (ko) 2015-07-29 2015-07-29 차량의 카메라 장치
US15/216,693 US10445596B2 (en) 2015-07-29 2016-07-22 Camera device for vehicle
DE102016213673.9A DE102016213673A1 (de) 2015-07-29 2016-07-26 Kameravorrichtung für ein Fahrzeug
CN201610618001.1A CN106394406B (zh) 2015-07-29 2016-07-29 用于车辆的摄像机装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150107054A KR102384175B1 (ko) 2015-07-29 2015-07-29 차량의 카메라 장치

Publications (2)

Publication Number Publication Date
KR20170014168A KR20170014168A (ko) 2017-02-08
KR102384175B1 true KR102384175B1 (ko) 2022-04-08

Family

ID=57795731

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150107054A KR102384175B1 (ko) 2015-07-29 2015-07-29 차량의 카메라 장치

Country Status (4)

Country Link
US (1) US10445596B2 (ko)
KR (1) KR102384175B1 (ko)
CN (1) CN106394406B (ko)
DE (1) DE102016213673A1 (ko)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6252252B2 (ja) 2014-02-28 2017-12-27 株式会社デンソー 自動運転装置
JP6662449B2 (ja) * 2016-03-09 2020-03-11 株式会社ニコン 検出装置、検出システム、検出方法、及び検出プログラム
EP3239660B1 (en) * 2016-04-26 2019-06-19 Volvo Car Corporation Method and system for selectively enabling a user device on the move to utilize digital content associated with entities ahead
JP6427155B2 (ja) * 2016-10-14 2018-11-21 本田技研工業株式会社 走行制御装置及び走行制御方法
US9953538B1 (en) * 2017-01-17 2018-04-24 Lyft, Inc. Autonomous vehicle notification system
US9988048B1 (en) * 2017-03-03 2018-06-05 GM Global Technology Operations LLC Lane detection systems and methods
DE102017210408A1 (de) * 2017-06-21 2018-12-27 Conti Temic Microelectronic Gmbh Kamerasystem mit unterschiedlichen Shuttermodi
DE102017211509B3 (de) * 2017-07-06 2018-10-25 Audi Ag Verfahren zum Betreiben eines Kraftfahrzeugs und Kraftfahrzeug
KR102339776B1 (ko) * 2017-08-09 2021-12-15 삼성전자주식회사 차량의 주행 제어 방법 및 장치
CN107633213A (zh) * 2017-09-04 2018-01-26 浙江众泰汽车制造有限公司 一种无人驾驶汽车交通灯识别方法
CN109492507B (zh) 2017-09-12 2022-09-23 阿波罗智能技术(北京)有限公司 红绿灯状态的识别方法及装置、计算机设备及可读介质
US10627606B2 (en) 2017-11-10 2020-04-21 Denso Corporation Camera module
US10661725B2 (en) * 2017-11-10 2020-05-26 Denso Corporation Camera module
US10534253B2 (en) 2017-11-10 2020-01-14 Denso Corporation Camera module which includes lens units and configured to be mounted on inside of windshiled of vehicle
US10232800B1 (en) * 2017-11-10 2019-03-19 Denson Corporation Camera module
US11181816B2 (en) 2017-11-10 2021-11-23 Denso Corporation Windshield-mounted camera module
US10406995B2 (en) 2017-11-10 2019-09-10 Denso Corporation Camera module
DE102018218986B4 (de) 2017-11-10 2023-02-16 Denso Corporation Kameramodul
JP7027844B2 (ja) * 2017-11-29 2022-03-02 株式会社デンソー カメラモジュール
JP6990137B2 (ja) * 2018-03-28 2022-01-12 本田技研工業株式会社 車両制御装置
CN108583622B (zh) * 2018-04-02 2020-12-25 交控科技股份有限公司 轨道交通状况的识别方法、装置、设备和介质
CN108765490B (zh) * 2018-04-04 2021-04-30 科大讯飞股份有限公司 全景图的视野调整方法及装置、存储介质、电子设备
CN108829096A (zh) * 2018-05-23 2018-11-16 郑州思达科锐网络科技有限公司 一种控制无人驾驶汽车转向的方法及系统
JP7210906B2 (ja) * 2018-05-31 2023-01-24 株式会社デンソー 車両の自動運転制御装置及びプログラム
SE542785C2 (en) 2018-07-04 2020-07-07 Scania Cv Ab Method and control arrangement for controlling an adas
CN109159733B (zh) * 2018-09-10 2021-01-05 百度在线网络技术（北京）有限公司 无人车路口通行的方法、装置、设备及存储介质
TWI699999B (zh) * 2018-11-13 2020-07-21 勝捷光電股份有限公司 車載視覺輔助系統
CN109521772A (zh) * 2018-11-27 2019-03-26 北京小马智行科技有限公司 一种车载环境图像采集系统和方法
US10682955B1 (en) * 2018-12-03 2020-06-16 Beijing Voyager Technology Co., Ltd. Multicamera system for autonomous driving vehicles
CN111460854B (zh) * 2019-01-18 2023-04-28 杭州海康威视数字技术股份有限公司 一种远距离目标检测方法、装置及系统
CN110008862B (zh) * 2019-03-22 2021-03-30 哈尔滨工业大学（深圳） 一种车辆目标检测方法及相关装置
JP7167891B2 (ja) * 2019-09-24 2022-11-09 トヨタ自動車株式会社 画像処理装置
EP4085232A2 (en) * 2020-01-03 2022-11-09 Mobileye Vision Technologies Ltd. Navigation systems and methods for determining object dimensions
US20210362719A1 (en) * 2020-05-19 2021-11-25 Waymo Llc Arbitrating friction and regenerative braking for autonomous vehicles
JP2022107967A (ja) * 2021-01-12 2022-07-25 トヨタ自動車株式会社 歩行支援システム
JP7503031B2 (ja) * 2021-08-02 2024-06-19 株式会社デンソー 車両制御装置
CN114291077A (zh) * 2021-12-23 2022-04-08 海宁奕斯伟集成电路设计有限公司 一种车辆防撞预警方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210217A (ja) 2004-01-20 2005-08-04 Olympus Corp ステレオカメラ
JP2011121398A (ja) * 2009-12-08 2011-06-23 Toyota Motor Corp 車両前方監視装置
JP2014154062A (ja) * 2013-02-13 2014-08-25 Nissan Motor Co Ltd 物体検知装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1139596A (ja) * 1997-07-17 1999-02-12 Fuji Heavy Ind Ltd 車外監視装置
JP2005110202A (ja) * 2003-09-08 2005-04-21 Auto Network Gijutsu Kenkyusho:Kk カメラ装置及び車両周辺監視装置
DE102005006290A1 (de) * 2005-02-11 2006-08-24 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs durch Fusion eines Infrarot- und eines Visuell-Abbilds
KR101035761B1 (ko) * 2006-07-06 2011-05-20 포항공과대학교 산학협력단 차선 인식을 위한 영상 처리 방법 및 시스템
FR2921027B1 (fr) * 2007-09-17 2010-02-26 Valeo Vision Dispositif d'aide a la conduite pour vehicule automobile comportant un systeme de capture d'images stereoscopique
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
KR101141874B1 (ko) * 2008-06-04 2012-05-08 주식회사 만도 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출장치
JP4863527B2 (ja) * 2009-12-01 2012-01-25 稔 稲葉 立体映像撮像装置
DE102011083232B4 (de) * 2011-09-22 2021-02-11 Robert Bosch Gmbh Bilderfassungsvorrichtung für ein Fahrzeug
US20130135515A1 (en) * 2011-11-30 2013-05-30 Sony Corporation Digital imaging system
EP2846531A4 (en) * 2012-05-01 2015-12-02 Central Engineering Co Ltd STEREO CAMERA AND STEREO CAMERA SYSTEM
CN102658798B (zh) * 2012-05-07 2014-11-05 奇瑞汽车股份有限公司 一种车载夜视系统及其控制方法
JP6416085B2 (ja) * 2012-05-29 2018-10-31 ブライトウェイ ビジョン リミテッド 適用可能な被写界深度を使用するゲーテッド撮像
JP5829980B2 (ja) * 2012-06-19 2015-12-09 トヨタ自動車株式会社 路側物検出装置
WO2014024336A1 (ja) * 2012-08-09 2014-02-13 トヨタ自動車株式会社 物体検出装置及び運転支援装置
US9221396B1 (en) * 2012-09-27 2015-12-29 Google Inc. Cross-validating sensors of an autonomous vehicle
CN103063193A (zh) * 2012-11-30 2013-04-24 青岛海信电器股份有限公司 一种利用摄像头测距的方法、装置及电视机
US9066085B2 (en) * 2012-12-13 2015-06-23 Delphi Technologies, Inc. Stereoscopic camera object detection system and method of aligning the same
CN107509029A (zh) * 2013-01-07 2017-12-22 华为技术有限公司 一种图像处理方法及装置
JP5966965B2 (ja) * 2013-02-19 2016-08-10 株式会社デンソー 車線境界線逸脱抑制装置及び車線境界線逸脱抑制方法
WO2015056105A1 (en) * 2013-10-14 2015-04-23 Mobileye Vision Technologies Ltd. Forward-facing multi-imaging system for navigating a vehicle
KR101545478B1 (ko) * 2014-01-10 2015-08-19 현대모비스(주) 차량용 전방관측시스템 및 방법
KR101667572B1 (ko) 2014-03-13 2016-10-19 현대중공업 주식회사 화물 적재 선박 및 적재 방법
US9248834B1 (en) * 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
DE102014220585A1 (de) * 2014-10-10 2016-04-14 Conti Temic Microelectronic Gmbh Stereokamera für Fahrzeuge

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210217A (ja) 2004-01-20 2005-08-04 Olympus Corp ステレオカメラ
JP2011121398A (ja) * 2009-12-08 2011-06-23 Toyota Motor Corp 車両前方監視装置
JP2014154062A (ja) * 2013-02-13 2014-08-25 Nissan Motor Co Ltd 物体検知装置

Also Published As

Publication number Publication date
DE102016213673A1 (de) 2017-02-02
US20170032197A1 (en) 2017-02-02
CN106394406B (zh) 2019-03-19
CN106394406A (zh) 2017-02-15
KR20170014168A (ko) 2017-02-08
US10445596B2 (en) 2019-10-15

Similar Documents

Publication Publication Date Title
KR102384175B1 (ko) 차량의 카메라 장치
EP2919197B1 (en) Object detection device and object detection method
KR101362324B1 (ko) 차선 이탈 경보 시스템 및 방법
US8175797B2 (en) Vehicle drive assist system
US20160019429A1 (en) Image processing apparatus, solid object detection method, solid object detection program, and moving object control system
US9626571B2 (en) Method and device for determining a valid lane marking
KR101243108B1 (ko) 차량의 후방 영상 표시 장치 및 방법
US20160055751A1 (en) Lane detection apparatus and operating method for the same
US20160165129A1 (en) Image Processing Method
WO2016159364A1 (ja) 歩行者判定装置
KR20160038944A (ko) 교통감시 시스템
US10776649B2 (en) Method and apparatus for monitoring region around vehicle
US10102628B2 (en) Object recognizing apparatus and haze determination method
US11176397B2 (en) Object recognition device
WO2017208601A1 (ja) 画像処理装置、外界認識装置
EP2463621A1 (en) Distance calculation device for vehicle
KR20180022277A (ko) 블랙박스영상 기반 차간거리 측정 시스템
KR101730740B1 (ko) 운전지원장치
JP7245653B2 (ja) 信号機認識方法及び信号機認識装置
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
KR102485318B1 (ko) 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법
JP2016177750A5 (ko)
JP4598011B2 (ja) 車両用表示装置
JP7344776B2 (ja) 信号機認識方法及び信号機認識装置
CN111133439B (zh) 全景监视系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant