KR101822894B1 - 차량 운전 보조 장치 및 차량 - Google Patents

차량 운전 보조 장치 및 차량 Download PDF

Info

Publication number
KR101822894B1
KR101822894B1 KR1020160042973A KR20160042973A KR101822894B1 KR 101822894 B1 KR101822894 B1 KR 101822894B1 KR 1020160042973 A KR1020160042973 A KR 1020160042973A KR 20160042973 A KR20160042973 A KR 20160042973A KR 101822894 B1 KR101822894 B1 KR 101822894B1
Authority
KR
South Korea
Prior art keywords
variable lens
vehicle
processor
image
image sensor
Prior art date
Application number
KR1020160042973A
Other languages
English (en)
Other versions
KR20170115372A (ko
Inventor
김주영
김훈
이원석
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020160042973A priority Critical patent/KR101822894B1/ko
Priority to CN201611088692.5A priority patent/CN107272168B/zh
Priority to EP17164525.2A priority patent/EP3229069B1/en
Priority to US15/481,105 priority patent/US10317771B2/en
Publication of KR20170115372A publication Critical patent/KR20170115372A/ko
Application granted granted Critical
Publication of KR101822894B1 publication Critical patent/KR101822894B1/ko

Links

Images

Classifications

    • H04N5/2254—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B15/00—Optical objectives with means for varying the magnification
    • G02B15/02—Optical objectives with means for varying the magnification by changing, adding, or subtracting a part of the objective, e.g. convertible objective
    • G02B15/04—Optical objectives with means for varying the magnification by changing, adding, or subtracting a part of the objective, e.g. convertible objective by changing a part
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • B60K35/10—
    • B60K35/22—
    • B60K35/28—
    • B60K35/60—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/12—Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/1313—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells specially adapted for a particular application
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N5/2257—
    • H04N5/23212—
    • H04N5/335—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B60K2360/1438—
    • B60K2360/16—
    • B60K2360/21—
    • B60K2360/27—
    • B60K2360/334—
    • B60K2360/77—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0026—Windows, e.g. windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms
    • B60Y2400/902—Driver alarms giving haptic or tactile signals

Abstract

본 발명은 이미지 센서; 및 액정층(liquid cristal layer)을 포함하고, 인가되는 전압에 기초하여 상기 액정층에 포함된 액정 분자들의 배열 상태에 따라 상기 이미지 센서에 유입되는 광을 변화시키는 가변 렌즈;를 포함하는 차량용 카메라에 관한 것이다.

Description

차량 운전 보조 장치 및 차량{Driver assistance apparatus and Vehicle}
본 발명은 차량 운전 보조 장치 및 차량에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다.
한편, 차량을 이용하는 사용자의 편의를 위해, 각 종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 차량 운전자 보조 시스템(ADAS : Advanced Driver Assistance System)에 대한 연구가 활발하게 이루어지고 있다. 나아가, 자율 주행 자동차(Autonomous Vehicle)에 대한 개발이 활발하게 이루어 지고 있다.
차량 운전 보조 시스템은 다양한 센서를 이용할 수 있는데, 그 중 카메라가 대표적이다.
종래 기술에 따라 차량 운전 보조 시스템에 이용되는 카메라는 초점 거리가 일정하여, 차량 상태, 주행 상태 등에 따라 적절하게 초점 거리를 조절할 수 없었다.
본 발명의 실시예는 상기한 문제점을 해결하기 위하여, 초점 거리를 조절할 수 있는 카메라가 포함된 차량 운전 보조 장치를 제공하는데 목적이 있다.
또한, 본 발명의 실시예는 상기 차량 운전 보조 장치를 포함하는 차량을 제공하는데 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 차량 운전 보조 장치는, 차량에 구비되고, 영상을 획득하는 카메라; 및 상기 영상을 처리하는 프로세서;를 포함하고, 상기 카메라는, 이미지 센서; 및 액정(liquid crystal)을 포함하고, 인가되는 전압에 기초한 상기 액정의 배열 상태에 따라, 상기 이미지 센서에 유입되는 광을 변화시키는 가변 렌즈;를 포함를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 가변 렌즈를 이용하여 차량용 카메라의 초점 거리를 조절할 수 있는 효과가 있다.
둘째, 차량 상태, 주행 상황에 맞도록 초점 거리를 조절할 수 있는 효과가 있다.
셋째, 활용되는 ADAS(Advanced Driver Assistance System) 기능에 적절하게 초점 거리를 조절할 수 있는 효과가 있다.
넷째, 검출되는 오브젝트 정보에 따라 적절하게 초점 거리를 조절할 수 있는 효과가 있다.
다섰째, 초점 거리를 조절함에 따라, 상황에 맞는 정보를 제공하여 운전자의 안전 운전을 할 수 있도록 유도하는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 3은 본 발명의 실시예에 따른 차량용 카메라의 사시도이다.
도 4는 본 발명의 실시예에 따른 차량용 카메라의 분해 사시도이다.
도 5는 본 발명의 실시예에 따라, 도 3의 A-B를 절개한 차량용 카메라의 절개 측면도이다.
도 6은 본 발명의 실시예에 따른 차량용 카메라의 사시도이다.
도 7은 본 발명의 실시예에 따른 차량용 카메라의 분해 사시도이다.
도 8은 본 발명의 실시예에 따라, 도 6의 C-D를 절개한 차량용 카메라의 절개 측면도이다.
도 9는 도 5의 CR1 부분 또는 도 8의 CR2 부분을 절개하여 확대한 절개 측면도이다.
도 10a 내지 도 11은 홀더 및 홀더 내부에 형성되는 열선의 다양한 실시예를 설명하기 위해 참조되는 도면이다. 도 10a 내지 도 10c는 도 9의 HS를 확대한 측면도일 수 있다.
도 12는 본 발명의 실시예에 따른 가변렌즈를 설명하는데 참조되는 도면이다.
도 13은 본 발명의 실시예에 따른 제1 기판을 설명하는데 참조되는 도면이다.
도 14a 내지 도 14c는 본 발명의 실시예에 따라 복수의 제1 전극에 각각 서로다른 전압 레벨이 인가되는 동작을 설명하는데 참조되는 도면이다.
도 15는 본 발명의 실시예에 따라, 복수의 제1 전극의 좌우 방향 배치를 설명하는데 참조되는 도면이다.
도 16은 본 발명의 실시예에 따라, 복수의 제1 전극의 상하 방향 및 좌우 방향 배치를 설명하는데 참조되는 도면이다.
도 17 내지 도 18는 본 발명의 실시예에 따라 복수의 가변 렌즈를 포함하는 차량용 카메라를 설명하는데 참조되는 도면이다.
도 19는 본 발명의 실시예에 따른 차량 운전 보조 장치(400)의 블럭도이다.
도 20a 내지 도 21은 본 발명의 실시예에 따라 가변 렌즈를 통해 오브젝트와의 거리를 산출하는 동작을 설명하기 위해 가변 렌즈를 간략하게 도식화한 도면이다.
도 22는 본 발명의 실시예에 따른 차량 운전 보조 장치의 동작을 설명하는데 참조되는 플로우 차트이다.
도 23a 내지 도 23b는 본 발명의 실시예에 따라, 주행 속도를 기초로 가변 렌즈의 초점 거리를 변경시키는 동작을 설명하는데 참조되는 도면이다.
도 24는 본 발명의 실시예에 따라, 조향 정보 또는 턴시그널 정보를 기초로 가변 렌즈의 초점 거리를 변경시키는 동작을 설명하는데 참조되는 도면이다.
도 25는 본 발명의 실시예에 따라, 기 설정된 경로 정보를 기초로 가변 렌즈의 초점 거리를 변경시키는 동작을 설명하는데 참조되는 도면이다.
도 26은 본 발명의 실시예에 따른 차량 운전 보조 장치의 동작을 설명하는데 참조되는 플로우 차트이다.
도 27은 본 발명의 실시예에 따라, 입력 신호를 기초로 가변 렌즈의 초점 거리를 변경시키는 동작을 설명하는데 참조되는 도면이다.
도 28은 본 발명의 실시예에 따른 차량 운전 보조 장치의 동작을 설명하는데 참조되는 플로우 차트이다.
도 29는 본 발명의 실시예에 따라, 오브젝트와의 거리를 기초로 가변 렌즈의 초점 거리를 변경시키는 동작을 설명하는데 참조되는 도면이다.
도 30은 본 발명의 실시예에 따라, 오브젝트의 위치를 기초로 가변 렌즈의 초점 거리를 변경시키는 동작을 설명하는데 참조되는 도면이다.
도 31은 본 발명의 실시예에 따라, 오브젝트로 교차로가 검출되는 경우, 가변 렌즈의 초점 거리를 변경시키는 동작을 설명하는데 참조되는 도면이다.
도 32a 내지 도 32b는 본 발명의 실시예에 따라 차량용 카메라가 스테레오 카메라를 포함하는 경우, 프로세서의 내부 블럭도를 설명하는데 참조되는 도면이다.
도 33a와 도 33b는, 본 발명의 실시예에 따라, 제1 및 제2 프레임 구간에서 각각 획득된 스테레오 이미지를 기반으로 하여, 도 4a의 프로세서(470)의 동작 방법 설명을 위해 참조되는 도면이다.
도 34는 본 발명의 실시예에 따라, 차량용 카메라가 스테레오 카메라를 포함하는 경우, 프로세서의 내부 블럭도를 설명하는데 참조되는 도면이다.
도 35은 본 발명의 실시예에 따른 비닝 처리 및 크로핑 처리 동작을 설명하는데 참조되는 도면이다.
도 36는 본 발명의 실시예에 따라, 스테레오 영상을 생성하는 동작을 설명하는데 참조되는 도면이다.
도 37은 본 발명의 실시예에 따라, 제1 영상을 설명하는데 참조되는 도면이다.
도 38은 본 발명의 실시예에 따라, 제2 영상을 설명하는데 참조되는 도면이다.
도 39는 본 발명의 실시예에 따라, 제1 영상 및 제2 영상을 기초로 생성된 스테레오 영상을 설명하는데 참조되는 도면이다.
도 40은 본 발명의 실시예에 따른 차량 운전 보조 장치의 구성 중 가변 렌
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 1을 참조하면, 차량(100)은 동력원에 의해 회전하는 바퀴, 차량(100)의 진행 방향을 조절하기 위한 조향 입력 장치를 구비할 수 있다.
실시예에 따라, 차량(100)은 자율 주행 차량일 수 있다. 자율 주행 차량의 경우, 사용자 입력에 따라 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 메뉴얼 모드로 전환되는 경우, 자율 주행 차량(100)은, 주행을 위한 운전자의 입력을, 운전 조작 장치(도 2의 121)를 통해 수신할 수 있다.
차량(100)은, 차량 운전 보조 장치(400)를 포함할 수 있다. 차량 운전 보조 장치(400)는, 다양한 센서에서 획득되는 정보를 기초로, 운전자를 보조하는 장치이다. 이러한 차량 운전 보조 장치(400)는, ADAS(Advanced Driver Assistance System)로 명명될 수 있다.
이하의 설명에서, 차량 운전 보조 장치(400)에 이용되는 센서로 차량용 카메라(200)를 중심으로 설명하나, 이에 한정되지 않는다. 실시예에 따라, 센서는 차량용 카메라(200)외에, 레이다(Radar), 라이다(LiDar), 초음파 센서, 적외선 센서 등이 이용될 수 있다.
또한, 이하의 설명에서, 차량 운전 보조 장치(400)에 이용되는 차량용 카메라(200)로 모노 카메라(200a) 및 스테레오 카메라(200b)를 중심으로 설명하나, 이에 한정되지 않는다. 실시예에 따라, 차량용 카메라(200)는, 트리플 카메라, AVM(Around View Monitoring) 카메라, 360도 카메라, 전방향(omnidirectional) 카메라를 포함할 수 있다.
도면에서, 차량 운전 보조 장치(400)에 이용되는 차량용 카메라(200)가 차량 전방을 촬영할 수 있도록 프런트 윈드 쉴드(10)에 장착되는 것으로 예시되나, 차량용 카메라(200)는, 차량 전방, 후방, 우측방, 좌측방 어디든 촬영할 수 있다. 그에 따라, 차량용 카메라(200)는, 차량의 외부 또는 내부의 적절한 위치에 배치될 수 있다.
실시예에 따라, 차량용 카메라(200)는, 차량 내부를 촬영할 수도 있다.
전장(overall length)은 차량(100)의 앞부분에서 뒷부분까지의 길이, 전폭(width)은 차량(100)의 너비, 전고(height)는 바퀴 하부에서 루프까지의 길이를 의미한다. 이하의 설명에서, 전장 방향(L)은 차량(100)의 전장 측정의 기준이 되는 방향, 전폭 방향(W)은 차량(100)의 전폭 측정의 기준이 되는 방향, 전고 방향(H)은 차량(100)의 전고 측정의 기준이 되는 방향을 의미할 수 있다.
도 2는 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 2를 참조하면, 차량(100)은, 차량(100)은, 통신부(110), 입력부(120), 센싱부(125), 메모리(130), 출력부(140), 차량 구동부(150), 제어부(170), 인터페이스부(180), 전원 공급부(190) 및 차량 운전 보조 장치(400)를 포함할 수 있다.
통신부(110)는, 근거리 통신 모듈(113), 위치 정보 모듈(114), 광통신 모듈(115) 및 V2X 통신 모듈(116)을 포함할 수 있다.
통신부(110)는, 다른 디바이스와 통신을 수행하기 위해 하나 이상의 RF(Radio Frequency) 회로 또는 소자를 포함할 수 있다.
근거리 통신 모듈(113)은, 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
이러한, 근거리 통신 모듈(113)은, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다. 예를 들면, 근거리 통신 모듈(113)은 이동 단말기와 무선으로 데이터를 교환할 수 있다. 근거리 통신 모듈(113)은 이동 단말기로부터 날씨 정보, 도로의 교통 상황 정보(예를 들면, TPEG(Transport Protocol Expert Group))를 수신할 수 있다. 가령, 사용자가 차량(100)에 탑승한 경우, 사용자의 이동 단말기와 차량(100)은 자동으로 또는 사용자의 애플리케이션 실행에 의해, 서로 페어링을 수행할 수 있다.
위치 정보 모듈(114)은, 차량(100)의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈이 있다. 예를 들면, 차량은 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 차량의 위치를 획득할 수 있다.
한편, 실시예에 따라, 위치 정보 모듈(114)은 통신부(110)에 포함되는 구성요소가 아닌, 센싱부(125)에 포함되는 구성요소일 수도 있다.
광통신 모듈(115)은, 광발신부 및 광수신부를 포함할 수 있다.
광수신부는, 광(light)신호를 전기 신호로 전환하여, 정보를 수신할 수 있다. 광수신부는 광을 수신하기 위한 포토 다이오드(PD, Photo Diode)를 포함할 수 있다. 포토 다이오드는 빛을 전기 신호로 전환할 수 있다. 예를 들면, 광수신부는 전방 차량에 포함된 광원에서 방출되는 광을 통해, 전방 차량의 정보를 수신할 수 있다.
광발신부는 전기 신호를 광 신호로 전환하기 위한 발광 소자를 적어도 하나 포함할 수 있다. 여기서, 발광 소자는 LED(Light Emitting Diode)인 것이 바람직하다. 광발신부는, 전기 신호를 광 신호로 전환하여, 외부에 발신한다. 예를 들면, 광 발신부는 소정 주파수에 대응하는 발광소자의 점멸을 통해, 광신호를 외부에 방출할 수 있다. 실시예에 따라, 광발신부는 복수의 발광 소자 어레이를 포함할 수 있다. 실시예에 따라, 광발신부는 차량(100)에 구비된 램프와 일체화될 수 있다. 예를 들면, 광발신부는 전조등, 후미등, 제동등, 방향 지시등 및 차폭등 중 적어도 어느 하나일 수 있다. 예를 들면, 광통신 모듈(115)은 광 통신을 통해 타 차량과 데이터를 교환할 수 있다.
V2X 통신 모듈(116)은, 서버 또는 타 차량과의 무선 통신 수행을 위한 모듈이다. V2X 모듈(116)은 차량간 통신(V2V) 또는 차량과 인프라간 통신(V2I) 프로토콜이 구현 가능한 모듈을 포함한다. 차량(100)은 V2X 통신 모듈(116)을 통해, 외부 서버 및 타 차량과 무선 통신을 수행할 수 있다.
입력부(120)는, 운전 조작 장치(121), 마이크로 폰(123) 및 사용자 입력부(124)를 포함할 수 있다.
운전 조작 장치(121)는, 차량(100) 운전을 위한 사용자 입력을 수신한다. 운전 조작부(121)는 조향 입력 장치, 쉬프트 입력 장치, 가속 입력 장치, 브레이크 입력 장치를 포함할 수 있다.
조향 입력 장치는, 사용자로부터 차량(100)의 진행 방향 입력을 수신한다. 조향 입력 장치는 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시예에 따라, 조향 입력 장치는 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
쉬프트 입력 장치는, 사용자로부터 차량(100)의 주차(P), 전진(D), 중립(N), 후진(R)의 입력을 수신한다. 쉬프트 입력 장치는 레버 형태로 형성되는 것이 바람직하다. 실시예에 따라, 쉬프트 입력 장치는 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
가속 입력 장치는, 사용자로부터 차량(100)의 가속을 위한 입력을 수신한다. 브레이크 입력 장치는, 사용자로부터 차량(100)의 감속을 위한 입력을 수신한다. 가속 입력 장치 및 브레이크 입력 장치는 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 장치 또는 브레이크 입력 장치는 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
마이크로 폰(123)은, 외부의 음향 신호를 전기적인 데이터로 처리할 수 있다. 처리된 데이터는 차량(100)에서 수행 중인 기능에 따라 다양하게 활용될 수 있다. 마이크로폰(123)은 사용자의 음성 명령을 전기적인 데이터로 전환할 수 있다. 전환된 전기적인 데이터는 제어부(170)에 전달될 수 있다.
한편, 실시예에 따라, 카메라(122) 또는 마이크로폰(123)는 입력부(120)에 포함되는 구성요소가 아닌, 센싱부(125)에 포함되는 구성요소일 수도 있다.
사용자 입력부(124)는 사용자로부터 정보를 입력받기 위한 것이다. 사용자 입력부(124)를 통해, 정보가 입력되면, 제어부(170)는 입력된 정보에 대응되도록 차량(100)의 동작을 제어할 수 있다. 사용자 입력부(124)는 터치식 입력수단 또는 기계식 입력 수단을 포함할 수 있다. 실시예에 따라, 사용자 입력부(124)는 스티어링 휠의 일 영역에 배치될 수 있다. 이경우, 운전자는 스티어링 휠을 잡은 상태에서, 손가락으로 사용자 입력부(124)를 조작할 수 있다.
센싱부(125)는, 차량(100)의 각종 상황 또는 차량의 외부 상황을 센싱한다. 이를 위해, 센싱부(125)는, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.
센싱부(125)는, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(125)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
한편, 위치 정보 모듈(114)은 센싱부(125)의 하위 구성 요소로 분류될 수도 있다.
센싱부(125)는 차량 주변의 오브젝트를 감지할 수 있는 오브젝트 센싱부를 포함할 수 있다. 여기서, 오브젝트 센싱부는, 카메라 모듈, 레이더(Radar), 라이더(Lidar), 초음파 센서를 포함할 수 있다. 이경우, 센싱부(125)는, 카메라 모듈, 레이더(Radar), 라이더(Lidar) 또는 초음파 센서를 통해 차량 전방에 위치하는 전방 오브젝트 또는 차량 후방에 위치하는 후방 오브젝트를 감지할 수 있다.
한편, 실시예에 따라, 오브젝트 센싱부는, 차량 운전 보조 장치(400)의 구성 요소로 분류될 수도 있다.
메모리(130)는, 제어부(170)와 전기적으로 연결된다. 메모리(130)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(130)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(130)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
출력부(140)는, 제어부(170)에서 처리된 정보를 출력하기 위한 것으로, 디스플레이 장치(141), 음향 출력부(142) 및 햅틱 출력부(143)를 포함할 수 있다.
디스플레이 장치(141)는 다양한 그래픽 객체를 표시할 수 있다. 예를 들면, 디스플레이 장치(141)는 차량 관련 정보를 표시할 수 있다. 여기서, 차량 관련 정보는, 차량에 대한 직접적인 제어를 위한 차량 제어 정보, 또는 차량 운전자에게 운전 가이드를 위한 차량 운전 보조 정보를 포함할 수 있다. 또한, 차량 관련 정보는, 현재 차량의 상태를 알려주는 차량 상태 정보 또는 차량의 운행과 관련되는 차량 운행 정보를 포함할 수 있다.
디스플레이 장치(141)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이 장치(141)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 차량(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(724)로써 기능함과 동시에, 차량(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다. 이경우, 디스플레이 장치(141)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이 장치(141)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이 장치(141)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(170)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.
한편, 디스플레이 장치(141)는 운전자가 운전을 함과 동시에 차량 상태 정보 또는 차량 운행 정보를 확인할 수 있도록 클러스터(cluster)를 포함할 수 있다. 클러스터는 대시보드 위에 위치할 수 있다. 이경우, 운전자는, 시선을 차량 전방에 유지한채로 클러스터에 표시되는 정보를 확인할 수 있다.
한편, 실시예에 따라, 디스플레이 장치(141)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이 장치(141)가 HUD로 구현되는 경우, 프런트 윈드 쉴드(10)에 구비되는 투명 디스플레이를 통해 정보를 출력할 수 있다. 또는, 디스플레이 장치(141)는 투사 모듈을 구비하여 프런트 윈드 쉴드(10)에 투사되는 이미지를 통해 정보를 출력할 수 있다.
한편, 실시예에 따라, 디스플레이 장치(141)는, 투명 디스플레이를 포함할 수 있다. 이경우, 투명 디스플레이는 프런트 윈드 쉴드(10)에 부착될 수 있다.
투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
실시예에 따라, 디스플레이 장치(141)는 내비게이션 장치로 기능할 수 있다.
음향 출력부(142)는 제어부(170)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(142)는 스피커 등을 구비할 수 있다. 음향 출력부(142)는, 사용자 입력부(724) 동작에 대응하는, 사운드를 출력하는 것도 가능하다.
햅틱 출력부(143)는 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(143)는, 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
차량 구동부(150)는, 차량 각종 장치의 동작을 제어할 수 있다. 차량 구동부(150)는 동력원 구동부(151), 조향 구동부(152), 브레이크 구동부(153), 램프 구동부(154), 공조 구동부(155), 윈도우 구동부(156), 에어백 구동부(157), 썬루프 구동부(158) 및 서스펜션 구동부(159)를 포함할 수 있다.
동력원 구동부(151)는, 차량(100) 내의 동력원에 대한 전자식 제어를 수행할 수 있다.
예를 들면, 화석 연료 기반의 엔진(미도시)이 동력원인 경우, 동력원 구동부(151)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(151)가 엔진인 경우, 제어부(170)의 제어에 따라, 엔진 출력 토크를 제한하여 차량의 속도를 제한할 수 있다.
다른 예로, 전기 기반의 모터(미도시)가 동력원인 경우, 동력원 구동부(151)는, 모터에 대한 제어를 수행할 수 있다. 이에 의해, 모터의 회전 속도, 토크 등을 제어할 수 있다.
조향 구동부(152)는, 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부(153)는, 차량(100) 내의 브레이크 장치(brake apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다. 다른 예로, 좌측 바퀴와 우측 바퀴에 각각 배치되는 브레이크의 동작을 달리하여, 차량(100)의 진행 방향을 좌측, 또는 우측으로 조정할 수 있다.
램프 구동부(154)는, 차량 내, 외부에 배치되는 램프의 턴 온/턴 오프를 제어할 수 있다. 또한, 램프의 빛의 세기, 방향 등을 제어할 수 있다. 예를 들면, 방향 지시 램프, 브레이크 램프 등의 대한 제어를 수행할 수 있다.
공조 구동부(155)는, 차량(100) 내의 공조 장치(air cinditioner)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
윈도우 구동부(156)는, 차량(100) 내의 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 차량의 측면의 좌,우 윈도우들에 대한 개방 또는 폐쇄를 제어할 수 있다.
에어백 구동부(157)는, 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 위험시, 에어백이 터지도록 제어할 수 있다.
썬루프 구동부(158)는, 차량(100) 내의 썬루프 장치(sunroof apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 썬루프의 개방 또는 폐쇄를 제어할 수 있다.
서스펜션 구동부(159)는, 차량(100) 내의 서스펜션 장치(suspension apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다.
한편, 실시예에 따라, 차량 구동부(150)는 샤시 구동부를 포함할 수 있다. 여기서, 샤시 구동부는 조향 구동부(152), 브레이크 구동부(153) 및 서스펜션 구동부(159)를 포함하는 개념일 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
제어부(170)는, 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
인터페이스부(180)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(180)는 이동 단말기와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기와 연결할 수 있다. 이경우, 인터페이스부(180)는 이동 단말기와 데이터를 교환할 수 있다.
한편, 인터페이스부(180)는 연결된 이동 단말기에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 이동 단말기가 인터페이스부(180)에 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 인터페이스부(180)는 전원부(190)에서 공급되는 전기 에너지를 이동 단말기에 제공할 수 있다.
전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원부(170)는, 차량 내부의 배터리(미도시) 등으로부터 전원을 공급받을 수 있다.
차량 운전 보조 장치(400)는, 운전자에 의한 차량의 주행을 보조할 수 있다. 차량 운전 보조 장치(400)는, 차량용 카메라(200)를 포함할 수 있다.
차량용 카메라(200)는, 도 3 내지 도 5의 싱글 카메라(200a) 및 도 6 내지 도 8의 스테레오 카메라(200b)를 포함할 수 있다.
차량용 카메라(200)는, 가변 렌즈(300)를 포함할 수 있다. 이하에서, 차량 운전 보조 장치(400), 차량용 카메라(200), 가변 렌즈(300)를 중심으로 설명한다.
차량용 카메라(200)는, 차량용 카메라 장치로 명명될 수 있다.
도 3은 본 발명의 실시예에 따른 차량용 카메라의 사시도이다. 도 4는 본 발명의 실시예에 따른 차량용 카메라의 분해 사시도이다. 도 5는 본 발명의 실시예에 따라, 도 3의 A-B를 절개한 차량용 카메라의 절개 측면도이다.
도 3 내지 도 5를 참조하여 설명하는 차량용 카메라(200)는, 싱글 카메라(200a)이다.
차량용 카메라(200a)는, 렌즈(211), 이미지 센서(214), 가변 렌즈(300) 및 프로세서(470)를 포함할 수 있다.
실시예에 따라, 차량용 카메라(200a)는, 프로세싱 보드(220), 라이트 쉴드(230), 방열 부재(240), 하우징(250)을 개별적으로 더 포함하거나, 조합하여 더 포함할 수 있다.
한편, 하우징(250)은, 제1 하우징(251), 제2 하우징(252), 제3 하우징(253)을 포함할 수 있다.
렌즈(211)는, 렌즈 하우징(217)에 수용된 상태로, 너트(212)를 통해, 제1 하우징(251)의 일 부분에 형성된 홀(219)에 안착되도록 체결될 수 있다.
이미지 센서(214)는, 광신호를 전기적 신호로 변환할 수 있는 광전 변환 소자를 적어도 하나 포함할 수 있다. 예를 들면, 이미지 센서(214)는 CCD(charge-coupled device) 또는 CMOS(complimentary metal-oxide semiconductor)일 수 있다.
이미지 센서(214)는, 차량 외부 영상 또는 차량 내부 영상을 획득하기 위해, 차량의 외부 또는 차량의 내부의 적절한 곳에 위치할 수 있다.
예를 들면, 이미지 센서(214)는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드(10)에 근접하게 배치될 수 있다. 또는, 이미지 센서(214)는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
예를 들면, 이미지 센서(214)는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 이미지 센서(214)는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
예를 들면, 이미지 센서(214)는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 이미지 센서(214)는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
이미지 센서(214)는, 렌즈(211)를 통해 유입되는 광을 기초로 이미지를 획득할 수 있도록, 렌즈(211)의 후단에 배치될 수 있다. 예를 들면, 이미지 센서(214)는, 렌즈(211)와 소정 거리만큼 이격된 상태로 지면을 기준으로 수직하게 배치될 수 있다.
가변 렌즈(300)는, 이미지 센서(214)에 유입되는 광을 변화시킬 수 있다. 가변 렌즈(300)는, 이미지 센서(214)에 유입되는 광을 변화시켜, 초점 거리를 변화시킬 수 있다.
가변 렌즈(300)는, 액정(liquid crystal)을 포함할 수 있다. 가변 렌즈(300)는, 액적의 배열 상태에 따라, 이미지 센서(214)에 유입되는 광을 변화시킬 수 있다. 예를 들면, 가변 렌즈(300)는, 가변 렌즈(300)를 거쳐 이미지 센서(214)에 유입되는 광의 경로를 변화시켜, 초점 거리를 변화시킬 수 있다.
가변 렌즈(300)는, 도 8 이하를 참조하여 상세하게 설명한다.
렌즈(211), 가변 렌즈(300) 및 이미지 센서(214)를 포함하는 모듈은 이미지 획득 모듈로 명명될 수 있다. 이미지 획득 모듈은, 차량(100)의 천장에 배치될 수 있다. 예를 들면, 이미지 획득 모듈은 소정의 연결 부재를 사이에 두고, 차량(100) 내부 천장에 부착될 수 있다. 이미지 획득 모듈이 차량(100) 내부 천장에 배치됨으로써, 차량(100)에서 가장 높은 위치에서 차량(100)의 외부 영상을 획득할 수 있는 장점이 있다. 즉, 시야가 넓어지는 장점이 있다.
프로세서(470)는, 이미지 센서(214) 및 가변 렌즈(300)와 전기적으로 연결될 수 있다. 프로세서(470)는, 이미지 센서(214)를 통해 획득되는 영상을 컴퓨터 처리할 수 있다. 프로세서(470)는, 이미지 센서(214) 및 가변 렌즈(300)를 제어할 수 있다.
프로세서(470)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
프로세서(470)는, 프로세싱 보드(220) 상에 실장될 수 있다.
프로세싱 보드(220)는, 프로세서(270) 및 메모리(440)를 실장할 수 있다.
프로세싱 보드(220)는, 전장 방향으로 경사지게 배치될 수 있다. 예를 들면, 프로세싱 보드(220)는, 전면 또는 배면이 프런트 윈드 쉴드(10)와 마주보도록 배치될 수 있다. 예를 들면, 프로세싱 보드(220)는, 프런트 윈드 쉴드(10)와 평행하게 배치될 수 있다.
차량(100)에 구비되는 프런트 윈드 쉴드(10)는 일반적으로 차량(100)의 보닛(bonnet)에서부터 루프까지 지면과 소정의 각도를 가지면서 경사지게 형성된다. 이경우, 프로세싱 보드(220)가 전장 방향으로 경사지게 배치됨으로써, 차량용 카메라(200a)는, 프로세싱 보드(220)가 수직 또는 수평되게 배치되는 경우보다 작게 형성될 수 있다. 차량용 카메라(200a)가 작게 형성됨으로써, 줄어드는 부피만큼 차량(100)내에서 공간이 더 확보될 수 있는 장점이 있다.
프로세싱 보드(220)에는 복수의 소자 또는 전자 부품들이 실장될 수 있다. 이때, 프로세싱 보드(220)에 포함되는 복수의 소자 또는 부품들로 인해 열이 발생될 수 있다.
프로세싱 보드(220)는, 이미지 센서(241)와 이격되게 배치될 수 있다. 프로세싱 보드(220)가 이미지 센서(241)와 이격되게 배치됨으로써, 프로세싱 보드(220)에서 발생되는 열이 이미지 센서(241)의 성능에 문제를 발생시키지 않도록 할 수 있다.
프로세싱 보드(220)는, 프로세싱 보드(220)에서 발생한 열이 이미지 센서(241)에 영향을 미치지 않도록 최적의 위치에 배치될 수 있다. 구체적으로, 프로세싱 보드(220)는, 이미지 센서(241)의 하단에 배치될 수 있다. 또는, 프로세싱 보드(220)는, 이미지 센서(241)의 전단에 배치될 수 있다.
프로세싱 보드(220)에는 하나 이상의 메모리(440)가 실장될 수 있다. 메모리(440)는, 이미지 센서(241)를 통해 획득되는 영상, 각종 어플리케이션 데이터, 프로세서(470) 제어를 위한 데이터 또는 프로세서(470)에서 처리되는 데이터를 저장할 수 있다. 메모리(440)는, 프로세서(470)와 마찬가지로 주요 열 발생 소자 중의 하나이다. 프로세서(470)가 프로세싱 보드(220) 중심에 배치된 상태에서, 메모리(440)는, 프로세서(470) 주변에 배치될 수 있다. 예를 들면, 하나 이상의 메모리(440)는, 프로세서(470)를 중심에 두고, 프로세서(470)를 둘러싸는 형상으로 배치될 수 있다. 이경우, 열 발생 소자인 프로세서(470) 및 메모리(440)는 이미지 센서(241)에서 가장 먼 위치에 배치될 수 있다.
프로세서(470)는, 제어부(170)에 전기적으로 연결될 수 있다. 프로세서(470)는, 제어부(170)의 제어를 받을 수 있다.
라이트 쉴드(230)는, 렌즈(211) 전단에 배치될 수 있다. 라이트 쉴드(230)는, 영상 획득에 불필요한 빛이 렌즈(211)에 유입되지 않도록 차단할 수 있다. 예를 들면, 라이트 쉴드(230)는, 윈드 쉴드(10) 또는 차량의 대쉬 보드 등에서 반사되는 빛을 차단할 수 있다. 또한, 라이트 쉴드(230)는, 불필요한 광원으로부터 생성되는 빛을 차단할 수 있다.
라이트 쉴드(230)는, 가림막 구조를 가질 수 있다. 예를 들면, 라이트 쉴드(230)는, 하부 가림막 구조를 가질 수 있다.
한편, 차종에 따라 라이트 쉴드(230)의 형상은 가변될 수 있다. 예를 들면, 차종에 따라, 윈드 쉴드의 곡률, 윈드 쉴드와 지면이 형성하는 각도가 다를 수 있으므로, 라이트 쉴드(230)는 차량용 카메라(200a)가 장착되는 차종에 대응하는 형상을 가질 수 있다. 이를 위해, 라이트 쉴드(230)는, 착탈식 구조를 가질 수 있다.
방열 부재(240)는, 이미지 센서(214) 후단에 배치될 수 있다. 방열 부재(240)는, 이미지 센서(214) 또는 이미지 센서(214)가 실장되는 이미지 센서 보드와 접촉될 수 있다. 방열 부재(240)는, 이미지 센서(214)의 열을 처리할 수 있다.
상술한 바와 같이, 이미지 센서(241)는 열에 민감하다. 방열 부재(240)는, 이미지 센서(214) 및 제3 하우징(253) 사이에 배치될 수 있다. 방열 부재(240)는, 이미지 센서(214) 및 제3 하우징(253)가 접촉되게 배치될 수 있다. 이경우, 방열 부재(240)는, 열을 제3 하우징(253)을 통해 방출할 수 있다.
예를 들면, 방열 부재(240)는, 써멀 패드 및 써멀 구리스 중 어느 하날 수 있다.
하우징(250)은, 렌즈 하우징(217) 제1 하우징(251), 제2 하우징(252) 및 제3 하우징(253)을 포함할 수 있다.
렌즈 하우징(217)은, 적어도 하나의 렌즈(211)를 수용하고, 렌즈(211)를 외부의 충격에서 보호할 수 있다.
제1 하우징(251)은, 이미지 센서(241)를 감싸도록 형성될 수 있다. 제1 하우징(251)은 홀(219)을 포함할 수 있다. 렌즈(211)는, 렌즈 하우징에 수용된 상태로 홀(219)에 안착된 상태에서, 이미지 센서(214)와 연결될 수 있다.
제1 하우징(251)은, 이미지 센서(214)에 근접할 수록 두껍게 형성될 수 있다. 예를 들면, 제1 하우징(251)은 다이 캐스팅 방식으로 형성될 수 있다. 이경우, 열에 의한 이미지 센서(214)의 성능 저하 방지를 위해, 제1 하우징(251)은, 이미지 센서(214)에 근접한 부분이 다른 부분보다 두껍게 형성될 수 있다.
제1 하우징(251)은, 제3 하우징(253)보다 두꺼운 두께를 가지도록 형성될 수 있다. 하우징의 두께가 두꺼우면 열전달이 천천히 이루어진다. 따라서, 제1 하우징(251)의 두께가 제3 하우징(253)의 두께보다 두껍게 형성되는 경우, 차량용 카메라(200a) 내부에서 발생되는 열은 프런트 윈드 쉴드(10)에 근접하게 배치되어 열방출이 어려운 제1 하우징(251)보다 제3 하우징(253)을 통해 외부로 방출되는 효과가 있다.
한편, 실시예에 따라, 렌즈 하우징(217) 및 제1 하우징(251)은 일체형으로 형성될 수 있다.
제2 하우징(252)은, 프로세싱 보드(220) 전단에 위치할 수 있다. 제2 하우징(252)은, 제1 하우징(251) 및 제3 하우징(253)과 소정의 체결 수단을 통해 체결될 수 있다.
제2 하우징(252)은, 라이트 쉴드(230)가 부착될 수 있는 부착 수단을 구비할 수 있다. 라이트 쉴드(230)는 상기 부착 수단을 통해 제2 하우징(252)에 부착될 수 있다.
제1 및 제2 하우징(252, 253)은, 합성 수지 재질로 형성될 수 있다.
제3 하우징(253)은, 제1 하우징(251) 및 제2 하우징(252)와 소정의 체결 수단을 통해 체결될 수 있다. 실시예에 따라, 제1 내지 제3 하우징(251, 252, 253)은 일체형으로 형성될 수 있다.
제3 하우징(253)은, 프로세싱 보드(220)를 감싸도록 형성될 수 있다. 제3 하우징(253)은, 프로세싱 보드(220)의 후단 또는 하단에 위치할 수 있다. 제3 하우징(253)은, 열전도성 재질로 형성될 수 있다. 예를 들면, 제3 하우징(253)은 알루미늄과 같은 금속으로 형성될 수 있다. 제3 하우징(253)이 열전도성 재질로 형성됨으로써 효율적인 열방출이 이루어질 수 있다.
제1 및 제2 하우징(251, 252)이 합성 수질 재질로 형성되고, 제3 하우징(253)이 열전도성 재질로 형성되는 경우, 차량용 카메라 내부의 열은, 제1 및 제2 하우징(251, 252) 보다 제3 하우징(253)으로 방출될 수 있다. 즉, 차량용 카메라(200a)가 윈드 쉴드에 장착되는 경우, 제1 및 제2 하우징(251, 252)은, 윈드 쉴드에 근접하게 위치하므로, 제1 및 제2 하우징(251, 252)을 통해 열이 방출될 수 없다. 이경우, 제3 하우징(253)을 통해 열이 효율적으로 방출될 수 있다.
한편, 제3 하우징(253)이 알루미늄으로 구성되는 경우, EMC(electro-magnetic compatibility) 및 ESC(electrostatic discharge)로부터 내부에 위치하는 부품들(예를 들면, 이미지 센서(241) 및 프로세서(470))을 보호하는데 유리할 수 있다.
제3 하우징(253)은 프로세싱 보드(220)와 접촉될 수 있다. 이경우, 제3 하우징(253)은, 프로세싱 보드(220)와 접촉되는 부분을 통해 열을 전달여, 외부로 효율적으로 열을 방출할 수 있다.
제3 하우징(253)은 방열부(291)를 더 포함할 수 있다. 예를 들면, 방열부(291)는 히트 싱크, 방열핀, 써멀 패드 및 써멀 구리스 중 적어도 어느 하나를 포함할 수 있다.
방열부(291)는, 차량용 카메라(200a) 내부에서 생성되는 열을 외부로 방출할 수 있다. 예를 들면, 방열부(291)는, 프로세싱 보드(220) 및 제3 하우징(253) 사이에 위치할 수 있다. 방열부(291)는, 프로세싱 보드(220) 및 제3 하우징(253)과 접촉하여, 프로세싱 보드(220)에서 생성되는 열을 외부로 방출할 수 있다.
제3 하우징(253)은, 공기 배출홀을 더 포함할 수 있다. 공기 배출홀은, 차량용 카메라(200a) 내부의 고온의 공기를 차량용 카메라(200a) 외부로 배출하기 위한 홀이다. 차량용 카메라(200a) 내부에 공기 배출홀과 연결된 공기 유동부가 포함될 수 있다. 공기 유동부는, 차량용 카메라(200a) 내부의 고온의 공기를 공기 배출홀로 유도할 수 있다.
차량용 카메라(200a)는, 방습부를 더 포함할 수 있다. 방습부는, 패치(patch) 형태로 형성되어, 공기 배출부에 부착될 수 있다. 방습부는, 고어텍스 재질을 방습 부재일 수 있다. 방습부는, 차량용 카메라(200a) 내부의 습기는 외부로 유출시킬 수 있다. 또한, 방습부는, 차량용 카메라(200a) 외부의 습기의 내부 유입을 방지할 수 있다.
도 6은 본 발명의 실시예에 따른 차량용 카메라의 사시도이다. 도 7은 본 발명의 실시예에 따른 차량용 카메라의 분해 사시도이다. 도 8은 본 발명의 실시예에 따라, 도 6의 C-D를 절개한 차량용 카메라의 절개 측면도이다.
도 6 내지 도 7을 참조하여 설명하는 차량용 카메라(200)는, 스테레오 카메라(200b)이다.
스테레오 카메라(200b)는 도 3 내지 도 5를 참조하여 설명한 싱글 카메라(200a)에 대한 설명이 모두 적용될 수 있다. 즉, 스테레오 카메라(200b)에 포함되는 제1 및 제2 카메라 각각은 도 3 내지 도 5를 참조하여 설명한 카메라일 수 있다.
스테레오 카메라(200b)는, 제1 렌즈(211a), 제2 렌즈(211b), 제1 이미지 센서(214a), 제2 이미지 센서(214b), 좌측 가변 렌즈(300L), 우측 가변 렌즈(300R) 및 프로세서(470a)를 포함할 수 있다.
실시예에 따라, 차량용 카메라(200b)는, 프로세싱 보드(220a), 제1 라이트 쉴드(230a), 제2 라이트 쉴드(230b), 하우징(250a)을 개별적으로 더 포함하거나, 조합하여 더 포함할 수 있다.
한편, 하우징은, 제1 렌즈 하우징(217a), 제2 렌즈 하우징(217b), 제1 하우징(251a), 제2 하우징(252a), 제3 하우징(253a)을 포함할 수 있다.
제1 렌즈(211a) 및 제2 렌즈(211b)는, 도 3 내지 도 5의 렌즈(211)에 대한 설명이 적용될 수 있다.
제1 이미지 센서(214a) 및 제2 이미지 센서(214b)는, 도 3 내지 도 5의 이미지 센서(214)에 대한 설명이 적용될 수 있다.
좌측 가변 렌즈(300L) 및 우측 가변 렌즈(300R)는, 도 3 내지 도 5의 가변 렌즈(300)에 대한 설명이 적용될 수 있다.
특히, 좌측 가변 렌즈(300L)는, 제1 액정층을 포함하고, 인가되는 전압에 기초하여 제1 액정층에 포함된 액정 분자의 배열 상태에 따라, 제1 이미지 센서(214a)에 유입되는 광을 변화시킬 수 있다.
특히, 우측 가변 렌즈(300R)는, 제2 액정층을 포함하고, 인가되는 전압에 기초하여 제2 액정층에 포함된 액정 분자의 배열 상태에 따라, 제2 이미지 센서(214b)에 유입되는 광을 변화시킬 수 있다.
한편, 제1 렌즈(211a), 제1 이미지 센서(214a) 및 좌측 가변 렌즈(300L)를 포함하는 모듈은 제1 이미지 획득 모듈로 명명될 수 있다. 또한, 제2 렌즈(211b), 제2 이미지 센서(214b) 및 우측 가변 렌즈(300R)를 포함하는 모듈은 제2 이미지 획득 모듈로 명명될 수 있다.
프로세서(470a)는, 제1 이미지 센서(214a), 제2 이미지 센서(214b), 좌측 가변 렌즈(300L) 및 우측 가변 렌즈(300R)와 전기적으로 연결될 수 있다. 프로세서(470)는, 제1 이미지 센서(214a) 및 제2 이미지 센서(214b)를 통해 획득되는 영상을 컴퓨터 처리할 수 있다. 이때, 프로세서(470)는, 제1 이미지 센서(214a) 및 제2 이미지 센서(214b)를 통해 획득되는 영상에 기초하여 디스패리티(disparity) 맵을 형성하거나, 디스패리티 연산을 수행할 수 있다.
프로세서(470a)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
프로세서(470a)는, 프로세싱 보드(220a) 상에 실장될 수 있다.
프로세싱 보드(220a)는, 도 3 내지 도 5의 프로세싱 보드(220)에 대한 설명이 적용될 수 있다.
제1 라이트 쉴드(230a) 및 제2 라이트 쉴드(230b)는, 도 3 내지 도 5의 라이트 쉴드(230)에 대한 설명이 적용될 수 있다.
제1 렌즈 하우징(217a) 및 제2 렌즈 하우징(217b)은 도 3 내지 도 5의 렌즈 하우징(217)에 대한 설명이 적용될 수 있다.
제1 하우징(251a)은, 도 3 내지 도 5의 제1 하우징(251)에 대한 설명이 적용될 수 있다.
제2 하우징(252a)은, 도 3 내지 도 5의 제2 하우징(252)에 대한 설명이 적용될 수 있다.
제3 하우징(253a)은, 도 3 내지 도 5의 제3 하우징(253)에 대한 설명이 적용될 수 있다.
도 8은 도 5의 CR1 부분 또는 도 8의 CR2 부분을 절개하여 확대한 절개 측면도이다.
도 8을 참조하면, 차량용 카메라(200)는, 이미지 센서(214) 및 가변 렌즈(300)를 포함할 수 있다.
이미지 센서(214)는, 상술한 바와 같이, CCD 또는 CMOS를 포함할 수 있다.
이미지 센서(214)는, 가변 렌즈(300) 후단에 배치될 수 있다.
가변 렌즈(300)는, 이미지 센서(214) 전단에 배치될 수 있다.
가변 렌즈(300)는, 액정층(liquid cristal layer)를 포함할 수 있다. 가변 렌즈(300)는, 프로세서(470)의 제어에 따라, 인가되는 전압에 기초하여 액정층에 포함되는 액정 분자들의 배열 생태에 따라 이미지 센서(214)에 유입되는 광을 변화시킬 수 있다.
예를 들면, 가변 렌즈(300)는, 이미지 센서(214)에 유입되는 광을 굴절시킬 수 있다. 이경우, 가변 렌즈(300)는, 초점 거리를 변화시킬 수 있다. 프로세서(470)의 제어에 따라, 가변 렌즈(300)는, 다양한 렌즈의 기능을 수행할 수 있다.
예를 들면, 가변 렌즈(300)는, Wetting 렌즈, GRIN(Graded Refractive Index) 렌즈 또는 FRESNEL 렌즈를 포함할 수 있다.
Wetting 렌즈는, 렌즈에 유입되는 전기 에너지의 전위차에 의해, 극성 물질의 가변되는 형성에 의해 유입되는 광을 변화시킬 수 있다.
GRIN 렌즈 또는 FRESNEL 렌즈는, 액정층을 포함하고, 인가되는 전기 에너지에 따른 액정층에 포함된 액정의 배열 상태에 따라 유입되는 광을 변화시킬 수 있다.
가변 렌즈(300)는, 슬라이딩 이동 가능하게 형성될 수 있다. 차량용 카메라(200)는, 구동부 및 구동력 전달부를 포함할 수 있다.
예를 들면, 구동부는 모터를 포함할 수 있다. 구동력 전달부는, 적어도 하나의 기어를 포함할 수 있다.
프로세서(470)의 제어에 따라, 구동부는 구동력을 생성할 수 있다. 구동부에서 생성된 구동력은 구동력 전달부를 통해, 회전 운동이 직선 운동으로 전환되어, 가변 렌즈(300)에 전달될 수 있다. 가변 렌즈는, 구동력을 전달 받아, 좌우 방향(예를 들면, 전폭 방향)으로 슬라이딩 이동될 수 있다.
가변 렌즈(300)는, 회전 이동 가능하게 형성될 수 있다. 차량용 카메라(200)는 구동부 및 구동력 전달부를 포함할 수 있다.
예를 들면, 구동부는 모터를 포함할 수 있다. 구동력 전달부는, 적어도 하나의 기어를 포함할 수 있다.
프로세서(470)의 제어에 따라, 구동부는 구동력을 생성할 수 있다. 구동부에서 생성된 구동력은 구동력 전달부를 통해, 가변 렌즈(300)에 전달될 수 있다. 가변 렌즈는, 구동력을 전달 받아, 전방을 향해 회전 이동될 수 있다.
이와 같이, 가변 렌즈(300)가 슬라이딩 이동 또는 회전 이동 가능하게 형성됨으로써, 가변 렌즈(300)가 필요한 경우에는 활용하고, 가변 렌즈(300)가 불필요한 경우, 슬라이딩 이동 또는 회전 이동 시켜 활용하지 않을 수 있다.
실시예에 따라, 차량용 카메라(200)는, 하나 이상의 렌즈(211)를 더 포함할 수 있다. 도 9에는 렌즈(211)가, 렌즈(211)는, 제1 렌즈(211a), 제2 렌즈(211b), 제3 렌즈(311c) 및 제4 렌즈(211d) 4개를 포함하는 것으로 예시하나, 실시예에 따라, 렌즈의 개수는 가변될 수 있다.
렌즈(211)는 가변 렌즈(300)와 이미지 센서(214) 사이에 배치될 수 있다. 렌즈(211)는, 유입되는 광을 굴절시킬 수 있다. 렌즈(211)를 통해 굴절되는 광은, 이미지 센서에 유입될 수 있다.
실시예에 따라, 차량용 카메라(200)는, 하우징(250)을 더 포함할 수 있다. 하우징(250)은, 렌즈 하우징(217), 제1 하우징(251), 제2 하우징(252), 제3 하우징(253)을 포함할 수 있다.
하우징(250)은, 차량용 카메라(200)의 외관을 형성하고, 이미지 센서(214) 및 가변 렌즈(300)를 포함한, 차량용 카메라(200)의 각각의 구성을 수용할 수 있다.
하우징(250)은 홀더(1010)를 포함할 수 있다. 도 9에서 홀더(1010)는 렌즈 하우징(217)에 형성되는 것으로 예시하나, 실시예에 따라, 홀더(1010)는, 제1 하우징(251)에 형성될 수도 있다.
홀더(1010)는, 가변 렌즈(300)를 지지할 수 있다. 홀더(1010)는, 가변 렌즈(300)의 상측을 지지하는 상측 홀더(1010U) 및 가변 렌즈(300)의 하측을 지지하는 하측 홀더(1010L)를 포함할 수 있다.
실시예에 따라, 차량용 카메라(200)는, 열선을 더 포함할 수 있다. 열선은 프로세서(470)의 제어에 따라, 가변 렌즈(300)에 열을 공급할 수 있다.
액정은, 주변 온도에 민감하다. 액정을 포함하는 가변 렌즈는, 주변 온도 특히, 저온에 취약하다. 차량용 카메라(200)에 포함되는 가변 렌즈(300)는 겨울철 주행 또는 혹한 지역에서의 주행에 대비하여 액정의 열특성을 고려해야 한다. 본 실시예와 같이, 차량용 카메라(200)에 열선을 포함함으로써, 저온 주행 상황에서도 가변 렌즈가 정상적으로 동작할 수 있는 효과가 도출될 수 있다.
한편, 열선은 열공급부로 명명될 수 있다.
열선은 홀더(1010) 내부에 형성될 수 있다. 열선은, 상측 홀더(1010U) 및 하측 홀더(1010L) 중 적어도 어느 하나의 내부에 형성될 수 있다.
홀더(1010) 및 홀더 내부에 형성되는 열선은 도 10a 내지 도 10c를 참조하여 설명한다.
도 10a 내지 도 11은 홀더 및 홀더 내부에 형성되는 열선의 다양한 실시예를 설명하기 위해 참조되는 도면이다. 도 10a 내지 도 10c는 도 9의 HS를 확대한 측면도일 수 있다.
도 10a 내지 도 11을 참조하여, 상측 홀더(1010U)를 예시하여 설명하나, 하측 홀더(1010L)는 상측 홀더(1010U)와 가변 렌즈(300)를 지지하는 부분만 상이하고, 상측 홀더(1010U)와 기능 및 구조가 동일하므로, 상측 홀더(1010L)의 설명이 적용될 수 있다.
도 10a 내지 도 11을 참조하면, 홀더(1020)는 슬롯(slot)(1020)을 포함할 수 있다.
슬롯(1020)은, 가변 렌즈(300)의 일부를 수용할 수 있다. 예를 들면, 상측 홀더(1010U)에 포함되는 슬롯(1020)은, 가변 렌즈(300)의 상측 일부를 수용할 수 있다. 하측 홀더(1010L)에 포함되는 슬롯(1020)은, 가변 렌즈(300)의 하측 일부를 수용할 수 있다.
열선(1051, 1052)은, 슬롯(1020) 내부에 형성될 수 있다.
열선(1051, 1052)은, 가변 렌즈(300)와 이격되어 형성될 수 있다. 이경우, 열선(1051, 1052)이 가변 렌즈(300)에 접촉함으로써 발생될 수 있는 가변 렌즈(300)의 파손을 방지할 수 있다. 열선(1051, 1052)에서 발생되는 열은 복사 방식에 따라 가변 렌즈(300)에 전달될 수 있다.
실시예에 따라, 도 10b에 예시된 바와 같이, 열선(1053)은, 가변 렌즈(300)의 테두리의 적어도 일부분과 접촉될 수 있다. 이경우, 열선(1053)에서 발생된 열이 전도 방식에 따라 가변 렌즈(300)에 전달됨으로써 효율적이고 직접적인 열전달이 가능하다.
홀더(1010)는, 제1 고정부(1031) 및 제2 고정부(1032)를 포함할 수 있다.
제1 고정부(1031)는 가변 렌즈(300)의 제1 면(301)을 지지할 수 있다. 제1 면(301)은, 차량의 전방을 향하는 면일 수 있다.
제1 고정부(1031)는, 제1 이격부(1031a) 및 제1 접촉부(1031b)를 포함할 수 있다.
제1 이격부(1031a)는, 베이스(1025)에서 하방 또는 상방으로 연장될 수 있다. 제1 이격부(1031a)는, 가변 렌즈(300)와 접촉되지 않고, 가변 렌즈(300)와 이격될 수 있다. 제1 이격부(1031a)와 가변 렌즈(300) 사이에는 캐비티가 형성될 수 있다.
제1 접촉부(1031b)는, 제1 이격부(1031a)에서 차량(100)의 후방으로 연장될 수 있다. 제1 접촉부(1031b)는, 가변 렌즈(300)의 제1 면(301)의 일부분과 접촉할 수 있다. 제1 접촉부(1031b)는, 제2 접촉부(1032b)와 함께, 가변 렌즈(300)를 지지하여, 가변 렌즈(300)를 고정할 수 있다.
제2 고정부(1032)는, 가변 렌즈(300)의 제2 면(302)을 지지할 수 있다. 제2 면(302)은, 차량의 후방을 향하는 면일 수 있다.
제2 고정부(1032)는, 제2 이격부(1032a) 및 제2 접촉부(1032b)를 포함할 수 있다.
제2 이격부(1032a)는, 베이스(1025)에서 하방 또는 상방으로 연장될 수 있다. 제2 이격부(1032a)는, 가변 렌즈(300)와 접촉되지 않고, 가변 렌즈(300)와 이격될 수 있다. 제2 이격부(1032a)와 가변 렌즈(300) 사이에는 캐비티가 형성될 수 있다.
제2 접촉부(1032b)는, 제2 이격부(1032a)에서 차량(100)의 전방으로 연장될 수 있다. 제2 접촉부(1032b)는, 가변 렌즈(300)를 중심으로, 제1 접촉부(1031b)와 대칭되게 형성될 수 있다. 제2 접촉부(1032b)는, 제1 접촉부(1031b)와 함께, 가변 렌즈(300)를 지지하여, 가변 렌즈(300)를 고정할 수 있다.
슬롯(1020)은, 제1 고정부(1031) 및 제2 고정부(1032) 사이에 형성될 수 있다.
열선은, 제1 열선(1051) 및 제2 열선(1052)을 포함할 수 있다.
제1 열선(1051)은, 제1 고정부(1031)의 일부분에 형성될 수 있다.
제1 열선(1051)은, 제1 고정부(1031)와 가변 렌즈(300) 사이에 배치될 수 있다. 구체적으로, 제1 열선(1051)은, 제1 고정부(1031)와 가변 렌즈(300)의 제1 면(301) 사이에 배치될 수 있다.
제1 열선(1051)은, 가변 렌즈(300)와 이격되게 배치될 수 있다. 구체적으로, 제1 열선(1051)은, 가변 렌즈(300)의 제1 면(301)과 이격되게 배치될 수 있다.
제2 열선(1052)은, 제2 고정부(1032)와 가변 렌즈(300) 사이에 배치될 수 있다. 구체적으로, 제2 열선(1052)은, 제2 고정부(1032)와 가변 렌즈(300)의 제2 면(302) 사이에 배치될 수 있다.
제2 열선(1052)은, 가변 렌즈(300)와 이격되게 배치될 수 있다. 구체적으로, 제2 열선(1052)은, 가변 렌즈(300)의 제2 면(302)과 이격되게 배치될 수 있다.
실시예에 따라, 도 11에 예시된 바와 같이, 제1 고정부(1031)는, 제1 요철부(1061)를 포함할 수 있다. 예를 들면, 제1 접촉부(1031b)는, 제1 요철부(1061)를 포함할 수 있다.
제1 요철부(1061)는, 제1 면(301)의 적어도 일부분과 접촉될 수 있다. 구체적으로, 제1 요철부(1061)는, 적어도 하나의 돌출부 및 적어도 하나의 함몰부를 포함할 수 있다. 여기서, 적어도 하나의 돌출부는, 가변 렌즈(300)를 향해 돌출되어 가변 렌즈(300)의 제1 면(301)과 접촉할 수 있다. 적어도 하나의 함몰부는, 가변 렌즈(300)를 향해 함몰되어 가변 렌즈(300)의 제1 면(301)과 이격될 수 있다.
이와 같이, 돌출부 및 함몰부를 포함함으로써, 가변 렌즈(300) 지지 및 고정시, 가변 렌즈(300)의 파손을 방지할 수 있다. 즉, 차량(100)이 주행하는 경우, 도로 상태에 따라, 차량용 카메라(200)에 충격이 발생될 수 있는데, 이때, 가변 렌즈(300)에 가해지는 충격을 감소시킬 수 있다.
제1 열선(1051)은, 제1 요철부(1061) 상에 형성될 수 있다. 구체적으로, 제1 열선(1051)은, 제1 요철부(1061)에 포함된 돌출부 또는 함몰부 상에 형성될 수 있다.
제1 열선(1051)이 돌출부 상에 형성되는 경우, 제1 열선(1051)이 가변 렌즈(300)의 제1 면(301)에 접촉되어 전도 방식에 따라 가변 렌즈(300)에 열이 전달될 수 있다. 이경우, 효율적이고 직접적인 열전달이 가능하다.
제1 열선(1051)이 함몰부 상에 형성되는 경우, 제1 열선(1051)이 가변 렌즈(300)의 제1 면(301)과 이격되어 복사 방식에 따라 가변 렌즈(300)에 열이 전달될 수 있다. 이경우, 가변 렌즈(300)의 파손을 방지할 수 있다.
제2 고정부(1032)는, 제2 요철부(1062)를 포함할 수 있다. 예를 들면, 제2 접촉부(1032b)는, 제2 요철부(1062)를 포함할 수 있다.
제2 요철부(1062)는, 제2 면(302)의 적어도 일부분과 접촉할 수 있다. 구체적으로, 제2 요철부(1062)는, 적어도 하나의 돌출부 및 적어도 하나의 함몰부를 포함할 수 있다. 여기서, 적어도 하나의 돌출부는, 가변 렌즈(300)를 향해 돌출되어 가변 렌즈(300)의 제2 면(302)과 접촉할 수 있다. 적어도 하나의 함몰부는, 가변 렌즈(300)를 향해 함몰되어 가변 렌즈(300)의 제2 면(302)과 접촉할 수 있다.
이와 같이, 돌출부 및 함몰부를 포함함으로써, 가변 렌즈(300) 지지 및 고정시, 가변 렌즈(300)의 파손을 방지할 수 있다. 즉, 차량(100)이 주행하는 경우, 도로 상태에 따라, 차량용 카메라(200)에 충격이 발생될 수 있는데, 이때, 가변 렌즈(300)에 가해지는 충격을 감소시킬 수 있다.
제2 열선(1052)은, 제2 요철부(1062) 상에 형성될 수 있다. 구체적으로, 제2 열선(1052)은, 제2 요철부(1062)에 포함된 돌출부 또는 함몰부 상에 형성될 수 있다.
제2 열선(1052)이 돌출부 상에 형성되는 경우, 제2 열선(1052)이 가변 렌즈(300)의 제2 면(302)에 접촉되어 전도 방식에 따라 가변 렌즈(300)에 열이 전달될 수 있다. 이경우, 효율적이고 직접적인 열전달이 가능하다.
제2 열선(1051)이 함몰부 상에 형성되는 경우, 제2 열선(1052)이 가변 렌즈(300)의 제2 면(302)과 이격되어 복사 방식에 따라 가변 렌즈(300)에 열이 전달될 수 있다. 이경우, 가변 렌즈(300)의 파손을 방지할 수 있다.
도 12는 본 발명의 실시예에 따른 가변렌즈를 설명하는데 참조되는 도면이다.
도 12를 참조하면, 가변 렌즈(300)는, 제1 기판(1210), 제2 기판(1220), 액정층(1230)을 포함할 수 있다.
제1 기판(1210)은, 제1 베이스 기판(1211), 복수의 제1 전극(1212), 절연막(1213)을 포함할 수 있다.
복수의 제1 전극(1212)은, 제1 베이스 기판(1211)상에 형성될 수 있다. 복수의 제1 전극(1212)은 서로 소정 간격을 두고 이격되어 있다. 프로세서(470)의 제어에 따라, 복수의 제1 전극(1212)에는 전압이 인가될 수 있다. 예를 들면, 프로세서(470)의 제어에 따라, 복수의 제1 전극(1212) 각각에는 서로 다른 레벨의 전압이 인가될 수 있다.
한편, 복수의 제1 전극(1212)은 투명 전극일 수 있다. 예를 들면, 복수의 제1 전극(1212)은, ITO(Indium Tin Oxide) 투명 전극일 수 있다. 제1 전극(1212)이 투명 전극으로 형성됨으로 인해, 전극이 시야를 가지리 않고, 차량용 카메라(200)의 시야가 확보될 수 있다.
절연막(1213)은 복수의 제1 전극(1212)을 덮도록 제1 베이스 기판(1211) 상에 형성될 수 있다.
제2 기판(1220)은, 제1 기판(1210)과 마주보게 배치될 수 있다. 제2 기판(1220)은, 제2 베이스 기판(1221) 및 제2 전극(1222)을 포함할 수 있다.
제2 전극(1222)은, 제2 베이스 기판(1221) 상에 형성될 수 있다. 제2 전극(1222)은 복수의 제1 전극(1212)와 마주보게 배치될 수 있다. 프로세서(470)의 제어에 따라, 제2 전극(1222)에 전압이 인가될 수 있다. 프로세서(470)의 제어에 따라, 제2 전극(1222)에 일정한 레벨의 전압이 인가될 수 있다.
한편, 제2 전극(1222)은 투명 전극일 수 있다. 예를 들면, 제2 전극(1222)은, ITO(Indium Tin Oxide) 투명 전극일 수 있다. 제2 전극(1222)이 투명 전극으로 형성됨으로 인해, 전극이 시야를 가지리 않고, 차량용 카메라(200)의 시야가 확보될 수 있다.
액정층(1230)은, 제1 기판(1210) 및 제2 기판(1220) 사이에 배치될 수 있다. 액정층은 복수의 액정 분자(1231)을 포함할 수 있다. 복수의 액정 분자(1231)는 제공되는 전압의 크기에 대응하여 수평 방향에서 수직 방향으로 소정의 각도를 갖도록 구동될 수 있다. 프로세서(470)의 제어에 따라, 복수의 액정 분자(1231)가 소정의 각도를 가짐으로 인해, 가변 렌즈(300)의 초점이 변경될 수 있다.
가변 렌즈(300)는 제1 투명 플레이트 및 제2 투명 플레이트를 더 포함할 수 있다. 제1 투명 플레이트는, 제1 기판(1210) 외측에 배치될 수 있다. 제2 투명 플레이트는, 제2 기판(1220) 외측에 배치될 수 있다. 투명 플레이트는 글래스로 명명될 수 있다.
도 13은 본 발명의 실시예에 따른 제1 기판을 설명하는데 참조되는 도면이다.
도 13은, 본 발명의 실시예에 따른 제1 기판(1110)을 위에서 본 도면이다.
도 13을 참조하면, 제1 기판(도 11의 1110)은, 복수의 제1 전극(1212a 내지 1212i)을 포함할 수 있다. 복수의 제1 전극(1212a 내지 1212i)는 서로 소정의 간격을 두고 이격되어 배치될 수 있다. 복수의 제1 전극(1212a 내지 1212i)은 상하 방향 또는 좌우 방향으로 배치될 수 있다. 여기서, 상하 방향은, 전고 방향 또는 세로 방향을 의미할 수 있다. 좌우 방향은, 전폭 방향 또는 세로 방향을 의미할 수 있다.
도 13은 복수의 제1 전극(1212a 내지 1212i)이 상하 방향으로 길게 배치되는 것을 예시한다.
이와 같이, 복수의 제1 전극(1212a 내지 1212i)이 상하 방향으로 길게 배치되는 경우, 좌우 방향의 FOV(Field of View)가 넓어질 수 있다.
복수의 제1 전극(1212a 내지 1212i)의 개수가 많아짐에 따라, 좌우 방향의 FOV가 점점 더 넓어질 수 있다.
가변 렌즈(300)는, 구동부를 더 포함할 수 있다. 구동부는, 복수의 제1 전극(1212a 내지 1212i) 또는 제2 전극(1222)에 전압을 인가할 수 있다. 구동부는 프로세서(470)와 전기적으로 연결된다. 구동부는, 프로세서(470)와 FPCB 또는 케이블로 연결될 수 있다.
실시예에 따라, 구동부는, 복수일 수 있다. 예를 들면, 구동부는, 제1 구동부(1310) 및 제2 구동부를 포함할 수 있다.
제1 구동부(1310)는, 집적회로(IC : Integrated Ciruit)를 포함할 수 있다. 제1구동부(1310)는, 프로세서(470)로부터 신호를 제공 받아, 복수의 제1 전극(1212a 내지 1212i)에 전압을 인가할 수 있다. 제1 구동부(1310)는, 복수의 제1 전극(1212a 내지 1212i)에, 일정한 레벨의 전압을 인가할 수 있다. 또는, 제1 구동부(1310)는 복수의 제1 전극(1212a 내지 1212i)에 서로 다른 레벨의 전압을 인가할 수 있다.
제2 구동부는, 집적회로를 포함할 수 있다. 제2 구동부는, 프로세서(470)로부터 신호를 제공 받아, 제2 전극(1222)에 전압을 인가할 수 있다. 제2 구동부는, 제2 전극(1222)에 일정한 레벨의 전압을 인가할 수 있다.
제1 기판(1210)은 열선(1310)을 포함할 수 있다. 열선(1310)은, 제1 베이스 기판(1211) 상에 배치될 수 있다. 예를 들면, 열선(1310)은, 제1 베이스 기판(1211) 테두리를 따라 배치될 수 있다. 이와 같이 열선(1310) 배치됨으로 인해, 열선(1310)이 시야를 가리지 않고, 차량용 카메라(200)의 시야가 확보될 수 있다.
열선은, 가변 렌즈(300)에 열을 공급할 수 있다. 구체적으로, 열선은 액정층(1230)에 열을 공급할 수 있다.
한편, 제2 기판(1220)은 열선을 포함할 수 있다. 열선은 제2 베이스 기판(1221)상에 배치될 수 있다.
도 14a 내지 도 14c는 본 발명의 실시예에 따라 복수의 제1 전극에 각각 서로다른 전압 레벨이 인가되는 동작을 설명하는데 참조되는 도면이다.
도 14a를 참조하면, 프로세서(470)는, 제1 구동부(도 13의 1310) 제어를 통해, 복수의 제1 전극(1212a 내지 1212i)에 인가되는 각각의 전압 레벨(1410)을 제어할 수 있다. 복수의 제1 전극(1212a 내지 1212i)에 인가되는 전압의 레벨에 대응하여, 액정층(1230)에 포함된 액정 분자(1231)들의 배열 상태(1420)가 전환될 수 있다.
도 14b에 예시된 바와 같이, 프로세서(470)는, 복수의 제1 전극(1212a 내지 1212i)에 인가되는 전압의 레벨이 일정(1430)하도록 제1 구동부(1310)를 제어할 수 있다.
이경우, 액정층(1230)에 포함된 액정 분자(1231)들은 외부에서 유입되는 광을 굴절시키지 않고 투과시키도록 배치(1440)될 수 있다. 도면에 예시된 액정 분자(1231)의 배치 상태는 하나의 예시에 불과하고, 액정의 종류에 따라, 다른 배치 상태를 가질 수도 있다.
이경우, 가변 렌즈(300)는, 화각(FOV : Field of View)이 좁아지고, 초점 거리가 길어져 망원 렌즈로 기능할 수 있다. 이경우, 가변 렌즈(300)는, 차량(100)으로부터 원거리에 있는 오브젝트를 검출하고 트래킹하는데 이용될 수 있다.
도 14c에 예시된 바와 같이, 프로세서(470)는, 복수의 제1 전극(1212a 내지 1212i)에 인가되는 전압의 레벨이 서로 달라지도록(1450) 제1 구동부(1310)를 제어할 수 있다. 구체적으로, 프로세서(470)는, 복수의 제1 전극(1212a 내지 1212i)중 중심에 배치되는 전극(1212e, 1212f)의 전압 레벨을, 외곽에 배치되는 전극(1212a, 121j)의 전압 레벨보다 더 높게 제1 구동부(1310)를 제어할 수 있다(1420).
이경우, 액정층(1230)에 포함된 액정 분자(1231)들은 외부에서 유입되는 광의 전부 또는 일부를 굴절시키도록 배치(1460)될 수 있다. 도면에 예시된 액정 분자(1231)의 배치 상태는 하나의 예시에 불과하고, 액정의 종류에 따라, 다른 배치 상태를 가질 수도 있다.
이경우, 가변 렌즈(300)는, 화각이 넓어지고, 초검 거리가 짧아져 광각 렌즈로 기능할 수 있다. 이경우, 가변 렌즈(300)는, 차량(100)으로부터 근거리에 있는 오브젝트를 검출하고 트래킹하는데 이용될 수 있다. 이경우, 프로세서(470)는, 중심에 배치되는 전극(1212e, 1212f)을 기준으로 좌측 및 우측에 배치되는 복수의 전극에 인가되는 전압의 레벨이 서로 대칭되도록 제1 구동부(1310)를 제어할 수 있다.
실시예에 따라, 프로세서(470)는, 복수의 제1 전극(1212a 내지 1212i)의 전압 레벨을 제어하여, 화각 또는 초점거리를 가변 시킬 수 있다.
실시예에 따라, 프로세서(470)는, 중심에 배치되는 전극(1212e, 1212f)을 기준으로 좌측 및 우측에 배치되는 복수의 전극에 인가되는 전압의 레벨이 서로 비대칭되도록 제1 구동부(1310)를 제어할 수 있다. 이경우, POI(Point of Interest)에 따라, 가변 렌즈(300)의 초점 지점을 가변 시킬 수 있다.
한편, 프로세서(470)는, 이미지 센서를 통해 획득된 영상을 컴퓨터 처리할 수 있다.
도 15는 본 발명의 실시예에 따라, 복수의 제1 전극의 좌우 방향 배치를 설명하는데 참조되는 도면이다.
도 15를 참조하면, 제1 기판(도 11의 1110)은 복수의 제1 전극(도 1212a 내지 1212i)을 포함할 수 있다. 여기서, 복수의 제1 전극(1212a 내지 1212i)은 좌우 방향으로 길게 배치될 수 있다.
이와 같이, 복수의 제1 전극(1212a 내지 1212i)이 좌우 방향으로 길게 배치되는 경우, 상하 방향의 FOV(Field of View)가 넓어질 수 있다.
복수의 제1 전극(1212a 내지 1212i)의 개수가 많아짐에 따라, 상하 방향의 FOV가 점점 더 넓어질 수 있다.
도 16은 본 발명의 실시예에 따라, 복수의 제1 전극의 상하 방향 및 좌우 방향 배치를 설명하는데 참조되는 도면이다.
도 16을 참조하면, 복수의 제1 전극은 상하 방향 및 좌우 방향으로 길게 배치될 수 있다.
제1 기판(1110)은, 복수의 제1 전극(1212) 및 복수의 커패시터(1610)를 포함할 수 있다. 여기서, 복수의 제1 전극(1212)은, 좌우 방향 및 상하 방향으로 길게 배치될 수 있다.
상하 방향으로 길게 배치되는 복수의 전극 및 좌우 방향으로 길게 배치되는 복수의 전극의 복수의 교차 지점 각각에는 복수의 커패시터(1610)가 배치될 수 있다. 복수의 커패시터(1610)는, 교차 지점에서 발생될 수 있는 전압 강하를 방지하여, 프로세서(470)의 제어에 따라, 복수의 제1 전극(1212) 각각에 전압을 인가할 수 있도록할 수 있다.
교차 지점과 커패시터 사이에는 TFT 트랜지스터가 배치될 수 있다. TFT는 역전류를 방지할 수 있다.
도 17 내지 도 18는 본 발명의 실시예에 따라 복수의 가변 렌즈를 포함하는 차량용 카메라를 설명하는데 참조되는 도면이다.
도 17은 본 발명의 실시예에 따른 도 3의 A-B 또는 도 6의 C-D를 절개한 차량용 카메라의 절개 측면도이다.
도 18는, 도 18의 CR3 부분을 절개하여 확대한 절개 측면도이다.
도 17 내지 도 18의 차량용 카메라는, 제1 가변 렌즈(300a) 및 제2 가변 렌즈(300b)를 포함하는 것에 도 1 내지 도 17을 참조하여 설명한 차량용 카메라와 차이가 있다. 도 17 내지 도 18의 차량용 카메라(200)는, 가변 렌즈(300a, 300b)가 복수로 포함되는 것 외에, 다른 구성에 대한 설명은 도 1 내지 도 16을 참조하여 설명한 내용이 적용될 수 있다.
또한, 제1 가변 렌즈(300a) 및 제2 가변 렌즈(300b) 각각은, 도 1 내지 도 16을 참조하여 설명한 가변 렌즈(300)에 대한 설명이 적용될 수 있다.
차량용 카메라(200)는, 이미지 센서(214), 제1 가변 렌즈(300a), 제2 가변 렌즈(300b) 및 프로세서(470)를 포함할 수 있다.
제1 가변 렌즈(300a)는, 제1 액정층을 포함하고, 인가되는 전압에 기초하여 제1 액정층에 포함되는 액정 분자의 배열 상태에 따라, 이미지 센서(214)에 유입되는 광을 변화시킬 수 있다. 제1 가변 렌즈(300a)는, 이미지 센서(214) 및 제2 가변 렌즈(300b) 전단에 배치될 수 있다. 제1 가변 렌즈(300a)는, 외부에서 유입되는 광을 변화시킬 수 있다.
제1 가변 렌즈(300a)는, 제1 기판, 제2 기판, 제1 액정층을 포함할 수 있다.
제1 가변 렌즈(300a)는, 도 12를 참조하여 설명한 가변 렌즈(300)에 대한 설명이 적용될 수 있다.
특히, 제1 가변 렌즈(300a)에 포함되는 제1 기판은 복수의 전극이 서로 이격되어 배치될 수 있다.
실시예에 따라, 제1 기판에 포함된 복수의 전극은 상하 방향으로 길게 배치될 수 있다. 제1 기판에 포함된 복수의 전극의 개수는, 제3 기판에 포함된 복수의 전극의 개수보다 많을 수 있다. 복수의 전극이 상하 방향으로 길게 배치되는 경우, 좌우 방향의 FOV가 넓어진다. 차량용 카메라(200)에서 획득된 이미지에서 상하 방향 정보보다 좌우 방향의 정보가 더 유용하게 활용될 수 있다. 제1 기판에 포함된 복수의 전극보다 제3 기판에 포함된 복수의 전극의 개수가 더 많은 경우, 좌우 방향 정보가 상하 방향의 정보보다 더 많이 획득될 수 있다.
실시예에 따라, 제1 기판에 포함된 복수의 전극은 좌우 방향으로 길게 배치될 수 있다.
제2 가변 렌즈(300b)는, 제2 액정층을 포함하고, 인가되는 전압에 기초하여 제2 액정층에 포함되는 액정 분자의 배열 상태에 따라, 이미지 센서(214)에 유입되는 광을 변화시킬 수 있다. 제2 가변 렌즈(300b)는, 이미지 센서(214) 전단에 배치될 수 있다. 제2 가변 렌즈(300b)는, 제1 가변 렌즈(300a)를 거쳐 유입되는 광을 변화시킬 수 있다.
제2 가변 렌즈(300b)는, 제3 기판, 제4 기판, 제2 액정층을 포함할 수 있다.
제2 가변 렌즈(300b)는, 도 12를 참조하여 설명한 가변 렌즈(300)에 대한 설명이 적용될 수 있다.
특히, 제2 가변 렌즈(300b)에 포함되는 제3 기판은 복수의 전극이 서로 이격되어 배치될 수 있다.
실시예에 따라, 제3 기판에 포함된 복수의 전극은 좌우 방향으로 길게 배치될 수 있다.
실시예에 따라, 제3 기판에 포함된 복수의 전극의 개수는, 상하 방향으로 길게 배치될 수 있다. 제3 기판에 포함된 복수의 전극은, 제1 기판에 포함된 복수의 전극의 개수보다 많을 수 있다. 복수의 전극이 상하 방향으로 길게 배치되는 경우, 좌우 방향의 FOV가 넓어진다. 차량용 카메라(200)에서 획득된 이미지에서 상하 방향 정보보다 좌우 방향의 정보가 더 유용하게 활용될 수 있다. 제1 기판에 포함된 복수의 전극보다 제3 기판에 포함된 복수의 전극의 개수가 더 많은 경우, 좌우 방향 정보가 상하 방향의 정보보다 더 많이 획득될 수 있다.
이미지 센서(214)는, 제1 가변 렌즈(300a) 및 제2 가변 렌즈(300b)를 거쳐 유입되는 광을 수신할 수 있다.
도 19는 본 발명의 실시예에 따른 차량 운전 보조 장치(400)의 블럭도이다.
도 19를 참조하면, 차량 운전 보조 장치(400)는, 차량용 카메라(200), 프로세서(470), 인터페이스부(430) 및 메모리(440)를 포함할 수 있다.
실시예에 따라, 차량 운전 보조 장치(400)는, 통신부(410), 입력부(420), 출력부(450) 및 전원 공급부(490)를 각각 개별적으로 또는 조합하여 더 포함할 수 있다.
실시예에 따라, 도 19에 예시된 바와는 다르게, 프로세서(470), 인터페이스부(430), 메모리(44)는, 카메라(200)의 하위 구성일 수 있다. 이경우, 차량용 카메라 장치(200)가 차량 운전 보조 장치(400)로 기능할 수 있다.
차량용 카메라(200)는, 차량(100)의 일 부분에 장착되어, 차량(100) 외부 또는 내부 영상을 획득할 수 있다.
예를 들면, 차량용 카메라(200)는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드(10)에 근접하게 배치될 수 있다. 또는, 차량용 카메라(200)는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
예를 들면, 차량용 카메라(200)는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 차량용 카메라(200)는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
예를 들면, 차량용 카메라(200)는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 차량용 카메라(200)는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
예를 들면, 차량용 카메라(200)는, 차량 실내의 영상을 획득하기 위해, 차량의 실내에서, 실내를 향하여, 프런트 윈드 쉴드, 대쉬 보드, 칵핏 모듈, 리어 윈드 쉴드에 배치될 수 있다.
차량용 카메라(200)는, 이미지 센서(214), 가변 렌즈(300), 액추에이터(401)를 포함할 수 있다.
이미지 센서(214)는, 도 1 내지 도 19를 참조하여 설명한 바와 같다.
가변 렌즈(300)는, 이미지 센서(214)에 유입되는 광을 변경시킬 수 있다. 가변 렌즈(300)는, 이미지 센서(214)에 유입되는 광을 변경시켜, 초점 거리를 변경시킬 수 있다.
가변 렌즈(300)는, 액정(liquid crystal)을 포함할 수 있다. 가변 렌즈(300)는, 액적의 배열 상태에 따라, 이미지 센서(214)에 유입되는 광을 변경시킬 수 있다. 예를 들면, 가변 렌즈(300)는, 가변 렌즈(300)를 거쳐 이미지 센서(214)에 유입되는 광의 경로를 변경시켜, 초점 거리를 변경시킬 수 있다.
가변 렌즈(300)는, 프로세서(470)의 제어를 받을 수 있다.
가변 렌즈(300)는, 도 1 내지 도 19를 참조하여 설명한 바와 같다.
액추에이터(401)는, 가변 렌즈(300) 또는 이미지 센서(214)의 이동을 위한 구동력을 제공할 수 있다. 액추에이터(401)는, 모터를 포함할 수 있다.
액추에이터(401)는, 가변 렌즈(300)의 슬라이딩 이동 또는 회전 이동을 위한 구동력을 제공할 수 있다. 액추에이터(401)에서 생성된 구동력은 구동력 전달부를 거쳐 가변 렌즈(300)에 제공될 수 있다.
예를 들면, 가변 렌즈(300)는, 액추에이터(401)로부터 구동력을 제공 받아, 좌우 방향(또는 전폭 방향), 전후 방향(또는 전장 방향), 상하 방향(또는 전고 방향)으로 슬라이딩 이동할 수 있다.
예를 들면, 가변 렌즈(300)는, 액추에이터(401)로부터 구동력을 제공 받아, 회전 이동할 수 있다.
한편, 실시예에 따라, 액추에이터(401)는, 이미지 센서(214)에 슬라이딩 이동을 위한 구동력을 제공할 수 있다. 액추에이터(401)에서 생성된 구동력은 구동력 전달부를 거쳐 이미지 센서(214)에 제공될 수 있다.
예를 들면, 이미지 센서(214)는, 액추에이터(401)로부터 구동력을 제공 받아, 전후 방향(또는, 전장 방향)으로 슬라이딩 이동할 수 있다.
실시예에 따라, 차량용 카메라(200)는, 스테레오 카메라(도 6 내지 도 8의 200b)일 수 있다.
차량용 카메라(200)가 스테레오 카메라(200b)인 경우, 차량용 카메라(200)는, 제1 카메라, 제2 카메라 및 프로세서(470)를 포함할 수 있다.
제1 카메라는 제1 영상을 획득할 수 있다.
제1 카메라는, 제1 이미지 센서(도 6 내지 도 8의 214a) 및 좌측 가변 렌즈(도 6 내지 도 8의 300L)를 포함할 수 있다.
좌측 가변 렌즈(300L)는 제1 액정층을 포함하고, 인가되는 전압에 기초한 제1 액정층에 포함된 액정 분자들의 배열 상태에 따라, 제1 이미지 센서(214a)에 유입되는 광을 변경시킬 수 있다. 좌측 가변 렌즈(300L)는 제1 가변 렌즈로 명명될 수 있다.
제2 카메라는 제2 영상을 획득할 수 있다.
제2 카메라는, 제2 이미지 센서(도 6 내지 도 8의 214b) 및 우측 가변 렌즈(도 6 내지 도 8의 300R)를 포함할 수 있다.
우측 가변 렌즈(300R)는 제2 액정층을 포함하고, 인가되는 전압에 기초한 제2 액정층에 포함된 액정 분자들의 배열 상태에 따라, 제2 이미지 센서(214b)에 유입되는 광을 변경시킬 수 있다. 좌측 가변 렌즈(300R)는 제2 가변 렌즈로 명명될 수 있다.
인터페이스부(430)는, 각종 신호, 정보 또는 데이터를 수신할 수 있다. 인터페이스부(430)는, 프로세서(470)에서 처리 또는 생성된 신호, 정보 또는 데이터를 외부로 전송할 수 있다.
이를 위해, 인터페이스부(430)는, 유선 통신 또는 무선 통신 방식에 의해, 차량 내부의 제어부(170), 차량용 디스플레이 장치(141), 센싱부(125), 차량 구동부(150) 등과 데이터 통신을 수행할 수 있다.
인터페이스부(430)는, 주행 정보를 수신할 수 있다. 여기서, 주행 정보는, 속도 정보, 차량의 조향 정보, 턴 시그널 정보, 기 설정된 경로 정보를 포함할 수 있다.
인터페이스부(430)는, 제어부(170) 또는 센싱부(125)로부터, 센서 정보를 수신할 수 있다.
여기서, 센서 정보는, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량의 조향 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보(예를 들면, 턴 시그널 정보), 차량 내부 온도 정보, 차량 내부 습도 정보, 비가 오는지에 대한 정보 중 적어도 하나를 포함할 수 있다.
이러한 센서 정보는, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 휠 센서(wheel sensor), 차량 속도 센서, 조향각 센서, 차체 경사 감지센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 레인 센서 등으로부터 획득될 수 있다. 한편, 포지션 모듈은, GPS 정보 수신을 위한 GPS 모듈을 포함할 수 있다.
인터페이스부(430)는, 제어부(170), 차량용 디스플레이 장치(141) 또는 별도의 내비게이션 장치와의 데이터 통신에 의해, 내비게이션 정보를 수신할 수 있다. 여기서, 내비게이션 정보는 설정된 목적지 정보, 상기 목적지 설정 따른 경로 정보, 차량 주행과 관련한, 맵(map) 정보, 차량의 현재 위치 정보를 포함할 수 있다. 한편, 내비게이션 정보는 도로상에서 차량의 위치 정보를 포함할 수 있다.
인터페이스부(430)는, 제어부(170) 또는 차량 구동부(150)에, 신호를 제공할 수 있다. 여기서, 신호는 제어 신호일 수 있다.
예를 들면, 인터페이스부(430)는, 동력원을 제어하는 동력원 구동부(151)와 통신할 수 있다. 인터페이스부(430)는, 프로세서(470)에서 생성된 신호를 동력원 구동부(151)에 제공할 수 있다.
예를 들면, 인터페이스부(430)는, 브레이크 장치를 제어하는 브레이크 구동부(153)와 통신할 수 있다. 인터페이스부(430)는, 프로세서(470)에서 생성된 신호를 브레이크 구동부(153)에 제공할 수 있다.
예를 들면, 인터페이스부(430)는, 조향 장치를 제어하는 조향 구동부(152)와 통신할 수 있다. 인터페이스부(430)는, 프로세서(470)에서 생성된 신호를 조향 구동부(152)에 제공할 수 있다.
메모리(440)는, 프로세서(470)의 처리 또는 제어를 위한 프로그램 등, 차량 운전 보조 장치(400) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
메모리(440)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(440)는, 실시예에 따라, 프로세서(470)의 하위 구성으로 포함될 수 있다.
프로세서(470)는, 차량 운전 보조 장치(400)의 각 유닛과 전기적으로 연결될 수 있다.
프로세서(470)는, 차량 운전 보조 장치(400) 내의 각 유닛의 전반적인 동작을 제어할 수 있다.
프로세서(470)는, 차량용 카메라(200)를 통해 획득된 영상을 처리할 수 있다.
프로세서(470)는, 가변 렌즈에 포함된 구동부(도 13의 1310)를 제어하여, 액정층(도 12의 1230)에 포함된 액정 분자(도 12의 1231)들의 배열 상태를 제어하여, 가변 렌즈(300)의 초점 거리를 변경시킬 수 있다.
프로세서(470)는, 인터페이스부(430)를 통해, 주행 정보를 수신할 수 있다. 프로세서(470)는, 수신된 주행 정보를 기초로, 가변 렌즈(300)의 초점 거리를 변경시킬 수 있다.
주행 정보는, 주행 속도 정보를 포함할 수 있다. 프로세서(470)는, 인터페이스부(430)를 통해, 차량의 제어부(도 2의 170) 또는 센싱부(도 2의 125)로부터 주행 속도 정보를 수신할 수 있다. 센싱부(도 2의 125)는, 차량 속도 센서를 포함할 수 있다.
프로세서(470)는, 주행 속도 정보를 기초로, 가변 렌즈(300)의 초점 거리를 변경시킬 수 있다.
프로세서(470)는, 주행 속도가 점점 커질수록, 가변 렌즈(300)의 초점 거리를 점점 길게 변경시킬 수 있다. 초점 거리가 점점 길어지는 경우, 차량용 카메라(200)의 FOV가 점점 좁아져, 점점 원거리 촬영에 적합해진다. 이경우, 차량용 카메라(200)는 망원 카메라로 이용될 수 있다. 주행 속도가 점점 커짐에 따라, 근거리 보다 원거리에 초점을 두어 주행을 함으로써, 발생되는 상황에 적절한 대처가 가능하다.
프로세서(470)는, 주행 속도가 점점 작아질수록, 가변 렌즈(300)의 초점 거리를 점점 짧게 변경시킬 수 있다. 초점 거리가 점점 짧아지는 경우, 차량용 카메라(200)의 FOV가 점점 넓어져, 점점 근거리 촬영에 적합해진다. 이경우, 차량용 카메라(200)는 광각 카메라로 이용될 수 있다. 주행 속도가 점점 작아짐에 따라, 원거리보다 넓은 시야각을 가진 근거리에 초점을 두어 주행을 함으로써, 발생되는 상황에 적절한 대처가 가능하다.
프로세서(470)는, 인터페이스부(430)를 통해, 차량의 조향 정보 또는 턴 시그널 정보를 수신할 수 있다. 프로세서(470)는, 수신된 조향 정보 또는 턴 시그널 정보를 기초로, 가변 렌즈(300)의 초점 거리를 변경시킬 수 있다.
주행 정보는, 차량의 조향 정보 또는 턴 시그널 정보를 포함할 수 있다. 프로세서(470)는, 인터페이스부(430)를 통해, 차량의 제어부(도 2의 170) 또는 센싱부(도 2의 125)로부터 차량의 조향 정보 또는 턴 시그널 정보를 수신할 수 있다.
한편, 센싱부(도 2의 125)는, 조향 센서를 포함할 수 있다. 조향 장치를 통해 조향이 입력되는 경우, 조향 센서는 조향 정보를 생성할 수 있다. 프로세서(470)는, 인터페이스부(430)를 통해, 생성된 조향 정보를 수신할 수 있다.
한편, 턴 시그널 입력 장치를 통해, 턴 시그널 입력이 수신되는 경우, 프로세서(470)는, 인터페이스부(430)를 통해, 턴 시그널 정보를 수신할 수 있다.
프로세서(470)는, 조향 정보로, 주행 방향의 좌측 또는 우측으로 기준값 이상의 조향값이 수신되는 경우, 가변 렌즈의 초점 거리를 짧게 변경시킬 수 있다.
보행자 충돌 사고는, 차량(100)이 좌회전 또는 우회전을 하는 경우, 많은 빈도로 발생한다. 차량(100)이 좌회전 또는 우회전하는 경우, 운전자는 새로운 환경에 접하고 짧은 시간에 미처 많은 정보를 얻기 힘들기 때문이다. 이러한 상황에서, 가변 렌즈(300)의 초점 거리를 짧게 변경시키고, 차량용 카메라(200)의 FOV를 넓혀, 차량용 카메라(200)는 광각 카메라로 이용될 수 있다. 차량용 카메라(200)가 광각 카메라로 이용됨에 따라, 근거리에 위치한 더 많은 오브젝트 정보를 획득하고, 사고를 방지하는 효과가 있다.
프로세서(470)는, 인터페이스부(430)를 통해, 차량의 기 설정된 경로 정보를 수신할 수 있다. 프로세서(470)는, 수신된 경로 정보를 기초로 가변 렌즈(300)의 초점 거리를 변경시킬 수 있다.
주행 정보는, 차량의 기 설정된 경로 정보를 포함할 수 있다. 프로세서(470)는, 인터페이스부(430)를 통해, 차량용 디스플레이 장치(141) 또는 별도의 내비게이션 장치로부터 차량의 기 설정 경로 정보를 수신할 수 있다.
차량(100)은, 기 설정 경로 정보를 기초로 주행 속도, 조향, 가속 또는 감속이 제어될 수 있다. 특히, 차량(100)이 자율 주행 차량인 경우, 차량(100)은 기 설정 경로 정보를 기초로 주행될 수 있다. 프로세서(470)는, 기 설정 경로 정보에 기초하여, 가변 렌즈(300)의 초점 거리를 변경시킴으로써, 차량(100) 주행에 적절한 정보를 획득하고, 획득된 정보를 차량(100) 또는 운전자에게 제공할 수 있다.
프로세서(470)는, 인터페이스부(430)를 통해, V2X 정보를 수신할 수 있다. 프로세서(470)는, V2X 정보를 기초로 가변 렌즈의 초점 거리를 변경시킬 수 있다.
V2X 정보는, V2X 통신 모듈(116)을 통해 수신되는 차량(100) 주변 상황 정보일 수 있다. 차량(100)은, V2X 정보를 기초로 주행 속도, 조향, 가속 또는 감속이 제어될 수 있다. 특히, 차량(100)이 자율 주행 차량인 경우, 차량(100)은 V2X 정보에 기초하여 주행될 수 있다. 프로세서(470)는, V2X 정보에 기초하여, 가변 렌즈의 초점 거리를 변경시킴으로써, 차량(100) 주행에 적절한 정보를 획득하고, 획득된 정보를 차량(100) 또는 운전자에게 제공할 수 있다.
프로세서(470)는, 입력부(420)를 통해, 입력 신호를 수신할 수 있다. 프로세서(470)는, 수신되는 입력 신호를 기초로, 가변 렌즈(300)의 초점 거리를 변경시킬 수 있다.
프로세서(470)는, 입력부(420)를 통해 수신되는 입력 신호에 따라, 차량 운전 보조 시스템의 온(on)/오프(off) 제어를 수행할 수 있다. 프로세서(470)는, 입력 신호에 따라, 온(on) 상태인 차량 운전 보조 시스템에 적합하게 가변 렌즈(300)의 초점 거리를 변경시킬 수 있다.
차량 운전 보조 시스템(ADAS : Advanced Driver Assistance System)은, 자동 비상 제동 시스템(이하, AEB : Autonomous Emergency Braking), 적응 순향 제어 시스템 (이하, ACC : Adaptive Cruise Control), 측방 접근차량 경고 시스템 (이하, CTA : Cross Traffic Alert), 차선 변경 보조 시스템 (이하, LCA : Lane Change Assistant), 전방 충돌 회피 시스템 (이하, FCW : Foward Collision Warning), 차선 이탈 경고 시스템 (이하, LDW : Lane Departure Warning), 차선 유지 보조 시스템 (이하, LKA : Lane Keeping Assist), 속도 지원 시스템 시스템 (이하, SAS : Speed Assist System), 교통 신호 검출 시스템 (TSR : Traffic Sign Recognition), 적응형 상향등 제어 시스템 (이하, HBA : High Beam Assist), 사각 지대 감시 시스템 (이하, BSD : Blind Spot Detection), 자동 비상 조향 시스템 (이하, AES : Autonomous Emergency Steering), 커브 속도 경고 시스템 시스템 (이하, CSWS : Curve Speed Warning System), 스마트 주차 시스템 시스템 (이하, SPAS : Smart Parking Assist System), 교통 정체 지원 시스템 (이하, TJA : Traffic Jam Assist) 및 어라운드 뷰 모니터 시스템 (이하, AVM : Around View Monitor)을 포함할 수 있다.
예를 들면, ACC, SAS, CSWS는 비교적 원거리에 위치해 있는 오브젝트에 대한 정보가 요구된다. ACC, SAS 또는 CSWS 기능 온(on)을 위한 입력 신호가 수신되는 경우, 프로세서(470)는, 가변 렌즈(300)의 초점 거리가 길어지도록 변경시킬 수 있다.
예를 들면, CTA, AEB, FCW, TSR, HBA, BSD, AES, TJA는 비교적 근거리에 위치해 있는 오브젝트에 대한 정보가 요구된다. CTA, AEB, FCW, TSR, HBA, BSD, AES 또는 TJA 기능 온(on)을 위한 입력 신호가 수신되는 경우, 프로세서(470)는, 가변 렌즈(300)의 초점 거리가 짧아지도록 변경시킬 수 있다.
프로세서(470)는, 차량용 카메라(200)를 통해 획득한 영상에서 오브젝트를 검출할 수 있다. 프로세서(470)는, 검출된 오브젝트를 기초로, 가변 렌즈(300)의 초점 거리를 변경시킬 수 있다.
프로세서(470)는, 오브젝트와의 거리 또는 오브젝트의 위치를 기초로 가변 렌즈(300)의 초점 거리를 변경시킬 수 있다.
프로세서(470)는, 오브젝트(2925)를 중심으로 영상이 촬영될 수 있도록 초점 거리를 변경시킬 수 있다.
프로세서(470)는, 획득된 영상을 기초로 오브젝트와의 거리를 산출할 수 있다. 오브젝트와의 거리 산출 동작은 도 20a 내지 도 20c를 참조하여 설명한다.
프로세서(470)는, 획득된 영상을 기초로 오브젝트의 위치를 산출할 수 있다. 예를 들면, 프로세서(470)는, 영상에서 오브젝트의 위치에 대응하는 픽셀을 기초로, 차량(100)과 오브젝트의 상대 위치를 산출할 수 있다.
프로세서(470)는, 오브젝트와의 거리가 점점 멀어질수록 가변 렌즈(300)의 초점 거리를 점점 길게 변경시킬 수 있다.
프로세서(470)는, 오브젝트를 검출하고, 검출된 오브젝트를 트래킹할 수 있다. 프로세서(470)는, 오브젝트와의 거리가 점점 멀어지는 경우, 오브젝트 트래킹을 위해, 가변 렌즈(300)의 초점 거리를 점점 길게 변경시킬 수 있다. 이와 같이, 가변 렌즈(300)의 초점 거리를 조정함에 따라, 오브젝트 트래킹을 유지할 수 있다.
프로세서(470)는, 오브젝트와의 거리가 점점 가까워질수록 가변 렌즈(300)의 초점 거리를 점점 짧게 변경시킬 수 있다.
프로세서(470)는, 오브젝트를 검출하고, 검출된 오브젝트를 트래킹할 수 있다. 프로세서(470)는, 오브젝트와의 거리가 점점 가까워지는 경우, 오브젝트 트래킹을 위해, 가변 렌즈(300)의 초점 거리를 점점 짧게 변경시킬 수 있다. 이와 같이, 가변 렌즈(300)의 초점 거리를 조정함에 따라, 오브젝트 트래킹을 유지할 수 있다.
프로세서(470)는, 오브젝트의 위치 정보를 기초로, 영상의 ROI(Region of Interest)변경할 수 있다.
예를 들면, 영상에서 오브젝트가 검출되는 경우, 프로세서(470)는 검출된 오브젝트가 선명하게 표시될 수 있도록, 영상의 ROI를 변경할 수 있다. 구체적으로, 프로세서(470)는, 검출된 오브젝트가 포커스 온(fucus on)되도록 가변 렌즈(300)의 초점 거리를 조정할 수 있다.
프로세서(470)는 가변되는 가변 렌즈(300)의 초점 거리에 대응하여, 액추에이터(401)를 제어를 통해, 가변 렌즈(300)와 이미지 센서(214) 사이의 거리를 조절할 수 있다.
예를 들면, 가변 렌즈(300)의 초점 거리가 길어지는 경우, 프로세서(470)는, 액추에이터(401) 제어를 통해, 가변 렌즈(300)를 전후 방향(또는, 전장 방향)으로 이동 시켜, 가변 렌즈(300)와 이미지 센서(214)와의 거리가 길어지도록 제어할 수 있다.
예를 들면, 가변 렌즈(300)의 초점 거리가 짧아지는 경우, 프로세서(470)는, 액추에이터(401) 제어를 통해, 가변 렌즈(300)를 전후 방향(또는, 전장 방향)으로 이동 시켜, 가변 렌즈(300)와 이미지 센서(214)와의 거리가 짧아지도록 제어할 수 있다.
실시예에 따라, 프로세서(470)는, 이미지 센서(214)를 이동 시켜, 가변 렌즈(300)와 이미지 센서(214) 사이의 거리를 조절할 수도 있다.
이와 같이, 가변 렌즈(300)와 이미지 센서(214) 사이의 거리를 조절함에 따라 영상에 생성되는 블러(Blur) 현상을 방지할 수 있다.
프로세서(470)는, 오브젝트로 교차로를 검출할 수 있다. 오브젝트로 교차로가 검출되는 경우, 프로세서(470)는, 가변 렌즈(300)의 초점 거리를 짧게 변경시킬 수 있다.
교차로에서 주행 중인 경우, 주행 방향외에 주행 방향과 교차되는 방향에 위치하는 오브젝트(예를 들면, 타 차량)도 주의하여야 한다. 교차로에서, 신호 위반을 하는 차량, 보행자 등을 검출하기 위해, 보다 넓은 FOV의 영상이 요구된다. 이와같이, 교차로 검출시 가변 렌즈(300) 초점 거리를 짧게 변경시켜 넓은 FOV의 영상을 획득하고, 넓은 범위에서 오브젝트를 검출함으로써 교차로 사고를 방지하는 효과가 도출될 수 있다.
차량용 카메라(200)가 스테레오 카메라(200b)인 경우, 차량용 카메라(200)는, 제1 카메라, 제2 카메라 및 프로세서(470)를 포함할 수 있다.
프로세서(470)는, 제1 액정층에 포함된 액정 분자들의 배열 상태를 제어하여, 좌측 가변 렌즈(300L)의 초점 거리를 변경시킬 수 있다. 또한, 프로세서(470)는, 제2 액정층에 포함된 액정 분자들의 배열 상태를 제어하여, 우측 가변 렌즈(300R)의 초점 거리를 변경시킬 수 있다.
프로세서(470)는, 좌측 가변 렌즈(300L)의 초점 거리 및 우측 가변 렌즈(300R)의 초점 거리를 서로 다르게 변경시킬 수 있다.
예를 들면, 프로세서(470)는, 좌측 가변 렌즈(300L)의 초점 거리를 길게 변경시켜, 제1 카메라가 원거리용 카메라로 이용될 수 있다. 또한, 프로세서(470)는, 우측 가변 렌즈(300R)의 초점 거리를 짧게 변경시켜, 제2 카메라가 근거리용 카메라로 이용될 수 있다.
프로세서(470)는, 제1 카메라를 통해 획득한 제1 영상을 처리하고, 제2 카메라를 통해 획득한 제2 영상을 처리할 수 있다. 이때, 제1 카메라와 제2 카메라의 초점 거리는 서로 다를 수 있다.
프로세서(470)는, 제1 영상을 비닝(binning) 처리할 수 있다. 프로세서(470)는, 제2 영상을 크로핑(cropping) 처리할 수 있다.
프로세서(470)는, 비닝 처리된 제1 영상과 크로핑 처리된 제2 영상을 기초로 스테레오 영상을 획득할 수 있다.
프로세서(470)는 획득된 스테레오 영상에 기초하여, 디스패러티(disparity) 연산을 수행할 수 있다.
프로세서(470)는, 제1 영상을 기초로 오브젝트를 검출할 수 있다. 프로세서(470)는, 검출된 오브젝트를 기초로, 좌측 가변 렌즈(300L) 또는 우측 가변 렌즈(300R)의 초점 거리를 변경시킬 수 있다. 예를 들면, 프로세서(470)는, 오브젝트에 포커스 온(focus on)되게, 초점 거리가 일치되도록 좌측 가변 렌즈(300L) 및 우측 가변 렌즈(300R)의 초점 거리를 변경시킬 수 있다.
프로세서(470)는, 초점 거리가 변경된 상태에서 획득된 제1 영상 및 제2 영상을 기초로 스테레오 영상을 획득할 수 있다.
통신부(410)는, 차량(100) 내부 또는 외부에 위치하는 타 디바이스와 무선(wireless) 방식으로, 데이터를 교환할 수 있다. 여기서, 타 디바이스는, 이동 단말기, 서버 또는 타 차량을 포함할 수 있다.
예를 들면, 통신부(410)는, 차량 운전자의 이동 단말기와, 무선으로 데이터를 교환할 수 있다. 무선 데이터 통신 방식으로는, 블루투스(Bluetooth), WiFi Direct, WiFi, APiX, NFC 등 다양한 데이터 통신 방식이 가능하다.
예를 들면, 통신부(410)는, 이동 단말기 또는 서버로부터, 날씨 정보, 도로의 교통 상황 정보, 예를 들면, TPEG(Transport Protocol Expert Group) 정보를 수신할 수 있다.
한편, 사용자가 차량에 탑승한 경우, 사용자의 이동 단말기와 차량 운전 보조 장치(200)는, 자동으로 또는 사용자의 애플리케이션 실행에 의해, 서로 페어링(pairing)을 수행할 수 있다.
통신부(410)는 외부 서버로부터 신호등 변경 정보를 수신할 수 있다. 여기서, 외부 서버는 교통을 관제하는 교통 관제소에 위치하는 서버일 수 있다.
입력부(420)는, 사용자 입력을 수신할 수 있다. 입력부(420)는, 기계식 입력 장치, 터치식 입력 장치, 음성 입력 장치 또는 무선 입력 장치를 포함할 수 있다.
기계식 입력 장치는, 버튼, 레버, 조그휠, 스위치 등을 포함할 수 있다.
터치식 입력 장치는, 적어도 하나의 터치 센서를 포함할 수 있다. 터치 입력 장치는 터치 스크린으로 구성될 수 있다.
음성 입력 장치는, 사용자의 음성을 전기적 신호로 전환하는 마이크를 포함할 수 있다.
무선 입력 장치는, 차량(100)의 외부에서 키를 이용해 입력되는 무선(wireless) 형태의 사용자 입력을 수신할 수 있다.
입력부(420)는, 차량(100)에 포함된 도어의 열림 (open) 또는 닫힘(close)을 위한 사용자 입력을 수신할 수 있다.
출력부(450)는, 프로세서(470) 제어에 따라, 프로세서(470)에 처리된 데이터 또는 정보를 출력할 수 있다.
출력부(450)는, 디스플레이부(451) 및 음향 출력부(452)를 포함할 수 있다.
디스플레이부(451)는, 프로세서(470)에서 처리된 정보를 표시할 수 있다. 디스플레이부(451)는 차량 운전 보조 장치(400)의 동작과 관련한 이미지를 표시할 수 있다. 이러한 이미지 표시를 위해, 디스플레이부(451)는, 차량 내부 전면의 클러스터(cluster) 또는 HUD(Head Up Display)를 포함할 수 있다. 한편, 디스플레이부(451)가 HUD 인 경우, 차량(100)의 프런트 윈드 쉴드(10) 또는 컴바이너에 이미지를 투사하는 투사 모듈을 포함할 수 있다.
음향 출력부(452)는, 프로세서(470)에서 처리된 오디오 신호에 기초하여 음향을 외부로 출력할 수 있다. 이를 위해, 음향 출력부(452)는, 적어도 하나의 스피커를 구비할 수 있다.
전원 공급부(490)는, 프로세서(470)의 제어에 의해, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 전원 공급부(490)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
도 20a 내지 도 21은 본 발명의 실시예에 따라 가변 렌즈를 통해 오브젝트와의 거리를 산출하는 동작을 설명하기 위해 가변 렌즈를 간략하게 도식화한 도면이다.
프로세서(470)는, 차량용 카메라(200)를 통해 획득한 영상에서 오브젝트를 검출할 수 있다. 프로세서(470)는, 초점 거리 변경에 따라 영상에서 검출되는 오브젝트를 트래킹할 수 있다. 프로세서(470)는, 가변 렌즈(300) 초점 거리 변경에 따른 오브젝트의 변화에 기초하여 오브젝트와의 거리를 산출할 수 있다.
예를 들면, 프로세서(470)는, 가변 렌즈(300) 초점 거리 변경에 따라 영상에 형성되는 오브젝트의 블러(Blur)를 기초로 오브젝트와의 거리를 산출할 수 있다.
예를 들면, 프로세서(470)는, 가변 렌즈(300) 초점 거리 변경에 따라 영상에서 오브젝트 크기의 변화를 기초로 오브젝트와의 거리를 산출할 수 있다.
예를 들면, 프로세서(470)는, 가변 렌즈(300) 초점 거리 변경에 따라 2개의 영상을 획득할 수 있다. 프로세서(470)는, 획득된 2개의 영상을 기초로 스테레오 이미지를 생성할 수 있다. 프로세서(470)는, 스테레오 이미지를 기초로 디스패러티 연산을 수행할 수 있다. 프로세서(470)는 디스패러티 연산을 기초로 오브젝트와의 거리를 산출할 수 있다.
도 20a는 가변 렌즈(300)의 초점 거리가 제1 상태인 경우를 예시하고, 도 20b는 가변 렌즈(300)의 초점 거리가 제2 상태인 경우를 예시한다. 특히, 도 20a 내지 도 20b는 가변 렌즈(300)가 이미지 센서(214)에 근접한 경우를 예시한다.
도 20a를 참조하면, 가변 렌즈(300)에는, 가우시안 렌즈 공식이 적용될 수 있다.
수학식 1
여기서, L는 가변 렌즈(300)에서부터 이미지 센서(214)까지의 거리, O는 가변 렌즈(300)에서부터 오브젝트(2010)까지의 거리, I는 가변 렌즈(300)를 통해 이미지가 맺히는 거리 임
프로세서(470)는, 가변 렌즈(300)에서부터 이미지 센서(214)까지의 거리(L) 및 가변 렌즈(300)를 통해 상이 맺히는 거리(I)를 기초로 가변 렌즈(300)에서부터 오브젝트(O)까지의 거리를 산출할 수 있다. 이러한 거리 검출 방식은 핀홀 모델(pinhole model) 방식으로 명명될 수 있다.
도 20b를 참조하면, 프로세서(470)의 제어에 따라, 가변 렌즈(300)의 초점 거리가 변하는 경우, 차량용 카메라(200)를 통해 획득되는 영상에서 오브젝트의 크기가 변할 수 있다.
이경우, 프로세서(470)는, 오브젝트의 크기 변화 및 가우시안 렌즈 공식을 이용하여 오브젝트와의 거리를 검출할 수 있다.
프로세서(470)는, 오브젝트 크기를 기초로, 가변 렌즈(300)를 통해 상이 맺히는 거리(I)를 산출하고, 가변 렌즈(300)와 이미지 센서(214) 사이의 거리(L)를 알고 있으므로, 가변 렌즈(300)와 오브젝트(2010) 사이의 거리(O)를 산출할 수 있다. 여기서, 가변 렌즈(300)와 오브젝트(2010) 사이의 거리가 차량(100)과 오브젝트(2010)와의 거리로 정의될 수 있다.
실시예에 따라, 프로세서(470)는, 가변 렌즈(300) 초점 변경에 따른 이미지 상의 블러(Blur)를 기초로 오브젝트와의 거리를 산출할 수 있다.
소정의 오브젝트(2010)에 따라 가변 렌즈(300)의 초점 거리가 맞춰진 상태에서, 프로세서(470)는, 가변 렌즈(300)의 초점 거리를 변경할 수 있다. 이경우, 차량용 카메라(200)를 통해 획득된 영상에서 오브젝트(2010)의 테두리에는 블러(Blur)가 발생될 수 있다. 여기서, 블러는 가우시안 형태를 가질 수 있다.
프로세서(470)는 가변 렌즈(300)의 초점 거리 변경에 따른, 블러(Blur)의 정도에 따라, 오브젝트와의 거리를 산출할 수 있다. 구체적으로, 프로세서(470)는, 가우시안 블러(Gaussian Blur) 측정으로 오브젝트와의 거리를 산출할 수 있다.
도 21은 디스패러티를 이용하여 오브젝트와의 거리를 산출하는 동작을 예시한다.
도 21을 참조하면, 프로세서(470)는, 가변 렌즈(300)의 초점 거리가 제1 상태(VLFL)가 되도록 변경시킬 수 있다. 예를 들면, 프로세서(470)는, 차량 전방 제1 거리에서 차량 주행 방향의 좌측으로 치우쳐진 상태로 포커스 온(focus on)되도록 가변 렌즈(300)의 초점 거리를 변경시킬 수 있다.
프로세서(470)는, 가변 렌즈(300) 초점 거리가 제1 상태(VLFL)인 경우, 제1 영상(IM 1)을 획득할 수 있다.
프로세서(470)는, 가변 렌즈(300)의 초점 거리가 제2 상태(VLFR)가 되도록 변경시킬 수 있다. 예를 들면, 프로세서(470)는, 차량 전방 제1 거리에서 차량 주행 방향의 우측으로 치우쳐진 상태로 포커스 온(focus on)되도록 가변 렌즈(300)의 초점 거리를 변경시킬 수 있다.
프로세서(470)는, 가변 렌즈(300) 초점 거리가 제2 상태(VLFR)인 경우, 제2 영상(IM 2)을 획득할 수 있다.
프로세서(470)는, 매우 짧은 시간 안에 제1 영상(IM 1)과 제2 영상(IM 2)을 획득할 수 있다. 즉, 프로세서(470)는, 거의 동시에 제1 영상(IM 1)과 제2 영상(IM 2)을 획득할 수 있다.
프로세서(470)는, 제1 영상(IM 1)과 제2 영상(IM 2)을 기초로 스테레오 영상(SIM)을 생성할 수 있다. 프로세서(470)는, 스테레오 영상(SIM)을 기초로 디스패러티 연산을 수행할 수 있다. 프로세서(470)는, 디스패러티 연산에 기초하여, 오브젝트와의 거리를 검출할 수 있다.
도 22는 본 발명의 실시예에 따른 차량 운전 보조 장치의 동작을 설명하는데 참조되는 플로우 차트이다.
도 23a 내지 도 23b는 본 발명의 실시예에 따라, 주행 속도를 기초로 가변 렌즈의 초점 거리를 변경시키는 동작을 설명하는데 참조되는 도면이다.
도 24는 본 발명의 실시예에 따라, 조향 정보 또는 턴시그널 정보를 기초로 가변 렌즈의 초점 거리를 변경시키는 동작을 설명하는데 참조되는 도면이다.
도 25는 본 발명의 실시예에 따라, 기 설정된 경로 정보를 기초로 가변 렌즈의 초점 거리를 변경시키는 동작을 설명하는데 참조되는 도면이다.
도 22를 참조하면, 프로세서(470)는, 인터페이스부(430)를 통해, 주행 정보를 수신할 수 있다(S2210).
주행 정보는 주행 속도 정보, 조향 정보, 턴 시그널 정보, 기 설정된 경로 정보를 포함할 수 있다.
차량(100)의 센싱부(125)는, 차량 속도 센서를 포함할 수 있다. 차량 속도 센서는 주행 속도 정보를 생성할 수 있다. 프로세서(470)는, 인터페이스부(430)를 통해, 차량의 제어부(도 2의 170) 또는 센싱부(도 2의 125)로부터, 주행 속도 정보를 수신할 수 있다.
차량(100)의 센싱부(125)는, 조향 센서를 포함할 수 있다. 조향 장치를 통해 조향이 입력되는 경우, 조향 센서는 조향 정보를 생성할 수 있다. 프로세서(470)는, 인터페이스부(430)를 통해, 차량의 제어부(도 2의 170) 또는 센싱부(도 2의 125)로부터, 조향 정보를 수신할 수 있다.
차량(100)은, 입력부(도 2의 120)를 통해, 턴 시그널 입력을 수신할 수 있다. 프로세서(470)는, 인터페이스부(430)를 통해, 차량의 입력부(도 2의 120), 제어부(도 2의 170) 또는 램프 구동부(도 2의 154)로부터 턴 시그널 정보를 수신할 수 있다.
프로세서(470)는, 인터페이스부(430)를 통해, 차량용 디스플레이 장치(141) 또는 내비게이션 장치로부터 차량의 기 설정 경로 정보를 수신할 수 있다. 차량의 기 설정 경로 정보는, 차량용 디스플레이 장치(141)의 메모리 또는 내비게이션 장치의 메모리에 저장될 수 있다.
프로세서(470)는, 주행 정보를 기초로 가변 렌즈(300)의 초점 거리를 변경시킬 수 있다(S2220).
프로세서(470)는, 주행 속도를 기초로 가변 렌즈(300)의 초점 거리를 변경시킬 수 있다.
예를 들면, 프로세서(470)는, 주행 속도에 비례하여 가변 렌즈(300)의 초점 거리를 변경시킬 수 있다.
예를 들면, 프로세서(470)는, 주행 속도의 변화에 대응하여 가변 렌즈(300)의 초점 거리를 변경시킬 수 있다.
도 23a에 예시된 바와 같이, 프로세서(470)는, 주행 속도가 점점 커질수록, 가변 렌즈(300)의 초점 거리를 점점 길게 변경시킬 수 있다.
지시 부호 2310은, 차량(100)이 시속 30km로 주행하는 경우, 주행 속도에 따라 변경된 가변 렌즈(300)의 초점 거리에 의해, 차량용 카메라(200)를 통해 획득된 이미지를 예시한다.
또한, 지시 부호 2320은, 차량(100)이 시속 110km로 주행하는 경우, 주행 속도에 따라 변경된 가변 렌즈(300)의 초점 거리에 의해, 차량용 카메라(200)를 통해 획득된 이미지를 예시한다.
차량(100)이 시속 30km로 주행하다가, 속도가 점점 커져 110km로 주행하는 경우, 프로세서(470)는, 주행 속도의 변화에 대응하여 가변 렌즈(300)의 초점 거리를 점차적으로 길게 변경시킬 수 있다.
초점 거리가 길어지는 경우, 차량용 카메라(200)는, 화각이 좁아지는 대신, 원거리에 위치하는 오브젝트도 검출할 수 있다. 일반적으로 고속 주행의 경우, 원거리에 위치한 오브젝트 정보가 유용하게 활용될 수 있다.
도 23b에 예시된 바와 같이, 프로세서(470)는, 주행 속도가 점점 작아질수록, 가변 렌즈(300)의 초점 거리를 점점 짧게 변경시킬 수 있다.
지시 부호 2330은, 차량(100)이 시속 110km로 주행하는 경우, 주행 속도에 따라 변경된 가변 렌즈(300)의 초점 거리에 의해, 차량용 카메라(200)를 통해 획득된 이미지를 예시한다.
또한, 지시 부호 2340은, 차량(100)이 시속 30km로 주행하는 경우, 주행 속도에 따라 변경된 가변 렌즈(300)의 초점 거리에 의해, 차량용 카메라(200)를 통해 획득된 이미지를 예시한다.
차량(100)이 시속 110km로 주행하다가, 속도가 점점 작아져 30km로 주행하는 경우, 프로세서(470)는, 주행 속도의 변화에 대응하여 가변 렌즈(300)의 초점 거리를 점차적으로 짧게 변경시킬 수 있다.
초점 거리가 짧아지는 경우, 차량용 카메라(200)는 원거리에 위치하는 오브젝트를 검출하기 어려운 대신, 화각이 넓어진다. 일반적으로 저속 주행의 경우, 보다 넓은 범위에서 검출된 오브젝트 정보가 유용하게 활용될 수 있다.
프로세서(470)는, 조향 정보 또는 턴 시그널 정보를 기초로, 가변 렌즈(300)의 초점 거리를 변경할 수 있다.
프로세서(470)는, 조향 정보로, 주행 방향의 좌측 또는 우측으로 기준값 이상의 조향값이 수신되는 경우, 가변 렌즈의 초점 거리를 짧게 변경시킬 수 있다.
도 24에 예시된 바와 같이, 차량(100)이 우회전 또는 좌회전하는 경우, 넓은 시야에서 오브젝트를 검출해야, 사고를 미리 예방할 수 있다. 저속으로, 우회전 또는 좌회전 직후, 운전자는 기존 주행 경로와 다른 새로운 환경을 맞이하므로, 차량(100)의 근거리 범위내에서 보다 많은 오브젝트 정보를 제공해야 한다.
지시 부호 2410은, 우회전 직전에 차량용 카메라(200)를 통해 획득된 이미지를 예시한다.
지시 보호 2420은, 우회전 직후, 조향 정보 또는 턴 시그널 정보에 따라 변경된 가변 렌즈(300)의 초점 거리에 의해, 차량용 카메라(200)를 통해 획득된 이미지를 예시한다.
차량(100)이 우회전 또는 좌회전하는 경우, 프로세서(470)는, 가변 렌즈(300)의 초점 거리를 짧게 변경시킬 수 있다.
프로세서(470)는, 기 설정된 경로 정보를 기초로 가변 렌즈(300)의 초점 거리를 변경시킬 수 있다.
경로 정보에는, 차량(100)의 고속 주행 경로(예를 들면, 고속도로 주행의 경우) 또는 저속 주행 경로(예를 들면, 시내 주행의 경우)에 대한 정보가 포함될 수 있다. 경로 정보에는, 차량(100)의 우회전 경로 또는 좌회전 경로 정보가 포함될 수 있다.
프로세서(470)는, 고속 주행 경로, 저속 주행 경로, 우회전 경로 또는 좌회전 경로 정보를 기초로 가변 렌즈(300)의 초점 거리를 변경시킬 수 있다.
도 25에 예시된 바와 같이, 기 설정된 경로 정보에 좌회전(2505) 또는 우회전 경로 정보가 포함되고, 차량이 좌회전(2505) 또는 우회전 경로를 따라 차량(100)이 주행하는 경우, 프로세서(470)는, 가변 렌즈(300)의 초점 거리를 짧게 변경시킬 수 있다.
지시 부호 2510은, 경로 정보에 따른 주행 중, 좌회전 경로(2505) 진입 직전에 차량용 카메라(200)를 통해 획득된 이미지를 예시한다.
지시 부호 2520은, 경로 정보에 따른 주행 중, 좌회전 경로(2505) 진입 직후에 차량용 카메라(200)를 통해 획득된 이미지를 예시한다.
또는, 기 설정된 경로 정보에 따라, 차량(100)이 고속 도로에서 저속 도로로 진입하는 경우, 프로세서(470)는, 가변 렌즈(300)의 초점 거리를 짧게 변경시킬 수 있다.
또는, 기 설정된 경로 정보에 따라, 차량(100)이 저속 도로에서 고속 도로로 진입하는 경우, 프로세서(470)는, 가변 렌즈(300)의 초점 거리를 길게 변경시킬 수 있다.
또는, 기 설정된 경로 정보에 따라, 차량이 커브 구간에 진입하는 경우, 프로세서(470)는, 직선 구간 주행의 경우보다 가변 렌즈(300)의 초점 거리를 짧게 변경시킬 수 있다.
이와 같이, 기 설정된 경로 정보에 따라, 가변 렌즈(300)의 초점 거리를 변경시킴으로써, 운전자 또는 차량에 상황에 적절한 정보를 제공하여, 사고를 방지하는 효과가 있다.
도 26은 본 발명의 실시예에 따른 차량 운전 보조 장치의 동작을 설명하는데 참조되는 플로우 차트이다.
도 27은 본 발명의 실시예에 따라, 입력 신호를 기초로 가변 렌즈의 초점 거리를 변경시키는 동작을 설명하는데 참조되는 도면이다.
도 26을 참조하면, 프로세서(470)는, 입력부(420)를 통해, 입력 신호를 수신할 수 있다(S2610).
차량 운전 보조 장치(400)는, 다양한 차량 운전 보조 시스템(ADAS : Advanced Driver Assistance System)의 기능을 제공할 수 있다. ADAS 기능 중 전부 또는 일부는, 입력부(420)를 통해 수신되는 사용자 입력에 따라 온(on) 또는 오프(off) 될 수 있다.
프로세서(470)는, 수신되는 입력 신호를 기초로 가변 렌즈(300)의 초점 거리를 변화시킬 수 있다(S2620).
도 27에 예시된 바와 같이, 차량 운전 보조 장치(400)는 입력부(420)를 구비할 수 있다. 차량 운전 보조 장치(400)는, 입력부(420)를 통해, ADAS 기능의 온(on)/오프(off) 입력을 수신할 수 있다.
지시 부호 2710은, 입력부(420)를 통해, ACC, SAS 또는 CSWS 기능 온(on)을 위한 입력 신호가 수신되는 경우, 프로세서(470)의 제어에 따라, 가변 렌즈(300)의 초점 거리가 길어질때, 차량용 카메라(200)를 통해, 획득된 이미지를 예시한다.
지시 부호 2720은, 입력부(420)를 통해, CTA, AEB, FCW, TSR, HBA, BSD, AES, TJA 기능 온(on)을 위한 입력 신호가 수신되는 경우, 프로세서(470)의 제어에 따라, 가변 렌즈(300)의 초점 거리가 짧아질때, 차량용 카메라(200)를 통해, 획득된 이미지를 예시한다.
도 28은 본 발명의 실시예에 따른 차량 운전 보조 장치의 동작을 설명하는데 참조되는 플로우 차트이다.
도 29는 본 발명의 실시예에 따라, 오브젝트와의 거리를 기초로 가변 렌즈의 초점 거리를 변경시키는 동작을 설명하는데 참조되는 도면이다.
도 30은 본 발명의 실시예에 따라, 오브젝트의 위치를 기초로 가변 렌즈의 초점 거리를 변경시키는 동작을 설명하는데 참조되는 도면이다.
도 31은 본 발명의 실시예에 따라, 오브젝트로 교차로가 검출되는 경우, 가변 렌즈의 초점 거리를 변경시키는 동작을 설명하는데 참조되는 도면이다.
도 28을 참조하면, 프로세서(470)는, 차량용 카메라(200)가 촬영한 영상을 수신할 수 있다(S2810). 여기서, 영상은, 모노 카메라로 촬영한 영상 또는 스테레오 카메라로 촬영한 영상일 수 있다.
프로세서(470)는, 수신된 영상을 기초로 오브젝트를 검출할 수 있다(S2820). 프로세서(470)는, 오브젝트로, 차선(Lane Detection), 타 차량(Vehicle Detection), 보행자(Pedestrian Detection), 불빛(Brightspot Detection) 교통 신호(Traffic Sign Recognition), 도로면(Road Surface Detection)를 검출할 수 있다.
예를 들면, 타 차량은 선행 하는 타 차량, 후행하는 타 차량, 이웃 차선 주행에서 주행하는 타 차량, 사고 발생 타 차량 또는 ACC 추종하는 타 차량일 수 있다.
프로세서(470)는, 검출된 오브젝트를 기초로, 가변 렌즈(300)의 초점 거리를 변경시킬 수 있다(S2830).
프로세서(470)는, 오브젝트와의 거리 또는 오브젝트의 위치를 기초로 가변 렌즈(300)의 초점 거리를 변경시킬 수 있다.
프로세서(470)는, 획득된 영상을 기초로 검출된 오브젝트와의 거리를 산출할 수 있다. 프로세서(470)는, 도 20a 내지 도 21을 참조하여 설명한 방식에 따라 거리를 산출할 수 있다. 영상이 스테레오 카메라로 촬영한 영상인 경우, 프로세서(470)는, 디스패러티 연산을 통해 오브젝트와의 거리를 산출할 수 있다.
도 29에 예시된 바와 같이, 프로세서(470)는, 오브젝트와의 거리가 점점 멀어질수록 가변 렌즈(300)의 초점 거리를 점점 길게 변경시킬 수 있다.
지시 부호 2910은, 가변 렌즈(300)의 제1 초점 거리 상태에서, 차량용 카메라(200)를 통해 촬영한 영상을 예시한다. 프로세서(470)는, 영상에서 오브젝트(2915)를 검출할 수 있다. 프로세서(470)는, 오브젝트(2915)와의 거리를 산출할 수 있다. 도면에서 오브젝트(2915)와의 거리는 40m로 예시한다.
지시 부호 2920은, 검출된 오브젝트(2925)와의 거리가 100m로 40m 더 멀어진 상태에서 차량용 카메라(200)를 통해 촬영한 영상을 예시한다. 이경우, 프로세서(470)는, 가변 렌즈(300)의 초점 거리를 점점 길게 변경시킬 수 있다. 프로세서(470)는, 오브젝트(2925)를 중심으로 영상이 촬영될 수 있도록 초점 거리를 변경시킬 수 있다.
오브젝트(2925)와의 거리가 더 멀어졌기 때문에, 프로세서(470)는 초점 거리를 더 길게 변경시키고, 그에 따라 차량용 카메라(200)의 화각은 좁아지지만, 원거리에 위치한 오브젝트를 촬영할 수 있다.
프로세서(470)는, 오브젝트와의 거리가 점점 가까워질수록 가변 렌즈(300)의 초점 거리를 점점 짧게 변경시킬 수 있다.
프로세서(470)는, 획득된 영상을 기초로 검출된 오브젝트의 위치를 산출할 수 있다. 예를 들면, 프로세서(470)는, 영상에서 오브젝트의 위치에 대응하는 픽셀을 기초로, 차량(100)과 오브젝트의 상대 위치를 산출할 수 있다.
도 30에 예시된 바와 같이, 프로세서(470)는, 오브젝트의 위치 정보를 기초로, 영상의 ROI(Region of Interest)가 변경되도록, 가변 렌즈(300)를 제어할 수 있다.
지시부호 3010은, 가변 렌즈(300)의 제1 초점 거리 상태에서, 차량용 카메라(200)를 통해 촬영한 영상을 예시한다. 프로세서(470)는, 영상에서 오브젝트(3015)를 검출할 수 있다. 프로세서(470)는, 오브젝트(3015)의 위치를 산출할 수 있다.
지시 부호 2920은, 오브젝트(3025)를 중심으로 영상의 ROI가 변경된 상태에서, 차량용 카메라(200)를 통해 촬영한 영상을 예시한다. 프로세서(470)는, 가변 렌즈(300)에 인가되는 전압을 제어하여, 오브젝트(3025)가 영상 중심에 오도록 영상의 ROI를 변경시킬 수 있다.
이와 같이, 영상의 ROI를 변경을 통해, 차량 또는 운전자에게 필요한 정보를 정확하게 제공할 수 있는 효과가 있다.
도 31에 예시된 바와 같이, 프로세서(470)는, 오브젝트로 교차로(3100)를 검출할 수 있다.
프로세서(470)는, 교차로에 위치하는 신호등(3105) 검출을 통해, 교차로(3100)를 검출할 수 있다. 프로세서(470)는, 교차로 안내 표지판(3107) 검출을 통해 교차로(3100)를 검출할 수 있다. 프로세서(470)는, 차선 검출을 통해 교차로(3100)를 검출할 수 있다. 프로세서(470)는, 차량(100)의 주행 방향과 교차되는 방향으로 주행 중인 타 차량 검출을 통해 교차로(3100)를 검출할 수 있다. 프로세서(470)는 도로면 검출을 통해 교차로(3100)를 검출할 수 있다.
오브젝트로 교차로(3100)가 검출되는 경우, 프로세서(470)는, 가변 렌즈(300)의 초점 거리를 짧게 변경시킬 수 있다.
지시 부호 3110은, 교차로(3105) 검출 이전에 차량용 카메라(200)를 통해 촬영된 영상을 예시한다. 지시 부호 3120은, 교차로(3105) 검출 이후에 차량용 카메라(200)를 통해 촬영된 영상을 예시한다. 즉, 지시 부호 3120은, 가변 렌즈(300)의 초점 거리가 짧아진 상태에서 차량용 카메라(200)로 촬영된 영상을 예시한다.
교차로 주행 시, 주행 방향의 오브젝트외에 주행 방향과 교차되는 방향의 오브젝트도 검출되어야 한다. 따라서, 이경우, 넓은 화각의 카메라로 촬영된 영상이 오브젝트 검출에 유리하다. 교차로 검출시, 가변 렌즈(300)의 초점 거리를 짧게 하여, 화각을 넓힐 수 있다.
도 32a 내지 도 32b는 본 발명의 실시예에 따라 차량용 카메라가 스테레오 카메라를 포함하는 경우, 프로세서의 내부 블럭도를 설명하는데 참조되는 도면이다.
먼저, 도 32a를 참조하면, 도 32a는, 프로세서(470)의 내부 블록도의 일예로서, 차량 운전 보조 장치(400) 내의 프로세서(470)는, 영상 전처리부(3210), 디스패러티 연산부(3220), 오브젝트 검출부(3234), 오브젝트 트래킹부(3240), 및 어플리케이션부(3250)를 포함할 수 있다.
영상 전처리부(image preprocessor)(3210)는, 카메라(200)로부터의 이미지를 수신하여, 전처리(preprocessing)를 수행할 수 있다.
구체적으로, 영상 전처리부(3210)는, 이미지에 대한, 노이즈 리덕션(noise reduction), 렉티피케이션(rectification), 캘리브레이션(calibration), 색상 강화(color enhancement), 색상 공간 변환(color space conversion;CSC), 인터폴레이션(interpolation), 카메라 게인 컨트롤(camera gain control) 등을 수행할 수 있다. 이에 따라, 카메라(200)에서 촬영된 스테레오 이미지 보다 선명한 이미지를 획득할 수 있다.
디스패러티 연산부(disparity calculator)(3220)는, 영상 전처리부(3210)에서 신호 처리된, 이미지를 수신하고, 수신된 이미지들에 대한 스테레오 매칭(stereo matching)을 수행하며, 스테레오 매칭에 따른, 디스패러티 맵(dispartiy map)을 획득할 수 있다. 즉, 차량 전방에 대한, 스테레오 이미지에 대한 디스패러티 정보를 획득할 수 있다.
이때, 스테레오 매칭은, 스테레오 이미지들의 픽셀 단위로 또는 소정 블록 단위로 수행될 수 있다. 한편, 디스패러티 맵은, 스테레오 이미지, 즉 좌,우 이미지의 시차(時差) 정보(binocular parallax information)를 수치로 나타낸 맵을 의미할 수 있다.
세그멘테이션부(segmentation unit)(3232)는, 디스패러티 연산부(3220)로부터의 디스페러티 정보에 기초하여, 이미지 중 적어도 하나에 대해, 세그먼트(segment) 및 클러스터링(clustering)을 수행할 수 있다.
구체적으로, 세그멘테이션부(3232)는, 디스페러티 정보에 기초하여, 스테레오 이미지 중 적어도 하나에 대해, 배경(background)과 전경(foreground)을 분리할 수 있다.
예를 들면, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이하인 영역을, 배경으로 연산하고, 해당 부분을 제외시킬 수 있다. 이에 의해, 상대적으로 전경이 분리될 수 있다.
다른 예로, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이상인 영역을, 전경으로 연산하고, 해당 부분을 추출할 수 있다. 이에 의해, 전경이 분리될 수 있다.
이와 같이, 스테레오 이미지에 기반하여 추출된 디스페러티 정보 정보에 기초하여, 전경과 배경을 분리함으로써, 이후의, 오브젝트 검출시, 신호 처리 속도, 신호 처리 양 등을 단축할 수 있게 된다.
다음, 오브젝트 검출부(object detector)(3234)는, 세그멘테이션부(3232)로부터의 이미지 세그먼트에 기초하여, 오브젝트를 검출할 수 있다.
즉, 오브젝트 검출부(3234)는, 디스페러티 정보 정보에 기초하여, 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다.
구체적으로, 오브젝트 검출부(3234)는, 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다. 예를 들면, 이미지 세그먼트에 의해 분리된 전경으로부터 오브젝트를 검출할 수 있다.
다음, 오브젝트 확인부(object verification unit)(3236)는, 분리된 오브젝트를 분류하고(classify), 확인할 수 있다(verify).
이를 위해, 오브젝트 확인부(3236)는, 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용할 수 있다.
한편, 오브젝트 확인부(3236)는, 메모리(440)에 저장된 오브젝트들과, 검출된 오브젝트를 비교하여, 오브젝트를 확인할 수 있다.
예를 들면, 오브젝트 확인부(3236)는, 차량 주변에 위치하는, 주변 차량, 차선, 도로면, 표지판, 위험 지역, 터널 등을 확인할 수 있다.
오브젝트 트래킹부(object tracking unit)(3240)는, 확인된 오브젝트에 대한 트래킹을 수행할 수 있다. 예를 들면, 순차적으로, 획득되는 스테레오 이미지들에 내의, 오브젝트를 확인하고, 확인된 오브젝트의 움직임 또는 움직임 벡터를 연산하며, 연산된 움직임 또는 움직임 벡터에 기초하여, 해당 오브젝트의 이동 등을 트래킹할 수 있다. 이에 따라, 차량 주변에 위치하는, 주변 차량, 차선, 도로면, 표지판, 위험 지역, 터널 등을 트래킹할 수 있게 된다.
다음, 어플리케이션부(3250)는, 차량 주변에, 위치하는 다양한 오브젝트들, 예를 들면, 다른 차량, 차선, 도로면, 표지판 등에 기초하여, 차량(700)의 위험도 등을 연산할 수 있다. 또한, 앞차와의 추돌 가능성, 차량의 슬립 여부 등을 연산할 수 있다.
그리고, 어플리케이션부(3250)는, 연산된 위험도, 추돌 가능성, 또는 슬립 여부 등에 기초하여, 사용자에게, 이러한 정보를 알려주기 위한, 메시지 등을, 차량 운전 보조 정보로서, 출력할 수 있다. 또는, 차량(700)의 자세 제어 또는 주행 제어를 위한 제어 신호를, 차량 제어 정보로서, 생성할 수도 있다.
한편, 실시예에 따라, 프로세서(470)는 영상 전처리부(3210), 디스페러티 연산부(3220), 세그먼테이션부(3232), 오브젝트 검출부(3234), 오브젝트 확인부(3236), 오브젝트 트래킹부(3240) 및 어플리케이션부(3250) 중 일부만을 포함할 수 있다.
도 32b는 본 발명의 실시예에 따른 프로세서의 내부 블록도의 다른 예이다.
도면을 참조하면, 도 32b의 프로세서(470)는, 도 32a의 프로세서(470)와 내부 구성 유닛이 동일하나, 신호 처리 순서가 다른 것에 그 차이가 있다. 이하에서는 그 차이만을 기술한다.
오브젝트 검출부(3234)는, 스테레오 이미지를 수신하고, 스테레오 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다. 도 32a와 달리, 디스패러티 정보에 기초하여, 세그먼트된 이미지에 대해, 오브젝트를 검출하는 것이 아닌, 스테레오 이미지로부터 바로 오브젝트를 검출할 수 있다.
다음, 오브젝트 확인부(object verification unit)(3236)는, 세그멘테이션부(3232)로부터의 이미지 세그먼트, 및 오브젝트 검출부(3234)에서 검출된 오브젝트에 기초하여, 검출 및 분리된 오브젝트를 분류하고(classify), 확인한다(verify).
이를 위해, 오브젝트 확인부(3236)는, 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용할 수 있다.
도 33a와 도 33b는, 본 발명의 실시예에 따라, 제1 및 제2 프레임 구간에서 각각 획득된 스테레오 이미지를 기반으로 하여, 도 4a의 프로세서(470)의 동작 방법 설명을 위해 참조되는 도면이다.
먼저, 도 33a를 참조하면, 제1 프레임 구간 동안, 스테레오 카메라(200)는, 스테레오 이미지를 획득한다.
프로세서(470) 내의 디스패러티 연산부(420)는, 영상 전처리부(410)에서 신호 처리된, 스테레오 이미지(FR1a,FR1b)를 수신하고, 수신된 스테레오 이미지(FR1a,FR1b)에 대한 스테레오 매칭을 수행하여, 디스패러티 맵(dispartiy map)(3320)을 획득한다.
디스패러티 맵(dispartiy map)(3320)은, 스테레오 이미지(FR1a, FR1b) 사이의 시차를 레벨화한 것으로서, 디스패러티 레벨이 클수록, 차량과의 거리가 가깝고, 디스패러티 레벨이 작을수록, 차량과의 거리가 먼 것으로 연산할 수 있다.
한편, 이러한 디스패러티 맵을 디스플레이 하는 경우, 디스패러티 레벨이 클수록, 높은 휘도를 가지고, 디스패러티 레벨이 작을수록 낮은 휘도를 가지도록 표시할 수도 있다.
도면에서는, 디스패러티 맵(3320) 내에, 제1 차선 내지 제4 차선(3328a, 3328b, 3328c, 3328d) 등이 각각 해당하는 디스패러티 레벨을 가지며, 공사 지역(3322), 제1 전방 차량(3324), 제2 전방 차량(3326)이 각각 해당하는 디스패러티 레벨을 가지는 것을 예시한다.
세그멘테이션부(432)와, 오브젝트 검출부(434), 오브젝트 확인부(436)는, 디스패러티 맵(3320)에 기초하여, 스테레오 이미지(FR1a, FR1b) 중 적어도 하나에 대한, 세그먼트, 오브젝트 검출, 및 오브젝트 확인을 수행한다.
도면에서는, 디스패러티 맵(3320)을 사용하여, 제2 스테레오 이미지(FR1b)에 대한, 오브젝트 검출, 및 확인이 수행되는 것을 예시한다.
즉, 이미지(3330) 내에, 제1 차선 내지 제4 차선(3338a, 3338b, 3338c, 3338d), 공사 지역(3332), 제1 전방 차량(3334), 제2 전방 차량(3336)이, 오브젝트 검출 및 확인이 수행될 수 있다.
다음, 도 33b를 참조하면, 제2 프레임 구간 동안, 스테레오 카메라(200)는, 스테레오 이미지를 획득한다.
프로세서(470) 내의 디스패러티 연산부(420)는, 영상 전처리부(410)에서 신호 처리된, 스테레오 이미지(FR2a, FR2b)를 수신하고, 수신된 스테레오 이미지(FR2a, FR2b)에 대한 스테레오 매칭을 수행하여, 디스패러티 맵(dispartiy map)(3340)을 획득한다.
도면에서는, 디스패러티 맵(3340) 내에, 제1 차선 내지 제4 차선(3348a, 3348b, 3348c, 3348d) 등이 각각 해당하는 디스패러티 레벨을 가지며, 공사 지역(3342), 제1 전방 차량(3344), 제2 전방 차량(3346)이 각각 해당하는 디스패러티 레벨을 가지는 것을 예시한다.
세그멘테이션부(432)와, 오브젝트 검출부(434), 오브젝트 확인부(436)는, 디스패러티 맵(3340)에 기초하여, 스테레오 이미지(FR2a, FR2b) 중 적어도 하나에 대한, 세그먼트, 오브젝트 검출, 및 오브젝트 확인을 수행한다.
도면에서는, 디스패러티 맵(3340)을 사용하여, 제2 스테레오 이미지(FR2b)에 대한, 오브젝트 검출, 및 확인이 수행되는 것을 예시한다.
즉, 이미지(3350) 내에, 제1 차선 내지 제4 차선(3358a, 3358b, 3358c, 3358d), 공사 지역(3352), 제1 전방 차량(3354), 제2 전방 차량(3356)이, 오브젝트 검출 및 확인이 수행될 수 있다.
한편, 오브젝트 트래킹부(440)는, 도 33a와 도 33b를 비교하여, 확인된 오브젝트에 대한 트래킹을 수행할 수 있다.
구체적으로, 오브젝트 트래킹부(440)는, 도 33a와 도 33b에서 확인된, 각 오브젝트들의 움직임 또는 움직임 벡터에 기초하여, 해당 오브젝트의 이동 등을 트래킹할 수 있다. 이에 따라, 차량 주변에 위치하는, 차선, 공사 지역, 제1 전방 차량, 제2 전방 차량 등에 대한 트래킹을 수행할 수 있게 된다.
도 34 내지 도 39는 본 발명의 실시예에 따라, 스테레오 카메라 각각에 구비된 좌측 가변 렌즈(300L) 및 우측 가변 렌즈(300R)의 초점 거리가 서로 다른 경우, 스테레오 영상을 획득하고, 디스패러티를 연산하는 동작을 설명하는데 참조되는 도면이다.
스테레오 카메라(200)는, 제1 카메라 및 제2 카메라를 포함할 수 있다.
제1 카메라는, 좌측 가변 렌즈(300L) 및 제1 이미지 센서(214a)를 포함할 수 있다.
제2 카메라는, 우측 가변 렌즈(300R) 및 제2 이미지 센서(214b)를 포함할 수 있다.
이하의 설명에서, 좌측 가변 렌즈(300L)의 초점 거리는 우측 가변 렌즈(300R)의 초점 거리보다 길다, 좌측 가변 렌즈(300L)는 원거리 촬영에 유리하고, 우측 가변 렌즈(300R)는 근거리 촬영에 유리하다.
도 34는 본 발명의 실시예에 따라, 차량용 카메라가 스테레오 카메라를 포함하는 경우, 프로세서의 내부 블럭도를 설명하는데 참조되는 도면이다.
도 34를 참조하면, 프로세서(3470)는, 영상 전처리부(3410), 비닝 처리부(3412), 제1 오브젝트 검출부(3413), 크로핑 처리부(3414), 제2 오브젝트 검출부(3415), 스테레오 영상 생성부(3417), 디스패러티 연산부(3420), 제3 오브젝트 검출부(3434), 오브젝트 확인부(3436), 오브젝트 트래킹부(3440), 및 어플리케이션부(3450)를 포함할 수 있다.
영상 전처리부(image preprocessor)(3410)는, 스테레오 카메라(200)로부터의 이미지를 수신하여, 전처리(preprocessing)를 수행할 수 있다.
구체적으로, 영상 전처리부(3410)는, 이미지에 대한, 노이즈 리덕션(noise reduction), 렉티피케이션(rectification), 캘리브레이션(calibration), 색상 강화(color enhancement), 색상 공간 변환(color space conversion;CSC), 인터폴레이션(interpolation), 카메라 게인 컨트롤(camera gain control) 등을 수행할 수 있다. 이에 따라, 카메라(200)에서 촬영된 스테레오 이미지 보다 선명한 이미지를 획득할 수 있다.
비닝 처리부(3412)는, 스테레오 카메라(200) 중 제1 카메라로부터 수신된 제1 영상을 비닝(binning) 처리할 수 있다. 여기서, 비닝 처리부(3412)에 입력되는 영상은 영상 전처리부(3410)에서 전처리된 영상일 수 있다. 비닝 처리부(3412)는, 제1 영상에서 적어도 2이상의 픽셀 단위의 정보를 하나의 픽셀 단위의 정보로 전환할 수 있다. 이와 같이, 비닝 처리가 제1 영상은 해상도가 줄어들 수 있다.
비닝 처리부(3412)는 복수의 프레임으로 구성된 제1 영상 중, 연속되지 않는 일부 프레임을 비닝 처리할 수 있다.
제1 오브젝트 검출부(3413)는, 스테레오 카메라(200) 중 제1 카메라로부터 수신된 제1 영상을 기초로 오브젝트를 검출할 수 있다. 여기서, 제1 오브젝트 검출부(3413)에 입력되는 영상은 영상 전처리부(3410)에서 전처리된 영상일 수 있다.
제1 오브젝트 검출부(3413)는 검출된 오브젝트와의 거리 및 오브젝트와의 상대 속도를 연산할 수 있다. 제1 오브젝트 검출부(3413)는, 검출된 오브젝트를 트래킹하고, 시간에 따라 변하는 오브젝트의 크기를 기초로 오브젝트와의 거리를 연산할 수 있다. 제1 오브젝트 검출부(3413)는 오브젝트와의 거리를 기초로 오브젝트와의 상대 속도를 연산할 수 있다.
크로핑 처리부(3414)는, 스테레오 카메라(200) 중 제2 카메라로부터 수신된 제2 영상을 크로핑(cropping) 처리할 수 있다. 여기서, 크로핑 처리부(3414)에 입력되는 영상은 영상 전처리부(3410)에서 전처리된 영상일 수 있다. 크로핑 처리부(3414)는, 제2 영상 중 불필요한 영역을 잘라낼 수 있다.
크로핑 처리부(3414)는, 복수의 프레임으로 구성된 제2 영상 중, 연속되지 않는 일부 프레임을 크로핑 처리할 수 있다.
제2 오브젝트 검출부(3415)는, 스테레오 카메라(200) 중 제2 카메라로부터 수신된 제2 영상을 기초로 오브젝트를 검출할 수 있다. 여기서, 제2 오브젝트 검출부(3415)에 입력되는 영상은 영상 전처리부(3410)에서 전처리된 영상일 수 있다.
제2 오브젝트 검출부(3413)는 검출된 오브젝트와의 거리 및 오브젝트와의 상대 속도를 연산할 수 있다. 제2 오브젝트 검출부(3415)는, 검출된 오브젝트를 트래킹하고, 시간에 따라 변하는 오브젝트 크기를 기초로 오브젝트와의 거리를 연산할 수 있다. 제2 오브젝트 검출부(3413)는 오브젝트와의 거리를 기초로 오브젝트와의 상대 속도를 연산할 수 있다.
스테레오 영상 생성부(3417)는, 비닝처리된 제1 영상 및 크로핑 처리된 제2 영상을 기초로, 스테레오 영상을 생성할 수 있다. 스테레오 영상 생성부(3417)는, 비닝 처리된 제1 영상 또는 크로핑 처리된 제2 영상을 렉티피케이션(rectification) 처리하여, 스테레오 영상을 생성할 수 있다. 예를 들면, 프로세서(3470)는, 비닝 처리된 제1 영상 및 크로핑 처리된 제2 영상 중 어느 하나의 크기를 조정하여 영상의 크기를 맞춘 후, 스테레오 영상을 생성할 수 있다. 예를 들면, 프로세서(3470)는, 비닝 처리된 제1 영상 및 크로핑 처리된 제2 영상 모두의 크기를 조정하여, 영상의 크기를 맞춘 후, 스테레오 영상을 생성할 수 있다.
디스패러티 연산부(disparity calculator)(3420)는, 수신된 이미지들에 대한 스테레오 매칭(stereo matching)을 수행하며, 스테레오 매칭에 따른, 디스패러티 맵(dispartiy map)을 획득할 수 있다. 즉, 차량 전방에 대한, 스테레오 이미지에 대한 디스패러티 정보를 획득할 수 있다.
이때, 스테레오 매칭은, 스테레오 이미지들의 픽셀 단위로 또는 소정 블록 단위로 수행될 수 있다. 한편, 디스패러티 맵은, 스테레오 이미지, 즉 좌,우 이미지의 시차(時差) 정보(binocular parallax information)를 수치로 나타낸 맵을 의미할 수 있다.
제3 오브젝트 검출부(object detector)(3434)는, 오브젝트를 검출할 수 있다.
즉, 오브젝트 검출부(3434)는, 디스페러티 정보 정보에 기초하여, 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다.
구체적으로, 오브젝트 검출부(3434)는, 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다.
오브젝트 확인부(object verification unit)(3436)는, 검출된 오브젝트를 분류하고(classify), 확인할 수 있다(verify).
오브젝트 확인부(3436)는, 제1 오브젝트 검출부(3413), 제2 오브젝트 검출부(3415) 및 제3 오브젝트 검출부(3434)에서 검출된 오브젝트를 분류하고, 확인할 수 있다.
이를 위해, 오브젝트 확인부(3436)는, 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용할 수 있다.
한편, 오브젝트 확인부(3436)는, 메모리(440)에 저장된 오브젝트들과, 검출된 오브젝트를 비교하여, 오브젝트를 확인할 수 있다.
예를 들면, 오브젝트 확인부(3436)는, 차량 주변에 위치하는, 주변 차량, 차선, 도로면, 표지판, 위험 지역, 터널 등을 확인할 수 있다.
오브젝트 트래킹부(object tracking unit)(3440)는, 확인된 오브젝트에 대한 트래킹을 수행할 수 있다. 예를 들면, 순차적으로, 획득되는 스테레오 이미지들에 내의, 오브젝트를 확인하고, 확인된 오브젝트의 움직임 또는 움직임 벡터를 연산하며, 연산된 움직임 또는 움직임 벡터에 기초하여, 해당 오브젝트의 이동 등을 트래킹할 수 있다. 이에 따라, 차량 주변에 위치하는, 주변 차량, 차선, 도로면, 표지판, 위험 지역, 터널 등을 트래킹할 수 있게 된다.
다음, 어플리케이션부(3450)는, 차량 주변에, 위치하는 다양한 오브젝트들, 예를 들면, 다른 차량, 차선, 도로면, 표지판 등에 기초하여, 차량(700)의 위험도 등을 연산할 수 있다. 또한, 앞차와의 추돌 가능성, 차량의 슬립 여부 등을 연산할 수 있다.
그리고, 어플리케이션부(3450)는, 연산된 위험도, 추돌 가능성, 또는 슬립 여부 등에 기초하여, 사용자에게, 이러한 정보를 알려주기 위한, 메시지 등을, 차량 운전 보조 정보로서, 출력할 수 있다. 또는, 차량(700)의 자세 제어 또는 주행 제어를 위한 제어 신호를, 차량 제어 정보로서, 생성할 수도 있다.
한편, 실시예에 따라, 프로세서(3470)는 영상 전처리부(3410), 디스페러티 연산부(3420), 세그먼테이션부(3432), 오브젝트 검출부(3434), 오브젝트 확인부(3436), 오브젝트 트래킹부(3440) 및 어플리케이션부(3450) 중 일부만을 포함할 수 있다.
도 35은 본 발명의 실시예에 따른 비닝 처리 및 크로핑 처리 동작을 설명하는데 참조되는 도면이다.
도 35을 참조하면, 프로세서(470)는, 스테레오 카메라(200) 중 제1 카메라로부터 제1 영상을 수신할 수 있다.
제1 영상은 좌측 가변 렌즈(300L) 및 제1 이미지 센서(214a)를 통해 획득된 영상일 수 있다.
제1 영상은 복수의 프레임(3511, 3512, 3513, 3514, 3515, 3516,...)을 포함할 수 있다.
프로세서(470)는, 제1 영상을 비닝(binning) 처리할 수 있다. 예를 들면, 프로세서(470)는, 복수의 프레임(3511, 3512, 3513, 3514, 3515, 3516,...) 중 연속되지 않는 일부 프레임(3511, 3513, 3515,...)을 비닝 처리할 수 있다.
프로세서(470)는, 제2 영상을 기준으로 제1 영상을 비닝 처리할 수 있다.
프로세서(470)는, 제2 영상과 동기화되도록 제1 영상을 비닝 처리할 수 있다. 예를 들면, 프로세서(470)는, 제2 영상에서 크로핑 처리되는 프레임(3521, 3523, 3525,...)에 대응되는 제1 영상의 프레임(3511, 3513, 3515,...)을 비닝 처리할 수 있다.
프로세서(470)는, 제2 영상의 해상도에 대응되게 제1 영상을 비닝 처리할 수 있다. 예를 들면, 프로세서(470)는, 제2 영상의 해상도와 같은 해상도를 갖도록 제1 영상을 비닝 처리할 수 있다.
프로세서(470)는, 제1 영상을 기초로 오브젝트를 검출할 수 있다. 예를 들면, 프로세서(470)는, 복수의 프레임(3511, 3512, 3513, 3514, 3515, 3516) 중 비닝 처리되지 않은 프레임(3512, 3514, 3516,...)을 기초로 오브젝트를 검출할 수 있다.
비닝 처리되지 않은 프레임의 영상이 더 높은 해상도를 가지므로 더 많은 정보를 포함하고 있다. 비닝 처리되지 않은 프레임의 영상을 기초로 오브젝트를 검출함으로써, 보다 정확하게 오브젝트에 관한 정보를 검출할 수 있다.
프로세서(470)는, 스테레오 카메라(200) 중 제2 카메라로부터 제2 영상을 수신할 수 있다.
제2 영상은, 우측 가변 렌즈(300R) 및 제2 이미지 센서(214b)를 통해 획득된 영상일 수 있다.
제2 영상은 복수의 프레임(3521, 3522, 3523, 3524, 3525, 3526,...)을 포함할 수 있다.
프로세서(470)는, 제2 영상을 크로핑(cropping) 처리할 수 있다. 예를 들면, 프로세서(470)는, 복수의 프레임(3521, 3522, 3523, 3524, 3525, 3526,...) 중 연속되지 않는 일부 프레임(3521, 3523, 3525,...)을 크로핑 처리할 수 있다.
프로세서(470)는, 제1 영상을 기준으로 제2 영상을 크로핑 처리할 수 있다.
프로세서(470)는, 제1 영상과 동기화되도록 제2 영상을 크로핑 처리할 수 있다. 예를 들면, 프로세서(470)는, 제1 영상에서 비닝 처리되는 프레임(3511, 3513, 3515,...)에 대응되는 제2 영상으 프레임(3521, 3523, 3525,...)을 크로핑 처리할 수 있다.
프로세서(470)는, 제1 영상의 컨텐츠에 대응되게 제2 영상을 크로핑 처리할 수 있다. 예를 들면, 프로세서(470)는, 제1 영상의 컨텐츠와 같은 컨텐츠를 갖도록 제2 영상을 크로핑 처리할 수 있다.
프로세서(470)는, 제2 영상을 기초로 오브젝트를 검출할 수 있다. 예를 들면, 프로세서(470)는, 복수의 프레임(3521, 3522, 3523, 3524, 3525, 3526) 중 크로핑 처리되지 않은 프레임(3522, 3524, 3526)을 기초로 오브젝트를 검출할 수 있다.
크로핑 처리되지 않은 프레임의 영상이 더 넓은 시야를 가지므로 더 많은 정보를 포함하고 있다. 크로핑 처리되지 않은 프레임의 영상을 기초로 오브젝트를 검출함으로써, 보다 정확하게 오브젝트에 관한 정보를 검출할 수 있다.
도 36는 본 발명의 실시예에 따라, 스테레오 영상을 생성하는 동작을 설명하는데 참조되는 도면이다.
도 36를 참조하면, 프로세서(470)는, 제1 영상 및 제2 영상 각각을 처리하여, 스테레오 영상을 생성할 수 있다. 프로세서(470)는, 제1 영상을 비닝처리 하고(3511) 제2 영상을 크로핑 처리하여(3521) 스테레오 영상(3511, 3521)을 획득할 수 있다. 프로세서(470)는, 비닝 처리된 제1 영상 또는 크로핑 처리된 제2 영상을 렉티피케이션(rectification) 처리하여, 스테레오 영상을 생성할 수 있다. 예를 들면, 프로세서(470)는, 비닝 처리된 제1 영상 및 크로핑 처리된 제2 영상 중 어느 하나의 크기를 조정하여 영상의 크기를 맞춘 후, 스테레오 영상을 생성할 수 있다. 예를 들면, 프로세서(470)는, 비닝 처리된 제1 영상 및 크로핑 처리된 제2 영상 모두의 크기를 조정하여, 영상의 크기를 맞춘 후, 스테레오 영상을 생성할 수 있다.
프로세서(470)는, 스테레오 영상(3511, 3521)을 기초로 디스패러티 연산을 수행할 수 있다.
도 37은 본 발명의 실시예에 따라, 제1 영상을 설명하는데 참조되는 도면이다.
도 37을 참조하면, 프로세서(170)는, 제1 카메라(195a)로부터 제1 영상을 수신할 수 있다. 제1 영상은, 좌측 가변 렌즈(300L) 및 제1 이미지 센서(214a)에 의해 획득된 차량 전방의 원거리 영상일 수 있다.
프로세서(170)는, 제1 영상을 통해, 원거리에 위치한 오브젝트까지 검출할 수 있다. 프로세서(170)는, 제1 영상을 통해, 좌우로 넓은 시야에서 오브젝트를 검출하지는 못하나 원거리에 위치한 오브젝트까지 검출할 수 있다. 도면에서, 지시부호 3610은 이러한 제1 카메라의 특성에 따라 검출 가능한 영역을 개념적으로 나타낸다.
제1 영상에서, 프로세서(170)는, 오브젝트(3710)를 검출할 수 있다. 검출되는 오브젝트(3710)는, 제1 카메라에 포함된 좌측 가변 렌즈(300L)의 화각에 따라 제1 영상 내에 포함되기 때문에 검출될 수 있다. 검출되지 않는 오브젝트(3720)는, 제1 카메라에 포함된 좌측 가변 렌즈(300L)의 화각에 따라, 제1 영상 내에 포함되지 않기 때문에 검출되지 않는다.
도 38은 본 발명의 실시예에 따라, 제2 영상을 설명하는데 참조되는 도면이다.
도 38을 참조하면, 프로세서(470)는, 제2 카메라로부터 제2 영상을 수신할 수 있다. 제2 영상은 광각 카메라에 의해 획득된 차량 전방의 근거리 영상일 수 있다.
프로세서(470)는, 제2 영상을 통해, 근거리에 위치한 오브젝트 중 차량 전방 좌측 또는 우측에 위치하는 검출할 수 있다. 프로세서(470)는, 제2 영상을 통해, 원거리에 위치한 오브젝트는 검출하지 못하나, 좌우로 넓은 시야에서 오브젝트를 검출할 수 있다. 도면에서, 지시부호 3620은 이러한 제2 카메라의 특성에 따라 검출 가능한 영역을 개념적으로 나타낸다.
제2 영상에서, 프로세서(470)는, 오브젝트(3810)를 검출할 수 있다. 검출되는 오브젝트(3810)는, 제2 카메라에 포함된 우측 가변 렌즈(300R)의 화각에 따라 제2 영상 내에 포함되기 때문에 검출될 수 있다. 검출되지 않는 오브젝트(3820)는, 제2 카메라에 포함된 우측 가변 렌즈(300R)의 화각에 따라, 제2 영상 내에 포함되지 않기 때문에 검출되지 않는다.
도 39는 본 발명의 실시예에 따라, 제1 영상 및 제2 영상을 기초로 생성된 스테레오 영상을 설명하는데 참조되는 도면이다.
도 39를 참조하면, 프로세서(470)는, 제1 영상을 비닝 처리(3511)하고, 제2 영상을 크로핑 처리(3521)한 후, 렉티피케이션 처리하여 스테레오 영상을 생성할 수 있다. 프로세서(470)는, 생성된 스테레오 영상을 기초로 디스패러티 연산을 수행할 수 있다.
프로세서(470)는, 제1 영상 및 제2 영상에서 겹쳐지는 영역에서 검출되는 오브젝트(3910)에 대한 디스패러티 연산을 수행할 수 있다. 지시부호 3920은, 제1 영상에서는 검출될 수 있지만, 제2 영상에서는 검출되지 않는 오브젝트를 나타낸다. 지시부호 3925는, 제2 영상에서는 검출될 수 있지만, 제1 영상에서는 검출되지 않는 오브젝트를 나타낸다. 프로세서(470)는, 이러한 오브젝트(3920, 3925)들에 대해서는 디스패러티 연산을 수행할 수 없다.
지시부호 3930은, 제1 영상 및 제2 영상 중 어느 영상에서도 검출되지 않는 오브젝트를 나타낸다.
도 40은 본 발명의 실시예에 따른 차량 운전 보조 장치의 구성 중 가변 렌즈를 설명하는데 참조되는 도면이다.
도 40을 참조하면, 차량 운전 보조 장치(400)는, 카메라(200), 프로세서(470)를 포함할 수 있다.
카메라(200)는, 이미지 센서(214) 및 가변 렌즈(300)를 포함할 수 있다.
가변 렌즈(300)는, 인가되는 전압에 기초한 극성 및 비극성 유체 사이에 형성된 계면의 변화에 따라, 이미지 센서(214)에 유입되는 광을 변경시킬 수 있다.
이러한 가변 렌즈(300)는, Wetting 렌즈로 명명될 수 있다.
가변 렌즈(4010)는, 투명 플레이트(4011a, 4011b), 제1 물질(4012), 제2 물질(4013), 촉매 부재(4014), 절연 부재(4015), 소수성 부재(4016)를 포함할 수 있다.
가변 렌즈(4010)는 대략적으로 원통형상으로 형성될 수 있다.
투명 플레이트(4011a, 4011b)는 서로 평행하게 형성되어, 원통 형상의 가변 렌즈(4010)의 상부 및 하부를 형성할 수 있다. 투명 플레이트(4011a, 4011b)는 내부에 공간을 형성할 수 있다. 투명 플레이트(4011a, 4011b)는 친수성 재질로 형성되거나, 친수성 물질로 코팅처리될 수 있다.
구동부는 링형상으로 형성되어, 가변 렌즈의 외주면을 형성할 수 있다. 구동부는, 촉매 부재(4014), 절연 부재(4015), 소수성 부재(4016)을 포함할 수 있다.
촉매 부재(4014)는, 플레티늄(Pt) 나 팔라듐(Pd) 등의 재질로 형성될 수 있다. 촉매 부재(4014)는, 그라운드 전극으로 기능할 수 있다.
절연 부재(4015)는, 촉매 부재(4014)와 소수성 부재(4016) 사이에 형성되어 그라운드 전극의 기능을 하는 촉매 부재(4014)와 전력을 공급받는 소수성 부재(4016)를 절연하는 기능을 한다.
소수성 부재(4016)는, 전극의 표면에 소수성 재질의 코팅층을 형성하는 방식으로 구현될 수 있다. 소수성 부재(4016)는, 전기 에너지가 공급되는 경우, 촉매 부재(4014) 사이에서 발생하는 전기장에 의해 소수성 부재(4016)의 표면이 친수성으로 전환될 수 있다.
가변 렌즈(4010)의 내측 공간부에는 제1 물질(4012) 및 제2 물질(4013)이 구비될 수 있다. 예를 들면, 제1 물질(4012)은 물, 액정(Liquid Crystal)과 같은 극성 유체일 수 있다. 제2 물질은 비극성 유체일 수 있다.
양쪽 소수성 부재(4016)에 공급되는 전기 에너지의 전위차에 의해 가변 렌즈(4010)의 초점 거리는 가변될 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서(270) 또는 제어부(170)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100 : 차량
200 : 차량용 카메라
300 : 가변 렌즈
400 : 차량 운전 보조 장치

Claims (26)

  1. 이미지 센서;및
    액정층(liquid cristal layer)을 포함하고, 인가되는 전압에 기초하여 상기 액정층에 포함된 액정 분자들의 배열 상태에 따라 상기 이미지 센서에 유입되는 광을 변화시키는 가변 렌즈;
    상기 가변 렌즈에 열을 공급하는 열선; 및
    외관을 형성하고, 상기 이미지 센서 및 상기 가변 렌즈를 수용하는 하우징;을 포함하고,
    상기 하우징은,
    상기 가변 렌즈를 지지하는 홀더를 포함하고,
    상기 홀더는, 상기 가변 렌즈의 일부를 수용하는 슬롯을 포함하고,
    상기 열선은, 상기 슬롯 내부에 형성되는 차량용 카메라.
  2. 제 1항에 있어서,
    상기 가변 렌즈와 상기 이미지 센서 사이에 배치되고,
    상기 이미지 센서에 유입되는 광을 굴절시키는 적어도 하나의 렌즈;를 더 포함하는 차량용 카메라.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제 1항에 있어서,
    상기 열선은,
    상기 가변렌즈와 이격되어 형성되는 차량용 카메라.
  7. 제 1항에 있어서,
    상기 열선은,
    상기 가변렌즈의 테두리의 적어도 일부분과 접촉되는 차량용 카메라.
  8. 제 1항에 있어서,
    상기 홀더는,
    상기 가변렌즈의 제1 면을 지지하는 제1 고정부; 및
    상기 가변렌즈의 제2 면을 지지하는 제2 고정부;를 포함하고,
    상기 슬롯은, 상기 제1 고정부 및 상기 제2 고정부 사이에 형성되는 차량용 카메라.
  9. 제 8항에 있어서,
    상기 열선은,
    상기 제1 고정부와 상기 제1 면 사이에 형성되되, 상기 제1 면과 이격되어 형성되는 제1 열선; 및
    상기 제2 고정부와 상기 제2 면 사이에 형성되되, 상기 제2 면과 이격되어 형성되는 제2 열선;을 포함하는 차량용 카메라.
  10. 제 8항에 있어서,
    상기 제1 고정부는,
    상기 제1 면의 적어도 일부분과 접촉되는 제1 요철부;를 포함하고,
    상기 제2 고정부는,
    상기 제2 면의 적어도 일부분과 접촉되는 제2 요철부;를 포함하고,
    상기 열선은, 상기 제1 요철부 및 상기 제2 요철부 중 적어도 어느 하나에 형성되는 차량용 카메라.
  11. 제 1항에 있어서,
    상기 하우징은,
    상기 이미지 센서에 근접할수록 두껍게 형성되는 차량용 카메라.
  12. 제 1항에 있어서,
    상기 가변 렌즈는,
    슬라이딩 이동 또는 회전 이동 가능하게 형성되는 차량용 카메라.
  13. 제 1항에 있어서,
    상기 가변 렌즈는,
    제1 기판;
    상기 제1 기판과 마주보게 배치되는 제2 기판을 포함하고,
    상기 액정층은 상기 제1 기판 및 상기 제2 기판 사이에 배치되는 차량용 카메라.
  14. 제 13항에 있어서,
    상기 제1 기판 또는 상기 제2 기판은,
    상기 가변 렌즈에 열을 공급하는 열선;을 포함하는 차량용 카메라.
  15. 제 13항에 있어서,
    상기 제1 기판은,
    서로 이격되어 배치되는 복수의 전극을 포함하고, 상기 복수의 전극은 상하 방향 또는 좌우 방향으로 배치되는 차량용 카메라.
  16. 제 15항에 있어서,
    상기 복수의 전극은 상하 방향 및 좌우 방향으로 길게 배치되고,
    상하 방향의 복수의 전극 및 좌우 방향의 복수의 전극이 교차지점에 커패시터가 배치되는 차량용 카메라.
  17. 제 15항에 있어서,
    상기 복수의 전극에 인가되는 각각의 전압 레벨을 제어하는 프로세서;를 더 포함하는 차량용 카메라.
  18. 제 17항에 있어서,
    상기 프로세서는,
    상기 복수의 전극 각각의 전압 레벨을 일정하게 제어하는 차량용 카메라.
  19. 제 17항에 있어서,
    상기 프로세서는,
    상기 복수의 전극중 중심에 배치되는전극의 전압 레벨을 상기 복수의 전극중 외곽에 배치되는 전극의 전압 레벨보다 더 높게 제어하는 차량용 카메라.
  20. 제 17항에 있어서,
    상기 프로세서는,
    상기 이미지 센서를 통해 획득된 영상을 처리하는 차량용 카메라.
  21. 이미지 센서;
    제1 액정층(liquid cristal layer)을 포함하고, 인가되는 전압에 기초하여 상기 제1액정층에 포함된 액정 분자들의 배열 상태에 따라 상기 이미지 센서에 유입되는 광을 변화시키는 제1 가변 렌즈; 및
    상기 이미지 센서와 상기 제1가변 렌즈 사이에 배치되고,
    제2 액정층을 포함하고, 인가되는 전압에 기초하여 상기 제2액정층에 포함된 액정 분자들의 배열 상태에 따라 상기 이미지 센서에 유입되는 광을 변화시키는 제2 가변 렌즈;를 포함하고,
    상기 제1 가변 렌즈는,
    복수의 전극이 서로 이격되어 배치되는 제1 기판을 포함하고,
    상기 제1 기판에 포함된 복수의 전극은 상하 방향 또는 좌우 방향으로 길게 배치되고,
    상기 제2 가변 렌즈는,
    복수의 전극이 서로 이격되어 배치되는 제3 기판을 포함하고,
    상기 제3 기판에 포함된 복수의 전극은 상하 방향 또는 좌우 방향으로 길게 배치되는 차량용 카메라.
  22. 삭제
  23. 삭제
  24. 제 21항에 있어서,
    상기 제1 기판에 포함된 복수의 전극의 개수는 상기 제3 기판에 포함된 복수의 전극의 개수보다 많은 차량용 카메라.
  25. 삭제
  26. 제1 이미지 센서;
    제1액정층(liquid cristal layer)을 포함하고, 인가되는 전압에 기초하여 상기 제1 액정층에 포함된 액정 분자들의 배열 상태에 따라 상기 제1 이미지 센서에 유입되는 광을 변화시키는 제1 가변 렌즈;
    제2이미지 센서;및
    제2액정층을 포함하고, 인가되는 전압에 기초하여 상기 제2액정층에 포함된 액정 분자들의 배열 상태에 따라 상기 제2 이미지 센서에 유입되는 광을 변화시키는 제2가변 렌즈;
    상기 제1 이미지 센서를 통해 획득한 제1 영상 및 상기 제2 이미지 센서를 통해 확득한 제2 영상을 처리하는 프로세서;를 포함하고,
    상기 제1 가변 렌즈에 열을 공급하는 열선; 및
    외관을 형성하고, 상기 제1 이미지 센서, 상기 제1 가변 렌즈, 상기 제2 이미지 센서, 상기 제2 가변 렌즈 및 상기 프로세서를 수용하는 하우징;을 포함하고,
    상기 하우징은,
    상기 제1 가변 렌즈를 지지하는 홀더를 포함하고,
    상기 홀더는, 상기 제1 가변 렌즈의 일부를 수용하는 슬롯을 포함하고,
    상기 열선은, 상기 슬롯 내부에 형성되는 차량용 스테레오 카메라.
KR1020160042973A 2016-04-07 2016-04-07 차량 운전 보조 장치 및 차량 KR101822894B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160042973A KR101822894B1 (ko) 2016-04-07 2016-04-07 차량 운전 보조 장치 및 차량
CN201611088692.5A CN107272168B (zh) 2016-04-07 2016-11-30 车辆用照相机
EP17164525.2A EP3229069B1 (en) 2016-04-07 2017-04-03 Vehicle camera
US15/481,105 US10317771B2 (en) 2016-04-07 2017-04-06 Driver assistance apparatus and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160042973A KR101822894B1 (ko) 2016-04-07 2016-04-07 차량 운전 보조 장치 및 차량

Publications (2)

Publication Number Publication Date
KR20170115372A KR20170115372A (ko) 2017-10-17
KR101822894B1 true KR101822894B1 (ko) 2018-01-29

Family

ID=58489528

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160042973A KR101822894B1 (ko) 2016-04-07 2016-04-07 차량 운전 보조 장치 및 차량

Country Status (4)

Country Link
US (1) US10317771B2 (ko)
EP (1) EP3229069B1 (ko)
KR (1) KR101822894B1 (ko)
CN (1) CN107272168B (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2823689T3 (pl) * 2012-03-05 2019-05-31 Saint Gobain Układ szyby z elektrycznie ogrzewaną przysłoną światła rozproszonego
KR20170071120A (ko) * 2015-12-15 2017-06-23 현대자동차주식회사 Lkas 시스템, 이를 포함하는 차량, 및 lkas 제어 방법
JP6673072B2 (ja) * 2016-07-19 2020-03-25 株式会社デンソー 車両用カメラ装置
KR102462502B1 (ko) * 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
KR102537598B1 (ko) * 2016-10-11 2023-06-01 주식회사 에이치엘클레무브 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법
CN106683408A (zh) * 2017-02-14 2017-05-17 北京小米移动软件有限公司 车辆监控方法和装置
KR101869480B1 (ko) * 2017-11-21 2018-06-20 주식회사 영신 전자제어 방식을 이용한 지게차 작업 안전 제어시스템
KR102266640B1 (ko) * 2017-11-30 2021-06-18 현대모비스 주식회사 클러스터 일체형 헤드업 디스플레이 장치
JP6922706B2 (ja) * 2017-12-06 2021-08-18 トヨタ自動車株式会社 センサー搭載構造
JP6922705B2 (ja) * 2017-12-06 2021-08-18 トヨタ自動車株式会社 センサー搭載構造
JP7125261B2 (ja) * 2017-12-12 2022-08-24 小島プレス工業株式会社 車両用撮影装置
US10754336B2 (en) 2018-05-04 2020-08-25 Waymo Llc Using environmental information to estimate sensor functionality for autonomous vehicles
JP7143636B2 (ja) * 2018-06-01 2022-09-29 株式会社デンソー 撮像装置
CN109109744B (zh) * 2018-07-27 2020-12-01 上海理工大学 一种显示缺失图像的系统及布置方法
CN108965644B (zh) * 2018-07-27 2020-12-01 上海理工大学 一种显示缺失图像的系统及布置方法
CN109109745B (zh) * 2018-07-27 2020-12-25 上海理工大学 一种显示缺失图像的系统
CN108919960B (zh) * 2018-07-27 2020-12-25 上海理工大学 一种显示缺失图像的系统
DE102018213078B4 (de) * 2018-08-06 2020-06-18 Zf Friedrichshafen Ag Verdunkelungsvorrichtung für eine ADAS-Kamera, Steuergerät für ein ADAS-Kamerasystem, ADAS-Kamerasystem und Fahrzeug mit einem ADAS-Kamerasystem
CN108995586B (zh) * 2018-08-30 2024-02-20 上海航盛实业有限公司 一种基于智能驾驶的车道偏离预警装置
KR20200042660A (ko) * 2018-10-16 2020-04-24 현대자동차주식회사 차량 디스플레이 제어 장치, 그를 포함한 시스템 및 그 방법
WO2021009634A1 (en) * 2019-07-16 2021-01-21 Ricoh Company, Ltd. Capturing unit and method of manufacturing capturing unit
KR20210154520A (ko) * 2020-06-12 2021-12-21 엘지이노텍 주식회사 카메라 모듈
CN111731189B (zh) * 2020-07-04 2022-03-29 鹰潭奥创科技有限公司 一种基于卫星定位的汽车驾驶辅助装置
JP2022039114A (ja) * 2020-08-27 2022-03-10 本田技研工業株式会社 ウィンドウ
DE102020212218A1 (de) 2020-09-28 2022-03-31 Volkswagen Aktiengesellschaft Fahrzeugkamera mit mechaniklos variierbarer Sichtachse
DE102021105094B3 (de) 2021-03-03 2022-06-09 Valeo Schalter Und Sensoren Gmbh Kraftfahrzeugkamera, Fahrerassistenzsystem, Kraftfahrzeug und Verfahren zum Steuern einer Kraftfahrzeugkamera
DE102022104773A1 (de) * 2022-03-01 2023-09-07 Valeo Schalter Und Sensoren Gmbh Kameravorrichtung für ein fahrzeug, fahrzeug und verfahren zurherstellung einer kameravorrichtung

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009200646A (ja) * 2008-02-19 2009-09-03 Olympus Imaging Corp 撮像装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3877475B2 (ja) * 1999-09-22 2007-02-07 富士重工業株式会社 車載カメラの取付構造
DE10162652A1 (de) * 2001-12-20 2003-07-03 Bosch Gmbh Robert Stereo-Kamera-Anordnung in einem Kraftfahrzeug
US7694210B2 (en) * 2002-07-31 2010-04-06 Broadcom Corporation Turbo-coding DOCSIS information for satellite communication
CN1261787C (zh) * 2003-03-10 2006-06-28 京瓷株式会社 摄像装置
JP4328692B2 (ja) * 2004-08-11 2009-09-09 国立大学法人東京工業大学 物体検出装置
CN100561299C (zh) * 2004-11-22 2009-11-18 西铁城控股株式会社 液晶光学元件及其制造方法
JP4671341B2 (ja) * 2005-07-28 2011-04-13 シチズン電子株式会社 液晶レンズ装置
WO2007105804A1 (ja) * 2006-03-13 2007-09-20 Citizen Holdings Co., Ltd. 自動合焦点装置及び光学素子
JP2007248985A (ja) * 2006-03-17 2007-09-27 Citizen Holdings Co Ltd 液晶レンズおよび電子機器
KR101350475B1 (ko) * 2007-04-12 2014-01-15 삼성전자주식회사 고효율 2차원/3차원 겸용 영상 표시장치
US8786759B2 (en) * 2007-08-28 2014-07-22 Motorola Mobility Llc Method and apparatus for auto-focus using liquid crystal adaptive optics
JP2009180951A (ja) * 2008-01-31 2009-08-13 Citizen Holdings Co Ltd 合焦点装置
JP2009246932A (ja) * 2008-03-13 2009-10-22 Olympus Imaging Corp 撮影レンズユニット及びそれを用いた電子機器
JP5324946B2 (ja) * 2008-04-25 2013-10-23 富士重工業株式会社 ステレオカメラユニット
EP2230788A1 (en) * 2009-03-20 2010-09-22 Mitsubishi Electric R&D Centre Europe B.V. Method and device for determining a shifting parameter to be used by a telecommunication device for transferring symbols
JP4529010B1 (ja) * 2009-03-30 2010-08-25 シャープ株式会社 撮像装置
JP5316562B2 (ja) * 2011-02-10 2013-10-16 株式会社デンソー 車載カメラ
DE102011008225B3 (de) * 2011-01-10 2012-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optischer Resonator mit direktem geometrischem Zugang auf der optischen Achse
WO2012099127A1 (ja) * 2011-01-17 2012-07-26 株式会社オルタステクノロジー 液晶レンズ、液晶レンズの駆動方法、レンズユニット、カメラモジュール、及びカプセル型医療機器
KR20120126152A (ko) 2011-05-11 2012-11-21 (주)엠아이웨어 영상 촬영 장치, 영상 촬영 방법 및 영상정보 추출장치
US9070611B2 (en) * 2011-07-29 2015-06-30 Semiconductor Components Industries, Llc Image sensor with controllable vertically integrated photodetectors
DE102011118672A1 (de) * 2011-11-16 2013-05-16 Christoph Mohr Scherenhubtisch
JP5628778B2 (ja) * 2011-11-30 2014-11-19 日立オートモティブシステムズ株式会社 車載カメラの取り付け装置
DE102013200966B4 (de) * 2012-02-10 2023-11-16 Robert Bosch Gmbh Modulvorrichtung für ein Kamerasystem und entsprechendes Kamerasystem
WO2013130667A2 (en) * 2012-02-28 2013-09-06 Correlated Magnetics Research, Llc. System for detaching a magnetic structure from a ferromagnetic material
KR20130112541A (ko) * 2012-04-04 2013-10-14 삼성전자주식회사 플레놉틱 카메라 장치
US9618783B2 (en) * 2012-11-30 2017-04-11 Kopin Corporation Resistor meshes for display heating
JP2015001697A (ja) * 2013-06-18 2015-01-05 日本電気硝子株式会社 液晶レンズ
CN104423116A (zh) * 2013-08-21 2015-03-18 信利光电股份有限公司 变焦镜头及摄像模组
KR102111044B1 (ko) * 2013-12-20 2020-06-08 엘지디스플레이 주식회사 전환형 터치표시장치 및 그 구동방법
KR101579098B1 (ko) * 2014-05-23 2015-12-21 엘지전자 주식회사 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
JP2016014564A (ja) * 2014-07-01 2016-01-28 株式会社リコー 撮像ユニット
KR101724299B1 (ko) * 2015-02-04 2017-04-07 엘지전자 주식회사 트리플 카메라
US9577327B2 (en) * 2015-07-20 2017-02-21 Elwha Llc Electromagnetic beam steering antenna
US11395444B2 (en) * 2015-08-24 2022-07-19 Trw Automotive U.S. Llc Cooling arrangement for a driver assist system
US10875403B2 (en) * 2015-10-27 2020-12-29 Magna Electronics Inc. Vehicle vision system with enhanced night vision
US10232798B2 (en) * 2016-01-29 2019-03-19 Veoneer Us, Inc. Apparatuses for mounting camera arrangements on motor vehicles
JP6601273B2 (ja) * 2016-03-03 2019-11-06 株式会社デンソー カメラ装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009200646A (ja) * 2008-02-19 2009-09-03 Olympus Imaging Corp 撮像装置

Also Published As

Publication number Publication date
KR20170115372A (ko) 2017-10-17
CN107272168B (zh) 2020-04-10
CN107272168A (zh) 2017-10-20
EP3229069A1 (en) 2017-10-11
US20170293199A1 (en) 2017-10-12
US10317771B2 (en) 2019-06-11
EP3229069B1 (en) 2019-08-07

Similar Documents

Publication Publication Date Title
KR101822894B1 (ko) 차량 운전 보조 장치 및 차량
KR101822895B1 (ko) 차량 운전 보조 장치 및 차량
KR101770642B1 (ko) 차량용 조명 장치 및 차량
KR101843774B1 (ko) 차량 운전 보조 장치 및 차량
US11242068B2 (en) Vehicle display device and vehicle
KR101819003B1 (ko) 차량 운전 보조 장치 및 차량
US10240937B2 (en) Display apparatus for vehicle and vehicle
KR101859047B1 (ko) 헤드 램프, 차량 운전 보조 장치 및 차량
KR101859040B1 (ko) 차량용 카메라 장치 및 방법
KR101816572B1 (ko) 차량용 카메라 장치 및 차량
KR20190023637A (ko) 차량용 어라운드 뷰 제공 장치 및 차량
US20200324713A1 (en) Vehicular camera apparatus and method
KR102372566B1 (ko) 차량용 조명 장치 및 차량
KR102077575B1 (ko) 차량 운전 보조 장치 및 차량
KR101850325B1 (ko) 차량용 조명 장치 및 차량

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant