KR20230000482A - 디지털 사이드 미러 제어 시스템 및 방법 - Google Patents

디지털 사이드 미러 제어 시스템 및 방법 Download PDF

Info

Publication number
KR20230000482A
KR20230000482A KR1020210081568A KR20210081568A KR20230000482A KR 20230000482 A KR20230000482 A KR 20230000482A KR 1020210081568 A KR1020210081568 A KR 1020210081568A KR 20210081568 A KR20210081568 A KR 20210081568A KR 20230000482 A KR20230000482 A KR 20230000482A
Authority
KR
South Korea
Prior art keywords
camera
gaze
display unit
angle
unit
Prior art date
Application number
KR1020210081568A
Other languages
English (en)
Inventor
박현진
김규식
이병화
김수철
정시욱
이다연
Original Assignee
한국자동차연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국자동차연구원 filed Critical 한국자동차연구원
Priority to KR1020210081568A priority Critical patent/KR20230000482A/ko
Publication of KR20230000482A publication Critical patent/KR20230000482A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/22—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/2257—
    • H04N5/23299—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B60K2360/21—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze

Abstract

본 발명은 디지털 사이드 미러 제어 시스템 및 방법에 관한 것으로, 운전자의 시선을 추적하여 시선의 움직임에 따라 카메라의 촬영각도를 변경하고, 변경된 촬영각도로 촬영된 후방영상이 표시되도록 함으로써, 시선의 움직임을 바탕으로 카메라의 촬영각도를 조정함으로써, 주행상황에 적합한 영상을 표시하여 운전자의 편의성이 향상되고, 시선의 움직임에 따라 후방영상이 변경되어 표시되므로 사각지대를 최소화하고 사고 확률을 감소시켜 차량의 안전성이 향상되는 효과가 있다.

Description

디지털 사이드 미러 제어 시스템 및 방법{Digital Side Mirror Control System and Method for Vehicle}
본 발명은 사이드 미러를 대체하여, 카메라를 통해 촬영되는 후방영상을 표시하는 디지털 사이드 미러 제어 시스템 및 방법에 관한 것이다.
자동차는 차량의 좌측과 우측에 외측방향으로 돌출되는 미러(사이드 미러)가 각각 구비되고, 차량의 내부에는 운전석과 보조석의 사이, 차량의 상부 천장에 룸미러가 구비된다.
아날로그식 사이드 미러의 경우 사각지대가 발생하고 외부의 날씨에 따라 선명도가 상이하고 실외에서 주차장 등의 실내 공간으로 이동하는 경우 김서림으로 인하여 사이드 미러가 제 기능을 발휘하지 못하는 문제가 있다.
그에 따라, 최근 자동차는 후방영상을 촬영하는 카메라를 구비하여 차량 내부에서 촬영된 영상을 화면에 표시하는 디지털 사이드 미러 또는 디지털 사이드 미러가 증가하는 추세다.
자동차는 대한민국 공개특허 제10-2012-0042220호에 기재된 바와 같이, 카메라를 이용하여 사이드 미러를 구현하고 있다.
다만, 이러한 디지털 사이드 미러는 카메라의 화각 범위 내에서 영상을 표시하는 것으로, 표시할 수 있는 범위에 한계가 있다는 문제점이 있다.
또한, 차량의 회전하거나 운전자가 특정 방향에 대한 후방의 정보를 획득하고자 하는 경우에도 고정된 범위의 화각 내에서 후방 영상을 표시함에 따라 그 활용도가 낮고, 조정이 어려워 한정된 영상만을 표시하는 불편함이 있다.
대한민국 공개특허 제10-2012-0042220호
본 발명은 상기와 같은 필요성에 의해 창출된 것으로서, 운전자의 시선을 추적하여 시선 방향에 따라 카메라의 촬영각도를 조절함으로써, 촬영각도가 변경된 후방영상이 표시되도록 하는 디지털 사이드 미러 제어 시스템 및 방법을 제공하는 데 그 목적이 있다.
본 발명은 운전자의 얼굴을 인식하고 동공 또는 홍채의 이동을 분석하고 차량의 주행상황에 따라 카메라를 제어하여 영상을 조절하는 디지털 사이드 미러 제어 시스템 및 방법을 제공하는 데 그 목적이 있다.
상기한 목적을 달성하기 위하여 본 발명에 따른 디지털 사이드 미러 제어 시스템은, 차량의 제 1 측면에 설치되어 영상을 촬영하는 제 1 카메라; 상기 차량의 제 2 측면에 설치되어 영상을 촬영하는 제 2 카메라; 상기 제 1 카메라의 영상을 표시하는 제 1 표시부; 상기 제 2 카메라의 영상을 표시하는 제 2 표시부; 운전자의 얼굴을 검출하고 시선의 움직임을 추적하여, 시선위치와 시선유지시간이 포함된 시선정보를 입력하는 시선감지부; 및 상기 시선정보를 바탕으로 상기 제 1 표시부 또는 상기 제 2 표시부에 대한 시선에 대하여, 상기 시선위치에 해당하는 표시부를 판단하고, 상기 제 1 카메라 및 상기 제 2 카메라 중 상기 표시부에 대응하는 카메라의 촬영각도가 변경되도록 각도조절값을 설정하여 제어하는 제어부;를 포함한다.
상기 시선감지부는 상기 제 1 표시부 또는 상기 제 2 표시부로의 시선에 대하여, 표시영역을 분할하고, 분할영역 중 상기 시선위치를 검출하여 상기 각도조절값을 설정하는 것을 특징으로 한다.
상기 제어부는 상기 시선정보에 대응하여, 상기 시선위치가 상기 제 1 표시부인 경우 상기 제 1 카메라의 촬영각도를 변경하고, 상기 시선위치가 상기 제 2 표시부인 경우 상기 제 2 카메라의 촬영각도를 변경하는 것을 특징으로 한다.
상기 제어부는 상기 제 1 표시부 또는 상기 제 2 표시부로의 시선에 대하여, 상기 시선유지시간이 상기 설정시간 이상이면 상기 시선위치에 대응하여 각도조절값을 설정하여 카메라의 촬영각도를 변경하도록 하고, 상기 제 1 표시부 또는 상기 제 2 표시부에 대한 시선이 아닌 경우, 및 상기 시선유지시간이 설정시간 미만인 경우, 카메라의 촬영각도를 유지하는 것을 특징으로 한다.
상기 차량의 후방에 설치되어 영상을 촬영하는 제 3 카메라; 상기 제 3 카메라의 영상을 표시하는 제 3 표시부;를 더 포함하고, 상기 제어부는 상기 제 3 카메라로의 시선에 대응하여 상기 제 3 카메라의 촬영각도가 변경되도록 제어하는 것을 특징으로 한다.
본 발명의 디지털 사이드 미러 제어 시스템의 제어방법은, 차량의 제 1 측면에 설치된 제 1 카메라가 영상을 촬영하고, 상기 차량의 제 2 측면에 설치된 제 2 카메라가 영상을 촬영하는 단계; 제 1 표시부가 상기 제 1 카메라의 영상을 표시하고, 제 2 표시부가 상기 제 2 카메라의 영상을 표시하는 단계; 운전자의 얼굴을 검출하고 시선의 움직임을 추적하여 시선을 감지하는 단계; 상기 제 1 표시부 또는 상기 제 2 표시부에 시선이 위치하는 경우, 감지된 시선의 시선위치에 해당하는 표시부를 판단하고, 상기 제 1 카메라 및 상기 제 2 카메라 중, 상기 표시부에 대응하는 카메라의 촬영각도가 변경되도록 각도조절값을 설정하는 단계; 및 상기 카메라의 촬영각도가 변경되고, 변경된 촬영각도로 촬영된 영상이 표시되는 단계; 를 포함한다.
시선감지 결과, 시선위치가 상기 제 1 표시부인 경우 상기 제 1 카메라의 촬영각도를 변경하는 단계; 및 상기 시선위치가 상기 제 2 표시부인 경우 상기 제 2 카메라의 촬영각도를 변경하는 단계를 더 포함한다.
상기 제 1 표시부 또는 상기 제 2 표시부에 대한 시선이 아닌 경우 및 시선유지시간이 설정시간 미만인 경우, 상기 제 1 카메라 및 상기 제 2 카메라의 촬영각도를 유지하는 단계;를 더 포함한다.
상기 제 1 표시부 또는 상기 제 2 표시부에 시선이 위치하는 경우, 시선유지시간이 설정시간 이상이면 시선위치에 대응하여 각도조절값을 설정하여 카메라의 촬영각도를 변경하는 것을 특징으로 한다.
상기 제 1 표시부 또는 상기 제 2 표시부에 시선이 위치하는 경우, 표시영역을 분할하고, 분할영역 중 시선위치를 검출하여 상기 각도조절값을 설정하는 단계; 를 더 포함한다.
제 3 카메라가 상기 차량의 후방에 설치되어 영상을 촬영하는 단계; 제 3 표시부를 통해 상기 제 3 카메라의 영상을 표시하는 단계; 및 상기 제 3 카메라로의 시선에 대응하여 상기 제 3 카메라의 촬영각도를 변경하는 단계; 를 더 포함한다.
일 측면에 따르면, 본 발명의 디지털 사이드 미러 제어 시스템 및 방법은, 운전자의 얼굴을 인식하여 얼굴의 움직임 또는 동공 또는 홍채의 움직임을 분석하여 시선의 움직임을 추적함으로써 운전자의 주행 시야를 추정할 수 있다.
본 발명 시선의 움직임을 바탕으로 카메라를 조절함으로써, 주행상황에 적합한 영상을 표시하여 운전자의 편의성이 향상되는 효과가 있다.
본 발명은 시선의 움직임에 따라 후방영상을 변경하여 표시함으로써 사각지대를 최소화하고 사고 확률을 감소시켜 차량의 안전성이 향상되는 효과가 있다.
도 1 은 본 발명의 일 실시예에 따른 디지털 사이드 미러 제어 시스템의 구성이 간략하게 도시된 블록도이다.
도 2 는 도 1 의 디지털 사이드 미러 제어 시스템의 카메라의 추가 구성을 설명하는데 참조되는 블록도이다.
도 3 은 본 발명의 일 실시예에 따른 디지털 사이드 미러 제어 시스템이 구비되는 차량의 내부 구조가 도시된 도이다.
도 4 는 본 발명의 일 실시예에 따른 디지털 사이드 미러 제어 시스템의 카메라 촬영각도를 설명하는데 참조되는 도이다.
도 5 는 본 발명의 일 실시 예에 따른 디지털 사이드 미러 제어 시스템의 시선 추적을 설명하는데 참조되는 도이다.
도 6 은 본 발명의 일 실시예에 따른 디지털 사이드 미러 제어 시스템의 시선에 따라 디지털 사이드 미러를 제어하는 실시예가 도시된 도이다.
도 7 은 본 발명의 일 실시예에 따른 디지털 사이드 미러 제어 시스템의 제어방법이 도시된 도이다.
이하, 첨부된 도면들을 참조하여 본 발명을 설명하도록 한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 은 본 발명의 일 실시예에 따른 디지털 사이드 미러 제어 시스템의 구성이 간략하게 도시된 블록도이다.
도 1 에 도시된 바와 같이, 차량에 구비되는 디지털 사이드 미러 제어 시스템은 표시부, 카메라부(170), 구동부(160), 카메라구동부(120), 영상처리부(140), 시선감지부(130), 통신부(150) 그리고 동작 전반을 제어하는 제어부(110)를 포함한다.
표시부는 제 1 표시부(181)와 제 2 표시부(182)를 포함한다.
카메라부(170)는 차량 주변의 영상을 촬영한다. 카메라부(170)는 차량의 제 1 측면에 설치되어 영상을 촬영하는 제 1 카메라(171)와 차량의 다른 측, 제 2 측면에 설치되어 영상을 촬영하는 제 2 카메라(172)를 포함한다.
제 1 카메라(171)는 차량의 외부, 운전석 측 측면에 설치되고, 제 2 카메라(172)는 차량의 외부, 보조석 측 측면에 설치될 수 있다.
제 1 카메라(171)는 차량의 운전석 측의 측면으로부터 후방과 측면방향에 대한 영상을 촬영한다. 제 2 카메라(172)는 차량의 보조석 측의 측면으로부터 후방과 측면방향에 대한 영상을 촬영한다.
제 1 카메라(171) 및 제 2 카메라(172)는 차량의 외부 양측면에 각각 밀착된 상태로 소형의 카메라로 구성된다. 또한, 제 1 카메라(171) 및 제 2 카메라(172)는 외부에 보호용 하우징이 구비될 수 있다. 하우징은 카메라부를 외부충격, 눈, 비로부터 보호하고, 저온에서 보온효과를 부여하며, 외부의 공기저항을 줄이는 효과를 갖는다. 또한, 하우징에는 다른 차량의 접근을 감지하는 센서가 설치될 수 있다.
카메라부(170)는 제어부(110)의 제어명령에 대응하여, 감도를 변경할 수 있다. 카메라부(170)는 복수의 카메라의 감도를 각각 개별 제어할 수 있다.
카메라부(170)는 구동부(160)에 의해 이동하거나 또는 회전하고, 그에 따라 촬영각도가 변경된다.
카메라구동부(120)는 제어부(110)의 제어명령에 대응하여 구동부(160)로 동작전원을 인가하고, 구동부(160)의 동작을 제어한다. 카메라구동부(120)는 각 카메라에 연결되는 복수의 구동부에 대하여 개별제어 한다.
구동부(160)는 카메라부(170)에 구비되는 복수의 카메라에 각각 연결되어, 카메라구동부(120)의 제어명령에 따라 각 카메라의 촬영각도를 조정한다.
구동부(160)는 제 1 카메라(171)에 연결되는 제 1 구동부(161)와 제 2 카메라(172)에 연결되는 제 2 구동부(162)를 포함한다.
구동부(160)는 카메라구동부(120)로부터 공급되는 전원에 의해 상, 하, 좌, 우 중 어느 하나의 방향으로 이동하거나 회전함으로써 연결되는 카메라부(170)를 이동하거나 회전시키고 그에 따라 각 카메라의 촬영각도를 변경한다.
구동부(160)는 카메라의 촬영각도를 변경하는 각도조절수단(미도시)과 회전수단(미도시)을 포함한다. 구동부(160)는 각도조절수단을 통해 카메라의 촬영각도를 상하 조절하고, 회전수단을 통해 좌우의 촬영각도를 조정할 수 있다. 구동부(160)는 복수의 모터(미도시)와 복수의 액추에이터(미도시) 등을 포함할 수 있다.
영상처리부(140)는 카메라부(170)의 복수의 카메라에 의해 촬영된 영상을 입력받아 영상을 변환하고 특정 포맷으로 인코딩하여 영상데이터를 생성한다.
영상처리부(140)는 촬영된 영상의 밝기에 대응하여, 표시부를 통해 출력되는 영상(영상데이터)의 밝기를 자동으로 변경할 수 있다. 영상처리부(140)는 자동 화이트 발란스(Auto White Balance) 기능과 자동 노출(Auto Exposure) 기능을 수행하여, 자동적으로 색온도를 조정하고 자동적으로 노출 정도를 조정하여 영상데이터를 형성한다.
영상처리부(140)는 제 1 카메라(171)의 영상과 제 2 카메라(172)의 영상을 구분하여 처리한다.
영상처리부(140)는 영상 내의 차량 주변의 객체를 검출하고, 차량의 속도를 바탕으로 객체의 움직임을 감지할 수 있다. 영상처리부(140)는 주변의 객체가 차량에 일정거리 이상 접근하는 경우 제어부(110)로 경고신호를 인가한다.
영상처리부(140)는 카메라의 영상으로 통해 차선을 검출하고, 주행 중 차선변경이 아닌 상태에서 차량이 차선을 넘는 경우 제어부(110)로 경고신호를 인가한다.
제 1 표시부(181)는 제 1 카메라(171)에 의해 촬영되어 영상처리부(140)에 의해 영상 처리된 제 1 영상데이터를 표시한다.
제 2 표시부(182)는 제 2 카메라(172)에 의해 촬영되어 영상 처리된 제 2 영상데이터를 표시한다.
제 1 표시부(181)는 운전석 측의 도어 또는 전면유리의 운전석 측 끝단에 설치될 수 있다. 제 2 표시부(182)는 보조석 측의 도어 또는 전면유리의 보조석 측 끝단에 설치될 수 있다.
또한, 제 1 표시부(181)는 운전석의 스티어링휠(미도시) 또는 계기판(40)을 기준으로 제 1 측 전면에 설치되고, 제 2 표시부(182)는 스티어링휠 또는 계기판(40)을 기준으로 제 2 측 전면에 설치될 수 있다. 예를 들어 제 1 표시부와 제 2 표시부는 운전석의 계기판(40)을 기준으로 계기판의 좌측과 우측에 각각 설치될 수 있다.
시선감지부(130)는 운전자의 얼굴을 인식하고, 동공 또는 홍채를 검출하여 눈의 움직임을 산출한다.
시선감지부(130)는 얼굴의 이동, 동공 또는 홍체의 이동을 검출함으로써, 시선의 변화를 통해 어느 위치에 운전자의 시선이 머무르는지 시선의 움직임을 산출하여 제어부(110)로 인가한다.
시선감지부(130)는 운전자가 정면을 주시하는 경우, 좌측의 제 1 표시부(181)를 주시하는 경우, 및 우측의 제 2 표시부(182)를 주시하는 경우를 각각 구분할 수 있다. 시선감지부(130)는 시선이 전면을 향하는 중에 시선이 전면의 좌측 또는 우측으로 이동하는 경우, 시선의 움직임에 대한 정보를 제어부(110)로 인가한다.
또한, 시선감지부(130)는 특정 지점(영역)에 시선이 머무는 시간, 즉 시선유지시간을 카운트하여 시선위치와 시선유지시간에 대한 시선정보를 제어부(110)로 인가한다.
시선감지부(130)는 제 1 표시부(181) 또는 제 2 표시부(182)로의 시선에 대하여, 각 표시부의 영역을 분할하여 어느 하나의 표시부에서의 시선의 위치를 세분화할 수 있다.
예를 들어 시선감지부(130)는 제 1 표시부(181)의 표시영역을 1/9로 분할하여 영역 별 시선을 검출할 수 있다. 표시영역에 대한 영역을 1/2로 분할하는 경우 좌측과 우측으로 시선을 구분하고, 1/9로 분할하는 경우, 상, 하, 좌, 우, 우상, 좌상, 우상, 우하로 각각 구분하여 시선의 위치를 산출한다.
제어부(110)는 운전자의 시선에 대응하여, 제 1 카메라(171) 또는 제 2 카메라(172)의 촬영각도가 변경되도록 제어명령을 생성한다.
제어부(110)는 시선감지부(130)를 통해 감지되는 운전자의 시선에 대응하여 카메라구동부(120)로 제어명령을 인가한다. 또한, 제어부(110)는 스티어링휠의 각도또는 주행방향에 대응하여 카메라의 촬영각도를 변경할 수 있다.
제어부(110)는 시선위치와, 그 에 대한 분할영역의 위치에 따라 각도조절값을 설정할 수 있다.
제어부(110)는 시선이 전면을 향하는 중에 시선이 전면의 좌측 또는 우측으로 이동하는 경우, 시선의 위치와 시선이 머무는 시간(시선유지시간)에 대응하여 카메라의 촬영각도를 변경할 수 있고 또한, 운전모드와 스티어링휠의 각도를 고려하여 카메라의 촬영각도를 변경할지 여부를 판단한 후 제어명령을 인가할 수 있다.
제어부(110)는 제 1 표시부(181) 또는 제 2 표시부(182)로의 시선에 대하여, 영역분할을 통해 특정 영역에 시선이 일정시간 이상 머무는 경우 해당 영역의 위치에 대응하여, 대응하는 카메라의 촬영각도를 조정하는 각도조절값을 설정하여 제어명령을 생성한다. 또한 제어부(110)는 제 2 표시부(182)로의 시선에 대응하여 제 2 카메라(172)의 촬영각도를 조정하도록 제어명령을 생성할 수 있다.
예를 들어 제어부(110)는 제 1 표시부의 표시영역을 1/9 분할하여 우하로 시선이 이동하여 일정시간 시선이 유지되는 경우, 카메라가 우측 아래 방향으로 일정각도 변경되도록 제어명령을 생성한다. 그에 따라 카메라구동부(120)는 제 1 카메라와 연결된 제 1 구동부(161)를 동작시키고, 제 1 구동부(161)에 의해 제 1 카메라(171)의 촬영각도가 우측 하방으로 일정각 조정된다.
또한, 제어부(110)는 각 카메라에 기본 위치를 설정하여 저장하고, 특정키 또는 음성명령에 의해 초기화명령이 입력되는 경우, 카메라의 촬영각도를 설정된 기본위치로 변경하도록 제어한다.
제어부(110)는 카메라를 통해 촬영된 영상의 밝기에 대응하여, 카메라의 감도를 조절할 수 있다. 또한, 제어부(110)는 조도센서(미도시)를 통해 감지되는 차량 주변의 밝기에 대응하여 카메라의 감도를 조절할 수 있다.
그에 따라 카메라는 밝기에 대응하여 감도를 조절하고, 영상처리부는 촬영된 영상의 밝기를 이용하여 영상을 조정하여, 어둡거나 너무 밝은 상황에서도 보다 선명한 영상데이터를 생성할 수 있다.
또한, 제어부(110)는 차량 주변의 객체 접근 또는 주행 중 차선 이동 등에 대한 경고신호가 입력되면, 그에 대응하여, 스피커(미도시), 표시부, 계기판(40) 및 HUD(미도시) 중 적어도 하나를 통해 경고메시지, 경고등, 경고음 등을 출력한다.
통신부(150)는 차량 내 CAN통신을 이용하여 각 구성간의 데이터를 송수신한다. 또한, 통신부(150)는 복수의 무선통신모듈을 포함하여 차량 외의 단말 또는 외부의 서버 등과 통신한다.
예를 들어 통신부(150)는 블루투스를 이용하여 운전자의 휴대용 단말과 연결될 수 있고, 외부의 서버로부터 교통정보를 수신하거나 또는 차량 주변에 위치하는 건물 또는 시설, 예를 들어 주유소, 편의점, 식당, 휴게소 등에 대한 정보를 수신할 수 있다.
또한, 통신부(150)는 차량 사고 발생 시 사고 정보를 외부의 서버로 전송하고, 사고를 신고할 수 있다.
도 2 는 도 1 의 차량용 디지털 사이드 미러 제어 시스템의 카메라의 추가 구성을 설명하는데 참조되는 블록도이다.
도 2 에 도시된 바와 같이, 디지털 사이드 미러 제어 시스템은 앞서 설명한 도 1의 구성에 일부 구성이 추가될 수 있다.
카메라부(170)는 앞서 설명한 제 1 카메라(171)와 제 2 카메라(172)를 포함하고, 또한, 차량의 후방에 설치되는 제 3 카메라(173)를 더 포함한다.
제 3 카메라(173)는 차량의 후방, 후면 유리와 트렁크의 상단부에 설치된다.
구동부(160)는 제 1 구동부(161)와 제 2 구동부(162)를 포함하고, 제 3 카메라(173)에 연결되는 제 3 구동부(163)를 더 포함할 수 있다.
제 3 카메라(173)의 영상을 표시하는 제 3 표시부(183)를 더 포함한다.
제 3 표시부(183)는 제 3 카메라(173)에 의해 촬영되어 영상처리부(140)에 의해 영상 처리된 제 3 영상데이터를 표시한다.
제 3 표시부(183)는 룸미러 또는 백미러로 동작할 수 있다.
시선감지부(130)는 제 3 표시부(183)로의 시선을 감지하고 그에 대한 시선정보를 제어부(110)로 인가한다.
제어부(110)는 제 3 표시부(183)에 대한 시선에 대응하여, 카메라구동부(120)로 제어명령을 인가하고, 그에 따라 제 3 구동부(163)가 동작하여 제 3 카메라(173)의 촬영각도가 변경된다. 제 3 카메라(173)는 변경된 촬영각도로 영상을 촬영하고, 영상처리부(140)에 의해 영상 처리된 영상데이터는 제 3 표시부(183)를 통해 출력된다.
도 3 은 본 발명의 일 실시예에 따른 차량용 디지털 사이드 미러 제어 시스템이 구비되는 차량의 내부 구조가 도시된 도이다.
도 3 에 도시된 바와 같이, 차량의 내부에는 운전석(45)을 기준으로 차량의 주행 방향을 조절하는 스티어링휠(11), 스티어링휠(11)에 구비되는 입력부(12), 차량의 주행 정보가 표시되는 계기판(40), 제 1 표시부(181), 제 2 표시부(182), 제 3 표시부(183), 운전석(45)의 제 1 도어(20), 제 1 윈도우(21), 보조석의 제 2 도어(28), 제 2 윈도우(29), 네비게이션 시스템, 공기조화시스템(미도시) 등이 구비된다. 또한, 계기판의 상부에는 HUD시스템(미도시)이 구비될 수 있다.
제 1 표시부(181)는 제 1 카메라(171)와 연결되어 차량의 내부에 배치되며, 제 1 카메라(171)의 제 1 영상데이터를 출력한다.
제 1 표시부(181)는 도시된 바와 같이, 운전석(45)의 좌측, 제 1 도어(20)와 전면유리(30)의 사이에 배치될 수 있다. 제 1 표시부(181)는 제 1 도어(20)와 제 1 윈도우(21)의 사이, 어느 일 측에 배치될 수 있다.
제 2 표시부(182)는 보조석의 우측, 제 2 도어(28)와 전면유리(30) 사이에 배치될 수 있고, 또한, 제 2 도어(28)에 제 2 도어와 제 2 윈도우(29)의 사이, 어느 일 측에 배치될 수 있다.
또한, 계기판(40)의 좌측에 제 1 표시부(181)가 배치되고, 계기판(40)의 우측에 제 2 표시부(182)가 배치될 수 있다.
제 3 표시부(183)는 룸미러(또는 백미러)로써 동작할 수 있다.
도 4 는 본 발명의 일 실시예에 따른 차량용 디지털 사이드 미러 제어 시스템의 카메라 촬영각도를 설명하는데 참조되는 도이다.
도 4의 (a)에 도시된 바와 같이, 차량의 좌측에 제 1 카메라(171)가 설치된다. 제 1 카메라(171)는 제 1 구동부(161)에 의해 촬영각도가 변경된다.
제 1 카메라(171)는 제 1 구동부(161)에 의해 A각도 범위 내에서 촬영각도가 결정될 수 있다. 제 1 카메라(171)는 제 1 각도(A1)로 촬영각도가 결정되면, 차량의 측면과 측면 후방을 촬영한다. 제 1 카메라(171)는 제 2 각도(A3)로 촬영각도가 결정되면 차량의 좌측 후방을 촬영한다.
제 1 카메라에 의해 촬영되는 영상은 제 1 표시부(181)를 통해 출력된다.
제 2 카메라(172)는 차량의 우측에 설치된다.
제 2 카메라(172) 또한 제 1 카메라와 같이 제 2 카메라(172)는 제 2 구동부(162)에 의해 A각도 범위 내에서 촬영각도가 결정된다. 제 2 카메라는 촬영각도의 범위가 제 1 카메라와 동일하게 설정될 수 있다. 다만 제 2 카메라는 차량의 우측에 설치됨에 따라, 차량의 우측 측면 내지 우측 후방에 대한 영상을 촬영한다.
제 2 카메라에 의해 촬영되는 영상은 제 2 표시부(182)를 통해 출력된다.
도 4의 (b)에 도시된 바와 같이, 차량의 후방에는 제 3 카메라(173)가 설치된다.
제 3 카메라(173)는 차량의 후면유리의 상부에 설치되어, 차량의 후방에 대한 영상을 촬영한다.
제 3 카메라(173)는 제 3 구동부(163)에 의해 B각도 범위 내에서 촬영각도가 결정될 수 있다. 제 3 카메라(173)는 제 3 각도(B1)를 기본 화각으로 하되, B각도 범위 내의 촬영각도로 영상을 촬영한다.
제 3 카메라에 의해 촬영되는 영상은 제 3 표시부(183)를 통해 출력된다.
카메라부(170)는 카메라구동부(120) 및 구동부(160)에 의해 촬영각도가 조절된다.
구동부(160)는 제 1 카메라(171) 내지 제 3 카메라(173)의 각각의 각도조절을 위한 모터와 구동수단을 포함하여, 카메라구동부(120)의 제어명령에 따라 모터를 제어하여 각 카메라의 각도를 조절한다. 구동부(160)는 모터 구동 시, 각도조절수단 또는 회전수단을 통해 구동력이 각 카메라로 전달되어 카메라가 이동하거나 회전한다.
촬영각도에 대한 범위는 제 1 카메라(171), 제 2 카메라(172) 및 제 3 카메라(173)의 렌즈 화각, 이미지프로세서의 크기, 제 1 구동부 내지 제 3 구동부(161 내지 163)의 이동 범위 또는 회전 범위 내에서 결정되며, 도면에 한정되지 않음을 명시한다.
도 5 는 본 발명의 일 실시 예에 따른 차량용 디지털 사이드 미러 제어 시스템의 시선 추적을 설명하는데 참조되는 도이다.
도 5에 도시된 바와 같이, 시선감지부(130)는 운전자의 얼굴을 인식하고, 눈의 위치를 검출하거나 동공 또는 홍채를 검출하여 시선의 움직임을 감지한다.
제 1 시선감지부(131)는 계기판(40)의 어느 일 측에 구비되어, 운전자의 얼굴을 인식하고 시선을 추적한다. 또한, 제 1 시선감지부(131)는 HUD시스템에 설치될 수 있다.
제 2 시선감지부(132)는 룸미러 또는 제 3 표시부(183)의 어느 일 측에 구비되어 운전자의 얼굴을 인식하고 시선을 추적한다.
시선감지부(130)는 제 1 시선감지부(131) 및 제 2 시선감지부(132) 중 적어도 하나를 포함하고, 경우에 따라 추가 설치될 수 있다.
시선감지부(130)는 운전자를 촬영하여 얼굴의 윤곽선을 검출하여 얼굴을 인식한다. 시선감지부(130)는 얼굴의 윤곽을 기준으로 눈을 추출하여 동공 또는 홍채의 움직임을 검출한다.
시선감지부(130)는 운전자가 정면을 주시하는 경우를 기준으로 X축과 Y축을 설정하고, 얼굴이 좌우로 이동하는 경우 X축 좌표로, 얼굴이 상하로 이동하는 경우 Y축 좌표값으로 산출하여 그 움직임을 검출한다.
또한, 시선감지부(130)는 얼굴의 움직임에 대응하여 눈, 즉 시선의 움직임을 검출한다. 얼굴의 움직임과 동시에 시선이 이동하는 경우에 대한 데이터를 누적하여 저장하고 이를 바탕으로 운전자의 시선이 머무는 위치를 산출한다.
시선감지부(130)는 얼굴 또는 눈의 움직이는 정도, 운전자의 키, 차량 내의 각 표시부와 부품의 위치에 대한 데이터를 바탕으로 상대적 위치와 각도를 산출하여, 이를 바탕으로 시선위치를 산출한다.
예를 들어, 시선감지부(130)는 얼굴이 오른쪽으로 이동하고 시선이 아래로 이동하는 경우 그 정도에 따라 우측 데쉬보드 또는 제 2 표시부(182)로의 시선을 산출할 수 있다.
또한, 시선감지부(130)는 운전자의 시선이 제 1 표시부(181) 내지 제 3 표시부(183) 중 어느 하나로 이동하는 경우, 해당 표시부에서의 시선의 움직임을 추가로 추적할 수 있다.
시선감지부(130)는 운전자의 시선이 어느 하나의 표시부로 이동하는 경우, 해당 표시부의 표시영역을 설정값으로 분할하고, 분할영역 중 시선이 머무는 위치(시선위치)와 시선이 머무는 시간(시선유지시간)을 산출한다.
시선감지부(130)는 시선의 움직임, 그 위치 및 시간이 포함된 시선정보를 제어부(110)로 인가한다.
제어부(110)는 시선정보를 바탕으로, 시선이 머무는 시간(시선유지시간)에 따라 카메라의 촬영각도 조절 여부를 결정하고, 시선위치에 따라 촬영각도 변경 정도를 각도조절값으로 설정하여 카메라구동부(120)로 제어명령을 인가한다. 또한, 제어부(110)는 시선정보와 스티어링휠의 각도에 따라 주행방향을 판단하고, 카메라의 촬영각도를 조절할 수 있다.
제어부(110)는 시선정보를 바탕으로, 운전자의 시선이 위치하는 표시부에 대응하는 카메라를 판단하고, 해당 표시부의 표시영역 중 시선이 위치하는 분할영역을 바탕으로 카메라가 상, 하, 좌, 우 또는 상, 하, 좌, 우, 좌상, 우상, 좌하, 우하로 이동하거나 회전하도록 각도조절값을 설정하여 카메라의 촬영각도가 변경되도록 제어명령을 생성한다.
도 6 은 본 발명의 일 실시예에 따른 차량용 디지털 사이드 미러 제어 시스템의 시선에 따라 디지털 사이드 미러를 제어하는 실시예가 도시된 도이다.
제어부(110)는 시선감지부(130)의 시선정보를 바탕으로 촬영각도를 조절한 카메라를 설정하고, 해당 카메라의 각도조절값을 설정하여 카메라구동부(120)를 제어한다.
이하, 카메라에의해 촬영되는 후방영상을 표시부를 통해 표시하는 구성과 카메라의 촬영각도를 조절하는 구성에 대하여, 제 1 표시부(181)와 제 1 카메라(171)를 예로 하여 설명하기로 한다. 제2 카메라(172)와 제 3 카메라(173)의 촬영각도를 조절하여 각 표시부에 표시하는 것 또한 동일하게 적용될 수 있다.
도 6의 (a)에 도시된 바와 같이, 제 1 표시부(181)에는 제 1 카메라(171)에 의해 촬영되는 측면의 후방영상이 표시된다.
주행 중 제 1 표시부(181)는 차량의 운전석 측의 후방영상을 표시하고, 영상에는 차량의 본체(194)중 일부, 도로의 차선(192a, 192b), 및 좌측 차선에 위치하는 다른 제 1 객체(191), 예를 들어 자동차 중 적어도 하나가 포함된다.
도 6의 (b)에 도시된 바와 같이, 제 1 표시부(181)는 표시영역을 1/9로 분할할 수 있다. 표시영역의 분할은 설정에 따라 변경될 수 있다.
시선감지부(130)는 운전자의 얼굴의 움직임과 눈의 움직임에 따른 시선을 감지하고 그 움직임을 추적한다.
시선감지부(130)는 제 1 표시부(181)로의 시선에 대하여, 제 1 표시부의 표시영역을 분할하고, 복수의 분할영역, 제 1 영역 내지 제 9 영역(C1 내지 C9) 중, 시선의 위치를 산출한다. 또한, 시선감지부(130)는 시선위치에 대하여 시선이 머무는 시간(시선유지시간)을 카운트 한다.
제어부(110)는 일정 시간 이상 시선이 머무는 위치에 대응하여 카메라의 촬영각도를 변경하는 제어명령을 생성한다.
시선 위치가 제 7 영역(C7)인 경우, 도 6의 (c)에 도시된 바와 같이, 제 1 카메라(171)의 촬영각도가 변경되고 제 1 표시부(181)는 변경된 방향의 영상을 촬영하여 표시한다.
제 7 영역(C7)은 표시영역을 기준으로 좌측하단 영역이므로, 제어부(110)는 제 1 카메라(171)가 좌측방향으로 소정각도 이동하고, 하향으로 소정각도 이동하도록 제어명령을 생성한다.
카메라구동부(120)는 제어명령에 대응하여 제 1 구동부(161)로 전원을 공급하고, 제 1 구동부(161)는 모터가 동작하여 제 1 카메라(171)의 촬영각도가 좌측 하향으로 변경된다.
제 1 카메라(171)의 촬영각도가 좌측하향으로 변경됨에 따라, 제 1 표시부(181)에는 차량의 좌측에 위치하는 제 2 객체(195)가 표시되고, 하향 이동으로 차선(192a, 192b)와 도로면이 표시된다. 도 6의 (a)에 좌측 후방에 위치하던 제 1 객체(191)는 화면의 우측 상단에 그 일부만 표시된다.
시선 위치가 제 6 영역(C6)인 경우, 도 6의 (d)에 도시된 바와 같이, 제 1 카메라(171)의 촬영각도가 변경되고 제 1 표시부(181)는 변경된 방향의 영상을 촬영하여 표시한다.
제 6 영역(C6)은 표시영역을 기준으로 우측중앙 영역이므로, 제어부(110)는 제 1 카메라(171)의 촬영각도가 우측방향으로 소정각도 이동하도록 제어명령을 생성한다.
카메라구동부(120)는 제어명령에 대응하여 제 1 구동부(161)로 전원을 공급하고, 제 1 구동부(161)는 모터가 동작하여 제 1 카메라(171)의 촬영각도가 우측으로 조정된다.
제 1 카메라(171)의 촬영각도가 우측으로 변경됨에 따라, 제 1 표시부(181)에는 차량의 우측에 차량 본체(194)의 일부가 표시되고, 제 1 객체(191)가 표시영역에서 좌측으로 이동되어 표시된다. 차량 본체(194)는 도 6의 (a)보다 더 넓은 면적이 표시된다.
제 2 객체(195)가 표시되고, 하향 이동으로 차선(192a, 192b)와 도로면이 표시된다. 도 6의 (a)의 우측상단 제 3 영역(C3)에 표시된 제 1 객체(191)는 도 6의 (c)와 같이 화면의 우측상단에 일부분만 표시된다.
이와 같이 디지털 사이드 미러 제어 시스템은, 운전자의 시선에 따라 카메라의 촬영각도를 조절함으로써, 운전자가 요구하는 화면을 제공할 수 있다.
예를 들어, 시스템은 차량 주차 시, 운전자의 시선에 따라 카메라의 촬영각도를 조절하여 특정 방향의 영상이 표시부에 표시되도록 할 수 있다. 또한, 시스템은 주변이 어두운 경우 카메라의 감도를 조절하거나 영상처리과정에서 밝기를 조절하여 후방의 장애물이 잘 나타나도록 할 수 있다.
도 7 은 본 발명의 일 실시예에 따른 차량용 디지털 사이드 미러 제어 시스템의 제어방법이 도시된 도이다.
도 7에 도시된 바와 같이, 차량 시동이 온(ON)되면(S310), 제 1 카메라(171) 내지 제 3 카메라(173)가 동작하여 영상을 촬영한다(S320).
제 1 카메라(171)와 제 2 카메라(172)는 차량의 측면후방영상을 촬영하고, 제 3 카메라(173)는 차량의 후방영상을 촬영한다.
촬영된 후방영상은 영상처리부(140)에 의해 처리되어 표시부를 통해 출력된다(S330).
제 1 카메라(171)의 영상은 제 1 표시부(181)를 통해 표시되고, 제 2 카메라(172)의 영상은 제 2 표시부(182)를 통해 표시되며, 제 3 카메라(173)의 영상은 제 3 표시부(183)를 통해 표시된다.
시선감지부(130)는 운전석(45)에 탑승한 운전자의 얼굴을 인식하고, 눈의 위치를 검출하여 시선을 감지한다(S340).
시선감지부(130)의 얼굴의 움직임을 x축과 y축으로 좌표값을 산출하여 감지하고, 또한, 동공 또는 홍채를 검출하여 눈의 움직임을 추적한다. 시선감지부(130)는 얼굴의 움직임과 눈의 움직임을 분석하여 시선의 위치, 시선이 특정 위치에 머무는 시간(시선유지시간)을 측정하여 시선정보를 제어부(110)로 인가한다.
시선감지부(130)는 운전자가 제 1 표시부(181) 내지 제 3 표시부(183) 중 어느 하나를 주시하는 경우 후방영상을 주시하는 것으로 판단한다(S350).
운전자가 전방을 주시하거나 후방영상 외에 차량 내부의 다른 위치를 주시하는 경우, 제어부(110)는 카메라의 촬영각도는 그대로 유지하고 촬영되는 영상을 각 표시부를 통해 출력하고, 시선감지부는 운전자의 시선을 지속적으로 추적한다(S320 내지 S340).
운전자가 후방영상을 주시하는 경우, 시선감지부(130)는 후방영상에 대한 시선위치를 검출한다(S360).
시선감지부(130)는 운전자가 제 1 표시부(181) 내지 제 3 표시부(183) 중 어느 하나를 주시하는 경우, 운전자의 시선이 위치하는 표시부에 대응하여 표시영역을 설정값만큼 분할하고, 복수의 분할 영역 중 시선위치를 검출한다.
또한, 시선감지부(130)는 해당 분할영역에 시선이 머무는 시간, 즉 시선유지시간을 측정한다.
제어부(110)는 일시적으로 특정 위치를 주시한 경우, 즉 시선유지시간이 설정시간 미만이면 카메라의 촬영각도를 변경하지 않고 유지한다.
또한, 제어부는 스티어링휠(11)의 조작에 따른 각도를 입력받고(S370), 시선위치와 시간을 바탕으로 카메라의 촬영각도를 변경할지 여부를 판단할 수 있다. 제어부(110)는 스티어링휠의 각도가 일정각도 이상이면 스티어링휠의 각도에 대응하는 방향의 카메라에 대하여 촬영각도를 변경할 수 있다.
제어부(110)는 시선정보에 따라, 시선위치에 해당하는 표시부에 대응하는 카메라를 선택하고, 해당 카메라의 촬영각도에 대한 각도조절값을 설정하여 제어명령을 카메라구동부(120)로 인가한다.
카메라구동부(120)는 촬영각도를 변경할 카메라와 연결된 구동부를 동작시키고, 구동부의 동작에 의해 카메라의 위치, 즉 촬영각도가 변경된다(S380).
예를 들어 제어부(110)는 시선위치가 제 2 표시부(182)인 경우, 제 2 표시부에 대응하는 제 2 카메라의 촬영각도를 조정한다. 카메라구동부(120)는 제 2 카메라(172)와 연결되는 제 2 구동부(162)를 구동하고 제 2 구동부의 이동 또는 회전에 의해 제 2 카메라(172)의 촬영각도가 변경된다. 이때, 표시영역 내에서의 시선위치에 따라 카메라의 촬영각도를 상, 하, 좌, 우 또는 상, 하, 좌, 우, 좌상, 우상, 좌하, 우하로 변경할 수 있다.
또한, 제어부(110)는 스티어링휠(11)이 오른쪽으로 설정각도 이상 조작된 경우 제어부(110)는 우측의 제 2 카메라의 촬영각도가 변경되도록 할 수 있다.
카메라는, 변경된 촬영각도에서 영상을 촬영하고(S390), 그에 대응하는 표시부를 통해 영상이 출력된다(S400). 제 2 카메라(172)에 의해 촬영된 영상은 제 2 표시부(182)를 통해 표시된다.
제어부(110)는 초기화명령이 입력되면, 기 설정된 기준위치로 각 카메라의 촬영각도를 변경한다.
따라서 본 발명은 운전자의 시선을 추적하여 시선의 움직임에 따라, 카메라의 촬영각도를 변경하여 표시부를 통해 표시되는 영상이 변경되도록 한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.
11: 스티어링휠 40: 계기판
110: 제어부 120: 카메라구동부
130, 131, 132: 시선감지부 140: 영상처리부
150: 통신부 160, 161, 162, 163: 구동부
170, 171, 172, 173: 카메라 180, 181, 182, 183: 표시부

Claims (18)

  1. 차량의 제 1 측면에 설치되어 영상을 촬영하는 제 1 카메라;
    상기 차량의 제 2 측면에 설치되어 영상을 촬영하는 제 2 카메라;
    상기 제 1 카메라의 영상을 표시하는 제 1 표시부;
    상기 제 2 카메라의 영상을 표시하는 제 2 표시부;
    운전자의 얼굴을 검출하고 시선의 움직임을 추적하여, 시선위치와 시선유지시간이 포함된 시선정보를 입력하는 시선감지부; 및
    상기 시선정보를 바탕으로 상기 제 1 표시부 또는 상기 제 2 표시부에 대한 시선에 대하여, 상기 시선위치에 해당하는 표시부를 판단하고, 상기 제 1 카메라 및 상기 제 2 카메라 중 상기 표시부에 대응하는 카메라의 촬영각도가 변경되도록 각도조절값을 설정하여 제어하는 제어부; 를 포함하는 디지털 사이드 미러 제어 시스템.
  2. 제 1 항에 있어서,
    상기 시선감지부는 상기 제 1 표시부 또는 상기 제 2 표시부로의 시선에 대하여, 표시영역을 분할하고, 분할영역 중 상기 시선위치를 검출하여 상기 각도조절값을 설정하는 것을 특징으로 하는 디지털 사이드 미러 제어 시스템.
  3. 제 1 항에 있어서,
    상기 제어부는 상기 시선정보에 대응하여, 상기 시선위치가 상기 제 1 표시부인 경우 상기 제 1 카메라의 촬영각도를 변경하고, 상기 시선위치가 상기 제 2 표시부인 경우 상기 제 2 카메라의 촬영각도를 변경하는 것을 특징으로 하는 디지털 사이드 미러 제어 시스템.
  4. 제 1 항에 있어서,
    상기 제어부는 상기 제 1 표시부 또는 상기 제 2 표시부로의 시선에 대하여, 상기 시선유지시간이 상기 설정시간 이상이면 상기 시선위치에 대응하여 각도조절값을 설정하여 카메라의 촬영각도를 변경하도록 제어명령을 생성하는 것을 특징으로 하는 디지털 사이드 미러 제어 시스템.
  5. 제 1 항에 있어서,
    상기 제어부는 상기 제 1 표시부 또는 상기 제 2 표시부에 대한 시선이 아닌 경우, 및 상기 시선유지시간이 설정시간 미만인 경우, 카메라의 촬영각도를 유지하는 것을 특징으로 하는 디지털 사이드 미러 제어 시스템.
  6. 제 2 항에 있어서,
    상기 제어부는 상기 시선위치에 대응하는 분할영역의 위치에 따라, 카메라의 촬영각도를 상, 하, 좌, 우, 우상, 좌상, 우하 및 좌하 중 어느 하나의 방향으로 소정 각 변경하도록 상기 각도조절값을 설정하는 것을 특징으로 하는 디지털 사이드 미러 제어 시스템.
  7. 제 1 항에 있어서,
    상기 제어부는 상기 제 1 카메라 및 상기 제 2 카메라의 촬영각도에 대한 기본위치를 설정하고, 초기화명령이 입력되면 상기 제 1 카메라 및 상기 제 2 카메라의 촬영각도가 상기 기본위치로 변경되도록 하는 것을 특징으로 하는 디지털 사이드 미러 제어 시스템.
  8. 제 1 항에 있어서,
    상기 제어부는 스티어링휠의 각도정보를 입력받아, 상기 스티어링휠의 각도가 설정각도 이상이면 상기 각도에 대응하는 위치의 카메라의 촬영각도를 변경하도록 제어하는 것을 특징으로 하는 디지털 사이드 미러 제어 시스템.
  9. 제 1 항에 있어서,
    상기 차량의 후방에 설치되어 영상을 촬영하는 제 3 카메라;
    상기 제 3 카메라의 영상을 표시하는 제 3 표시부; 를 더 포함하고,
    상기 제어부는 상기 제 3 카메라로의 시선에 대응하여 상기 제 3 카메라의 촬영각도가 변경되도록 제어하는 것을 특징으로 하는 디지털 사이드 미러 제어 시스템.
  10. 제 1 항에 있어서,
    상기 제 1 카메라에 연결되어 이동 또는 회전에 의해 촬영각도를 조정하는 제 1 구동부;
    상기 제 2 카메라에 연결되어 이동 또는 회전에 의해 촬영각도를 조정하는 제 2 구동부; 및
    상기 제어부의 제어명령에 대응하여 상기 제 1 구동부 및 상기 제 2 구동부 중 촬영각도를 조정할 카메라에 연결된 구동부를 동작시키는 카메라구동부; 를 더 포함하고,
    상기 제 1 구동부 및 상기 제 2 구동부는, 각각 모터, 회전수단 및 각도조절수단을 포함하여 연결된 카메라의 촬영각도를 조정하는 것을 특징으로 하는 디지털 사이드 미러 제어 시스템.
  11. 차량의 제 1 측면에 설치된 제 1 카메라가 영상을 촬영하고, 상기 차량의 제 2 측면에 설치된 제 2 카메라가 영상을 촬영하는 단계;
    제 1 표시부가 상기 제 1 카메라의 영상을 표시하고, 제 2 표시부가 상기 제 2 카메라의 영상을 표시하는 단계;
    운전자의 얼굴을 검출하고 시선의 움직임을 추적하여 시선을 감지하는 단계;
    상기 제 1 표시부 또는 상기 제 2 표시부에 시선이 위치하는 경우, 감지된 시선의 시선위치에 해당하는 표시부를 판단하고, 상기 제 1 카메라 및 상기 제 2 카메라 중, 상기 표시부에 대응하는 카메라의 촬영각도가 변경되도록 각도조절값을 설정하는 단계; 및
    상기 카메라의 촬영각도가 변경되고, 변경된 촬영각도로 촬영된 영상이 표시되는 단계; 를 포함하는 디지털 사이드 미러 제어 시스템의 제어방법.
  12. 제 11 항에 있어서,
    시선감지 결과, 시선위치가 상기 제 1 표시부인 경우 상기 제 1 카메라의 촬영각도를 변경하는 단계; 및
    상기 시선위치가 상기 제 2 표시부인 경우 상기 제 2 카메라의 촬영각도를 변경하는 단계를 더 포함하는 디지털 사이드 미러 제어 시스템의 제어방법.
  13. 제 11 항에 있어서,
    상기 제 1 표시부 또는 상기 제 2 표시부에 시선이 위치하는 경우, 시선유지시간이 설정시간 이상이면 시선위치에 대응하여 각도조절값을 설정하여 카메라의 촬영각도를 변경하도록 제어명령을 생성하는 것을 특징으로 하는 디지털 사이드 미러 제어 시스템의 제어방법.
  14. 제 11 항에 있어서,
    상기 제 1 표시부 또는 상기 제 2 표시부에 대한 시선이 아닌 경우 및 시선유지시간이 설정시간 미만인 경우, 상기 제 1 카메라 및 상기 제 2 카메라의 촬영각도를 유지하는 단계; 를 더 포함하는 디지털 사이드 미러 제어 시스템의 제어방법.
  15. 제 11 항에 있어서,
    상기 제 1 표시부 또는 상기 제 2 표시부에 시선이 위치하는 경우, 표시영역을 분할하고, 분할영역 중 시선위치를 검출하여 상기 각도조절값을 설정하는 단계; 를 더 포함하는 디지털 사이드 미러 제어 시스템의 제어방법.
  16. 제 15 항에 있어서,
    상기 시선위치에 대응하는 상기 분할영역의 위치에 따라, 카메라의 촬영각도를 상, 하, 좌, 우, 우상, 좌상, 우하 및 좌하 중 어느 하나의 방향으로 소정 각 변경하도록 상기 각도조절값을 설정하는 것을 특징으로 하는 디지털 사이드 미러 제어 시스템의 제어방법.
  17. 제 11 항에 있어서,
    상기 제 1 카메라 및 상기 제 2 카메라의 촬영각도에 대한 기본위치를 설정하는 단계; 및
    초기화명령이 입력되면 상기 제 1 카메라 및 상기 제 2 카메라의 촬영각도를 상기 기본위치로 변경하는 단계; 를 더 포함하는 디지털 사이드 미러 제어 시스템의 제어방법.
  18. 제 11 항에 있어서,
    제 3 카메라가 상기 차량의 후방에 설치되어 영상을 촬영하는 단계;
    제 3 표시부를 통해 상기 제 3 카메라의 영상을 표시하는 단계; 및
    상기 제 3 카메라로의 시선에 대응하여 상기 제 3 카메라의 촬영각도를 변경하는 단계; 를 더 포함하는 디지털 사이드 미러 제어 시스템의 제어방법.
KR1020210081568A 2021-06-23 2021-06-23 디지털 사이드 미러 제어 시스템 및 방법 KR20230000482A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210081568A KR20230000482A (ko) 2021-06-23 2021-06-23 디지털 사이드 미러 제어 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210081568A KR20230000482A (ko) 2021-06-23 2021-06-23 디지털 사이드 미러 제어 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20230000482A true KR20230000482A (ko) 2023-01-03

Family

ID=84924748

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210081568A KR20230000482A (ko) 2021-06-23 2021-06-23 디지털 사이드 미러 제어 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20230000482A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120042220A (ko) 2010-10-25 2012-05-03 김재원 자동차 사이드 카메라 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120042220A (ko) 2010-10-25 2012-05-03 김재원 자동차 사이드 카메라 시스템

Similar Documents

Publication Publication Date Title
US20190315275A1 (en) Display device and operating method thereof
KR101698783B1 (ko) 스테레오 카메라 및 이를 구비한 차량
JP5093611B2 (ja) 車両周辺確認装置
KR101789984B1 (ko) 차량용 사이드 미러 카메라 시스템
US20160125631A1 (en) Apparatus for dynamically controlling hud (head-up display) information display position
WO2006124164A2 (en) Method and apparatus to facilitate visual augmentation of perceived reality
JPH11312300A (ja) 車載カメラ
JP3228086B2 (ja) 運転操作補助装置
JP2008213649A (ja) 車両用周辺監視装置
JP2017216509A (ja) 車両用表示装置
WO2018126257A1 (en) Automatic eye box adjustment
CN114248689B (zh) 用于机动车的摄像头监测系统及其图像显示方法
JP7202903B2 (ja) 表示システム、走行制御装置、表示制御方法およびプログラム
KR101091288B1 (ko) 자동차용 디스플레이 장치 및 방법
KR101714876B1 (ko) 차량 운전 보조 장치 및 차량
US20190188506A1 (en) A vehicle-mounted display system and method for preventing vehicular accidents
JP4026471B2 (ja) 車両用視認機器調整装置
KR20230000482A (ko) 디지털 사이드 미러 제어 시스템 및 방법
JP6361987B2 (ja) 車両用表示装置
US11491872B2 (en) Vehicle and method for displaying an image onto a windshield
JP2006137209A (ja) 車両用防眩装置
JP7037896B2 (ja) 視認補助装置
JP6459071B2 (ja) 車両用表示装置
JP6912757B2 (ja) 車両の前照灯制御装置
US20220292841A1 (en) Vehicle camera mirror system with adjustable video feed

Legal Events

Date Code Title Description
E902 Notification of reason for refusal