KR102106572B1 - 카메라의 시야각 조절을 통한 차량용 어라운드 뷰 모니터링 시스템 및 그 방법 - Google Patents

카메라의 시야각 조절을 통한 차량용 어라운드 뷰 모니터링 시스템 및 그 방법 Download PDF

Info

Publication number
KR102106572B1
KR102106572B1 KR1020180158890A KR20180158890A KR102106572B1 KR 102106572 B1 KR102106572 B1 KR 102106572B1 KR 1020180158890 A KR1020180158890 A KR 1020180158890A KR 20180158890 A KR20180158890 A KR 20180158890A KR 102106572 B1 KR102106572 B1 KR 102106572B1
Authority
KR
South Korea
Prior art keywords
driver
vehicle
camera
face
angle
Prior art date
Application number
KR1020180158890A
Other languages
English (en)
Inventor
오세빈
김정수
Original Assignee
(주)미경테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)미경테크 filed Critical (주)미경테크
Priority to KR1020180158890A priority Critical patent/KR102106572B1/ko
Priority to CN201980081973.3A priority patent/CN113165667A/zh
Priority to PCT/KR2019/017331 priority patent/WO2020122533A1/ko
Priority to US17/312,845 priority patent/US20210331622A1/en
Application granted granted Critical
Publication of KR102106572B1 publication Critical patent/KR102106572B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18036—Reversing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257—
    • H04N5/23299—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/008—Adjustable or movable supports
    • B60R2011/0085—Adjustable or movable supports with adjustment by rotation in their operational position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18033—Reversing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

차량용 어라운드 뷰 모니터링 시스템은, 차량의 일 영역에 장착되고 차량의 주변 영상을 획득하는 후방 카메라 모듈(10); 운전자의 얼굴(21)이 좌우로 회전하는 회전각(α) 및/또는 운전자의 몸의 중심축으로부터 얼굴(21)이 좌우로 이동하는 좌우이동량(l) 정보를 수신하는 인터페이스부(20); 후방 카메라 모듈(10)의 카메라(11)의 각도(θ)를 인터페이스부(20)에 수신되는 정보에 따라 조절하도록 제어하는 카메라 조향 프로세서(30); 및 차량의 주변 영상 중 인터페이스부(20)에 수신되는 정보와 매칭되는 영역(41)의 영상이 디스플레이부(40)를 통해 표시되도록 제어하는 이미지 처리 프로세서(50)를 포함할 수 있다.

Description

카메라의 시야각 조절을 통한 차량용 어라운드 뷰 모니터링 시스템 및 그 방법{AROUND VIEW MONITORING SYSTEM AND METHOD BY ADJUSTING VIEW ANGLE OF CAMERA FOR VEHICLE}
본 발명은 차량의 주변을 촬영한 영상을 차량 내 운전자에게 보여줌으로써 운행의 편의를 제공하는 어라운드 뷰 모니터링 시스템(Around View Monitoring system: AVM)에 관한 것으로서, 보다 상세하게는 차량의 주행 상태 및 운전자의 상태에 따라 카메라의 시야각을 조절하는 차량용 어라운드 뷰 모니터링 시스템 및 그 방법에 관한 것이다.
또한, 본 발명은 차량용 어라운드 뷰 모니터링 시스템의 디스플레이부에서 제공되는 영상의 직관성을 개선하는 차량용 어라운드 뷰 모니터링 시스템 및 그 방법에 관한 것이다.
어라운드 뷰 시스템(Around View Monitoring system: AVM)이란, 차량에 부착된 카메라가 촬영한 차량 주변의 영상을 차량 내의 모니터에 표시하여, 운전자가 모니터의 영상을 통해 차량 주변의 상황을 인지한 상태에서 운전을 할 수 있게 해주는 시스템이다.
일반적으로 차량을 운행함에 있어, 운전자는 진행방향인 전방의 상황은 쉽게 인지하여 판단할 수 있으나, 차량의 좌, 우 양측 및 후방부는 운전자 시야의 사각지대로서, 쉽게 인지하기가 어렵다. 이에, 현재 운행되고 있는 차량에는 이러한 문제를 보완하기 위한 수단으로, 차량의 실내외부 및 측면부에 통상 룸미러, 사이드미러, 후사경 등을 기본 구성으로 장착하고 있다.
한편, 상기와 같은 통상적인 구성의 시야확보 수단(룸미러, 사이드미러, 후사경 등)은 빛의 반사를 이용하여 사물을 인지하게 하는 거울로 이루어지며, 그 위치 또한 차량의 실내외부 및 측면부에 각각 분산되어 설치된다.
따라서, 이와 같은 종래의 시야확보 수단은 단순히 빛의 반사작용에 의해 사물을 인지하게 하는 거울구조로서, 시야각이 좁게 형성되며, 후방석의 사람, 짐, 트레일러 등으로 시야가 가려지기도 하며, 피사체의 선명도 내지 반사범위가 극히 제한될 수밖에 없었다.
이에, 근래에는 전술한 바와 같은 종래 시야확보 수단의 문제점을 일부 해결한 기술로 후방 카메라로부터 획득되는 영상정보를 룸미러 기능을 수행하는 디스플레이부에 전송하여 디스플레이함으로써 넓은 시야를 확보하는 전자식 풀 디스플레이 미러(Full Display Mirror)와 같은 장치가 되었다.
그러나, 이러한 전자식 풀 디스플레이 미러는 거울식 룸미러와 달리, 관찰자의 시선과 거울축이 이루는 각도가 변화함에 따른 상변화가 일어나지 않기 때문에, 운전자가 이질감을 느끼게 되는 문제가 있다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 이미지 처리부가 운전자의 얼굴 축이나 위치, 핸들의 조향각 또는 차체의 기울기 정보에 매칭되는 영역의 영상이 운전자에게 표시되도록 함과 동시에, 카메라 조향부가 후방 카메라 모듈의 카메라의 각도를 이러한 정보에 따라 조절하도록 구성되는 차량용 어라운드 뷰 모니터링 시스템 및 그 방법을 제공하는 것이다. 그러나, 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.
이와 같은 과제를 달성하기 위한 본 발명의 일 실시예에 따른 차량용 어라운드 뷰 모니터링 시스템은, 차량의 일 영역에 장착되고 차량의 주변 영상을 획득하는 후방 카메라 모듈; 운전자의 얼굴을 좌우로 회전하는 회전각 및/또는 운전자의 몸의 중심축으로부터 얼굴을 좌우로 이동하는 좌우이동량 정보를 수신하는 인터페이스부; 후방 카메라 모듈의 카메라의 각도를 인터페이스부로 수신되는 정보에 따라 조절하도록 제어하는 카메라 조향 프로세서; 및 차량의 주변 영상 중 인터페이스부로 수신되는 정보에 매칭되는 영역의 영상이 디스플레이부를 통해 표시되도록 제어하는 이미지 처리 프로세서를 포함할 수 있다.
본 발명의 일 실시예에 따른 차량용 어라운드 뷰 모니터링 시스템에서, 인터페이스부는 핸들의 조향각 및/또는 차체의 기울기 정보를 더 수신할 수 있다.
본 발명의 일 실시예에 따른 차량용 어라운드 뷰 모니터링 시스템에서, 이미지 처리 프로세서는, 운전자의 얼굴 축의 회전각이나 좌우이동량, 핸들의 조향각 및/또는 차체의 기울기 정보에 따라 디스플레이부를 통해 표시되는 영역의 영상을 이동시키거나 표시 배율을 변경하도록 제어할 수 있다.
본 발명의 일 실시예에 따른 차량용 어라운드 뷰 모니터링 시스템에서, 이미지 처리 프로세서는, 운전자의 얼굴 위치가 전방이나 후방으로 이동하는 경우, 디스플레이부를 통해 표시되는 영역의 영상의 표시 배율이 각각 증가하거나 감소하도록 제어할 수 있다.
본 발명의 일 실시예에 따른 차량용 어라운드 뷰 모니터링 시스템에서, 카메라 조향 프로세서는, 운전자의 얼굴이 우측 또는 좌측으로 회전하는 경우, 후방 카메라 모듈의 카메라의 축을 각각 시계방향 또는 반시계방향으로 회전하도록 제어할 수 있다.
본 발명의 일 실시예에 따른 차량용 어라운드 뷰 모니터링 시스템에서, 카메라 조향 프로세서는, 운전자의 몸의 중심축으로부터 얼굴이 우측 또는 좌측으로 이동하는 경우, 후방 카메라 모듈의 카메라의 축을 각각 시계방향 또는 반시계방향으로 회전하도록 제어할 수 있다.
본 발명의 일 실시예에 따른 차량용 어라운드 뷰 모니터링 시스템에서, 카메라 조향 프로세서는, 차량 전진시 핸들의 조향각 또는 차체의 기울기가 좌측 또는 우측으로 틀어진 경우, 후방 카메라 모듈의 카메라의 축을 각각 시계방향 또는 반시계방향으로 회전하도록 제어할 수 있다.
본 발명의 일 실시예에 따른 차량용 어라운드 뷰 모니터링 시스템에서, 카메라 조향 프로세서는, 차량 후진시 핸들의 조향각 또는 차체의 기울기가 좌측 또는 우측으로 틀어진 경우, 후방 카메라 모듈의 카메라의 축을 각각 시계방향 또는 반시계방향으로 회전하도록 제어할 수 있다.
본 발명의 일 실시예에 따른 차량용 어라운드 뷰 모니터링 시스템에서, 카메라 조향 프로세서 및/또는 이미지 처리 프로세서는 운전자의 얼굴 위치가 이동하는 경우에는, 운전자의 얼굴이 회전하는 경우에 비하여 디스플레이부를 통해 표시되는 영역의 영상의 이동 또는 카메라 축의 회전이 더 크게 이루어지도록 제어할 수 있다.
본 발명의 일 실시예에 따른 차량용 어라운드 뷰 모니터링 방법은, 인터페이스부에서 운전자의 얼굴이 좌우로 회전하는 회전각 및/또는 운전자의 몸의 충심축으로부터 얼굴이 좌우로 이동하는 좌우이동량 정보를 수신하는 단계; 카메라 조향 프로세서에서 인터페이스부로부터 정보를 수신하여, 정보에 따라 후방 카메라 모듈의 카메라의 각도를 조절하도록 제어하는 단계; 및 이미지 처리 프로세서에서 후방 카메라 모듈에서 획득한 차량의 주변 영상 중 운전자의 얼굴 축의 회전각이나 좌우이동량, 핸들의 조향각 또는 차체의 기울기 정보에 매칭되는 영역의 영상이 디스플레이부를 통해 표시되도록 제어하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 차량용 어라운드 뷰 모니터링 방법에서, 인터페이스부에서의 정보를 수신하는 단계는, 핸들의 조향각 및/또는 차체의 기울기 정보를 더 수신하며, 카메라의 각도를 조절하도록 제어하는 단계는, 인터페이스부로부터 수신하는 얼굴 축의 회전각이나 좌우이동량 정보를 핸들의 조향각 또는 차체의 기울기 정보와 중첩하여 카메라의 각도를 조절할 수 있다.
본 발명의 일 실시예에 따른 차량용 어라운드 뷰 모니터링 방법에서, 인터페이스부에서의 정보를 수신하는 단계는, 운전자의 이미지를 수집하는 단계; 및 운전자의 얼굴을 검출하는 단계를 더 포함할 수 있다.
본 발명의 바람직한 어느 실시예에 따른 차량용 어라운드 뷰 모니터링 방법에서, 운전자의 얼굴이 검출되는 경우, 운전자의 얼굴의 질감이나 텍스쳐를 추출하는 단계; 운전자의 눈, 코, 입을 검출하는 단계; 및 운전자의 눈, 코, 입의 검출값을 이용하여 운전자의 얼굴 축이나 위치를 판별하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 차량용 어라운드 뷰 모니터링 방법에서, 운전자의 얼굴이 검출되지 않는 경우, 인터페이스부는 운전자의 얼굴을 인식하기 위하여 운전자 정보를 수신하는 검출부를 회전 보정하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 차량용 어라운드 뷰 모니터링 방법에서, 카메라의 각도를 조절하도록 제어하는 단계는, 차량 전진시에는 핸들의 조향각 또는 차체의 기울기가 좌측 또는 우측으로 틀어진 경우, 틀어진 각도만큼 후방 카메라 모듈의 카메라의 축을 각각 시계방향 또는 반시계방향으로 회전하게 하고, 차량 후진시에는 핸들의 조향각 또는 차체의 기울기가 좌측 또는 우측으로 틀어진 경우, 틀어진 각도만큼 후방 카메라 모듈의 카메라의 축을 각각 반시계방향 또는 시계방향으로 회전하게 할 수 있다.
위와 같은 과제해결수단에 따르면, 본 발명은 차량의 주행 상태 및 운전자의 상태에 따라 카메라의 시야각을 조절함으로써, 차량용 어라운드 뷰 모니터링 시스템의 디스플레이부에서 제공되는 영상의 직관성을 개선함으로써, 전자식 풀 디스플레이 모니터에서 발생할 수 있는 이질감을 제거할 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량용 어라운드 뷰 모니터링 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량용 어라운드 뷰 모니터링 시스템이 차량 외부에 적용된 상태를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 차량용 어라운드 뷰 모니터링 시스템이 차량 내부에 적용된 상태를 도시한 도면이다.
도 4는 본 발명의 일 실시예에서 차량의 주변 영상 중 인터페이스부로 수신되는 정보에 매칭되는 영상이 디스플레이부를 통해 표시되는 영역을 도시한 도면이다.
도 5의 (a)는 기존의 풀 디스플레이 미러에서의 운전자의 얼굴의 움직임에 맞추어 카메라 축이 회전하는 방향을 나타낸 도면이고, 도 5의 (b)는 본 발명의 일 실시예에서의 운전자의 얼굴의 움직임에 맞추어 카메라 축이 회전하는 방향을 나타낸 도면이다.
도 6의 (a)는 본 발명의 일 실시예에서 운전자의 얼굴 위치가 이동하는 경우를 나타내고, 도 6의 (b)는 운전자의 얼굴이 회전하는 경우에 카메라 축이 이동되는 경우를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에서 운전자의 얼굴이 우측 또는 좌측으로 회전하는 경우에 카메라 축이 회전하는 방향을 도시한 도면이다.
도 8은 본 발명의 일 실시예에서 운전자의 몸이 중심축으로부터 얼굴을 좌우로 이동하는 경우에 카메라 축이 회전하는 방향을 도시한 도면이다.
도 9는 본 발명의 일 실시예에서 차량 전진시 핸들의 조향각 또는 차체의 기울기가 좌측 또는 우측으로 틀어진 경우에 카메라 축이 회전하는 방향을 도시한 도면이다.
도 10은 본 발명의 일 실시예에서 차량 후진시 핸들의 조향각 또는 차체의 기울기가 좌측 또는 우측으로 틀어진 경우에 카메라 축이 회전하는 방향을 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 차량용 어라운드 뷰 모니터링 방법을 나타내는 다이어그램이다.
도 12는 본 발명의 일 실시예에서 인터페이스부에서 정보를 수신하는 단계에서 얼굴 인식 조향각을 계산하는 과정을 도시한 도면이다.
도 13은 본 발명의 일 실시예에서 카메라의 각도를 조절하도록 제어하는 단계에서 핸들의 조향각 및 차체의 기울기를 계산하는 과정을 도시한 도면이다.
전술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 실시예를 통하여 보다 분명해질 것이다.
특정한 구조 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 출원의 명세서에서 설명된 실시예들에 한정되는 것으로 해석되어서는 아니된다.
본 발명의 개념에 따른 실시예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시예들은 도면에 예시하고 본 출원의 명세서에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시예들을 특정한 개시 형태에 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원의 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써 본 발명을 상세히 설명하도록 한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이 등의 임의의 운송수단, 나아가, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념이다. 이하에서는 설명상의 편의를 위해 차량 중 자동차를 일 예로 기술한다.
본 명세서에서 설명하는 차량의 주행은 차량이 후방으로 진행하려고 하거나 진행하는 후진을 제외한 모든 상황을 의미하는 것으로서, 주행과 후진을 포함하여 운행이라는 표현을 사용하기로 한다. 따라서, 후진은 차량의 엔진기어가 후진(R)에 위치한 상태를 포함한다. 한편, 주행은 차량에 운전자가 탑승한 상태이거나, 차량의 시동이 켜져 있는 상태를 의미하나 이에 한정되지 않으며, 차량이 주차중인 경우도 포함될 수 있다.
이하의 설명에서, 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.
또한, 카메라의 축이 시계방향 또는 반시계방향으로 회전한다는 것은, 카메라가 사물을 촬영하는 방향의 축을 중심으로 카메라가 시계방향 또는 반시계방향으로 회전함을 의미한다.
도 1은 본 발명의 바람직한 실시예에 따른 차량용 어라운드 뷰 모니터링 시스템의 구성도이다. 도 2는 상기 차량용 어라운드 뷰 모니터링 시스템이 적용되는 차량의 외관을 도시한 도면이다. 도 3은 도 1의 운전자가 착석한 상태의 차량의 내부를 도시한 도면이다.
도 1 내지 도 3을 참조하면, 본 발명의 바람직한 실시예에 따른 차량용 어라운드 뷰 모니터링 시스템은, 후방 카메라 모듈(10), 인터페이스부(20), 카메라 조향 프로세서(30) 및 이미지 처리 프로세서(50)를 포함할 수 있다.
후방 카메라 모듈(10)은 차량의 일 영역에 장착되고 차량의 주변 영상을 획득하는 장치이다. 후방 카메라(10)는 예를 들어, 차량(1)의 후면 헤더 중앙부에 설치되거나, 후면 데크 중앙부에 설치될 수 있다. 후방 카메라(10)가 차량(1)의 후면 헤더 중앙부에 설치되는 경우에는, 시야가 운전자에 좀더 가깝고 높은 뷰를 획득할 수 있으며, 후방 카메라(10)가 차량(1)의 후면 데크 중앙부에 설치되는 경우에는, 기존에 일반적으로 장착되는 다른 후방 카메라와 연동이 수월하다는 장점이 있다.
후방 카메라 모듈(10)의 후방 카메라 제어 장치의 전기적인 구성은 크게, 후방 카메라 모듈(10)의 내부에 설치되는 카메라(11)와 카메라(11)의 촬영 각도를 상하좌우로 조정가능한 팬/틸트 구동모터를 갖는 모터 구동부(110); 카메라 렌즈의 초점을 조절하는 초점 조절부(120)를 포함할 수도 있다.
이때, 모터 구동부(110)의 팬/틸트 구동모터는 통상의 직류 모터로 구현될 수 있으며, 팬/틸트 구동모터의 축에는 그 회전속도를 감속할 수 있는 감속 기어(미도시)가 장착될 수도 있다. 모터 구동부(110)는 통상의 트랜지스터 회로 등으로 구현되며, 연결된 제어부의 제어에 따라 팬/틸트 구동모터에 전원을 공급하거나 차단할 수도 있다.
나아가, 후방 카메라 모듈(10)은 모터 구동부(110)에 한정되지 않으며, 마그네틱, 형상기억합금 등으로 축의 각도를 조절할 수 있도록 구성될 수도 있다.
한편, 후방 카메라 모듈(10)은 상기 예에서는 차량의 후방측에 장착되는 것으로 일 예를 들어 설명하였지만, 이에 제한되지 않고 차량의 후방 이미지를 촬영할 수 있다면 차량의 임의의 부분에 모두 설치될 수 있다.
또한, 후방 카메라 모듈(10)의 카메라는 상기 예에서는 일 카메라(11)로 일 예를 들어 설명하였지만, 이에 제한되지 않고 복수의 카메라가 마련되며, 복수의 카메라의 촬영 정보를 후술할 프로세서들에서 합성하여 처리하는 것도 가능하다. 이 경우, 복수의 카메라 각각은 이웃하는 카메라와 획득하는 영상이 일부 겹칠 수 있도록 적절한 화각을 갖도록 축이 설정될 수 있다. 이와 같이 복수의 카메라를 통한 영상 정보를 합성함으로써, 넓은 시야의 영상 및 더욱 선명한 영상을 취득할 수 있게 된다.
인터페이스부(20)는 운전자의 얼굴(21)이 좌우로 회전하는 회전각(α) 및/또는 운전자의 몸의 중심축으로부터 얼굴(21)이 좌우로 이동하는 좌우이동량(l)을 수신할 수 있도록 구성될 수 있다.
상세하게는, 회전각(α)이란 운전자의 얼굴(21)의 중심축으로부터 운전자가 고개를 돌려 얼굴(21)을 좌우로 회전하는 정도를 나타낸 것이며, 좌우이동량(l)이란 운전자의 얼굴(21)의 중심축이 운전자의 몸의 중심축으로부터 벗어나는 정도를 나타낸 것이다.
회전각(α)과 좌우이동량(l)은 상기 일 예에서는 이와 같은 방식으로 정의하였지만, 운전자 얼굴이나 몸의 일정 부분의 이동을 추적하여, 회전각(α)과 좌우이동량(l)을 정의해도 좋다.
이때, 회전각(α)과 좌우이동량(l)의 기준은 운전자로부터 얼굴인식카메라(210)를 향하는 시선을 의미할 수 있다. 그러나, 회전각(α)과 좌우이동량(l)의 기준은 이에 한정되는 것은 아니고 운전자가 운전시 차량 전면을 바라보는 시선을 기준으로 해도 좋다.
한편, 이러한 정보를 수신하기 위하여, 인터페이스부(20)는 운전자의 전방에 설치되어 운전자의 얼굴를 촬영하는 얼굴인식카메라(210), 및 차량의 정보를 획득하는 차량정보센서(220)와 접속된다.
얼굴인식카메라(210)에서는 운전자의 이미지를 수집하는 역할을 하며, 운전자의 얼굴을 검출한다. 예를 들어, 얼굴인식카메라(210)는 적외선 LED를 사용하여 주야간에 관계없이 운전자의 영상을 취득하여 영상에서 운전자의 눈, 코, 입 등을 검출할 수 있다.
인터페이스부(20) 내의 프로세서(예를 들어, GPU)에서는 이 검출된 정보로부터 운전자의 눈, 코, 입 등의 높이와 좌우 위치를 바탕으로 운전자의 얼굴 각도와 얼굴의 상하좌우 위치를 계산할 수 있다(이때, 아이트래킹(eye tracking)을 통한 영상 매칭 알고리즘을 사용할 수도 있다).
한편, 이러한 얼굴인식카메라(210)는 운전자 정면에 위치하거나, 룸미러 등으로 이루어지는 디스플레이부(40)의 왼쪽 측면에 위치할 수도 있다. 얼굴인식카메라(210)가 운전자 정면에 위치하는 경우에는, 운전자의 얼굴을 용이하게 인식할 수 있으며, 얼굴인식카메라(210)가 디스플레이부(40)의 왼쪽 측면에 위치하는 경우에는, 별도의 장착부를 따로 설치하지 않고도 디스플레이부(40)에 일체로 장착할 수 있는 장점이 있다.
차량정보센서(220)에서는 차량(1)의 주행 등과 관련한 신호를 센싱한다. 이를 위해, 센싱부는 예를 들어, 충돌 센서, 휠 센서, 속도 센서, 경사 센서, 포지션 모듈, 차량 전진/후진 센서 및 핸들 회전에 의한 스티어링 센서 등을 포함할 수 있다.
이에 의해, 차량정보센서(220)에서는 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보, 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보 및 스티어링 휠 회전 각도 등에 대한 센싱 신호를 획득할 수 있다.
특히, 차량정보센서(220)에서는 핸들(22)의 조향각(β) 및/또는 차체(23)의 기울기(r) 정보를 획득할 수 있다.
이와 같은 얼굴인식카메라(210)와 차량정보센서(220)의 각 정보들을 모두 활용하여 후술할 바와 같은 후방 카메라(11)의 각도(θ)를 조절하는데 사용할 수도 있다.
다만, 본 발명의 일 실시예에서는 얼굴인식카메라(210)에서 획득하는 운전자의 얼굴(21)이 좌우로 회전하는 회전각(α) 및/또는 운전자의 몸의 중심축으로부터 얼굴(21)을 좌우로 이동하는 좌우이동량(l)에 대한 정보와, 차량정보센서(220)에서 획득하는 핸들(22)의 조향각(β) 및/또는 차체(23)의 기울기(r) 정보에 따라 후방 카메라(11)의 각도(θ)를 조절하는 시스템을 중심으로 설명하도록 한다.
카메라 조향 프로세서(30)는 후방 카메라 모듈(10)의 카메라(11)의 각도(θ)를 인터페이스부(20)로 수신되는 정보에 따라 조절되도록 제어할 수 있다.
상세하게는, 운전자 및 차량의 상기 정보들이 얼굴인식카메라(210)와 차량정보센서(220)를 통해 인터페이스부(20)로 수신되고, 카메라 조향 프로세서(30)에서는 상기 인터페이스부(20)로부터 수신된 정보를 처리하여 후방 카메라 모듈(10)의 카메라(11)의 각도(θ)를 어느 정도로 조절할지를 계산하고 이를 조절하게 된다.
카메라 조향 프로세서(30)에서 처리한 정보에 따른 후방 카메라 모듈(10)의 카메라(11)의 각도(θ)간의 상세한 관계는 후술하도록 한다.
이때, 카메라 조향 프로세서가 인터페이스부(20)로부터 수신하는 정보 중, 운전자의 얼굴(21)을 좌우로 회전하는 회전각(α) 및/또는 운전자의 몸의 중심축으로부터 얼굴(21)을 좌우로 이동하는 좌우이동량(l), 및 핸들(22)의 조향각(β) 및/또는 차체(23)의 기울기(r) 정보는 카메라의 각도(θ)를 조절하는데 있어 상당한 비중을 차지하는 정보이다.
특히, 종래의 운전자 인식 모듈에서와 같이, 운전자의 얼굴(21)의 시선만을 인식하게 되면, 운전자가 얼굴인식카메라의 어느 곳을 응시하고 있는지만 판단될 뿐이어서, 실제로 운전자가 백미러(룸미러)를 볼 때의 운전자의 전체적인 움직임은 파악하기 어렵다.
따라서, 본 발명의 일 실시예에서는, 예를 들어, 운전자 얼굴의 질감/텍스쳐를 추출한 후, 눈, 코, 입 등 각 부위를 판별하여, 운전자의 얼굴(21)이 좌우로 회전하는 회전각(α)과 운전자의 몸의 중심축으로부터 얼굴(21)이 좌우로 이동하는 좌우이동량(l)을 동시에 계산할 수 있게 한다.
이를 통하여, 운전자의 회전주행시나, 급회전시 또는 후방주차시와 같이 얼굴의 상당 부분이 회전할 경우, 즉, 얼굴의 회전각(α)이나 좌우이동량(l)이 큰 경우에는 차량 주변의 사각지대를 인식하여야 하는 운전자의 의지가 매우 크다고 볼 수 있으므로, 본 발명에서는 이러한 운전자의 의지를 적극적으로 반영하여, 운전자가 사각지대를 보아야 하는 필요성이 있을 때, 별도의 장치 조작이 없이도 신속하게 사각지대의 영상을 운전자에게 보여줄 수 있는 것이다.
또한, 본 발명의 일 실시예에서, 운전자의 얼굴(21)을 좌우로 회전하는 회전각(α)과 운전자의 몸의 중심축으로부터 얼굴(21)을 좌우로 이동하는 좌우이동량(l)을 종합하여 카메라 조향 프로세서(30)에서 계산하는 이유는, 예를 들어, 운전자가 급회전을 해야 하는 경우에는, 주변 차량이 사각지대에 있으면 빠르게 상황에 대처해야 할 필요성이 있으며, 이때에는 운전자가 본능적으로 운전자의 몸의 중심축으로부터 얼굴(21)을 좌우로 이동하는 좌우이동량(l)이 상당히 커지기 때문에 이를 카메라의 각도(θ)를 조절하는 요인으로 포함시키기 위함이다.
이를 위하여, 본 발명의 일 실시예에서는, 도 6을 참조하면, 카메라 조향 프로세서(30) 및/또는 이미지 처리 프로세서(50)는 운전자의 얼굴 위치가 이동하는 경우(도 6의 (a))에는, 운전자의 얼굴(21)이 회전하는 경우(도 6의 (b))에 비하여 디스플레이부를 통해 표시되는 영역(41)의 영상의 이동 또는 카메라(11) 축의 회전이 더 크게 이루어지도록 제어할 수 있다.
여기에서, 영상의 이동량 또는 카메라 축의 회전량의 크기뿐만 아니라, 영상의 이동속도나 카메라 축의 회전속도도 크게 하여, 급회전 등의 경우 신속하게 사각지대를 볼 수 있도록 구성할 수도 있다.
또한, 카메라 조향 프로세서(30)와 이미지 처리 프로세서(50)에 상기 구성을 모두 적용가능하므로, 카메라의 축의 회전과 디스플레이부를 통해 표시되는 영상의 이동이 자연스럽게 연동될 수 있게 된다.
도 4를 참조하면, 이미지 처리 프로세서(50)에서는 차량(1)의 주변 영상 중 인터페이스부(20)로 수신되는 정보에 매칭되는 영역(41)의 영상이 디스플레이부(40)를 통해 표시되도록 제어할 수 있다.
이때, 차량에 있어서, 디스플레이부(40)는 예를 들어 룸미러와 같은 장치로 이루어질 수 있으며, 평면형으로 이루어질 수 있으며, 차량 주변 영상 중 필요한 부분만이 선택적으로 확대되어 출력되기에 적합하도록 크기가 조절될 수 있다.
디스플레이부(40)에서는 이미지 처리 프로세서(50)에서 처리되는 정보를 표시할 수 있다. 상세하게는, 상술한 바와 같이 카메라 조향 프로세서(30)는 인터페이스부(20)를 통해 수신된 상기 운전자 및 차량의 각 정보들을 처리하여, 후방 카메라 모듈(10)의 카메라(11)의 각도(θ)를 조절하며, 이렇게 조절된 각도(θ)의 후방 카메라 모듈(10)의 카메라(11)로부터 촬영된 차량의 주변 영상이 다시 인터페이스부(20)로 수신되어, 이를 이미지 처리 프로세서(50)에서 처리한 후, 디스플레이부(40)를 통해 인터페이스부(20)로 수신되는 정보에 매칭되는 영역(41)의 영상이 출력되는 것이다.
즉, 이미지 처리 프로세서(50)는, 운전자의 얼굴(21) 축의 회전각(α)이나 좌우이동량(l), 핸들(22)의 조향각(β) 및/또는 차체(23)의 기울기(r) 정보에 따라 디스플레이부(40)를 통해 표시되는 영역(41)의 영상을 이동하거나 표시 배율을 변경하도록 제어할 수 있다.
나아가, 이미지 처리 프로세서(50)에서 처리되는 상기 정보들은 메모리(60)에 저장될 수 있다. 예를 들면, 운전자마다 운전자의 얼굴의 각 부분의 형상 및 높이 등이 모두 다를 뿐만 아니라, 운전자의 습관에 따라 운전자의 얼굴(21)을 좌우로 회전하는 회전각(α) 및/또는 운전자의 몸의 중심축으로부터 얼굴(21)을 좌우로 이동하는 좌우이동량(l)의 크기가 다르다. 따라서, 이러한 운전자의 개별 특성에 따른 정보들을 메모리(60)에 축적함으로써, 운전자의 얼굴의 각 부분의 형상 및 높이, 및 운전자의 얼굴(21)을 좌우로 회전하는 회전각(α) 및/또는 운전자의 몸의 중심축으로부터 얼굴(21)을 좌우로 이동하는 좌우이동량(l)을 측정하는 기준이 실시간으로 수정될 수 있도록 구성함으로써 운전자마다의 가장 적절한 기준을 설정하는 것이 가능하다.
한편, 디스플레이부(40)를 통해 인터페이스부(20)로 수신되는 정보에 매칭되는 영역(41)의 영상이 출력되는 방식으로는, 기존과 같이 후방 카메라를 통한 전체 영상을 획득한 다음, 전체 영상을 표시하는 동시에 그 안에 일부 영역을 따로 표시하며 일부 영역이 운전자의 조작에 의해 이동하도록 하는 방법도 있다.
그러나, 상기와 같은 방식은 하나의 카메라로는 차량 후방의 시야를 확보하는데 한계가 있을 뿐만 아니라, 여러 카메라를 사용하여 이를 합성한 후, 그 내부 영역을 움직이게 하는 방식은 표시되는 영상의 정확도가 떨어질 뿐만 아니라, 이러한 프로세스 과정을 거쳐야 하므로 영상 처리 과정에서 상당한 딜레이가 발생하게 된다.
이에 따라, 본 발명에서는 후방 카메라 모듈(10)의 카메라(11)를 직접 움직이게 하는 방식이므로, 위와 같은 방식을 차용할 수도 있지만, 바람직하게는, 전체 영상을 모두 출력하는 것이 아닌, 운전자 및 차량의 상태를 반영하여 움직이는 카메라(11)의 획득 영상을 기준으로 디스플레이부(40)를 통해 인터페이스부(20)로 수신되는 정보에 매칭되는 영역(41)의 영상만이 출력되는 것이 바람직하다.
이때에는, 상술한 바와 같이 하나의 카메라(11)뿐만 아니라 여러 대의 카메라를 통하여 차량 주변 영상을 취득할 수도 있으며, 이러한 경우에도 여러 대의 카메라 각각에도 본 발명의 일 실시예에 따른 카메라(11)의 작동방식이 그대로 적용된다. 이 경우, 운전자 및 차량의 상태를 반영하여 움직이는 여러 대의 카메라에서 획득된 영상을 합성하므로, 종래의 고정된 여러 대의 카메라에서 획득된 영상을 합성하는 방식에 비하여 상당한 정확도를 갖출 수 있으며, 서로 인접한 부분을 합성하므로 영상 처리 과정에서의 딜레이를 상당 부분 줄일 수 있다.
이를 통하여, 운전자는 후방 카메라 모듈(10)의 카메라(11)가 촬영한 차량의 주변 영상 중에서, 운전자의 주행시에 필요한 부분만이 이미지 처리 프로세서(50)에서 처리되어 디스플레이부(40)로 출력된다.
특히, 도 5의 (a)에 도시된 바와 같이, 기존의 룸미러는 후방에서 촬영한 화면을 그대로 출력하는 경우가 많으나, 도 5의 (b)에 도시된 바와 같이, 본 발명에 따른 출력 방식은 운전자의 얼굴(21)의 움직임에 맞추어 후방 카메라 모듈(10)의 카메라(11) 축을 이동시키므로, 운전자의 상태를 연동하여 보다 자연스러운 시야 및 원근감을 얻을 수 있게 된다.
또한, 이미지 처리 프로세서(50)에서는, 상기 구성과 더불어 운전자의 얼굴(21) 위치가 전방이나 후방으로 이동하는 경우, 디스플레이부(41)를 통해 표시되는 영역의 영상의 표시 배율이 각각 증가하거나 감소하도록 제어할 수 있다.
통상적으로 운전자는 예를 들어, 후면주차시와 같은 경우, 사각지대의 차량을 확대해서 보려는 때에는 얼굴(21)을 룸미러로 가까히 다가가게 된다. 본 발명의 일 실시예에서는 운전자가 얼굴(21)을 룸미러에 가까히 다가갈 때 이미지 처리 프로세서(50)를 통해 디스플레이부(41)를 통해 표시되는 영역의 영상의 표시 배율을 증가시켜 운전자가 필요한 정보인 주변 확대 영상을 운전자에게 적절하게 제공할 수 있다.
이와 달리, 예를 들어, 운전자가 교차로 등에 있는 경우, 운전자는 사각지대뿐만 아니라 차량 주변의 전체적인 상황을 살펴보고자 하며, 이러한 경우에는 통상적으로 운전자는 얼굴(21)을 룸미러에서 멀어지도록 한다. 본 발명의 일 실시예에서는 운전자가 얼굴(21)을 룸미러에서 멀어지게 할 때 이미지 처리 프로세서(50)를 통해 디스플레이부(41)를 통해 표시되는 영역의 영상의 표시 배율을 감소시켜 운전자가 필요한 정보인 주변의 전체적인 영상을 운전자에게 적절하게 제공할 수 있다.
이러한 구성은, 운전자의 얼굴(21) 축의 회전각(α)이나 좌우이동량(l)의 정보와 종합하여 이미지 처리 프로세서(50)에 반영될 수 있으므로, 운전시에 운전자가 원하는 시야를 최대로 반영하여 운전자에게 편리함을 제공할 수 있게 되며, 상황에 맞는 정보를 제공함으로써 운전자의 사고 위험 또한 크게 감소시킬 수 있다.
상기에서는, 본 발명의 실시예들에 따른 차량용 어라운드 뷰 모니터링 시스템의 각 구성을 설명하였다. 이하에서는, 본 발명의 차량용 어라운드 뷰 모니터링 시스템이 회전 주행의 방향에 따라 운전자 또는 차량의 상태를 어떻게 반영하는지를 도 7 내지 도 10을 참고하여 각 유형별로 설명한다.
[운전자의 얼굴이 우측 또는 좌측으로 회전하는 경우]
카메라 조향 프로세서(30)는, 운전자의 얼굴(21) 축이 우측 또는 좌측으로 회전하는 경우, 후방 카메라 모듈(10)의 카메라(11)의 축을 각각 시계방향 또는 반시계방향으로 회전하도록 제어할 수 있다.
예를 들어, 도 7에 도시된 바와 같이, 운전자가 얼굴(21)을 우측으로 돌려 룸미러를 쳐다보는 경우, 얼굴인식카메라(210)는 운전자의 얼굴(21)이 우측으로 회전하는 회전각(α)을 인식하고, 인터페이스부(20)는 이에 대한 정보를 카메라 조향 프로세서(30)에 전달한다.
카메라 조향 프로세서(30)에서는 상기 정보에 따라 후방 카메라 모듈(10)의 카메라(11)의 축을 시계방향으로 돌림으로써, 카메라(11)가 차량 좌측의 사각지대 측으로 회전하도록 한다. 이에 따라, 운전자는 차량 좌측의 사각지대의 시야를 용이하게 확보할 수 있다.
[운전자의 몸의 중심축으로부터 얼굴을 좌우로 이동하는 경우]
카메라 조향 프로세서(30)는, 운전자의 몸의 중심축으로부터 얼굴(21)을 우측 또는 좌측으로 이동하는 경우, 후방 카메라 모듈(10)의 카메라(11)의 축을 각각 시계방향 또는 반시계방향으로 회전하도록 제어할 수 있다.
예를 들어, 도 8에 도시된 바와 같이, 운전자가 몸의 중심축으로부터 얼굴(21)을 우측으로 이동하면서 룸미러를 쳐다보는 경우, 얼굴인식카메라(210)는 운전자의 몸의 충심축으로부터 얼굴(21)을 우측으로 이동하는 우측이동량(l)을 인식하고, 인터페이스부(20)는 이에 대한 정보를 카메라 조향 프로세서(30)에 전달한다.
카메라 조향 프로세서(30)에서는 상기 정보에 따라 후방 카메라 모듈(10)의 카메라(11)의 축을 시계방향으로 돌림으로써, 카메라(11)가 차량 좌측의 사각지대 측으로 회전하도록 한다. 이에 따라, 운전자는 차량 좌측의 사각지대의 시야를 용이하게 확보할 수 있다.
[차량 전진시 핸들의 조향각 또는 차체의 기울기가 좌측 또는 우측으로 틀어진 경우]
카메라 조향 프로세서(30)는, 차량 전진시 핸들(22)의 조향각 또는 차체의 기울기가 좌측 또는 우측으로 틀어진 경우, 후방 카메라 모듈(10)의 카메라(11)의 축을 각각 시계방향 또는 시계반대방향으로 회전하도록 제어할 수 있다.
예를 들어, 도 9의 (a)에 도시된 바와 같이, 차량 전진시에 운전자가 핸들을 '좌측'으로 돌리는 경우, 차량정보센서(220)는 좌측으로 틀어진 핸들(22)의 조향각(β) 및/또는 차체(23)의 기울기(r)를 인식하고, 인터페이스부(20)는 이에 대한 정보를 카메라 조향 프로세서(30)에 전달한다.
카메라 조향 프로세서(30)에서는 상기 정보에 따라 후방 카메라 모듈(10)의 카메라(11)의 축을 시계방향으로 돌림으로써, 카메라(11)가 차량 좌측의 사각지대 측으로 회전하도록 한다. 이에 따라, 운전자는 차량 좌측의 사각지대의 시야를 용이하게 확보할 수 있다.
한편, 도 9의 (b)에 도시된 바와 같이, 차량 전진시에 운전자가 핸들을 '우측'으로 돌리는 경우, 차량정보센서(220)는 우측으로 틀어진 핸들(22)의 조향각(β) 및/또는 차체(23)의 기울기(r)를 인식하고, 인터페이스부(20)는 이에 대한 정보를 카메라 조향 프로세서(30)에 전달한다.
카메라 조향 프로세서(30)에서는 상기 정보에 따라 후방 카메라 모듈(10)의 카메라(11)의 축을 반시계방향으로 돌림으로써, 카메라(11)가 차량 우측의 사각지대 측으로 회전하도록 한다. 이에 따라, 운전자는 차량 우측의 사각지대의 시야를 용이하게 확보할 수 있다.
이를 통해, 운전자가 차량 전진시 좌우측으로 급회전을 하는 경우, 차선 좌우측 후방에서 다가오는 차량에 대한 시야를 신속하게 확보할 수 있어, 예를 들어, 운전자가 커브길에서 핸들을 돌려 급회전할 때 빈번하게 발생하는 사고 위험을 줄일 수 있다.
[차량 후진시 핸들의 조향각 또는 차체의 기울기가 좌측 또는 우측으로 틀어진 경우]
카메라 조향 프로세서(30)는, 차량 후진시 핸들(22)의 조향각 또는 차체의 기울기가 좌측 또는 우측으로 틀어진 경우, 후방 카메라 모듈(10)의 카메라(11)의 축을 각각 시계방향 또는 시계반대방향으로 회전하도록 제어할 수 있다.
카메라 조향 프로세서(30)는, 차량 후진시 핸들(22)의 조향각 또는 차체의 기울기가 좌측 또는 우측으로 틀어진 경우, 후방 카메라 모듈(10)의 카메라(11)의 축을 각각 시계방향 또는 시계반대방향으로 회전하도록 제어할 수 있다.
예를 들어, 도 10의 (a)에 도시된 바와 같이, 차량 후진시에 운전자가 핸들을 '좌측'으로 돌리는 경우, 차량정보센서(220)는 좌측으로 틀어진 핸들(22)의 조향각(β) 및/또는 차체(23)의 기울기(r)를 인식하고, 인터페이스부(20)는 이에 대한 정보를 카메라 조향 프로세서(30)에 전달한다.
카메라 조향 프로세서(30)에서는 상기 정보에 따라 후방 카메라 모듈(10)의 카메라(11)의 축을 시계방향으로 돌림으로써, 카메라(11)가 차량 좌측의 사각지대 측으로 회전하도록 한다. 이에 따라, 운전자는 차량 좌측의 사각지대의 시야를 용이하게 확보할 수 있다.
한편, 도 10의 (b)에 도시된 바와 같이, 차량 후진시에 운전자가 핸들을 '우측'으로 돌리는 경우, 차량정보센서(220)는 우측으로 틀어진 핸들(22)의 조향각(β) 및/또는 차체(23)의 기울기(r)를 인식하고, 인터페이스부(20)는 이에 대한 정보를 카메라 조향 프로세서(30)에 전달한다.
카메라 조향 프로세서(30)에서는 상기 정보에 따라 후방 카메라 모듈(10)의 카메라(11)의 축을 반시계방향으로 돌림으로써, 카메라(11)가 차량 우측의 사각지대 측으로 회전하도록 한다. 이에 따라, 운전자는 차량 우측의 사각지대의 시야를 용이하게 확보할 수 있다.
이를 통해, 예를 들어, 운전자가 후진하거나 후면 주차하는 경우, 운전자의 좌우측 후방에서 다가오는 차량이나, 미리 주차되어 있던 차량에 대한 시야를 신속하게 확보할 수 있어, 운전자가 운전하는 차량 후방 사각지대의 다른 차량을 인식하지 못하여 빈번하게 발생하는 사고 위험을 줄일 수 있다.
상기에서는, 본 발명의 차량용 어라운드 뷰 모니터링 시스템이 회전 주행의 방향에 따라 운전자 또는 차량의 상태를 어떻게 반영하는지를 각 유형별로 설명하였다. 이하에서는, 본 발명의 차량용 어라운드 뷰 모니터링 시스템이 수행되는 방법을 도 11 내지 도 13을 참조하여 설명한다.
도 11 내지 도 13을 참조하면, 본 발명의 일 실시예에 따른 차량용 어라운드 뷰 모니터링 방법은, 인터페이스부(20)에서 정보를 수신하는 단계(S10), 카메라(11)의 각도(θ)를 조절하도록 제어하는 단계(S20), 및 영상이 디스플레이부(40)를 통해 표시되도록 제어하는 단계(S30)를 포함할 수 있다.
인터페이스부(20)에서 정보를 수신하는 단계(S10)는, 인터페이스부(20)에서 운전자의 얼굴(21)이 좌우로 회전하는 회전각(α) 및/또는 운전자의 몸의 충심축으로부터 얼굴(21)이 좌우로 이동하는 좌우이동량(l) 정보를 수신하는 단계이다.
이때, 인터페이스부(20)에서 정보를 수신하는 단계(S10)는, 핸들(22)의 조향각(β) 및/또는 차체(23)의 기울기(r) 정보를 더 수신할 수 있다.
카메라(11)의 각도(θ)를 조절하도록 제어하는 단계(S20)는, 카메라 조향 프로세서(30)에서 인터페이스부(20)로부터 운전자의 얼굴(21)이 좌우로 회전하는 회전각(α) 및/또는 운전자의 몸의 충심축으로부터 얼굴(21)이 좌우로 이동하는 좌우이동량(l) 정보를 수신하여, 상기 정보에 따라 후방 카메라 모듈(10)의 카메라(11)의 각도(θ)를 조절하도록 제어하는 단계이다.
이때, 인터페이스부(20)로부터 수신하는 얼굴(21) 축의 회전각(α)이나 좌우이동량(l) 정보를 핸들(22)의 조향각(β) 및/또는 차체(23)의 기울기(r) 정보와 중첩하여 카메라(11)의 각도(θ)를 조절할 수 있다.
영상이 디스플레이부(40)를 통해 표시되도록 제어하는 단계(S30)는, 이미지 처리 프로세서(50)에서 후방 카메라 모듈(10)에서 획득한 차량의 주변 영상 중 운전자의 얼굴(21) 축의 회전각(α)이나 좌우이동량(l) 정보를 핸들(22)의 조향각(β) 및/또는 차체(23)의 기울기(r) 정보에 매칭되는 영역(41)의 영상이 디스플레이부(40)를 통해 표시되도록 제어하는 단계이다.
이하에서는, 도 12를 참조하여 인터페이스부(20)에서 정보를 수신하는 단계(S10)에서 얼굴 인식 조향각을 계산하는 과정, 및 도 13을 참조하여 카메라(11)의 각도를 조절하도록 제어하는 단계(S20)에서 핸들의 조향각 및 차체의 기울기를 계산하는 과정을 보다 상세히 설명하도록 한다.
도 12를 참조하면, 인터페이스부(20)에서의 정보를 수신하는 단계(S10)는, 운전자의 이미지를 수집하는 단계(S11); 및 운전자의 얼굴을 검출하는 단계(S12)를 더 포함할 수 있다.
이때, 운전자의 얼굴 검출 단계(S12)에서, 운전자의 얼굴이 검출되는 경우, 운전자의 얼굴의 질감이나 텍스쳐를 추출하는 단계(S13); 운전자의 눈, 코, 입을 검출하는 단계(S14); 및 운전자의 눈, 코, 입의 검출값을 이용하여 운전자의 얼굴 축이나 위치를 판별하는 단계(S15)를 더 포함할 수 있다.
이와 달리, 운전자의 얼굴 검출 단계(S12)에서, 운전자의 얼굴이 검출되지 않는 경우, 운전자의 얼굴을 인식하기 위하여 수집된 운전자 이미지를 보정하는 단계(S16)을 더 포함할 수 있다.
도 13을 참조하면, 카메라(11)의 각도를 조절하도록 제어하는 단계(S20)는, 차량 전진시에는 핸들(22)의 조향각(β) 및/또는 차체(23)의 기울기(r)가 좌측 또는 우측으로 틀어진 경우, 틀어진 각도만큼 후방 카메라 모듈(10)의 카메라(11)의 축을 각각 시계방향 또는 반시계방향으로 회전하게 하고,
차량 후진시에는 핸들(22)의 조향각(β) 및/또는 차체(23)의 기울기(r)가 좌측 또는 우측으로 틀어진 경우, 틀어진 각도만큼 후방 카메라 모듈(10)의 카메라(11)의 축을 각각 반시계방향 또는 시계방향으로 회전하게 할 수 있다.
이상, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명하였으나, 본 발명이 그에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 이러한 기재로부터 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 치환 및/또는 변경 가능하다. 그러므로, 본 발명의 범위는 전술한 실시예에 국한되어 정해져서는 아니 되며, 후술하는 청구범위뿐만 아니라 그에 균등한 것들에 의해 정해져야 할 것이다.
10: 후방 카메라 모듈 11: 카메라
20: 인터페이스부 21: 운전자의 얼굴
22: 핸들 23: 차체
30: 카메라 조향 프로세서 40: 디스플레이부
50: 이미지 처리 프로세서 α: 운전자 얼굴의 회전각
l: 운전자 얼굴의 좌우이동량 β: 핸들의 조향각
r: 차체의 기울기

Claims (15)

  1. 차량의 일 영역에 장착되고 차량의 주변 영상을 획득하는 후방 카메라 모듈(10);
    운전자의 얼굴(21)이 좌우로 회전하는 회전각(α)과 운전자의 몸의 중심축으로부터 얼굴(21)이 좌우로 이동하는 좌우이동량(l)을 종합한 정보를 수신하는 인터페이스부(20);
    상기 후방 카메라 모듈(10)의 카메라(11)의 각도(θ)를 상기 인터페이스부(20)에 수신되는 정보에 따라 조절하도록 제어하는 카메라 조향 프로세서(30); 및
    상기 차량의 주변 영상 중 상기 인터페이스부(20)에 수신되는 정보와 매칭되는 영역(41)의 영상이 디스플레이부(40)를 통해 표시되도록 제어하는 이미지 처리 프로세서(50)를 포함하며,
    상기 카메라 조향 프로세서(30) 및/또는 상기 이미지 처리 프로세서(50)는 상기 운전자의 얼굴(21)이 몸의 중심축으로부터 좌우로 이동하는 경우에는, 상기 운전자의 얼굴(21)이 회전하는 경우에 비하여 상기 카메라(11) 축의 회전이 더 크게 이루어지도록 제어하는
    차량용 어라운드 뷰 모니터링 시스템.
  2. 제1항에 있어서,
    상기 인터페이스부(20)는 핸들(22)의 조향각(β) 및/또는 차체(23)의 기울기(r) 정보를 더 수신하는
    차량용 어라운드 뷰 모니터링 시스템.
  3. 제2항에 있어서,
    상기 이미지 처리 프로세서(50)는, 상기 운전자의 얼굴(21) 축의 회전각(α)이나 좌우이동량(l), 핸들의 조향각(β) 및/또는 차체의 기울기(r) 정보에 따라 상기 디스플레이부(40)를 통해 표시되는 영역(41)의 영상을 이동시키거나 표시 배율을 변경하도록 제어하는
    차량용 어라운드 뷰 모니터링 시스템.
  4. 제1항에 있어서,
    상기 이미지 처리 프로세서(50)는, 상기 운전자의 얼굴(21) 위치가 전방이나 후방으로 이동하는 경우, 상기 디스플레이부(40)를 통해 표시되는 영역의 영상의 표시 배율이 각각 증가하거나 감소하도록 제어하는
    차량용 어라운드 뷰 모니터링 시스템.
  5. 제1항에 있어서,
    상기 카메라 조향 프로세서(30)는, 상기 운전자의 얼굴(21)이 우측 또는 좌측으로 회전하는 경우, 상기 후방 카메라 모듈(10)의 카메라(11)의 축이 각각 시계방향 또는 반시계방향으로 회전하도록 제어하는
    차량용 어라운드 뷰 모니터링 시스템.
  6. 제1항에 있어서,
    상기 카메라 조향 프로세서(30)는, 상기 운전자의 몸의 중심축으로부터 얼굴(21)이 우측 또는 좌측으로 이동하는 경우, 상기 후방 카메라 모듈(10)의 카메라(11)의 축이 각각 시계방향 또는 반시계방향으로 회전하도록 제어하는
    차량용 어라운드 뷰 모니터링 시스템.
  7. 제2항에 있어서,
    상기 카메라 조향 프로세서(30)는, 차량 전진시 상기 핸들(22)의 조향각 또는 차체의 기울기가 좌측 또는 우측으로 틀어진 경우, 상기 후방 카메라 모듈(10)의 카메라(11)의 축이 각각 시계방향 또는 반시계방향으로 회전하도록 제어하는
    차량용 어라운드 뷰 모니터링 시스템.
  8. 제2항에 있어서,
    상기 카메라 조향 프로세서(30)는, 차량 후진시 상기 핸들(22)의 조향각 또는 차체의 기울기가 좌측 또는 우측으로 틀어진 경우, 상기 후방 카메라 모듈(10)의 카메라(11)의 축이 각각 시계방향 또는 반시계방향으로 회전하도록 제어하는
    차량용 어라운드 뷰 모니터링 시스템.
  9. 삭제
  10. 인터페이스부(20)에서 운전자의 얼굴(21)이 좌우로 회전하는 회전각(α)과 운전자의 몸의 중심축으로부터 얼굴(21)이 좌우로 이동하는 좌우이동량(l)을 종합한 정보를 수신하는 단계(S10);
    카메라 조향 프로세서(30)에서 인터페이스부(20)로부터 상기 정보를 수신하여, 상기 정보에 따라 후방 카메라 모듈(10)의 카메라(11)의 각도(θ)를 조절하도록 제어하는 단계(S20); 및
    이미지 처리 프로세서(50)에서, 상기 후방 카메라 모듈(10)에서 획득한 차량의 주변 영상 중 상기 운전자의 얼굴(21) 축의 회전각(α)과 좌우이동량(l)을 종합한 정보에 매칭되는 영역(41)의 영상이 디스플레이부(40)를 통해 표시되도록 제어하는 단계(S30)를 포함하며,
    상기 카메라 조향 프로세서(30) 및/또는 상기 이미지 처리 프로세서(50)는 상기 운전자의 얼굴(21)이 몸의 중심축으로부터 좌우로 이동하는 경우에는, 상기 운전자의 얼굴(21)이 회전하는 경우에 비하여 상기 카메라(11) 축의 회전이 더 크게 이루어지도록 제어하는
    차량용 어라운드 뷰 모니터링 방법.
  11. 제10항에 있어서,
    상기 인터페이스부(20)에서의 정보를 수신하는 단계(S10)는, 핸들(22)의 조향각(β) 및/또는 차체(23)의 기울기(r) 정보를 더 수신하며;
    상기 카메라(11)의 각도를 조절하도록 제어하는 단계(S20)는, 상기 인터페이스부(20)로부터 수신하는 상기 얼굴(21) 축의 회전각(α)이나 좌우이동량(l) 정보를 상기 핸들(22)의 조향각(β) 또는 차체(23)의 기울기(r) 정보와 중첩하여 카메라(11)의 각도(θ)를 조절하는
    차량용 어라운드 뷰 모니터링 방법.
  12. 제10항에 있어서,
    상기 인터페이스부(20)에서의 정보를 수신하는 단계(S10)는,
    운전자의 이미지를 수집하는 단계(S11); 및
    운전자의 얼굴을 검출하는 단계(S12)를 더 포함하는
    차량용 어라운드 뷰 모니터링 방법.
  13. 제12항에 있어서,
    운전자의 얼굴이 검출되는 경우,
    상기 운전자의 얼굴의 질감이나 텍스쳐를 추출하는 단계(S13);
    운전자의 눈, 코, 입을 검출하는 단계(S14); 및
    운전자의 눈, 코, 입의 검출값을 이용하여 운전자의 얼굴 축이나 위치를 판별하는 단계(S15)를 더 포함하는
    차량용 어라운드 뷰 모니터링 방법.
  14. 제12항에 있어서,
    운전자의 얼굴이 검출되지 않는 경우,
    상기 인터페이스부(20)는 운전자의 얼굴을 인식하기 위하여 상기 운전자 정보를 수신하는 검출부(21)를 회전 보정하는 단계(S16)를 더 포함하는
    차량용 어라운드 뷰 모니터링 방법.
  15. 제11항에 있어서,
    상기 카메라(11)의 각도를 조절하도록 제어하는 단계(S20)는,
    차량 전진시에는 상기 핸들(22)의 조향각(β) 또는 차체(23)의 기울기(r)가 좌측 또는 우측으로 틀어진 경우, 틀어진 각도만큼 후방 카메라 모듈(10)의 카메라(11)의 축을 각각 시계방향 또는 반시계방향으로 회전시키고,
    차량 후진시에는 상기 핸들(22)의 조향각(β) 또는 차체(23)의 기울기(r)가 좌측 또는 우측으로 틀어진 경우, 틀어진 각도만큼 후방 카메라 모듈(10)의 카메라(11)의 축을 각각 반시계방향 또는 시계방향으로 회전시키는
    차량용 어라운드 뷰 모니터링 방법.
KR1020180158890A 2018-12-11 2018-12-11 카메라의 시야각 조절을 통한 차량용 어라운드 뷰 모니터링 시스템 및 그 방법 KR102106572B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180158890A KR102106572B1 (ko) 2018-12-11 2018-12-11 카메라의 시야각 조절을 통한 차량용 어라운드 뷰 모니터링 시스템 및 그 방법
CN201980081973.3A CN113165667A (zh) 2018-12-11 2019-12-10 调节摄像机的视角的车辆用全景监控系统及其方法
PCT/KR2019/017331 WO2020122533A1 (ko) 2018-12-11 2019-12-10 카메라의 시야각 조절을 통한 차량용 어라운드 뷰 모니터링 시스템 및 그 방법
US17/312,845 US20210331622A1 (en) 2018-12-11 2019-12-10 Vehicular around view monitoring system through adjustment of viewing angle of camera, and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180158890A KR102106572B1 (ko) 2018-12-11 2018-12-11 카메라의 시야각 조절을 통한 차량용 어라운드 뷰 모니터링 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102106572B1 true KR102106572B1 (ko) 2020-05-07

Family

ID=70733144

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180158890A KR102106572B1 (ko) 2018-12-11 2018-12-11 카메라의 시야각 조절을 통한 차량용 어라운드 뷰 모니터링 시스템 및 그 방법

Country Status (4)

Country Link
US (1) US20210331622A1 (ko)
KR (1) KR102106572B1 (ko)
CN (1) CN113165667A (ko)
WO (1) WO2020122533A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767910A (zh) * 2020-06-15 2020-10-13 重庆长安汽车股份有限公司 基于场景识别的车辆自适应传感器系统
CN112193175A (zh) * 2020-10-09 2021-01-08 安徽江淮汽车集团股份有限公司 监控摄像头调整机构的调整方法、调整机构及监控装置
KR20230001157A (ko) * 2021-06-28 2023-01-04 경희대학교 산학협력단 차량 미러용 카메라 각도 조정 장치 및 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918035B (zh) * 2020-07-31 2022-04-15 上海励驰半导体有限公司 车载环视方法、装置、存储介质及车载终端
CN114845051A (zh) * 2022-04-18 2022-08-02 重庆长安汽车股份有限公司 一种基于人脸识别的行车摄影系统及方法
CN115696055A (zh) * 2022-12-30 2023-02-03 合肥疆程技术有限公司 一种视野调节方法、装置、监控器及交通工具
CN117459688B (zh) * 2023-12-26 2024-05-03 海纳云物联科技有限公司 基于地图系统的摄像头角度标示方法、装置及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120133996A (ko) * 2012-04-10 2012-12-11 팽정희 사이드미러 연동식 카메라 및 상기 카메라를 이용한 차량용 영상정보 장치
WO2016064361A1 (en) * 2014-10-23 2016-04-28 Tofas Turk Otomobil Fabrikasi Anonim Sirketi A rear view system
US20160193998A1 (en) * 2015-01-02 2016-07-07 Atieva, Inc. Automatically Activated Vehicle Obstacle Viewing System
KR20160141597A (ko) * 2015-06-01 2016-12-09 엘지전자 주식회사 차량 운전 보조 장치 및 차량
KR20180056867A (ko) * 2016-11-21 2018-05-30 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100961906B1 (ko) * 2009-01-19 2010-06-10 인하대학교 산학협력단 안면인식을 이용한 자동차 백미러의 자동 제어 방법 및 장치
US20160297362A1 (en) * 2015-04-09 2016-10-13 Ford Global Technologies, Llc Vehicle exterior side-camera systems and methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120133996A (ko) * 2012-04-10 2012-12-11 팽정희 사이드미러 연동식 카메라 및 상기 카메라를 이용한 차량용 영상정보 장치
WO2016064361A1 (en) * 2014-10-23 2016-04-28 Tofas Turk Otomobil Fabrikasi Anonim Sirketi A rear view system
US20160193998A1 (en) * 2015-01-02 2016-07-07 Atieva, Inc. Automatically Activated Vehicle Obstacle Viewing System
KR20160141597A (ko) * 2015-06-01 2016-12-09 엘지전자 주식회사 차량 운전 보조 장치 및 차량
KR20180056867A (ko) * 2016-11-21 2018-05-30 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767910A (zh) * 2020-06-15 2020-10-13 重庆长安汽车股份有限公司 基于场景识别的车辆自适应传感器系统
CN111767910B (zh) * 2020-06-15 2023-01-06 重庆长安汽车股份有限公司 基于场景识别的车辆自适应传感器系统
CN112193175A (zh) * 2020-10-09 2021-01-08 安徽江淮汽车集团股份有限公司 监控摄像头调整机构的调整方法、调整机构及监控装置
KR20230001157A (ko) * 2021-06-28 2023-01-04 경희대학교 산학협력단 차량 미러용 카메라 각도 조정 장치 및 방법
KR102499116B1 (ko) * 2021-06-28 2023-02-16 경희대학교 산학협력단 차량 미러용 카메라 각도 조정 장치 및 방법

Also Published As

Publication number Publication date
WO2020122533A1 (ko) 2020-06-18
US20210331622A1 (en) 2021-10-28
CN113165667A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
KR102106572B1 (ko) 카메라의 시야각 조절을 통한 차량용 어라운드 뷰 모니터링 시스템 및 그 방법
US10899277B2 (en) Vehicular vision system with reduced distortion display
US8576285B2 (en) In-vehicle image processing method and image processing apparatus
EP1974998B1 (en) Driving support method and driving support apparatus
US8087791B2 (en) Methods and systems for adjusting the position of vehicle outside mirrors
JP3372944B2 (ja) 監視システム
JP5099451B2 (ja) 車両周辺確認装置
US20160297362A1 (en) Vehicle exterior side-camera systems and methods
JP5093611B2 (ja) 車両周辺確認装置
WO2017159510A1 (ja) 駐車支援装置、車載カメラ、車両および駐車支援方法
US8477191B2 (en) On-vehicle image pickup apparatus
JP2003054316A (ja) 車両用撮像装置、車両用監視装置及びドアミラー
US11582425B2 (en) Driver monitoring system using camera with adjustable mirror
JP3753681B2 (ja) 監視システム
US8537221B2 (en) Lane change control system
US20130208118A1 (en) Vehicular infrared night assistant driving system
JP4855884B2 (ja) 車両周辺監視装置
JP2003339044A (ja) 車両用周辺監視装置
JP3834967B2 (ja) 死角範囲表示装置
JP6130118B2 (ja) 画像処理システム、画像処理装置、画像処理方法、及び、プログラム
JP4862775B2 (ja) 運転支援方法及び運転支援装置
KR102473404B1 (ko) 탑뷰 제공 장치
JP7134211B2 (ja) 車載カメラ装置
CN115303181A (zh) 用于辅助驾驶员监控车辆外部环境的方法和设备
WO2022192663A1 (en) Vehicle camera mirror system with adjustable video feed

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant