KR20170002330A - Driver-customized display variable apparatus and method for controlling the same - Google Patents
Driver-customized display variable apparatus and method for controlling the same Download PDFInfo
- Publication number
- KR20170002330A KR20170002330A KR1020160081838A KR20160081838A KR20170002330A KR 20170002330 A KR20170002330 A KR 20170002330A KR 1020160081838 A KR1020160081838 A KR 1020160081838A KR 20160081838 A KR20160081838 A KR 20160081838A KR 20170002330 A KR20170002330 A KR 20170002330A
- Authority
- KR
- South Korea
- Prior art keywords
- driver
- unit
- output
- camera
- face
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000010191 image analysis Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 12
- 210000001747 pupil Anatomy 0.000 claims description 9
- 230000007423 decrease Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 208000002173 dizziness Diseases 0.000 description 2
- 230000037237 body shape Effects 0.000 description 1
- 238000012508 change request Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/02—Rear-view mirror arrangements
- B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B60W2540/28—
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Closed-Circuit Television Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Description
본 발명은 운전자 맞춤형 디스플레이 가변 장치 및 이의 제어 방법에 관한 발명으로서, 더욱 상세하게는 차량 내에서 디스플레이되는 카메라 이미지의 일정 출력 영역이 운전자의 움직임에 따른 시점에 알맞게 변환되도록 하는 운전자 맞춤형 디스플레이 가변 장치 및 이의 제어방법에 관한 것이다.The present invention relates to a driver-customized display variable device and a control method therefor, and more particularly, to a driver-customizable display variable device that allows a constant output area of a camera image displayed in a vehicle to be converted to a point of time according to a motion of a driver, And a control method thereof.
주행 중 운전자가 볼 수 없는 후방은 운전자의 안전을 위협하는 큰 위험요소이며, 차량을 운전하는 운전자는 대체로 전방만을 주시하고 있기 때문에 차량의 후방에는 주의를 기울이기가 어렵다. The rear, which the driver can not see during driving, is a major threat to the safety of the driver, and it is difficult to pay attention to the rear of the vehicle because the driver who drives the vehicle is usually only observing the front.
이러한 위험요소를 제거하기 위해 차량에는 다양한 후방 인식 기술이 개발되어 왔으며, 그 대표적으로는, 차량의 후방 영상을 차량 내에서 디스플레이 하는 기술이 가장 많이 사용되고 있다. In order to eliminate such risk factors, a variety of rear recognition technologies have been developed for vehicles, and a typical technique for displaying the rear image of the vehicle in the vehicle is the most popular.
상기 기술은 차량 외부에 후방 이미지를 촬영하는 다수개의 카메라를 설치하고, 상기 다수개의 카메라가 촬영한 각각의 이미지를 정합 또는 합성하여 하나의 파노라마 영상을 형성하며, 상기 형성된 파노라마 영상을 차량 내 운전석 근처에 설치되어 있는 인사이드 리어 뷰 미러(inside rear view mirror, 이하 룸 미러라 함) 또는 내비게이션(navigation) 등의 디스플레이 장치에 출력될 수 있도록 함으로써, 달성되고 있는 것이 일반적이다.The above-described technique includes installing a plurality of cameras for photographing a rear image on the outside of the vehicle, forming one panoramic image by matching or combining images captured by the plurality of cameras, And can be output to a display device such as an inside rear view mirror (hereinafter referred to as a room mirror) or navigation installed in the room.
그러나 이러한 종래의 기술은 상기 카메라가 촬영하는 후방 이미지를 디스플레이 장치에 고정적으로 디스플레이하는 일차원적인 기술로서, 적어도 하나의 카메라가 이룰 수 있는 광각에 비해 디스플레이 장치에 출력되는 출력영역이 한정적이라는 문제점이 있다.However, such a conventional technique is a one-dimensional technique for fixedly displaying a rear image captured by the camera on a display device, and there is a problem that an output area to be output to a display device is limited as compared with a wide angle that at least one camera can achieve .
물론, 디스플레이 장치의 일정 규격에 의해 상기 출력영역이 제한되는 것이 자명하다 하더라도, 상기 카메라가 갖는 고유의 광각에 따라 실제로 촬영할 수 있는 카메라의 촬영영역에 비해 이러한 촬영영역을 전체적으로 활용할 수 있는 활용도는 매우 낮은 실정이다.Of course, even if it is apparent that the output area is limited by a certain standard of the display device, utilization of such a photographing area as a whole can be more advantageous than the photographing area of the camera which can actually photograph according to the wide angle inherent to the camera It is low.
나아가, 운전자는 디스플레이 장치에 출력되는 출력영역 외에도 후방의 다른 측면을 모니터링하고 싶어할 경우가 있는데, 이러한 종래의 기술로는 상 기와 같은 운전자의 욕구를 만족시킬 수 없다.Furthermore, the driver may want to monitor the other side of the rear portion in addition to the output area output to the display device. Such conventional technology can not satisfy the driver's desire as described above.
따라서, 사용자의 움직임에 따른 시점을 인식하고, 상기 인식된 시 점에 따라 디스플레이 장치의 출력영역을 조정하여 카메라의 전체 촬영영역을 효율적으로 활용할 수 있는 디스플레이 기술이 요구된다.Accordingly, there is a need for a display technology capable of effectively utilizing the entire shooting area of a camera by recognizing a time point according to a user's motion and adjusting an output area of the display device according to the recognized point of view.
이러한 문제점을 해결하기 위하여, 본 발명은 차량 내에서 디스플레이되는 카메라 이미지의 일정 출력영역이 운전자의 움직임에 따른 시점에 알맞게 변환되도록 하는 운전자 맞춤형 디스플레이 가변 장치 및 이의 제어방법을 제공하는 것을 목적으로 한다.In order to solve such problems, it is an object of the present invention to provide a driver-customized display variable device and a control method thereof, in which a constant output area of a camera image displayed in a vehicle is converted to a point corresponding to a driver's motion.
상기와 같은 과제를 해결하기 위한 본 발명의 제 1 카메라부, 제 2 카메라부 및 디스플레이부가 장착된 차량에 적용되어, 차량의 운전을 보조하기 위한 운전자 맞춤형 디스플레이 가변 장치는 제 1 카메라부를 통해 촬영되는 카메라 이미지 중 적어도 일 부분을 출력 영역으로 추출하는 영역 설정부; 제 2 카메라부를 통해 촬영된 운전자 이미지를 분석함으로써, 운전자의 동작 정보를 검출하는 이미지 분석부; 운전자의 동작 정보에 따라 카메라 이미지 내에서 출력 영역의 시점을 조정하는 좌표계 조정부; 및 디스플레이부를 통해 시점이 조정된 출력 영역을 디스플레이하는 출력 제어부를 포함하는 것을 특징으로 한다.In order to solve the above-mentioned problems, the present invention is applied to a first camera unit, a second camera unit, and a vehicle equipped with a display unit, and the driver-customized display variable unit for assisting the driving of the vehicle is photographed through the first camera unit An area setting unit for extracting at least a part of the camera image as an output area; An image analyzer for analyzing a driver image photographed through the second camera unit to detect operation information of the driver; A coordinate system adjusting unit for adjusting a viewpoint of the output area in the camera image according to the operation information of the driver; And an output control unit for displaying an output area whose viewpoint is adjusted through the display unit.
또한, 동작 정보는 운전자의 얼굴과 눈동자 중 적어도 하나가 움직이면서 가변된 시축(S')의 기울기 값에 대한 정보를 포함할 수 있다.In addition, the operation information may include information on the inclination value of the variable time axis S 'while at least one of the driver's face and the pupil moves.
또한, 좌표계 조정부는 동작 정보를 근거로 운전자의 얼굴 위치와 운전자 기준 영역을 비교할 수 있다.Also, the coordinate system adjustment unit can compare the driver's face position with the driver's reference area based on the operation information.
또한, 좌표계 조정부는 운전자의 얼굴 위치가 운전자 기준 영역을 벗어난 경우, 운전자의 동작 정보에 따라 카메라 이미지 내에서 출력 영역 시점을 조정할 수 있다.In addition, when the face position of the driver is out of the driver reference area, the coordinate system adjustment unit can adjust the view point of the output area in the camera image according to the operation information of the driver.
또한, 좌표계 조정부는 운전자의 얼굴이 왼쪽과 오른쪽 중 하나의 방향으로 움직인 경우, 출력 영역의 시점을 왼쪽과 오른쪽 중 다른 하나의 방향으로 회전 조정할 수 있다.In addition, when the face of the driver moves in one of the left and right directions, the coordinate system adjuster can adjust the viewpoint of the output area to the other one of the left and right directions.
또한, 좌표계 조정부는 운전자의 얼굴이 위쪽과 아래쪽 중 하나의 방향으로 움직인 경우, 출력 영역의 시점을 위쪽과 아래쪽 중 다른 하나의 방향으로 회전 조정할 수 있다.In addition, the coordinate system adjustment unit can adjust the rotation of the viewpoint of the output area to the other one of the upward and downward directions when the driver's face moves in one of the upward and downward directions.
또한, 영역 설정부는 카메라 이미지에서 운전자 기준 영역에 따라 설정된 표준 시야 및 시야각을 갖는 기준 영역을 출력 영역으로 설정할 수 있다.The area setting unit may set a reference area having a standard field of view and a viewing angle set according to the driver reference area in the camera image as the output area.
또한, 좌표계 조정부는 운전자의 동작 정보에 따라 출력 영역의 출력 좌표계를 회전 조정함으로써 출력 영역 시점을 조정할 수 있다.Also, the coordinate system adjustment unit can adjust the output area view by rotating and adjusting the output coordinate system of the output area according to the operation information of the driver.
또한, 이미지 분석부는 운전자 이미지를 분석함으로써, 운전자의 얼굴과 디스플레이부 간의 가변하는 거리에 대한 거리 정보를 더 검출할 수 있다.Further, the image analyzing unit can further detect the distance information on the variable distance between the driver's face and the display unit by analyzing the driver image.
또한, 본 발명의 일 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치는 운전자의 얼굴과 상기 디스플레이부 간의 거리가 감소하는 경우 거리 정보에 포함된 거리 변화량에 따라 상기 출력 영역 중 적어도 일 부분을 확대시키고, 운전자의 얼굴과 상기 디스플레이부 간의 거리가 증가하는 경우 거리 변화량에 따라 출력 영역을 축소시키는 원근 제어부를 더 포함하여 구성될 수 있다.In addition, the driver-customized display variable device according to an embodiment of the present invention enlarges at least a part of the output area according to the distance variation included in the distance information when the distance between the face of the driver and the display decreases, And a perspective control unit for reducing the output area according to the distance variation when the distance between the face of the display unit and the display unit increases.
상기와 같은 과제를 해결하기 위한 본 발명의 제 1 카메라부, 제 2 카메라부 및 디스플레이부가 장착된 차량에 적용되어, 차량의 운전을 보조하기 위한 운전자 맞춤형 디스플레이 가변 장치의 제어 방법은 제 1 카메라부를 통해 촬영되는 카메라 이미지 중 적어도 일 부분을 출력 영역으로 추출하는 단계; 제 2 카메라부를 통해 촬영된 운전자 이미지를 분석함으로써, 운전자의 동작 정보를 검출하는 이미지 단계; 운전자의 동작 정보에 따라 카메라 이미지 내에서 상기 출력 영역의 시점을 조정하는 단계; 및 디스플레이부를 통해 시점이 조정된 출력 영역을 디스플레이하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of controlling a driver-assisted display variable device for assisting a driving of a vehicle, the method including: a first camera unit, a second camera unit, Extracting at least a part of the camera image taken through the camera as an output area; An image step of detecting driver's operation information by analyzing a driver image photographed through a second camera unit; Adjusting a viewpoint of the output area in a camera image according to operation information of a driver; And displaying an output area whose view is adjusted through the display unit.
또한, 동작 정보는 운전자의 얼굴과 눈동자 중 적어도 하나가 움직이면서 가변된 시축(S')의 기울기 값에 대한 정보를 포함할 수 있다.In addition, the operation information may include information on the inclination value of the variable time axis S 'while at least one of the driver's face and the pupil moves.
또한, 본 발명의 일 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치의 제어 방법은 동작 정보를 근거로 운전자의 얼굴 위치와 운전자 기준 영역을 비교하는 단계를 더 포함할 수 있다.Further, the method of controlling a driver-customizable display variable device according to an exemplary embodiment of the present invention may further include comparing a face position of a driver with a driver reference area based on operation information.
또한, 출력 영역의 시점을 조정하는 단계는 운전자의 얼굴 위치가 운전자 기준 영역을 벗어난 경우 이루어질 수 있다.Also, the step of adjusting the viewpoint of the output area may be performed when the face position of the driver is out of the driver reference area.
또한, 출력 영역의 시점을 조정하는 단계는 운전자의 얼굴이 왼쪽과 오른쪽 중 하나의 방향으로 움직였는지 단계; 및 운전자의 얼굴이 왼쪽과 오른쪽 중 하나의 방향으로의 움직인 경우, 출력 영역의 시점을 왼쪽과 오른쪽 중 다른 하나의 방향으로 회전 조정하는 단계를 포함할 수 있다.In addition, the step of adjusting the viewpoint of the output area may include a step of determining whether the driver's face moves in one of the left and right directions; And adjusting the viewpoint of the output area to the other one of the left and right directions when the driver's face moves in one of the left and right directions.
또한, 출력 영역의 시점을 조정하는 단계는 운전자의 얼굴이 위쪽과 아래쪽 중 하나의 방향으로 움직였는지 판단하는 단계; 및 운전자의 얼굴이 위쪽과 아래쪽 중 하나의 방향으로 움직인 경우, 출력 영역의 시점을 위쪽과 아래쪽 중 다른 하나의 방향으로 회전 조정하는 단계를 더 포함할 수 있다.In addition, the step of adjusting the viewpoint of the output area may include determining whether the driver's face has moved in one of upward and downward directions; And adjusting the rotation of the viewpoint of the output area to the other one of the upward and downward directions when the driver's face moves in one of the upward and downward directions.
또한, 카메라 이미지 중 적어도 일 부분을 출력 영역으로 추출하는 단계는 카메라 이미지에서 운전자 기준 영역에 따라 설정된 표준 시야 및 시야각을 갖는 기준 영역을 출력 영역으로 설정함으로써 이루어질 수 있다.The step of extracting at least a part of the camera image as an output area may be performed by setting a reference area having a standard field of view and a viewing angle set according to a driver reference area in the camera image as an output area.
또한, 출력 영역의 시점을 조정하는 단계는 운전자의 동작 정보에 따라 출력 영역의 출력 좌표계를 회전 조정함으로써 이루어질 수 있다.The step of adjusting the viewpoint of the output area may be performed by adjusting the output coordinate system of the output area in accordance with the operation information of the driver.
또한, 본 발명의 일 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치의 제어 방법은 운전자 이미지를 분석함으로써, 운전자의 얼굴과 디스플레이부 간의 가변하는 거리에 대한 거리 정보를 검출하는 단계를 더 포함할 수 있다.Further, the method of controlling a driver-customizable display variable device according to an embodiment of the present invention may further include detecting distance information on a variable distance between a face of a driver and a display unit by analyzing a driver image.
또한, 본 발명의 일 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치의 제어 방법은 운전자의 얼굴과 디스플레이부 간의 거리가 감소하는 경우 거리 정보에 포함된 거리 변화량에 따라 출력 영역 중 적어도 일 부분을 확대시키고, 운전자의 얼굴과 상기 디스플레이부 간의 거리가 증가하는 경우 거리 변화량에 따라 출력 영역을 축소시키는 단계를 더 포함할 수 있다.According to another aspect of the present invention, there is provided a method of controlling a driver-customizable display variable device, the method comprising: expanding at least a portion of an output area according to a distance variation included in distance information when a distance between a face of a driver and a display unit decreases; And reducing the output area according to the distance variation when the distance between the driver's face and the display unit increases.
본 발명의 일 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치 및 이의 제어 방법은 차량 내에서 디스플레이되는 카메라 이미지의 일정 출력 영역이 운전자의 움직임에 따른 시점에 알맞게 변환되도록 하는 장점이 있다.The driver-customized display variable device and control method thereof according to an embodiment of the present invention has an advantage that a certain output area of a camera image displayed in a vehicle is converted to a point of time according to a driver's motion.
또한, 본 발명의 일 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치 및 이의 제어 방법은 카메라부가 촬영한 운전자 이미지의 분석을 통해 운전자와 디스플레이부간의 거리 정보를 검출하고, 거리 정보에 따라 디스플레이부를 통해 출력 영역을 확대 또는 축소시켜 표시할 수 있는 장점이 있다.According to another aspect of the present invention, there is provided a driver-customizable display variable device and a control method therefor, which detects distance information between a driver and a display unit through analysis of a driver image captured by a camera unit, It can be enlarged or reduced.
도 1은 본 발명의 일 실시예에 따른 운전자 맞춤형 디스플레이 가변 시스템에 대한 개념도이다.
도 2는 본 발명의 제 1 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치에 대한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 제 1 카메라부의 촬영광각과 출력광각 및 디스플레이부의 출력영역을 나타낸 개념도이다.
도 4는 본 발명의 일 실시예에 따른 운전자가 디스플레이부의 정면을 바라본 실시예를 나타낸 개념도이다.
도 5는 본 발명의 일 실시예에 따른 운전자가 디스플레이부의 측면을 바라본 실시예를 나타낸 도면이다.
도 6은 본 발명의 제 2 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치에 대한 블록도이다.
도 7은 본 발명의 제 1 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치의 제어 방법에 대한 흐름도이다.
도 8은 본 발명의 제 1 실시예에 따른 출력 영역의 시점을 조정하는 단계에 대한 흐름도이다.
도 9는 본 발명의 제 2 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치의 제어 방법에 대한 흐름도이다.1 is a conceptual diagram of a driver-customizable display variable system according to an embodiment of the present invention.
2 is a block diagram of a driver-customizable display variable apparatus according to a first embodiment of the present invention.
FIG. 3 is a conceptual diagram illustrating a photographing wide angle, an output wide angle, and an output area of a display unit of a first camera unit according to an embodiment of the present invention.
4 is a conceptual diagram illustrating an embodiment in which a driver views the front of a display unit according to an embodiment of the present invention.
5 is a view illustrating an embodiment in which a driver views a side of a display unit according to an embodiment of the present invention.
6 is a block diagram of a driver-customizable display variable apparatus according to a second embodiment of the present invention.
7 is a flowchart illustrating a method of controlling a driver-customizable display variable device according to a first embodiment of the present invention.
8 is a flowchart of a step of adjusting a viewpoint of an output region according to the first embodiment of the present invention.
FIG. 9 is a flowchart illustrating a method of controlling a driver-customized display variable device according to a second embodiment of the present invention.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will now be described in detail with reference to the accompanying drawings. Hereinafter, a repeated description, a known function that may obscure the gist of the present invention, and a detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shapes and sizes of the elements in the drawings and the like can be exaggerated for clarity.
이하, 본 발명의 실시예에 따른 운전자 맞춤형 디스플레이 가변 시스템에 대하여 설명하도록 한다. Hereinafter, a driver-customizable display variable system according to an embodiment of the present invention will be described.
도 1은 본 발명의 일 실시예에 따른 운전자 맞춤형 디스플레이 가변 시스템에 대한 개념도이다. 본 발명의 일 실시예에 따른 운전자 맞춤형 디스플레이 가변 시스템은 차량(10) 내에서 디스플레이부(13)를 통해 디스플레이되는 카메라 이미지의 출력영역이 운전자의 움직임에 따른 시점에 알맞게 변환되도록 제어하는 것을 특징으로 한다.1 is a conceptual diagram of a driver-customizable display variable system according to an embodiment of the present invention. The driver-customizable display variable system according to an embodiment of the present invention is characterized in that the output area of the camera image displayed through the
이를 위해, 본 발명의 일 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치(100)는 제 1 카메라부(11), 제 2 카메라부(12) 및 디스플레이부(13)가 적용된 차량에 설치될 수 있고, 앞서 언급한 제어 과정을 통해 차량의 운전을 보조할 수 있다. 여기서, 제 1 카메라부(11)는 차량의 전방, 측방 및 후방 중 적어도 하나를 촬영하는 구성으로, 그리고 제 2 카메라부(12)는 차량 내부를 촬영하는 구성으로 정의될 수 있다.To this end, the driver-customized
여기서, 제 1 카메라부(11)는 차량의 전면, 후면 및 측면 중 적어도 하나에 설치되어, 임의의 촬영 좌표계(A, 도 3 참조)를 기준으로 차량의 전방, 측방 및 후방 중 적어도 하나의 영역에 대한 카메라 이미지를 출력할 수 있다. 예를 들어, 제 1 카메라부(11)는 4개의 카메라(이하, 각각 카메라 1, 2, 3, 4라 함)를 포함하여 구성될 수 있고, 각 카메라는 차량의 좌/우측 사이드 미러, 후방, 상측 중앙에 각각 설치되어 카메라 이미지를 생성할 수 있다.Here, the
예를 들어, 카메라 1은 차량의 우측 사이드 미러에 차량의 종방향 축과 미리 설정된 각도를 형성하여 설치되고, 광각 특성에 따라 차량의 우측 사각지대 및 후방을 촬영하여 출력할 수 있다.For example, the
카메라 2는 차량의 좌측 사이드 미러에 차량의 종방향 축과 미리 설정된 각도를 형성하여 설치되고, 광각 특성에 따라 차량의 좌측 사각지대 및 후방을 촬영하여 출력할 수 있다.The camera 2 is installed on the left side mirror of the vehicle with a predetermined angle with the longitudinal axis of the vehicle, and can photograph and output the left and right blind zones of the vehicle according to the wide angle characteristics.
카메라 3은 차체 상측 중앙의 샤크 안테나 위치에 미리 설정된 각도를 형성하여 설치되고, 광각(협각) 특성에 따라 후방을 촬영하여 출력할 수 있다. The camera 3 is installed at a predetermined angle in the shake antenna position at the center of the upper side of the vehicle body, and can photograph the rear side in accordance with the wide angle (narrow angle) characteristic and output it.
카메라 4는 차량 후방에 배치된 엠블럼, 번호판, 윈도우 글래스 등에 미리 설정된 각도를 형성하여 설치되고, 광각 특성에 따라 후방을 촬영하여 출력할 수 있다.The camera 4 is installed by forming an angle preset in an emblem, a license plate, a window glass, etc. arranged at the rear of the vehicle, and can photograph and output the rear according to the wide angle characteristic.
이러한 제 1 카메라부(11)의 구성과, 상기 구성이 이루는 작용은 통상적으로 게재된 일반적인 공지의 기술로서, 본 발명에서는 도면 및 부호를 도시하지 않았으며, 각 카메라에 부여한 '1, 2, 3, 4' 역시, 설명이 용이하도록 단순히 구분하기 위해 설정한 것이므로, 이러한 설정은 관련분야의 당업자가 다양하게 변경할 수 있다. The configuration of the
또한, 앞선 설명에서, 제 1 카메라부(11)가 4개의 카메라로 구성되고, 각 카메라의 설치위치를 구체적으로 설명하였으나, 이러한 설치위치는 본 발명의 실시예에 한정되지 않고, 카메라의 개수, 카메라의 설치 위치 및 카메라의 설치 방향은 상기 예시 외에도 다양하게 변경될 수 있다.In the foregoing description, the
다만, 본 발명의 실시예에 따르면, 상기 제 1 카메라부(11)에 포함된 각 카메라는 촬영할 수 있는 각각의 특정 광각을 가질 수 있으며, 이러한 각각의 광각의 총 합은 도 3에 도시된 바와 같이, R1이라는 총 촬영광각을 형성할 수 있다.However, according to the embodiment of the present invention, each camera included in the
따라서, 상기 제 1 카메라부(11)는 카메라 1, 2, 3, 4가 갖는 광각이 합쳐진 촬영광각(R1)을 갖게 되고, 촬영광각(R1)을 설정한 촬영 좌표계(A)를 따라 일정 촬영영역(미도시)으로 카메라 이미지를 촬영할 수 있다. 이러한 촬영광각(R1)은 도면에 한정되지 않고, 카메라의 종류에 따라 다양하게 변경될 수 있음은 물론이다.Accordingly, the
또한, 제 1 카메라부(11)에 포함된 카메라는 CMOS형 카메라 또는 CCD 카메라가 바람직하나, 이에 한정되지 않고, 스피드돔 카메라, 핀홀 카메라, 팬틸트줌 카메라 등이 사용될 수 있다. 물론, 제 1 카메라부(11)는 야간에도 촬영이 가능하도록 적외선 카메라가 부가적으로 구비될 수도 있으며, 본 발명의 실시예에 따르면, 초점 거리를 변화시킬 수 있도록 줌(Zoom) 렌즈를 구비한 카메라로 구성되는 것도 가능하다.The camera included in the
디스플레이부(13)는 제 1 카메라부(11)를 통해 출력된 카메라 이미지 중 적어도 일부를 포함하는 출력 영역(P, 도 3 참조)을 디스플레이 할 수 있다. 즉, 본 발명의 일 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치(100)는 제 1 카메라부(11)를 통해 촬영된 카메라 이미지 중 적어도 일 부분을 출력 영역으로 설정하고, 상기 출력 영역을 디스플레이부(13)를 통해 출력할 수 있다. 물론, 본 발명은 하나의 디스플레이부(13)를 통해 전체 카메라 이미지를 디스플레이 하는 것도 구현 가능하다. 다만, 전체 카메라 이미지를 디스플레이부(13)를 통해 디스플레이 할 경우, 실제로 운전자가 원하는 관심 영역에 대한 파악이 어렵고, 운전자에게 어지러움 등을 유발시킬 수 있다. 이에 따라, 본 발명의 일 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치(100)는 제 1 카메라부(11)를 통해 촬영된 카메라 이미지들 중 일부 영역인 관심 영역을 출력 영역으로 설정할 수 있다.The
이러한 디스플레이부(13)는 차량 내에 설치된 룸미러(Room Mirror), 내비게이션, 헤드 업 디스플레이(HUD, Head Up Display), 클러스터(Cluster) 중 적어도 어느 하나가 적용되는 것이 바람직하나, 이에 한정되지는 않는다.The
여기서, 출력 영역(P)은 도 3과 같이, 디스플레이부(13)의 규격 또는 상기 제 1 카메라부(11)의 기능에 따라 결정되는 디스플레이 영역을 나타낸다. 즉, 출력 영역(P)은 디스플레이부(13)에 출력될 카메라 이미지의 선명도, 화질 등 다양한 이미지 특성을 고려하여 제 1 카메라부(11)의 촬영 광각(R1)을 일정 출력 광각(R2)으로 제한하고, 출력 광각(R2)을 설정한 출력 좌표계(B)를 따라 디스플레이부(13)에 실제적으로 출력되는 영역을 의미한다.Here, the output area P represents a display area determined according to the specification of the
여기서, 출력 좌표계(B)는 제 1 카메라부(11)의 촬영 영역 중 디스플레이될 검출 기준 값을 제공하는 것으로, 본 발명에 따르면, 제1 카메라부(110)의 촬영광각(R1)을 설정한 촬영 좌표계(A) 내에서 다양한 좌표 변환이 이루어 질 수 있다.Here, the output coordinate system B provides a detection reference value to be displayed in an image pickup area of the
또한, 본 발명의 일 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치(100)는 운전자의 동작에 따라 디스플레이부(13)를 통해 디스플레이되는 출력 영역의 시점을 변경하는 것을 특징으로 한다. 이를 위해, 본 발명의 일 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치(100)는 제 2 카메라부(12)를 통해, 운전자에 대한 운전자 이미지를 촬영하고, 운전자 이미지를 근거로 운전자의 동작 정보를 검출할 수 있다.In addition, the driver-customized display
이를 위해, 제 2 카메라부(12)는 차량 내에 설치되어, 차량 내의 운전석에 위치한 운전자를 촬영하는 기능을 할 수 있다. 또한, 제 2 카메라부(12)는 운전자의 상반신, 얼굴, 머리, 눈동자 등 다양한 신체부위를 전체적으로 촬영하기 용이한 장소에 설치하는 것이 바람직하다.To this end, the
또한, 제 2 카메라부(12)는 비디오 카메라, 디지털 카메라, 캠코더, 웹카메라 등이 적용될 수 있으나, 이에 한정되지 않고, CCD나 CMOS 등의 이미지 센서를 내장하고 있는 모든 종류의 이미지 촬영 장치가 적용될 수 있다. 물론, 제 2 카메라부(12)는 스테레오 카메라 등 다중 이미지 동시 촬영 장치를 사용할 수도 있고, 별도의 조명 없이 주야간 촬영이 가능한 초저도 카메라 또는 적외선 카메라 등이 사용될 수도 있다. The
이렇게, 제 2 카메라부(12)를 통해 운전자 이미지가 출력되면, 본 발명의 일 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치(100)는 운전자 이미지를 분석함으로써, 운전자의 동작 정보를 검출한다. 그 후, 본 발명의 일 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치(100)는 운전자의 움직임에 따라, 디스플레이부(13)를 통해 출력되는 출력 영역의 시점을 변경함으로써, 운전자가 보기를 원하는 영역을 표시할 수 있다. 이제, 도 2를 참조로, 본 발명의 제 1 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치(100)에 대한 설명이 이루어진다.When the driver's image is output through the
도 2는 본 발명의 제 1 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치(100)에 대한 블록도이다. 상술한 바와 같이, 본 발명의 제 1 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치(100)는 제 1 카메라부(11)를 통해 촬영된 카메라 이미지 중 적어도 일부를 출력 영역으로 설정하여 디스플레이부(13)를 통해 디스플레이하되, 운전자의 동작에 따라 출력 영역의 시점을 변경하는 것을 특징으로 한다. 이를 위해, 본 발명의 제 1 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치(100)는 저장부(110), 영역 설정부(120), 이미지 분석부(130), 좌표계 조정부(140) 및 출력 제어부(150)를 포함하여 구성될 수 있다. 여기서, 영역 설정부(120), 이미지 분석부(130), 좌표계 조정부(140) 및 출력 제어부(150)는 본 발명의 이해를 돕기 위해 기능별로 각 구성을 구분한 것이고, 실제로는 CPU, MPU, GPU 및 ECU와 같은 하나의 처리 장치의 구성으로 구현되는 것도 가능하다. 2 is a block diagram of a driver-customizable display
저장부(110)는 제 1 카메라부(11)를 통해 촬영된 카메라 이미지가 저장될 수 있다. 물론, 저장부(110)에는 제 2 카메라부(12)를 통해 촬영된 운전자 이미지가 저장되는 것도 가능하다. 또한, 저장부(110)는 이하에서 설명되는 운전자의 동작 여부 판단을 위한 비교용 데이터를 더 구비할 수 있다. The
여기서, 비교용 데이터는 인체의 골격 및 근육 등의 해부학적 자료와 운전자의 주시 방향 변경에 관련되는 목, 머리, 안구 등 신체 부위의 동작 예측 자료와, 실험과 학습을 통하여 구축된 인종, 성별, 체형, 연령 등에 따른 인체의 자세 및 동작 모델링 데이터 등 운전자의 시축(S, 도 4 참조)을 예측하는 과정에 필요한 각종 데이터들을 포함할 수 있다.Here, the comparison data includes anatomical data such as the skeleton and muscles of the human body, motion prediction data of the body parts such as the neck, head, and eyes, which are related to the change of the driver's viewing direction, (S, see Fig. 4), such as the body posture and the behavior modeling data of the body according to the body shape, age, and the like.
또한, 저장부(110)는 상기 시축(S)의 기울기 값 산출과 관련되는 차량 각 부분의 설계 및 제작 데이터를 내장하여 후술되는 상기 기울기 값 산출에 활용되도록 할 수도 있다.Also, the
영역 설정부(120)는 카메라 이미지 중 적어도 일 부분을 출력 영역으로 추출하는 기능을 한다. 구체적으로, 영역 설정부(120)는 제 1 카메라부(11)를 통해 촬영된 카메라 이미지 중 적어도 일 부분을 출력 영역으로 설정하는 기능을 한다. 구체적으로, 영역 설정부(120)는 카메라 이미지에서, 아래의 설명에서 언급되는 운전자 기준 영역에 따라 설정된 표준 시야 및 시야각을 갖는 기준 영역을 출력 영역으로 설정할 수 있다. 여기서, 기준 영역은 별도의 시점 변경 요청이 없을 때 설정되는 기본 영역을 나타낸다.The
아래의 설명에서는 제 1 카메라부(11)가 차량의 후방을 촬영하는 하나의 카메라만을 포함하는 상황을 가정하여 설명된다. 다만 이는 본 발명의 이해를 돕기 위함이고, 실제로는 제 1 카메라부(11)가 복수의 카메라들을 포함하더라도 동일한 기술적 사상을 포함할 수 있다.In the following description, it is assumed that the
본 예시에서, 영역 설정부(120)는 제 1 카메라부(11)를 통해 촬영된 카메라 이미지의 전체 영역이 아닌 일부 영역만을 출력 영역으로 추출할 수 있다. 이는 앞서 언급한 것처럼 전체 카메라 이미지를 디스플레이부(13)를 통해 디스플레이할 경우, 운전자에게 어지러움을 유발시킬 수 있을 뿐만 아니라, 운전자가 파악하기 원하는 관심 부분에 대한 파악이 어렵기 때문이다. 따라서, 영역 설정부(120)는 카메라 이미지 중 일부 영역만 출력 영역으로 설정할 수 있다.In this example, the
이미지 분석부(130)는 제 2 카메라부(12)를 통해 촬영된 운전자 이미지를 분석하는 기능을 한다. 앞서 언급한 것처럼, 본 발명의 일 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치(100)는 운전자의 동작을 고려하여 디스플레이부(13)를 통해 출력되는 출력 영역의 시점을 변경하는 것을 특징으로 한다. 이에 따라, 이미지 분석부(130)는 운전자 이미지를 분석함으로써, 운전자의 동작 정보를 검출할 수 있다.The
또한, 이미지 분석부(130)는 상기 기능을 수행하기 위해, 미리 저장된 이미지 프로세싱 프로그램을 통해 운전자의 움직임을 인식할 수 있다. 예를 들어, 이미지 분석부(130)는 제 2 카메라부(12)가 출력하는 운전자 이미지를 미리 저장된 이미지 프로세싱 프로그램을 통해 저장부(110)에 저장된 비교용 데이터와 비교 분석하여 운전자의 동작 정보를 검출할 수 있다.In addition, the
예컨대, 이미지 프로세싱 프로그램은 비교용 데이터, 즉, 미리 저장된 샘플 이미지(해부학적 자료와 인체의 자세 및 동작 모델링 데이터 등으로 이루어진 표본 운전자 이미지) 또는 제 2 카메라부(12)의 촬영에 의해 저장부(110)에 미리 촬영되어 저장된 운전자 이미지를 추출하여, 현재 촬영 진행중인 운전자 이미지와 비교 분석할 수 있다. For example, the image processing program may store the comparison data, that is, a sample image (sample driver image made up of the anatomical data and the body posture and the operation modeling data) stored in advance or the
더 구체적으로는, 비교 대상이 되는 두 이미지의 픽셀을 분석하여, 벡터로 정의된 화소들의 이동 변위와 각도 변위 등을 통해 유사도를 검출하여 물체 및 신체부위의 위치와 그에 대한 이동을 인식할 수 있다. 물론, 상기 방식 외에도, 물체 또는 신체부위의 경계선 및 윤곽선 등의 에지, 윤곽에 근사하는 선분, 곡선 등을 구하여 인식하는 방법도 생각해 볼 수 있다. 뿐만 아니라, 운전자 이미지 내에 존재하는 모서리점, 불변인 점, 또는 회전변환이나 크기 변화 등에 대하여 불변인 특징점을 이용한 인식을 수행할 수도 있으며, 이미지에 포함된 물체, 신체부위의 특징점을 추출하여 인식을 수행할 수도 있다. More specifically, the pixels of two images to be compared are analyzed, and the similarity is detected through the movement displacement and the angular displacement of the pixels defined by the vector, so that the position of the object and the body part and the movement thereof can be recognized . Of course, other than the above-mentioned method, a method of finding an edge such as a border or contour of an object or a body part, a line segment approximating the contour, a curve, or the like may be obtained and recognized. In addition, it is also possible to perform recognition using feature points that are unchangeable with respect to edge points, invariant points, rotation changes, or size changes existing in the driver image, and extract feature points of the object and body parts included in the image to recognize .
이미지 분석부(130)를 통해 이루어지는 이미지 분석 과정은 일반적인 공지의 기술로서, 해당 관련분야의 통상지식을 가진 당업자에 의해 다양한 변경설계가 가능함은 물론이며, 운전자의 상반신, 얼굴, 눈동자 등 다양한 신체부위의 변화는 물론, 그 주변에 위치한 물체의 변화까지 인식할 수 있다.The image analysis process performed through the
이에 따라, 상기 이미지 분석부(130)는 디스플레이부(13)를 바라보는 운전자의 시축(S)을 인식할 수 있으며, 운전자의 시축(S)이 가변 되었을 경우에, 상기 운전자의 눈동자와 디스플레이부(13) 간의 거리, 눈동자의 이동거리 등을 분석하여 상기 운전자의 동작 정보를 검출할 수 있다.Accordingly, the
여기서, 동작 정보는 전술한 바와 같이, 운전자의 상반신, 얼굴, 눈동자 등 다양한 신체부위가 움직이면서 가변된 시축(S', 도 5 참조)의 기울기 값에 대한 정보를 포함할 수 있다. Here, as described above, the operation information may include information on a slope value of a time axis (S ', see FIG. 5) varying with various body parts such as an upper body, a face, and a pupil of a driver.
좌표계 조정부(140)는 디스플레이부(13)에서 디스플레이되는 출력 영역(P)을 조정하는 기능을 한다. 즉, 좌표계 조정부(140)는 이미지 분석부(130)를 통해 검출된 동작 정보를 근거로 운전자의 동작 여부를 판단하고, 운전자의 동작 정도에 따라 카메라 이미지 내에서 출력 영역의 시점(P)을 조정하는 기능을 한다.The coordinate
바람직하게, 좌표계 조정부(140)는 운전자의 동작 여부 판단에 있어서, 운전자 이미지 내에서 운전자의 얼굴 위치가 미리 설정된 운전자 기준 영역 내에 있는지 판단을 수행할 수 있다. 여기서, 운전자 기준 영역이란 운전자석에 운전자가 앉은 상태에서 운전자가 별도의 행위를 취하지 않을 때, 운전자의 얼굴 위치를 나타내는 영역으로 정의될 수 있다. 물론, 운전자 기준 영역은 운전자의 얼굴 위치뿐만 아니라, 다른 신체 부위를 근거로 그 영역이 설정되는 것도 가능하다. 즉, 운전자 기준 영역은 운전자의 신체 부위의 위치 변화 등을 판단하기 위해 이용될 수 있다.Preferably, the coordinate
다만, 운전자의 상반신의 경우 그 움직일 수 있는 범위가 작고, 손의 경우 지속적으로 변화하는 운전 상황에 따라 잦은 움직임이 발생되어, 운전자의 의도와는 달리 출력 영역의 시점이 변경될 가능성이 높으며, 눈동자의 경우 다른 신체 부위에 비해 그 크기가 작고, 안경이나 선글라스 등 착용 시, 이의 검출이 어려운 점이 존재한다. 따라서, 운전자 기준 영역은 다른 신체 부위로 설정되는 것도 가능하지만, 운전자의 얼굴 위치를 근거로 설정되는 것이 가장 바람직하다. However, in the case of the upper body of the driver, the movable range is small, and in the case of the hand, the frequent movement is generated according to the continuously changing driving situation, so that the viewpoint of the output area is likely to be changed unlike the driver's intention. The size of the body part is smaller than other parts of the body, and it is difficult to detect it when wearing glasses or sunglasses. Thus, although it is possible that the driver reference area may be set to another body part, it is most preferable to be set based on the face position of the driver.
판단 결과, 운전자 기준 영역 내에 운전자의 얼굴이 위치되어 있는 경우, 좌표계 조정부(140)는 운전자가 디스플레이부(13)를 통해 출력되는 출력 영역의 시점 변경을 위한 별도의 동작을 취하지 않은 것으로 판단할 수 있다. 반대로, 운전자 이미지 내에서 운전자의 얼굴이 운전자 기준 영역을 벗어난 경우, 좌표계 조정부(14)는 운전자가 출력 영역의 시점 변경을 위한 동작을 취한 것으로 판단할 수 있다.If it is determined that the driver's face is located within the driver reference area, the coordinate
먼저, 운전자가 출력 영역의 시점 변경을 위한 별도의 동작을 취하지 않은 경우, 좌표계 조정부(140)는 영역 설정부(120)를 통해 설정한 출력 영역에 대해 별도의 시점 변경 과정을 수행하지 않게 된다. 즉, 운전자가 출력 영역의 시점 변경을 위한 별도의 동작을 취하지 않은 경우, 영역 설정부(120)를 통해 설정한 출력 영역이 그대로 출력될 수 있다. 다시 말해, 운전자가 출력 영역의 시점 변경을 위한 별도의 동작을 취하지 않은 경우, 아래에서 설명되는 출력 제어부(150)는 미리 설정된 기준 영역으로 설정된 출력 영역을 디스플레이부(13)를 통해 디스플레이 시킬 수 있다.First, when the driver does not take a separate operation for changing the viewpoint of the output area, the coordinate
반대로, 좌표계 조정부(140)에서의 판단 결과 운전자의 얼굴이 운전자 기준 영역을 벗어난 경우에 대한 설명이 이루어진다. Conversely, when the coordinate
좌표계 조정부(140)는 운전자의 얼굴이 운전자 기준 영역을 벗어난 것으로 판단 된 경우, 먼저 운전자의 얼굴이 왼쪽과 오른쪽 중 하나의 방향으로 움직였는지 판단한다. 판단 결과, 운전자의 얼굴이 왼쪽과 오른쪽 중 하나의 방향으로 움직인 것으로 판단된 경우, 좌표계 조정부(140)는 출력 영역의 시점을 왼쪽과 오른쪽 중 다른 하나의 방향으로 회전 조정할 수 있다.When it is determined that the driver's face is out of the driver reference area, the coordinate
예를 들어, 좌표계 조정부(140)를 통한 판단 결과, 운전자의 얼굴이 운전자 기준 영역을 벗어나 왼쪽으로 움직인 것으로 판단된 경우, 출력 영역의 시점을 오른쪽으로 회전 조정할 수 있다. 또한, 좌표계 조정부(140)를 통한 판단 결과, 운전자의 얼굴이 운전자 기준 영역을 벗어나 오른쪽으로 움직인 것으로 판단된 경우, 출력 영역의 시점을 왼쪽으로 회전 조정할 수 있다. 이에 대한 예시는 도 4 및 도 5를 참조하면 보다 분명해진다.For example, when it is determined through the coordinate
여기서, 도 4는 운전자의 얼굴이 운전자 기준 영역 내에 있을 때의 예시를 나타내고, 도 5는 운전자의 얼굴이 운전자 기준 영역을 벗어나 오른쪽에 위치할 때의 예시를 나타낸다. 또한, 본 예시에서 제 2 카메라부(12)와 디스플레이부(13)는 하나의 구성으로 도시되었으나, 이는 예시일 뿐이고 별도의 구성으로 분리되어 차량에 배치되는 것도 가능하다.4 shows an example when the driver's face is within the driver reference area, and Fig. 5 shows an example when the driver's face is located on the right side beyond the driver reference area. In this example, the
먼저, 도 4를 참조하면, 운전자의 얼굴이 운전자 기준 영역 내에 있어서, 디스플레이부(13)에는 카메라 이미지에서 기준 영역을 근거로 설정된 출력 영역이 디스플레이된다. 즉, 운전자는 일정 시축(S)으로 디스플레이부(13)의 정면을 바라볼 경우, 디스플레이부(13)에는 기준 영역을 근거로 설정된 이미지(I1)가 출력될 수 있다.First, referring to FIG. 4, an output area set on the basis of the reference area in the camera image is displayed on the
반면, 도 5와 같이, 도 4의 상황에서 운전자가 얼굴(고개)를 우측으로 움직여 가변된 시축(S')으로 상기 디스플레이부(13)의 좌측면을 바라볼 경우, 디스플레이부(13)에는 출력 영역의 시점이 좌측으로 회전 조정된 이미지(I2)가 표시될 수 있다. 즉, 도 4에서 보이지 않던 카메라 이미지의 영역을 사용자의 의도, 즉, 움직임에 따라 제 1 카메라부(11, 도 1 참조)의 촬영 영역 내에서 자유롭게 모니터링할 수 있게 된다. On the other hand, as shown in FIG. 5, when the driver looks at the left side of the
또한, 좌표계 조정부(140)는 앞서 설명한 얼굴의 좌우 움직임에 대한 판단뿐만 아니라, 운전자의 얼굴의 상하 움직임에 대한 판단을 더 수행할 수 있다. 구체적으로, 좌표계 조정부(140)는 운전자의 얼굴이 운전자 기준 영역을 벗어난 것으로 판단 된 경우, 먼저 운전자의 얼굴이 위쪽과 아래쪽 중 하나의 방향으로 움직였는지 판단한다. 판단 결과, 운전자의 얼굴이 위쪽과 아래쪽 중 하나의 방향으로 움직인 것으로 판단된 경우, 좌표계 조정부(140)는 출력 영역의 시점을 위쪽과 아래쪽 중 다른 하나의 방향으로 회전 조정할 수 있다.In addition, the coordinate
예를 들어, 좌표계 조정부(140)를 통한 판단 결과, 운전자의 얼굴이 운전자 기준 영역을 벗어나 위쪽으로 움직인 것으로 판단된 경우, 출력 영역의 시점을 아래쪽으로 회전 조정할 수 있다. 또한, 좌표계 조정부(140)를 통한 판단 결과, 운전자의 얼굴이 운전자 기준 영역을 벗어나 아래쪽으로 움직인 것으로 판단된 경우, 출력 영역의 시점을 위쪽으로 회전 조정할 수 있다.For example, if it is determined through the coordinate
여기서, 좌표계 조정부(140)를 통해 이루어지는 출력 영역의 시점 변경은 다음과 같이 이루어질 수 있다. 이미지 분석부(130)를 통해 운전자의 동작 정보가 검출되면, 좌표계 조정부(140)는 검출된 동작 정보에 따라 디스플레이 되고 있던 출력영역(P)의 출력 좌표계(B)에 대한 회전 조정을 수행한다. 그 후, 좌표계 조정부(140)는 조정된 출력 좌표계(B', 도 3 참조)에 따라 가변된 출력 영역(P', 도 3 참조)을 출력 제어부(150)로 전달할 수 있다.Here, the viewpoint change of the output area through the coordinate
이러한 특정 좌표계를 회전 조정하여 디스플레이되는 영역이 변환 또는 반전되도록 제어하는 기술은 일반적인 공지의 기술이 적용 가능하며, 본 발명의 기술적 범위 내에서 다양한 변경설계가 가능하다.Conventionally known techniques can be applied to control the rotation of the specific coordinate system to control the display area to be transformed or inverted, and various modifications can be designed within the technical scope of the present invention.
또한, 본 발명의 제 1 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치(100)에 따르면, 저장부(110)에 미리 저장된 비교용 데이터와 제 2 카메라부(12)가 출력하는 운전자 이미지의 비교를 통해 그 변화량으로 상기 좌표계 조정부(140)가 출력영역(P)을 조정하도록 구성하는 것으로 설명하였다. 다만, 본 발명의 일 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치(100)는 이에 한정되지 않고, 이미지 분석부(130)가 인식할 수 있는 운전자의 시축(S)과 좌표계 조정부(140)를 연동시켜, 저장부(110)를 활용하지 않고, 시축(S)에 따라 직접적으로 출력 좌표계(B)가 회전되도록 구성할 수도 있다.According to the driver-customized display
출력 제어부(150)는 디스플레이부(13)를 통해 출력 영역을 디스플레이 하는 기능을 한다. 구체적으로, 출력 제어부(150)는 좌표계 조정부(140)를 통한 출력 영역 시점의 조정 결과를 근거로, 시점이 조정된 출력 영역을 디스플레이부(13)를 통해 디스플레이 할 수 있다. The
물론, 출력 제어부(150)를 통해 디스플레이 되는 화면의 경우, 운전자의 얼굴이 운전자 기준 영역 내에 있다면, 영역 설정부(120)를 통해 설정된 기준 영역이 디스플레이될 수 있고, 반대로 운전자의 얼굴이 기준 영역을 벗어난 경우, 좌표계 조정부(140)를 통해 시점이 조정된 출력 영역이 디스플레이부(13)를 통해 표시될 수 있다.Of course, in the case of the screen displayed through the
도 6은 본 발명의 제 2 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치(200)에 대한 블록도이다. 여기서, 본 발명의 제 2 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치(200)는 앞서 도 2 내지 도 5를 참조로 설명한 본 발명의 제 1 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치(100)의 기능뿐만 아니라, 운전자와 디스플레이부(13)간 거리를 검출하고, 해당 거리를 근거로 출력 영역의 확대 또는 축소를 더 수행할 수 있다. 6 is a block diagram of a driver-customizable display
이를 위해, 본 발명의 제 2 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치(200)는 앞서 도 2 내지 도 5를 참조로 설명한 본 발명의 제 1 실시예에 부가하여, 이미지 분석부(230)에서 디스플레이부(13)와 운전자 간 거리 정보를 더 검출하고, 원근 제어부(250)를 통해 출력 영역의 확대 여부를 결정할 수 있다. 2 to 5, the driver-customized display
아래의 설명에서는 도 2 내지 도 5를 참조로 설명한 부분과 중복되는 사항은 생략하고, 차이점 위주로 그 설명이 이루어진다. 또한, 앞서 설명한 것과 마찬가지로, 영역 설정부(220), 이미지 분석부(230), 좌표계 조정부(240), 원근 제어부(250) 및 출력 제어부(260)는 본 발명의 이해를 돕기 위해 기능별로 각 구성을 구분한 것이고, 실제로는 CPU, MPU, GPU 및 ECU와 같은 하나의 처리 장치로 구현될 수 있다.In the following description, the elements that are the same as those described with reference to FIGS. 2 to 5 will be omitted, and the description will be made mainly on the differences. In order to facilitate the understanding of the present invention, the
이미지 분석부(230)는 제 2 카메라부(12)를 통해 촬영된 운전자 이미지를 분석하는 기능을 한다. 앞서 언급한 것처럼, 본 발명의 일 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치(100)는 운전자의 동작을 고려하여 디스플레이부(13)를 통해 출력되는 출력 영역의 시점을 변경하는 것을 특징으로 한다. 이에 따라, 이미지 분석부(230)는 운전자 이미지를 분석함으로써, 운전자의 동작 정보를 검출할 수 있다.The
또한, 이미지 분석부(230)는 앞서 설명한 동작 정보뿐만 아니라, 상술한 이미지 분석을 통해, 운전자의 얼굴과 디스플레이부(13) 간의 가변하는 거리에 대한 거리 정보를 더 검출할 수 있다. 여기서, 거리 정보는 운전자의 얼굴과 디스플레이부(13) 간의 거리에 대한 거리 변화량을 포함할 수 있다.The
원근 제어부(250)는 이미지 분석부(230)를 통해 검출된 거리 정보를 근거로, 운전자의 얼굴과 디스플레이부(13)간 거리의 증가 또는 감소 여부를 판단한다. 그 후, 원근 제어부(250)는 앞서 판단된 증가 또는 감소 여부에 따라 디스플레이부(13)를 통해 출력될 출력 영역의 적어도 일부를 확대하거나, 출력 영역을 축소시킬 수 있다.The
예를 들어, 원근 제어부(250)는 운전자의 얼굴과 상기 디스플레이부(13) 간의 거리가 감소하는 경우, 즉, 운전자의 얼굴이 디스플레이부(130) 방향으로 다가가는 경우, 거리 정보에 포함된 거리 변화량에 따라 출력 영역 중 적어도 일 부분을 확대시킬 수 있다. 여기서, 확대되는 부분은 출력 영역 중 중앙 부분을 중심으로 확대되는 것이 바람직하다.For example, when the distance between the face of the driver and the
반대로, 원근 제어부(250)는 운전자의 얼굴과 상기 디스플레이부 간의 거리가 증가하는 경우, 즉, 운전자의 얼굴이 디스플레이부에서 멀어지는 경우, 거리 정보에 포함된 거리 변화량에 따라 출력 영역을 축소시킬 수 있다. 여기서, 운전자의 얼굴의 위치가 앞서 설명된 운전자 기준 영역에 도달할 때, 전체 카메라 이미지 내에서 출력 영역이 차지하는 비중은 기준 영역의 크기로 되돌아 가는 것이 바람직하다.In contrast, when the distance between the driver's face and the display unit increases, that is, when the driver's face moves away from the display unit, the
다른 예시로서, 원근 제어부(250)는 앞서 설명한 출력 영역을 확대 또는 축소시키는 것뿐만 아니라, 제 1 카메라부(11)의 줌 인 또는 줌 아웃을 제어함으로써 앞서 설명한 것과 유사한 결과를 도출할 수 있다.As another example, the
예를 들어, 원근 제어부(250)는 이미지 분석부(230)를 통해 거리 정보가 포함된 운전자의 동작 정보가 검출되면, 상기 거리 정보에 따라 제 1 카메라부(11)의 줌 인(Zoom-In) 또는 줌 아웃(Zoom-Out)을 제어하는 기능을 수행할 수 있다. 이러한 제 1 카메라부(11)의 줌 인 또는 줌 아웃을 제어하는 기능은 제 1 카메라부(11)의 출력영역(P) 내에서 필요한 일정 영역만을 디스플레이부(120)의 화면에 채워지도록하는 디지털 줌 기능에 의해 달성될 수 있으며, 이러한 디지털 줌 기능은 일반적인 공지의 기술이 적용될 수 있다.For example, when the operation information of the driver including the distance information is detected through the
또한, 본 발명의 실시예에 따르면, 상기 줌 인(Zoom-In) 또는 줌 아웃(Zoom-Out)의 제어는 디지털 줌 기능에 한정되지 않고, 초점 거리를 변화시킬 수 있도록 줌(Zoom) 렌즈를 구비한 제 1 카메라부(11)에 의해 달성될 수도 있다.In addition, according to the embodiment of the present invention, the Zoom-In or Zoom-Out control is not limited to the digital zoom function, and a zoom lens may be used to change the focal distance. And may be achieved by the
물론 이는 예시일 뿐이고, 본 발명의 제 2 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치(200)가 적용되는 차량의 카메라에 이러한 줌-인 또는 줌-아웃 기능이 포함되지 않은 상황이 존재할 수 있고, 상기 기능이 포함될 경우 카메라의 제조 단가도 높아지기에, 앞서 설명한 영상 처리 기법을 통해 출력 화면을 확대 또는 축소시키는 것이 더 바람직할 수 있다.Of course, this is only an example, and there may be a situation where the camera of the vehicle to which the driver-customized display
도 7은 본 발명의 제 1 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치의 제어 방법에 대한 흐름도이다. 상술한 바와 같이, 본 발명의 제 1 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치는 제 1 카메라부, 제 2 카메라부 및 디스플레이부를 포함하는 차량에 적용될 수 있다. 또한, 본 발명의 제 1 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치는 제 1 카메라부를 통해 카메라 이미지 중 적어도 일부를 출력 영역으로 설정하여 디스플레이부를 통해 디스플레이하되, 운전자의 동작에 따라 출력 영역의 시점을 변경하는 것을 특징으로 한다. 이제, 도 7을 참조로 상술한 본 발명의 제 1 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치의 제어 방법에 대한 설명이 이루어진다.7 is a flowchart illustrating a method of controlling a driver-customizable display variable device according to a first embodiment of the present invention. As described above, the driver-customized display variable device according to the first embodiment of the present invention can be applied to a vehicle including a first camera unit, a second camera unit, and a display unit. In addition, the driver-customized display variable device according to the first embodiment of the present invention sets at least a part of camera images as an output area through the first camera unit and displays the output image through the display unit, . A description will now be given of a method of controlling the driver-customized display variable device according to the first embodiment of the present invention described above with reference to FIG.
S110 단계는 카메라 이미지 및 운전자 이미지를 수집하는 단계이다. 구체적으로, S110 단계는 제 1 카메라부를 통해 촬영된 카메라 이미지들과, 제 2 카메라부를 통해 촬영된 운전자 이미지를 수집하고, 이를 저장부에 저장하는 단계이다. 여기서, 카메라 이미지들은 실시간으로, 그리고 반복적으로 수집되는 것이 바람직하고, 운전자 이미지는 미리 설정된 구동 및 촬영 절차에 따라 지속적 또는 간헐적으로 촬영될 수 있다. Step S110 is a step of collecting the camera image and the driver image. Specifically, the step S110 collects the camera images photographed through the first camera unit and the driver image photographed through the second camera unit, and stores the collected images in the storage unit. Here, it is preferable that the camera images are collected in real time and repeatedly, and the driver image can be continuously or intermittently photographed according to a predetermined driving and photographing procedure.
앞서 설명한 것처럼, 제 1 카메라부는 적어도 카메라들을 포함하여 구성될 수 있고, 각 카메라는 차량의 전방, 측방 및 후방 중 적어도 하나의 방향을 촬영하도록 설치될 수 있다. 그리고, 제 2 카메라부는 운전자를 촬영하기 위해 차량 내부에 설치될 수 있다. 여기서, 제 2 카메라부와 디스플레이부는 하나의 장치로 구성될 수 있으나, 이는 예시일 뿐이고 별도의 구성으로 각각 차량 내부에 존재하는 것도 가능하다.As described above, the first camera unit can be configured to include at least cameras, and each camera can be installed to photograph at least one of the front, side, and rear directions of the vehicle. The second camera unit can be installed inside the vehicle for photographing the driver. Here, the second camera unit and the display unit may be constituted by a single device, but the present invention is not limited thereto.
S120 단계는 카메라 이미지 중 적어도 일 부분을 출력 영역으로 추출하는 단계이다. 즉, S120 단계는 제 1 카메라부를 통해 출력되는 카메라 이미지 중 적어도 일 부분을 출력 영역으로 추출하는 단계이다. 앞서 언급한 것처럼, 최초에 설정되는 출력 영역은 카메라 이미지에서 운전자 기준 영역에 따라 설정된 표준 시야 및 시야각을 갖는 기준 영역을 근거로 설정될 수 있다. 이하에서 언급되는 바와 같이, 이러한 기준 영역은 운전자가 시점 변경을 위한 별도의 동작을 취하지 않는 경우, 설정되는 기본 영역일 수 있다.Step S120 is a step of extracting at least a part of the camera image into an output area. That is, step S120 is a step of extracting at least a part of the camera image output through the first camera unit as an output area. As mentioned earlier, the output area initially set can be set based on a reference area having a standard field of view and a viewing angle set according to the driver reference area in the camera image. As will be described below, this reference area may be a basic area to be set when the driver does not take a separate action for changing the viewpoint.
S130 단계는 운전자 이미지를 분석함으로써, 운전자의 동작 정보를 검출하는 단계이다. 앞서 설명한 것처럼, S130 단계는 S110 단계를 통해 수집한 운전자 이미지에서 운전자의 상반신, 얼굴, 눈동자 등과 같은 신체 부위를 검출하고, 해당 신체 부위의 움직임을 검출할 수 있다. 또한, S130 단계는 신체 부위의 움직임 시, 신체 부위가 움직이면서 가변된 시축의 기울기 값에 대한 정보를 검출함으로써, 동작 정보를 생성할 수 있다. 또한, S130 단계를 통해 이루어지는 이미지 분석 방법은 위에서 도 2를 참조로 상세히 설명하였고, 이에 대한 방법은 다양한 방식이 채택되어 적용될 수 있으므로, 추가적인 설명은 생략한다.Step S130 is a step of detecting the driver's operation information by analyzing the driver image. As described above, in step S130, a body part such as an upper body, a face, and a pupil of a driver may be detected in the driver image collected through step S110, and motion of the body part may be detected. In
S140 단계는 S130 단계를 통해 검출한 동작 정보를 근거로 운전자의 얼굴 위치를 판단하는 단계이다.Step S140 is a step of determining the face position of the driver based on the detected operation information through step S130.
S150 단계는 운전자의 얼굴 위치가, 미리 설정된 운전자 기준 영역 내에 있는 지의 여부를 판단하는 단계이다. 여기서, 운전자 기준 영역은 운전자석에 운전자가 앉은 상태에서 운전자가 별도의 행위를 취하지 않을 때, 운전자의 얼굴, 눈동자, 상반신 및 손과 같은 신체 부위의 위치를 나타내는 영역으로 정의될 수 있다. 다만, 앞서 설명한 바와 같이, 운전자 기준 영역은 운전자의 얼굴 위치를 근거로 설정되는 것이 가장 바람직하고, S150 단계에서의 판단도 운전자의 얼굴 위치를 근거로 이루어지는 것이 가장 바람직하다.Step S150 is a step of determining whether or not the face position of the driver is within a predetermined driver reference area. Here, the driver reference area may be defined as an area indicating a position of a body part such as a driver's face, a pupil, an upper body, and a hand when the driver does not take a separate action while the driver is sitting on the driver's magnet. However, as described above, it is most preferable that the driver reference area is set based on the face position of the driver, and the determination in step S150 is most preferably based on the driver's face position.
S150 단계에서의 판단 결과, 현재 차량을 운전하는 운전자의 얼굴 위치가 미리 설정된 기준 영역 내에 있는 경우, 제어는 S170 단계로 전달된다. 그렇지 않은 경우, 제어는 S160 단계로 전달된다.As a result of the determination in step S150, if the face position of the driver driving the current vehicle is within the predetermined reference area, the control is transferred to step S170. Otherwise, control passes to step S160.
S160 단계는 운전자의 얼굴 위치가 미리 설정된 운전자 기준 영역을 벗어나는 경우 수행되는 단계로서, S130 단계를 통해 검출한 운전자의 동작 정보를 근거로 출력 영역의 시점을 회전 조정하는 단계이다. The step S160 is a step performed when the face position of the driver is out of the preset driver reference area and the step of rotating the view point of the output area based on the operation information of the driver detected through step S130.
즉, S160 단계는 S130 단계를 통해 검출한 동작 정보를 근거로, 운전자의 얼굴 위치를 판단하고, 운전자의 얼굴 위치에 대응하여 출력 영역의 시점을 회전 조정하는 단계이다. 여기서, 운전자의 얼굴 위치에 대한 판단은 좌우 및 상하에 대해 이루어질 수 있다. 물론 상기 순서는 예시일 뿐이고 운전자 얼굴 위치에 있어서 상하 및 좌우 판단을 수행하는 것도 가능하다. That is, in step S160, the face position of the driver is determined based on the motion information detected through step S130, and the rotation of the view point of the output area is adjusted corresponding to the face position of the driver. Here, the determination of the driver's face position can be made for left and right and top and bottom. Of course, the above procedure is merely an example, and it is also possible to perform up-and-down and left-and-right judgment on the driver's face position.
S170 단계는 S150 단계를 통한 판단 결과를 근거로, S130 단계를 통해 설정된 출력 영역을 디스플레이부를 통해 디스플레이하거나, 또는 S160 단계를 통해 시점이 회전 조정된 출력 영역을 디스플레이하는 단계이다. In step S170, based on the determination result in step S150, the output area set in step S130 is displayed on the display unit or the output area on which the viewpoint is rotated and adjusted in step S160 is displayed.
구체적으로, 운전자가 출력 영역의 시점 변경을 위한 별도의 동작을 취하지 않은 경우, S170 단계는 S130 단계를 통해 설정한 출력 영역(즉, 기준 영역을 근거로 설정된 출력 영역)이 그대로 출력될 수 있다. 반대로, S150 단계를 통한 판단 결과, 운전자의 얼굴이 운전자 기준 영역을 벗어난 경우, S170 단계는 S160 단계를 통해 시점이 조정된 출력 영역을 디스플레이부를 통해 디스플레이할 수 있다. 그 후, 제어는 리턴 블록으로 전달된다.Specifically, if the driver does not perform a separate operation for changing the viewpoint of the output area, the output area set in step S130 (i.e., the output area set based on the reference area) may be output as it is. On the contrary, if the face of the driver is out of the driver reference area as a result of the determination in step S150, step S170 may display the adjusted output area through the display unit through step S160. Control is then passed to the return block.
도 8은 본 발명의 제 1 실시예에 따른 출력 영역의 시점을 조정하는 단계에 대한 흐름도이다. 이하, 도 8을 참조로, 본 발명의 제 1 실시예에 따른 출력 영역의 시점을 조정하는 단계에 대한 설명이 이루어진다.8 is a flowchart of a step of adjusting a viewpoint of an output region according to the first embodiment of the present invention. Hereinafter, with reference to FIG. 8, a description will be given of a step of adjusting the viewpoint of the output region according to the first embodiment of the present invention.
S161 단계는 운전자 얼굴의 좌우 움직임이 감지되었는지 판단하는 단계이다. S161 단계에서의 판단 결과, 운전자의 얼굴 위치가 운전자 기준 영역을 기준으로 왼쪽 또는 오른쪽으로 이동된 경우, 제어는 S163 단계로 전달된다. 그렇지 않은 경우 S162 단계로 전달된다.Step S161 is a step of determining whether the driver's face has been sensed in the lateral direction. If it is determined in step S161 that the face position of the driver is shifted to the left or right with respect to the driver reference area, the control is transferred to step S163. Otherwise, the process proceeds to step S162.
S162 단계는 운전자 얼굴의 상하 움직임이 감지되었는지 판단하는 단계이다. S162 단계에서의 판단 결과, 운전자의 얼굴 위치가 운전자 기준 영역을 기준으로 위쪽 또는 아래쪽으로 이동된 경우, 제어는 S163 단계로 전달된다. 그렇지 않은 경우, 제어는 S110 단계로 전달된다.Step S162 is a step of determining whether the up-and-down movement of the driver's face is detected. As a result of the determination in step S162, if the face position of the driver is moved upward or downward with reference to the driver reference area, control is transferred to step S163. Otherwise, control is passed to step SlOl.
S163 단계는 운전자 얼굴의 좌우 움직임 또는 상하 움직임이 발생한 경우, 동작되는 단계로서, 운전자 얼굴의 이동 방향의 반대 방향으로 출력 영역의 시점을 조정하는 단계이다.In operation S163, when the driver's face moves left or right or up-and-down motion occurs, the step S163 is a step of adjusting the viewpoint of the output area in the direction opposite to the direction of movement of the driver's face.
구체적으로, 운전자의 얼굴이 운전자 기준 영역을 벗어나고, 운전자 기준 영역을 기준으로 왼쪽과 오른쪽 중 하나의 방향으로 이동된 경우, S163 단계는 출력 영역의 시점을 왼쪽과 오른쪽 중 다른 하나의 방향으로 회전 조정할 수 있다. 또한, 운전자의 얼굴이 운전자 기준 영역을 벗어나고, 운전자 기준 영역을 기준으로 위쪽과 아래쪽 중 하나의 방향으로 이동된 경우, S163 단계는 출력 영역의 시점을 왼쪽과 오른쪽 중 다른 하나의 방향으로 회전 조정할 수 있다.Specifically, if the driver's face is out of the driver reference area and moved in the direction of either the left or the right with reference to the driver reference area, step S163 adjusts the viewpoint of the output area to the other one of left and right . If the driver's face is out of the driver reference area and moved in one of the upward and downward directions with respect to the driver reference area, step S163 may adjust the starting point of the output area to one of the left and right directions have.
예를 들어, S161 단계에서의 판단 결과, 운전자 얼굴의 위치가 운전자 기준 영역을 벗어나고, 운전자 기준 영역을 기준으로 왼쪽으로 이동된 것으로 판단된 경우, S163 단계는 출력 영역의 시점을 오른쪽으로 회전 조정할 수 있다. 또한, S161 단계를 통한 판단 결과, 운전자의 얼굴이 운전자 기준 영역을 벗어나 오른쪽으로 움직인 것으로 판단된 경우, 출력 영역의 시점을 왼쪽으로 회전 조정할 수 있다. For example, if it is determined in step S161 that the position of the driver's face deviates from the driver reference area and is shifted to the left based on the driver reference area, step S163 may adjust the viewpoint of the output area to the right have. As a result of the determination in step S161, if it is determined that the driver's face is moving rightward beyond the driver reference area, the viewpoint of the output area can be adjusted to the left.
마찬가지로, S162 단계에서의 판단 결과 운전자의 얼굴이 운전자 기준 영역을 벗어나 위쪽으로 움직인 것으로 판단된 경우, S163 단계는 출력 영역의 시점을 아래쪽으로 회전 조정할 수 있다. 또한, S162 단계를 통한 판단 결과, 운전자의 얼굴이 운전자 기준 영역을 벗어나 아래쪽으로 움직인 것으로 판단된 경우, S163 단계는 출력 영역의 시점을 위쪽으로 회전 조정할 수 있다. Likewise, if it is determined in step S162 that the driver's face is moving upward beyond the driver reference area, step S163 may adjust the rotation of the point of view of the output area downward. If it is determined in step S162 that the driver's face is moving downward beyond the driver reference area, step S163 may adjust the rotation of the point of view of the output area upward.
또한 위의 설명에서 S162 단계는 S161 단계를 통한 판단 이후, 운전자의 얼굴이 좌우 움직임이 발생하지 않았을 때 수행된 것으로 설명되었다. 다만 이는 예시일 뿐이고, 운전자의 얼굴이 대각선 방향으로 움직이는 상황도 존재할 수 있기에, S161 단계와 S162 단계는 병렬 관계로 동시에 판단이 수행되는 것도 가능하다. 즉, 운전자의 얼굴 움직임에 대한 판단 그 자체는 좌우 움직임에 대한 판단 이후 상하 움직임에 대한 판단이 이루어질 수 있으나, 상하 움직임에 대한 판단이 좌우 움직임이 없을 때에만 수행되는 것은 아니라는 점이 이해되어야 한다.In the above description, it is explained that the step S162 is performed when the face of the driver does not have the left / right motion since the judgment through the step S161. However, since this is only an example and there may be a situation in which the driver's face moves diagonally, it is also possible that the determination is performed in parallel in the steps S161 and S162. That is, the determination of the driver's facial motion itself may be made after the determination of the left-right motion, but it should be understood that the determination of the up-down motion is not performed only when there is no left-right motion.
도 9는 본 발명의 제 2 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치의 제어 방법에 대한 흐름도이다. 여기서, 본 발명의 제 2 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치의 제어 방법은 앞서 도 7 및 도 8을 참조로 설명한 본 발명의 제 1 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치 제어 방법을 통해 수행되는 기능뿐만 아니라, 운전자와 디스플레이부간 거리를 검출하고, 해당 거리를 근거로 출력 영역의 확대 또는 축소를 더 수행할 수 있다. FIG. 9 is a flowchart illustrating a method of controlling a driver-customized display variable device according to a second embodiment of the present invention. Here, the method for controlling the driver-customized display variable device according to the second exemplary embodiment of the present invention is performed through the driver-customized display variable device control method according to the first exemplary embodiment of the present invention described above with reference to FIGS. 7 and 8 Not only the function but also the distance between the driver and the display unit can be detected and the enlargement or reduction of the output area can be further performed based on the distance.
이에 따라, 아래의 설명에서는 위에서 도 7 및 도 8을 참조로 설명한 부분과 중복되는 사항은 생략하고, 차이점 위주로 그 설명이 이루어진다,Accordingly, in the following description, elements overlapping with those described with reference to FIGS. 7 and 8 are omitted, and explanations are mainly made on differences.
S210 단계는 카메라 이미지 및 운전자 이미지를 수집하는 단계이다. 구체적으로, S110 단계는 제 1 카메라부를 통해 촬영된 카메라 이미지들과, 제 2 카메라부를 통해 촬영된 운전자 이미지를 수집하고, 이를 저장부에 저장하는 단계이다.Step S210 is a step of collecting the camera image and the driver image. Specifically, the step S110 collects the camera images photographed through the first camera unit and the driver image photographed through the second camera unit, and stores the collected images in the storage unit.
S220 단계는 카메라 이미지 중 적어도 일 부분을 출력 영역으로 추출하는 단계이다. 즉, S120 단계는 제 1 카메라부를 통해 출력되는 카메라 이미지 중 적어도 일 부분을 출력 영역으로 추출하는 단계이다. 앞서 언급한 것처럼, 최초에 설정되는 출력 영역은 카메라 이미지에서 운전자 기준 영역에 따라 설정된 표준 시야 및 시야각을 갖는 기준 영역을 근거로 설정될 수 있다. Step S220 is a step of extracting at least a part of the camera image into an output area. That is, step S120 is a step of extracting at least a part of the camera image output through the first camera unit as an output area. As mentioned earlier, the output area initially set can be set based on a reference area having a standard field of view and a viewing angle set according to the driver reference area in the camera image.
S230 단계는 S210 단계를 통해 수집된 운전자 이미지를 분석하고, 이미지 분석 결과를 근거로 운전자의 동작 정보와 거리 정보를 검출하는 단계이다. 여기서, 거리 정보는 운전자의 얼굴과 디스플레이부 간의 가변하는 거리에 대한 정보를 나타낼 수 있다. 또한, 거리 정보는 운전자의 얼굴과 디스플레이부 간의 거리에 대한 거리 변화량을 포함할 수 있다.The step S230 analyzes the driver image collected through the step S210, and detects the driver's operation information and distance information based on the image analysis result. Here, the distance information may indicate information on a variable distance between the driver's face and the display unit. In addition, the distance information may include a distance variation with respect to the distance between the face of the driver and the display unit.
또한, S240 단계 내지 S260 단계를 통해 이루어지는 동작 정보를 근거로 출력 영상의 시점을 조정하는 기술은 본 발명의 제 1 실시예를 통해 상세히 설명되었으므로, 추가적인 설명은 생략한다.In addition, the technique of adjusting the viewpoint of the output image based on the operation information obtained through steps S240 through S260 has been described in detail in the first embodiment of the present invention, and a further explanation will be omitted.
S270 단계는 S230 단계를 통해 검출한 거리 정보를 근거로 운전자의 얼굴과 디스플레이부간 거리의 증가 또는 감소 여부를 판단한다. 구체적으로, S270 단계는 S230 단계를 통해 검출한 거리 정보를 근거로 운전자의 얼굴과 디스플레이부 간 거리 변화량과 줌 판단값을 비교하는 단계이다. S270 단계를 통한 판단 결과, 운전자의 얼굴과 디스플레이부 간 거리 변화량이 줌 판단값 이상으로 판단된 경우, 제어는 S280 단계로 전달된다. 그렇지 않은 경우, 제어는 S290 단계로 전달된다.In step S270, it is determined whether the distance between the face of the driver and the display unit is increased or decreased based on the distance information detected in step S230. Specifically, the step S270 compares the distance change between the face of the driver and the display unit based on the distance information detected in operation S230 and the zoom determination value. If it is determined in step S270 that the distance variation between the driver's face and the display unit is greater than or equal to the zoom determination value, control is passed to step S280. Otherwise, control passes to step S290.
S280 단계는 거리 변화량이 미리 설정된 줌 판단값 이상일 때 수행될 수 있고, 운전자의 얼굴의 이동 방향에 따라 출력 영역을 확대하거나 축소시키는 단계이다. Step S280 can be performed when the distance change amount is equal to or greater than a predetermined zoom determination value, and is a step of enlarging or reducing the output area according to the moving direction of the driver's face.
구체적으로, S280 단계는 운전자의 얼굴과 상기 디스플레이부 간의 거리가 감소하는 경우 즉, 운전자의 얼굴이 디스플레이부(130) 방향으로 다가가는 경우, 거리 정보에 포함된 거리 변화량에 따라 출력 영역 중 적어도 일 부분을 확대시킬 수 있다. 여기서, 확대되는 부분은 출력 영역 중 중앙 부분을 중심으로 확대되는 것이 바람직하다.Specifically, when the distance between the face of the driver and the display unit decreases, that is, when the face of the driver approaches the
반대로, S280 단계는 운전자의 얼굴과 디스플레이부 간의 거리가 증가하는 경우 즉, 운전자의 얼굴이 디스플레이부에서 멀어지는 경우, 거리 변화량에 따라 상기 출력 영역을 축소시킬 수 있다. 여기서, 운전자의 얼굴의 위치가 앞서 설명된 운전자 기준 영역에 도달할 때, 전체 카메라 이미지 내에서 출력 영역이 차지하는 비중은 기준 영역의 크기로 되돌아 가는 것이 바람직하다.Conversely, if the distance between the driver's face and the display unit increases, that is, if the driver's face moves away from the display unit, the output area may be reduced according to the distance variation. Here, when the position of the driver's face reaches the driver's reference area described above, it is preferable that the weight occupied by the output area in the entire camera image is returned to the size of the reference area.
다른 예시로서, S280 단계는 앞서 설명한 출력 영역을 확대 또는 축소시키는 것을 영상 처리를 통해 수행하는 것이 아닌, 제 1 카메라부의 줌인 또는 줌 아웃을 제어함으로써, 앞서 설명한 것과 유사한 결과를 도출할 수 있다.As another example, in step S280, it is possible to obtain a result similar to that described above by controlling the zooming-in or zooming-out of the first camera unit, not by performing image processing to enlarge or reduce the output area described above.
물론 이는 예시일 뿐이고, 본 발명의 제 2 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치가 적용되는 차량의 카메라에 이러한 줌-인 또는 줌-아웃 기능이 포함되지 않은 상황이 존재할 수 있고, 기능이 포함될 경우 카메라의 제조 단가도 높아지기에, 앞서 설명한 영상 처리 기법을 통해 출력 화면을 확대 또는 축소시키는 것이 더 바람직할 수 있다. Of course, this is only an example. There may be a situation where the camera of the vehicle to which the driver-customized display variable device according to the second embodiment of the present invention is applied does not include the zoom-in or zoom-out function. Since the manufacturing cost of the camera is increased, it may be preferable to enlarge or reduce the output screen through the above-described image processing technique.
상술한 바와 같이, 본 발명의 제 1 실시예 및 제 2 실시예에 따른 운전자 맞춤형 디스플레이 가변 장치 및 이의 제어 방법에 따르면, 차량 내에서 디스플레이되는 카메라 이미지의 일정 출력영역이 운전자의 움직임에 따른 시점에 알맞게 변환되도록 할 수 있는 장점이 있다.As described above, according to the driver-customized display variable device and the control method thereof according to the first and second embodiments of the present invention, the predetermined output area of the camera image displayed in the vehicle is displayed at a time point There is an advantage that it can be converted appropriately.
또한, 카메라부가 촬영한 운전자 이미지의 분석을 통해 운전자와 디스플레이부간의 거리 정보를 검출하고, 거리 정보에 따라 후방을 촬영하는 카메라부의 줌 동작을 제어함으로써, 운전자가 카메라 이미지를 더욱 효율적으로 모니터링할 수 있게 된다.Further, the distance information between the driver and the display unit is detected through the analysis of the driver image taken by the camera, and the zoom operation of the camera unit for photographing the rear side according to the distance information is controlled, thereby enabling the driver to monitor the camera image more efficiently .
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해 할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, an optimal embodiment has been disclosed in the drawings and specification. Although specific terms have been employed herein, they are used for purposes of illustration only and are not intended to limit the scope of the invention as defined in the claims or the claims. Therefore, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the scope of the present invention. something to do. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
100 : 운전자 맞춤형 디스플레이 가변 장치
110 : 저장부
120 : 영역 설정부
130 : 이미지 분석부
140 : 좌표계 조정부
150 : 출력 제어부
200 : 운전자 맞춤형 디스플레이 가변 장치
230 : 이미지 분석부
250 : 원근 제어부100: Operator customizable display variable device
110: storage unit 120: area setting unit
130: Image analysis unit 140: Coordinate system adjustment unit
150:
200: Operator customizable display variable device
230: image analysis unit 250: perspective control unit
Claims (20)
제 1 카메라부를 통해 촬영되는 카메라 이미지 중 적어도 일 부분을 출력 영역으로 추출하는 영역 설정부;
상기 제 2 카메라부를 통해 촬영된 운전자 이미지를 분석함으로써, 운전자의 동작 정보를 검출하는 이미지 분석부;
상기 운전자의 동작 정보에 따라 상기 카메라 이미지 내에서 상기 출력 영역의 시점을 조정하는 좌표계 조정부; 및
상기 디스플레이부를 통해 시점이 조정된 출력 영역을 디스플레이하는 출력 제어부를 포함하는 것을 특징으로 하는 운전자 맞춤형 디스플레이 가변 장치.1. A driver-customized display variable device for assisting a driving of a vehicle, the device being applied to a first camera unit, a second camera unit, and a vehicle equipped with a display unit,
An area setting unit for extracting at least a part of a camera image photographed through the first camera unit as an output area;
An image analyzer for analyzing a driver image photographed through the second camera unit to detect operation information of a driver;
A coordinate system adjuster for adjusting a viewpoint of the output area in the camera image according to operation information of the driver; And
And an output control unit for displaying an output area whose view is adjusted through the display unit.
상기 동작 정보는 운전자의 얼굴과 눈동자 중 적어도 하나가 움직이면서 가변된 시축(S')의 기울기 값에 대한 정보를 포함하는 것을 특징으로 하는 운전자 맞춤형 디스플레이 가변 장치.The method according to claim 1,
Wherein the operation information includes information on a slope value of a time axis S 'that varies as at least one of a driver's face and a pupil moves.
상기 좌표계 조정부는,
상기 동작 정보를 근거로 상기 운전자의 얼굴 위치와 운전자 기준 영역을 비교하는 것을 특징으로 하는 운전자 맞춤형 디스플레이 가변 장치.3. The method of claim 2,
The coordinate system adjustment unit,
And comparing the face position of the driver with the driver reference area based on the operation information.
상기 좌표계 조정부는,
상기 운전자의 얼굴 위치가 운전자 기준 영역을 벗어난 경우, 상기 운전자의 동작 정보에 따라 상기 카메라 이미지 내에서 출력 영역 시점을 조정하는 것을 특징으로 하는 운전자 맞춤형 디스플레이 가변 장치.The method of claim 3,
The coordinate system adjustment unit,
And adjusts an output area viewpoint in the camera image according to the operation information of the driver when the face position of the driver is out of the driver reference area.
상기 좌표계 조정부는,
상기 운전자의 얼굴이 왼쪽과 오른쪽 중 하나의 방향으로 움직인 경우, 상기 출력 영역의 시점을 왼쪽과 오른쪽 중 다른 하나의 방향으로 회전 조정하는 것을 특징으로 하는 운전자 맞춤형 디스플레이 가변 장치.5. The method of claim 4,
The coordinate system adjustment unit,
Wherein when the face of the driver moves in one of the left and right directions, the viewpoint of the output region is adjusted to rotate in the other one of the left and right directions.
상기 좌표계 조정부는,
상기 운전자의 얼굴이 위쪽과 아래쪽 중 하나의 방향으로 움직인 경우, 상기 출력 영역의 시점을 위쪽과 아래쪽 중 다른 하나의 방향으로 회전 조정하는 것을 특징으로 하는 운전자 맞춤형 디스플레이 가변 장치.5. The method of claim 4,
The coordinate system adjustment unit,
Wherein when the face of the driver moves in one of an upward direction and a downward direction, the viewpoint of the output region is adjusted to rotate in the other direction of the upward and downward directions.
상기 영역 설정부는,
상기 카메라 이미지에서 상기 운전자 기준 영역에 따라 설정된 표준 시야 및 시야각을 갖는 기준 영역을 출력 영역으로 설정하는 것을 특징으로 하는 운전자 맞춤형 디스플레이 가변 장치.The method of claim 3,
Wherein the area setting unit comprises:
Wherein the reference area having a standard field of view and a viewing angle set according to the driver reference area is set as an output area in the camera image.
상기 좌표계 조정부는,
상기 운전자의 동작 정보에 따라 상기 출력 영역의 출력 좌표계를 회전 조정함으로써 출력 영역 시점을 조정하는 것을 특징으로 하는 운전자 맞춤형 디스플레이 가변 장치.The method according to claim 1,
The coordinate system adjustment unit,
And adjusts the output area view by rotating and adjusting the output coordinate system of the output area according to the operation information of the driver.
상기 이미지 분석부는,
상기 운전자 이미지를 분석함으로써, 운전자의 얼굴과 상기 디스플레이부 간의 가변하는 거리에 대한 거리 정보를 더 검출하는 것을 특징으로 하는 운전자 맞춤형 디스플레이 가변 장치.The method according to claim 1,
The image analysis unit may include:
And further detects distance information on a variable distance between a face of the driver and the display unit by analyzing the driver image.
상기 운전자의 얼굴과 상기 디스플레이부 간의 거리가 감소하는 경우 상기 거리 정보에 포함된 거리 변화량에 따라 상기 출력 영역 중 적어도 일 부분을 확대시키고, 상기 운전자의 얼굴과 상기 디스플레이부 간의 거리가 증가하는 경우 상기 거리 변화량에 따라 상기 출력 영역을 축소시키는 원근 제어부를 더 포함하는 것을 특징으로 하는 운전자 맞춤형 디스플레이 가변 장치.10. The method of claim 9,
When the distance between the face of the driver and the display unit decreases, at least a part of the output area is enlarged according to the distance variation included in the distance information, and when the distance between the face of the driver and the display unit increases, Further comprising a perspective control unit for reducing the output area according to a distance change amount.
제 1 카메라부를 통해 촬영되는 카메라 이미지 중 적어도 일 부분을 출력 영역으로 추출하는 단계;
상기 제 2 카메라부를 통해 촬영된 운전자 이미지를 분석함으로써, 운전자의 동작 정보를 검출하는 이미지 단계;
상기 운전자의 동작 정보에 따라 상기 카메라 이미지 내에서 상기 출력 영역의 시점을 조정하는 단계; 및
상기 디스플레이부를 통해 시점이 조정된 출력 영역을 디스플레이하는 단계를 포함하는 것을 특징으로 하는 운전자 맞춤형 디스플레이 가변 장치의 제어 방법.A control method of a driver-customized display variable device for assisting driving of a vehicle, the method being applied to a first camera unit, a second camera unit, and a vehicle equipped with a display unit,
Extracting at least a part of a camera image taken through the first camera unit as an output area;
An image step of analyzing a driver image photographed through the second camera unit to detect operation information of a driver;
Adjusting a viewpoint of the output area in the camera image according to the operation information of the driver; And
And displaying an output area having a viewpoint adjusted through the display unit.
상기 동작 정보는 운전자의 얼굴과 눈동자 중 적어도 하나가 움직이면서 가변된 시축(S')의 기울기 값에 대한 정보를 포함하는 것을 특징으로 하는 운전자 맞춤형 디스플레이 가변 장치의 제어 방법.12. The method of claim 11,
Wherein the operation information includes information on a tilt value of a variable time axis S 'while at least one of a driver's face and a pupil is moving.
상기 동작 정보를 근거로 상기 운전자의 얼굴 위치와 운전자 기준 영역을 비교하는 단계를 더 포함하는 것을 특징으로 하는 운전자 맞춤형 디스플레이 가변 장치의 제어 방법.13. The method of claim 12,
Further comprising the step of comparing the face position of the driver with the driver reference area based on the operation information.
상기 출력 영역의 시점을 조정하는 단계는,
상기 운전자의 얼굴 위치가 운전자 기준 영역을 벗어난 경우 이루어지는 것을 특징으로 하는 운전자 맞춤형 디스플레이 가변 장치의 제어 방법.14. The method of claim 13,
The step of adjusting the viewpoint of the output region includes:
And when the face of the driver is out of the driver reference area.
상기 출력 영역의 시점을 조정하는 단계는,
상기 운전자의 얼굴이 왼쪽과 오른쪽 중 하나의 방향으로 움직였는지 단계; 및
상기 운전자의 얼굴이 왼쪽과 오른쪽 중 하나의 방향으로의 움직인 경우, 상기 출력 영역의 시점을 왼쪽과 오른쪽 중 다른 하나의 방향으로 회전 조정하는 단계를 포함하는 것을 특징으로 하는 운전자 맞춤형 디스플레이 가변 장치의 제어 방법.15. The method of claim 14,
The step of adjusting the viewpoint of the output region includes:
Whether the driver's face has moved in one of the left and right directions; And
And rotating the viewpoint of the output area in one of a left direction and a right direction when the face of the driver moves in one of a left direction and a right direction. Control method.
상기 출력 영역의 시점을 조정하는 단계는,
상기 운전자의 얼굴이 위쪽과 아래쪽 중 하나의 방향으로 움직였는지 판단하는 단계; 및
상기 운전자의 얼굴이 위쪽과 아래쪽 중 하나의 방향으로 움직인 경우, 상기 출력 영역의 시점을 위쪽과 아래쪽 중 다른 하나의 방향으로 회전 조정하는 단계를 더 포함하는 것을 특징으로 하는 운전자 맞춤형 디스플레이 가변 장치의 제어 방법.15. The method of claim 14,
The step of adjusting the viewpoint of the output region includes:
Determining whether the driver's face has moved in one of an upward direction and a downward direction; And
Further comprising the step of adjusting the rotation of the viewpoint of the output area to the other one of the upward and downward directions when the driver's face moves in one of the upward and downward directions. Control method.
상기 카메라 이미지 중 적어도 일 부분을 출력 영역으로 추출하는 단계는,
상기 카메라 이미지에서 상기 운전자 기준 영역에 따라 설정된 표준 시야 및 시야각을 갖는 기준 영역을 출력 영역으로 설정함으로써 이루어지는 것을 특징으로 하는 운전자 맞춤형 디스플레이 가변 장치의 제어 방법.14. The method of claim 13,
Wherein extracting at least a portion of the camera image into an output region comprises:
And setting a reference area having a standard field of view and a viewing angle set according to the driver reference area as an output area in the camera image.
상기 출력 영역의 시점을 조정하는 단계는,
상기 운전자의 동작 정보에 따라 상기 출력 영역의 출력 좌표계를 회전 조정함으로써 이루어지는 것을 특징으로 하는 운전자 맞춤형 디스플레이 가변 장치의 제어 방법.12. The method of claim 11,
The step of adjusting the viewpoint of the output region includes:
And adjusting an output coordinate system of the output area in accordance with operation information of the driver.
상기 운전자 이미지를 분석함으로써, 운전자의 얼굴과 상기 디스플레이부 간의 가변하는 거리에 대한 거리 정보를 검출하는 단계를 더 포함하는 것을 특징으로 하는 운전자 맞춤형 디스플레이 가변 장치의 제어 방법.12. The method of claim 11,
Further comprising the step of detecting distance information on a variable distance between a face of the driver and the display unit by analyzing the driver image.
상기 운전자의 얼굴과 상기 디스플레이부 간의 거리가 감소하는 경우 상기 거리 정보에 포함된 거리 변화량에 따라 상기 출력 영역 중 적어도 일 부분을 확대시키고, 상기 운전자의 얼굴과 상기 디스플레이부 간의 거리가 증가하는 경우 상기 거리 변화량에 따라 상기 출력 영역을 축소시키는 단계를 더 포함하는 것을 특징으로 하는 운전자 맞춤형 디스플레이 가변 장치의 제어 방법.20. The method of claim 19,
When the distance between the face of the driver and the display unit decreases, at least a part of the output area is enlarged according to the distance variation included in the distance information, and when the distance between the face of the driver and the display unit increases, Further comprising the step of reducing the output area in accordance with a distance change amount.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20150091824 | 2015-06-29 | ||
KR1020150091824 | 2015-06-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20170002330A true KR20170002330A (en) | 2017-01-06 |
Family
ID=57832348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160081838A KR20170002330A (en) | 2015-06-29 | 2016-06-29 | Driver-customized display variable apparatus and method for controlling the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20170002330A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180115140A (en) * | 2017-04-12 | 2018-10-22 | 현대모비스 주식회사 | Integrated vehicle and driving information display method and apparatus |
KR20180137193A (en) * | 2017-06-16 | 2018-12-27 | 현대모비스 주식회사 | Apparatus for adjusting display position of head up display and method thereof |
KR20190002191A (en) * | 2017-06-29 | 2019-01-08 | 현대자동차주식회사 | Vehicle having display system and controlling method thereof |
CN109969195A (en) * | 2019-03-25 | 2019-07-05 | 陕西科技大学 | A kind of driver's face abnormal behavior alarm system and method and the vehicle based on it |
WO2021040317A1 (en) * | 2019-08-30 | 2021-03-04 | Samsung Electronics Co., Ltd. | Apparatus, method and computer program for determining configuration settings for a display apparatus |
WO2021194254A1 (en) * | 2020-03-26 | 2021-09-30 | 삼성전자 주식회사 | Electronic device for displaying image by using camera monitoring system (cms) side display mounted in vehicle, and operation method thereof |
KR20230074656A (en) * | 2021-11-16 | 2023-05-31 | 우한 차이나 스타 옵토일렉트로닉스 테크놀로지 컴퍼니 리미티드 | Vehicle-mounted display device, vehicle-mounted display system and vehicle |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100030991A (en) | 2008-09-11 | 2010-03-19 | 현대자동차주식회사 | A system for monitoring loose/droway driver using head moving information |
-
2016
- 2016-06-29 KR KR1020160081838A patent/KR20170002330A/en not_active Application Discontinuation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100030991A (en) | 2008-09-11 | 2010-03-19 | 현대자동차주식회사 | A system for monitoring loose/droway driver using head moving information |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180115140A (en) * | 2017-04-12 | 2018-10-22 | 현대모비스 주식회사 | Integrated vehicle and driving information display method and apparatus |
KR20180137193A (en) * | 2017-06-16 | 2018-12-27 | 현대모비스 주식회사 | Apparatus for adjusting display position of head up display and method thereof |
KR20190002191A (en) * | 2017-06-29 | 2019-01-08 | 현대자동차주식회사 | Vehicle having display system and controlling method thereof |
CN109969195A (en) * | 2019-03-25 | 2019-07-05 | 陕西科技大学 | A kind of driver's face abnormal behavior alarm system and method and the vehicle based on it |
CN109969195B (en) * | 2019-03-25 | 2024-02-27 | 陕西科技大学 | Driver facial behavior abnormality alarm system and method and vehicle based on system and method |
WO2021040317A1 (en) * | 2019-08-30 | 2021-03-04 | Samsung Electronics Co., Ltd. | Apparatus, method and computer program for determining configuration settings for a display apparatus |
US11495190B2 (en) | 2019-08-30 | 2022-11-08 | Samsung Electronics Co., Ltd. | Apparatus, method and computer program for determining configuration settings for a display apparatus |
WO2021194254A1 (en) * | 2020-03-26 | 2021-09-30 | 삼성전자 주식회사 | Electronic device for displaying image by using camera monitoring system (cms) side display mounted in vehicle, and operation method thereof |
US11858424B2 (en) | 2020-03-26 | 2024-01-02 | Samsung Electronics Co., Ltd. | Electronic device for displaying image by using camera monitoring system (CMS) side display mounted in vehicle, and operation method thereof |
KR20230074656A (en) * | 2021-11-16 | 2023-05-31 | 우한 차이나 스타 옵토일렉트로닉스 테크놀로지 컴퍼니 리미티드 | Vehicle-mounted display device, vehicle-mounted display system and vehicle |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20170002330A (en) | Driver-customized display variable apparatus and method for controlling the same | |
JP5963422B2 (en) | Imaging apparatus, display apparatus, computer program, and stereoscopic image display system | |
US20060188130A1 (en) | Apparatus and method for normalizing face image used for detecting drowsy driving | |
JPH08317429A (en) | Stereoscopic electronic zoom device and stereoscopic picture quality controller | |
WO2014156146A1 (en) | Electronic mirror device | |
EP2590396A1 (en) | Information processing system, information processing device, and information processing method | |
US9678337B2 (en) | Viewer with multifocal lens and method for changing focal length of viewer | |
JP2010086336A (en) | Image control apparatus, image control program, and image control method | |
JP2009116742A (en) | Onboard image processor, image processing method, and program | |
JP2008213649A (en) | Periphery monitoring device for vehicle | |
KR20120036241A (en) | Camera for detecting driver's status | |
US11034305B2 (en) | Image processing device, image display system, and image processing method | |
JP4849333B2 (en) | Visual aids for vehicles | |
US10362231B2 (en) | Head down warning system | |
KR100726933B1 (en) | Image signal processing method for auto convergence control method of two fixed cameras | |
JP6065629B2 (en) | Object detection device | |
CN109415020B (en) | Luminance control device, luminance control system and luminance control method | |
JP4552636B2 (en) | Driver monitor system and processing method thereof | |
US20220030178A1 (en) | Image processing apparatus, image processing method, and image processing system | |
KR101724754B1 (en) | A imaging system of the vehicle around image using the motion recognition | |
WO2022004130A1 (en) | Information processing device, information processing method, and storage medium | |
US20230244307A1 (en) | Visual assistance | |
TW202011154A (en) | Method and apparatus for pre-load display of object information | |
JP2020113066A (en) | Video processing device, video processing method, and program | |
JP6649063B2 (en) | Vehicle rear display device and display control device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E601 | Decision to refuse application |