KR20090052413A - 운전자 시선 대응 전방 화면 디스플레이 장치 및 방법 - Google Patents
운전자 시선 대응 전방 화면 디스플레이 장치 및 방법 Download PDFInfo
- Publication number
- KR20090052413A KR20090052413A KR1020070118886A KR20070118886A KR20090052413A KR 20090052413 A KR20090052413 A KR 20090052413A KR 1020070118886 A KR1020070118886 A KR 1020070118886A KR 20070118886 A KR20070118886 A KR 20070118886A KR 20090052413 A KR20090052413 A KR 20090052413A
- Authority
- KR
- South Korea
- Prior art keywords
- driver
- vehicle
- gaze
- image
- display device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 210000001747 pupil Anatomy 0.000 claims abstract description 23
- 210000001508 eye Anatomy 0.000 claims description 21
- 210000005252 bulbus oculi Anatomy 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 8
- 210000003195 fascia Anatomy 0.000 claims description 4
- 206010039203 Road traffic accident Diseases 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
- B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Human Computer Interaction (AREA)
- Combustion & Propulsion (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
본 발명은 차량 주행 중 운전자의 얼굴 전면 윤곽 및 눈동자 위치 변화를 센싱하고 분석하여 운전자의 시선방향을 정확히 계산함으로써 만약 운전자의 시선이 전방에서 이탈하는 경우 운전자가 바라보는 각 방향에 위치한 소정 디스플레이 수단을 통해 차량의 현재 전방 화면이 디스플레이 될 수 있도록 한 운전자 시선 대응 전방 화면 디스플레이 장치 및 방법에 관한 것으로, 본 발명에 따르면 차량 주행 중에 운전자가 상기 룸미러 및 사이드미러 등을 통해 차량 후방 또는 측방을 관측하거나 또는 AV시스템을 조작하기 위해 잠시 차량 전방에서 시선이 이탈되더라도 운전자의 시선이 향하고 있는 위치의 소정 디스플레이 장치를 통해 전방 화면을 지속적으로 주시할 수 있기 때문에 예기치 못한 전방 장애물과의 추돌 사고 등 교통사고를 미연에 방지할 수 있는 효과를 가진다.
전방카메라부, 제어부, 디스플레이부
Description
본 발명은 차량의 전방 화면 디스플레이 장치에 관한 것으로, 특히 운전자의 얼굴 윤곽 및 눈동자 위치를 분석하여 운전자의 시선방향을 정확히 계산함으로써 운전자가 바라보는 위치별로 각각 차량의 전방 화면이 디스플레이 될 수 있도록 한 운전자 시선 대응 전방 화면 디스플레이 장치 및 방법에 관한 것이다.
일반적으로 차량에는 운전자가 후방을 주시할 수 있도록 프런트 글래스 내측면 중앙 상측에는 룸미러가 설치되어 있고 운전석 및 조수석의 양측에는 사이드미러가 각각 설치되어 자동차의 주행 및 후진 그리고 좌/우 회전 시에 운전자가 상기 룸미러 및 사이드미러를 통해 후방을 주시할 수 있도록 되어 있다. 또한, 근래 들어 차량 내 센터페시아에는 운전자가 직접 모니터 화면을 보면서 기능을 조작할 수 있는 터치패널 형태의 AV모니터가 포함된 차량용 AV 시스템 장착이 대중화되어가고 있는 추세이다.
그러나, 종래에는 차량 주행 중에 운전자가 상기 룸미러 및 사이드미러 등을 통해 차량 후방 또는 측방을 관측하거나 또는 AV시스템을 조작하기 위해서는 해당 방향으로 운전자의 얼굴을 이동시키거나 또는 최소한 눈동자의 시선을 이동시켜야 하기 때문에 운전자의 시선이 일정 시간이상 전방에서 이탈하게 됨으로써 운전자 부주의로 인한 사고 또는 예기치 못한 전방 장애물과의 추돌 사고 등이 발생하게 되는 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 차량 주행 중 운전자의 얼굴 전면 윤곽 및 눈동자 위치 변화를 센싱하고 분석하여 운전자의 시선방향을 정확히 계산함으로써 만약 운전자의 시선이 전방에서 이탈하는 경우 운전자가 바라보는 각 방향에 위치한 소정 디스플레이 수단을 통해 차량의 현재 전방 화면이 디스플레이 될 수 있도록 한 운전자 시선 대응 전방 화면 디스플레이 장치 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 장치는, 차량의 현재 주행속도를 감지하는 속도감지부; 차량 진행 방향의 전방 영상을 촬영하여 이에 해당하는 영상신호를 출력하는 전방카메라부; 상기 전방카메라부로부터 영상신호를 입력받아 영상데이터로 변환하여 출력하는 비디오처리부; 운전자의 얼굴 전면 영상을 촬영하여 이에 해당하는 영상데이터를 출력하는 디지털카메라부; 상기 디지털카메라부로부터 입력되는 영상데이터를 분석하여 운전자의 얼굴 윤곽 및 안구의 눈동자 위치를 모션 센싱(motion sensing)하고, 이에 해당하는 이미지 데이터를 출력하는 이미지 모 션 센싱부; 상기 이미지 모션 센싱부로부터 입력되는 이미지 데이터를 분석하여 운전자의 현재 시선 위치를 계산하고, 이에 해당하는 시선 위치 데이터를 출력하는 이미지 모션 연산부; 상기 이미지 모션 연산부로부터 입력되는 시선 위치 데이터와 상기 속도감지부로부터 입력되는 차량의 현재 주행속도를 분석하여 만약 현재 차량이 기준속도 이상으로 주행 중에 운전자의 시선이 전방에서 이탈하는 경우 상기 운전자의 시선이 위치하는 곳의 디스플레이 장치에 상기 전방카메라부로부터 입력되는 전방 영상을 디스플레이하기 위한 제어신호를 출력하는 제어부; 및 상기 제어부의 제어신호에 의해 차량 내 장착된 복수의 디스플레이 장치 중 운전자의 시선이 위치하는 곳의 디스플레이 장치에 차량 전방 영상을 출력하는 디스플레이부;를 포함하여 구성됨을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 방법은, 차량에 시동이 걸리고 운전자가 탑승함에 따라 차량 전방을 정면으로 주시하고 있는 운전자의 얼굴 윤곽 및 안구의 눈동자 위치를 모션 센싱하여 초기 위치값으로 저장하는 제1단계; 차량 진행 방향의 전방 영상을 촬영함과 동시에 차량의 현재 주행속도를 감지하는 제2단계; 차량이 일정속도 이상으로 주행 중인지의 여부를 판단하는 제3단계; 제3단계의 판단 결과, 만약 차량이 기준속도 이상으로 주행 중인 경우 현재 운전자의 얼굴 윤곽 및 안구의 눈동자 위치를 모션 센싱하고, 그 센싱된 값과 상기 초기 위치값을 비교 분석하여 운전자의 시선이 전방에서 이탈하였는지의 여부를 판단하는 제4단계; 및 제4단계에서의 판단 결과, 만약 운전자의 시선이 전방에서 이탈한 경우 상기 운전자의 시선이 일정 시간이상 고정되는 위치를 연산하여 검출하고, 검출된 위 치에 해당되는 디스플레이 장치에 차량 전방 영상을 출력하는 제5단계;를 포함하여 이루어짐을 특징으로 한다.
본 발명에 따르면, 차량 주행 중에 운전자의 시선 이동을 정확히 계산하여 운전자가 바라보는 위치별로 각각 차량의 전방 화면이 디스플레이 될 수 있도록 함으로써 예기치 못한 전방 장애물과의 추돌 사고 등 교통사고를 미연에 방지할 수 있는 효과를 가진다.
이하에서는 첨부 도면을 참조하여 본 발명의 가장 바람직한 일 실시예를 상세히 설명하기로 한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 벗어나지 않도록 생략될 것이라는 것을 유의하여야 한다.
도 1은 본 발명의 일실시예에 따른 운전자 시선 대응 전방 화면 디스플레이 장치의 개략적인 구성을 나타낸 블록도로서, 도 1을 참조하면 본 발명에 따른 운전자 시선 대응 전방 화면 디스플레이 장치는 속도감지부(10), 전방카메라부(20), 비디오처리부(30), 이미지 모션 센싱부(50), 이미지 모션 연산부(60), 제어부(70), 및 디스플레이부(80)를 포함하여 구성된다.
속도감지부(10)는 차량의 현재 주행속도를 감지하여 해당 감지신호를 제어부(70)로 출력하기 위한 것으로, 바람직하게는 엔진 측에 구비된 RPM센서(도시안됨)로 이루어질 수 있다.
전방카메라부(20)는 차량 진행 방향의 전방 영상을 촬영하여 이에 해당하는 아날로그 영상신호를 비디오처리부(30)로 실시간 전송한다.
비디오처리부(30)는 전방카메라부(20)로부터 입력되는 영상신호를 차량 내 장착된 복수의 디스플레이 장치로 출력하기 위한 영상데이터로 변환하여 제어부(70)로 출력한다. 이 때, 상기 차량 내 장착된 복수의 디스플레이 장치는 운전석 좌측 및 조수석 우측 창문 내의 유기 EL 디스플레이 장치(1)(2), 룸미러 내의 유기 EL 디스플레이 장치(3), 및 센터페시아 내의 AV모니터 장치(4) 등을 포함한다.
디지털카메라부(40)는 운전자의 얼굴 전면 영상을 촬영하여 이에 해당하는 디지털 영상데이터를 이미지 모션 센싱부(50)로 출력한다.
이미지 모션 센싱부(50)는 디지털카메라부(40)로부터 입력되는 영상데이터를 분석하여 운전자의 얼굴 윤곽 및 안구의 눈동자 위치를 모션 센싱(motion sensing)하고, 이에 해당하는 이미지 데이터를 이미지 모션 연산부(60)로 출력한다.
이미지 모션 연산부(60)는 이미지 모션 센싱부(50)로부터 입력되는 이미지 데이터를 분석하여 운전자의 현재 시선 위치를 계산하고, 이에 해당하는 시선 위치 데이터를 제어부(70)로 출력한다.
제어부(70)는 이미지 모션 연산부(60)로부터 입력되는 시선 위치 데이터와 상기 속도감지부(10)로부터 입력되는 차량의 현재 주행속도를 분석하여 만약 현재 차량이 기준속도 이상으로 주행 중에 운전자의 시선이 전방에서 이탈하는 경우 상기 운전자의 시선이 위치하는 곳의 디스플레이 장치에 상기 전방카메라부(20)로부터 입력되는 전방 영상을 디스플레이하기 위한 제어신호를 출력한다. 또한, 제어 부(70)는 차량에 시동이 걸림에 따라 상기 이미지 모션 센싱부(50)를 제어하여 차량 전방을 정면으로 주시하고 있는 운전자의 얼굴 윤곽 및 안구의 눈동자 위치를 모션 센싱하고, 그 센싱된 값을 초기치로 저장한다.
디스플레이부(80)는 제어부(70)의 제어신호에 의해 차량 내 장착된 복수의 디스플레이 장치, 즉 운전석 좌측 및 조수석 우측 창문 내의 유기 EL 디스플레이 장치(1)(2), 룸미러 내의 유기 EL 디스플레이 장치(3), 및 센터페시아 내의 AV모니터 장치(4) 중 운전자의 시선이 위치하는 어느 한 곳의 디스플레이 장치에 차량 전방 영상을 출력한다. 참고로, 도 2는 운전자의 시선 방향이 운전석 좌측 창문으로 향함에 따라 운전석 좌측 창문 내의 유기 EL 디스플레이 장치(1)에 차량 전방 영상이 출력되는 상태를 나타내는 예시도이다.
한편, 이미지 모션 센싱부(50) 및 이미지 모션 연산부(60)가 운전자의 얼굴 윤곽 및 안구의 눈동자 위치를 모션 센싱하고 연산하는 방법은 다양한 방법에 의해 이루어질 수 있으며, 그 중 본 발명에 적용되는 이미지 모션 센싱 및 연산 방법을 도 3 및 도 4를 참조하여 일예로 설명하면 다음과 같다.
우선, 도 3은 운전자의 얼굴 윤곽을 모션 센싱 및 연산 방법을 설명하기 위한 예시도로서, 이미지 모션 센싱부(50)에서는 초기화 과정에서 디지털카메라부(40)로부터 입력된 영상데이터를 통해 얼굴을 정면으로 바라볼 때의 얼굴 외부 윤곽과 얼굴 내부 윤곽의 특징적인 부위를 센싱하여 초기 좌표값으로 표시하게 되는데, 바람직하게는 얼굴 외부 윤곽의 이동을 센싱하기 위한 좌표값으로 얼굴의 최우측 좌표값(a), 얼굴의 최좌측 좌표값(b), 얼굴의 중앙하단 좌표값(c)을 이용하 고, 얼굴 내부 윤곽의 이동을 센싱하기 위한 좌표값으로 우측 콧볼 좌표값(d), 좌측 콧볼 좌표값(e)을 이용한다. 여기서 각 초기 좌표값은 도 2에 도시된 바와 같이 얼굴의 최우측 좌표값(a)은 (A1, B6), 얼굴의 최좌측 좌표값(b)은 (A7, B6), 얼굴의 중앙하단 좌표값(c)은 (A4, B2), 우측 콧볼 좌표값(d)은 (A3, B5), 좌측 콧볼 좌표값(e)은 (A5, B5)이다. 이 상태에서 만약 운전자가 얼굴을 우측으로 45도 돌렸을 경우에 각 센싱 포인트의 좌표값은 얼굴의 최우측 좌표값(a) 및 얼굴의 최좌측 좌표값(b)은 얼굴 외부 윤곽이므로 변화가 없고, 얼굴의 중앙하단 좌표값(c)은 (A2, B2)로 변이하며, 우측 콧볼 좌표값(d)은 센싱 사각지대로 이동하여 센싱 불가이고, 좌측 콧볼 좌표값(e)은 (A5, B5)로 변이가 된다. 즉, 좌표값이 수평방향으로 -2 만큼 이동한 것으로 연산이 되며, 이와 같은 방법을 통해 이미지 모션 연산부(60)에서 얼굴 윤곽의 회전각도 및 방향을 산출하는 것이다. 이 때, 만약 산출된 회전각도가 기준각도를 초과하는 경우라면 제어부(70)가 디스플레이부(80)를 제어하여 우측(조수석 방향) 창문에 구성된 유기 EL 디스플레이 장치에 전방카메라부(20)로부터 입력되는 전방 영상을 디스플레이한다.
도 4는 운전자의 안구의 눈동자 위치를 모션 센싱 및 연산 방법을 설명하기 위한 예시도로서, 이미지 모션 센싱부(50)에서는 초기화 과정에서 디지털카메라부(40)로부터 입력된 영상데이터를 통해 얼굴을 정면으로 바라볼 때의 안구의 눈동자 위치 및 이동을 센싱하기 위한 좌표값으로 안구의 최우측 좌표값(f), 안구의 최좌측 좌표값(g), 눈동자의 중앙부 좌표값(h)을 이용한다. 여기서 눈동자의 중앙부 좌표값(h)의 초기 좌표값이 도 3에 도시된 바와 같이 (X4, Y5)라고 가정하고, 만약 얼굴윤곽은 이동하지 않은 상태에서 안구의 눈동자 위치만 '가'부분에서 '나'부분으로 이동하는 경우 상기 눈동자의 중앙부 좌표값(h)은 (X6, Y8)로 변이가 되고, 좌표값이 수평방향으로 +3, 수직방향으로 +3만큼 이동한 것으로 연산이 된다. 이와 같은 방법을 통해 이미지 모션 연산부(60)에서 눈동자 위치의 이동거리 및 방향을 산출하게 되며, 만약 산출된 이동거리가 기준거리를 초과하는 경우라면 제어부(70)가 디스플레이부(80)를 제어하여 해당 방향에 위치한 디스플레이 장치에 전방카메라부(20)로부터 입력되는 전방 영상을 디스플레이하게 된다.
상기와 같이 구성되는 본 발명에 따른 운전자 시선 대응 전방 화면 디스플레이 장치의 전반적인 동작흐름을 도 5를 참조하여 설명하면 다음과 같다.
먼저, 단계 501에서 차량에 운전자가 탑승하고 시동이 걸림에 따라 단계 502에서 상기 운전자가 전방을 응시하도록 하기 위한 안내음성이 출력된다.
이어, 단계 503에서 제어부(70)가 이미지 모션 센싱부(50)를 제어하여 차량 전방을 정면으로 주시하고 있는 운전자의 얼굴 윤곽 및 안구의 눈동자 위치를 모션 센싱하고, 그 센싱된 값을 초기 위치값으로 저장한다. 이 때, 바람직하게 이미지 모션 센싱부(50)에서 운전자의 얼굴 윤곽 및 안구의 눈동자 위치를 모션 센싱하는 동작은 차량 시동이 OFF되기 전까지 지속적으로 이루어진다.
이어, 단계 504에서 전방카메라부(20)가 차량 진행 방향의 전방 영상을 촬영하여 해당 영상신호를 제어부(70)로 실시간 전송함과 동시에 속도감지부(10)에서 차량의 현재 주행속도를 감지하여 해당 감지신호를 제어부(70)로 출력하면, 단계 505에서 제어부(70)가 차량이 현재 일정속도 이상으로 주행 중인지의 여부를 판단 하게 된다.
단계 505의 판단 결과, 만약 차량이 기준속도 이상으로 주행 중인 경우에는 단계 506으로 진행하여 현재 운전자의 얼굴 윤곽 위치를 모션 센싱하고, 그 센싱된 값과 상기 초기 위치값을 비교 분석하여 운전자의 얼굴 윤곽 위치가 변경되었는지의 여부를 판단한다.
단계 506에서의 판단 결과, 만약 운전자의 얼굴 윤곽 위치가 변경된 경우 운전자의 시선이 전방에서 이탈한 것으로 간주하고, 단계 508로 진행하여 상기 운전자의 시선이 일정 시간이상 고정되는 위치를 연산하여 검출하고, 이 후 각 검출된 위치에 해당되는 디스플레이 장치에 차량 전방 영상을 출력하게 된다. 상기 차량 전방 영상을 출력하는 상세한 과정을 살펴보면, 운전자 시선이 운전석 좌측 창문인 경우 운전석 좌측 창문의 유기 EL 디스플레이 장치(1)에 차량의 전방 영상을 디스플레이하는 과정(단계 509~단계 510), 운전자 시선이 조수석 우측 창문인 경우 조수석 우측 창문의 유기 EL 디스플레이 장치(2)에 차량의 전방 영상을 디스플레이하는 과정(단계 511~단계 512), 운전자 시선이 룸미러인 경우 룸미러 내의 유기 EL 디스플레이 장치(3)에 차량의 전방 영상을 디스플레이하는 과정(단계 513~단계 514) 운전자 시선이 AV모니터인 경우 AV모니터(4)에 차량의 전방 영상을 오버랩하여 디스플레이하는 과정(단계 515~단계 516), 및 운전자 시선이 다시 전방으로 향하는 경우 모든 디스플레이 장치를 OFF 상태로 유지시키는 과정(단계 517~단계 518)으로 이루어진다. 이 때, 만약 단계 508에서 운전자의 시선이 일정 시간이상 고정되는 위치가 연산되지 않는 경우에는 단계 519로 진행하여 운전자의 얼굴 윤곽 및 눈동자 위치가 센싱 안되거나 일정시간 시선이 고정되지 않는 것으로 간주하고 모든 디스플레이 장치를 ON 시켜 차량 전방 영상을 디스플레이한다.
이어, 단계 520에서 차량 시동이 OFF 되었는지의 여부를 판단하고, 만약 차량 시동이 OFF 되지 않은 경우 상기 단계 504로 회귀하여 상술한 과정(단계 504~단계 520)을 반복하여 진행하게 된다.
한편, 상기 단계 506에서의 판단 결과, 만약 운전자의 얼굴 윤곽 위치가 변경되지 않은 경우에는 단계 507로 진행하여 운전자의 안구의 눈동자 위치 센싱값을 상기 초기 위치값과 비교하고 일정 값 이상 오차가 발생되면 운전자의 시선이 전방에서 이탈한 것으로 판단하여 상기 단계 508로 진행한다. 즉, 상술한 바와 같이 본 발명의 바람직한 일실시예에 따르면 이미지 모션 센싱을 통해 만약 운전자의 얼굴 윤곽 위치가 변경되는 경우에는 운전자의 안구의 눈동자 위치 변경 여부에 상관없이 무조건 운전자의 시선이 전방에서 이탈한 것으로 판단하고, 운전자의 얼굴 윤곽 위치가 변경되지 않는 경우에만 다시 운전자의 안구의 눈동자 위치 변경 여부를 판단하여 운전자의 안구의 눈동자 위치가 변경된 경우에 운전자의 시선이 전방에서 이탈한 것으로 판단하는 것이다.
이상에서 설명한 것은 본 발명에 따른 운전자 시선 대응 전방 화면 디스플레이 장치 및 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환 및 변형, 변경이 가능하므로 전술한 실시예 및 첨부도면에 한정되는 것이 아니다.
도 1은 본 발명의 일실시예에 따른 운전자 시선 대응 전방 화면 디스플레이 장치의 개략적인 구성을 나타낸 블록도.
도 2는 본 발명의 운전자의 시선 방향에 따라 차량 전방 영상이 출력되는 상태를 나타낸 예시도.
도 3은 본 발명의 운전자의 얼굴 윤곽을 모션 센싱 및 연산 방법을 설명하기 위한 예시도.
도 4는 본 발명의 운전자의 안구의 눈동자 위치를 모션 센싱 및 연산 방법을 설명하기 위한 예시도.
도 5는 본 발명의 일실시예에 따른 운전자 시선 대응 전방 화면 디스플레이 장치의 동작흐름을 나타낸 순서도.
<도면의 주요부분에 대한 부호설명>
10 : 속도감지부 20 : 전방카메라부
30 : 비디오 처리부 40 : 디지털카메라부
50 : 이미지 모션 센싱부 60 : 이미지 모션 연산부
70 : 제어부 80 : 디스플레이부
Claims (8)
- 차량의 현재 주행속도를 감지하는 속도감지부;차량 진행 방향의 전방 영상을 촬영하여 이에 해당하는 아날로그 영상신호를 출력하는 전방카메라부;상기 전방카메라부로부터 영상신호를 입력받아 영상데이터로 변환하여 출력하는 비디오처리부;운전자의 얼굴 전면 영상을 촬영하여 이에 해당하는 영상데이터를 출력하는 디지털카메라부;상기 디지털카메라부로부터 입력되는 영상데이터를 분석하여 운전자의 얼굴 윤곽 및 안구의 눈동자 위치를 모션 센싱(motion sensing)하고, 이에 해당하는 이미지 데이터를 출력하는 이미지 모션 센싱부;상기 이미지 모션 센싱부로부터 입력되는 이미지 데이터를 분석하여 운전자의 현재 시선 위치를 계산하고, 이에 해당하는 시선 위치 데이터를 출력하는 이미지 모션 연산부;상기 이미지 모션 연산부로부터 입력되는 시선 위치 데이터와 상기 속도감지부로부터 입력되는 차량의 현재 주행속도를 분석하여 만약 현재 차량이 기준속도 이상으로 주행 중에 운전자의 시선이 전방에서 이탈하는 경우 상기 운전자의 시선이 위치하는 곳의 디스플레이 장치에 상기 전방카메라부로부터 입력되는 전방 영상을 디스플레이하기 위한 제어신호를 출력하는 제어부; 및상기 제어부의 제어신호에 의해 차량 내 장착된 복수의 디스플레이 장치 중 운전자의 시선이 위치하는 곳의 디스플레이 장치에 차량 전방 영상을 출력하는 디스플레이부;를 포함하여 구성되는 것을 특징으로 하는 운전자 시선 대응 전방 화면 디스플레이 장치.
- 제1항에 있어서,상기 제어부는 차량에 시동이 걸림에 따라 상기 이미지 모션 센싱부를 제어하여 차량 전방을 정면으로 주시하고 있는 운전자의 얼굴 윤곽 및 안구의 눈동자 위치를 모션 센싱하고, 그 센싱된 값을 초기치로 저장하는 것을 특징으로 하는 운전자 시선 대응 전방 화면 디스플레이 장치.
- 제1항에 있어서,상기 차량 내 장착된 복수의 디스플레이 장치는 운전석 좌측 및 조수석 우측 창문 내의 유기 EL 디스플레이 장치, 룸미러 내의 유기 EL 디스플레이 장치, 및 센터페시아 내의 AV모니터 장치를 포함하여 구성되는 것을 특징으로 하는 운전자 시선 대응 전방 화면 디스플레이 장치.
- 차량에 시동이 걸리고 운전자가 탑승함에 따라 차량 전방을 정면으로 주시하고 있는 운전자의 얼굴 윤곽 및 안구의 눈동자 위치를 모션 센싱하여 그 센싱된 값을 초기 위치값으로 저장하는 제1단계;차량 진행 방향의 전방 영상을 촬영함과 동시에 차량의 현재 주행속도를 감지하는 제2단계;차량이 일정속도 이상으로 주행 중인지의 여부를 판단하는 제3단계;제3단계의 판단 결과, 만약 차량이 기준속도 이상으로 주행 중인 경우 현재 운전자의 얼굴 윤곽 및 안구의 눈동자 위치를 모션 센싱하고, 그 센싱된 값과 상기 초기 위치값을 비교 분석하여 운전자의 시선이 전방에서 이탈하였는지의 여부를 판단하는 제4단계; 및제4단계에서의 판단 결과, 만약 운전자의 시선이 전방에서 이탈한 경우 상기 운전자의 시선이 일정 시간이상 고정되는 위치를 연산하여 검출하고, 검출된 위치에 해당되는 디스플레이 장치에 차량 전방 영상을 출력하는 제5단계;를 포함하여 이루어진 운전자 시선 대응 전방 화면 디스플레이 방법.
- 제4항에 있어서,상기 제1단계는, 운전자의 얼굴 윤곽 및 안구의 눈동자 위치를 모션 센싱하기 이전에 운전자가 전방을 응시하도록 하기 위한 안내음성이 출력되는 과정을 더욱 포함하여 이루어진 운전자 시선 대응 전방 화면 디스플레이 방법.
- 제4항에 있어서,상기 제4단계는, 운전자의 얼굴 윤곽 센싱값을 상기 초기 위치값과 비교하여 일정 값 이상 오차가 발생되는 경우 운전자의 안구의 눈동자 위치 센싱값에 상관없 이 운전자의 시선이 전방에서 이탈한 것으로 판단하는 것을 특징으로 하는 운전자 시선 대응 전방 화면 디스플레이 방법.
- 제4항에 있어서,상기 제4단계는, 운전자의 얼굴 윤곽 센싱값을 상기 초기 위치값과 비교하여 일정 값 이상 오차가 발생되지 않는 경우 운전자의 안구의 눈동자 위치 센싱값을 상기 초기 위치값과 비교하여 일정 값 이상 오차가 발생되면 운전자의 시선이 전방에서 이탈한 것으로 판단하는 것을 특징으로 하는 운전자 시선 대응 전방 화면 디스플레이 방법.
- 제4항에 있어서,상기 제5단계는, 위치 연산 결과,운전자 시선이 운전석 좌측 창문인 경우 운전석 좌측 창문의 유기 EL 디스플레이 장치에 차량의 전방 영상을 디스플레이하는 과정;운전자 시선이 조수석 우측 창문인 경우 조수석 우측 창문의 유기 EL 디스플레이 장치에 차량의 전방 영상을 디스플레이하는 과정;운전자 시선이 룸미러인 경우 룸미러 내의 유기 EL 디스플레이 장치에 차량의 전방 영상을 디스플레이하는 과정;운전자 시선이 AV모니터인 경우 AV모니터에 차량의 전방 영상을 오버랩하여 디스플레이하는 과정; 및운전자 시선이 다시 전방으로 향하는 경우 모든 디스플레이 장치를 OFF 상태로 유지시키는 과정;을 포함하여 이루어진 것을 특징으로 하는 운전자 시선 대응 전방 화면 디스플레이 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070118886A KR20090052413A (ko) | 2007-11-21 | 2007-11-21 | 운전자 시선 대응 전방 화면 디스플레이 장치 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070118886A KR20090052413A (ko) | 2007-11-21 | 2007-11-21 | 운전자 시선 대응 전방 화면 디스플레이 장치 및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20090052413A true KR20090052413A (ko) | 2009-05-26 |
Family
ID=40860145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070118886A KR20090052413A (ko) | 2007-11-21 | 2007-11-21 | 운전자 시선 대응 전방 화면 디스플레이 장치 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20090052413A (ko) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101332253B1 (ko) * | 2011-12-13 | 2013-12-02 | 현대자동차주식회사 | 사각지대를 발생시키지 않는 영상출력장치 |
KR101369775B1 (ko) * | 2009-08-19 | 2014-03-06 | 한국전자통신연구원 | 사용자 응시점 빔 주사 장치 및 동작 방법 |
KR20150130328A (ko) * | 2013-03-15 | 2015-11-23 | 젠텍스 코포레이션 | 디스플레이 미러 어셈블리 |
WO2018092989A1 (ko) * | 2016-11-21 | 2018-05-24 | 엘지전자 주식회사 | 디스플레이 장치 및 그의 동작 방법 |
CN109633911A (zh) * | 2019-01-18 | 2019-04-16 | 黄山徽岭电子科技有限公司 | 一种基于vr技术的教学体验装置及其体验系统 |
US10642041B2 (en) | 2014-11-07 | 2020-05-05 | Samsung Electronics Co., Ltd | Direction based electronic device for displaying object and method thereof |
US10726576B2 (en) | 2016-06-29 | 2020-07-28 | Seeing Machines Limited | System and method for identifying a camera pose of a forward facing camera in a vehicle |
-
2007
- 2007-11-21 KR KR1020070118886A patent/KR20090052413A/ko not_active Application Discontinuation
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101369775B1 (ko) * | 2009-08-19 | 2014-03-06 | 한국전자통신연구원 | 사용자 응시점 빔 주사 장치 및 동작 방법 |
KR101332253B1 (ko) * | 2011-12-13 | 2013-12-02 | 현대자동차주식회사 | 사각지대를 발생시키지 않는 영상출력장치 |
KR20150130328A (ko) * | 2013-03-15 | 2015-11-23 | 젠텍스 코포레이션 | 디스플레이 미러 어셈블리 |
US10642041B2 (en) | 2014-11-07 | 2020-05-05 | Samsung Electronics Co., Ltd | Direction based electronic device for displaying object and method thereof |
US10726576B2 (en) | 2016-06-29 | 2020-07-28 | Seeing Machines Limited | System and method for identifying a camera pose of a forward facing camera in a vehicle |
WO2018092989A1 (ko) * | 2016-11-21 | 2018-05-24 | 엘지전자 주식회사 | 디스플레이 장치 및 그의 동작 방법 |
CN109633911A (zh) * | 2019-01-18 | 2019-04-16 | 黄山徽岭电子科技有限公司 | 一种基于vr技术的教学体验装置及其体验系统 |
CN109633911B (zh) * | 2019-01-18 | 2020-10-30 | 黄山徽岭电子科技有限公司 | 一种基于vr技术的教学体验装置及其体验系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20090052413A (ko) | 운전자 시선 대응 전방 화면 디스플레이 장치 및 방법 | |
US6668221B2 (en) | User discrimination control of vehicle infotainment system | |
US7379089B2 (en) | Apparatus and method for monitoring the immediate surroundings of a vehicle | |
KR101950476B1 (ko) | 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 운전자 감지 시스템을 장착한 차량 | |
JP5093611B2 (ja) | 車両周辺確認装置 | |
JP5092776B2 (ja) | 視線方向検出装置及び視線方向検出方法 | |
JP6669019B2 (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム | |
JP2010130646A (ja) | 車両周辺確認装置 | |
WO2015037268A1 (ja) | 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム | |
US10699118B2 (en) | Vehicle safety system and operating method thereof | |
JP2020024532A (ja) | 脇見運転検出装置 | |
CN111873799A (zh) | 显示方法 | |
JP4840638B2 (ja) | 車両の乗員監視装置 | |
US11276378B2 (en) | Vehicle operation system and computer readable non-transitory storage medium | |
JP7497774B2 (ja) | 体調異常判定システム、体調異常判定システムの作動方法、コンピュータプログラム、及び車両 | |
WO2015092977A1 (ja) | 視線検出装置、および視線検出方法 | |
JP4026471B2 (ja) | 車両用視認機器調整装置 | |
WO2013114871A1 (ja) | 運転支援装置及び運転支援方法 | |
JP2008269399A (ja) | 車両の車線逸脱警報装置 | |
WO2020179656A1 (ja) | 運転者監視装置 | |
JP6136891B2 (ja) | 視線検出装置、および視線検出方法 | |
EP2100772A2 (en) | Imaging device and method thereof, as well as image processing device and method thereof | |
KR20120025290A (ko) | 목표물 추적 장치 및 방법 | |
KR102673466B1 (ko) | 디지털 사이드 미러 제어 시스템 및 방법 | |
US12026958B2 (en) | Vehicle camera mirror system with adjustable video feed |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WITN | Withdrawal due to no request for examination |