KR20120036241A - 운전자 상태 감지 카메라 - Google Patents

운전자 상태 감지 카메라 Download PDF

Info

Publication number
KR20120036241A
KR20120036241A KR1020100104420A KR20100104420A KR20120036241A KR 20120036241 A KR20120036241 A KR 20120036241A KR 1020100104420 A KR1020100104420 A KR 1020100104420A KR 20100104420 A KR20100104420 A KR 20100104420A KR 20120036241 A KR20120036241 A KR 20120036241A
Authority
KR
South Korea
Prior art keywords
image
driver
camera
lens
eye
Prior art date
Application number
KR1020100104420A
Other languages
English (en)
Inventor
나카무라 히로시
Original Assignee
현대자동차일본기술연구소
기아자동차주식회사
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차일본기술연구소, 기아자동차주식회사, 현대자동차주식회사 filed Critical 현대자동차일본기술연구소
Publication of KR20120036241A publication Critical patent/KR20120036241A/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • General Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Multimedia (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 운전자 상태 감지 카메라에 관한 것으로서, 종래와 같은 고화소의 카메라를 사용하지 않고 종래와 동등한 수준의 화소 수를 갖는 이미지 센서를 사용하더라도 촬영한 눈 부분의 화소 수를 늘릴 수가 있고 이에 눈의 개폐 판정이 용이해지는 운전자 상태 감지 카메라를 제공하는데 주된 목적이 있는 것이다. 이러한 본 발명의 운전자 상태 감지 카메라는, 카메라의 전방 정면에 설치되고 화상을 세로 방향으로 확대하는 어묵형 렌즈(2)와, 어묵형 렌즈(2)의 후방에 설치되는 볼록 렌즈(6)와, 어묵형 렌즈(2)와 볼록 렌즈(6)에 의해 형성되는 상을 촬영하는 이미지 센서(3)와, 촬영한 운전자 얼굴의 화상으로부터 눈 부분을 추출하여 눈이 열려 있는지 닫혀 있는지를 판정하는 화상 처리부(5)를 포함하여 구성된다.

Description

운전자 상태 감지 카메라{CAMERA FOR DETECTING DRIVER'S STATUS}
본 발명은 운전자 상태 감지 카메라에 관한 것으로서, 보다 상세하게는 고화소의 카메라를 사용하지 않고도 눈 부분의 화소 수를 늘릴 수 있는 운전자 상태 감지 카메라에 관한 것이다.
특허 문헌 1의 차량 상황인식 장치에서는 이미지 센서인 CCD(전하결합소자)를 사용한 카메라(10)가 촬영부에 설치되는데, 이 카메라가 설치된 촬영부에 의해 운전자의 얼굴이 촬영된다. 또한 특허 문헌 1의 차량 상황인식 장치에서는 촬영한 운전자의 얼굴 화상을 표시 화면에 소정의 크기가 되도록 확대하여 표시하고, 또한 눈 부분을 추출하여 운전자가 앉아서 졸고 있는 상태인지 아닌지를 판정하게 된다.
특허 문헌 2의 화상 확대 장치에서는 운전자의 눈 화상으로부터 운전자가 앉아서 졸고 있는 상태인지 아닌지를 판정하기 위하여 화상을 확대하게 된다. 이때, 확대 후의 화상에서 원화상(확대 전의 화상)에 포함된 노이즈의 영향을 경감시키는 기술이 적용된다. 구체적으로는 복수의 화소로 구성되는 화상 데이터를 확대할 때 단부의 화소 이외의 모든 화소를 확대 전의 화상 데이터가 가지는 복수 화소 데이터로부터 보간하여 생성한다. 이러한 방법에 의하면, 확대 후의 화상에 있어서, 단부를 제외한 모든 화소에 확대 전의 복수 화소의 정보가 비집고 들어가므로, 확대 전의 화상의 화소에 노이즈가 있어도, 그 화소 데이터를 이용하여 생성한 화소는 노이즈가 없는 다른 화소로부터의 영향도 받게 되어, 확대 전의 화상에 존재하는 노이즈의 영향을 경감하면서 화상을 확대할 수 있다. 그렇지만, 소프트웨어의 처리에 시간이 걸리므로 소정의 샘플링 시간 내에 처리할 수 없게 될 가능성도 있다.
운전자 상태 감지 시스템에 있어서, 운전자 눈의 개폐를 검출하는 경우, 눈의 윗눈꺼풀과 아래 눈꺼풀의 사이에 존재하는 화소 데이터는, VGA(Video Graphic Array) 사이즈의 카메라로, 10화소 정도로 적다. 도 4에 도시한 바와 같이, 눈의 개방도의 분해능은 이 화소 수에 의존되어 버린다. 이와 같이 화소 수가 적은 화상에서는 윗눈꺼풀과 아래 눈꺼풀이 닫혀 있는지 열려 있는지의 판정이 어려운 경우가 있다. 예를 들면, 종래의 1화소가 4화소로 증가하는 고화소의 이미지 센서를 사용하더라도 고화소에서의 1화소의 밝기는 1/4로 감소하므로 화소가 증가함에도 화상 해석이 단순하고 쉽게 되는 것은 아니다.
(특허 문헌 1) 일본 특개 평 10-35320호 공보 (특허 문헌 2) 일본 공개 특허 2003-271931호 공보
본 발명의 목적은 고화소의 이미지 센서를 사용하지 않고 종래와 동등한 수준의 화소 수를 갖는 이미지 센서를 사용하여도 촬영한 눈 부분의 화소 수를 늘릴 수 있고, 이로써 눈의 개폐 판정이 용이해질 수 있는 운전자 상태 감지 카메라를 제공하는 것에 있다.
상기한 목적을 달성하기 위해, 본 발명은, 카메라의 전방 정면에 설치되고 화상을 세로 방향으로 확대하는 어묵형 렌즈와, 상기 어묵형 렌즈의 후방에 설치되는 볼록 렌즈와, 상기 어묵형 렌즈와 상기 볼록 렌즈에 의해 형성되는 상을 촬영하는 이미지 센서와, 촬영한 운전자 얼굴의 화상으로부터 눈 부분을 추출하여 눈이 열려 있는지 닫혀 있는지를 판정하는 화상 처리부를 포함하여 구성되는 운전자 상태 감지 카메라를 제공한다.
이에 따라, 본 발명에 따른 운전자 상태 감지 카메라에 의하면, 어묵형 렌즈를 설치하여 사용하므로 운전자의 얼굴을 세로 방향으로 확대하여 촬영할 수 있다.
또한 본 발명에 따른 운전자 상태 카메라 장치에서는 소프트웨어에 의해 화상을 확대할 필요가 없기 때문에 처리 시간이 빠르며, 눈 부분을 추출하면 세로 방향으로 늘어난 형태의 화상을 얻게 되므로 그 화상으로부터 눈이 열려 있는지 닫혀 있는지를 판정하는 것이 용이해질 수 있다.
도 1은 본 발명에 따른 운전자 상태 감지 카메라의 구성도이다.
도 2는 도 1의 운전자 상태 감지 카메라에 부착되는 어묵형 렌즈의 사시도이다.
도 3은 촬영한 얼굴 화상의 설명도로서, (A)는 종래의 카메라로 촬영한 경우를, (B)는 본 발명에 따른 운전자 상태 감지 카메라로 촬영한 경우를 도시한 것이다.
도 4는 종래의 촬영 화상이며, 얼굴로부터 추출한 눈 부분을 나타낸다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 운전자 상태 감지 카메라에 대해 더욱 상세히 설명하기로 한다.
(실시예)
도 1은 본 발명에 따른 운전자 상태 감지 카메라의 구성도이다. 도시된 바와 같이, 본 발명에 따른 운전자 상태 감지 카메라(1)는, 카메라의 전방 정면에 설치되는 어묵형 렌즈(2)와, 상기 어묵형 렌즈(2)의 후방에 설치되는 볼록 렌즈(6)와, 상기 볼록 렌즈(6)를 통과하여 형성되는 상을 촬영하는 이미지 센서(3)와, 촬영한 운전자의 얼굴 화상으로부터 눈 부분을 추출하는 화상 처리부(5)와, 상기 이미지 센서(3)에 의해 포착되는 화상을 소정 시간 내에 읽어들여 화상 처리부(5)로 전송하고 셔터와 같은 기능을 하는 카메라 제어부(4)를 구비한다.
이러한 본 발명의 운전자 상태 감지 카메라(1)는 예컨대 차량 운전자의 전방 계기판(7, Dashboard)에 설치될 수 있다.
도 2는 본 발명에 따른 운전자 상태 감지 카메라에서 사용되는 어묵형 렌즈(2)의 사시도이다. 도시된 바와 같은 어묵형 렌즈(2)를 통해서는 세로 방향으로는 늘어나 확대되지만 가로 방향으로는 확대되지 않은 그대로의 화상을 얻을 수 있다. 이에 따라 화상 처리부(5)에서 운전자가 눈을 뜨고 있는지 아니면 닫고 있는지를 용이하게 판정할 수 있게 된다. 또한 한눈팔기 운전을 하고 있지 않은가를 검은자위 부분의 위치로 판정할 수도 있다. 어묵형 렌즈(2)는 실린드리컬 렌즈(cylindrical lens)라고도 불리고 있는데, 정면의 형상은 직사각형을 가지며, 상기 볼록 렌즈(6)의 원형 개구부를 가리도록 설치된다. 또한 어묵형 렌즈(2)의 초점은 점이 아닌 가로 방향 1축을 따르는 직선이 된다.
도 3은 촬영한 얼굴의 화상의 설명도이다. 도 3의 (A)는 종래의 카메라로 촬영한 경우를 나타내는 도면으로서, 이미지 센서(3)가 운전자의 목으로부터 윗 얼굴 부분을 포착하게 된다. 얼굴 중에서 눈 부분은 가로가 22화소, 세로가 12화소의 사각형의 영역에 들어가는 정도이다. 반면, 도 3의 (B)는 본 발명에 따른 운전자 상태 감지 카메라로 촬영한 경우를 나타내는 도면으로서, 종래와 같은 렌즈 구성이라 하더라도, 어묵형 렌즈(2)에 의해 세로로 상이 확대되므로, 눈 부분이 가로 22화소, 세로 18화소인 것보다 큰 사각형의 영역에 들어간다. 즉, 눈 부분의 화소 수를 늘릴 수 있는 것이다. 이에 따라, 어묵형 렌즈를 채용한 본 발명의 운전자 상태 감지 카메라에 의하면, 눈의 개폐 판정이 종래에 비해 용이해진다. (A)에 나타낸 화상에서는 반이 검고 반이 흰 화소가 있는 것과 같이 보이고 있지만, 실제 종래의 카메라에 의해 촬영된 화상에서는 도 4에 나타낸 바와 같이 대부분의 화소가 회색으로 나타나는 등 구분이 어렵고, 특히 윗눈꺼풀과 아래 눈꺼풀의 식별이 어려워 눈의 개폐 판정이 어렵다.
본 발명에 따른 운전자 상태 감지용 카메라는 고화소 카메라를 사용하지 않고도 운전자 눈의 화소 수를 늘릴 수 있는 카메라로 널리 유용하게 사용될 수 있다.
1 : 운전자 상태 감지 카메라 2 : 어묵형 렌즈
3 : 이미지 센서 4 : 카메라 제어부
5 : 화상 처리부 6 : 볼록 렌즈
7 : 계기판

Claims (1)

  1. 카메라의 전방 정면에 설치되고 화상을 세로 방향으로 확대하는 어묵형 렌즈와;
    상기 어묵형 렌즈의 후방에 설치되는 볼록 렌즈와;
    상기 어묵형 렌즈와 상기 볼록 렌즈에 의해 형성되는 상을 촬영하는 이미지 센서와;
    촬영한 운전자 얼굴의 화상으로부터 눈 부분을 추출하여 눈이 열려 있는지 닫혀 있는지를 판정하는 화상 처리부;
    를 포함하는 운전자 상태 감지 카메라.
KR1020100104420A 2010-10-07 2010-10-26 운전자 상태 감지 카메라 KR20120036241A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010227382A JP2012084967A (ja) 2010-10-07 2010-10-07 運転者状態検知カメラ
JPJP-P-2010-227382 2010-10-07

Publications (1)

Publication Number Publication Date
KR20120036241A true KR20120036241A (ko) 2012-04-17

Family

ID=45925165

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100104420A KR20120036241A (ko) 2010-10-07 2010-10-26 운전자 상태 감지 카메라

Country Status (5)

Country Link
US (1) US8457364B2 (ko)
JP (1) JP2012084967A (ko)
KR (1) KR20120036241A (ko)
CN (1) CN102447823A (ko)
DE (1) DE102011006245A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD765119S1 (en) 2014-12-31 2016-08-30 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD766297S1 (en) 2014-12-31 2016-09-13 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD775173S1 (en) 2014-12-31 2016-12-27 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
KR20170051197A (ko) 2015-10-29 2017-05-11 주식회사 세코닉스 운전 패턴 분석을 통한 운전자 상태 감시 방법 및 장치

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201330827A (zh) * 2012-01-19 2013-08-01 Utechzone Co Ltd 依據駕駛反射動作之注意力偵測裝置及其方法
US10614328B2 (en) 2014-12-30 2020-04-07 Joyson Safety Acquisition LLC Occupant monitoring systems and methods
USD751437S1 (en) 2014-12-30 2016-03-15 Tk Holdings Inc. Vehicle occupant monitor
US9533687B2 (en) 2014-12-30 2017-01-03 Tk Holdings Inc. Occupant monitoring systems and methods
US10532659B2 (en) 2014-12-30 2020-01-14 Joyson Safety Systems Acquisition Llc Occupant monitoring systems and methods
DE102016205996A1 (de) * 2015-12-16 2017-06-22 Robert Bosch Gmbh Verfahren zum Ausgeben einer Schläfrigkeitswarnung und Steuergerät
US10065651B2 (en) 2016-05-10 2018-09-04 Samsung Electronics Co., Ltd Electronic device and method for determining a state of a driver
CN107483783B (zh) * 2017-08-24 2018-07-24 日照才宝教育科技有限公司 一种枪式摄像机开关方法
US10489666B2 (en) * 2017-12-18 2019-11-26 Panasonic Intellectual Property Management Co., Ltd. Imaging device and imaging system
JP7139908B2 (ja) * 2018-11-19 2022-09-21 トヨタ自動車株式会社 運転者監視装置の取付構造

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2599670Y2 (ja) * 1993-10-20 1999-09-13 金治 藤原 織組織拡大検査装置
US5682144A (en) * 1995-11-20 1997-10-28 Mannik; Kallis Hans Eye actuated sleep prevention devices and other eye controlled devices
JPH1035320A (ja) 1996-07-24 1998-02-10 Hitachi Ltd 車両状況認識方法、車載用画像処理装置および記憶媒体
JPH1086696A (ja) 1996-09-13 1998-04-07 Toyota Motor Corp 顔画像における特徴部位の検出方法
JP3812298B2 (ja) 2000-06-26 2006-08-23 日産自動車株式会社 眼の状態検出装置
US6559770B1 (en) * 2002-03-02 2003-05-06 Edward George Zoerb Eyelash activated drowsy alarm
JP3801075B2 (ja) 2002-03-14 2006-07-26 日産自動車株式会社 画像拡大装置
JP2006349554A (ja) * 2005-06-17 2006-12-28 Auto Network Gijutsu Kenkyusho:Kk 測距機能付き車載カメラシステム
JP2009278185A (ja) * 2008-05-12 2009-11-26 Toyota Motor Corp 画像認識装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD765119S1 (en) 2014-12-31 2016-08-30 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD766297S1 (en) 2014-12-31 2016-09-13 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD775173S1 (en) 2014-12-31 2016-12-27 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
KR20170051197A (ko) 2015-10-29 2017-05-11 주식회사 세코닉스 운전 패턴 분석을 통한 운전자 상태 감시 방법 및 장치

Also Published As

Publication number Publication date
US8457364B2 (en) 2013-06-04
JP2012084967A (ja) 2012-04-26
DE102011006245A1 (de) 2012-05-16
CN102447823A (zh) 2012-05-09
US20120087541A1 (en) 2012-04-12

Similar Documents

Publication Publication Date Title
KR20120036241A (ko) 운전자 상태 감지 카메라
CN101523411B (zh) 眼开度检测系统及眼开度检测方法
US9852339B2 (en) Method for recognizing iris and electronic device thereof
US8363146B2 (en) Image-taking apparatus and output image generation method
CN101396988A (zh) 车辆周边监视设备和车辆周边监视方法
EP3654632A1 (en) Imaging device, imaging system, and imaging method
KR20190068618A (ko) 단말기를 위한 촬영 방법 및 단말기
JP2008017311A (ja) 車両用映像表示装置及び車両周囲映像の表示方法
CN109455140B (zh) 图像显示装置
JP6857695B2 (ja) 後方表示装置、後方表示方法、およびプログラム
KR20170002330A (ko) 운전자 맞춤형 디스플레이 가변 장치 및 이의 제어 방법
JP2010118984A (ja) 撮影装置
CN105827967A (zh) 控制方法、控制装置及电子装置
JPH04274941A (ja) 車両用車外監視装置
US20200228726A1 (en) Imaging apparatus, and control method and control program therefor
JP2009244944A (ja) 画像回復装置および撮影装置
WO2015141185A1 (ja) 撮像制御装置、撮像制御方法および記録媒体
CN113051997A (zh) 用于监视车辆周围环境的设备和非暂时性计算机可读介质
JPWO2015115103A1 (ja) 画像処理装置、カメラシステム、および画像処理方法
JP2002152722A (ja) 画像投影装置及びその方法
EP4304191A2 (en) Camera system, method for controlling the same, and computer program
JP5110713B2 (ja) 多眼撮影装置、スルー画像表示方法およびプログラム
JP4556494B2 (ja) 車両周囲表示装置及び車両周囲表示方法
JP2007226362A (ja) 画像表示方法及び装置
CN114442893A (zh) 近眼显示系统的图像显示方法及近眼显示系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application