KR20120036241A - 운전자 상태 감지 카메라 - Google Patents
운전자 상태 감지 카메라 Download PDFInfo
- Publication number
- KR20120036241A KR20120036241A KR1020100104420A KR20100104420A KR20120036241A KR 20120036241 A KR20120036241 A KR 20120036241A KR 1020100104420 A KR1020100104420 A KR 1020100104420A KR 20100104420 A KR20100104420 A KR 20100104420A KR 20120036241 A KR20120036241 A KR 20120036241A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- driver
- camera
- lens
- eye
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Psychiatry (AREA)
- General Physics & Mathematics (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Multimedia (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Studio Devices (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 운전자 상태 감지 카메라에 관한 것으로서, 종래와 같은 고화소의 카메라를 사용하지 않고 종래와 동등한 수준의 화소 수를 갖는 이미지 센서를 사용하더라도 촬영한 눈 부분의 화소 수를 늘릴 수가 있고 이에 눈의 개폐 판정이 용이해지는 운전자 상태 감지 카메라를 제공하는데 주된 목적이 있는 것이다. 이러한 본 발명의 운전자 상태 감지 카메라는, 카메라의 전방 정면에 설치되고 화상을 세로 방향으로 확대하는 어묵형 렌즈(2)와, 어묵형 렌즈(2)의 후방에 설치되는 볼록 렌즈(6)와, 어묵형 렌즈(2)와 볼록 렌즈(6)에 의해 형성되는 상을 촬영하는 이미지 센서(3)와, 촬영한 운전자 얼굴의 화상으로부터 눈 부분을 추출하여 눈이 열려 있는지 닫혀 있는지를 판정하는 화상 처리부(5)를 포함하여 구성된다.
Description
본 발명은 운전자 상태 감지 카메라에 관한 것으로서, 보다 상세하게는 고화소의 카메라를 사용하지 않고도 눈 부분의 화소 수를 늘릴 수 있는 운전자 상태 감지 카메라에 관한 것이다.
특허 문헌 1의 차량 상황인식 장치에서는 이미지 센서인 CCD(전하결합소자)를 사용한 카메라(10)가 촬영부에 설치되는데, 이 카메라가 설치된 촬영부에 의해 운전자의 얼굴이 촬영된다. 또한 특허 문헌 1의 차량 상황인식 장치에서는 촬영한 운전자의 얼굴 화상을 표시 화면에 소정의 크기가 되도록 확대하여 표시하고, 또한 눈 부분을 추출하여 운전자가 앉아서 졸고 있는 상태인지 아닌지를 판정하게 된다.
특허 문헌 2의 화상 확대 장치에서는 운전자의 눈 화상으로부터 운전자가 앉아서 졸고 있는 상태인지 아닌지를 판정하기 위하여 화상을 확대하게 된다. 이때, 확대 후의 화상에서 원화상(확대 전의 화상)에 포함된 노이즈의 영향을 경감시키는 기술이 적용된다. 구체적으로는 복수의 화소로 구성되는 화상 데이터를 확대할 때 단부의 화소 이외의 모든 화소를 확대 전의 화상 데이터가 가지는 복수 화소 데이터로부터 보간하여 생성한다. 이러한 방법에 의하면, 확대 후의 화상에 있어서, 단부를 제외한 모든 화소에 확대 전의 복수 화소의 정보가 비집고 들어가므로, 확대 전의 화상의 화소에 노이즈가 있어도, 그 화소 데이터를 이용하여 생성한 화소는 노이즈가 없는 다른 화소로부터의 영향도 받게 되어, 확대 전의 화상에 존재하는 노이즈의 영향을 경감하면서 화상을 확대할 수 있다. 그렇지만, 소프트웨어의 처리에 시간이 걸리므로 소정의 샘플링 시간 내에 처리할 수 없게 될 가능성도 있다.
운전자 상태 감지 시스템에 있어서, 운전자 눈의 개폐를 검출하는 경우, 눈의 윗눈꺼풀과 아래 눈꺼풀의 사이에 존재하는 화소 데이터는, VGA(Video Graphic Array) 사이즈의 카메라로, 10화소 정도로 적다. 도 4에 도시한 바와 같이, 눈의 개방도의 분해능은 이 화소 수에 의존되어 버린다. 이와 같이 화소 수가 적은 화상에서는 윗눈꺼풀과 아래 눈꺼풀이 닫혀 있는지 열려 있는지의 판정이 어려운 경우가 있다. 예를 들면, 종래의 1화소가 4화소로 증가하는 고화소의 이미지 센서를 사용하더라도 고화소에서의 1화소의 밝기는 1/4로 감소하므로 화소가 증가함에도 화상 해석이 단순하고 쉽게 되는 것은 아니다.
본 발명의 목적은 고화소의 이미지 센서를 사용하지 않고 종래와 동등한 수준의 화소 수를 갖는 이미지 센서를 사용하여도 촬영한 눈 부분의 화소 수를 늘릴 수 있고, 이로써 눈의 개폐 판정이 용이해질 수 있는 운전자 상태 감지 카메라를 제공하는 것에 있다.
상기한 목적을 달성하기 위해, 본 발명은, 카메라의 전방 정면에 설치되고 화상을 세로 방향으로 확대하는 어묵형 렌즈와, 상기 어묵형 렌즈의 후방에 설치되는 볼록 렌즈와, 상기 어묵형 렌즈와 상기 볼록 렌즈에 의해 형성되는 상을 촬영하는 이미지 센서와, 촬영한 운전자 얼굴의 화상으로부터 눈 부분을 추출하여 눈이 열려 있는지 닫혀 있는지를 판정하는 화상 처리부를 포함하여 구성되는 운전자 상태 감지 카메라를 제공한다.
이에 따라, 본 발명에 따른 운전자 상태 감지 카메라에 의하면, 어묵형 렌즈를 설치하여 사용하므로 운전자의 얼굴을 세로 방향으로 확대하여 촬영할 수 있다.
또한 본 발명에 따른 운전자 상태 카메라 장치에서는 소프트웨어에 의해 화상을 확대할 필요가 없기 때문에 처리 시간이 빠르며, 눈 부분을 추출하면 세로 방향으로 늘어난 형태의 화상을 얻게 되므로 그 화상으로부터 눈이 열려 있는지 닫혀 있는지를 판정하는 것이 용이해질 수 있다.
도 1은 본 발명에 따른 운전자 상태 감지 카메라의 구성도이다.
도 2는 도 1의 운전자 상태 감지 카메라에 부착되는 어묵형 렌즈의 사시도이다.
도 3은 촬영한 얼굴 화상의 설명도로서, (A)는 종래의 카메라로 촬영한 경우를, (B)는 본 발명에 따른 운전자 상태 감지 카메라로 촬영한 경우를 도시한 것이다.
도 4는 종래의 촬영 화상이며, 얼굴로부터 추출한 눈 부분을 나타낸다.
도 2는 도 1의 운전자 상태 감지 카메라에 부착되는 어묵형 렌즈의 사시도이다.
도 3은 촬영한 얼굴 화상의 설명도로서, (A)는 종래의 카메라로 촬영한 경우를, (B)는 본 발명에 따른 운전자 상태 감지 카메라로 촬영한 경우를 도시한 것이다.
도 4는 종래의 촬영 화상이며, 얼굴로부터 추출한 눈 부분을 나타낸다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 운전자 상태 감지 카메라에 대해 더욱 상세히 설명하기로 한다.
(실시예)
도 1은 본 발명에 따른 운전자 상태 감지 카메라의 구성도이다. 도시된 바와 같이, 본 발명에 따른 운전자 상태 감지 카메라(1)는, 카메라의 전방 정면에 설치되는 어묵형 렌즈(2)와, 상기 어묵형 렌즈(2)의 후방에 설치되는 볼록 렌즈(6)와, 상기 볼록 렌즈(6)를 통과하여 형성되는 상을 촬영하는 이미지 센서(3)와, 촬영한 운전자의 얼굴 화상으로부터 눈 부분을 추출하는 화상 처리부(5)와, 상기 이미지 센서(3)에 의해 포착되는 화상을 소정 시간 내에 읽어들여 화상 처리부(5)로 전송하고 셔터와 같은 기능을 하는 카메라 제어부(4)를 구비한다.
이러한 본 발명의 운전자 상태 감지 카메라(1)는 예컨대 차량 운전자의 전방 계기판(7, Dashboard)에 설치될 수 있다.
도 2는 본 발명에 따른 운전자 상태 감지 카메라에서 사용되는 어묵형 렌즈(2)의 사시도이다. 도시된 바와 같은 어묵형 렌즈(2)를 통해서는 세로 방향으로는 늘어나 확대되지만 가로 방향으로는 확대되지 않은 그대로의 화상을 얻을 수 있다. 이에 따라 화상 처리부(5)에서 운전자가 눈을 뜨고 있는지 아니면 닫고 있는지를 용이하게 판정할 수 있게 된다. 또한 한눈팔기 운전을 하고 있지 않은가를 검은자위 부분의 위치로 판정할 수도 있다. 어묵형 렌즈(2)는 실린드리컬 렌즈(cylindrical lens)라고도 불리고 있는데, 정면의 형상은 직사각형을 가지며, 상기 볼록 렌즈(6)의 원형 개구부를 가리도록 설치된다. 또한 어묵형 렌즈(2)의 초점은 점이 아닌 가로 방향 1축을 따르는 직선이 된다.
도 3은 촬영한 얼굴의 화상의 설명도이다. 도 3의 (A)는 종래의 카메라로 촬영한 경우를 나타내는 도면으로서, 이미지 센서(3)가 운전자의 목으로부터 윗 얼굴 부분을 포착하게 된다. 얼굴 중에서 눈 부분은 가로가 22화소, 세로가 12화소의 사각형의 영역에 들어가는 정도이다. 반면, 도 3의 (B)는 본 발명에 따른 운전자 상태 감지 카메라로 촬영한 경우를 나타내는 도면으로서, 종래와 같은 렌즈 구성이라 하더라도, 어묵형 렌즈(2)에 의해 세로로 상이 확대되므로, 눈 부분이 가로 22화소, 세로 18화소인 것보다 큰 사각형의 영역에 들어간다. 즉, 눈 부분의 화소 수를 늘릴 수 있는 것이다. 이에 따라, 어묵형 렌즈를 채용한 본 발명의 운전자 상태 감지 카메라에 의하면, 눈의 개폐 판정이 종래에 비해 용이해진다. (A)에 나타낸 화상에서는 반이 검고 반이 흰 화소가 있는 것과 같이 보이고 있지만, 실제 종래의 카메라에 의해 촬영된 화상에서는 도 4에 나타낸 바와 같이 대부분의 화소가 회색으로 나타나는 등 구분이 어렵고, 특히 윗눈꺼풀과 아래 눈꺼풀의 식별이 어려워 눈의 개폐 판정이 어렵다.
본 발명에 따른 운전자 상태 감지용 카메라는 고화소 카메라를 사용하지 않고도 운전자 눈의 화소 수를 늘릴 수 있는 카메라로 널리 유용하게 사용될 수 있다.
1 : 운전자 상태 감지 카메라 2 : 어묵형 렌즈
3 : 이미지 센서 4 : 카메라 제어부
5 : 화상 처리부 6 : 볼록 렌즈
7 : 계기판
3 : 이미지 센서 4 : 카메라 제어부
5 : 화상 처리부 6 : 볼록 렌즈
7 : 계기판
Claims (1)
- 카메라의 전방 정면에 설치되고 화상을 세로 방향으로 확대하는 어묵형 렌즈와;
상기 어묵형 렌즈의 후방에 설치되는 볼록 렌즈와;
상기 어묵형 렌즈와 상기 볼록 렌즈에 의해 형성되는 상을 촬영하는 이미지 센서와;
촬영한 운전자 얼굴의 화상으로부터 눈 부분을 추출하여 눈이 열려 있는지 닫혀 있는지를 판정하는 화상 처리부;
를 포함하는 운전자 상태 감지 카메라.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010227382A JP2012084967A (ja) | 2010-10-07 | 2010-10-07 | 運転者状態検知カメラ |
JPJP-P-2010-227382 | 2010-10-07 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20120036241A true KR20120036241A (ko) | 2012-04-17 |
Family
ID=45925165
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100104420A KR20120036241A (ko) | 2010-10-07 | 2010-10-26 | 운전자 상태 감지 카메라 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8457364B2 (ko) |
JP (1) | JP2012084967A (ko) |
KR (1) | KR20120036241A (ko) |
CN (1) | CN102447823A (ko) |
DE (1) | DE102011006245A1 (ko) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD765119S1 (en) | 2014-12-31 | 2016-08-30 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with graphical user interface |
USD766297S1 (en) | 2014-12-31 | 2016-09-13 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with graphical user interface |
USD775173S1 (en) | 2014-12-31 | 2016-12-27 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with graphical user interface |
KR20170051197A (ko) | 2015-10-29 | 2017-05-11 | 주식회사 세코닉스 | 운전 패턴 분석을 통한 운전자 상태 감시 방법 및 장치 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201330827A (zh) * | 2012-01-19 | 2013-08-01 | Utechzone Co Ltd | 依據駕駛反射動作之注意力偵測裝置及其方法 |
US10614328B2 (en) | 2014-12-30 | 2020-04-07 | Joyson Safety Acquisition LLC | Occupant monitoring systems and methods |
USD751437S1 (en) | 2014-12-30 | 2016-03-15 | Tk Holdings Inc. | Vehicle occupant monitor |
US9533687B2 (en) | 2014-12-30 | 2017-01-03 | Tk Holdings Inc. | Occupant monitoring systems and methods |
US10532659B2 (en) | 2014-12-30 | 2020-01-14 | Joyson Safety Systems Acquisition Llc | Occupant monitoring systems and methods |
DE102016205996A1 (de) * | 2015-12-16 | 2017-06-22 | Robert Bosch Gmbh | Verfahren zum Ausgeben einer Schläfrigkeitswarnung und Steuergerät |
US10065651B2 (en) | 2016-05-10 | 2018-09-04 | Samsung Electronics Co., Ltd | Electronic device and method for determining a state of a driver |
CN107483783B (zh) * | 2017-08-24 | 2018-07-24 | 日照才宝教育科技有限公司 | 一种枪式摄像机开关方法 |
US10489666B2 (en) * | 2017-12-18 | 2019-11-26 | Panasonic Intellectual Property Management Co., Ltd. | Imaging device and imaging system |
JP7139908B2 (ja) * | 2018-11-19 | 2022-09-21 | トヨタ自動車株式会社 | 運転者監視装置の取付構造 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2599670Y2 (ja) * | 1993-10-20 | 1999-09-13 | 金治 藤原 | 織組織拡大検査装置 |
US5682144A (en) * | 1995-11-20 | 1997-10-28 | Mannik; Kallis Hans | Eye actuated sleep prevention devices and other eye controlled devices |
JPH1035320A (ja) | 1996-07-24 | 1998-02-10 | Hitachi Ltd | 車両状況認識方法、車載用画像処理装置および記憶媒体 |
JPH1086696A (ja) | 1996-09-13 | 1998-04-07 | Toyota Motor Corp | 顔画像における特徴部位の検出方法 |
JP3812298B2 (ja) | 2000-06-26 | 2006-08-23 | 日産自動車株式会社 | 眼の状態検出装置 |
US6559770B1 (en) * | 2002-03-02 | 2003-05-06 | Edward George Zoerb | Eyelash activated drowsy alarm |
JP3801075B2 (ja) | 2002-03-14 | 2006-07-26 | 日産自動車株式会社 | 画像拡大装置 |
JP2006349554A (ja) * | 2005-06-17 | 2006-12-28 | Auto Network Gijutsu Kenkyusho:Kk | 測距機能付き車載カメラシステム |
JP2009278185A (ja) * | 2008-05-12 | 2009-11-26 | Toyota Motor Corp | 画像認識装置 |
-
2010
- 2010-10-07 JP JP2010227382A patent/JP2012084967A/ja active Pending
- 2010-10-26 KR KR1020100104420A patent/KR20120036241A/ko not_active Application Discontinuation
-
2011
- 2011-03-01 US US13/037,882 patent/US8457364B2/en not_active Expired - Fee Related
- 2011-03-28 DE DE102011006245A patent/DE102011006245A1/de not_active Withdrawn
- 2011-04-08 CN CN2011101115992A patent/CN102447823A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD765119S1 (en) | 2014-12-31 | 2016-08-30 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with graphical user interface |
USD766297S1 (en) | 2014-12-31 | 2016-09-13 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with graphical user interface |
USD775173S1 (en) | 2014-12-31 | 2016-12-27 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with graphical user interface |
KR20170051197A (ko) | 2015-10-29 | 2017-05-11 | 주식회사 세코닉스 | 운전 패턴 분석을 통한 운전자 상태 감시 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
US8457364B2 (en) | 2013-06-04 |
JP2012084967A (ja) | 2012-04-26 |
DE102011006245A1 (de) | 2012-05-16 |
CN102447823A (zh) | 2012-05-09 |
US20120087541A1 (en) | 2012-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20120036241A (ko) | 운전자 상태 감지 카메라 | |
CN101523411B (zh) | 眼开度检测系统及眼开度检测方法 | |
US9852339B2 (en) | Method for recognizing iris and electronic device thereof | |
US8363146B2 (en) | Image-taking apparatus and output image generation method | |
CN101396988A (zh) | 车辆周边监视设备和车辆周边监视方法 | |
EP3654632A1 (en) | Imaging device, imaging system, and imaging method | |
KR20190068618A (ko) | 단말기를 위한 촬영 방법 및 단말기 | |
JP2008017311A (ja) | 車両用映像表示装置及び車両周囲映像の表示方法 | |
CN109455140B (zh) | 图像显示装置 | |
JP6857695B2 (ja) | 後方表示装置、後方表示方法、およびプログラム | |
KR20170002330A (ko) | 운전자 맞춤형 디스플레이 가변 장치 및 이의 제어 방법 | |
JP2010118984A (ja) | 撮影装置 | |
CN105827967A (zh) | 控制方法、控制装置及电子装置 | |
JPH04274941A (ja) | 車両用車外監視装置 | |
US20200228726A1 (en) | Imaging apparatus, and control method and control program therefor | |
JP2009244944A (ja) | 画像回復装置および撮影装置 | |
WO2015141185A1 (ja) | 撮像制御装置、撮像制御方法および記録媒体 | |
CN113051997A (zh) | 用于监视车辆周围环境的设备和非暂时性计算机可读介质 | |
JPWO2015115103A1 (ja) | 画像処理装置、カメラシステム、および画像処理方法 | |
JP2002152722A (ja) | 画像投影装置及びその方法 | |
EP4304191A2 (en) | Camera system, method for controlling the same, and computer program | |
JP5110713B2 (ja) | 多眼撮影装置、スルー画像表示方法およびプログラム | |
JP4556494B2 (ja) | 車両周囲表示装置及び車両周囲表示方法 | |
JP2007226362A (ja) | 画像表示方法及び装置 | |
CN114442893A (zh) | 近眼显示系统的图像显示方法及近眼显示系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |