JP7334415B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP7334415B2 JP7334415B2 JP2019017516A JP2019017516A JP7334415B2 JP 7334415 B2 JP7334415 B2 JP 7334415B2 JP 2019017516 A JP2019017516 A JP 2019017516A JP 2019017516 A JP2019017516 A JP 2019017516A JP 7334415 B2 JP7334415 B2 JP 7334415B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- sub
- block
- opening
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
Description
まず、図1を参照しつつ、本実施形態に係る運転監視システムについて説明する。この運転監視ステムは、自動車に設けられるものであり、自動車100に設けられたカメラ101と、このカメラ101によって撮影された運転者の顔の動画を取得し、得られた動画から運転者の眠気レベルを算出する画像処理装置10と、居眠り運転の警告を行う報知器106と、を備えている。なお、ここでいう動画とは、運転者が含まれる時系列に並ぶ複数の画像を意味するが、画像とは、カメラで撮影されたフレーム画像などの各種静止画、あるいは圧縮された画像を意味する。
・瞬き頻度:所定時間における全フレーム数に対する、目が開いた状態から目が閉じた状態に遷移している回数の割合
・AECT(Average eye closed time):所定時間における瞬きの合計に対する、目が閉じているフレーム数の割合
・Soft PERCLOS(Soft Percentage of eyelid closure):所定時間における全フレーム数に対する、目が完全に開いていないフレーム数の割合
<2-1.ハードウェア構成>
<2-1-1.画像処理装置>
次に、本実施形態に係る画像処理装置10のハードウェア構成の一例について説明する。図2は、画像処理装置のハードウェア構成の一例を示すブロック図である。
図1に示すように、カメラ101は、自動車100の運転席に座る運転者を撮影するようになっている。なお、カメラ101は、所定の場所に固定されてもよいし、モータ等により撮影方向(向き)を変更可能に構成されてもよい。カメラ101には、一般のデジタルカメラ、ビデオカメラ、360度カメラ等が用いられてよいし、可視光撮影用でも赤外光撮影用カメラであってもよい。
図3は、本実施形態に係る学習装置を示すブロック図である。図4に示すように、本実施形態に係る学習装置4は、画像処理装置10の制御部31を学習するためのものであり、制御部41、記憶部42、外部インタフェース43、通信インタフェース44、及びドライブ47が電気的に接続されたコンピュータである。
<2-2-1.画像処理装置>
次に、図4を参照しつつ、画像処理装置10のソフトウェア構成について説明する。図4に示すように、画像処理装置10の制御部31は、記憶部32に記憶された画像処理プログラム321をRAMに展開すると、その画像処理プログラム321をCPUにより解釈及び実行して、第1データ取得部1、第2データ取得部2、及び入力部311を備えたコンピュータとして機能する。また、第1データ取得部1には、第1処理部11、第2処理部13、及び第3処理部16が含まれている。
次に、第2データ取得部2における処理について説明する。第2データ取得部2は、複数のいわゆるタイムドメイン畳み込みニューラルネットワーク(Time-domain CNN)により構成されている。具体的には、第1メインブロック21、第2メインブロック22、及び第3メインブロック23を有しており、これらが入力側から出力側へ、この順で直列に結合されている。各メインブロック21~23は、タイムドメイン畳み込み層211,221,231、正規化処理層212,222,232、及び活性化処理層213,223,233を備えており、第2メインブロック22と第3メインブロック23は、さらにプーリング層224,234を備えている。正規化処理層212,222,232、及び活性化処理層213,223,233は、一般的な畳み込みニューラルネットワークで用いられる公知の層である。
次に、本実施形態に係る学習装置4のソフトウェア構成の一例を説明する。図8は、学習装置のソフトウェア構成の一例を示すブロック図である。
次に、図9を参照しつつ、画像処理装置10の動作例を説明する。図9は、画像処理装置における学習器の更新の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
以上のように、本実施形態によれば、次の効果を得ることができる。
(1)運転者を撮影した動画から目の開閉データを取得している。すなわち、所定時間内に生じる目の開閉に関する動的なデータを取得し、さらに、動画から得られた目の形状に関する静的なデータを取得し、これらの両方に基づいて、眠気レベルを算出している。したがって、眠気レベルを正確に算出することができる。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
上記実施形態では、第2データ取得部2において、形状データ15と開閉データ17とを入力としているが、開閉データ17のみを入力とすることもできる。また、第1データ取得部1では、形状データ15を算出し、さらにこの形状データ15から開閉データ17を算出しているが、撮影された動画から開閉データ17を直接算出することもできる。すなわち、第1データ取得部1では、少なくとも、第2データ取得部2に入力するための開閉データ17が取得できればよく、その方法は特には限定されない。
第2データ取得部2では、3つのメインブロック21~23と、3つのサブブロック24~26を用いてネットワークを構成しているが、これに限定されない。すなわち、メインブロック21~23の数及びサブブロック24~26の数は適宜変更することができる。また、最も出力側のメインブロック(第3メインブロック23)を、サブブロックを介さずに、グローバルプーリング層27に直接接続することもできる。さらに、全てのメインブロック21~23にサブブロックを結合しなくてもよく、少なくとも1つのメインブロックにサブブロックが接続されればよい。但し、より入力側のメインブロックにサブブロックを接続することが好ましい。あるいは、サブブロックを用いず、メインブロックのみでネットワークを構成することもできる。
各メインブロック21~23及びサブブロック24~26の層構成は、特には限定されず、少なくともタイムドメイン畳み込み層を有していればよく、正規化処理層、活性化処理層、プーリング層は、必要に応じて適宜設ければよい。また、タイムドメイン畳み込み層のカーネルの数、カーネルサイズは適宜変更することができる。
上記実施形態では、第2データ取得部2に複数種(3種類)の時間における開閉データ17を入力しているが、これ以外の時間の開閉データを入力とすることもできし、3種類以外の時間の開閉データ(例えば、2種類や4種類以上)を入力とすることもできる。また、1種類の時間の開閉データのみを入力してもよい。
上記実施形態では、画像処理装置10と学習装置4とは別々のコンピュータで構成されている。しかしながら、画像処理装置10及び学習装置4の構成はこのような例に限定されなくてもよく、画像処理装置10及び学習装置4の両方の機能を有するシステムを1台又は複数台のコンピュータで実現してもよい。画像処理装置10に組み込んで使用することもできる。
上記実施形態では、本発明に係る画像処理装置を自動車の運転監視システムに適用した例を説明したが、これに限定されず、例えば、工場などの作業者の居眠りを監視するためのシステムなど、種々のシステムに適用することもできる。
101…カメラ
1…第1データ取得部
2…第2データ取得部
12…第2処理部(形状データ取得部)
16…第3処理部(開閉データ取得部)
106…報知器
Claims (11)
- 撮影によって生成され、対象者の顔を含み、時系列に並ぶ複数の画像から、所定時間における前記対象者の目の開閉に係る開閉データを時系列に算出する第1データ取得部と、
前記第1データ取得部で算出された時系列の前記開閉データが少なくとも含まれた入力情報から、眠気レベルを出力する学習を行った学習済みの第2データ取得部であって、少なくとも1つのタイムドメイン畳み込み層を含む第2データ取得部と、
を備え、
前記第2データ取得部は、複数のメインブロックと、複数のサブブロックと、グローバルプーリング層と、全結合層と、を結合することで構成されており、
前記各メインブロック及び各サブブロックには、少なくとも前記タイムドメイン畳み込み層が含まれており、
前記各メインブロックのタイムドメイン畳み込み層のカーネルサイズは、2以上であり、
前記各サブブロックのタイムドメイン畳み込み層のカーネルサイズは、1であり、
前記複数のメインブロックは直列的に結合され、
前記複数のメインブロックの少なくとも1つには、前記サブブロックが結合されており、
前記サブブロック及び最も出力側のメインブロックのうち、少なくとも前記サブブロックの出力が前記グローバルプーリング層に入力され、
前記グローバルプーリング層の出力が、前記全結合層に入力されている、
画像処理装置。 - 全ての前記メインブロックに前記サブブロックが結合されており、
前記各サブブロックからの出力が前記グローバルプーリング層に入力されている、請求項1に記載の画像処理装置。 - 前記複数のメインブロックの少なくとも1つは、プーリング層を有している、請求項1または2に記載の画像処理装置。
- 前記第1データ取得部は、異なる前記所定時間における複数種の前記開閉データを出力し、
前記第2データ取得部は、前記複数種の前記開閉データを入力とする、請求項1から3のいずれかに記載の画像処理装置。 - 前記第1データ取得部は、
前記時系列に並ぶ複数の画像を含む動画から、目の形状に係る形状データを出力する形状データ取得部と、
所定時間内の複数の前記形状データから、前記開閉データを算出する開閉データ取得部と、
を備えている、請求項1から4のいずれかに記載の画像処理装置。 - 前記第2データ取得部は、前記開閉データ及びこれに対応する前記形状データを入力とする、請求項5に記載の画像処理装置。
- 前記開閉データの1つは、前記所定時間における前記時系列に並ぶ複数の画像を含む動画の全フレーム数に対する、前記目が閉じていたフレーム数の割合である、請求項1から6のいずれかに記載の画像処理装置。
- 前記開閉データの1つは、前記所定時間における前記時系列に並ぶ複数の画像を含む動画の全フレーム数に対する、前記目が完全に開いていないフレーム数の割合である、請求項1から7のいずれかに記載の画像処理装置。
- カメラと、
前記カメラによって撮影された動画が入力される、請求項1から8のいずれかに記載の画像処理装置と、
前記画像処理装置において算出された眠気レベルが所定値以上である場合に、居眠りに対する警告を発する報知部と、
を備えている、監視システム。 - 撮影によって生成され、対象者の顔を含み、時系列に並ぶ複数の画像から、所定時間における目の開閉に係る開閉データを時系列に算出するステップと、
少なくとも1つのタイムドメイン畳み込み層を含む学習済みのデータ取得部によって、前記時系列の開閉データを少なくとも含む入力情報から、眠気のレベルを出力するステップと、
を備え、
前記学習済みのデータ取得部は、複数のメインブロックと、複数のサブブロックと、グローバルプーリング層と、全結合層と、を結合することで構成されており、
前記各メインブロック及び各サブブロックには、少なくとも前記タイムドメイン畳み込み層が含まれており、
前記各メインブロックのタイムドメイン畳み込み層のカーネルサイズは、2以上であり、
前記各サブブロックのタイムドメイン畳み込み層のカーネルサイズは、1であり、
前記複数のメインブロックは直列的に結合され、
前記複数のメインブロックの少なくとも1つには、前記サブブロックが結合されており、
前記サブブロック及び最も出力側のメインブロックのうち、少なくとも前記サブブロックの出力が前記グローバルプーリング層に入力され、
前記グローバルプーリング層の出力が、前記全結合層に入力されている、
画像処理方法。 - コンピュータに、
撮影によって生成され、対象者の顔を含み、時系列に並ぶ複数の画像から、所定時間における目の開閉に係る開閉データを時系列に算出するステップと、
少なくとも1つのタイムドメイン畳み込み層を含む学習済みのデータ取得部によって、前記時系列の開閉データを少なくとも含む入力情報から、眠気のレベルを出力するステップと、
を実行させ、
前記学習済みのデータ取得部は、複数のメインブロックと、複数のサブブロックと、グローバルプーリング層と、全結合層と、を結合することで構成されており、
前記各メインブロック及び各サブブロックには、少なくとも前記タイムドメイン畳み込み層が含まれており、
前記各メインブロックのタイムドメイン畳み込み層のカーネルサイズは、2以上であり、
前記各サブブロックのタイムドメイン畳み込み層のカーネルサイズは、1であり、
前記複数のメインブロックは直列的に結合され、
前記複数のメインブロックの少なくとも1つには、前記サブブロックが結合されており、
前記サブブロック及び最も出力側のメインブロックのうち、少なくとも前記サブブロックの出力が前記グローバルプーリング層に入力され、
前記グローバルプーリング層の出力が、前記全結合層に入力されている、
画像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019017516A JP7334415B2 (ja) | 2019-02-01 | 2019-02-01 | 画像処理装置 |
PCT/JP2020/003202 WO2020158812A1 (ja) | 2019-02-01 | 2020-01-29 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019017516A JP7334415B2 (ja) | 2019-02-01 | 2019-02-01 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020126378A JP2020126378A (ja) | 2020-08-20 |
JP7334415B2 true JP7334415B2 (ja) | 2023-08-29 |
Family
ID=71841547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019017516A Active JP7334415B2 (ja) | 2019-02-01 | 2019-02-01 | 画像処理装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7334415B2 (ja) |
WO (1) | WO2020158812A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008088070A1 (ja) | 2007-01-19 | 2008-07-24 | Asahi Kasei Kabushiki Kaisha | 覚醒状態判定モデル生成装置、覚醒状態判定装置及び警告装置 |
JP2011048531A (ja) | 2009-08-26 | 2011-03-10 | Aisin Seiki Co Ltd | 眠気検出装置、眠気検出方法、及びプログラム |
CN108446593A (zh) | 2018-02-08 | 2018-08-24 | 北京捷通华声科技股份有限公司 | 一种面部痉挛检测方法及装置 |
JP2018152034A (ja) | 2017-03-14 | 2018-09-27 | オムロン株式会社 | 運転者監視装置、運転者監視方法、学習装置及び学習方法 |
-
2019
- 2019-02-01 JP JP2019017516A patent/JP7334415B2/ja active Active
-
2020
- 2020-01-29 WO PCT/JP2020/003202 patent/WO2020158812A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008088070A1 (ja) | 2007-01-19 | 2008-07-24 | Asahi Kasei Kabushiki Kaisha | 覚醒状態判定モデル生成装置、覚醒状態判定装置及び警告装置 |
JP2011048531A (ja) | 2009-08-26 | 2011-03-10 | Aisin Seiki Co Ltd | 眠気検出装置、眠気検出方法、及びプログラム |
JP2018152034A (ja) | 2017-03-14 | 2018-09-27 | オムロン株式会社 | 運転者監視装置、運転者監視方法、学習装置及び学習方法 |
CN108446593A (zh) | 2018-02-08 | 2018-08-24 | 北京捷通华声科技股份有限公司 | 一种面部痉挛检测方法及装置 |
Non-Patent Citations (1)
Title |
---|
SUN, M. et al.,A neural-network-based investigation of eye-related movements for accurate drowsiness estimation,2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC) [online],IEEE,2018年07月,pp. 5207-5210,[検索日 2023.04.11], インターネット,URL:https://ieeexplore.ieee.org/abstract/document/8513491 |
Also Published As
Publication number | Publication date |
---|---|
JP2020126378A (ja) | 2020-08-20 |
WO2020158812A1 (ja) | 2020-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210357701A1 (en) | Evaluation device, action control device, evaluation method, and evaluation program | |
US20190370580A1 (en) | Driver monitoring apparatus, driver monitoring method, learning apparatus, and learning method | |
KR102306658B1 (ko) | 이종 도메인 데이터 간의 변환을 수행하는 gan의 학습 방법 및 장치 | |
JP7028973B2 (ja) | 子供状態分析方法および装置、車両、電子機器、ならびに記憶媒体 | |
KR101828011B1 (ko) | 이미지에 포함된 객체의 상태를 분류하는 방법 및 분류 장치 | |
CN111862009B (zh) | 一种眼底oct图像的分类方法及计算机可读存储介质 | |
US20220067519A1 (en) | Neural network synthesis architecture using encoder-decoder models | |
KR102292678B1 (ko) | 뇌 인지 부하 분류 시스템 및 방법 | |
Suganthe et al. | Diagnosis of Alzheimer's disease from brain magnetic resonance imaging images using deep learning algorithms | |
US20230419721A1 (en) | Electronic device for improving quality of image and method for improving quality of image by using same | |
JP2021037216A (ja) | 閉眼判定装置 | |
Walizad et al. | Driver drowsiness detection system using convolutional neural network | |
WO2018168038A1 (ja) | 運転者の着座判定装置 | |
Bulut et al. | Deep learning approach for detection of retinal abnormalities based on color fundus images | |
Kır Savaş et al. | Behavior-based driver fatigue detection system with deep belief network | |
JP6904287B2 (ja) | 制御装置、制御方法、及び制御プログラム | |
JP7334415B2 (ja) | 画像処理装置 | |
Vaca-Recalde et al. | Driver monitoring system based on cnn models: An approach for attention level detection | |
Choudhary et al. | Detecting drivers' drowsiness using Haar cascade classifier | |
Soman et al. | Internet-of-Things-Assisted Artificial Intelligence-Enabled Drowsiness Detection Framework | |
Victoria et al. | Driver drowsiness monitoring using convolutional neural networks | |
Islam et al. | Automatic Identification of Driver Inattentiveness Using Convolutional Neural Networks | |
JP7006724B2 (ja) | 分類装置、分類方法、及び、プログラム | |
Rajasekaran et al. | Enhancing Driver Safety: Real-Time Drowsiness Detection through Eye Aspect Ratio and CNN-Based Eye State Analysis | |
Kannoju | Diabetic retinopathy detection using retinal images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230731 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7334415 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |