KR20150106986A - 서버기반 졸음감지 시스템 및 그 방법 - Google Patents
서버기반 졸음감지 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR20150106986A KR20150106986A KR1020140028839A KR20140028839A KR20150106986A KR 20150106986 A KR20150106986 A KR 20150106986A KR 1020140028839 A KR1020140028839 A KR 1020140028839A KR 20140028839 A KR20140028839 A KR 20140028839A KR 20150106986 A KR20150106986 A KR 20150106986A
- Authority
- KR
- South Korea
- Prior art keywords
- drowsiness
- image
- user
- drowsy
- terminal
- Prior art date
Links
- 206010041349 Somnolence Diseases 0.000 title claims abstract description 325
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012544 monitoring process Methods 0.000 claims abstract description 87
- 238000004891 communication Methods 0.000 claims abstract description 29
- 208000032140 Sleepiness Diseases 0.000 claims abstract description 13
- 230000037321 sleepiness Effects 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims description 154
- 230000002265 prevention Effects 0.000 claims description 15
- 230000033001 locomotion Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000007958 sleep Effects 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims 1
- 238000011084 recovery Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 12
- 238000005286 illumination Methods 0.000 description 7
- 206010039203 Road traffic accident Diseases 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000005059 dormancy Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004622 sleep time Effects 0.000 description 1
- 230000036578 sleeping time Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- G06Q50/40—
Abstract
본 발명은 서버기반 졸음감지 시스템 및 그 방법에 관한 것으로, 단말기에서 획득한 영상을 무선통신매체를 통하여 서버로 전송하여 서버에서 사용자의 졸음 여부를 판단함에 있어서, 서버의 하드웨어 성능이 단말기의 하드웨어 성능보다 월등히 높기 때문에 서버에서 졸음 여부를 판단하는 것이 단말기에서 판단하는 것에 비해 보다 정확하게 졸음 여부를 판단할 수 있다. 또한 서버를 실시간으로 모니터링 하는 모니터링 요원에 의해 육안으로 졸음 여부를 판단할 수 있어 기계가 판단하는 것보다 더욱 정확하게 졸음 여부를 판단할 수 있다. 또한 GPS 모듈과 연동하면 운전자가 차량 제어 불능 상태에 있더라도 차량의 위치 또는 상태를 확인하여 그에 따른 구조 조치를 취할 수 있다. 나아가 단말기에서 획득한 영상을 서버로 전송할 때 눈영역 정보를 이진화하여 전송함으로써 데이터량을 최소화할 수 있으며, 이때 눈영역 정보만 전송하여 사용자의 졸음 여부를 판단함으로써 개인정보의 노출을 최소화할 수 있는 서버기반 졸음감지 시스템 및 그 방법에 관한 것이다.
Description
본 발명은 서버기반 졸음감지 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 단말기에서 획득한 영상(또는 이미지)을 무선통신매체를 통해 서버로 전송하여 서버에서 사용자의 졸음 여부를 판단하는 시스템 및 그 방법에 관한 것이다. 또한 단말기의 하드웨어 사양보다 월등히 높은 사양의 서버에서 사용자의 졸음 여부를 자동으로 판단하고, 모니터링 요원에 의해 육안으로 판단하는 보완 과정을 제공하기 때문에 단말기에서 졸음 여부를 판단하는 것에 비해 졸음감지의 정확도를 높일 수 있는 서버기반 졸음감지 시스템 및 그 방법에 관한 것이다.
최근 산업화 사회에서 늘어난 자동차 보급으로, 교통사고는 심각한 사회경제적 피해를 주고 있어 전 세계적으로 주된 공중보건문제의 하나이다. 전 세계적으로 매년 약 1,200만 명이 교통사고로 사망하고 약 5,000만 명의 손상환자가 발생하고 있다. 특히 졸음운전으로 인한 교통사고의 발생률은 일반 교통사고보다 8배 정도 높게 나타나고 있는 실정이다. 졸음운전으로 인한 교통사고는 오후 1시에서 4시 사이와 새벽 2시에서 5시 사이 시간대에 내원한 환자가 많은 것으로 보아 점심식사 이후와 새벽시간대의 수면시간이 부족한 상태에서 운전을 하다가 교통사고가 난 것으로 예측된다. 졸음운전 사고발생에 대한 연구결과 수면시간이 5시간 미만인 상태에서 운전할 때는 5시간 이상 잠을 자고 운전할 때보다 사고 위험률이 5∼6배나 높으며, 새벽에 운전할 경우에도 다른 시간대에 운전하는 것보다 사고의 위험률이 3배 정도 증가하는 것으로 나타났다. 그러므로 피로와 졸음이 있을 때는 충분한 휴식을 취한 후 운전을 하여야 한다.
이러한 문제점을 해결하기 위한 선행기술문헌으로서 한국등록특허 제1005339호(2010.12.24)에는 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템이 제안되어 있다. 상기 선행기술문헌의 지능형 졸음운전 감시시스템은, 차량에 설치되는 졸음운전감시 단말장치와, 상기 단말장치와 유무선 통신망을 통하여 연결되는 졸음운전 사고예방 서비스 서버를 포함하며, 상기 단말장치는 차량에 설치되는 졸음운전감시 카메라의 투사각도와 거리를 변화시켜가면서 대응시킨 운전자 개인별 눈의 구성요소의 형상 변화를 기하학적 수치정보 방식의 그래픽 명령문인 기하학적 수치정보 방식의 스크립트 구문형태의 개인화된 졸음운전예방 템플릿을 생성하고, 차량운행 중 실시간으로 측정한 운전자의 졸음운전예방 템플릿의 변화량을 비교 분석하여 비졸음 상태에서의 졸음운전예방 템플릿과의 차이 또는 졸음운전 상태에서의 졸음운전예방 템플릿과의 차이에 따라서 졸음운전 징후를 감시하고 인식하며, 상기 졸음운전 사고예방 서비스 서버는 상기 단말장치에서 전송된 상기 개인화된 졸음운전예방 템플릿을 데이터베이스화하고 운행 중 차량에서 수집된 차량운행상황 정보와 운전자 개인의 운전습관 정보를 종합하여 상기 운전자의 졸음운전 감시환경 변화 또는 개인화된 졸음운전예방 템플릿 요소의 변화에 따라 상기 단말장치의 요구에 즉각적으로 해당 졸음운전예방 템플릿과 졸음운전진단지능정보를 상기 유무선 통신망을 통하여 전송 서비스하는 것을 특징으로 한다.
그러나 상기 선행기술문헌은 운전자(또는 사용자)의 눈영역을 카메라 영상으로 자동으로 분석하여 졸음 여부를 판단하기 때문에 졸음감지에 대한 정확도에 한계가 있다. 특히 영상에서 운전자의 얼굴이 확인되지 않는 긴급한 상황이거나 안경 또는 선글라스에 외부 환경이 심하게 반사되어 운전자의 눈영역 정보를 자동으로 추출하기 어려운 조명 환경에서는 자동 감지방식으로 운전자의 졸음상황을 감지하기 어려운 문제점이 있다. 또한 운전자의 졸음을 감지한 후 기계가 경보를 하는 방식이기 때문에 졸음을 깨우는 경보 효과에도 한계가 있다. 즉, 상기 선행기술문헌에서는 단말장치의 요구에 즉각적으로 서버에서 졸음운전예방 템플릿과 졸음운전진단지능정보를 전송하는 것일 뿐, 단말기의 하드웨어 사양보다 월등히 높은 사양의 서버에서 사용자의 졸음 여부를 판단하여 사용자 단말기로 경보를 제공하는 것은 불가능하다.
따라서 사용자의 눈영역을 자동으로 분석하여 졸음 여부를 보다 정확하게 판단하는 시스템 및 방법이 필요하다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 카메라로 촬영한 영상에서 눈영역을 추출한 후 서버로 전송하여 서버에서 졸음 여부를 판단하고 경보하는데 있어서, 단말기의 하드웨어 사양보다 월등히 높은 사양의 서버에서 운전자의 졸음 여부를 자동으로 판단하고, 모니터링 요원에 의해 육안으로 판단하는 보완 과정을 수행함으로써 졸음감지를 보다 정확하게 판단하는 것을 목적으로 한다.
또한 본 발명의 또 다른 목적은 졸음감지 단말기에서 서버로 전송하는 데이터량을 최소화하기 위해 눈영역 정보만 전송하거나 압축된 그레이 이미지로 전송하거나 에지영역만 추출하여 전송함으로써, 전송하는 정보의 량을 줄이는 것을 목적으로 한다.
또한 본 발명의 또 다른 목적은 졸음감지 단말기에서 서버로 눈영역 정보를 이진화하여 전송함으로써 데이터량을 더욱 줄일 수 있고, 이에 더하여 개인정보 노출을 최소화하는 것을 목적으로 한다.
또한 본 발명의 또 다른 목적은 졸음감지 단말기에서 눈영역 이미지, 얼굴영역 이미지 또는 프레임 전체 이미지(사용자의 얼굴영역 주변을 포함한 전체 이미지)를 추출하여 서버에서 자동으로 졸음 여부를 판단하는 것을 목적으로 한다.
또한 본 발명의 또 다른 목적은 서버기반 졸음감지 서비스를 일반회원과 고급회원으로 구분하여 회원등급에 따라 서비스를 차등화 하여 제공하는 것을 목적으로 한다.
또한 본 발명의 또 다른 목적은 차량이 저속 주행일 때는 눈영역 이미지만으로 느슨하게 졸음을 판단하고, 고속 주행일 때는 눈영역, 얼굴 위치, 얼굴 움직임 정보, 또는 이들의 조합을 포함한 가능한 한 많은 가용 데이터를 최대한 이용하여 견고하게 졸음운전 여부를 판단함으로써, 신축성 있는 졸음감지 서비스를 제공하는 것을 목적으로 한다.
또한 본 발명의 또 다른 목적은 졸음운전 차량의 주위 일정 반경 내에서 운행 중인 다른 차량들에게 졸음운전 상태인 차량의 정보를 제공하여 다른 사용자들의 주의를 환기시키고, 차량 상호간의 상호작용을 통해 졸음 운전자의 각성에 도움을 줄 수 있도록 하는 것을 목적으로 한다.
본 발명에 의한 일 실시예에 따른 서버기반 졸음감지 시스템은, 졸음감지 단말기에서 획득된 사용자의 이미지를 전송받아 사용자의 졸음 여부를 자동으로 판단하는 졸음감지부; 실시간 모니터링을 통해 졸음 여부를 판단하도록 지원하는 실시간 모니터링부; 및 상기 졸음 여부에 따라 졸음으로 판단되는 경우, 상기 사용자에게 졸음 방지용 경보를 제공하는 졸음방지 경보부;를 포함하며, 상기 졸음감지 단말기에서 획득한 이미지는 사용자의 눈영역 이미지, 얼굴영역 이미지, 또는 사용자의 주변 상황을 포함한 프레임 전체 이미지 중 적어도 하나일 수 있으며, 상기 실시간 모니터링부는 상기 이미지를 화면에 표출해주고 사용자와 상호 인터렉션 할 수 있도록 인터페이스를 제공하는 것을 특징으로 한다.
또한 본 발명의 일 실시예에 따른 서버기반 졸음감지 시스템에서, 상기 졸음감지 단말기는, 적외선 영역 감지 카메라, 적외선 통과 필터, 적외선 조명, 중앙처리장치, GPS 수신 모듈, 무선통신모듈, 오디오 출력 장치 또는 이들의 조합을 포함하고, 적외선 조명을 외장형 졸음감지 액세서리 형태로 구성하거나 적외선 조명과 적외선 통과 필터가 장착된 카메라로 구성된 카메라 일체형 졸음감지 액세서리 형태로 구성하는 것을 특징으로 한다.
또한 본 발명의 일 실시예에 따른 서버기반 졸음감지 시스템에서, 상기 졸음감지 단말기는, 졸음감지부로 전송하는 데이터량을 줄이기 위해서 압축된 그레이(gray) 이미지를 전송하거나 이미지의 에지(edge)영역만 추출하여 이진 이미지로 전송하고, 졸음감지부와 통신이 연결된 상태에서는 졸음감지부에서 졸음 여부를 다시 판단하기 때문에 단말기에서 졸음 여부가 명확하지 않은 경우 일단 데이터가 졸음감지부로 전송될 수 있도록 졸음판단 임계값을 낮게 설정하고, 졸음감지부와 통신이 연결되지 못한 상태에서는 사용자의 상태가 정상인데 졸음상태로 감지되는 것과 같은 잘못된 감지로 인한 사용자의 불편을 줄일 수 있도록 졸음판단 임계값을 상대적으로 높게 설정하는 것을 특징으로 한다.
또한 본 발명의 일 실시예에 따른 서버기반 졸음감지 시스템에서, 상기 졸음감지 단말기는, 초기 좌측 눈 이미지, 초기 우측 눈 이미지, 실시간 좌측 눈 이미지 및 실시간 우측 눈 이미지를 포함한 눈영역 이미지를 추출하여 졸음감지부에서 사용자의 졸음 여부를 판단하고, 눈영역 이미지가 추출되지 않을 경우 얼굴영역 이미지를 추출하여 졸음감지부에서 사용자의 졸음 여부를 판단하고, 얼굴영역 이미지가 추출되지 않을 경우 프레임 전체 이미지를 추출하여 졸음감지부에서 사용자의 졸음 여부를 판단하고, 졸음감지부로 전송하는 데이터량을 줄이기 위해 압축된 그레이 이미지를 전송하거나, 에지영역만 추출된 이진 이미지를 전송함으로써 개인식별이 어렵도록 하여 사용자의 프라이버시(privacy)를 보호하고 데이터량을 더 줄이는 것을 특징으로 한다.
또한 본 발명의 일 실시예에 따른 서버기반 졸음감지 시스템에서, 상기 졸음감지부는, 졸음감지 단말기에서 획득한 최초 데이터, 초기 이미지, 실시간 이미지, 간헐적 이미지, ACK 신호 또는 이들의 조합을 포함한 사용자 상태 데이터를 수신 받는 것을 특징으로 한다.
또한 본 발명의 일 실시예에 따른 서버기반 졸음감지 시스템에서, 상기 졸음감지부는, 최초 데이터 수신, 초기 이미지 수신, 실시간 이미지 수신 또는 간헐적 이미지를 수신하는 사용자 데이터 수신부; 상기 사용자 데이터 수신부에서 수신된 이미지를 압축 해제하여 소정의 졸음감지 방법에 따라 졸음 여부를 판단하는 영상처리부; 사용자의 초기 이미지를 저장하거나 사용자 정보를 저장하는 데이터베이스; 상기 영상처리부에서 졸음으로 판단된 이미지를 수신하여 실시간 모니터링부의 가용 모니터링 요원의 화면에 이미지를 표출하는 사용자관리부; 및 상기 사용자관리부에서 졸음으로 판단된 경우 졸음감지 단말기로 자동졸음경보를 전송하는 졸음방지경보부;를 더 포함하며, 상기 사용자관리부는 영상처리부에서 졸음감지 여부에 대해 정상으로 판단되더라도 주기적으로 실시간 모니터링부의 모니터링 요원의 화면에 이미지를 표출하고, 단말기로부터 수신된 이미지가 긴급 상황으로 판단되면 단말기의 위치를 경찰서, 소방서 또는 기타 구조 기관으로 전달하여 구난 조치를 취할 수 있도록 인터페이스를 제공하는 것을 특징으로 한다.
또한 본 발명의 일 실시예에 따른 서버기반 졸음감지 시스템에서, 상기 졸음감지부는, 차량이 저속 주행일 때는 눈영역 정보만을 사용하여 졸음 여부를 판단하고, 차량이 고속 주행일 때는 눈영역 정보, 얼굴영역의 위치정보, 얼굴의 움직임 정보 또는 이들의 조합 중 적어도 하나 이상의 정보를 활용하여 어느 한 정보라도 정상 범위를 벗어나면 졸음으로 판단하는 것을 특징으로 한다.
또한 본 발명의 일 실시예에 따른 서버기반 졸음감지 시스템에서, 상기 졸음감지부는, 사용자가 고의적으로 졸음상태를 모방하는 것을 방지하기 위해서 상기 졸음감지 단말기의 이동속도(또는 차량의 주행속도)가 0인 상태에서 졸음으로 감지되는 경우가 일정 시간 내에서 반복되는 경우에는 모니터링 요원에 의한 육안 판단 과정을 생략하고 단말기로 자동경보신호만 전송하고, 졸음감지 단말기의 이동속도(또는 차량의 주행속도)가 0이 아닌 상태에서 졸음으로 감지되는 경우가 일정 시간 내에서 반복되는 경우에는 사용자에게 더 이상 육성으로 졸음경보를 제공하지 않는다고 육성으로 안내할 수 있도록 안내기능을 제공하는 것을 특징으로 한다.
또한 본 발명의 일 실시예에 따른 서버기반 졸음감지 시스템에서, 상기 실시간 모니터링부는, 졸음감지 단말기에서 눈영역 이미지가 수신된 경우 초기 좌측 눈 이미지, 초기 우측 눈 이미지, 실시간 좌측 눈 이미지, 실시간 우측 눈 이미지 또는 단말기의 이동속도(또는 차량의 주행속도)를 포함한 데이터를 모니터링 요원의 화면에 표출하여 졸음 여부를 판단하고, 졸음감지 단말기에서 얼굴영역은 추출했으나 눈영역이 추출 안 된 상태로 수신된 경우 얼굴영역 이미지와 단말기의 이동 속도를 포함한 데이터를 모니터링 요원의 화면에 표출하여 졸음 여부를 판단하고, 졸음감지 단말기에서 얼굴영역 추출이 안 된 상태로 수신된 경우 프레임 전체 이미지와 단말기의 이동 속도를 포함한 데이터를 모니터링 요원의 화면에 표출하여 졸음 여부를 판단하는 것을 특징으로 한다.
또한 본 발명의 일 실시예에 따른 서버기반 졸음감지 시스템에서, 상기 졸음방지경보부는, 졸음운전 차량의 일정 반경 내에서 주행 중인 다른 차량에게 졸음운전 차량의 위치, 졸음운전 차량의 주행 속도, 졸음운전 차량의 이동 방향 또는 졸음운전 차량의 차량번호 중 적어도 한 가지 이상의 정보를 조합하여 졸음운전 차량의 주변 차량에게 졸음운전 차량의 정보를 제공함으로써 사용자들의 주의를 환기시킬 수 있도록 하는 것을 특징으로 한다.
아울러 본 발명의 또 다른 일 실시예에 따른 서버기반 졸음감지 방법은, 졸음감지 단말기에서 획득된 사용자의 이미지를 전송받아 사용자의 졸음 여부를 자동으로 판단하는 제1단계; 실시간 모니터링을 통해 졸음 여부를 판단하도록 지원하는 제2단계; 상기 졸음 여부에 따라 졸음으로 판단되는 경우, 상기 사용자에게 졸음 방지용 경보를 제공하는 제3단계;를 포함하며, 상기 졸음감지 단말기에서 획득한 이미지는 사용자의 눈영역 이미지, 얼굴영역 이미지, 또는 사용자의 주변 상황을 포함한 프레임 전체 이미지 중 적어도 하나일 수 있으며, 상기 제3단계는 상기 이미지를 화면에 표출해주고 사용자와 상호 인터렉션 할 수 있도록 인터페이스를 제공하는 것을 특징으로 한다.
본 발명의 서버의 하드웨어 성능은 단말기의 하드웨어 성능보다 월등히 높기 때문에 서버에서 졸음 여부를 판단하는 것이 단말기에서 판단하는 것에 비해 보다 정확하게 졸음 여부를 판단할 수 있는 효과가 있다. 또한 서버를 실시간으로 모니터링 하는 모니터링 요원에 의해 육안으로 졸음 여부를 판단할 수 있어 기계가 판단하는 것보다 더욱 정확하게 졸음 여부를 판단할 수 있는 효과가 있다. 또한 졸음으로 판단된 경우 차량에 설치된 단말기 또는 운전자의 휴대폰을 통하여 육성으로 경보함으로써 운행중 운전자의 졸음을 깨우는 효과를 높일 수 있다. 또한 단말기에서 획득한 영상을 서버로 전송할 때 눈영역 정보를 이진화하여 전송함으로써 데이터량을 최소화할 수 있으며, 이때 눈영역 정보만 전송하여 사용자의 졸음 여부를 판단함으로써 개인정보의 노출을 최소화할 수 있는 효과가 있다. 또한 GPS 모듈과 연동하면 운전자가 차량 제어 불능 상태에 있더라도 차량의 위치 또는 상태를 확인하여 그에 따른 구조 조치를 취할 수 있는 효과가 있다. 나아가 기계의 미작동으로 인해 자동으로 운전자의 졸음을 감지할 수 없는 경우에도 모니터링 요원이 육안으로 졸음 여부를 판단하여 운전자에게 경보할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 서버기반 졸음감지 시스템을 보인 구성도.
도 2는 본 발명의 일 실시예에 따른 졸음감지 서버를 보인 구성도.
도 3은 본 발명의 일 실시예에 따른 서버기반 졸음감지 시스템의 동작방법을 보인 순서도.
도 4는 본 발명의 일 실시예에 따른 모니터링 요원의 화면에 표출되는 정보를 보인 예시도.
도 2는 본 발명의 일 실시예에 따른 졸음감지 서버를 보인 구성도.
도 3은 본 발명의 일 실시예에 따른 서버기반 졸음감지 시스템의 동작방법을 보인 순서도.
도 4는 본 발명의 일 실시예에 따른 모니터링 요원의 화면에 표출되는 정보를 보인 예시도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 서버기반 졸음감지 시스템 및 그 방법의 일 실시예를 설명한다.
도 1은 본 발명의 일 실시예에 따른 서버기반 졸음감지 시스템을 보인 구성도이다.
서버기반 졸음감지 시스템(10)은 졸음감지와 졸음방지경보를 수행하는 졸음감지서버(200) 및 실시간 모니터링부(300)를 포함하여 구성되며, 졸음감지 방법은 운전자(또는 사용자)의 눈영역 영상(또는 이미지) 추출, 눈영역 영상을 서버로 전송, 졸음 여부 자동 판단, 실시간 모니터링부에서 모니터링 요원이 육안으로 졸음 여부 판단 또는 졸음경보 단계로 구성된다. 이때 졸음감지 서버 및 실시간 모니터링부는 모니터링 센터에 같이 위치하거나 별도의 장소에 위치할 수도 있다.
먼저 졸음감지 단말기(100)는 독립형 단말기, 스마트폰형 단말기 또는 이들의 조합을 포함한 단말기로 구성되며, 단말기의 종류에는 제한이 없다.
상기 독립형 단말기는 적외선(IR : Infrared Ray)으로 일정 영역을 감지 할 수 있는 적외선 카메라, 적외선 통과 필터(IR pass filter), 적외선(IR) 조명, 중앙처리장치, GPS 수신 모듈, 무선통신모듈 또는 오디오 출력 장치를 포함하여 구성될 수 있다. 여기서 GPS 수신 모듈은 단말기의 종류에 따라 GPS 수신 모듈을 내장하거나 단말기의 외부에 장착할 수 있으며, 상기 GPS의 유무를 선택적으로 구성하는 것도 가능하다. 이때 GPS 수신기는 GPS 속도정보를 서버로 전송함으로써 운전자가 주행 중에 졸음상태인지 정차 중에 졸음상태인지를 판단할 수 있으며, 또한 운전자의 차량이 저속 주행 중인지 고속 주행 중에 졸음상태인지를 판단할 수 있다. 또한 상기 GPS 수신기에서 출력되는 좌표 및 이동방향(heading) 정보를 이용하여 졸음운전 차량 및 주위 차량의 실시간 위치와 주행방향을 확인함으로써 졸음운전 차량에 대한 정보를 제공할 주위 차량을 인식, 판단 또는 구분하는데 이용할 수 있다. 또한 운전자가 차량을 통제할 수 없는 긴급 상황이 발생시 차량의 위치를 확인하는데 사용할 수 있다.
또한 상기 스마트폰형 단말기는 카메라, 적외선 통과 필터, 적외선 조명, GPS 모듈, 무선통신모듈, 중앙처리장치 또는 오디오 출력장치가 장착된 스마트폰으로 구성될 수 있다. 여기서 스마트폰형 단말기에 적외선 조명을 외장형 졸음감지 액세서리 형태로 구성 가능하기 때문에 저가형 스마트폰 단말기를 사용하여 졸음 여부를 감지할 수 있다. 또한 스마트폰형 단말기에 적외선 조명과 적외선 통과 필터가 장착된 카메라로 구성된 카메라 일체형 졸음감지 액세서리 형태로 구성 가능하기 때문에 고급형 스마트폰 단말기를 사용하여 졸음 여부를 감지할 수 있다. 이때 외장형 졸음감지 액세서리는 차량의 시거잭 전원을 사용하고 스마트폰의 거치대와 충전기 기능을 겸하여 사용할 수도 있다. 카메라 일체형 외장형 졸음감지 액세서리와 스마트폰 간 데이터 통신은 스마트폰의 USB 포트를 이용할 수도 있고, 스마트폰의 근거리 무선 통신 기능을 이용할 수도 있다.
다음으로 졸음감지 단말기(100)에서 촬영된 운전자의 영상은 졸음감지 서버(200)로 전송되어 데이터베이스(400)에 저장된 운전자의 영상 데이터와 비교하여 졸음감지 여부를 판단을 하고, 졸음으로 판단되는 경우 졸음방지경보부(250)를 통해 졸음감지 단말기(100)로 졸음 경보를 제공한다.
졸음감지 단말기(100)는 카메라로부터 중앙처리장치로 입력된 영상에서 눈영역과 얼굴영역을 추출하고, 졸음으로 판단되면 눈영역 이미지를 졸음감지서버(200)로 전송한다. 이때 졸음감지서버로 전송하는 데이터량을 줄이기 위해서 압축된 그레이(gray) 이미지를 전송할 수 있으며, 데이터량을 더 줄이기 위해서 에지(edge)영역만 추출하여 2가지 신호 즉 회색도가 흑과 백으로만 이루어져 0과 1에 대응시킬 수 있는 이진 이미지로 전송할 수도 있다. 또한 졸음감지서버와 통신이 연결된 상태에서는 서버에서 졸음 여부를 다시 판단하기 때문에 단말기에서 졸음 여부가 명확하지 않은 경우 일단 데이터가 서버로 전송될 수 있도록 졸음판단 임계값을 낮게 설정할 수 있다. 반대로 서버와 통신이 연결되지 못한 상태에서는 운전자의 상태가 정상인데 졸음상태로 감지되는 것과 같은 잘못된 감지로 인한 사용자 불편을 줄일 수 있도록 졸음판단 임계값을 상대적으로 높게 설정할 수도 있다. 이와 같이 졸음판단 임계값은 서버와의 통신 연결 여부에 따라 임계값의 설정을 조절할 수 있다. 또한 입력된 영상에서 눈영역이 추출되지 않으면 졸음감지서버에서 운전자의 졸음 여부를 판단할 수 있도록 얼굴영역 이미지 또는 프레임 전체 이미지를 추가로 졸음감지서버로 전송할 수 있다. 이때 전송하는 이미지는 데이터량을 줄이기 위해서 압축된 그레이 이미지로 전송할 수 있으며, 에지영역만 추출된 이진 이미지로 전송함으로써 개인 식별이 어렵도록 하여 사용자의 프라이버시(privacy)를 보호하고 데이터량을 더 줄일 수 있는 이점이 있다. 여기서 졸음판단 임계값은 사용자에 따라 높을 경우 견고하게 졸음판단을 수행하고, 낮을 경우 느슨하게 졸음판단을 수행할 수 있으며, 또한 이와 반대로 설정하여 졸음판단을 수행할 수도 있다.
또한 상기 졸음감지 단말기(100)에서 촬영된 초기 이미지를 서버(200)로 전송한다. 여기서 사용자마다 눈의 형태가 다르기 때문에 절대적인 기준만으로는 졸음 여부를 판단하기 어려운 경우가 있으므로 졸음감지서버(200)에서 실시간 모니터링부(300)로 데이터를 전송하여 모니터링 요원이 데이터베이스(400)에 저장된 운전자의 영상 데이터와 비교하여 졸음감지 여부를 판단을 하고, 졸음으로 판단되는 경우 졸음방지경보부(250)를 통해 졸음감지단말기(100)로 졸음 경보를 제공한다. 여기서 졸음 여부를 보다 정확하게 판단할 수 있도록 단말기 부팅 후 일정시간 이내에 획득된 눈영역 이미지를 서버로 전송하여 실시간으로 획득한 눈영역 이미지와 비교하여 졸음 여부를 판단할 수 있다. 이때 단말기를 켠 직후부터 바로 졸음상태가 되는 사용자가 없다는 전제하에 상기와 같이 눈영역 이미지를 비교할 수 있다. 종래의 기술에서는 단말기 전원 인가 후 초기 동작 과정에서 일정시간 동안의 이미지를 획득하여 단말기의 동적 학습 알고리즘에 이용하는 방법이 사용되고 있으나, 본 발명에서는 실시간 모니터링부(300)에서 모니터링 요원이 실시간으로 졸음 여부를 판단하기 위해 초기 이미지를 졸음감지서버로부터(데이터베이스에 저장되어 있는 사용자 이미지를 추출하여) 전송받을 뿐 졸음감지단말기에서 학습하는데 사용하는 방식이 아니기 때문에 단말기 초기화 시간에 영향을 미치지 않고, 졸음감지단말기는 전원 인가 후 신속히 졸음감지 상태로 동작할 수 있다. 또한 사용자의 눈영역을 추출하지 못하더라도 안경영역만 추출되면 서버로 데이터를 전송하기 때문에 눈영역을 추출할 때까지 초기화 단계를 반복적으로 수행하여 졸음을 감지하는 루프를 벗어나지 못하는 종래의 방식과는 차이가 있다.
또한 상기 졸음감지서버와 통신이 안 될 경우에 졸음이 감지된다면 졸음감지단말기에서 직접 운전자에게 졸음경보 할 수 있으며, 졸음감지서버와 통신이 될 경우에는 졸음감지단말기에서 직접 운전자에게 졸음경보를 하거나 졸음감지 서버를 통해서 운전자에게 졸음경보를 할 수 있도록 졸음경보 방법을 사용자가 선택할 수 있다. 이때 졸음경보는 미리 녹음된 경보 사운드, 문자음성 자동변환 기술(TTS : Text To Speech), 육성 또는 목소리 효과음을 포함하여 다양한 졸음경보 소리로 출력할 수 있다.
또한 졸음감지서버와 통신이 될 경우에 졸음이 감지되면 눈영역 이미지를 즉시 졸음감지서버로 전송할 수 있다. 만약 졸음감지단말기에서 졸음이 아닌 것으로 판단이 되더라도 졸음감지서버에서 이중으로 모니터링 할 수 있도록 일정 간격으로 눈영역 이미지를 졸음감지서버로 전송할 수 있다. 이때 전송 간격은 전체 통신량 및 졸음감지서버 모니터링 자원의 가용 상태를 감안해서 졸음감지서버에서 가변적으로 조절할 수 있다. 눈영역 이미지를 추출할 수 없는 경우에는 얼굴영역 이미지 또는 프레임 전체 이미지를 졸음감지서버로 전송하여 졸음감지서버에서 졸음 여부를 더 세밀하게 판단할 수 있다. 여기서 졸음감지서버에 일정간격으로 응답 문자(ACK : acknowledge) 신호를 전송하여 졸음감지단말기에서 졸음감지서버로 데이터가 성공적으로 수신되는 것을 알 수 있다.
또한 졸음감지서버로 전송되는 데이터는 최초 데이터, 초기 이미지, 실시간 이미지, 간혈적 이미지 또는 ACK 신호를 포함한 데이터로 구성된다. 상기 최초 데이터의 전송 시기는 졸음감지단말기 전원 인가 후 졸음감지서버와 통신이 연결될 때로, 단말기 고유의 ID와 GPS 위치 또는 속도를 선택하여 데이터를 전송할 수 있다. 상기 초기 이미지의 전송 시기는 최초 데이터 전송 후 일정 시간 이내에 추출된 눈영역 또는 안경영역 데이터를 전송할 때로, 단말기 고유 ID와 눈영역 또는 안경영역을 추출한 이미지와 GPS 위치 또는 속도를 선택하여 데이터를 전송할 수 있다. 이때 졸음감지서버에서는 졸음감지단말기의 최초 데이터를 수신 후 일정시간이 지날 때까지 초기 이미지가 수신되지 않으면 졸음감지단말기로 경보신호를 전송하여 초기 이미지가 수신되지 않았음을 사용자가 알 수 있도록 한다. 이때 사용자는 초기 이미지의 미수신에 대한 경보를 받아 졸음감지단말기를 재부팅하거나 카메라를 정확하게 응시하여 초기 이미지 획득에 협조하거나 초기 이미지의 전송 절차 없이 계속 주행할 수도 있다. 상기 실시간 이미지는 졸음감지서버로 실시간 전송하며, 졸음감지단말기 고유 ID와 실시간 이미지와 GPS 위치 또는 속도를 선택하여 데이터를 전송할 수 있다. 이때 눈영역이 추출되는 경우에는 눈영역 이미지를 실시간으로 전송하고, 안경영역이 추출된 경우에는 안경영역 이미지를 실시간으로 전송하며, 눈영역 또는 안경영역이 추출되지 않을 경우에는 얼굴영역 이미지를 실시간으로 전송하며, 얼굴영역이 추출되지 않을 경우에는 프레임 전체 이미지를 실시간으로 전송할 수 있다. 여기서 눈영역 또는 안경영역이 추출된 경우 졸음감지서버의 영상처리부에서 자동으로 졸음 여부를 판단할 수 있다. 상기 간헐적 이미지는 졸음감지단말기에서 눈영역이 추출되어 졸음이 아닌 것으로 판단되더라도 졸음감지서버에서 이중 모니터링을 할 수 있도록 졸음감지서버로 눈영역 이미지를 전송할 수 있다. 이때 졸음감지 서비스를 이용 하는 프리미엄회원의 경우 일반회원의 간헐적 이미지의 전송 주기보다 빠르게 이미지의 전송 주기를 설정하여 보다 집중적으로 졸음감지를 모니터링 할 수 있다. 상기 ACK 신호는 서버로 일정한 주기 마다 신호를 전송하여 졸음감지단말기가 동작하고 있음을 알리는 신호로, 졸음감지단말기 고유 ID와 GPS 위치 또는 속도를 선택하여 데이터를 전송할 수 있다.
또한 조명장치는 적외선(IR) 조명을 사용할 수 있다. 여기서 적외선 영역대의 조명을 사용함으로써 사용자 불편을 줄일 수 있고, 카메라 센서 앞단에 적외선 통과 필터를 설치하여 주변 가시광으로 인한 영상 노이즈를 제거할 수도 있다. 만약 조명이 안경에 반사되어 졸음감지의 정확도를 저하 시키는 문제를 해결하기 위해 조명이 꺼진 상태에서 안경영역의 이미지 밝기를 계산하여 졸음감지에 문제가 없으면 조명을 사용하지 않고 운전자를 촬영할 수 있으며, 안경영역의 이미지 밝기가 설정한 임계치 이하로 어두울 경우에는 조명을 인가하는 방식을 적용하여 운전자(사용자)를 촬영할 수 있다.
또한 서버기반의 졸음감지 시스템을 위한 통신 방식은 졸음감지단말기에 내장된 이동통신 모듈을 이용하여 기지국과 직접 통신하는 방식 또는 졸음감지단말기 주변의 테더링(tethering) 장치를 이용하여 서버와 통신하는 방식으로 사용될 수 있다. 또한 통신 매체는 3G, LTE, Wibro 또는 WAVE를 포함한 이동통신 서비스의 양방향 무선통신 매체를 사용할 수 있다. 또한 이미지를 업로드(upload) 할 경우에는 사용자 데이터그램 프로토콜(UDP : User Datagram Protocol) 또는 전송 제어 프로토콜(TCP : Transmission Control Protocol)을 사용하며, 경고 데이터 다운로드(download) 또는 졸음감지단말기를 제어할 경우에는 전송 제어 프로토콜(TCP)을 사용할 수 있다. 이때 모니터링 요원이 육성으로 운전자에게 졸음경보를 실시할 경우 모바일 음성 인터넷 프로토콜(mVoIP)을 사용할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 졸음감지 서버를 보인 구성도이다.
상기 졸음감지 서버(200)는 사용자 데이터 수신부(210), 영상처리부(220), 데이터베이스(DB) 인터페이스부(230), 사용자관리부(240) 및 졸음방지경보부(250)를 포함하여 구성할 수 있다. 이때 사용자 데이터 수신부, 영상처리부, 데이터베이스 인터페이스부 및 사용자관리부는 하나의 졸음감지부(201)로 구성할 수도 있다.
이러한 구성 수단은 임의로 나눈 것이므로 각 구성 수단이 수행하는 기능만 갖추고 있다면, 비록 구성 수단의 명칭이 상이하더라도 본 발명의 권리범위에 포함되게 되는 것이 당연하다.
상기 사용자 데이터 수신부(210)는 최초 데이터 수신, 초기 이미지 수신, 실시간 이미지 수신 또는 간헐적 이미지 수신을 포함한 데이터를 수신할 수 있다. 또한 사용자 데이터 수신부는 눈영역 또는 안경영역을 추출한 이미지를 영상처리부로 전달할 수 있으며, 눈영역 또는 안경영역을 추출하는데 실패한 이미지 즉 얼굴영역 이미지 또는 전체 프레임 이미지를 사용자관리부로 전달할 수도 있다.
상기 영상처리부(220)는 사용자 이미지의 압축을 해제할 수 있다. 또한 단말기로부터 수신된 눈영역 이미지를 서버용 졸음감지 알고리즘 즉 소정의 졸음감지 방법을 적용하여 졸음 여부를 판단할 수 있다. 또한 사용자관리부로 졸음판단결과를 전송할 수 있다. 이때 졸음감지 시스템을 이용하는 회원등급이 일반회원인 경우 졸음으로 판단된 경우에만 데이터를 사용자관리부로 전송하고, 프리미엄회원인 경우 졸음이 아닌 것으로 판단되더라도 데이터를 사용자관리부의 모니터링 요원의 화면에 간헐적으로 표출할 수 있다. 이와 같이 졸음감지 시스템은 회원등급에 따라 서비스를 차등화 할 수 있다. 또한 단말기로부터 수신된 이미지는 사람이 육안으로 보면 작고 어두운 이미지이므로 모니터링 요원이 육안으로 식별하기 용이하도록 이미지를 확대하고 히스토그램 이퀄라이징(histogram equalizing)하는 과정을 포함할 수 있다. 여기서 히스토그램 이퀄라이징은 이미지에서 가장 밝은 부분과 가장 어두운 부분의 휘도의 차 즉 흑백의 대비를 의미하는 콘트라스트(contrast)를 향상시키기 위해 영상의 명도를 조정하는 기술이다.
상기 데이터베이스 인터페이스부(230)는 데이터베이스(400)에 사용자 초기 이미지를 저장하거나 사용자의 정보를 저장하는 것을 관리하거나 제어할 수 있다.
상기 사용자관리부(240)는 영상처리부에서 졸음으로 판단된 이미지를 수신한 경우 실시간 모니터링부의 가용 모니터링 요원이 있을 경우에는 해당 모니터링 요원의 화면에 눈영역 이미지를 표출할 수 있다. 이때 해당 사용자의 초기 이미지가 데이터베이스에 저장되어 있을 경우 모니터링 요원의 화면에 초기 이미지와 실시간 이미지를 함께 표출하여 졸음 여부를 판단할 수 있다. 반대로 가용 모니터링 요원이 없을 경우에는 데이터를 자동으로 졸음방지경보부로 전송하여 단말기로 경보 신호를 전송할 수 있게 한다. 또한 영상처리부에서 졸음판단이 정상으로 판단되더라도 주기적으로 모니터링 요원의 화면에 표출되어 졸음 여부를 판단할 수 있다. 이때 해당 사용자의 초기 이미지가 데이터베이스에 저장되어 있을 경우 모니터링 요원의 화면에 초기 이미지와 실시간 이미지를 함께 표출하여 졸음 여부를 판단할 수 있다. 만약 단말기로부터 수신된 이미지가 긴급 상황으로 판단되면 단말기의 위치 데이터를 경찰, 소방서 또는 기타 구난 기관으로 전달하여 구난 조치가 이루어지도록 한다. 또한 사용자 데이터 수신부에서 눈영역을 추출하는데 실패한 이미지는 모니터링 요원의 화면에 표출할 수 있다. 이때 해당 사용자의 초기 이미지가 데이터베이스에 저장되어 있을 경우 모니터링 요원의 화면에 초기 이미지와 실시간 이미지를 함께 표출하여 졸음 여부를 판단할 수 있다.
상기 졸음방지경보부(250)는 사용자관리부에서 졸음으로 판단된 경우 해당 졸음감지단말기로 졸음경보를 자동으로 전송할 수 있다. 이때 자동졸음경보는 경보 사운드 ID 또는 텍스트를 포함한 경보방식으로 출력될 수 있다. 경보 사운드 ID는 졸음감지단말기에서 경보 ID에 해당하는 사운드를 오디오 장치로 출력할 수 있으며, 졸음감지단말기에서 텍스트로 수신된 정보를 문자에서 바로 소리로 바꿔 전달하는 문자음성 자동변환 기술(TTS)로 출력할 수 있다. 또한 상기 졸음방지경보부는 졸음운전 차량에 졸음 방지 경보를 제공할 뿐만 아니라 졸음운전 차량의 일정 반경 내에서 운행 중인 주위 차량에게 졸음운전 차량에 대한 정보를 제공함으로써 주위 운전자들의 주의를 환기 시키고, 운전자간의 상호 작용에 의한 졸음 각성을 유도시킬 수 있다. 여기서 졸음운전 차량에 대한 정보를 제공할 주위 차량을 구분하는 기준은 졸음운전 차량의 위치와 주행 방향을 기준으로 구분할 수 있다. 또한 주위 차량에 제공하는 졸음운전 차량의 정보는 졸음운전 차량의 위치, 주행속도, 차량 이동 방향 또는 차량의 번호 중 한 가지 이상의 정보를 조합하여 제공할 수 있다. 이때 주위 차량들의 서버 간의 통신 매체는 상기 졸음감지 시스템의 통신 매체 즉 3G, LTE, Wibro 또는 WAVE를 포함한 이동통신 서비스의 양방향 무선통신 매체와 동일 할 수 있다. 또한 졸음운전 차량과 인접 차량 간에 네트워크 인프라가 일시적으로 형성되지 않은 경우(infra-less), 어느 차량이든 통신 인프라와 접속이되면 인접 차량의 정보도 함께 전송하도록 하여, 인프라가 없는 경우에도 기기 간의 통신을 통해 통신 인프라에 닿을 수 있도록 하여, 해당 졸음정보를 졸음감지서버로 전송하는 것이 가능하도록 각 졸음감지단말기는 인프라가 없는 통신 환경에 대응할 수 있는 앱을 인스톨하고 있다.
또한 졸음감지 단말기에서 졸음이 감지되면 서버를 거치지 않고 차량간 직접 통신을 통해 사용자의 상기 졸음운전 차량의 정보를 주변의 차량에 직접 제공할지 여부를 사용자가 선택할 수 있다.
나아가 상기 졸음감지 서버는 차량의 주행 속도에 따라 추출된 영상의 졸음 감지 범위를 다양하게 조절할 수 있다. 즉 저속으로 주행하는 경우에는 눈영역만을 분석하여 졸음 여부를 판단하고, 고속으로 주행하는 경우에는 눈영역 분석뿐만 아니라 얼굴의 움직임 및 위치변화를 함께 분석하여 사용자의 졸음 여부를 판단할 수 있다. 이때 얼굴의 움직임 및 위치변화를 판단하는 과정은 단말기에서 수행하여 결과만을 서버로 전송할 수도 있고, 서버로 얼굴영역 영상 정보를 전송하고 서버에서 영상을 분석하여 졸음 여부를 판단할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 서버기반 졸음감지 시스템의 동작방법을 보인 순서도이다.
먼저 졸음감지 단말기에서 추출한 눈영역 이미지를 졸음감지 서버에서 수신한다(S1). 이후 서버의 영상처리부에서 졸음 여부를 판단한다(S2). 이때 영상처리부에서 졸음이 아닌 것으로 판단되어도 무조건 육안으로 판단하는 주기가 도래되면 가용 모니터링 요원이 생길 때까지 대기 후 1단계로 진입한다(S21). 또한 영상처리부에서 졸음인 것으로 판단되면 가용 모니터링 요원의 유무를 판단한다(S3). 이때 가용 모니터링 요원이 없을 경우 데이터를 자동으로 졸음방지경보부로 전송하여 단말기로 경보 신호를 전송한다(S31). 또한 가용 모니터링 요원이 있을 경우 해당 사용자의 초기 데이터가 데이터베이스(DB)에 등록되어 있는지 등록 여부를 판단한다(S4). 이때 해당 사용자의 초기 데이터가 데이터베이스에 등록되지 않았을 경우 모니터링 요원의 화면에 실시간 이미지만 표출하여 졸음 여부를 판단한다(S41). 또한 해당 사용자의 초기 데이터가 데이터베이스에 등록되어 있을 경우 모니터링 요원의 화면에 초기 이미지와 실시간 이미지를 함께 표출하여 졸음 여부를 판단한다(S42). 이후 모니터링 요원이 육안으로 졸음 여부를 판단하고 졸음감지 누적 상태에 따라 단순 경보신호, 육성 메시지 또는 육성 대화 중 어느 하나를 선택하여 졸음경보 한다(S5).
다음으로 졸음감지 단말기에서 눈영역 이미지를 추출하는데 실패할 경우 얼굴영역 이미지를 추출하여 졸음감지 서버에서 수신한다(S10). 이후 가용 모니터링 요원이 생길 때까지 대기 후 모니터링 요원의 화면에 얼굴영역 이미지를 표출한다(S20). 이후 모니터링 요원이 육안으로 얼굴영역 이미지를 확인하고 상황에 따라 졸음경보 한다(S30).
다음으로 졸음감지 단말기에서 얼굴영역 이미지를 추출하는데 실패할 경우 프레임 전체 이미지를 추출하여 졸음감지 서버에서 수신한다(S100). 이후 가용 모니터링 요원이 생길 때까지 대기 후 모니터링 요원의 화면에 프레임 전체 이미지를 표출한다(S200). 이후 모니터링 요원이 육안으로 프레임 전체 이미지를 확인하고 상황에 따라 경보 또는 구난 조치를 취한다(S300).
본 발명의 단말기 원격 제어 신호는 정상 데이터의 간헐적 전송 주기 신호, 단말기 재부팅 신호, 단말기에서 졸음을 판단하는 임계값 또는 경보 사운드 업데이트 데이터를 포함한 신호로 구성될 수 있다. 상기 정상 데이터의 간헐적 전송 주기 신호는 단말기에서 눈영역이 정상으로 추출되고 졸음이 아닌 것으로 판단되더라도 서버에서 이중으로 모니터링하기 위해 간헐적으로 전송하는 데이터의 전송 주기를 말한다. 상기 경보 사운드 업데이트 데이터는 경보사운드 파일이 단말기에 저장되어 있고, 서버에서는 사운드를 구분하는 ID만 전송하는 방식으로 단말기에서 경보 사운드가 재생되는데, 이때 경보 사운드 파일을 서버에서 단말기로 전송하여 업데이트할 수 있다.
도 4는 본 발명의 일 실시예에 따른 모니터링 요원의 화면에 표출되는 정보를 보인 예시도이다.
도 4의 (a)는 단말기로부터 눈영역이 수신된 경우 모니터링 요원의 화면에 표출되는 정보를 나타낸 것으로, 초기 좌측 눈 이미지, 초기 우측 눈 이미지, 실시간 좌측 눈 이미지, 실시간 우측 눈 이미지 또는 단말기의 이동 속도(또는 차량 주행 속도)를 포함한 데이터를 모니터링 요원의 화면에 표출하여 졸음 여부를 판단할 수 있다. 도 4의 (b)는 단말기에서 얼굴영역은 추출했으나 눈영역이 추출 안 된 상태로 수신된 경우 얼굴영역 이미지와 단말기의 이동 속도를 포함한 데이터를 모니터링 요원의 화면에 표출하여 졸음 여부를 판단할 수 있다. 도 4의 (c)는 단말기에서 얼굴영역 추출이 안 된 상태로 수신된 경우 프레임 전체 이미지와 단말기의 이동 속도를 포함한 데이터를 모니터링 요원의 화면에 표출하여 졸음 여부를 판단할 수 있다.
또한 사용자가 고의적으로 졸음상태를 모방할 경우 다음과 같이 졸음 여부를 감지할 수 있다. 단말기의 이동 속도(또는 차량의 주행 속도)가 0인 상태에서 졸음으로 감지되는 경우가 일정 시간 내에서 반복되는 경우에는 모니터링 요원에 의한 육안 판단 과정은 생략하고 단말기로 자동경보신호만 전송할 수 있다. 반대로 단말기의 이동 속도(또는 차량의 주행 속도)가 0이 아닌 상태에서 졸음으로 감지되는 경우가 일정 시간 내에서 반복되는 경우에는 사용자에게 더 이상 육성으로 졸음경보를 제공하지 않는다고 육성으로 안내할 수 있다.
본 발명의 서버의 하드웨어 성능은 단말기의 하드웨어 성능보다 월등히 높기 때문에 서버에서 졸음 여부를 판단하는 것이 단말기에서 판단하는 것에 비해 보다 정확하게 졸음 여부를 판단할 수 있다. 또한 서버를 실시간으로 모니터링 하는 모니터링 요원에 의해 육안으로 졸음 여부를 판단할 수 있어 기계가 판단하는 것보다 더욱 정확하게 졸음 여부를 판단할 수 있다. 또한 졸음으로 판단된 경우 차량에 설치된 단말기 또는 운전자의 휴대폰을 통하여 육성으로 경보함으로써 운행중 운전자의 졸음을 깨울 수 있다. 또한 단말기에서 획득한 영상을 서버로 전송할 때 눈영역 정보를 이진화하여 전송함으로써 데이터량을 최소화할 수 있으며, 이때 눈영역 정보만 전송하여 사용자의 졸음 여부를 판단함으로써 개인정보의 노출을 최소화할 수 있다. 또한 GPS 모듈과 연동하면 운전자가 차량 제어 불능 상태에 있더라도 차량의 위치 또는 상태를 확인하여 그에 따른 구조 조치를 취할 수 있다. 나아가 기계의 미작동으로 인해 자동으로 운전자의 졸음을 감지할 수 없는 경우에도 모니터링 요원이 육안으로 졸음 여부를 판단하여 운전자에게 경보할 수 있는 이점이 있다.
상기에서는 본 발명에 따른 바람직한 실시 예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정 되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.
10 : 서버기반 졸음감지 시스템 100 : 졸음감지 단말기
200 : 졸음감지서버 201 : 졸음감지부
210 : 사용자 데이터 수신부 220 : 영상처리부
230 : 데이터베이스 인터페이스부 240 : 사용자관리부
250 : 졸음방지경보부 300 : 실시간 모니터링부
400 : 데이터베이스
200 : 졸음감지서버 201 : 졸음감지부
210 : 사용자 데이터 수신부 220 : 영상처리부
230 : 데이터베이스 인터페이스부 240 : 사용자관리부
250 : 졸음방지경보부 300 : 실시간 모니터링부
400 : 데이터베이스
Claims (19)
- 졸음감지 단말기에서 획득된 사용자의 이미지를 전송받아 사용자의 졸음 여부를 자동으로 판단하는 졸음감지부;
실시간 모니터링을 통해 졸음 여부를 판단하도록 지원하는 실시간 모니터링부; 및
상기 졸음 여부에 따라 졸음으로 판단되는 경우, 사용자에게 졸음 방지용 경보를 제공하는 졸음방지경보부;를 포함하며,
상기 졸음감지 단말기에서 획득한 이미지는 사용자의 눈영역 이미지, 얼굴영역 이미지 또는 사용자의 주변 상황을 포함한 프레임 전체 이미지 중 적어도 하나일 수 있으며, 상기 실시간 모니터링부는 상기 이미지를 화면에 표출해주고 사용자와 상호 인터렉션 할 수 있도록 인터페이스를 제공하는 것을 특징으로 하는 서버기반 졸음감지 시스템. - 청구항 1에 있어서,
상기 졸음감지 단말기는,
적외선 영역 감지 카메라, 적외선 통과 필터, 적외선 조명, 중앙처리장치, GPS 수신 모듈, 무선통신모듈, 오디오 출력 장치 또는 이들의 조합을 포함하고,
적외선 조명을 외장형 졸음감지 액세서리 형태로 구성하거나 적외선 조명과 적외선 통과 필터가 장착된 카메라로 구성된 카메라 일체형 졸음감지 액세서리 형태로 구성하는 것을 특징으로 하는 서버기반 졸음감지 시스템. - 청구항 2에 있어서,
상기 졸음감지 단말기는,
졸음감지부로 전송하는 데이터량을 줄이기 위해서 압축된 그레이(gray) 이미지를 전송하거나 이미지의 에지(edge)영역만 추출하여 이진 이미지로 전송하고,
졸음감지부와 통신이 연결된 상태에서는 졸음감지부에서 졸음 여부를 다시 판단하기 때문에 단말기에서 졸음 여부가 명확하지 않은 경우 일단 데이터가 졸음감지부로 전송될 수 있도록 졸음판단 임계값을 낮게 설정하고,
졸음감지부와 통신이 연결되지 못한 상태에서는 사용자의 상태가 정상인데 졸음상태로 감지되는 것과 같은 잘못된 감지로 인한 사용자의 불편을 줄일 수 있도록 졸음판단 임계값을 상대적으로 높게 설정하는 것을 특징으로 하는 서버기반 졸음감지 시스템. - 청구항 3에 있어서,
상기 졸음감지 단말기는,
초기 좌측 눈 이미지, 초기 우측 눈 이미지, 실시간 좌측 눈 이미지 및 실시간 우측 눈 이미지를 포함한 눈영역 이미지를 추출하여 졸음감지부에서 사용자의 졸음 여부를 판단하고,
눈영역 이미지가 추출되지 않을 경우 얼굴영역 이미지를 추출하여 졸음감지부에서 사용자의 졸음 여부를 판단하고,
얼굴영역 이미지가 추출되지 않을 경우 프레임 전체 이미지를 추출하여 졸음감지부에서 사용자의 졸음 여부를 판단하고,
졸음감지부로 전송하는 데이터량을 줄이기 위해 압축된 그레이 이미지를 전송하거나, 에지영역만 추출된 이진 이미지를 전송함으로써 개인식별이 어렵도록 하여 사용자의 프라이버시(privacy)를 보호하고 데이터량을 더 줄이는 것을 특징으로 하는 서버기반 졸음감지 시스템. - 청구항 1에 있어서,
상기 졸음감지부는,
졸음감지 단말기에서 획득한 최초 데이터, 초기 이미지, 실시간 이미지, 간헐적 이미지, ACK 신호 또는 이들의 조합을 포함한 사용자 상태 데이터를 수신 받는 것을 특징으로 하는 서버기반 졸음감지 시스템. - 청구항 5에 있어서,
상기 졸음감지부는,
최초 데이터 수신, 초기 이미지 수신, 실시간 이미지 수신 또는 간헐적 이미지를 수신하는 사용자 데이터 수신부;
상기 사용자 데이터 수신부에서 수신된 이미지를 압축 해제하여 소정의 졸음감지 방법에 따라 졸음 여부를 판단하는 영상처리부;
사용자의 초기 이미지를 저장하거나 사용자 정보의 저장을 관리하는 데이터베이스 인터페이스부; 및
상기 영상처리부에서 졸음으로 판단된 이미지를 수신하여 실시간 모니터링부의 가용 모니터링 요원의 화면에 이미지를 표출하는 사용자관리부;를 더 포함하며,
상기 사용자관리부는 영상처리부에서 졸음감지 여부에 대해 정상으로 판단되더라도 주기적으로 실시간 모니터링부의 모니터링 요원의 화면에 이미지를 표출하고, 단말기로부터 수신된 이미지가 긴급 상황으로 판단되면 단말기의 위치를 경찰서, 소방서 또는 기타 구조 기관으로 전달하여 구난 조치를 취할 수 있도록 인터페이스를 제공하는 것을 특징으로 하는 서버기반 졸음감지 시스템. - 청구항 6에 있어서,
상기 졸음감지부는,
차량이 저속 주행일 때는 눈영역 정보만을 사용하여 졸음 여부를 판단하고, 차량이 고속 주행일 때는 눈영역 정보, 얼굴영역의 위치정보, 얼굴의 움직임 정보, 또는 이들의 조합 중 적어도 어느 한 정보라도 정상 범위를 벗어나면 졸음으로 판단하는 것을 특징으로 하는 서버기반 졸음감지 시스템. - 청구항 7에 있어서,
상기 졸음감지부는,
사용자가 고의적으로 졸음상태를 모방하는 것을 방지하기 위해서 상기 졸음감지 단말기의 이동속도(또는 차량의 주행속도)가 0인 상태에서 졸음으로 감지되는 경우가 일정 시간 내에서 반복되는 경우에는 모니터링 요원에 의한 육안 판단 과정을 생략하고 단말기로 자동경보신호만 전송하고,
졸음감지 단말기의 이동속도(또는 차량의 주행속도)가 0이 아닌 상태에서 졸음으로 감지되는 경우가 일정 시간 내에서 반복되는 경우에는 사용자에게 더 이상 육성으로 졸음경보를 제공하지 않는다고 육성으로 안내할 수 있도록 안내기능을 제공하는 것을 특징으로 하는 서버기반 졸음감지 시스템. - 청구항 1에 있어서,
상기 실시간 모니터링부는,
졸음감지 단말기에서 눈영역 이미지가 수신된 경우 초기 좌측 눈 이미지, 초기 우측 눈 이미지, 실시간 좌측 눈 이미지, 실시간 우측 눈 이미지 또는 단말기의 이동속도(또는 차량의 주행속도)를 포함한 데이터를 모니터링 요원의 화면에 표출하여 졸음 여부를 판단하고,
졸음감지 단말기에서 얼굴영역은 추출했으나 눈영역이 추출 안 된 상태로 수신된 경우 얼굴영역 이미지와 단말기의 이동 속도를 포함한 데이터를 모니터링 요원의 화면에 표출하여 졸음 여부를 판단하고,
졸음감지 단말기에서 얼굴영역 추출이 안 된 상태로 수신된 경우 프레임 전체 이미지와 단말기의 이동 속도를 포함한 데이터를 모니터링 요원의 화면에 표출하여 졸음 여부를 판단하는 것을 특징으로 하는 서버기반 졸음감지 시스템. - 청구항 1에 있어서,
상기 졸음방지경보부는,
졸음운전 차량의 일정 반경 내에서 주행 중인 다른 차량에게 졸음운전 차량의 위치, 졸음운전 차량의 주행 속도, 졸음운전 차량의 이동 방향 또는 졸음운전 차량의 차량번호 중 적어도 한 가지 이상의 정보를 조합하여 졸음운전 차량의 정보를 제공함으로써 사용자들의 주의를 환기시킬 수 있도록 하는 것을 특징으로 하는 서버기반 졸음감지 시스템. - 청구항 1에 있어서,
상기 졸음감지 단말기는,
서버를 거치지 않고 차량간 직접 통신을 통해 졸음운전 차량의 일정 반경 내에서 주행 중인 다른 차량에게 졸음운전 차량의 위치, 졸음운전 차량의 주행 속도, 졸음운전 차량의 이동 방향, 졸음운전 차량의 차량번호 또는 이들의 조합 중 적어도 한 가지 이상의 정보를 조합하여 졸음운전 차량의 정보를 제공함으로써 사용자들의 주의를 환기시킬 수 있도록 하는 것을 특징으로 하는 서버기반 졸음감지 시스템. - 졸음감지 단말기에서 획득된 사용자의 이미지를 전송받아 사용자의 졸음 여부를 자동으로 판단하는 제1 단계;
실시간 모니터링을 통해 졸음 여부를 판단하도록 지원하는 제2 단계;
상기 졸음 여부에 따라 졸음으로 판단되는 경우, 사용자에게 졸음 방지용 경보를 제공하는 제3 단계;를 포함하며,
상기 졸음감지 단말기에서 획득한 이미지는 사용자의 눈영역 이미지, 얼굴영역 이미지, 또는 사용자의 주변 상황을 포함한 프레임 전체 이미지 중 적어도 하나일 수 있으며, 상기 제3 단계는 상기 이미지를 화면에 표출해주고 사용자와 상호 인터렉션 할 수 있도록 인터페이스를 제공하는 것을 특징으로 하는 서버기반 졸음감지 방법. - 청구항 12에 있어서,
상기 제1 단계는,
졸음감지 단말기에서 획득된 최초 데이터, 초기 이미지, 실시간 이미지, 간헐적 이미지, ACK 신호 또는 이들의 조합을 포함한 사용자 상태 데이터를 수신 받는 것을 특징으로 하는 서버기반 졸음감지 방법. - 청구항 13에 있어서,
상기 제1 단계는,
최초 데이터 수신, 초기 이미지 수신, 실시간 이미지 수신 또는 간헐적 이미지를 수신하는 단계;
상기 이미지 수신 단계에서 수신된 이미지를 압축 해제하여 소정의 졸음감지 방법에 따라 졸음 여부를 판단하는 단계;
사용자의 초기 이미지를 저장하거나 사용자 정보를 저장하는 단계;
상기 졸음 여부를 판단하는 단계에서 졸음으로 판단된 이미지를 수신하여 실시간 모니터링부의 가용 모니터링 요원의 화면에 이미지를 표출하는 단계; 및
상기 이미지를 표출하는 단계에서 졸음으로 판단된 경우 졸음감지 단말기로 자동졸음경보를 전송하는 단계;를 더 포함하며,
상기 이미지를 표출하는 단계는 졸음 여부를 판단하는 단계에서 졸음감지 여부에 대해 정상으로 판단되더라도 주기적으로 실시간 모니터링부의 모니터링 요원의 화면에 이미지를 표출하고, 단말기로부터 수신된 이미지가 긴급 상황으로 판단되면 단말기의 위치를 경찰서, 소방서 또는 기타 구조 기관으로 전달하여 구난 조치를 취할 수 있도록 인터페이스를 제공하는 것을 특징으로 하는 서버기반 졸음감지 방법. - 청구항 14에 있어서,
상기 제1 단계는,
차량이 저속 주행일 때는 눈영역 정보만을 사용하여 졸음 여부를 판단하고, 차량이 고속 주행일 때는 눈영역 정보, 얼굴영역의 위치정보, 얼굴의 움직임 정보, 또는 이들의 조합 중 적어도 어느 한 정보라도 정상 범위를 벗어나면 졸음으로 판단하는 것을 특징으로 하는 서버기반 졸음감지 방법. - 청구항 15에 있어서,
상기 제1 단계는,
사용자가 고의적으로 졸음상태를 모방하는 것을 방지하기 위해서 상기 졸음감지 단말기의 이동속도(또는 차량의 주행속도)가 0인 상태에서 졸음으로 감지되는 경우가 일정 시간 내에서 반복되는 경우에는 모니터링 요원에 의한 육안 판단 과정을 생략하고 단말기로 자동경보신호만 전송하고,
졸음감지 단말기의 이동속도(또는 차량의 주행속도)가 0이 아닌 상태에서 졸음으로 감지되는 경우가 일정 시간 내에서 반복되는 경우에는 사용자에게 더 이상 육성으로 졸음경보를 제공하지 않는다고 육성으로 안내할 수 있도록 안내기능을 제공하는 것을 특징으로 하는 서버기반 졸음감지 방법. - 청구항 12에 있어서,
상기 제2 단계는,
졸음감지 단말기에서 눈영역 이미지가 수신된 경우 초기 좌측 눈 이미지, 초기 우측 눈 이미지, 실시간 좌측 눈 이미지, 실시간 우측 눈 이미지 또는 단말기의 이동속도(또는 차량의 주행속도)를 포함한 데이터를 모니터링 요원의 화면에 표출하여 졸음 여부를 판단하고,
졸음감지 단말기에서 얼굴영역은 추출했으나 눈영역이 추출 안 된 상태로 수신된 경우 얼굴영역 이미지와 단말기의 이동 속도를 포함한 데이터를 모니터링 요원의 화면에 표출하여 졸음 여부를 판단하고,
졸음감지 단말기에서 얼굴영역 추출이 안 된 상태로 수신된 경우 프레임 전체 이미지와 단말기의 이동 속도를 포함한 데이터를 모니터링 요원의 화면에 표출하여 졸음 여부를 판단하는 것을 특징으로 하는 서버기반 졸음감지 방법. - 청구항 12에 있어서,
상기 제3 단계는,
졸음운전 차량의 일정 반경 내에서 주행 중인 다른 차량에게 졸음운전 차량의 위치, 졸음운전 차량의 주행 속도, 졸음운전 차량의 이동 방향 또는 졸음운전 차량의 차량번호 중 적어도 한 가지 이상의 정보를 조합하여 졸음운전 차량의 정보를 제공함으로써 사용자들의 주의를 환기시킬 수 있도록 하는 것을 특징으로 하는 서버기반 졸음감지 방법. - 청구항 12에 있어서,
상기 졸음감지 단말기는,
서버를 거치지 않고 차량간 직접 통신을 통해 졸음운전 차량의 일정 반경 내에서 주행 중인 다른 차량에게 졸음운전 차량의 위치, 졸음운전 차량의 주행 속도, 졸음운전 차량의 이동 방향, 졸음운전 차량의 차량번호 또는 이들의 조합 중 적어도 한 가지 이상의 정보를 제공함으로써 사용자들의 주의를 환기시킬 수 있도록 하는 것을 특징으로 하는 서버기반 졸음감지 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140028839A KR20150106986A (ko) | 2014-03-12 | 2014-03-12 | 서버기반 졸음감지 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140028839A KR20150106986A (ko) | 2014-03-12 | 2014-03-12 | 서버기반 졸음감지 시스템 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20150106986A true KR20150106986A (ko) | 2015-09-23 |
Family
ID=54245567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140028839A KR20150106986A (ko) | 2014-03-12 | 2014-03-12 | 서버기반 졸음감지 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20150106986A (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102010216B1 (ko) * | 2019-06-26 | 2019-08-13 | 주식회사 에이스큐브 | 졸음 운전 방지 시스템 |
| KR102150034B1 (ko) | 2019-12-13 | 2020-08-31 | 제주특별자치도 | 이동형 IoT 통합 기반 안전 운행 지원 시스템 및 그의 처리 방법 |
| KR20210148497A (ko) * | 2020-05-28 | 2021-12-08 | 주식회사 씽크아이 | 차량에 설치되어 졸음운전 및 부주의 운전 인식 서비스를 제공할 수 있는 카메라 장치 및 그 서비스 제공방법 |
| WO2022010221A1 (ko) * | 2020-07-06 | 2022-01-13 | 주식회사 씽크아이 | 차량에 설치되는 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법 |
-
2014
- 2014-03-12 KR KR1020140028839A patent/KR20150106986A/ko active Search and Examination
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102010216B1 (ko) * | 2019-06-26 | 2019-08-13 | 주식회사 에이스큐브 | 졸음 운전 방지 시스템 |
| KR102150034B1 (ko) | 2019-12-13 | 2020-08-31 | 제주특별자치도 | 이동형 IoT 통합 기반 안전 운행 지원 시스템 및 그의 처리 방법 |
| KR20210148497A (ko) * | 2020-05-28 | 2021-12-08 | 주식회사 씽크아이 | 차량에 설치되어 졸음운전 및 부주의 운전 인식 서비스를 제공할 수 있는 카메라 장치 및 그 서비스 제공방법 |
| WO2022010221A1 (ko) * | 2020-07-06 | 2022-01-13 | 주식회사 씽크아이 | 차량에 설치되는 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10137737B2 (en) | Portable electronic device and operating method therefor | |
| KR102027296B1 (ko) | 보행안전시스템 | |
| US10043373B2 (en) | System for providing advance alerts | |
| US10298741B2 (en) | Method and device for assisting in safe driving of a vehicle | |
| JP5171629B2 (ja) | 走行情報提供装置 | |
| KR101654609B1 (ko) | 거동이 불편한 자, 장애인 및 독거노인을 위한 원격 스마트 모니터링 시스템 및 그 방법 | |
| US20110092249A1 (en) | Portable blind aid device | |
| CN110544360B (zh) | 一种列车安全驾驶监测系统及方法 | |
| CN110525456B (zh) | 一种列车安全驾驶监测系统及方法 | |
| JP2016539446A (ja) | 動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置 | |
| KR102047988B1 (ko) | 시력 취약계층을 위한 시력 보조장치와 원격관리장치 및 시력 보조방법 | |
| WO2007074842A1 (ja) | 画像処理装置 | |
| KR20150139229A (ko) | 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치 및 방법 | |
| KR20150106986A (ko) | 서버기반 졸음감지 시스템 및 그 방법 | |
| KR20200104758A (ko) | 위험 상황을 판단하고, 사용자의 안전을 관리하는 방법 및 장치 | |
| KR20200104759A (ko) | 위험 상황을 판단하고, 사용자의 안전을 관리하는 시스템 | |
| Alam et al. | Active vision-based attention monitoring system for non-distracted driving | |
| KR101147212B1 (ko) | 주변상황 인식을 이용한 개인안전 장치, 시스템 및 방법 | |
| Guria et al. | Iot-enabled driver drowsiness detection using machine learning | |
| Satyanarayana et al. | Continuous monitoring and identification of driver drowsiness alert system | |
| US11906966B2 (en) | Method for controlling robot, robot, and recording medium | |
| Kashevnik et al. | Context-based driver support system development: Methodology and case study | |
| US11433916B1 (en) | System to generate an alert to wake a driver of a vehicle and a method thereof | |
| RU2703341C1 (ru) | Способ определения опасных состояний на дорогах общего пользования на основе мониторинга ситуации в кабине транспортного средства | |
| KR20220032662A (ko) | 음성멘트를 이용한 긴급알림 서비스 제공 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| N231 | Notification of change of applicant | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment |