KR200420343Y1

KR200420343Y1 - 화상인식 방식 이동통신 단말기용 졸음방지장치와어플리케이션

Info

Publication number: KR200420343Y1
Application number: KR2020060008427U
Authority: KR
Inventors: 윤종렬; 김영모; 백동철
Original assignee: (주)휴먼정보통신
Priority date: 2006-03-30
Filing date: 2006-03-30
Publication date: 2006-06-30

Abstract

본 고안은 졸음방지 장치 모듈을 구비한 이동통신 단말기에 관한 것으로, 사용자가 일상적으로 사용하는 이동통신 단말기의 정보처리 영역에 졸음방지 장치용 카메라로 부터 사람의 눈 깜박임의 이미지 데이터를 읽어 졸음방지 알고리즘의 처리를 거치는 일련의 애플리케이션 모듈(application module)을 소프트웨어 형태로 다운로드 받아 설치하거나, 하드웨어(hardware)형태로 설치하고, 사용자의 조작을 통해 휴대폰을 졸음방지 기능으로 전환하면 이동통신 단말기로부터 운전자의 얼굴과 눈에 해당하는 영상데이터의 이미지 처리와 졸음방지 알고리즘을 통해 졸음경고음을 출력함과 아울러 휴대폰 SOS기능 즉 기 등록된 전화번호쪽으로 자동 문자 메세지를 보내게 함으로써 별도의 하드웨어나 기구물 필요없이 운전자의 피로에 의한 졸음현상을 검출하여 경고음을 출력하는 장치와 서비스와 관련된 고안이다.

졸음방지, 이미지 처리, 알고리즘, 카메라

Description

화상인식 방식 이동통신 단말기용 졸음방지장치와 어플리케이션{Sleepiness protection device and application basis for Image recognition}

도 1 본 고안의 전체 블록 다이어그램

도 2 본 고안의 졸음방지 애플리케이션 모듈 블록다이어그램

도 3 본 고안의 졸음방지 모드의 플로우 차트

도 4 본 고안의 SOS(긴급 문자메시지)기능 메뉴 체계도

본 고안은 운전중 운전자의 피로에 의해 졸음운전을 함으로 인한 대형 교통사고를 방지함에 있어 기존의 별도 독립적 장치방식의 졸음방지 장치가 아니라 휴대용 모바일 통신기기 특히 휴대폰이나 PDA폰 등에 소프트웨어적으로 애플리케이션을 이식하여 사용할 수 있게 한 졸음방지장치와 관련한 애플리케이션 장치로서 본 분야와 관련되는 종래기술로는 차량 핸들에 초음파 및 적외선 센서가 있는 소형카메라를 달아 눈의 상태를 식별하여 운전자 눈의 깜박이는 정도와 눈감고 있는 시간 등을 컴퓨터가 분석하는 독립적으로 컴퓨터의 하드웨어, 소프트웨어적 기반 위에 작동하는 기술이 있으며 또한 카메라로 도로의 상황을 계속 모니터링 하여 차선을 넘으면 경보음을 자동으로 울려주는 운전자 감시가 아닌 자동차의 주행 상황분석 방식도 있으며 운전자의 뇌파를 조사해 졸음 등이 감지될 경우 운전자에게 경보를 내려주는 시스템도 있다. 상기한 몇 가지의 졸음운전방지장치는 별도의 독립적 하드웨어와 그것을 작동시키는 소프트웨어의 구성을 주 요지로 하는바 카메라 혹은 특별한 센서 장치가 필요했으며 또한 차량 내 별도 설치의 수고가 필요했다. 본 고안은 이러한 단점을 보완하고 저가의 구현을 위해 최근 거의 필수 개인 통신장치로 자리 잡은 휴대폰을 이용해 휴대폰의 카메라나 자체적으로 보유하고 있는 휴대폰의 플랫폼(Operating System)을 그대로 이용하여 간편하게 사용할 수 있는 휴대폰 이식형 졸음방지 애플리케이션 모듈에 관련한 고안이다.

본 고안은 상기한 바와 같이 휴대폰에 졸음방지 알고리즘을 구현하기 위해 휴대폰에 기 구비된 카메라 장치로부터 운전자의 화상 특히 얼굴 데이터를 실시간으로 취득하여 졸음 상황 시의 운전자의 눈 깜박임의 주기와 횟수정보를 검출하여 졸음상태인지 아닌지를 구분하여 졸음상태일 경우 휴대폰의 스피커를 통해서 경고음을 발생하는 방식을 취하고 있다. 이러한 졸음방지 애플리케이션을 휴대폰에 탑재하기 위해서는 휴대폰의 플랫폼 즉 위피(WIPI)나 블루(BREW)등의 휴대폰 OS에 본 고안의 졸음방지 알고리즘을 구현해 올리는 방식으로 구현하였다.

본 고안의 도 1은 전체 시스템 블록다이어그램을 나타내는 것으로 졸음방지 애플리케이션 모듈을 구비한 이동통신 단말기는 안테나(10), 듀플렉서(duplexer; 20), 무 선 수신부(30), 무선 송신부(40), MSM(Mobile Station Modem; 50), 스피커(60), 마이크(70), 액정 표시부(90), 키 메트릭스(100), 메모리부(110), 애플리케이션 모듈(application module; 120)을 포함한다.

안테나(10)는 기지국으로부터 수신되는 무선신호를 듀플렉서(20)로 전달한다. 듀플

렉서(20)는 안테나(10)로부터 수신된 무선 신호를 송신신호와 분리하여 무선 수신부(30)로 전송한다. 무선 수신부(30)는 듀플렉서(20)로부터 수신되는 무선 신호를 증폭한 후 수신 대역으로 필터링(filterning)하고, 상기 필터링된 신호를 특정 국부 발진 주파수 신호에 따라 중간 주파수 신호로 변환한 후 기 설정된 중간 주파수 대역으로 재 필터링하며, 상기 재 필터링된 신호를 일정한 레벨로 이득 조정한 후 다운 컨버팅(down converting)하여 MSM(50)으로 전송한다. 무선 송신부(40)는 MSM(50)으로부터 출력되는 신호를 업 컨버팅(up converting)한 후 이득 조정하고, 이득 조정된 신호를 무선 신호로 변환한 후 전력 증폭시켜 듀플렉서(20)로 출력한다. 듀플렉서(20)는 무선 송신부(40)로부터 출력되는 송신 신호를 수신 신호와 분리하여 안테나(10)를 통해 기지국으로 송신한다.

MSM(50)은 변복조부(51), 디인터리버 및 디코더(deinterleaver and decoder, 52), 음성 처리용 DSP(Digital Signal Processor, 53), 인터리버 및 엔코더(interleaver and encoder, 54), D/A 변환기(55), A/D 변환기(56) 및 제어부(57)를 포함한다. 여기서, 제어부(57)는 모바일 운영체제(58)와 버츄얼 머신(virtual machine, 59)을 포함한다. 변복조부(51)는 무선 수신부(30)로부터 출력되는 신호를 CDMA 프로토콜 (Code Division Multiple Access protocol)에 의해 복조하여 디인터리버 및 디코더(52)로 출력하는 한편, 인터리버 및 엔코더(54)로부터 출력되는 신호를

CDMA 프로토콜에 의해 변조하여 무선 송신부(40)로 출력한다. 디인터리버 및 디코더(52)는 변복조부(51)로부터 출력되는 신호에 대한 디인터리빙 및 디코딩 (deinterleaving and decoding) 작업을 수행하여 처리된 신호를 음성 처리용 DSP(53)로 출력한다. 인터리버 및 엔코더(54)는 음성 처리용 DSP(53)로부터 출력되는 신호에 대해 인터리빙 및 엔코딩 작업을 수행하여 변복조부(51)로 출력한다. 음성 처리용 DSP(53)는 디인터리버 및 디코더(52)로부터 출력되는 신호를 음성 처리하여 생성한 디지털 음성 데이터를 D/A 변환기(55)로 출력하는 반면, A/D 변환기 (56)로부터 출력되는 디지털 데이터를 음성 처리하여 인터리버 및 엔코더(54)로 출력한다. 제어부(57)는 오퍼레이팅 시스템(operating system)인 모바일

운영체제(58)를 통해 내부 구성요소인 변복조부(51), 디인터리버 및 디코더(52), 음성 처리용 DSP(53) 및 인터리버 및 엔코더(54)의 동작을 제어하는 동시에 외부 구성요소인 액정 표시부(90), 키 메트릭스(100) 및 메모리부(110)의 동작을 제어한다. 또한, 제어부(57)는 하드웨어 플랫폼(hard ware platform)의 독립적인 코드(code)를 수행하기 위하여 이식되는 버츄얼 머신(59)을 통해 모바일

운영체제(58)의 종류와 상관없이 애플리케이션 모듈(120)의 동작을 제어한다.

외부 구성요소인 액정표시부(90)는 제어부(57)의 제어하에 CDMA 단말기 사용자에게 보여줄 각종 화면, 특히 애플리케이션 모듈(120)로부터 제공되는 졸음방지 기능의 모드 설정화면을 표시한다. 키 메트릭스(100)는 숫자 및 문자 입력이 가능한 복수의 키 및 여러 기능 키(function keys)를 구비하여 단말기 사용자의 입력, 특히 졸 음방지 관련 모드 제어와 관련한 데이터를 제어부(57)로 전달한다. 메모리부(110)는 EEPROM(Electrically Erasable Programable ROM), 플래시롬(Flash ROM) 및 RAM 등을 포함하며, 제어부(57)의 제어하에 단말기 제어에 필요한 각종 데이터 변수에 대한 데이터를 제공한다.

도 2는 본 고안의 졸음방지 애플리케이션 모듈 블록다이어그램을 나타내는 것으로 졸음방지 기능이 작동될 경우의 주요 블록별 동작 프로세싱 관계를 나타낸다. 휴대폰 사용자가 졸음방지 모드를 선택하여 졸음방지 가능이 시작되면 우선 휴대폰에 구비된 소형 카메라(80)를 통해 운전자의 신체 이미지를 받게 되는데 이때 주로 얼굴 부위를 위주로 영상정보를 취득하게 된다. 이러한 영상 취득정보의 화상 셋팅은 운전자가 하게 되며 마치 카메라 휴대폰으로 자기 사진을 찍듯이 셋팅 하면 된다. 이렇게 취득된 영상정보는 모바일 폰 주 제어부(57)에 이식된 애플리케이션 모듈(120)에 의해 제 1단계인 이미지 프로세싱(12)단계를 거치게 되는데 그 주요한 동작은 GFCD(General Face Color Distribution:121), BWCD(Black and White Color Distribution:122), Binary(123), Background Labeling(124)의 4단계를 거치게 된다. 각 블록별 신호처리 내용을 보면 먼저 GFCD(General Face Color Distribution:121)는 취득된 컬러 영상에서 얼굴 영역을 추출하기 위해서 얼굴 피부색과 비슷한 값을 가지는 픽셀의 색상 값은 높은 확률 값을 갖게 하고 그 이외의 색상 영역은 낮은 확률 값을 갖게 하는 방법으로 얼굴 색상 분포를 분석, 처리하는 신호처리 블록이며 BWCD(Black and White Color Distribution:122)는

조명의 변화나 다른 주위 조건의 변화에 민감하지 않게 하기 위해 입력된 영상을 먼저, 휘도(밝기) 성분으로 정규화한 후 사람의 얼굴 피부색(살색)과 눈의 색인 흰색과 검정색이 주로 밀집해 있는 영역을 구별해내는 흑백 색상 분포 신호처리 블록이며 이진화(Binary:123)부는 디지털 영상을 계산 및 반복 실험으로 설정된 임계값과 비교하여 그 이상이면 대상 픽셀에 흰색에 해당하는 255를 할당하고 임계값 미만이면 대상 픽셀에 검정색에 해당하는 0을 할당하여 신호의 노이즈 억제 및 졸음 판정의 정확도를 높이기 위한 이진화 신호처리 블록이다. 그리고 배경 라벨링 (Background Labeling:124)은 취득된 이미지에서 얼굴과 배경을 분리하기 위하여 영상을 스캔하면서 연결된 성분들을 찾아내어 얼굴 화상정보만 추출하기 위한 신호처리 블록으로 얼굴과 배경의 영역 결정에 중요한 정보로 사용된다.

상기한 4가지 주요 운전자의 신체로부터 취득한 영상정보의 이미지 처리를 수행하여 얼굴 영역 검출(125)과 눈 영역 검출(126)을 하게 되는데 특히 졸음 운전의 가장 기본이 되는 검출 요소인 눈 깜빡임 회수와 주기정보를 추출하기 위해 얼굴 영역 내에서 눈의 특징이 검은 색과 흰색으로 이루어져 있음으로 이에 대한 색상 변환 정보를 검출하여 현재 관찰 대상자인 운전자가 졸음상태인지 아닌지를 구분하게 된다. 상기한 바와 같이 졸음상태라는 판명이 되면 애플리케이션 모듈 제어부(128)에서 졸음 경고음 발생부(130)에서 경고음을 내라고 모바일 폰 주 제어부(57) 쪽으로 명령을 내리게 된다. 설정부(129)는 키 메트릭스(100)에 의해 졸음방지 모드의 기능을 수행할지 안 할 지의 여부를 결정하기 위한 제어 역할을 담당한다.

도 3은 본 고안의 졸음방지 모드 동작의 플로우 챠트를 나타내는 것으로 휴대폰이 작동된 후(시작:200) 졸음방지 모드 인지 아닌지(201)를 구분하여 졸 음방지 모드가 아니면 바로 종료(206)되며, 졸음방지 모드 이면 카메라를 작동시켜 카메라로부터 취득한 이미지신호를 신호처리(202) 한 후 다음 단 졸음방지 알고리즘을 실행(203)한 후 졸음상황을 판단(204)한 후 졸음상황이면 졸음방지 경고음을 출력(205)하며 졸음상황이 아니면 다시 카메라로부터 취득한 이미지신호를 신호처리(202)하는 쪽으로 피드백(207)하게 된다.

도 4는 본 고안의 졸음방지 긴급 메시지 송출기능(SOS)과 관계한 메뉴 체계도(300)를 나타내는 것으로 휴대폰이나 모바일 통신기기의 일반적인 편지함 메시지 관리체계(310)에서 4번 항과 같은 SOS 메시지(315) 기능이 추가되어 SOS 메시지 기능을 선택하면 SOS 메시지 메인 메뉴(320)가 열린다. 여기서 수신처(321)는 본 고안의 졸음방지 장치가 졸음상태라고 판단한 경우 자동으로 "졸음상태입니다. 연락바랍니다."라는 기 등록된 메시지(322)가 문자전송 되어지는 수신 전화번호이다. 또한, 사용자가 반복 호출을 1회~5회 정도 지정할 수 있도록 하여 긴급 메시지의 전달 오류를 방지토록 하였다. 그리고 수신처를 하나로 했을 경우 수신처의 상황에 따라 본 긴급 메시지를 받지못할 경우를 대비하여 한 개 이상의 수신처를 등록할 수 있도록 한 메뉴(330)를 구비하였다. 한 개 이상의 수신처는 별도 수신 전화번호 리스트(335)형태로 표시되게 된다.

이상에서 설명한 바와 같이, 본 고안의 운전자가 일상적으로 사용하는 모바일 통신기기의 정보처리 영역(플랫폼)에 졸음방지 알고리즘을 구현하기 위한 일련의 애플리케이션 모듈(application module)을 소프트웨어(software) 형태로 다운로드 받 아 설치하거나, 하드웨어(hardware) 형태로 설치하고, 운전자의 조작을 통해 졸음방지 기능을 수행함으로써 별도의 하드웨어나 기구물 없이 간편하게 졸음방지용 경고음 장치를 활용할 수 있다.

Claims

모바일 통신 기기에 애플리케이션 형태로 다운로드 받아 졸음방지 기능을 수행하기 위한 모바일 통신 기기 및 애플리케이션 모듈에 있어

무선통신 시스템과의 무선 통신을 위한 송수신부; 상기 송수신부로 입력 또는 출력되는 신호를 처리하는 모바일 스테이션 모뎀부;

상기 모바일 스테이션 모뎀부의 전반적인 동작을 제어하는 모바일 운영체제와, 상기 모바일 운영체제에 의해 동작 되어 플랫폼의 독립적인 코드를 수행하는 버츄얼 머신을 포함하는 제어부;

사용자가 상기 제어부를 제어하도록 사용자의 명령을 상기 제어부로 전달하기 위한 사용자 인터페이스부; 상기 제어부로 취득 영상을 보내주기 위한 카메라부; 상기 모바일 스테이션 모뎀부에서 처리된 졸음 경고음을 사용자에게 출력하는 스피커; 및 애플리케이션 모듈을 포함하는 단말기용 졸음방지 장치.
청구항 제 1항에 있어서

졸음방지 애플리케이션 모듈은

취득된 컬러 영상에서 얼굴 영역을 추출하기 얼굴 색상 분포를 분석, 처리하는 GFCD(General Face Color Distribution);

조명의 변화나 다른 주위 조건의 변화에 민감하지 않게 하기 위해 흰색과 검정색이 주로 밀집해 있는 영역을 구별해내는 흑백 색상 분포 처리하는 BWCD(Black and White Color Distribution);

디지털 영상을 계산 및 반복 실험으로 설정된 임계값과 비교하여 그 이상이면 대상 픽셀에 흰색에 해당하는 255를 할당하고 임계값 미만이면 대상 픽셀에 검정색에 해당하는 0을 할당하는 이진화 신호처리 블록;

취득된 이미지에서 얼굴과 배경을 분리하기 위하여 영상을 스캔하면서 연결된 성분들을 찾아내어 얼굴 화상정보만 추출하기 위한 배경 라벨링(Background Labeling)을 주요 구성으로 하는 단말기용 졸음방지 장치.
청구항 제 1항에 있어 졸음상태 인지시 본 졸음방지 애플리케이션 모듈이 구성된 모바일 통신기기에서 자동으로 기 지정된 수신처로 긴급 문자 메시지를 보내는 것을 특징으로 하는 단말기용 졸음방지 장치.