KR101653339B1

KR101653339B1 - 글라스형 웨어러블 디바이스를 이용한 신호변경 알림시스템 및 알림방법

Info

Publication number: KR101653339B1
Application number: KR1020160006837A
Authority: KR
Inventors: 한성철; 엄정한; 김진영; 이경현; 김대중; 김석기; 유철현; 김주천; 김주원
Original assignee: 넥시스 주식회사
Priority date: 2016-01-20
Filing date: 2016-01-20
Publication date: 2016-09-02
Also published as: KR20160014743A

Abstract

본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 신호변경 알림방법은, 글라스형 웨어러블 디바이스가 전방의 영상 또는 이미지를 획득하는 제1단계와, 영상 또는 이미지를 분석하여 글라스형 웨어러블 디바이스를 사용하는 사용자가 보행중 또는 운전중인지에 대한 이용상황을 인식하는 제2단계와, 인식된 이용상황을 바탕으로, 보행중 또는 운전중인 경우 각각에 대하여 글라스형 웨어러블 디바이스가 인식할 신호등의 형태 및 신호의 형태를 설정하는 제3단계와, 설정된 신호등의 형태에 따라 신호등을 탐색하는 제4단계와, 설정된 신호의 형태를 바탕으로, 탐색된 신호등의 신호변경을 인식하는 제5단계와, 사용자에게 신호변경 알림을 제공하는 제6단계를 포함하며, 제2 단계는, 사용자가 운전중으로 인식되면, 상기 영상 또는 이미지의 분석을 통해 차량의 통행 방향을 추가로 인식하고, 제3 단계는 통행 방향을 기초로 신호등의 형태 및 신호의 형태를 설정할 수 있다.

Description

글라스형 웨어러블 디바이스를 이용한 신호변경 알림시스템 및 알림방법 {SYSTEM AND METHOD FOR RECOGNIZING SIGNAL SWITCH BY WEARABLE GLASS DEVICE}

본 발명은 글라스형 웨어러블 디바이스를 이용한 신호변경 알림시스템 및 알림방법에 관한 것으로, 보다 자세하게는 시각장애인, 색각이상자, 또는 운전 중이나 보행 중에 신호등을 주시하지 않는 자에게 신호변경을 인식하여 다양한 방식으로 알림을 제공하는 시스템 및 방법에 관한 것이다.

최근 웨어러블 디바이스들이 등장하고 있다. 스마트폰과 연동되는 안경(Glass)형태로 등장하고 있으며, 스마트폰 없이도 독립적으로 작동할 수 있는 형태도 등장하고 있다.

일반적으로 도로상에 설치되는 교통신호등은 주행정지를 나타내는 적색전호등과 주행허용을 나타내는 녹색신호등 및 신호변경을 예고하는 황색신호등으로 이루어져 있으며, 지역에 따라 좌회전을 허용하는 신호등도 녹색으로 이루어진 화살표표시신호등으로 이루어져 있다. 그런데 관련법규에 의하면 적록색맹자는 운전면허를 취득할 수가 없는데, 이것은 적록색맹자가 교통신호등의 적색과 녹색을 구분하기가 힘들기 때문이다. 적록색맹은 다시 적색맹과 녹색맹으로 나뉘어지는데, 적색맹은 적색과 그의 보색인 청록색이 무색으로 보이며, 녹색맹은 녹색과 그의 보색인 적자색이 무색으로 보이게 된다.

또한, 스마트폰 및 시계형 웨어러블 디바이스의 사용자는 보행자가 많지 않은 횡단보도에서 신호를 기다리는 중에 스마트폰 및 시계형 웨어러블 디바이스를 이용하여 다른 용무를 보다가 보행신호가 된 것을 인지하지 못하고 보행신호를 놓치는 경우가 있다. 또한, 운전자들은 정지신호 중에 조수석의 탑승자와 대화를 나누다가 신호변경을 인지하지 못하여 교통정체를 유발하는 경우가 있다.

뿐만 아니라, 시각장애인이나 색각이상자는, 신호등이 음성알림을 제공하지 않는 경우, 신호가 변경되었음을 인지하지 못하는 경우가 있으며, 신호를 잘못 인지하거나 보행신호가 깜박이는 중에 횡단보도에 진입하여 교통사고가 발생하는 경우가 있다.

본 발명의 목적은, 시각장애인, 색각이상자, 또는 운전 중이나 보행 중에 신호등을 주시하지 않는 자에게 신호변경을 인식하여 다양한 방식으로 알림을 제공하는 글라스형 웨어러블 디바이스를 이용한 신호변경 알림시스템 및 알림방법을 제공함에 있다.

상기 언급된 목적을 달성하기 위한, 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 신호변경 알림방법은, 글라스형 웨어러블 디바이스가 신호변경을 인식하여 사용자에게 알림을 제공하는 방법에 있어서, 상기 글라스형 웨어러블 디바이스가 전방의 영상 또는 이미지를 획득하는 제1단계; 상기 영상 또는 이미지를 분석하여 상기 글라스형 웨어러블 디바이스를 사용하는 사용자가 보행중 또는 운전중인지에 대한 이용상황을 인식하는 제2단계; 상기 인식된 이용상황을 바탕으로, 보행중 또는 운전중인 경우 각각에 대하여 상기 글라스형 웨어러블 디바이스가 인식할 신호등의 형태 및 신호의 형태를 설정하는 제3단계; 상기 설정된 신호등의 형태에 따라 신호등을 탐색하는 제4단계; 상기 설정된 신호의 형태를 바탕으로, 상기 탐색된 신호등의 신호변경을 인식하는 제5단계; 및 사용자에게 신호변경 알림을 제공하는 제6단계를 포함하며, 상기 제2 단계는, 상기 사용자가 운전중으로 인식되면, 상기 영상 또는 이미지의 분석을 통해 차량의 통행 방향을 추가로 인식하고, 상기 제3 단계는, 상기 통행 방향을 기초로 상기 신호등의 형태 및 상기 신호의 형태를 설정할 수 있다.

삭제

본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 신호변경 알림시스템은, 글라스형 웨어러블 디바이스가 신호변경을 인식하여 사용자에게 알림을 제공하는 시스템에 있어서, 상기 사용자의 전방 영상 또는 이미지를 획득하는 제1카메라; 상기 제1카메라에 의해 획득된 상기 영상 또는 이미지를 분석하여 신호등 탐색 및 상기 신호변경 인식을 수행하는 정보처리부; 상기 글라스형 웨어러블 디바이스를 사용하는 사용자가 보행중인지 운전중인지에 대한 이용상황을 파악하고, 상기 이용상황을 바탕으로 보행중 또는 운전중인 경우의 상기 정보처리부에 의해 탐색될 상기 신호등의 형태 또는 상기 신호의 형태를 설정하는 상황평가부; 및 사용자에게 상기 신호변경 알림을 제공하는 출력부;를 포함하며, 상기 정보 처리부는, 상기 사용자가 운전중으로 인식되면, 상기 영상 또는 이미지의 분석을 통해 차량의 통행 방향을 추가로 인식하고, 상기 상황평가부는, 상기 통행 방향을 기초로 상기 신호등의 형태 및 상기 신호의 형태를 설정할 수 있다.

상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.

본 발명에 따르면, 상기 글라스형 웨어러블 디바이스의 사용자는 신호등을 응시하고 있지 않아도 신호변경을 인식할 수 있다. 운전자가 정지신호 시에 조수석 탑승자와 대화를 하다가 신호를 인지하지 못하여 교통정체가 생기는 상황 등이 발생하는 것을 방지할 수 있다.

또한, 상기 사용자가 색각이상이 있거나 시각장애인인 경우, 상기 신호변경 알림시스템 및 알림방법을 이용하여, 음성알림이 되지 않는 신호등에서 신호변경을 인식하여 보행할 수 있다. 이를 통해 시각장애인 또는 색각이상자가 보행신호를 제대로 파악하지 못해 교통사고가 발생하는 것을 방지할 수 있다.

또한, 각국별 상황에 맞도록 상기 시스템이 설정될 수 있어서, 자동차의 주행방향이 반대인 일본, 영국 등에서도 유용하게 사용할 수 있다.

도 1은 본 발명의 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 신호변경 알림방법에 대한 순서도
도 2는 디스플레이부에 운전자 신호등의 신호변경을 표시한 예시도면
도 3은 디스플레이부에 보행자 신호등의 신호변경을 표시한 예시도면
도 4는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스의 사시도
도 5는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 신호변경 알림시스템의 구성도

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

도 1은 본 발명의 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 신호변경 알림방법에 대한 순서도이고, 도 2는 디스플레이부에 운전자 신호등의 신호변경을 표시한 예시도면이다. 도 3은 디스플레이부에 보행자 신호등의 신호변경을 표시한 예시도면이며, 도 4는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스의 사시도이다. 도 5는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 신호변경 알림시스템의 구성도이다.

도 1 내지 도 6에는 시스템(100), 사용자입력부(110), 어플리케이션(111), 키보드(112), 음성입력부(113), 터치패드(114), GPS신호부(115), 근거리통신(116), 카메라부(120), 제1카메라(121), 제2카메라(122), 제3카메라(123), 센싱부(130), 자이로센서(131), 가속도센서(132), 압력센서(133), 홍채인식센서(134), 심박검출센서(135), 근전도센서(136), 정보처리모듈(210), 음성인식부(220), 상황평가모듈(230), 음성-텍스트변환모듈(240), 무선통신부(250), 메모리(260), 인터페이스부(270), 출력부(300), 디스플레이부(310), 음향출력부(320), 알람부(330), 햅틱모듈(340)가 도시된다.

본 발명의 일실시예에 따른 상기 글라스형 웨어러블 디바이스의 시스템(100)은 카메라부(120), 음성입력부(113), 사용자입력부(110), 센싱부(130), 출력부(300), 무선통신부(250), 메모리(260), 인터페이스부(270), 제어부(210), 상황평가모듈(230), 전원공급부, 및 음성인식부(220)를 포함할 수 있다.

카메라부(120)는 비디오 신호 또는 이미지 신호 입력을 위한 것으로, 디바이스의 구성 태양에 따라 2개 이상이 구비될 수도 있다. 카메라부(120)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고 처리된 화상 프레임은 디스플레이부(310)에 표시될 수 있다. 또한, 카메라부(120)에서 처리된 화상 프레임은 메모리(260)에 저장되거나 무선통신부(250)를 통하여 외부로 전송될 수 있다. 또한, 이미지 신호 또는 비디오 신호가 정보처리를 위한 입력으로 쓰이는 경우, 제어부(210)로 이미지 신호 및 비디오 신호를 전달한다.

음성입력부(113)는 음성신호의 입력을 위한 것으로 마이크 등이 포함될 수 있다. 마이크는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 그리고 처리된 음성 데이터는 통화 모드인 경우 이동통신부를 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크 는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘이 사용될 수 있다.

사용자입력부(110)는 사용자가 디바이스의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 사용자입력부(110)는 키패드(key pad), 키보드, 돔 스위치(dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치, 핑거 마우스 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이부(310)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.

센싱부(130)는 디바이스의 개폐 상태, 디바이스의 위치, 사용자 접촉 유무 등과 같이 디바이스의 현 상태를 감지하여 디바이스의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 또한, 센싱부(130)는 디바이스의 정보처리를 위한 입력신호를 받는 입력부의 기능을 담당할 수 있으며, 외부 기기 연결 여부 인식 등의 다양한 센싱 기능을 담당할 수 있다.

센싱부(130)는 근접센서(Proximity Sensor), 압력센서(133), 모션 센서, 지문인식센서, 홍채인식센서(134), 심박검출센서(135), 피부온도센서, 피부저항센서 및 심전도센서 등을 포함할 수 있다.

근접센서는 접근하는 물체나, 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있도록 한다. 근접센서는 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 근접물체를 검출할 수 있다. 근접센서는 구성 태양에 따라 2개 이상이 구비될 수 있다.

압력센서(133)는 디바이스에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다. 압력센서(133)는 사용환경에 따라 디바이스에서 압력의 검출이 필요한 부위에 설치될 수 있다. 만일, 압력센서(133)가 디스플레이부(310)에 설치되는 경우, 압력센서(133)에서 출력되는 신호에 따라, 디스플레이부(310)를 통한 터치 입력과, 터치 입력보다 더 큰 압력이 가해지는 압력터치 입력을 식별할 수 있다. 또한, 압력센서(133)에서 출력되는 신호에 따라, 압력터치 입력시 디스플레이부(310)에 가해지는 압력의 크기도 알 수 있다.

모션 센서는 가속도센서(132), 자이로센서(131), 지자기센서 등의 센서 중에서 하나 이상을 포함하며, 이를 이용하여 디바이스의 위치나 움직임 등을 감지한다. 모션 센서에 사용될 수 있는 가속도센서(132)는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로서, MEMS(micro-electromechanical systems) 기술의 발달과 더불어 널리 사용되고 있다. 가속도센서(132)는 중력가속도의 변화를 인식하는 중력센서를 포함한다. 또한, 자이로센서(131)는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다.

심박검출센서(135)는 감성신호를 수집하기 위해 심장 박동에 의한 혈관 굵기의 변화에 따른 광혈류량의 변화를 측정한다. 피부 온도 센서는 온도 변화에 반응하여 저항값이 변화하는 것에 따라 피부 온도를 측정한다. 피부 저항 센서는 피부의 전기 저항을 측정한다.

홍채인식센서(134)는 사람마다 고유한 특성을 가진 안구의 홍채 정보를 이용해 사람을 인식하는 기능을 수행한다. 사람의 홍채는 생후 18개월 이후 완성된 뒤, 홍채의 내측연 가까이에 융기되어 있는 원형의 홍채 패턴은 한번 정해지면 거의 변하지 않고, 또 사람마다 모양이 모두 다르다. 따라서 홍채인식은 사람마다 각기 다른 홍채의 특성을 정보화해 이를 보안용 인증기술로 응용한 것이다. 즉, 홍채의 모양과 색깔, 망막 모세혈관의 형태소 등을 분석해 사람을 식별하기 위한 수단으로 개발한 인증방식이다.

홍채인식센서(134)는 홍채의 패턴을 코드화해 이를 영상신호로 바꾸어 비교?판단하는데, 일반적인 작동 원리는 다음과 같다. 먼저 일정한 거리에서 홍채인식기 중앙에 있는 거울에 사용자의 눈이 맞춰지면, 적외선을 이용한 카메라가 줌렌즈를 통해 초점을 조절한다. 이어 홍채 카메라가 사용자의 홍채를 사진으로 이미지화한 뒤, 홍채 인식 알고리즘이 홍채의 명암 패턴을 영역별로 분석해 개인 고유의 홍채 코드를 생성한다. 마지막으로 홍채 코드가 데이터베이스에 등록되는 것과 동시에 비교 검색이 이루어진다.

출력부(300)는 오디오 신호 또는 비디오 신호 또는 알람(alarm) 신호의 출력을 위한 것이다. 출력부(300)에는 디스플레이부(310), 음향출력 모듈, 알람부(330), 및 햅틱 모듈(340) 등이 포함될 수 있다.

디스플레이부(310)는 디바이스에서 처리되는 정보를 표시 출력한다. 예를 들어 디바이스가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고 디바이스가 화상 통화 모드 또는 촬영 모드인 경우, 촬영되거나 수신된 영상을 각각 혹은 동시에 표시할 수 있으며, UI, GUI를 표시한다.

한편, 전술한 바와 같이, 디스플레이부(310)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이부(310)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 만일, 디스플레이부(310)가 터치스크린으로 구성되는 경우, 터치스크린 패널, 터치스크린 패널 제어기 등을 포함할 수 있다.

이외에도 디스플레이부(310)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다. 그리고, 디바이스의 구현 형태에 따라 디스플레이부(310)가 2개 이상 존재할 수도 있다. 예를 들어, 디바이스에 외부 디스플레이부(310)와 내부 디스플레이부(310)가 동시에 구비될 수 있다.

디스플레이부(310)는 HUD(Head up Display), HMD(Head mounted Display) 등으로 구현될 수 있다. HMD(Head mounted Display)란 안경처럼 머리에 쓰고 대형 영상을 즐길 수 있는 영상표시장치다. HUD(Head up Display)는 사용자의 가시영역 내의 유리에 가상 화상(virtual image)을 투영시키는 영상표시장치이다.

음향출력 모듈(320)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부로부터 수신되거나 메모리(260)에 저장된 오디오 데이터를 출력한다. 또한, 음향출력 모듈(320)은 디바이스에서 수행되는 기능, 예를 들어, 호신호 수신음, 메시지 수신음 등과 관련된 음향 신호를 출력한다. 이러한 음향출력 모듈(320)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

알람부(330)는 디바이스의 이벤트 발생을 알리기 위한 신호를 출력한다. 디바이스에서 발생하는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력 등이 있다. 알람부(330)는 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 진동알람부를 포함하여, 진동 형태로 신호를 출력할 수 있다. 알람부(330)는 호 신호가 수신되거나 메시지가 수신된 경우, 이를 알리기 위해 신호를 출력할 수 있다. 또한. 알람부(330)는 키 신호가 입력된 경우, 키 신호 입력에 대한 피드백으로 신호를 출력할 수 있다. 이러한 알람부(330)가 출력하는 신호를 통해 사용자는 이벤트 발생을 인지할 수 있다. 디바이스에서 이벤트 발생 알림을 위한 신호는 디스플레이부(310)나 음향출력 모듈를 통해서도 출력될 수 있다.

햅틱 모듈(haptic module)(340)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(340)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다. 햅틱 모듈(340)이 촉각 효과로 진동을 발생시키는 경우, 햅택 모듈(340)이 발생하는 진동의 세기와 패턴 등은 변환가능하며, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.

무선통신부(250)는 방송수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈,및 GPS 모듈 등을 포함할 수 있다.

방송수신 모듈은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신한다. 이때, 방송 채널은 위성 채널, 지상파 채널 등을 포함할 수 있다. 방송관리 서버는, 방송신호 및 방송 관련 정보 중 적어도 하나를 생성하여 송신하는 서버나, 기 생성된 방송 신호 및 방송관련 정보 중 적어도 하나를 제공받아 단말기에 송신하는 서버를 의미할 수 있다.

방송관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 방송관련 정보는, 이동통신망을 통하여도 제공될 수 있으며, 이 경우에는 이동통신 모듈에 의해 수신될 수 있다. 방송관련 정보는 다양한 형태로 존재할 수 있다.

방송수신 모듈은, 각종 방송 시스템을 이용하여 방송 신호를 수신하며, 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 또한, 방송수신 모듈은, 이와 같은 디지털 방송 시스템뿐만 아니라 방송 신호를 제공하는 모든 방송 시스템에 적합하도록 구성될 수 있다. 방송수신 모듈을 통해 수신된 방송신호 및/또는 방송 관련 정보는 메모리(260)에 저장될 수 있다.

이동통신 모듈은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈은 디바이스에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), LTE(long term evolution), LTE-A(Long Term Evolution-Advanced) 등이 이용될 수 있다.

근거리 통신 모듈(116)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 비콘(Beacon), 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다.

비콘(Beacon)은 무선통신 장치로써 블루투스 4. 0 (BLE-Bluetooth Low Energy) 기반의 프로토콜을 사용해 매우 작은 주파수 시그널을 그들 주위에 전달한다. 블루투스 4. 0은 장치가 대략 5m~70m내의 디바이스들과 통신을 할 수 있으며, 배터리 수명에 거의 영향을 끼치지 않는 저전력이어서 전력 낭비를 최소화하여 블루투스를 항상 켤 수 있다.

GPS(Global Position System) 모듈(115)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신한다.

메모리(260)는 제어부(210)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.

메모리(260)는 플래시 메모리(260) 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(260)(예를 들어 SD 또는 XD 메모리(260) 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스는 인터넷(internet) 상에서 메모리(260)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.

메모리(260)는 이하 저장부(260)로 표현될 수 있다.

인터페이스부(270)는 디바이스에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 디바이스에 연결되는 외부기기의 예로는, 유/무선 헤드셋, 외부 충전기, 유/무선 데이터 포트, 메모리(260) 카드(Memory card), SIM(Subscriber Identification Module)이나 UIM(User Identity Module) 카드 등과 같은 카드 소켓, 오디오 I/O(Input/Output) 단자, 비디오 I/O(Input/Output) 단자, 이어폰 등이 있다. 인터페이스부(270)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 디바이스 내부의 각 구성 요소에 전달할 수 있고, 디바이스 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.

제어부(210)는 통상적으로 상기 각부의 동작을 제어하여 디바이스의 전반적인 동작을 제어하는 기능을 수행한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 제어부(210)는 멀티미디어 재생을 위해 데이터를 처리하는 기능을 수행한다. 또한, 입력부 또는 센싱부(130)로부터 입력받은 데이터를 처리하는 기능을 수행한다.

제어부(210)는 이하 정보처리모듈(210)로 표현될 수 있다.

상황평가모듈(230)은 메모리(260)에 저장된 기준이나 사용자로부터 입력받은 기준을 바탕으로, 사용자가 상기 글라스형 웨어러블 디바이스를 사용하는 상황을 결정하는 기능을 수행한다. 즉, 여러 가지 기준을 바탕으로 사용자의 상기 디바이스 이용상황을 결정하여, 상기 디바이스의 시스템 설정을 하거나 입력받아야 할 신호를 결정하는 등의 기능을 수행한다.

전원 공급부는 제어부(210)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

음성인식부(220)는 자동적 수단에 의하여 음성으로부터 언어적 의미 내용을 식별하는 기능을 수행한다. 구체적으로 음성파형을 입력하여 단어나 단어열을 식별하고 의미를 추출하는 처리 과정이며, 크게 음성 분석, 음소 인식, 단어 인식, 문장 해석, 의미 추출의 5가지로 분류된다. 음성인식부(220)는 저장된 음성과 입력된 음성이 동일한지 비교하는 음성평가모듈을 더 포함할 수 있다. 또한, 음성인식부(220)는 입력된 음성을 텍스트로 변환하거나, 텍스트를 음성으로 변환하는 음성-텍스트변환모듈(240)도 더 포함할 수 있다.

이하, 도면을 참조하여 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스를 이용한 신호변경 알림시스템 및 알림방법에 대해 설명하기로 한다.

도 1은 본 발명의 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 신호변경 알림방법에 대한 순서도이다.

도 1을 참조하면, 본 발명의 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 신호변경 알림방법은, 상기 글라스형 웨어러블 디바이스의 제1카메라(121)가 신호등을 탐색하는 단계(S100); 상기 탐색된 신호등의 신호변경을 인식하는 단계(S200); 및 상기 신호변경을 사용자에게 알리는 단계(S300);를 포함한다. 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 신호변경 알림방법을 순서대로 설명한다.

상기 글라스형 웨어러블 디바이스의 상기 제1카메라(121)가 신호등을 탐색한다(S100). 상기 제1카메라(121)는 사용자가 바라보는 방향의 영상 또는 이미지를 입력받고, 정보처리모듈(210)이 입력된 상기 영상 또는 이미지 내에서 신호등을 탐색한다. 상기 정보처리모듈(210)이 탐색하여야 하는 상기 신호등의 형상은 저장부(260)에 저장되어 있어, 상기 정보처리모듈(210)이 상기 저장부(260)로부터 상기 신호등의 형상을 전송받아 상기 영상 또는 이미지 내의 형상들과 비교하여 찾아낸다.

상기 탐색된 신호등의 신호변경을 인식한다(S200). 즉, 상기 탐색된 신호등의 신호변경이 발생하면, 상기 정보처리모듈(210)이 신호변경을 인식한다. 상기 신호변경의 인식은 상기 신호등의 색상 변경 또는 신호등에 표시된 형상의 변경을 인식하여 수행될 수 있다.

예를 들어, 상기 정보처리모듈(210)이 신호변경을 신호의 색상에 따라 인식한다면, 상기 정보처리모듈(210)이 빨간불을 인식하면 정지신호로 파악하고 녹색불을 인식하면 직진신호로 파악한다. 또한, 상기 정보처리모듈(210)이 신호변경을 기존 신호와 변경된 신호를 함께 고려하여 인식한다면, 빨간불에서 녹색불로 변경되는 경우 직진신호로 인식, 녹색불에서 빨간불로 변경되는 경우 정지신호로 인식, 및 빨간불(또는 노란불) 후에 다시 빨간불(또는 노란불)이 인식되는 경우(즉, 깜박이는 신호등에 해당되는 경우) 주의 진행 신호로 인식한다. 또한, 상기 정보처리모듈(210)이 신호변경을 신호등에 표시된 형상의 변경에 따라 인식한다면 경우, 보행자 신호등에 표시된 정지신호형상 및 보행신호형상을 구분하여 신호를 파악할 수 있다. 또한, 운전자 신호등에서도 직진신호와 회전신호를 인식하기 위해, 각 신호형상을 구분하여 인식할 수 있다. 다만, 상기 탐색된 신호등의 신호변경을 인식하는 방법은 기 제시된 방식에 한정되지 아니하고, 상기 신호등의 색상변경과 상기 신호등에 표시된 신호형상 변경을 함께 적용하는 방법 등 신호등의 신호변경을 인식할 수 있는 다양한 방법이 적용될 수 있다.

상기 신호변경을 사용자에게 알린다(S300). 즉, 신호를 주시하고 있지 않은 보행자 또는 운전자, 보행신호를 확인할 수 없는 시각장애인, 또는 신호 색상을 구분하기 어려운 색각이상인 보행자 또는 운전자에게 신호가 변경되었음을 알려준다.

상기 신호변경의 알림은, 음향출력부(320)에 의한 알림, 디스플레이부(310)에 표시하는 알림, 진동에 의한 알림 중 적어도 하나 이상에 의해 수행될 수 있다.

상기 음향출력부(320)에 의한 알림은, 음향출력부(320)를 통해 신호변경에 해당하는 경고음이 울리거나, 신호변경 메시지를 음성으로 읽어줌으로써 사용자가 인식하도록 구현할 수 있다.

상기 디스플레이부(310)에 표시하는 알림은, 도 2 또는 도 3에서와 같이, 상기 신호변경 정보를 상기 디스플레이부(310)에 메시지로 표시하여 사용자가 인식할 수 있도록 한다. 또한, 상기 디스플레이부(310)에 상기 제1카메라(121)로 스캔한 신호등 이미지를 확대하여 표시할 수 있다.

상기 진동에 의한 알림은 상기 글라스형 웨어러블 디바이스의 진동알람부가 진동을 발생시켜 사용자가 인식할 수 있도록 한다.

다만, 사용자에게 신호변경을 알리는 방법은 기 제시된 방법에 한정되지 않고, 상기 글라스형 웨어러블 디바이스의 상기 출력부를 통해 다양한 방법으로 구현될 수 있다.

또한, 상기 신호변경을 사용자에게 알리는 단계(S300)는, 상기 신호의 유형에 따라 알림방식을 달리하는 것을 특징으로 할 수 있다. 예를 들어, 정지신호는 진동알림으로 사용자에게 알리고, 직진신호는 음향출력에 의해 알릴 수 있다. 또한, 진동신호의 패턴을 신호별로 달리 결정하여, 인식된 신호에 따라 진동패턴을 적용할 수도 있다. 신호의 유형에 따라 알림방식을 정하는 방법은 이에 한정되지 않고, 다양한 조합으로 결정될 수 있다.

또한, 상기 신호변경을 사용자에게 알리는 단계(S300)는, 무선통신을 통해 연동된 외부단말기로 상기 신호변경 정보를 전송하는 단계; 및 상기 연동된 외부단말기에 의해 사용자에게 상기 신호변경을 알리는 단계;를 포함할 수 있다.

먼저, 무선통신을 통해 연동된 외부단말기로 상기 신호변경 정보를 전송한다. 상기 연동된 외부단말기는 사용자가 운행하는 자동차의 디스플레이부(310) 또는 음향출력부(320), 스마트폰 등의 통신기기, 또는 상기 글라스형 웨어러블 디바이스의 부수기재 등을 포함한다. 상기 무선통신부(250)는 상기 신호변경 정보를 상기 연동된 외부단말기로 전송한다.

그 후, 상기 연동된 외부단말기에 의해 사용자에게 상기 신호변경을 알린다. 상기 연동된 외부단말기의 음향출력부(320), 디스플레이부(310), 진동알람부 등에 의해서 상기 신호변경을 사용자가 인식할 수 있도록 한다.

또한, 본 발명의 일실시예는 상기 제1카메라(121)가 영상 또는 이미지를 입력받는 단계; 상기 영상 또는 이미지를 분석하여 상기 글라스형 웨어러블 디바이스의 이용상황을 파악하는 단계; 및 상기 이용상황을 바탕으로, 상기 제1카메라(121)가 인식하여야 할 신호등의 형태 또는 신호의 형태를 결정하는 단계;를 더 포함할 수 있다.

상기 글라스형 웨어러블 디바이스의 사용자가 상기 디바이스를 사용하는 이용상황을 인식하여야 적절한 신호변경 인식이 가능할 수 있다. 예를 들어, 사용자가 보행 중인지, 운전 중인지를 파악하여야 한다. 또한, 국가별로 차량의 통행방향이 달라서 회전신호의 방향이 다를 수 있으므로, 운전 중이라면 우측통행인지, 좌측통행인지 파악하여야 한다.

따라서, 상기 제1카메라(121)가 영상 또는 이미지를 입력받고, 상기 영상 또는 이미지를 통해 운전여부 파악, 및 운전 중에 해당하면 자동차의 통행방향을 인식한다. 파악된 운전여부 및 운전 중 통행방향을 바탕으로, 제1카메라(121)가 인식할 신호등의 형태 또는 신호의 형태를 결정한다. 상기 자동차의 통행방향을 인식하는 방법은 마주 오는 자동차의 위치가 사용자의 차량의 좌측인지 우측인지를 파악하여 인식할 수 있고, 이에 한정되지 않고 상기 자동차의 통행방향을 인식할 수 있는 다양한 방법이 적용될 수 있다.

또한, 상기 사용자가 상기 글라스형 웨어러블 디바이스의 이용모드를 선택하는 단계;를 더 포함할 수 있다. 사용자는 운전모드 또는 보행모드를 선택할 수 있고, 운전모드 중에서 자동차 통행방향을 선택할 수 있다. 뿐만 아니라, 운전 또는 보행하는 국가에 따라 제1카메라(121)가 인식하여야 하는 신호등의 형태를 선택할 수 있다. 상기 사용자 이용모드를 선택하는 방법은, 상기 터치부(114)를 이용하여 터치 조작으로 선택하는 방식, 상기 음성입력부(113)에 의해 사용자의 음성을 입력받아 상기 음성인식부(220)에서 상기 사용자의 음성명령을 인식하는 방식, 상기 제1카메라(121)에 의해 상기 사용자의 제스처를 인식하여 명령입력을 받는 방식, 상기 제2카메라(122)에 의해 사용자의 눈깜박임을 인식하여 명령입력을 받는 방식 중 적어도 하나 이상에 의해서 구현될 수 있다.

도 5는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 신호변경 알림시스템의 구성도이다. 다만, 도 5에 있어서, 기 설명한 구성에 대한 구체적인 설명은 생략하기로 한다.

본 발명의 다른 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 신호변경 알림시스템은, 제1카메라(121); 정보처리모듈(210); 저장부(260); 및 알람부(330);를 포함한다.

상기 제1카메라(121)는, 도 4에 도시된 바와 같이, 상기 글라스형 웨어러블 디바이스의 전면부에 부착되어 사용자의 진행방향에 위치한 신호등을 탐색하고, 신호등이 포함된 영상 또는 이미지를 입력받는 기능을 수행한다.

상기 정보처리모듈(210)은 상기 제1카메라(121)에 의해 입력받은 상기 영상 또는 이미지를 통해 상기 탐색된 신호등의 신호변경을 인식하는 기능을 수행한다. 상기 신호변경의 인식은 상기 신호등의 색상 변경 또는 신호등에 표시된 형상의 변경을 인식하여 수행될 수 있다. 다만, 상기 탐색된 신호등의 신호변경을 인식하는 방법은 기 제시된 방식에 한정되지 아니하고, 상기 신호등의 색상변경과 상기 신호등에 표시된 신호형상 변경을 함께 적용하는 방법 등 신호등의 신호변경을 인식할 수 있는 다양한 방법이 적용될 수 있다.

상기 저장부(260)는 상기 정보처리모듈(210)이 인식하여야 하는 신호 유형 및 상기 신호 유형에 따른 알림 방식을 저장하는 기능을 수행한다. 예를 들어, 상기 정보처리모듈(210)이 인식하여야 하는 신호 유형은 운전 중이면 정지신호, 직진신호, 좌회전(또는 우회전)신호, 깜빡임신호(주의신호), 직진 및 회전신호 외의 주행신호가 포함될 수 있고, 보행 중이면 정지신호, 보행신호, 보행 신호의 깜박임 신호가 포함될 수 있다. 또한, 저장부(260)는 사용자가 보행 중인 경우, 정지신호이면 음향출력에 의한 알림, 보행신호이면 디스플레이 표시에 의한 알림, 보행신호의 깜박임 신호이면 진동알림과 같이 상기 신호 유형에 따른 알림 방식을 저장할 수 있다. 저장된 상기 신호 유형 및 상기 신호 유형에 따른 알림 방식은 이에 한정되지 않고, 다양한 유형 및 방식으로 정해져서 저장부(260)에 저장될 수 있다.

상기 알람부(330)는 상기 신호변경을 사용자에게 알리는 기능을 수행한다. 특히, 상기 알람부(330)는, 상기 음향출력부(320), 상기 햅틱모듈, 상기 진동알람부 중 적어도 하나 이상을 포함할 수 있다.

또한, 본 발명의 일실시예는 상황평가모듈(230);을 더 포함할 수 있다. 상기 상황평가모듈(230)은 상기 글라스형 웨어러블 디바이스의 이용상황을 파악하고, 상기 이용상황을 바탕으로 상기 제1카메라(121)가 인식하여야 할 신호등의 형태 또는 신호의 형상를 결정하는 기능을 수행한다.

또한, 디스플레이부(310);를 더 포함할 수 있다. 상기 디스플레이부(310)는 상기 정보처리모듈(210)에 의해 상기 신호변경이 인식되는 경우, 상기 제1카메라(121)로 스캔한 신호등을 확대하여 표시하고, 상기 신호변경 정보을 메시지로 표시하는 기능을 수행한다.

또한, 상기 터치부(114);를 더 포함할 수 있다. 상기 터치부(114)는 사용자가 상기 글라스형 웨어러블 디바이스 사용모드를 선택할 수 있도록 조작 인터페이스를 제공하는 기능을 수행한다. 상기 터치부(114)는 상기 글라스형 웨어러블 디바이스의 일측에 구비될 수 있고, 상기 디스플레이부(310)와 결합되는 경우에는 터치스크린으로 구현될 수 있다. 사용자는, 상기 터치부(114)가 상기 디바이스의 일측에 구비된 경우, 상기 터치부(114)를 조작하는 횟수에 따라 선택하도록 할 수 있다. 또한, 터치스크린의 형태인 경우, 사용자는 디스플레이부(310) 상의 해당 모드가 표시된 부분을 터치하여 원하는 모드를 선택할 수 있다. 다만, 터치부(114)에 의한 사용모드 선택 방식은 이에 한정되지 않고, 터치부(114)를 슬라이드는 하는 방향에 따른 모드를 선택할 수 있도록 하는 등의 상기 터치부(114)로 구현할 수 있는 다양한 방식이 적용될 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

100 : 시스템 110 : 사용자입력부
111 : 어플리케이션 112 : 키보드
113 : 음성입력부 114 : 터치패드
115 : GPS신호부 116 : 근거리통신
120 : 카메라부 121 : 제1카메라
122 : 제2카메라 123 : 제3카메라
130 : 센싱부 131 : 자이로센서
132 : 가속도센서 133 : 압력센서
134 : 홍채인식센서 135 : 심박검출센서
136 : 근전도센서
210 : 정보처리모듈 220 : 음성인식부
230 : 상황평가모듈 240 : 음성-텍스트변환모듈(240)
250 : 무선통신부 260 : 메모리
270 : 인터페이스부
300 : 출력부 310 : 디스플레이부
320 : 음향출력부 330 : 알람부
340 : 햅틱모듈

Claims

글라스형 웨어러블 디바이스가 신호변경을 인식하여 사용자에게 알림을 제공하는 방법에 있어서,
상기 글라스형 웨어러블 디바이스가 전방의 영상 또는 이미지를 획득하는 제1단계;
상기 영상 또는 이미지를 분석하여 상기 글라스형 웨어러블 디바이스를 사용하는 사용자가 보행중 또는 운전중인지에 대한 이용상황을 인식하는 제2단계;
상기 인식된 이용상황을 바탕으로, 보행중 또는 운전중인 경우 각각에 대하여 상기 글라스형 웨어러블 디바이스가 인식할 신호등의 형태 및 신호의 형태를 설정하는 제3단계;
상기 설정된 신호등의 형태에 따라 신호등을 탐색하는 제4단계;
상기 설정된 신호의 형태를 바탕으로, 상기 탐색된 신호등의 신호변경을 인식하는 제5단계; 및
사용자에게 신호변경 알림을 제공하는 제6단계를 포함하며,
상기 제2 단계는, 상기 사용자가 운전중으로 인식되면, 상기 영상 또는 이미지의 분석을 통해 차량의 통행 방향을 추가로 인식하고,
상기 제3 단계는, 상기 통행 방향을 기초로 상기 신호등의 형태 및 상기 신호의 형태를 설정하는 것을 특징으로 하는, 글라스형 웨어러블 디바이스를 이용한 신호변경 알림 제공방법.
삭제
삭제
글라스형 웨어러블 디바이스가 신호변경을 인식하여 사용자에게 알림을 제공하는 시스템에 있어서,
상기 사용자의 전방 영상 또는 이미지를 획득하는 제1카메라;
상기 제1카메라에 의해 획득된 상기 영상 또는 이미지를 분석하여 신호등 탐색 및 상기 신호변경 인식을 수행하는 정보처리부;
상기 글라스형 웨어러블 디바이스를 사용하는 사용자가 보행중인지 운전중인지에 대한 이용상황을 파악하고, 상기 이용상황을 바탕으로 보행중 또는 운전중인 경우의 상기 정보처리부에 의해 탐색될 상기 신호등의 형태 또는 상기 신호의 형태를 설정하는 상황평가부; 및
사용자에게 상기 신호변경 알림을 제공하는 출력부;를 포함하며,
상기 정보 처리부는, 상기 사용자가 운전중으로 인식되면, 상기 영상 또는 이미지의 분석을 통해 차량의 통행 방향을 추가로 인식하고,
상기 상황평가부는, 상기 통행 방향을 기초로 상기 신호등의 형태 및 상기 신호의 형태를 설정하는 것을 특징으로 하는, 글라스형 웨어러블 디바이스를 이용한 신호변경 알림시스템.