KR20170066357A - 보행자 정보 시스템 - Google Patents

보행자 정보 시스템 Download PDF

Info

Publication number
KR20170066357A
KR20170066357A KR1020177007976A KR20177007976A KR20170066357A KR 20170066357 A KR20170066357 A KR 20170066357A KR 1020177007976 A KR1020177007976 A KR 1020177007976A KR 20177007976 A KR20177007976 A KR 20177007976A KR 20170066357 A KR20170066357 A KR 20170066357A
Authority
KR
South Korea
Prior art keywords
user
pedestrian
detected
computer
sensor
Prior art date
Application number
KR1020177007976A
Other languages
English (en)
Other versions
KR102466521B1 (ko
Inventor
다비드 디 센소
스테판 마티
Original Assignee
하만인터내셔날인더스트리스인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하만인터내셔날인더스트리스인코포레이티드 filed Critical 하만인터내셔날인더스트리스인코포레이티드
Publication of KR20170066357A publication Critical patent/KR20170066357A/ko
Application granted granted Critical
Publication of KR102466521B1 publication Critical patent/KR102466521B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N99/005—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008—Earpieces of the supra-aural or circum-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

보행자의 경로에서 위험요소와 관련된 경보를 산만해진 보행자에게 제공할 수 있는 보행자 정보 시스템. 시스템은 오브젝트를 검출하며, 오브젝트가 위험한지 및 보행자가 오브젝트와 충돌할 가능성이 있는지를 결정할 수 있다. 시스템은 그 후 보행자가 식별된 위험요소를 알고 있는지를 보행자의 활동으로부터 결정할 수 있다. 시스템이 보행자가 식별된 위험요소를 알고 있지 않다고 결정한다면, 시스템은 보행자에게 오디오, 시각 및/또는 촉각 경보를 출력할 수 있다.

Description

보행자 정보 시스템{PEDESTRIAN INFORMATION SYSTEM}
관련 출원에 대한 상호-참조
본 출원은 2014년 9월 26일자로 출원된 미국 특허 출원 일련 번호 제14/498,525호의 이득을 주장하며, 이것은 본 명세서에 참고로 편입된다.
보행자는 때때로 그들이 걸을 때 주의를 빼앗긴다. 예를 들면, 몇몇 보행자는 그들이 걸을 때 그들의 셀룰러 전화로부터 이메일, 텍스트 메시지 등을 전송한다. 다른 보행자는 단지 그들이 계속 걷을 때 공상에 잠길 수 있다. 그러나, 보행자가 그들의 환경에 주위를 기울이지 않는다면, 그들은 위험한 오브젝트 및/또는 영역으로 걸어 들어갈 위험에 처하게 된다. 예를 들면, 보행자는 자동차의 경로를 향해 거리로 걸어들어갈 수 있다. 또 다른 예로서, 보행자는 물웅덩이 또는 진흙탕을 디딜 수 있다.
보행자에게 위험요소의 경고를 제공하기 위한 시스템의 다양한 실시예는 보행자의 환경에서 영역 및/또는 오브젝트 중 적어도 하나를 검출할 수 있는 제1 센서를 포함할 수 있다. 시스템은 또한 보행자의 활동을 검출할 수 있는 제2 센서를 포함할 수 있다. 제1 센서 및 제2 센서는 보행자에 의해 착용될 수 있다. 시스템은 보행자의 귀 상에, 그것에, 또는 그것에 대하여 배열될 수 있는 음향 변환기(acoustic transducer)(예로서, 스피커)를 포함할 수 있다. 시스템은 또한 보행자에게 위험요소인 검출된 영역 및 오브젝트 중 적어도 하나를 식별하도록 구성될 수 있는 프로세서를 포함할 수 있다. 상기 프로세서는 또한 보행자의 검출된 활동이 보행자가 검출된 영역 및 오브젝트 중 적어도 하나를 알고 있다는 표시인지를 결정할 수 있다. 검출된 활동이 인식의 표시가 아님을 결정할 때, 프로세서는 검출된 영역 및 오브젝트 중 적어도 하나에 대한 오디오 경고를 음향 변환기로 출력하도록 구성될 수 있다.
보행자에게 위험요소의 경고를 제공하기 위한 헤드폰의 다양한 실시예는 하우징 및 상기 하우징 상에 배열되며 보행자의 귀에 따라서 배치되도록 구성된 적어도 하나의 음향 변환기를 포함할 수 있다. 헤드폰은 보행자의 환경에서 영역 및/또는 오브젝트 중 적어도 하나를 검출할 수 있는 제1 센서를 포함할 수 있다. 헤드폰은 또한 보행자의 활동을 검출할 수 있는 제2 센서를 포함할 수 있다. 헤드폰은 또한 보행자에게 위험요소인 검출된 영역 및 오브젝트 중 적어도 하나를 식별하도록 구성될 수 있는 프로세서를 포함할 수 있다. 상기 프로세서는 또한 보행자의 검출된 활동이 보행자가 검출된 영역 및 오브젝트 중 적어도 하나를 알고 있다는 표시인지를 결정할 수 있다. 검출된 활동이 인식의 표시가 아님을 결정할 때, 상기 프로세서는 검출된 영역 및 오브젝트 중 적어도 하나에 대한 오디오 경고를 적어도 하나의 음향 변환기로 출력하도록 구성될 수 있다.
모니터링 서비스를 제공하기 위한 컴퓨터-프로그램 제품의 다양한 실시예는 컴퓨터-판독 가능한 프로그램 코드가 내장된 비-일시적 컴퓨터-판독 가능한 매체를 포함할 수 있다. 프로그램 코드는 보행자에게 위험요소인 오브젝트 및 영역 중 적어도 하나를 식별하기 위해 보행자의 환경의 디지털 이미지를 분석하도록 구성될 수 있다. 상기 프로그램 코드는 또한 보행자의 활동에 대한 수신된 정보를 분석하며 검출된 활동이 보행자가 검출된 오브젝트 및 영역 중 적어도 하나를 알고 있다는 표시인지를 결정하기 위해 구성될 수 있다. 상기 프로그램 코드는 또한 활동이 보행자가 검출된 오브젝트 및 영역 중 적어도 하나를 알고 있다는 표시가 아님을 결정할 때 가청 경고를 음향 변환기로 출력하도록 구성될 수 있다.
도 1a는 헤드폰의 실시예를 착용한 보행자의 투시도;
도 1b는 스마트 안경 및 헤드폰의 실시예를 착용한 보행자의 투시도;
도 2a는 여기에 설명된 실시예의 시스템 구성요소의 블록도;
도 2b는 프로세서 모듈의 실시예의 상세한 블록도;
도 2c는 환경 센서의 실시예의 상세한 블록도;
도 2d는 보행자 센서의 실시예의 상세한 블록도;
도 3a는 다양한 실시예에 의해 구현된 프로세스에 대한 흐름도;
도 3b는 다양한 실시예에 의해 구현된 또 다른 프로세스에 대한 흐름도;
도 4는 다양한 실시예의 동작을 예시하는 시나리오의 하향식 도면;
도 5a 내지 도 5e는 다양한 실시예의 동작을 예시하는 시나리오의 하향식 도면;
도 5f 내지 도 5k는 다양한 실시예의 동작을 예시하는 시나리오의 하향식 도면; 및
도 6은 다양한 실시예의 동작을 예시하는 또 다른 시나리오의 투시도.
본 개시내용의 실시예는 적어도 하나의 센서, 출력 모듈, 및 제어 로직을 포함할 수 있는 디지털 보조 시스템을 포함한다. 센서(들)는 사용자의 주변의 구어, 사운드, 이미지, 및/또는 사용자의 동작과 같은, 사용자의 환경의 하나 이상의 양상을 검출할 수 있다. 예를 들면, 프로세싱 모듈에 포함될 수 있는 제어 로직은 센서(들)에 의해 검출된 양상(들)으로부터 사용자의 활동 및/또는 환경의 콘텍스트를 식별할 수 있다. 그 후, 시스템은 사용자의 활동 및/또는 환경의 식별된 콘텍스트에 관련된 부가적 및/또는 보조적 정보를 사전에 검색하며 검색된 정보를 사용자에게 사전에 제공할 수 있다.
도 1은 헤드폰(100)에 배열된 보행자 수호 천사의 실시예를 예시한다. 도 2a 내지 도 2d는 헤드폰(100)에 및/또는 그것 상에 배열될 수 있는 다양한 구성요소를 예시한다. 헤드폰(100)은 하우징(104) 및 음향 변환기(106)(예로서, 스피커)를 포함할 수 있다. 다양한 실시예에서, 음향 변환기(106)는 귀에 걸치는(귀걸기식(supra-aural)) 또는 귀-주위에 있는(귀덮개식(circum-aural)) 헤드폰을 포함할 수 있으며, 하우징(104)은 음향 변환기(106)를 지지하며 보행자의 머리 위에 끼우는 헤드밴드를 포함할 수 있다. 다양한 실시예에서, 음향 변환기(106)는 귀-안 음향 변환기(예로서, 이어 버드)를 포함할 수 있으며, 하우징(104)은 스피커 케이블 또는 무선 연결(예로서, 블루투스(등록상표))을 통해 음향 변환기(106)에 연결된 별개의 유닛을 포함할 수 있다.
하우징(104)은 프로세서 모듈(216) 및 보행자가 그의 환경 및 임의의 위험요소에 주위를 기울이고 있는지를 나타낼 수 있는 보행자의 행동의 양상 및 보행자의 환경을 검출할 수 있는 다양한 센서를 포함할 수 있다. 예를 들면, 하우징(104)은 착용자의 환경의 디지털 이미지를 캡처하는 하나 이상의 바깥을 향한 카메라(220)를 포함할 수 있다. 도 1a에 도시된 실시예에서, 하우징(104)은 보행자의 앞에서, 그것의 뒤에서, 및 그것의 측면으로 디지털 이미지를 캡처할 수 있는 3대의 카메라(208, 210, 및 212)를 포함한다. 하우징의 제2 측면(도 1a에 도시되지 않음)은 보행자의 다른 측면 상에서 이미지를 캡처하기 위해 부가적인 카메라를 포함할 수 있다. 카메라는 가시광 센서, 적외선 센서, 자외선 센서, 열 센서 등 중 하나 이상을 포함할 수 있다.
하우징(104)은 또한 보행자의 환경으로부터 사운드를 캡처할 수 있는 외부 마이크로폰(222)을 포함할 수 있다. 도 1a에 도시된 실시예에서, 하우징(104)은 하우징(104)의 반대 측면 상에 제1 마이크로폰(214) 및 제2 마이크로폰을 포함할 수 있다. 둘 이상의 마이크로폰(222)을 제공함으로써, 프로세서 모듈(202)은 양쪽 마이크로폰에 의해 검출된 사운드를 분석하며 사운드의 소스에 상대 방위를 제공할 수 있을 것이다.
하우징(104)은 보행자의 환경의 양상을 검출하는 부가적인 센서를 포함할 수 있다. 예를 들면, 하우징(104)은 보행자의 위치를 검출할 수 있는 전역적 위치 결정 시스템(GPS) 모듈(224)을 포함할 수 있다. 여기에서 주지된 바와 같이 GPS는 일반적으로 GPS, GLONASS, 갈릴레오(Galileo), 베이더우(BeiDou) 등을 포함하는, 임의의 및/또는 모든 전역적 내비게이션 위성 시스템을 나타낸다. GPS 모듈은 또한 보행자의 이동 방향 및 이동 속도를 산출할 수 있다. 하우징(104)은 또한, 예를 들면, 공중에서의 화학 물질을 검출하기 위한 에어 스니퍼(air sniffer), 레이저-거리 측정 센서, 및 초음파 센서와 같은, 다른 센서를 포함할 수 있다.
하우징(104)은 또한 보행자의 활동 및/또는 행동의 양상을 검출하는 센서를 포함할 수 있다. 예를 들면, 도 1b에 예시된 바와 같이, 다양한 실시예는 보행자-지향 카메라(230)를 포함할 수 있다. 도 1b에서, 보행자-지향 카메라(들)(164)는 보행자의 눈(들)(162)을 보기 위해 아이웨어(150)의 프레임(154) 또는 렌즈(160)에 장착될 수 있다. 보행자-지향 카메라(164)는 보행자의 눈 맞춤의 방향을 검출할 수 있다. 하우징(104)은 또한 보행자의 머리의 움직임 및 위치(예로서, 어떤 방향으로 보행자가 그의 머리를 돌리는지 및 그의 머리가 향하는 방향)를 검출할 수 있는 센서(예로서, 가속도계(232) 및 위치 센서(234))를 포함할 수 있다. 하우징(104)은 또한 자극되는 보행자의 뇌의 뇌파 및/또는 위치를 검출할 수 있는 뇌 활동 센서(236)를 포함할 수 있다. 뇌 활동 센서(236)의 예는 Emotiv(등록상표) EPOC(등록상표) 뉴로헤드셋(neuroheadset), NeuroSky(등록상표) 바이오센서, 및 Freer Logic Bodywave(등록상표) 센서를 포함할 수 있다.
계속해서 도 1b를 참조하면, 아이웨어(150)의 실시예는 보행자의 머리(102) 상에서의 귀에 따라서 배열된 음향 변환기(156)를 포함할 수 있다. 예를 들면, 음향 변환기(156)는 아이웨어 프레임(154)으로부터 연장되는 버팀대(158) 상에 장착될 수 있다.
이제 도 2a 내지 도 2d를 참조하면, 시스템(200)의 다양한 실시예에서, 다양한 보행자 센서(206) 및 환경 센서(208)는 보행자의 환경에서 위험한 오브젝트 및/또는 영역을 검출하기 위해 및 보행자가 검출된 위험한 오브젝트 및/또는 영역을 알고 있는지를 결정하기 위해 프로세서 모듈(202)과 통신할 수 있다. 예를 들면, 보행자는 그의 스마트폰 등에 의해 주의를 빼앗길 수 있으며 그가 걷고 있는 곳에 주위를 기울이지 않을 수 있다. 프로세서 모듈(202)이 하나 이상의 위험한 오브젝트 및/또는 영역을 검출하며(환경 센서(208)로부터의 입력에 기초하여) 보행자가 위험요소를 알지 못한다고 결정하는(환경 센서 및/또는 보행자 센서에 기초하여) 인스턴스에서, 프로세서 모듈(202)은 음향 변환기(204)를 통해 가청 경고를 출력할 수 있다. 다양한 실시예에서, 프로세서 모듈(202)은 검출된 위험요소의 방향에서 비롯된 것으로서 보행자가 지각하는 가청 경고를 제공하기 위해 상이한 음향 변환기(204)(예로서, 보행자의 좌측 귀에서의 음향 변환기 및 보행자의 우측 귀에서의 음향 변환기)로 송신된 가청 경고를 조정한다. 다양한 실시예에서, 시스템은 또한, 보행자에게 위험요소의 진동 경고를 제공하기 위해, 진동 모터와 같은, 촉각 피드백 모듈을 포함할 수 있다.
다양한 실시예에서, 시스템(200)의 다양한 구성요소는 하드웨어의 다수의 물리적 조각 중에서 분리될 수 있다. 예를 들면, 프로세서 모듈(202)은 스마트폰에서 제공될 수 있다. 예를 들면, 스마트폰은 여기에서 설명된 프로세스 및/또는 알고리즘을 수행하는 애플리케이션을 포함할 수 있다. 다양한 환경 센서(208)가 스마트폰에 포함될 수 있다(예로서, 외부 카메라 및 눈 추적 카메라, GPS 수신기 등). 음향 변환기(204)는 스피커 유선 또는 무선 연결을 통해 스마트폰에 연결되는 이어버드 또는 헤드폰에 통합될 수 있다. 착용자 센서는 스마트폰에, 음향 변환기를 포함하는 하우징, 또는 별개의 하우징(예로서, 보석류, 의류 등에서의 하우징)에 통합될 수 있다.
다양한 실시예에서, 프로세서 모듈(202)은 컴퓨터 프로세서(210) 및 메모리(212)를 포함할 수 있다. 프로세서(210)는 메모리(212)에 저장된 알고리즘을 실행할 수 있다. 프로세서(210)는 또한 위험요소를 검출 및/또는 식별하며 보행자가 검출된 위험요소를 알고 있는지를 결정하기 위해 수신된 센서 데이터(보행자 센서(206) 및 환경 센서(208)로부터)를 분석할 수 있다. 프로세서(210)는 또한 음향 변환기(204)로 가청 경고를 출력할 수 있다. 예를 들면, 프로세서(210)는 보행자가 찾는 것을 알도록 위험요소의 기술적 경고를 제공하기 위해 텍스트-음성(text-to-speech) 변환을 수행할 수 있다. 또한, 상기 설명된 바와 같이, 프로세서(210)는 위험요소의 위치로부터 비롯된 것으로서 보행자에 의해 지각되는 가청 스테레오 경고를 제공하기 위해 상이한 음향 변환기로 상이한 출력을 제공할 수 있다.
메모리(212)는 프로세서(210)에 의해 실행된 다양한 알고리즘을 포함할 수 있다. 메모리(212)는 또한 오브젝트 인식 데이터베이스 및/또는 지리-참조 위험요소 맵을 포함할 수 있다. 오브젝트 인식 데이터베이스는 차량, 보도상에서의 시 소유 쓰레기통 등과 같은, 알려진 위험한 오브젝트의 이미지를 포함할 수 있다. 오브젝트 인식 데이터베이스는 또한 위험 요소가 아닌 알려진 오브젝트의 이미지를 포함할 수 있다. 프로세서(210)는 위험요소일 수 있는 환경에서 오브젝트를 식별하기 위해 오브젝트 인식 데이터베이스에 수신된 이미지를 비교할 수 있다. 지리-참조 위험요소 맵은 보도에서의 가로등 또는 거리 간판과 같은, 알려진, 제자리에 고정된 위험요소의 위치를 포함할 수 있다.
여기에서 사용된 바와 같이, 용어 "위험요소"는 보행자가 그것들과 충돌한다면, 보행자를 다치게 할 수 있는 보행자의 환경에서의 오브젝트 및/또는 영역(예로서, 자동차, 자전거, 다른 보행자, 쓰레기통 등)을 포함할 수 있다. "위험요소"는 또한 보행자가 접촉하게 되는 것을 싫어할 보행자의 환경에서의 오브젝트 및/또는 영역(예로서, 큰 물웅덩이, 진흙탕, 보도에서의 개 배설물 등)을 포함할 수 있다. 다양한 인스턴스에서, 시스템(200)은 보행자가 불쾌하다고 여기는 것을 결정하기 위해 기계 학습 등을 이용할 수 있다. 예를 들면, 보행자가 지속적으로 물웅덩이 주위를 돌면, 시스템(200)은 보행자가 물웅덩이를 불쾌한 것으로 여긴다고 결정할 수 있다. 다양한 실시예에서, 시스템(200)은 다수의 보행자에 의해 수집되어 온(예로서, 군중 제공) 저장된 불쾌한 오브젝트 및/또는 영역의 데이터베이스를 액세스할 수 있다. 예를 들면, 다양한 실시예에서, 시스템(200)은 데이터베이스를 국소적으로 다운로드하고 저장할 수 있다. 다양한 실시예에서, 시스템(200)은 데이터 트랜시버(예로서, Wi-Fi 또는 셀룰러 데이터 연결)로 원격 컴퓨터 시스템과 통신함으로써 원격 컴퓨터 시스템상에서의 데이터베이스를 액세스할 수 있다.
도 3a는 보행자에게 경고를 제공하기 위해 프로세서(210)에 의해 구현될 수 있는 프로세스(300)의 실시예를 예시한다. 블록(302)에서, 프로세서 모듈(210)은 외부 카메라(220)로부터 하나 이상의 이미지를 수신하며 수신된 이미지에서 오브젝트 및/또는 영역을 식별할 수 있다. 또한, 프로세서(210)는 보행자의 위치를 결정하며(예로서, GPS 모듈(224)을 사용하여) 지리-참조 위험요소 맵 데이터베이스에 저장된 위험요소를 식별할 수 있다.
블록(304)에서, 프로세서는 검출된 오브젝트 및/또는 영역이 위험요소인지를 결정할 수 있다. 보행자가 지리-참조 위험요소 맵 데이터베이스에 저장된 알려진 위험요소에 접근하고 있다면, 검출된 오브젝트 및/또는 영역은 위험요소이다. 외부 카메라(들)(220)로부터 수신된 이미지에서 검출된 오브젝트 및/또는 영역에 대해, 프로세서(210)는 오브젝트 및/또는 영역이 위험요소인지를 결정하기 위해 검출된 오브젝트 및/또는 영역을 분석할 수 있다. 예를 들면, 프로세서(210)는 검출된 오브젝트 및/또는 영역이 알려진 위험한 오브젝트 및/또는 영역의 이미지와 일치하는지를 보기 위해 오브젝트 인식 데이터베이스에 검출된 오브젝트 및/또는 영역을 비교할 수 있다. 프로세서(210)는 또한 그것의 크기를 결정하기 위해 검출된 오브젝트를 분석할 수 있다. 보도상에서의 츄잉 껌 종이와 같은, 작은 오브젝트는 위험 요소가 아닐 수 있다. 반대로, 시 소유 쓰레기통과 같은, 큰 오브젝트는 위험요소일 수 있다. 프로세서(210)는 또한 검출된 오브젝트의 및/또는 영역의 적외선 및/또는 자외선 특징(signature)을 분석할 수 있다. 예를 들면, 보도상에서의 물 웅덩이는 물웅덩이를 둘러싸는 마른 보도와 또는 단지 젖은 보도의 부분과 상이한 적외선 특징을 가질 수 있다. 유사하게, 프로세서(210)는 검출된 오브젝트의 반사율을 분석할 수 있다. 상기 예에서, 물웅덩이는 마른 포장 지역 또는 단지 젖은 포장 지역과 상이한 반사율을 가질 수 있다.
블록(304)에서, 프로세서(210)가 분석된 오브젝트 및/또는 영역이 위험요소가 아니라고 결정한다면, 프로세스(300)는 보행자가 이동함에 따라 부가적인 오브젝트 및/또는 영역을 검출하기 위해 블록(302)으로 되돌아갈 수 있다. 프로세서(210)가 분석된 오브젝트 및/또는 영역이 위험요소라고 결정한다면, 프로세스(300)는 보행자가 오브젝트 및/또는 영역과 충돌 노선에 있는지를 결정하기 위해 블록(306)으로 이동할 수 있다. 블록(306)에서, 프로세서(306)는 보행자가 검출된 위험한 오브젝트 및/또는 영역과 충돌 노선에 있는지를 결정하기 위해 다양한 센서로부터의 데이터를 분석할 수 있다. 예를 들면, 프로세서(210)는 보행자의 궤적(예로서, 이동의 속도 및 방향) 및/또는 오브젝트가 움직이고 있다면(예로서, 도로를 따라 주행하는 자동차) 오브젝트의 궤적을 산출할 수 있다. 다양한 실시예에서, 프로세서(210)는 보행자 및 검출된 위험한 오브젝트 및/또는 영역 사이에서의 상대적 궤적을 산출할 수 있다. 예를 들면, 다양한 실시예에서, 프로세서(210)는 보행자에 대해 검출된 위험한 오브젝트 및/또는 영역의 상대적 궤적을 산출하기 위해 외부 카메라(들)(220)로부터 수신된 연속 디지털 이미지를 분석할 수 있다. 예를 들면, 검출된 위험한 오브젝트 및/또는 영역의 디지털 이미지가 연속 디지털 이미지에서 점점 더 커진다면, 오브젝트는 점점 더 가까워진다. 또한, 검출된 위험한 오브젝트 및/또는 영역의 디지털 이미지가 연속 디지털 이미지에서 거의 변하지 않는다면, 검출된 위험한 오브젝트 및/또는 영역은 보행자를 향해 바로 움직이고 있을 수 있다. 반대로, 검출된 위험한 오브젝트 및/또는 영역이 연속 디지털 이미지에서 점점 더 작아지고 및/또는 오브젝트 및/또는 영역이 연속 디지털 이미지에서 거의 정지되지 않았다면, 오브젝트 및/또는 영역은 보행자로부터 떨어져 이동 중이거나 또는 보행자와의 충돌을 야기하지 않을 상대적 궤적을 따라 이동 중일 수 있다. 프로세서(210)는 또한 검출된 위험한 오브젝트 및/또는 영역 및 보행자 사이에서의 상대적 궤적이 충돌을 야기할 가능성이 있는지를 결정하기 위해 사용될 수 있는 다른 센서 데이터를 수신할 수 있다. 예를 들면, 상기 논의된 바와 같이, 시스템(200)은 레이저-거리 측정 센서, 모션 검출기, 및/또는 초음파 센서를 포함할 수 있다. 프로세서(210)는 검출된 오브젝트 및/또는 영역의 이동의 범위 및/또는 상대적 방향을 산출하기 위해 이들 센서로부터 수신된 데이터를 사용할 수 있다. 블록(306)에서, 프로세서(210)가 보행자 및/또는 검출된 위험한 오브젝트 및/또는 영역이 충돌 노선에 있지 않다고 결정한다면, 프로세스(300)는 블록(302)으로 되돌아갈 수 있다.
블록(306)에서, 프로세서(210)가 보행자 및/또는 검출된 위험한 오브젝트 및/또는 영역이 충돌 노선에 있다고 결정한다면, 프로세스(300)는 블록(308)으로 진행할 수 있으며, 여기에서 프로세서(210)는 보행자가 검출된 위험한 오브젝트 및/또는 영역을 알고 있는지를 결정한다. 예를 들면, 프로세서(210)는 보행자의 활동을 검출하기 위해 다양한 센서로부터 수신된 데이터를 분석하며 검출된 활동이 보행자가 검출된 위험한 오브젝트 및/또는 영역을 알고 있음을 표시하는지를 결정할 수 있다. 예를 들면, 다양한 실시예에서, 프로세서(210)는 보행자가 애플리케이션(예로서, 사용자 활동)과 상호 작용하고 있음을 표시하는 데이터를 스마트폰 상에서 실행하는 애플리케이션으로부터 수신할 수 있다. 프로세서(210)는 보행자가 애플리케이션과 상호 작용하고 있다면, 보행자가 그의 주변에 주위를 기울이지 않으며 그러므로 검출된 위험한 오브젝트 및/또는 영역을 알지 못한다고 결정할 수 있다. 또 다른 예로서, 프로세서(210)가, 보행자가 거리에 접근함에 따라 그가 양쪽 방향 모두로 보기 위해 그의 머리를 돌린다는 데이터를 가속도계(상기 논의된)로부터 수신한다면, 프로세서(210)는 보행자가 둘러보고 있으며 둘러보기는 보행자가 거리와 같은, 검출된 위험한 오브젝트 및/또는 영역을 알고 있을 수 있다는 표시라고 결정할 수 있다. 또 다른 예로서, 사용자-지향 카메라(230)는 보행자가 다른 곳을 보고 있는지(및 그러므로 그가 가고 있는 곳을 보지 않는)를 결정할 수 있다. 예를 들면, 스마트폰에 내장된 카메라는 보행자의 눈 맞춤을 검출하며 눈 맞춤 정보를 프로세서(210)로 전송할 수 있다. 보행자가 수 초 동안 스마트폰의 스크린으로부터 눈을 떼지 않는다면, 프로세서(210)는 보행자가 스마트폰 스크린상에서의 콘텐트에 의해 주의를 빼앗기며 위험한 오브젝트 및/또는 영역을 알지 못할 수 있다고 결정할 수 있다. 또 다른 예로서, 프로세서(210)가 보행자가 그의 페이스를 변경하였다는(예로서, 그가 거리에 접근할 때 속도를 늦추는) 데이터를 GPS 모듈(224)로부터 수신한다면, 프로세서(210)는 페이스를 늦추는 것이 보행자가 거리(즉, 검출된 위험한 영역)를 알고 있다는 표시라고 결정할 수 있다. 또 다른 예로서, 프로세서(210)는 뇌 활동 센서(들)(236)로부터 데이터를 수신할 수 있다. 다양한 실시예에서, 뇌 활동 센서(들)(236)는 보행자가 위험요소(즉, 뇌의 위험요소 영역)를 알고 있을 때 활성인 보행자의 뇌의 영역에서 뇌 활동을 검출할 수 있다. 이러한 실시예에서, 프로세서(210)가 보행자의 뇌의 위험요소 영역이 활성이라고 결정한다면, 프로세서(210)는 특정한 뇌 활동이 보행자가 검출된 위험한 오브젝트 및/또는 영역을 알고 있다는 표시라고 결정할 수 있다. 다양한 실시예에서, 뇌 활동 센서(들)(236)는 보행자가 특정한 산만한 활동(예로서, 이메일 읽기, 음악 듣기, 및 통화하기)에 참여할 때 활성인 보행자의 뇌의 영역에서 뇌 활동을 검출할 수 있다. 예를 들면, 시스템(200)의 실시예는 상이한 유형의 활동 동안 활성인 보행자의 뇌의 영역을 식별하기 위해 기계 학습을 이용할 수 있다. 시스템(200)이 산만한 활동 동안 활성인 보행자의 뇌의 영역이 활성이라고 결정하는 경우에, 프로세서(210)는 검출된 활동이 보행자가 주의를 빼앗기며 검출된 위험한 오브젝트 및/또는 위험요소를 알지 못할 가능성이 있음을 나타낸다고 결정할 수 있다. 다양한 다른 실시예에서, 뇌 활동 센서(들)(236)는 위험의 인식을 나타내는 뇌 신호를 검출할 수 있다. 이러한 실시예에서, 프로세서(210)가 뇌 신호를 검출한다면, 프로세서(210)는 뇌 활동이 보행자가 위험을 알고 있다는 표시라고 결정할 수 있다. 프로세서(210)가 보행자가 검출된 위험한 오브젝트 및/또는 영역을 알고 있다고 결정하면, 블록(308)에서, 프로세서(210)는 블록(302)으로 되돌아갈 수 있다. 또 다른 실시예에서, 뇌 활동 신호(들)(236)는 보행자가 그의 경로에서 위험한 오브젝트 및/또는 영역을 인식하는 것으로부터 그의 주의를 돌릴 수 있는 활동에 참여함을 나타내는 뇌 신호를 검출할 수 있다. 예를 들면, 다양한 실시예에서, 시스템(200)은 보행자가 특정한 산만한 활동(예로서, 통화하기, 이메일 또는 텍스트 메시지 타이핑하기, 및 그의 스마트폰 상에서 비디오 보기)에 참여할 때 뇌 활동 신호 패턴을 식별하기 위해 기계 학습을 이용할 수 있다. 시스템(200)이 식별된 뇌 활동 신호 패턴을 검출하면, 시스템(200)은 신호 패턴이 보행자가 위험한 오브젝트 및/또는 영역을 보는 것으로부터 그의 주의를 돌릴 수 있는 활동에 참여한다는 표시라고 결정할 수 있다.
프로세서(210)가 보행자가 검출된 위험한 오브젝트 및/또는 영역을 알지 못한다고 결정하면, 프로세서(210)는 프로세스의 블록(310)으로 이동하며 경보를 보행자에게 출력할 수 있다. 경보는 음향 변환기(들)(204)를 통해 플레이되는 가청 경보를 포함할 수 있다. 경보는 위험요소를 설명하는 구어 경고(예로서, "자동차가 당신의 좌측으로부터 접근하고 있다")를 포함할 수 있다. 상기 논의된 바와 같이, 두 개의 음향 변환기(204)를 포함하는 실시예에서, 경보는 검출된 위험요소 및/또는 영역과 동일한 위치에서 비롯되는 것으로서 보행자에 의해 지각되는 스테레오 또는 바이노럴(binaural) 출력을 포함할 수 있다. 시스템(200)이 보행자의 스마트폰 상에서 동작하는 다양한 실시예에서, 경보는 스마트폰의 디스플레이 스크린 상에서의 시각적 경보를 포함할 수 있다. 시각적 경보는 텍스트 경보뿐만 아니라 검출된 위험한 오브젝트 및/또는 영역의 이미지를 포함할 수 있다. 다양한 실시예에서, 시스템(200)은 헤드-장착 디스플레이 디바이스 또는 Google Glass(등록상표)와 같은, 다른 컴퓨터화된 아이웨어와 통신할 수 있으며, 시각적 경보는 보행자의 시야에서의 접안렌즈 상에 디스플레이될 수 있다. 다양한 실시예에서, 경보는 보행자로의 촉각 경보를 포함할 수 있다. 예를 들면, 시스템(200)은 하나 이상의 진동 모터(예로서, 보행자의 스마트폰에서의 진동 모터 또는 보행자에 의해 착용되는 진동 모터)와 통신할 수 있다. 이러한 실시예에서, 경보는 진동 모터의 동작을 포함할 수 있다. 보행자가 다수의 진동 모터를 착용하고 있는 실시예에서, 검출된 위험한 오브젝트 및/또는 영역에 가장 가까운 모터(들)가 보행자에게 위험 요소로의 방향의 표시를 제공하기 위해 동작될 수 있다. 경보가 출력된 후, 프로세스(300)는 블록(302)으로 되돌아갈 수 있다. 보행자가 경고를 인식하며 위험요소를 검출하였다면(블록(308)을 참조하여 상기 논의된 바와 같이), 프로세서(210)는 경보를 재발행하지 않을 것이다(블록(310)에서). 그러나, 보행자가 경보를 무시하고 및/또는 보행자의 활동이 그가 위험요소를 알지 못한다고 표시한다면, 프로세서(210)는 단계(310)가 다시 도달될 때 경고를 반복할 수 있다.
도 3b는 프로세서(210)에 의해 구현될 수 있는 프로세스(320)의 또 다른 실시예를 예시한다. 블록(302)(오브젝트 및/또는 영역 검출하기), 블록(304)(오브젝트 및/또는 영역이 위험한지 결정하기), 블록(306)(보행자가 오브젝트 및/또는 영역과 충돌 노선에 있는지 결정하기), 및 블록(308)(보행자가 오브젝트 및/또는 영역을 알고 있는지 결정하기)은 도 3a에 예시된 프로세스(300)에서와 동일할 수 있다. 도 3b의 프로세스(320)에서, 프로세서(210)는 프로세서(210)가 보행자가 검출된 위험한 오브젝트 및/또는 영역을 알고 있다고 결정한다면 저-레벨 경보를 출력할 수 있다(블록 324). 예를 들면, 저-레벨 경보는 비교적 낮은 볼륨으로 음향 변환기(들)(104)를 통해 플레이된 단일의, 구어 메시지를 포함할 수 있다. 프로세서(210)가 보행자가 검출된 위험한 오브젝트 및/또는 영역을 알지 못한다고 결정하면, 블록(322)에서, 프로세서(210)는 고-레벨 경보를 출력할 수 있다. 예를 들면, 고-레벨 경보는 비교적 높은 볼륨으로 음향 변환기(들)(104)를 통해 플레이된 반복된, 구어 메시지를 포함할 수 있다. 출력된 고-레벨 경보는 또한 부가적인 경보 모드(예로서, 시각적 및/또는 촉각적)를 통합할 수 있다.
도 4, 도 5a, 도 5b, 및 도 6은 시스템(200)의 동작을 예시하는 대표적인 시나리오이다. 도 4를 참조하면, 제1 시나리오(400)에서, 보행자(402)는 화살표(405)의 방향으로 교차로(404)를 향해 보도를 따라 걷고 있다. 여기에서, 시스템은 커브(408)(즉, 잠재적으로 위험한 도로로부터의 경계) 및 통행금지(do-not-walk) 신호(410)(보행자가 통행권을 갖지 않음을 표시하는)를 검출할 수 있다. 시스템(200)은 또한 가까운 차선에서 보행자(402)의 경로를 건너려고 하는 자동차(412)(즉, 잠재적으로 위험한 오브젝트)뿐만 아니라 반대 차선에서 보행자의 경로로 향하고 있는 자동차(414)(즉, 잠재적으로 위험한 오브젝트)를 검출할 수 있다. 더욱이, 시스템(200)은 보행자의 경로에서 돌 수 있는 제1 자동차(418)(즉, 잠재적으로 위험한 오브젝트)에 대한 방향 지시등(418)을 검출하며 보행자의 경로에서 돌 수 있는 제2 자동차(420)(즉, 잠재적으로 위험한 오브젝트)에 대한 방향 지시등(422)을 검출할 수 있다.
시스템(200)은 가까운 차선에서의 자동차(412)가 보행자(402)의 앞에서 건널 것이며 그러므로 위협이 아니라고 결정할 수 있다. 그러나, 시스템은 보행자가 커브(408)를 지나 도로로 계속해서 걷는다면 남아있는 자동차(414, 416, 및 420)가 각각 잠재적으로 보행자(402)와 충돌할 수 있음을 결정할 수 있다. 예를 들면, 보행자(402)가 그가 커브(408)에 접근함에 따라 속도를 낮추고 및/또는 그가 커브(408)에 도달함에 따라 그 주위를 돌아보며 및/또는 눈이 "통행금지" 보행자 천사와 접촉하게 되면, 시스템(200)은 이들 활동이 보행자(402)가 보행자 신호(410)가 "통행금지"를 표시함을 알며 보행자(402)가 자동차(414, 416, 및 420)를 알고 있음을 나타낸다고 결정할 수 있다. 또 다른 예로서, 시스템(200)은 보행자(402)가 위험요소를 알고 있음을 나타내는 뇌의 영역에서의 뇌 활동 또는 뇌 신호를 검출할 수 있다. 또 다른 예로서, 보행자(402)가 속도를 늦추거나 또는 둘러보지 않는다면(예로서, 그가 그의 스마트폰의 스크린을 보고 있기 때문에), 시스템(200)은 보행자(402)에게 발행 경보를 출력할 수 있다. 다양한 실시예에서, 시스템(200)은 자동차의 모두에 대한 일반 경보를 발행할 수 있다(예로서, "경고 - 당신은 거리에 발을 들여놓으려고 하고 있으며 여러 대의 접근하는 자동차가 있다!"). 다양한 실시예에서, 시스템(200)은 자동차의 각각에 대한 별개의 경보를 발행할 수 있다. 시스템(200)은 각각의 위협에 대한 산출된 가능성에 기초하여 경보를 우선순위화할 수 있다. 예를 들면, 보행자(402)가 계속해서 거리로 걸어 들어가는 경우 먼 차선에서 접근하는 자동차(414)가 보행자(402)와 충돌할 가능성이 가장 높다면, 시스템(200)은 먼저 자동차(414)에 대한 경보를 발행할 수 있다. 다양한 실시예에서, 자동차(414)에 대한 경보는 방향을 표시하기 위해 보행자의 우측 귀에서의 음향 변환기(104)를 통해 출력될 수 있다. 시스템(200)은 그 후 보행자(402) 뒤로부터 접근하는 자동차(420)가 다음으로 보행자(402)와 충돌할 가능성이 가장 높다고 결정할 수 있다. 따라서, 시스템(200)은 두 번째로 자동차(420)에 대한 경보를 발행할 수 있다. 다수의 음향 변환기(104)를 포함하는 다양한 실시예에서, 시스템(200)은 보행자(402)가 보행자의 우측 어깨 뒤로부터 오고 있는 것으로서 경보를 지각하도록 경보를 출력할 수 있다. 최종적으로, 시스템(200)은 자동차(416)에 대한 경보를 발행할 수 있다. 다양한 실시예에서, 시스템(200)은 보행자(402)가 똑바로 및 약간 그의 우측으로 오는 것으로 경보를 지각하도록 경보를 출력할 수 있다. 대표적인 경보는 "경고 - 당신은 거리에 발을 들여놓으려고 하고 있으며 당신의 우측으로부터 접근하고 있는 자동차[보행자의 우측에서 온 것으로 지각된], 당신 뒤에서 접근하고 있는 자동차[보행자의 뒤에서 온 것으로 지각된], 및 당신 앞에서 접근하고 있는 자동차[보행자의 앞에서 온 것으로 지각된]가 있다"일 수 있다.
도 5a 내지 도 5k는 보행자(452)가 거리(454)의 커브(456) 사이에서의 횡단보도(458)(이동 방향은 화살표(462)로 표시된다)를 향해 걷고 있을 때 상이한 보행자(452) 행동에 기초한 또 다른 시나리오(450)에서 시스템의 실시예의 동작에서의 차이를 예시한다(도 5a 내지 도 5f에 도시된 바와 같이). 시나리오(450)에서, 횡단보도(458)는 통행/통행금지 신호(460)에 의해 제어된다. 보행자(452)가 횡단보도(458) 및 신호(460)에 접근함에 따라, 시스템(200)의 실시예는 거리(454), 횡단보도(458), 커브(456), 및 신호(460)를 검출할 수 있다. 도 5b 및 도 5g에서, 시스템(200)은 신호(460)가 "통행금지"를 표시하고 있음을 검출할 수 있다. 다양한 실시예에서, 외부 카메라(들)(220)는 신호(460)의 상태(즉, "통행" 또는 "통행금지")를 결정하기 위해 조명될 수 있는 신호(460)의 컬러, 심볼, 및/또는 위치를 검출할 수 있다. 몇몇 인스턴스에서, 시스템(200)은 신호(460)의 상태를 결정하기 위해 마이크로폰(들)(222)을 사용할 수 있다. 예를 들면, 몇몇 신호(460)는 맹인 보행자에게 신호(460)의 상태를 제공하는 오디오 메시지를 방송한다. 마이크로폰(들)(222)은 오디오 방송을 검출할 수 있으며 프로세서(210)는 신호(460)의 상태를 결정하기 위해 검출된 오디오 방송을 분석할 수 있다. 다양한 실시예에서, 시스템(200)은 신호(460)의 상태를 결정하기 위해 신호(460)로부터 방송 메시지를 검출할 수 있는 수신기(예로서, 라디오 신호 수신기)를 포함할 수 있다. 예를 들면, 신호(460)는 그것의 현재 상태(즉, "통행" 또는 "통행금지")를 방송할 수 있으며, 시스템의 수신기는 신호(460)의 상태를 결정하기 위해 방송을 수신할 수 있다. 이 시나리오에서 신호(460)의 상태는 "통행금지"이므로, 시스템(200)은 곧 있을 횡단보도(458)가 위험한 영역이라고 결정할 수 있다. 따라서, 도 5c 및 도 5h에서, 보행자(452)가 커브(456)에 접근함에 따라, 시스템(200)은 보행자(452)가 횡단보도(458) 및 신호(460)의 상태를 알고 있는지를 결정하기 위해 보행자(452)의 활동을 분석한다. 도 5d를 참조하면, 보행자(452)가 화살표(462)의 방향으로 계속해서 걷고 있으며 속도를 늦추지 않는다면, 시스템(200)은 보행자가 횡단보도(454)를 알지 못하며 및/또는 신호(460)의 상태가 "통행금지"임을 알지 못한다고 결정할 수 있다. 시스템(200)은 보행자(452)가 횡단보도(458)에 들어가는 것을 방지하려고 노력하기 위해 보행자(452)에게 경고(예로서, "정지!")를 출력할 수 있다. 경고는 오디오 경고 및/또는 시각적 경고(예로서, 보행자 스마트폰의 디스플레이 스크린상에 디스플레이된 정지 표시의 그림)일 수 있다. 도 5e에서 화살표(460)의 부재에 의해 표시되는 바와 같이, 보행자(452)는 경고에 응답하여 정지할 수 있다. 반대로, 이제 도 5i 내지 도 5j를 참조하면, 시스템(200)이 보행자(452)가 커브(456)에 접근함에 따라 그가 그의 머리를 우측으로(도 5i에서 화살표(466)로 표시된) 및 좌측으로(도 5j에서 화살표(468)로 표시된) 돌리는 것을 검출하면, 시스템(200)은 보행자(452)가 횡단보도(458)를 알고 있으며 또한 신호(460)의 상태가 "통행금지"임을 알고 있다고 결정할 수 있다. 그 결과, 시스템(200)은 보행자가 횡단보도로 계속 갈지라도 경고를 출력하지 않을 수 있다(도 5k에 도시되는 바와 같이).
도 6은 보행자(502)가 보도를 따라 걷고 있으며 헤드폰(504)에 통합된 시스템(200)의 실시예를 착용하고 있는 제3 대표적인 시나리오(500)를 예시한다. 이 시나리오에서, 다양한 오브젝트 및/또는 영역이 보행자의 경로에 있다. 시스템은 보행자(502) 앞에 있는 물웅덩이(510)(영역), 큰 시 소유 쓰레기통(508)(오브젝트), 껌 종이(512)(오브젝트), 및 또 다른 보행자(506)(오브젝트)를 검출할 수 있다. 시스템(200)은 외부 카메라(들)(220)를 사용하여 물웅덩이(510), 쓰레기통(508), 껌 종이(512), 및 다른 보행자(506)를 검출할 수 있다. 또한, 쓰레기통(508)은 메모리(212)에 저장된 지리-참조 위험요소 데이터베이스에 포함될 수 있다. 시스템(200)은 보행자(502)의 앞에 있는 쓰레기통(508)을 식별하기 위해 지리-참조 위험요소 데이터베이스에 보행자(502)의 위치를 비교할 수 있다. 물웅덩이는 주변 포장 지역과 상이한 컬러, 반사율, 적외선 특징 등을 가진 보도상에서의 영역으로서 검출될 수 있다. 메모리(212)에서의 데이터베이스는 물웅덩이와 같은, 다양한 오브젝트 및/또는 영역의 시각적 특성을 포함할 수 있다.
시스템(200)은 다른 보행자(506) 및 큰 쓰레기통(508)이 보행자(502)에게 위험하다고 결정할 수 있다. 달리 말하면, 보행자(502)가 쓰레기통(508) 또는 다른 보행자(506)를 만나게 되면, 보행자(502) 및/또는 다른 보행자(506)는 다칠 수 있다. 시스템은 껌 종이(512)가 매우 작으며 보행자(502)가 그것을 밝을 경우 그가 다치지 않을 것이라고 결정할 수 있다. 물웅덩이(510)는 위험한 것으로 고려되지 않을 수 있다. 그러나, 보행자(502)가 과거에 물웅덩이를 피했다면, 시스템(200)은 보행자(502)가 물웅덩이를 지나 걷기를 원하지 않는다는 것을 인식하기 위해 기계 학습을 이용할 수 있다. 따라서, 시스템(200)은 물웅덩이(510)를 위험요소로 식별할 수 있다.
보행자의 경로는 쓰레기통(508)의 측면을 지나, 물웅덩이(510), 껌 종이(512), 및 다른 보행자(506)로 향할 수 있다. 시스템은 그러므로 보행자가 물웅덩이(510) 및 다른 보행자(506)와 충돌 노선에 있다고 결정할 수 있다. 상기 논의된 바와 같이, 껌 종이(512)는 위험요소가 아니라고 결정되어 왔으며, 따라서 시스템(200)은 보행자(502)가 그것과 충돌 노선에 있는지를 결정하지 않을 수 있다. 시스템은 그 후 보행자(502)가 물웅덩이(510) 및 보행자(506)를 알고 있는지를 결정할 수 있다. 예를 들면, 보행자(502)가 그의 스마트폰을 내려다보고 있지만 그 후 그 앞에 있는 경로에서 위를 본다면, 시스템(200)은 보행자가 물웅덩이(510) 및 다른 보행자(506)를 알고 있다고 결정할 수 있다. 유사하게, 보행자(502)가 물웅덩이(510) 및 보행자(506)를 피하기 위해 그의 경로를 조정한다면, 시스템(200)은 보행자(502)가 물웅덩이(510) 및 다른 보행자(506)를 알고 있다고 결정할 수 있다. 그러나, 보행자(502)가 물웅덩이(510) 및 다른 보행자(506)를 향한 경로 상에 계속 있으며 및/또는 그의 스마트폰에서 눈을 들어 보지 않는다면, 시스템(200)은 보행자(502)가 물웅덩이(510) 및 다른 보행자(506)를 알지 못한다고 결정할 수 있다. 시스템은 그 후 헤드폰(504)에서의 음향 변환기(들)(104)를 통해 경보를 발행할 수 있다. 시스템(200)은 또한 보행자(502)의 스마트폰의 디스플레이 스크린상에 시각적 경보를 발행할 수 있다.
다양한 실시예에서, 시스템(200)은 보행자가 그의 이동 경로에 주위를 기울이지 않고 있음을 다른 사람(예로서, 다른 보행자 및 차량 조작자)에게 알리기 위해 외부 신호를 제공할 수 있을 것이다. 예를 들면, 도 1a에 도시된 하우징(104)은 보행자가 위험한 오브젝트 및/또는 영역과의 임박한 충돌을 알지 못한다면 비추는 하나 이상의 광(예로서, 발광 다이오드)을 포함할 수 있다. 또 다른 예로서, 보행자는 메시지를 디스플레이할 수 있는 표지판(sign)을 착용하고 있을 수 있다. 예를 들면, 보행자가 막 횡단 보도에 들어가려고 하며 주위를 기울이고 있지 않다면, 표지판은 보행자의 동작을 차량 조작자에게 알리기 위해 "거리를 건너는 중"이라고 말하는 메시지를 갖고 조명할 수 있다. 또 다른 예로서, 시스템(200)은 차량이 보행자가 그가 가고 있는 곳에 주위를 기울이지 않는다는 메시지를 차량 조작자에게 디스플레이할 수 있도록 인근의 차량에게 신호를 무선으로 송신할 수 있다. 예를 들면, 차량은 차량에서의 이동 맵 디스플레이상에 메시지를 디스플레이할 수 있다. 시스템(200)이 보행자의 위치를 추적하는 GPS 모듈을 구비한다면, 차량으로 전송된 무선 신호는 차량 맵 디스플레이가 차량에서의 맵 상에 보행자의 위치를 보여줄 수 있도록 보행자의 위치를 포함할 수 있다.
상기 설명된 다양한 실시예는 보행자의 경로에서 위험한 오브젝트 및/또는 영역을 인식하기 위해 하나 이상의 센서 및 컴퓨터 프로세싱을 제공할 수 있다. 센서 및 컴퓨터 프로세싱은 보행자가 그의 주변에 주위를 기울이고 있는지 및 검출된 위험한 오브젝트 및/또는 영역을 알고 있을 가능성이 있는지를 추가로 결정할 수 있다. 있음직한 보행자가 주위를 기울이고 있지 않다면, 컴퓨터 프로세싱은 위험한 오브젝트 및/또는 영역을 그에게 알리기 위해 보행자에게 경보 및/또는 경고를 출력할 수 있다. 이러한 경보 및/또는 경고를 전송함으로써, 여기에서 설명된 실시예는 수호 천사로서 동작하여, 보행자가 주의를 빼앗기고 그의 주변에 주위를 기울이지 않을 때 위험한 오브젝트 및/또는 영역으로 부주의하게 걸어 들어가는 것으로부터 그를 보호한다.
본 발명의 다양한 실시예에 대한 설명은 예시의 목적을 위해 제공되어 왔지만, 철저하거나 또는 개시된 실시예에 제한되도록 의도되지 않는다. 많은 수정 및 변화가 설명된 실시예의 범위 및 사상으로부터 벗어나지 않고 이 기술분야의 숙련자에게 명백할 것이다. 여기에서 사용된 용어는 실시예의 원리, 실질적 응용 또는 시장에서 발견된 기술에 대한 기술적 개선을 가장 잘 설명하기 위해, 또는 이 기술분야의 다른 숙련자가 여기에 개시된 실시예를 이해할 수 있게 하기 위해 선택되었다.
본 발명은 시스템, 방법, 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 프로세서가 본 발명의 양상을 실행하게 하기 위한 컴퓨터-판독 가능한 프로그램 지시를 가진 컴퓨터-판독 가능한 저장 매체(또는 미디어)를 포함할 수 있다.
컴퓨터-판독 가능한 저장 매체는 지시 실행 디바이스에 의한 사용을 위해 지시를 보유하며 저장할 수 있는 유형의 디바이스일 수 있다. 컴퓨터-판독 가능한 저장 매체는, 예를 들면, 이에 제한되지 않지만, 전자 저장 디바이스, 자기 저장 디바이스, 광학 저장 디바이스, 전자기 저장 디바이스, 반도체 저장 디바이스, 또는 앞서 말한 것의 임의의 적절한 조합일 수 있다. 컴퓨터-판독 가능한 저장 매체의 보다 특정한 예의 비-철저한 리스트는 다음을 포함한다: 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독-전용 메모리(ROM), 삭제 가능한 프로그램 가능 판독-전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대용 컴팩트 디스크 판독-전용 메모리(CD-ROM), 디지털 다목적 디스크(DVD), 메모리 스틱, 및 앞서 말한 것의 임의의 적절한 조합. 여기에서 사용된 바와 같이, 컴퓨터-판독 가능한 저장 매체는 라디오 파 또는 다른 자유롭게 전파하는 전자기파, 도파관 또는 다른 송신 미디어(예로서, 광섬유 케이블을 통과하는 광 펄스)를 통해 전파하는 전자기파, 또는 와이어를 통해 송신되는 전기 신호와 같은, 일시적 신호 자체인 것으로 해석되지 않는다.
여기에서 설명된 컴퓨터-판독 가능한 프로그램 지시는 컴퓨터-판독 가능한 저장 매체로부터 각각의 컴퓨팅/프로세싱 디바이스로 또는 네트워크, 예를 들면, 인터넷, 근거리 네트워크, 광역 네트워크 및/또는 무선 네트워크를 통해 외부 컴퓨터 또는 외부 저장 디바이스로 다운로드될 수 있다. 네트워크는 구리 송신 케이블, 광 송신 파이버, 무선 송신, 라우터, 방화벽, 스위치, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함할 수 있다. 각각의 컴퓨팅/프로세싱 디바이스에서 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터-판독 가능한 프로그램 지시를 수신하며 각각의 컴퓨팅/프로세싱 디바이스 내에서 컴퓨터-판독 가능한 저장 매체에서의 저장을 위해 컴퓨터-판독 가능한 프로그램 지시를 포워딩한다.
본 발명의 동작을 실행하기 위한 컴퓨터-판독 가능한 프로그램 지시는 어셈블러 지시, 지시-세트-아키텍처(ISA) 지시, 기계 지시, 기계 의존적 지시, 마이크로코드, 펌웨어 지시, 상태-설정 데이터, 또는 자바, 스몰토크(Smalltalk), C++ 등과 같은 객체 지향 프로그래밍 언어, 및 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은 종래의 절차형 프로그래밍 언어를 포함하여, 하나 이상의 프로그래밍 언어의 임의의 조합으로 기록된 소스 코드 또는 오브젝트 코드일 수 있다. 컴퓨터-판독 가능한 프로그램 지시는 전체적으로 사용자의 컴퓨터에서, 부분적으로 사용자의 컴퓨터에서, 독립형 소프트웨어 패키지로서, 부분적으로 사용자의 컴퓨터에서 및 부분적으로 원격 컴퓨터에서 또는 전체적으로 원격 컴퓨터 또는 서버에서 실행할 수 있다. 후자의 시나리오에서, 원격 컴퓨터는 근거리 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하여, 임의의 유형의 네트워크를 통해 사용자의 컴퓨터에 연결될 수 있거나, 또는 연결은 외부 컴퓨터에 대해 이루어질 수 있다(예를 들면, 인터넷 서비스 제공자를 사용하여 인터넷을 통해). 몇몇 실시예에서, 예를 들면, 프로그램 가능한 로직 회로, 필드-프로그램 가능한 게이트 어레이(FPGA), 또는 프로그램 가능한 로직 어레이(PLA)를 포함한 전자 회로는 본 발명의 양상을 수행하기 위해, 전자 회로를 개인화하도록 컴퓨터-판독 가능한 프로그램 지시의 상태 정보를 이용함으로써 컴퓨터-판독 가능한 프로그램 지시를 실행할 수 있다.
이들 컴퓨터-판독 가능한 프로그램 지시는 기계를 생성하기 위해 범용 컴퓨터, 특수 목적 컴퓨터, 또는 다른 프로그램 가능한 데이터 프로세싱 장치의 프로세서에 제공될 수 있으며, 따라서, 컴퓨터 또는 다른 프로그램 가능한 데이터 프로세싱 장치의 프로세서를 통해 실행하는 지시는 흐름도 및/또는 블록도 블록 또는 블록들에서 특정된 기능/동작을 구현하기 위한 수단을 생성한다. 이들 컴퓨터-판독 가능한 프로그램 지시는 또한 특정한 방식으로 기능하도록 컴퓨터, 프로그램 가능한 데이터 프로세싱 장치, 및/또는 다른 디바이스에 지시할 수 있는 컴퓨터-판독 가능한 저장 매체에 저장될 수 있으며, 따라서 그 안에 저장된 지시를 가진 컴퓨터-판독 가능한 저장 매체는 흐름도 및/또는 블록도 블록 또는 블록들에 특정된 기능/동작의 양상을 구현하는 지시를 포함한 제조 물품을 포함한다.
컴퓨터-판독 가능한 프로그램 지시는 컴퓨터, 다른 프로그램 가능한 장치 또는 다른 디바이스 상에서 수행될 일련의 동작 단계가 컴퓨터 구현된 프로세스를 생성하게 하기 위해 컴퓨터, 다른 프로그램 가능한 데이터 프로세싱 장치, 또는 다른 디바이스로 로딩될 수 있으며, 따라서 컴퓨터, 다른 프로그램 가능한 데이터 프로세싱 장치, 또는 다른 디바이스 상에서 실행하는 지시는 흐름도 및/또는 블록도 블록 또는 블록들에 특정된 기능/동작을 구현한다.
도면에서 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법, 및 컴퓨터 프로그램 제품의 가능한 구현의 아키텍처, 기능, 및 동작을 예시한다. 이것과 관련하여, 흐름도 또는 블록도에서의 각각의 블록은 특정된 논리 함수(들)를 구현하기 위한 하나 이상의 실행 가능한 지시를 포함하는, 모듈, 세그먼트, 또는 지시의 부분을 나타낼 수 있다. 몇몇 대안적인 구현에서, 블록에 주지된 기능은 도면에서 주지된 순서 외로 발생할 수 있다. 예를 들면, 연속하여 도시된 두 개의 블록은, 사실상, 실질적으로 동시에 실행될 수 있거나, 또는 블록은 때때로, 수반된 기능에 의존하여 역순으로 실행될 수 있다. 블록도 및/또는 흐름도 예시의 각각의 블록, 및 블록도 및/또는 흐름도 예시에서의 블록의 조합은 특정된 기능 또는 동작을 수행하거나 또는 특수 목적 하드웨어 및 컴퓨터 지시의 조합을 실행하는 특수 목적 하드웨어-기반 시스템에 의해 구현될 수 있다는 것이 또한 주의될 것이다.
개시의 실시예는 클라우드 컴퓨팅 기반시설을 통해 최종 사용자에게 제공될 수 있다. 클라우드 컴퓨팅은 일반적으로 네트워크를 통한 서비스로서 확장 가능한 컴퓨팅 리소스의 공급을 나타낸다. 보다 공식적으로, 클라우드 컴퓨팅은 컴퓨팅 리소스 및 그것의 기본 기술 아키텍처(예로서, 서버, 저장 장치, 네트워크) 사이에서의 추상화를 제공하여, 최소 관리 노력 또는 서비스 제공자 상호 작용으로 빠르게 공급되며 방출될 수 있는 구성 가능한 컴퓨팅 리소스의 공유 풀로의 편리한, 온-디맨드 네트워크 액세스를 가능하게 하는 컴퓨팅 능력으로서 정의될 수 있다. 따라서, 클라우드 컴퓨팅은 사용자가 컴퓨팅 리소스를 제공하기 위해 사용된 기본 물리적 시스템(또는 이들 시스템의 위치)을 무시하고 "클라우드"에서의 가상 컴퓨팅 리소스(예로서, 저장 장치, 데이터, 애플리케이션, 및 심지어 완전한 가상화된 컴퓨팅 시스템)를 액세스하도록 허용한다.
통상적으로, 클라우드 컴퓨팅 리소스는 사용 건당 과금(pay-per-use) 기반으로 사용자에게 제공되며, 여기에서 사용자는 사실상 사용된 컴퓨팅 리소스에 대해서만 청구받는다(예로서, 사용자에 의해 소비된 저장 공간의 양 또는 사용자에 의해 인스턴스화된 가상화된 시스템의 수). 사용자는 언제든지, 및 인터넷에 걸쳐 어디든 클라우드에 존재하는 리소스 중 임의의 것을 액세스할 수 있다. 본 개시의 맥락에서, 시스템의 다양한 실시예는 클라우드에 저장되는 지리-참조 위험요소 데이터베이스를 액세스할 수 있다. 다양한 실시예에서, 클라우드 컴퓨팅 환경은 충돌의 가능성을 산출하기 위해 다양한 보행자 및 차량에 대한 보고된 위치 및 궤적 정보를 수신할 수 있다. 클라우드 컴퓨팅 환경은 수반된 보행자 및/또는 차량에게 있음직한 충돌을 보고할 수 있다.
앞서 말한 것은 본 발명의 실시예에 관한 것이지만, 본 발명의 다른 및 추가 실시예가 그것의 기본 범위로부터 벗어나지 않고 고안될 수 있으며, 그것의 범위는 이어지는 청구항에 의해 결정된다.

Claims (20)

  1. 사용자에게 위험요소의 경고를 제공하기 위한 시스템으로서,
    상기 사용자의 환경에서 영역 및 오브젝트 중 적어도 하나를 검출하는 제1 센서;
    상기 사용자의 활동을 검출하는 제2 센서로서, 상기 제1 및 제2 센서는 상기 사용자에 의해 착용 가능한, 상기 제2 센서;
    상기 사용자의 귀에 따라서 배열된 적어도 하나의 착용 가능한 음향 변환기기(acoustic transducer); 및
    프로세서로서,
    검출된 영역 및 검출된 오브젝트 중 적어도 하나에 기초하여 상기 사용자에 대한 위험요소를 식별하고;
    상기 사용자의 검출된 활동이 상기 식별된 위험요소의 상기 사용자에 의한 인식을 표시하는지(나타내는지)를 결정하며; 그리고
    상기 검출된 활동이 상기 식별된 위험요소의 인식을 나타내지 않는다고 결정할 때, 상기 식별된 위험요소에 대한 오디오 경고를 상기 적어도 하나의 음향 변환기에 출력하도록 프로그램된, 상기 프로세서를 포함하는, 사용자에게 위험요소의 경고를 제공하기 위한 시스템.
  2. 제1항에 있어서, 상기 제1 센서는 상기 사용자의 환경에서 오브젝트를 검출하는 이미지 센서를 포함하는, 사용자에게 위험요소의 경고를 제공하기 위한 시스템.
  3. 제1항에 있어서, 상기 제2 센서는 상기 사용자의 시선 방향(eye gaze direction)을 검출하는 이미지 센서를 포함하는, 사용자에게 위험요소의 경고를 제공하기 위한 시스템.
  4. 제3항에 있어서, 상기 프로세서는 상기 검출된 영역 및 상기 검출된 오브젝트 중 적어도 하나로의 방위(bearing)를 추가로 결정하며, 상기 인식의 표시(indication)는 상기 방위의 방향에서 상기 사용자의 검출된 시선 방향을 포함하는, 사용자에게 위험요소의 경고를 제공하기 위한 시스템.
  5. 제1항에 있어서, 상기 제2 센서는 상기 사용자의 머리의 모션 및 위치 중 적어도 하나를 검출하는 적어도 하나의 태도 센서를 포함하는, 사용자에게 위험요소의 경고를 제공하기 위한 시스템.
  6. 제5항에 있어서, 상기 인식의 표시는 상기 식별된 위험요소를 향한 상기 사용자의 머리의 모션 및 위치 중 적어도 하나를 검출하는 것을 포함하는, 사용자에게 위험요소의 경고를 제공하기 위한 시스템.
  7. 사용자에게 위험요소의 경고를 제공하기 위한 헤드폰으로서,
    하우징;
    상기 하우징 상에 배열되며 상기 사용자가 상기 헤드폰을 착용할 때 상기 사용자의 귀에 따라서 배치된 적어도 하나의 음향 변환기;
    상기 사용자의 환경에서 영역 및 오브젝트 중 적어도 하나를 검출하는 제1 센서;
    상기 사용자의 활동을 검출하도록 구성된 제2 센서로서, 상기 제1 센서 및 상기 제2 센서는 상기 하우징에 따라 배열되는, 상기 제2 센서; 및
    프로세서로서,
    검출된 영역 및 검출된 오브젝트 중 적어도 하나에 기초하여 상기 사용자에 대한 위험요소를 식별하고;
    상기 사용자의 검출된 활동이 상기 식별된 위험요소의 상기 사용자에 의한 인식을 나타내는지를 결정하며;
    상기 검출된 활동이 상기 식별된 위험요소의 인식을 나타내지 않는다고 결정할 때, 상기 검출된 영역 및 상기 검출된 오브젝트 중 적어도 하나에 대한 오디오 경고를 상기 적어도 하나의 음향 변환기에 출력하도록 프로그램된, 상기 프로세서를 포함하는, 헤드폰.
  8. 제7항에 있어서, 상기 제2 센서는 상기 사용자의 위치 및 상기 사용자의 이동 속도 중 적어도 하나를 산출하는, 헤드폰.
  9. 제8항에 있어서, 상기 인식의 표시는 상기 사용자의 이동 속도에서의 검출된 변화를 포함하는, 헤드폰.
  10. 제7항에 있어서, 상기 제2 센서는 상기 사용자의 뇌 활동을 검출하는, 헤드폰.
  11. 제10항에 있어서, 상기 인식의 표시는 뇌 활동에서의 검출된 변화를 포함하는, 헤드폰.
  12. 제7항에 있어서, 상기 제1 센서는 상기 사용자의 환경에서 적어도 하나의 오브젝트의 연속 이미지를 캡처하는 이미지 센서를 포함하며, 오브젝트를 검출할 때, 상기 프로세서는 상기 오브젝트 및 상기 이미지 센서 사이에서의 상대적 궤적을 산출하도록 추가로 프로그램되며, 상기 상대적 궤적이 충돌 궤적이라고 결정할 때, 상기 오브젝트를 위험요소로 식별하는, 헤드폰.
  13. 제7항에 있어서, 상기 적어도 하나의 음향 변환기는 상기 사용자가 상기 헤드폰을 착용할 때 상기 사용자의 우측 귀에 따라 배열된 제1 음향 변환기 및 상기 사용자의 좌측 귀에 따라 배열된 제2 음향 변환기를 포함하며, 상기 프로세서는 또한,
    상기 검출된 영역 및 상기 검출된 오브젝트 중 적어도 하나로의 방위를 결정하며; 그리고
    상기 경고가 상기 결정된 방위와 동조된 겉보기 위치(apparent position)에서 플레이되는 방식으로 상기 제1 음향 변환기 및 상기 제2 음향 변환기에 상기 경고를 출력하도록 프로그램되는, 헤드폰.
  14. 모니터링 서비스를 제공하기 위한 컴퓨터-프로그램 제품으로서,
    컴퓨터-판독 가능한 프로그램 코드가 내장된 비-일시적 컴퓨터-판독 가능한 매체를 포함하며, 상기 컴퓨터-판독 가능한 프로그램 코드는 프로세서에 의해 실행될 때,
    오브젝트 및 영역 중 적어도 하나에 기초하여 사용자에 대한 위험요소를 식별하기 위해 환경의 디지털 이미지를 분석하는 것;
    상기 사용자의 활동이 상기 위험요소의 인식을 표시하는지(나타내는지)를 결정하기 위해 상기 사용자의 활동에 대한 수신된 정보를 분석하는 것; 및
    상기 활동이 상기 위험요소의 인식을 나타내지 않는다고 결정할 때, 상기 사용자의 귀에 따라 배열된 음향 변환기를 통한 재생을 위해, 상기 식별된 위험요소의 경고를 출력하는 것을 포함한 동작을 수행하는, 컴퓨터-프로그램 제품.
  15. 제14항에 있어서, 상기 사용자의 활동에 대한 상기 수신된 정보는 상기 사용자의 머리의 움직임에 대한 정보를 포함하며, 좌측으로 및 우측으로의 상기 사용자의 머리의 교번하는 모션은 인식을 나타내는, 컴퓨터-프로그램 제품.
  16. 제14항에 있어서, 상기 사용자의 활동에 대한 상기 수신된 정보는 상이한 컴퓨터-프로그램 제품으로의 사용자 입력을 검출하는 것을 포함하며, 입력이 검출되는 기간은 상기 사용자에 의한 인식이 없음을 나타내는, 컴퓨터-프로그램 제품.
  17. 제14항에 있어서, 상기 컴퓨터-판독 가능한 프로그램 코드는, 사용자에 의해 실행될 때, 상기 디지털 이미지에서 검출된 오브젝트의 크기를 산출하기 위해 상기 디지털 이미지를 분석하는 것을 포함한 동작을 추가로 수행하며, 상기 검출된 오브젝트는 상기 산출된 크기가 미리 결정된 임계 크기를 초과한다고 결정할 때 위험요소로서 식별되는, 컴퓨터-프로그램 제품.
  18. 제14항에 있어서, 상기 컴퓨터-판독 가능한 프로그램 코드는, 프로세서에 의해 실행될 때, 이미지의 데이터베이스에서의 참조 이미지에 상기 디지털 이미지에서의 검출된 오브젝트를 비교하는 것을 포함한 동작을 추가로 수행하며, 상기 검출된 오브젝트는 상기 검출된 오브젝트가 상기 이미지 데이터베이스에서의 참조 이미지와 일치한다고 결정할 때 위험요소로서 식별되는, 컴퓨터-프로그램 제품.
  19. 제14항에 있어서, 상기 컴퓨터-판독 가능한 프로그램 코드는, 프로세서에 의해 실행될 때,
    상기 검출된 오브젝트 및 상기 검출된 영역 중 적어도 하나의 텍스트 설명(textual description)을 생성하는 것; 및
    상기 텍스트 설명에 대해 텍스트-음성 변환을 수행하는 것을 포함하는 동작을 추가로 수행하며,
    상기 경고는 상기 음성-변환된 텍스트 설명의 오디오 프리젠테이션을 포함하는, 컴퓨터-프로그램 제품.
  20. 제14항에 있어서, 상기 컴퓨터-판독 가능한 프로그램 코드는, 프로세서에 의해 실행될 때, 사용자에게 위험요소인 환경에서 오브젝트 및 영역 중 적어도 하나를 식별하기 위해 환경의 디지털 이미지를 분석하는 것을 포함한 동작을 추가로 수행하고, 기계 학습 알고리즘을 포함하고, 상기 기계 학습 알고리즘은 사용자가 피하기 위해 이동하는 오브젝트 및 영역 중 적어도 하나를 위험요소로서 식별하며, 상기 식별된 오브젝트 및 영역 중 적어도 하나가 그 다음 디지털 이미지에 존재한다고 결정할 때, 상기 오브젝트 및 상기 영역 중 적어도 하나를 위험요소로서 식별하는, 컴퓨터-프로그램 제품.
KR1020177007976A 2014-09-26 2015-09-14 보행자 정보 시스템 KR102466521B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/498,525 US9947215B2 (en) 2014-09-26 2014-09-26 Pedestrian information system
US14/498,525 2014-09-26
PCT/US2015/050038 WO2016048704A1 (en) 2014-09-26 2015-09-14 Pedestrian information system

Publications (2)

Publication Number Publication Date
KR20170066357A true KR20170066357A (ko) 2017-06-14
KR102466521B1 KR102466521B1 (ko) 2022-11-11

Family

ID=55581814

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177007976A KR102466521B1 (ko) 2014-09-26 2015-09-14 보행자 정보 시스템

Country Status (5)

Country Link
US (1) US9947215B2 (ko)
JP (1) JP6688286B2 (ko)
KR (1) KR102466521B1 (ko)
CN (1) CN106716513B (ko)
WO (1) WO2016048704A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190033723A (ko) * 2017-09-22 2019-04-01 (주)파트론 헤드셋 및 이의 충돌 경고 방법
KR102062340B1 (ko) * 2019-01-17 2020-01-03 주식회사 프린트플랜 음원 보조 인식 장치
WO2020017842A1 (en) * 2018-07-16 2020-01-23 Printplan Corp. Sound source assisted recognition device
US11161511B2 (en) 2018-05-23 2021-11-02 Volkswagen Aktiengesellschaft Method for supporting guidance of at least one transportation vehicle, assistance system, and transportation vehicle

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170255824A1 (en) * 2016-03-04 2017-09-07 General Electric Company Aerial camera system and method for identifying route-related hazards
US10057676B2 (en) * 2007-04-20 2018-08-21 Lloyd Douglas Manning Wearable wirelessly controlled enigma system
US11128275B2 (en) * 2013-10-10 2021-09-21 Voyetra Turtle Beach, Inc. Method and system for a headset with integrated environment sensors
CN105701963A (zh) * 2014-11-27 2016-06-22 英业达科技有限公司 危险警示方法与应用此方法的移动装置
US20160253891A1 (en) * 2015-02-27 2016-09-01 Elwha Llc Device that determines that a subject may contact a sensed object and that warns of the potential contact
JP6679607B2 (ja) * 2015-03-03 2020-04-15 ボルボトラックコーポレーション 車両支援システム
US9896030B2 (en) * 2015-04-30 2018-02-20 Honda Motor Co., Ltd. System and method for vehicle collision mitigation with vulnerable road user context sensing
US10896591B2 (en) * 2015-07-31 2021-01-19 Motorola Mobility Llc Eyewear with proximity sensors to detect outside line of sight presence and corresponding methods
ITUB20159238A1 (it) * 2015-11-25 2017-05-25 Beniamino Tambelli montatura per lenti di protezione con sistema integrato intelligente per rilevamento interferenze tra pedone e carrello elevatore/mezzo in movimento
US9984540B2 (en) * 2015-12-17 2018-05-29 Harman International Industries, Incorporated Fan-driven force device
JP6411404B2 (ja) * 2016-05-27 2018-10-24 京セラ株式会社 電子機器、制御方法、及び制御プログラム
US10762708B2 (en) * 2016-06-23 2020-09-01 Intel Corporation Presentation of scenes for binocular rivalry perception
US10460095B2 (en) * 2016-09-30 2019-10-29 Bragi GmbH Earpiece with biometric identifiers
US10057672B2 (en) * 2016-10-04 2018-08-21 Nxp B.V. Optical communication interface
JP6781898B2 (ja) * 2016-10-06 2020-11-11 学校法人神奈川大学 音出力装置及び携帯装置
JP2018081549A (ja) * 2016-11-17 2018-05-24 清水建設株式会社 モデル作成装置、端末装置、危険箇所発見システム及びプログラム
JP6497819B2 (ja) 2017-03-10 2019-04-10 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6515125B2 (ja) 2017-03-10 2019-05-15 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6593803B2 (ja) 2017-03-10 2019-10-23 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6497818B2 (ja) 2017-03-10 2019-04-10 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6429413B2 (ja) * 2017-03-10 2018-11-28 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6465318B2 (ja) 2017-03-10 2019-02-06 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6465317B2 (ja) 2017-03-10 2019-02-06 株式会社Ｓｕｂａｒｕ 画像表示装置
DE102017205041A1 (de) * 2017-03-24 2018-09-27 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Empfangen und/oder Aussenden einer Präsenzinformation und Kopfhörersystem
CN107622629A (zh) * 2017-09-04 2018-01-23 深圳支点电子智能科技有限公司 一种安全提示方法和智能手表
CN107481516A (zh) * 2017-09-21 2017-12-15 临沂市华夏高科信息有限公司 一种行人过街安全警示系统
TWI648711B (zh) * 2017-09-29 2019-01-21 光寶科技股份有限公司 可推播資訊的燈具、電子裝置以及通行資訊推播系統
JP7100998B2 (ja) * 2018-03-08 2022-07-14 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US10950130B2 (en) 2018-03-19 2021-03-16 Derq Inc. Early warning and collision avoidance
US10728650B2 (en) 2018-07-24 2020-07-28 Harman International Industries, Incorporated Shape-shifting headphones
US10993030B2 (en) 2018-07-24 2021-04-27 Harman International Industries, Incorporated Shape-shifting headphones
KR102161884B1 (ko) * 2018-08-17 2020-10-05 최지수 횡단보도 경고 시스템
US11587121B2 (en) 2018-08-24 2023-02-21 Panasonic Holdings Corporation Pedestrian device, communication device, and information distribution method
JP7313806B2 (ja) * 2018-08-24 2023-07-25 パナソニックホールディングス株式会社 歩行者装置、車載装置、歩車間通信システムおよび安全確認支援方法
CN109334566B (zh) * 2018-08-31 2022-01-25 阿波罗智联(北京)科技有限公司 用于提供车外反馈的方法、装置、设备和存储介质
JP6746652B2 (ja) * 2018-09-26 2020-08-26 京セラ株式会社 電子機器、電子機器の制御方法、及び電子機器の制御プログラム
US10997417B2 (en) * 2018-12-16 2021-05-04 Remone Birch Wearable environmental monitoring system
US10565863B1 (en) * 2019-01-31 2020-02-18 StradVision, Inc. Method and device for providing advanced pedestrian assistance system to protect pedestrian preoccupied with smartphone
CN113678141A (zh) * 2019-02-12 2021-11-19 Can-U-C有限公司 用于盲人和视力受损人员的立体声装置
EP3924870A1 (en) * 2019-02-15 2021-12-22 Defsecintel Solutions OÜ Method, device and system for detecting hazardous objects
JP7252313B2 (ja) * 2019-03-04 2023-04-04 マクセル株式会社 ヘッドマウント情報処理装置
CN110060465B (zh) * 2019-04-30 2020-12-18 浙江吉利控股集团有限公司 一种用于车辆行人交互系统的交互方法及交互系统
CN110175593A (zh) * 2019-05-31 2019-08-27 努比亚技术有限公司 可疑对象处理方法、可穿戴设备和计算机可读存储介质
US11635814B2 (en) * 2019-07-25 2023-04-25 International Business Machines Corporation Preventing access to potentially hazardous environments
JP2022546320A (ja) 2019-08-29 2022-11-04 ディーイーアールキュー インコーポレイテッド 高度車載機器
JP7272210B2 (ja) * 2019-09-20 2023-05-12 株式会社Ｊｖｃケンウッド 携帯端末
CN113196729B (zh) * 2019-09-20 2022-06-03 Jvc建伍株式会社 便携终端
JP7272208B2 (ja) * 2019-09-20 2023-05-12 株式会社Ｊｖｃケンウッド 携帯端末
JP7272212B2 (ja) * 2019-09-20 2023-05-12 株式会社Ｊｖｃケンウッド 携帯端末
JP7284919B2 (ja) * 2019-09-20 2023-06-01 株式会社Ｊｖｃケンウッド 携帯端末
JP7272211B2 (ja) * 2019-09-20 2023-05-12 株式会社Ｊｖｃケンウッド 携帯端末
JP7284918B2 (ja) * 2019-09-20 2023-06-01 株式会社Ｊｖｃケンウッド 携帯端末
JP7272209B2 (ja) * 2019-09-20 2023-05-12 株式会社Ｊｖｃケンウッド 携帯端末
US11044961B1 (en) * 2019-10-09 2021-06-29 Jessel Craig Safety helmet
CN111161507A (zh) * 2019-12-26 2020-05-15 潘文娴 基于智能穿戴设备的危险感知方法、装置及智能穿戴设备
US11134148B2 (en) * 2020-01-31 2021-09-28 International Business Machines Corporation Controlling mobile computing device according to user's responsiveness
US20210398409A1 (en) * 2020-04-13 2021-12-23 Akul Sri Datta Hazard detection system
WO2021230049A1 (ja) * 2020-05-12 2021-11-18 株式会社Ｎｔｔドコモ 情報通知システム
US11626001B1 (en) * 2020-07-28 2023-04-11 United Services Automobile Association (Usaa) Wearable system for detection of environmental hazards
US11176825B1 (en) * 2020-11-17 2021-11-16 Ford Global Technologies, Llc Systems and methods for vehicle backup warning notification
EP4002873A1 (en) * 2020-11-23 2022-05-25 Sonova AG Hearing system, hearing device and method for providing an alert for a user
US20220187906A1 (en) * 2020-12-16 2022-06-16 Starkey Laboratories, Inc. Object avoidance using ear-worn devices and image sensors
JP2022105941A (ja) * 2021-01-05 2022-07-15 菱洋エレクトロ株式会社 触覚刺激を与える身体装着具
CN112906625A (zh) * 2021-03-12 2021-06-04 北京市商汤科技开发有限公司 一种避障提示方法、装置、电子设备及存储介质
US20220309855A1 (en) * 2021-03-25 2022-09-29 International Business Machines Corporation Robotic protection barrier
WO2022244372A1 (ja) * 2021-05-21 2022-11-24 ソニーグループ株式会社 環境状態通知装置、環境状態通知方法及びプログラム
US20220392337A1 (en) * 2021-06-08 2022-12-08 Qualcomm Incorporated Positioning using traffic control
US11823162B2 (en) 2021-06-09 2023-11-21 Bank Of America Corporation Automatic alerting communications systems and methods
DE102021210963A1 (de) * 2021-09-30 2023-03-30 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörsystems mit einem Hörinstrument
DE102021130661A1 (de) 2021-11-23 2023-05-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zur bestimmung einer ablenkung eines nichtmotorisierten verkehrsteilnehmers
WO2023092375A1 (en) 2021-11-25 2023-06-01 Citrix Systems, Inc. Computing device with live background and related method
CN114999128A (zh) * 2022-04-15 2022-09-02 英华达（上海）科技有限公司 虚实场景中的提醒方法、装置、系统及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080079571A1 (en) * 2006-09-29 2008-04-03 Ramin Samadani Safety Device
US20130242093A1 (en) * 2012-03-15 2013-09-19 Behavioral Recognition Systems, Inc. Alert directives and focused alert directives in a behavioral recognition system
KR20140020214A (ko) * 2012-08-07 2014-02-18 한양대학교 산학협력단 감지 기능을 구비한 착용형 디스플레이 장치

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01172194U (ko) * 1988-05-24 1989-12-06
US5647011A (en) 1995-03-24 1997-07-08 Garvis; Andrew W. Headphone sound system
JP3884815B2 (ja) * 1997-03-03 2007-02-21 本田技研工業株式会社 車両用情報表示装置
US7460940B2 (en) 2002-10-15 2008-12-02 Volvo Technology Corporation Method and arrangement for interpreting a subjects head and eye activity
US6859144B2 (en) * 2003-02-05 2005-02-22 Delphi Technologies, Inc. Vehicle situation alert system with eye gaze controlled alert signal generation
JP4725036B2 (ja) * 2003-12-16 2011-07-13 株式会社デンソー 通信装置、移動体用通信システム及びプログラム
JP4052274B2 (ja) * 2004-04-05 2008-02-27 ソニー株式会社 情報提示装置
JP2006093792A (ja) 2004-09-21 2006-04-06 Yamaha Corp 特定音声再生装置、及び特定音声再生ヘッドホン
US8477955B2 (en) 2004-09-23 2013-07-02 Thomson Licensing Method and apparatus for controlling a headphone
JP4810321B2 (ja) * 2006-06-14 2011-11-09 キヤノン株式会社 電子機器およびコンピュータプログラム
JP2007334554A (ja) * 2006-06-14 2007-12-27 Nissan Motor Co Ltd 障害物検出装置および障害物検出方法
US7986791B2 (en) 2006-10-17 2011-07-26 International Business Machines Corporation Method and system for automatically muting headphones
US20090232325A1 (en) 2008-03-12 2009-09-17 Johan Lundquist Reactive headphones
JP5354514B2 (ja) * 2008-03-31 2013-11-27 現代自動車株式会社 脇見運転検出警報システム
CN102224533A (zh) * 2008-11-21 2011-10-19 日本电气株式会社 移动通信终端、基站、警告系统和用于控制移动通信终端的方法
JP5520534B2 (ja) * 2009-07-27 2014-06-11 オートリブ ディベロップメント エービー シートベルト制御装置
US8253589B2 (en) * 2009-10-20 2012-08-28 GM Global Technology Operations LLC Vehicle to entity communication
JP5045796B2 (ja) * 2009-12-03 2012-10-10 株式会社デンソー 車両接近警告システム、携帯警告端末、および車載通信機
JP5954520B2 (ja) * 2011-06-27 2016-07-20 三菱自動車工業株式会社 車両接近通報装置
JP2013008307A (ja) * 2011-06-27 2013-01-10 Mitsubishi Motors Corp 歩行者用周辺監視装置
JP5861294B2 (ja) * 2011-07-20 2016-02-16 日産自動車株式会社 運転支援用の通信タグ及び運転支援システム
US8803699B2 (en) 2011-08-18 2014-08-12 George Brandon Foshee Object detection device
JP2013097480A (ja) * 2011-10-31 2013-05-20 Hitachi Consumer Electronics Co Ltd 車両用衝突危険予測装置及び車両用衝突危険予測システム
EP2654028B1 (en) * 2012-04-20 2018-09-26 Honda Research Institute Europe GmbH Orientation sensitive traffic collision warning system
JP6429368B2 (ja) * 2013-08-02 2018-11-28 本田技研工業株式会社 歩車間通信システムおよび方法
CN103770733B (zh) * 2014-01-15 2017-01-11 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080079571A1 (en) * 2006-09-29 2008-04-03 Ramin Samadani Safety Device
US20130242093A1 (en) * 2012-03-15 2013-09-19 Behavioral Recognition Systems, Inc. Alert directives and focused alert directives in a behavioral recognition system
KR20140020214A (ko) * 2012-08-07 2014-02-18 한양대학교 산학협력단 감지 기능을 구비한 착용형 디스플레이 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190033723A (ko) * 2017-09-22 2019-04-01 (주)파트론 헤드셋 및 이의 충돌 경고 방법
US11161511B2 (en) 2018-05-23 2021-11-02 Volkswagen Aktiengesellschaft Method for supporting guidance of at least one transportation vehicle, assistance system, and transportation vehicle
WO2020017842A1 (en) * 2018-07-16 2020-01-23 Printplan Corp. Sound source assisted recognition device
KR102062340B1 (ko) * 2019-01-17 2020-01-03 주식회사 프린트플랜 음원 보조 인식 장치

Also Published As

Publication number Publication date
WO2016048704A1 (en) 2016-03-31
CN106716513B (zh) 2021-02-02
CN106716513A (zh) 2017-05-24
US9947215B2 (en) 2018-04-17
KR102466521B1 (ko) 2022-11-11
JP2017536595A (ja) 2017-12-07
JP6688286B2 (ja) 2020-04-28
US20160093207A1 (en) 2016-03-31

Similar Documents

Publication Publication Date Title
KR102466521B1 (ko) 보행자 정보 시스템
US9846999B1 (en) Smartphone safety system for pedestrians
US10079929B2 (en) Determining threats based on information from road-based devices in a transportation-related context
JP5881263B2 (ja) 着用可能な計算機システムへのサウンド状態の表示
US9064152B2 (en) Vehicular threat detection based on image analysis
US9247779B1 (en) Enhanced global positioning system (GPS) based functionality for helmets
JP7163407B2 (ja) 衝突制御方法及び装置、電子機器並びに記憶媒体
JP7092165B2 (ja) 眼鏡型ウェアラブル端末及びその制御プログラム並びに通知方法
US9445639B1 (en) Embedding intelligent electronics within a motorcyle helmet
US9159236B2 (en) Presentation of shared threat information in a transportation-related context
US9107012B2 (en) Vehicular threat detection based on audio signals
US10219571B1 (en) In helmet sensors providing blind spot awareness
JP6163017B2 (ja) 携帯端末、及び、危険報知システム
US20180290590A1 (en) Systems for outputting an alert from a vehicle to warn nearby entities
KR20160113666A (ko) 오디오 탐색 지원
KR20170058325A (ko) 커브길 교행 조기 경보 방법, 장치, 프로그램 및 기록매체
JP2015510619A (ja) 推論された車両状態に基づいたユーザ・インタフェース体験の提供
US20150158426A1 (en) Apparatus, control method thereof and computer-readable storage medium
TW202040956A (zh) 救急車輛的預警地理圍欄管理系統與方法
US11518305B2 (en) Techniques for generating vehicle-to-pedestrian (V2P) communications based on driver monitoring
US9779623B2 (en) Communication of alerts to vehicles based on vehicle movement
KR20220120633A (ko) 스마트 오디오 포커스 컨트롤을 갖는 청각 보조 디바이스
JP2022058611A (ja) 運転者及び乗客用の車載音響監視システム
TW202347274A (zh) 協調增強感測的系統和方法
KR20200080869A (ko) 위험감지 헤드셋

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant