KR20170063766A

KR20170063766A - 스마트폰을 소지한 산만한 보행자를 위한 실시간 경고

Info

Publication number: KR20170063766A
Application number: KR1020177010808A
Authority: KR
Inventors: 신강지; 위츠 텅
Original assignee: 더 리젠츠 오브 더 유니버시티 오브 미시건
Priority date: 2014-09-26
Filing date: 2015-09-25
Publication date: 2017-06-08
Also published as: KR102270401B1; US10036809B2; US20160091606A1; WO2016049493A1

Abstract

연구는 보행 중 스마트폰의 사용이 장애물에 보행자의 충돌 가능성을 증가시키는 것을 보여주고 있다. 기술들은 스마트폰의 산만한 사용자에게 실시간 경고를 제공하기 위해 존재한다. 기술들은 대부분의 스마트폰 내에서 일반적으로 발견되는 센서의 사용을 만들수 있는 어플리케이션에 의해 수행된다. 청각 신호 사용에 의해 근접한 객체의 거리를 추정함으로써, 사용자의 환경의 사전 지식의 요구 없이 일반화된 해결책을 얻을 수 있다. 프로세스는 폰의 후방 카메라로부터 획득한 이미지들의 사용에 의해 향상될 수 있다.

Description

스마트폰을 소지한 산만한 보행자를 위한 실시간 경고{REAL-TIME WARNING FOR DISTRACTED PEDESTRIANS WITH SMARTPHONES}

본 출원은 2015 년 9 월 25 일에 출원 된 미국 출원 제 14/865,262 호의 우선권을 주장하고, 2014 년 9 월 26 일자로 출원 된 미국 가출원 제 62/055,852 호의 이익을 주장한다. 상기 출원들의 내용은 본원에 참고 문헌으로 인용된다.

본 개시는 스마트폰의 산만한 사용자에게 실시간 경고를 제공하는 기술과 관련된 것이다.

연구들은 보행 중- 산만한 보행이라 칭함-보행자가 위험한 물건과 충돌할 확률이 급격히 증가하는 것을 보여주고 있다. 예를 들면, 미국에서 2010년에 산만한 보행에 의해 야기되는 부상에 대한 응급실에서 사례의 수는 1500건을 초과하고 있지만, 통계에 따르면, 부상자의 수는 보고된 수치보다 1000배 더 크다. 이러한 사고는 또한, 매우 심각하며; 예를 들어, 사람들은 길 중간에서 산만하게 걸을 수 있어 달려오는 차에 의해 쓰러질 수 있고, 또한, 전기기둥이나 나무와 부딪혀 머리에 부상을 입을 수 있다.

구글 플레이 스토어에서 이용 가능한 몇몇 어플리케이션들은 수동적으로 사람들이 장애물에 부딪히는 것을 방지하도록 하는데, 예를 들어, 폰의 실시간 후방 카메라 화면이 특정 어플리케이션의 백그라운드에서 보여지도록 한다. 하지만, 이러한 어플리케이션들 중 어느 것도 폰으로 하는 과제에 집중하는 동안 위험 객체가 접근할 때 능동적으로 실시간으로 사용자에게 경고할 수 있는 것은 아니다. 특히, 게임과 같이 어플리케이션의 백그라운드가 변화되는 것이 허락되지 않는다면 상기와 같은 방식은 작동하지 않게 된다.

이러한 물제점을 완화시키기 위해, 본 개시는 여기서 충돌경고(BumpAlert)로 지칭되는 스마트 폰에서 사용되는 모바일 앱(mobile app)을 제안한다. 충돌경고 어플리케이션은 능동적으로 사용자 앞에 있는 객체를 능동적으로 감지하고 실시간으로 객체에 경고한다. 충돌경고 어플리케이션은 대부분의 스마트폰에서 쉽게 사용되는 센서에 의존하므로, 어떠한 스마트폰에서 쉽게 구현할 수 있다.

이 섹션은 종래 기술이 아닌 본 개시와 관련된 배경정보를 제공한다.

이 섹션은 개시의 일반적인 요약을 제공하고, 그 전체 범위 또는 모든 특징의 포괄적인 개시가 아니다.

컴퓨터 구현 시스템은 핸드 헬드 컴퓨팅 장치를 사용하는 보행자의 경로에 장매물을 식별하기 위해 제공된다. 상기 시스템은 모션 추정기, 청각검출기 및 모션 필터를 포함한다. 상기 모션추정기는 가속도계로부터 입력을 수신하도록 구성되고 핸드 헬드 컴퓨팅 장치가 움직이는 속도를 결정하도록 동작한다. 청각 검출기는 핸드 헬드 컴퓨팅 장치에 있는 스피커와 인터페이스하고 스피커를 통해 청각신호를 방출하도록 동작한다. 또한, 청각 검출기는 핸드 헬드 컴퓨팅 장치에 있는 마이크와 인터페이스하고 핸드 헬드 컴퓨팅 장치에 근접한 객체에 의해 반사되는 청각신호를 감지하기 위해 동작한다. 청각신호검출에 응답하여, 청각검출기는 방출되는 청각신호와 검출된 청각신호간의 타이밍을 이용하여 주어진 객체와 거리를 결정하고, 주어진 객체와 거리 변화 비율이 핸드 헬드 컴퓨팅 장치의 움직이는 속도와 실질적으로 동일한 비율(예를 들면, 초당 1미터 이내)이라는 결정에 대한 응답에서 보행자의 결로 상에 있는 장애물로써 주어진 객체를 식별한다. 주어진 객체까지 거리의 변화가 핸드 헬드 컴퓨팅 장치의 움직이는 속도와 다르다는 결정에 등압하여, 모션필터는 주어진 객체를 필터링하거나 무시한다.

일 실시예에 있어서, 모션필터는 주어진 객체까지 거리를 사용하여 주어진 객체까지 예상 거리를 산출하고, 상기 주어진 객체에 대한 상기 예상 거리와 청각 검출기에 의해 결정된 다른 거리를 비교하고, 상기 주어진 객체에 대한 추정거리와 상기 청각 검출기에 의해 결정된 적어도 하나의 다른 거리 간의 차이가 임계값보다 작은 경우 상기 주어진 객체가 장애물일 가능성을 증가시킨다.

시스템은 또한 모션필터와 인터페이스하는 경고 메커니즘을 포함한다. 경고 메커니즘은 주어진 객체까지 거리와 임계값을 비교하고, 주어진 객체의 거리가 임계값보다 작은 결정에 응답하여, 보행자에게 경고를 생성한다.

시스템은 핸드 헬드 컴퓨팅 장치 내에 카메라로부터 이미지 데이터를 수신하는 시각 검출기를 더 포함하고 이미지 데이터로부터 보행자의 경로에 객체의 존재를 결정한다. 모션필터는 핸드 헬드 컴퓨팅 장치에 근접한 객체의 수를 결정하고 객체의 수가 김계치를 초과한 결정에 응답하여, 시각 검출기를 활성화한다.

일 실시예에서, 상기 시각 검출기는 보행자가 가로지르는 지면의 질감을 결정함에 의해 이미지데이터로부터 객체의 존재를 결정할 수 있고 역 투영 방법을 사용하여 결정된 상기 지면질감과 다른 상태의 객체를 구별한다. 시각 검출기는 가속도계로부터 입력을 이용하여 지면과 관련하여 핸드 헨들 컴퓨팅 장치의 기울기를 더 결정할 수 있고, 청각 신호를 사용하여 지면으로부터 핸드 헨들 컴퓨팅 장치의 높이, 그리고, 상기 핸드 헨들 컴퓨팅 장치의 기울기와 상기 핸드 헨들 컴퓨팅 장치의 높이에 부분적으로 기초하여 상기 이미지 데이터로부터 주어진 물제까지의 거리를 더 결정한다.

일부 실시예에서, 모션 필터는 주어진 객체를 시각검출기에 의해 결정된 이미지에서 대응하는 객체로 발생한 장애물로 식별한다.

다른 양상에서, 핸드 핸들 컴퓨팅 장치를 휴대하는 보행자의 경로 상의 장애물을 보행자에게 경고하기 위한 컴퓨터 구현방법으로 제공된다. 방법은 컴퓨팅 장치에 상주하는 모션 센서의 입력으로부터 컴퓨팅 장치의 움직이는 속도를 결정하는 단계; 상기 컴퓨팅 장치의 스피커로부터 방출된 청각 신호와 상기 컴퓨팅 장치의 마이크로폰에 의해 검출된 청각 신호 사이의 타이밍으로부터 상기 거리가 계산되는, 상기 컴퓨팅 장치에 인접한 주어진 대상에 대한 현재 거리를 결정하는 단계; 상기 주어진 객체에 대한 거리가 변하는 비율을 결정하는 단계; 주어진 객체를 보행자의 경로의 장애물로 식별하는 단계; 상기 주어진 객체까지의 거리가 변하는 속도가 상기 핸드 헬드 컴퓨팅이 수행되는 속도와 실질적으로 동일하다는 결정에 응답하여 발생하는 식별로, 상기 주어진 객체를 상기 보행자의 경로에 있는 장애물로 식별하는 단계; 및 상기 주어진 객체까지의 거리가 임계값보다 작은 것으로 결정한 것에 응답하여, 상기 프로세서에 의해 상기 장애물에 대한 경보를 발생시키는 단계를 포함한다.

일 실시예에 있어서, 주어진 객체까지 거리는 상기 주어진 객체로부터 반사되는 신호와 스피커로부터 방출된 대응하는 청각신호 간의 시간차이에 소리의 시간을 곱셈함으로써 결정된다.

다른 일시예에서, 주어진 객체는 윈도우 시간 동안 컴퓨팅 장치에 근접한 객체가지 거리를 결정함으로써 장애물로 식별; 주어진 객체까지 현재거리와 컴퓨팅 장치가 움직이는 속도로부터 주어진 객체까지 추정 거리를 산출; 주어진 객체의 추정 거리와 윈도우의 시간에서 컴퓨팅 장치에 인접한 객체의 거리 비교; 및 주어진 객체의 예상거리와 컴퓨팅 장치에 근접한 객체의 적어도 하나의 거리 간의 차이가 임계값보다 작으면 주어진 객체는 장애물 가능성을 증가를 포함한다.

적용 가능성의 다른 영역은 본 명세서에 제공된 설명으로부터 명백해질 것이다. 이 개요에서의 설명 및 특정 예는 단지 설명의 목적을위한 것이며 본 발명의 범위를 제한하려는 것이 아니다.

도면은 선택된 실시예들만을 예시하기 위한 목적으로 여기에 도시되어 있고 모든 가능 구현한 예들을 위한 것은 아니며, 본 개시의 범위를 제한하기 위한 것은 아니다.
도 1은 모바일폰의 도면;
도 2는 예시적인 모바일폰의 구성요소들을 나타낸 블록도;
도 3은 스마트폰의 산만한 사용자에 대한 실시간 경고를 제공하는 어플리케이션의 구성요소를 나타내는 블록도;
도 4는 청각검출기의 측정예를 나타내는 그래프;
도 5a-5c는 각각 벽쪽으로, 벽에서 멀어지는 통로 및 통로에서 벽을 향해 걷는 동안 연속 청각 검출의 결과를 나타내는 그래프;
도 6a-6d는 모바일 폰의 후방 카메라에 의해 촬영되고 애플리케이션에 의해 조작되는 이미지;
도 7은 모발일폰의 카메라에 의해 캡쳐된 평균 영역의 위치를 나타내는 도면;
도 8a 및 8b는 각각 y 축 및 x 축을 따른 카메라 투영 모델을 설명하는 도면;
도 8c는 청각 검출기에 의한 높이 추정을 나타내는 그래프;
도 9는 모션필터에 의해 채용된 융합 알로리듬의 실시예를 나타내는 순서도;
도 10a 및 10b는 외부 환경과 실내 통로에서 각각 클러터 필터에 의해 식결된 객체를 나타내는 그래프;
도 11은 클러터 필터를 통과하는 정지된 객체를 나타내는 그래프;
도 12는 충돌경고 어플리케이션을 구현하는 모바일폰의 에너지 소비를 나타내는 그래프;
도 13a 및 13b는 충돌 경고 어플리케이션으로부터 예시적인 사용자 인터페이스를 나타내는 도면; 및
도 13c는 충돌경고 어플리케이션의 테스트 위치를 나타내는 도면.
대응하는 참조번호는 도면의 여러 도면을 통해 대응하는 부분을 나타낸다.

실시예는 첨부된 도면을 참조하여 보다 더 상세히 설명된다.

도 1 및 도 2는 모바일 폰과 같은, 핸드 헬딩 컴퓨팅 장치(10)의 실시예를 나타낸다. 핸드 헬딩 컴퓨팅 장치(10)는 스피터(12), 마이크(14), 가속도계(16) 및 컴퓨터 프로세서(19)를 포함한다. 컴퓨팅장치(10)는 데이터를 제장하기 위해 컴퓨터 프로세서(19)가 억세스 가능한 하나 이상의 데이터저장소(18)를 포함한다. 컴퓨팅 장치(10)는 디스플레이(13) 및 후방 카메라(17)을 선택적으로 포함한다. 모바일폰을 휴대하는 보행자의 경로에서 장애물을 식별하는 기술은 데이터 저장소(18)에 상주하는 어플리케이션으로서 구현 될 수 있으며 컴퓨터 프로세서(19)에 의해 실행될 수 있다. 이동 전화가 언급되었지만, 여기에 제시된 기술들은 PDA, 랩톱 및 웨어러블 장치(예: 시계)와 같은 다른 유형의 컴퓨팅 장치에도 적용 가능하다.

모션 추정기(31)는 가속도계(16)로부터 입력을 수신하도록 구성된다. 모션 추정기(31)는 차례로 이동 전화가 입력으로부터 이동하는 속도를 결정한다 가속도계의 입력으로부터 속도를 결정하는 방법은 당업자에게 쉽게 알려져 있다.

청각 검출기(32)는 소리를 사용하여 이동 전화와 인접 객체 사이의 거리를 추정한다. 그렇게 하기 위해, 청각 검출기(32)는 스피커(12) 및 마이크 (14)와 인터페이스된다. 청각 검출기(32)는 스피커를 통해 청각 신호를 방출하고, 휴대폰에 근접한 객체에 의해 반사된 청각 신호를 마이크(14)를 통해 검출한다. 검출된 청각 신호로부터, 청각 검출기(32)는 근처의 객체까지의 거리를 추정할 수 있다. 청각 검출기(32)에 관한 추가 정보는 이하에 제공된다.

모션 필터(33)는 장애물이 사용자의 경로에 있을 때 객체의 존재를 평가하고 전화기의 사용자에 대한 경보를 생성한다. 모션필터(33)는 모션 추정기(31) 및 청각 검출기(32)로부터 입력을 수신한다. 하나 이상의 근방의 객체에 대한 거리 측정치가 주어지면, 모션필터(33)는 근접한 객체를 식별하고 주어진 객체와의 거리가 변하는 비율을 결정한다. 주어진 객체와의 거리가 변하는 속도가 전화기가 움직이는 속도와 거의 같을 때, 주어진 객체는 모바일폰의 사용자에 의해 횡단되는 경로에 있는 것으로 추정된다. 반대로, 주어진 객체와의 거리가 변화하는 속도가 전화기가 움직이는 속도와 다를 때, 주어진 객체는 이동 전화의 사용자에 의해 횡단되는 경로 외부에 있는 것으로 추정된다.

객체의 유무는 휴대 전화에서 카메라(17)의 사용을 통해 확인 될 수있다. 일부 실시 예에서, 시각 검출기(34)는 카메라(17)로부터 이미지 데이터를 수신하고 이미지 데이터를 사용하여 객체의 존재를 결정 및 / 또는 확인하도록 구성된다. 예를 들어, 시각 검출기(34)는 보행자가 가로 지르는지면의 질감을 결정하고지면의 결정된 질감과 다른 것으로 객체를 구별함으로써 화상 데이터로부터 객체의 존재를 결정할 수있다. 시각 검출기(34)에 관한 추가 정보가 이하에 제공된다.

또한, 경고 메커니즘(35)은 모션 필터(33)와 인터페이싱 될 수 있다. 일부 실시 예에서, 모션 필터(33)는 주어진 객체까지의 거리를 더 결정할 수 있다. 경고 메커니즘(35)은 주어진 장애물까지의 거리를 임계값과 비교하고, 주어진 장애물까지의 거리가 임계값보다 작다는 결정에 응답하여, 모발일폰의 사용자에 대한 경보를 발생시킨다. 일 실시 예에서, 햅틱 피드백은 장애물의 근접성(예를 들어, 진동의 빈도는 장애물까지의 거리와 상관 될 수 있음)을 나타 내기 위해 사용된다. 다른 실시 예에서, 경보 메커니즘(35)은 주어진 장애물에 대한 시각 및/또는 청각 표시를 제공 할 수있다. 다른 유형의 경보도 이 개시 내용으로 고려된다.

청각 검출기(32)는 소나 센서로부터 아이디어를 빌려 객체 검출을 달성한다. 예시적인 실시 예에서, 청각 검출기(32)는 11025Hz의 주파수에서 사인파의 10 번의 반복 생성하고 전화기의 마이크를 통해 반사를 포착한다. 어플리케이션을 대부분의 장치와 호환 가능하도록하기 위해 전송된 신호는 44.1kHz로 샘플링되고 이전에 보낸 신호에 의해 생성된 반사를 피하기 위해 두 개의 연속 신호는 100ms 간격으로 전송된다.

객체에 의해 반사 된 신호를 식별하기 위해, 기록된 신호는 먼저 대역 통과 유한 임펄스 응답(FIR) 필터를 통과 한 후 하기의 알고리즘 1에 나타낸 바와 같이 대응하는 정합 필터를 통과한다.

적용시 사용되는 신호 주파수가 11025Hz이기 때문에 FIR 필터는 [10kHz, 12.05kHz] 이내의 주파수를 통과하도록 설정된다. 그리고, 정합 필터는 그 신호 자체로 설정된다. n 번째 기록에서, 이동하는 윈도우 내의 가장 높은 샘플은 신호가 임계값(

)을 초과하면 피크(

)으로 표시된다. 마이크의 자동 이득 제어(AGC)와 다양한 수준의 환경 잡음으로 인해 임계값(

)은 수신 된 잡음 수준에 따라 조정된다. 일 실시예에서, 송신된 신호가 수신되고 임계값이 α (mean(잡음) + std(잡음))로 설정되기 전에 600 샘플들로부터 잡음이 관찰된다. 여기서, α는 4로 설정된다. 움직이는 윈도우의 폭,

는 전송된 신호의 샘플 수와 같은 40 개의 샘플로 설정된다. 이 선택된 매개 변수로 식별 할 수 있는 최대 해상도는 약 15cm이며, 이는 신호 지속 시간과 소리 속도의 곱과 동일하고, 그래서 서로 15cm 이내의 객체는 단일 대상으로 분류된다.

도 4는 청각 탐지의 일례를 나타낸다. 41에서 첫 번째 피크는 스피커에서 전송 된 사운드를 나타내며 42에서 두 번째 피크는 28cm 떨어진 인체에서의 반사이고 43의 세 번째 피크는 142cm 떨어진 바닥에서의 반사이다. 지면실제를 바탕으로, 이 경우 5cm 미만의 오류가 발생한다. 크립스(Chirps) 또는 배이커(Barker) 코드와 같은 광대역 신호로 펄스 압축을 사용하면 추정 정확도가 더 향상 될 수 있지만 충돌경고에 사용되는 협 대역 신호만으로도 이 어플리케이션에 충분하다. 감지 범위가 5m이고 최대 오차가 15cm이므로 사용자가 반응할 수 있는 충분한 시간을 가지므로 더 높은 해상도가 필요하지 않다. 또한 협 대역 신호는 다른 주파수가 필터링될 수 있기 때문에 주위 잡음에 보다 강하다. 따라서, 이 방법은 혼잡한 도로/거리 또는 혼잡한 쇼핑 지역과 같은 시끄러운 환경에서도 사용할 수 있다.

대부분의 스마트 폰은 44.1kHz 이하의 샘플링 범위만 지원하기 때문에, 사용되는 신호의 주파수는 정확한 복구를 위해 샘플링 주파수의 절반보다 낮아야 한다. 이상적으로, 더 높은 주파수가 선호되는데, 그 이유는 그러한 주파수의 소리는 사용자에게 들리지 않지만, 송신 및 반사된 신호는 또한 더 높은 주파수에서 더 열화된다. 반면에, 신호 주파수를 낮추면 신호를 전송하는데 필요한 시간이 증가하게 되어 감지 분해능이 감소하게 된다. 더 낮은 주파수 신호가 멀리 전파 할 수 있는 능력을 고려하면 근처의 장애물을 탐지 할 필요가 없으며 최대 반사 거리가 증가하여 연속적인 청각 탐지 사이의 시간 간격도 증가한다. 실험에 따르면, 11025Hz의 신호 주파수는 2-4m 내에서 반사를 회복하기에 충분하며 10m 이상 떨어져있는 객체로부터의 반사는 너무 약해 탐지 할 수 없다. 이를 통해 인접한 장애물만 탐지 할 수 있으며 모든 중요한 반사가 100ms 이내에 수신되도록 한다. 그럼에도 불구하고, 다른 주파수들에서 생성되고 샘플링 된 신호들은 또한 본 개시의 보다 넓은 측면들에 포함된다.

객체로부터 반사된 신호를 사용하여, 사용자와 각 객체 사이의 거리는 수신 될 반사 된 신호에 필요한 시간의 절반에 소리의 속도(예를 들면, 331m/s)를 곱함으로써 계산된다. 이 방식에서, 신호가 보내지고 반사가 수신되는 시간을 정확히 포착하는 능력에 의해 성능은 크게 좌우된다. 수 밀리 초의 오류는 고속의 소리로 인해 수 미터의 추정 오류를 유발한다. 따라서, 모바일 폰에서 비 실시간 운영 체제로 인한 타임 스탬프 간의 오류는 용인 될 수 없다. 이 문제는 (반사 된) 신호가 송신 (수신)되는 시간을 기록한 다음, 송신 된 신호와 반사 된 신호 사이의 시간차를 연속 샘플의 수로 계산하여 해결된다. 도 4에 도시 된 바와 같이, 가장 큰 크기, 피크 맥스(peakMax), 로 식별 된 신호는 송신된 신호, 즉 모바일 폰의 바디를 통해 마이크에 직접 전달되는 신호로 간주된다. 이는 알고리즘 1에 나타난 바와 같이 전송 신호와 반사 신호 간의 시간차를 계산하기 위한 리퍼런스(

)로 사용된다. 도 5a에 나타나 있는 탐지 결과처럼, 사용자가 10m 위치에서 벽(장애물)을 향해 걷는 경우, 청각 검출기(32)는 사용자가 시간 5에서(점선으로 표시된 바와 같이) 5m 거리에 있을 때 벽으로부터 반사 (대각선 녹색 중공 원으로)를 식별 할 수 있다. 이 도면에서, 30cm 와 150cm로 추정되는 끊임없이 나타나는 객체(예를 들면, 두 개의 현저한 수직의 녹색 중공 원)은 각각 인체와 바닥이다.

청각 검출의 하나의 제한은 폰 스피커 및 마이크가 무지향하다는 것이고, 따라서 장애물의 방향이 해결 될 수 없다는 것이다. 또 다른 관련 문제는 다중 경로 반사를 수신하는 것이다. 마이크에 의해 수신된 신호는 실제로 송신된 신호와 동일한 신호의 다중 반사 된 복제의 조합이다. 따라서 실제로 50cm 떨어져 있는 객체는 다중 경로 반사로 인해 150cm 떨어진 잘못된 감지를 유발할 수 있다. 이러한 현상은 벽과 같은 표면이 다중 경로 문제를 일으키는 실내 환경에서 특히 심하다.

하지만, 이러한 두가지 문제는 가장 가까운 객체, 즉 최단 경로 반사만을 검출 할 필요가 있기 때문에 크게 감소된다. 사용자 뒤의 객체로부터의 대부분의 반사는 사람들이 차단하는 WiFi 신호의 특성과 유사한 사용자의 신체에 흡수된다. 도 5b에 나타나는 것과 같이 사용자가 벽에서 멀어지면, 청각 검출기는 벽이 시간 0에서 사용자 뒤 1m 거리에 있더라도 반사의 현저한 피크를 감지하지 못한다. 이러한 특징은 객체가 실제로 사용자 뒤에 있을 때 청각 검출기(32)가 잘못된 추정을 산출하는 것을 방지한다. 하지만, 탐지 결과는 벽이나 기둥과 같이 측면을 따른 객체로부터 반사에 영향을 받는다. 도 5c에 도시 된 바와 같이, 사용자가 10m 떨어진 곳에서 벽을 향해 걷는 동일한 실험에서 반복되지만 좁은 통로에서 그렇지 않다. 오탐지는 측벽(2m와 6m 사이의 수직 녹색 중공 원)으로 인해 오탐지가 이루어 지므로 장애물(즉, 사용자 앞 벽)에서 실제 반사를 식별하기가 어렵다.

검출 결과를 더 향상시키기 위해, 모션 필터(33)는 사용자에 대해 상대적인 속도를 갖지 않는 검출된 반사를 제거하는데 사용된다. 사용자의 보행 속도는 후술하는 바와 같이 가속도계에 의해 추정된다. 보행속도(

)와

이전 탐지결과의 히스토리(

)가 주어지면, 사용자의 보행속도와 같이 동일한 상대적인 속도를 갖는 객체의 반사는 사용자의 보행 방향의 진정한 장애물로 분류된다. 아래의 알고리즘 2를 참조하면, 현재 탐지(

)은

를 산출한 사용자의 보행 속도(

)에 기초한 역투영이다.

이전에 검출된 객체의 위치(

)와 객체와 비교되며, 히스토리가 투영, 예를 들면,

과 일치하면, 이면, 객체의 존재 확률이 증가한다. 주어진 비율(

) 보다 높은 확률(

)을 얻는 것은 모션 필터를 통과한다고 말하여 포지티브 탐지로 식별된다. 이러한 추가적인 필터링을 사용하면, 바닥이나 측벽과 같은 상대 속도가 일치하지 않는 객체로 인한 반사를 도 5a에 나타난 것과 같이 필터링 할 수 있다. 이 도면에서 모션 필터(실선으로 표시)를 통과 한 탐지는 신체, 바닥, 및 내부벽은 다중 경로 반사는 제외되는 반면 대상 장애물(예를 들면, 사용자가 접근하는 벽)로부터 신호를 나타낸다. 또한, 유사한 효과는 측벽으로부터의 대부분의 신호가 필터링되는 도 5c에서 찾을 수 있다. 하지만, 혼잡한 환경에서의 노이즈 검출은 모션 필터(33)에 의해 완전히 제거 될 수 없다. 동일한 도면에 도시 된 바와 같이, 사이드 객체에 의해 야기 된 10 개 이상의 오검출은 이들 객체가 서로 너무 가깝기 때문에 모션 필터를 통과하고, 사용자를 놀라게 할 수 있는 위양성(false positive)이 상당수 있다. 실시예에 있어서, 이러한 위양성은 시각 검출기(34)의 사용에 의해 사용자의 앞에 존재하는 감지된 객체를 확인하여 감소/제거된다.

청각 검출의 고유한 한계를 극복하기 위해, 예를 들어 전화의 후방 카메라를 사용하여 추가적인 감지레이어가 추가 될 수 있다. 이것은 청각 탐지에 의해 생성된 잘못된 탐지를 제거하고 객체의 방향에 대한 정보를 추가한다. 충돌경고 응용 프로그램에서, 사용자가 일반적인 위치에서 자신의 폰을 소지하고, 후면을 향한 카메라의 시선이 사용자 앞에 있는 객체를 깨끗이 캡처 할 수 있다고 가정한다. 충돌경고 애플리케이션은 사용자 텍스트 또는 진동을 전송하여 작동 범위 내에서 자신의 폰의 기울기를 유지할 수 있다.

후방 카메라 뷰에 존재하는 객체를 검출하는 데는 2 가지 주요한 과제가 있다. 첫 번째는 객체의 존재를 확인하는 것이며 두 번째는 한 카메라에서서 촬영된 이미지의 깊이 인식이 부족에 기인하여 사용자와 객체 간의 거리를 결정하는 것이다. 충돌경고는 객체의 모양과 색상에 대한 선험적 정보를 사용하지 않는다. 장애물에 대한 사전 지식이 없으면 충돌 경과 어플리케이션은 더 일반화되어 모든 종류의 위험한 개체를 탐지하고 충돌하는 것을 방지 할 수 있다.

선험적 지식없이 일반 객체를 검출하는 것은 어렵다. 그러나 충돌경고 응용 프로그램의 주요 목표는 장면의 모든 객체를 식별하는 것이 아니라 사용자 앞에 객체가 있는지 확인하는 것이다. 특히, 충돌경고는 지상/바닥과는 다른 객체를 식별하기 위해 역 투영 기법을 채택한다. 기본적인 아이디어는 사용자가 걷고 있는 지표면의 질감을 사용하고 나머지 이미지와 비교하여 텍스처의 유사점과 비 유사성을 찾는 것이다. 보다 구체적으로, 역 - 투영은 이미지의 일부가 미리 정의 된 컬러 모델과 일치 하는지를 검출하는 방법이다. 색상 모델은 색상의 히스토그램(일반적으로 HSV 공간에 정의된 색조 및 채도)이다. 이미지의 각 픽셀 p(x, y)에 대해, 역 - 투영은 미리 정의 된 컬러 모델의 히스토그램으로 그 색상을 다시 투영하고 히스토그램에서이 컬러의 출력 값이 무엇인지 확인한다. 출력 값이 높은 것은 픽셀 p(x, y)와 미리 정의 된 컬러 모델 간의 높은 상관 관계를 의미한다. 이 응용 프로그램에서, 색상 모델은 지상 영역의 HSV 히스토그램이고, 따라서, 지상 영역과 다른 질감을 갖는 객체는 백-투영 알고리듬에 의해 식별될 수 있다.

도 6a에서 6d를 참조하면, 10 × 10 블러링(blurring) 필터가 첫번째로 사용되어 이미지로부터의 노이즈를 감소 시키고, 이미지는 HSV 공간으로 변환된다. 역 투영 알고리즘이 적용되어 이미지의 어느 부분이 지면/바닥 질감과 관련이 없는지 결정한다. 마지막 단계는 역 투영 알고리즘에서 잔류 오류를 제거하기 위해 부식(erosion) 필터를 적용한다. 이러한 단계들을 완료하면 미리 정의된 임계 값보다 큰 영역을 가진 얼룩이 장애물로 식별되고 이미지의 가장 가까운 지점이 가장 가까운 장애물로 반환됩니다. 역 투영 기술에 관한 더 상세한 내용은 A. Derhgawen 및 D.Ghose에 의한 "3d hsv 히스토그램을 이용한 시각 기반 장애 검출", Proceedings of IEEE INDICON'11(본 개시에 그 전체가 참고로 인용 됨)의 논문에서 발견 될 수 있다. 이미지 데이터로부터 객체를 식별하는 다른 기술 또한 본 개시의 더 넓은 측면에 속한다.

독창적인 독자는 백투영에서 핵심 가정이 지면/바닥 질감에 대한 지식이라는 것을 관찰 할 수 있다. 객체가 지면/바닥의 기준으로 식별 된 영역에 잘못 포함되는 경우, 백투영은 객체를 지면/바닥의 일부로서 분류하기 때문에, 객체는 시각 검출기(34)에 보이지 않는다. 지면/바닥으로 구성된 임의의 이미지에서 영역을 식별하는 것은 어렵지만 충돌경고 응용 프로그램에 문제가 발생하지는 않는다. 이미지는 사용자가 걷거나 휴대 전화를 사용할 때만 촬영된다. 이러한 가정하에, 응용 프로그램은 이미지의 특정 영역이 높은 확률로 지면/ 바닥의 정보를 나타낼 수 있음을 보장 할 수 있다. 이 영역을 결정하기 위해, 실험이 10명의 참가자와 수행되었다. 참가자들은 문에서 2m 떨어진 편안한 위치에서 휴대폰을 사용하면서 사진 촬영을 요청 받았다. 촬영된 모든 그림의 평균 이미지가 나타나 있는 도 7에서, 참조 영역(71)은 지면/바닥의 정보로 이루어진 영역을 나타낸다. 선택한 영역의 크기는 240 × 320 이미지의 아래쪽 32 픽셀 위에 있는 96 픽셀 × 144 픽셀이다. 그 영역은 이미지의 맨 아래 영역에 사용자의 발을 포함시킬 수 있기 때문에 이미지 아래쪽에서 선택된다. 기준 영역의 크기 및 위치는 본 명세서의 범위 내에서 변경 될 수 있음을 이해할 것이다.

이미지의 가장 가까운 점이 식별되면 이미지의 감지 지점과 하단의 픽셀 차이가 p로 정의되고 픽셀 - 실제 세계 거리 변환은 다음과 같이 계산된다.

(1)

여기서

는 탐지 된 객체와 사용자 간의 실제 거리이며,

및

는 지면에 대한 사용자 전화기의 높이 및 기울기를 나타낸다. 보다 구체적으로, 카메라 투영은 촬영 된 이미지에서 카메라 위치/방향을 재구성하는 방법으로, 이 프로젝트에서 카메라에서 사용자까지의 거리를 추정하는데 더 사용된다. 시각 검출기(34)로부터 장애물의 픽셀 좌표(p_x, p_y)를 얻은 후에, 장애물의 거리가 투영 구조로부터 결수직 평면에 대한 기울기(

), 카메라의 수직 방향 구경(

), 카메라의 높이(

), 장애물과 광축 사이의 수직 각도(

)를 고려하면, y-축상의 투영은 도 8a에 도시 된 바와 같이 구축 될 수있다. 각도(

)는 다음과 같이 계산된다.

(1)

수직 거리

, 여기서

는 검출 된 객체의 수직 픽셀 오프셋이고,

는 이미지의 높이입니다.

수평 거리(

)를 계산하기 위해서, 먼저 도 8b과 같이 장애물과 영상 중심(

) 사이의 수평각(

)를 구한다. X 축의 기하학적 투영으로부터 각도(

)는 다음과 같이 계산 될 수 있다.

여기서,

는 수평 어퍼쳐이고,

는 검출 된 대상의 수평 픽셀 오프셋이고

는 이미지의 폭이다. x 축을 따른 거리는 다음과 같이 결정됩니다.

. (2)

최종적으로, 실제 세계에서 거리는 다음과 같이 구할 수 있다.

(3)

카메라 투영 모델에 기초한 이 변환의 상세한 유도는 J. Fernandes 및 J. Neves이 작성한 "단일 카메라를 사용한 거리 측정에 대한 각도 불변량"이라는 제목의 논문에서 발견된다. 전기 산업분야, 2006 IEEE International Symposium, vol. 1 (2006)이고 그 전체가 리퍼런스로 여기에 참조된다.

이러한 계산은 모바일 폰의 높이와 기울기를 알고있는 경우에만 가능하다. 이러한 두가지 측정은 사람들이 보행할 때 고정되어 있지 않기 때문에, 이를 측정하기 위해 온라인 방법이 필요하다. 폰의 기울기는 가속도계에서

로 직접 얻을 수 있다. 여기서

는 모바일 폰의 표면에 수직 인 가속도이고,

은 사용자의 움직임과 지구 중력에 의해 야기 된 전반적인 가속도의 크기이다.

기울기가 가속도계에 의해 직접 추정 될 수 있는 것과 달리, 사용자가 걷고있을 때 폰의 높이는 알 수 없다. 충돌경고 어플리케이션은 청각 검출기(32)의 결과를 이용하여 폰의 높이를 추정한다. 예를 들어, 높이 추정은 모발일폰과 지상 간의 거리를 추정하여 수행 할 수 있다. 도 5a에 도시 된 바와 같이, 이 정보는 지상으로부터 1.8m 떨어진 수직 원으로 명확하게 식별 될 수 있다. 예시적인 실시 예에서, 검출된 객체의 거리는 시간에 대해 모니터링되고 도 8c에 도시된 바와 같이 카메라/폰 높이의 추정치로서 사용된다.

도 8c는 청각 검출기(32)에 의해 검출된 상이한 추정 된 거리를 갖는 객체의 히스토그램을 도시한다. 이 데이터는 서로 다른 높이의 두 참가자에 의해 수집되었다. 거리 0에서의 최대 피크는 전송된 신호의 수신이다. [10, 60] cm 이내의 탐지는 인체에서 반사된 것이다. 또한 영역 [70, 180] cm에서 상대적으로 적은 탐지가 있다. 이러한 현상의 주된 이유는 사람들이 앞으로 나아갈 공간을 필요로 하기 때문에 사람들이 보행하는 동안이 범위에 물건이 있을 가능성이 낮다. 따라서, 이 범위 내에서 가장 높은 피크는 실제로 바닥에서 반사된 것이다. 도면에서 보는 바와 같이 범위는 참가자 1의 경우 120 ~ 140cm이고 참가자 2의 경우 100 ~ 120cm이다. 이 범위에서 거리를 추적하면, 모바일폰의 높이는 20cm 미만의 오차로 추정될 수 있다. 카메라의 높이를 간단히 추정하는 이미지- 기반 탐지가 존재하기 때문에 이것은 새로운 디지인이다. 이 매개 변수는 자동차 내부의 고정 된 위치에 카메라를 설치하는 것과 같이 특정 시나리오에서는 쉽게 얻을 수 있지만, 이 어플리케이션에서는 모바일폰의 높이는 사용자의 키와 폰을 소지한 각도에 의존하여 변화하여 얻을 수 없다.

시각 검출이 사용자 앞에 있는 객체의 방향 및 거리 모두를 결정하기에 충분하더라도, 다음과 같은 이유로 후방 카메라를 계속 사용하는 것은 바람직하지 않다. 화상 처리의 계산 비용이 청각 검출보다 훨씬 높다. 따라서 더 많은 전력을 소비한다; 측정 된 거리는 기울기 및 높이 추정치 변경으로 인해 덜 정확하다; 역 투영은 복잡한 바닥 패턴에 대해 부정확할 수 있다. 그리고, 지면/바닥에서의 패턴 전환을 장애물로 잘못 판단한다.

실험으로부터, 시각적인 검출에서 위양성은 주로 다음 3 가지 요인에 의해 야기된다. 첫째, 지면에 그림자를 드리우면 지면/바닥의 색이 주변과 달라지므로 다른 질감 영역으로 표시된다. 둘째, 장애물이 걸려 있으면 장애물이 바닥에 완전히 연결되지 않기 때문에 추정 거리는 실제 위치보다 더 먼것으로 야기된다. 셋째, 지면/바닥의 패턴 변경은 또한 잘못된 감지를 야기하고 식별된 지면/바닥 텍스처와는 다른 장애물로 오인된다. 시각적인 검출의 대표적인 에러 패턴은 도 5a-5c에 도시된 보라색 십자가로 또한 발견될 수 있다. 예를 들어, 앞에 어떠한 객체도 없었음에도 불구하고, 도 5b에서 3 초에서 5 초 사이에 위양성이 나타난다. 탐지는 청각 검출기보다 덜 정확하다. 도 5a에 도시된 바와 같이, 5 내지 8 초 사이의 시각 검출기의 추정 오차는 약 10 내지 100cm이고, 청각 검출기는 15cm 미만의 오차를 갖는다. 이러한 과제는 아래에 설명 된 것처럼 청각 및 시각적 탐지기를 결합하여 충족시킬 수 있다.

앞서 언급된 바와 같이, 폰의 카메라 기울기는 가속도계와 직접 관련되어 있다. 유사하게, 청각 검출기(32)는 검출정확도를 향상시키도록 사용자의 보행 속도에 대한 정보를 제공하는 폰의 센서로부터 피드백을 필요로 한다. 가속도계 판독 값을 사용하여, 사람이 걸리는 단계는 높은 가속도의 기간과 낮은 가속도의 기간이 존재하는 것처럼 감지될 수 있다. 있다. 각 픽크에서 피크 주기는 단계가 수행되었는지 여부와 단계 속도와 평균 스텝 크기의 곱으로 보행 속도를 추정할 수 있는지 여부를 나타낸다. 충돌경고 응용 프로그램에서 사용자가 단계 크기를 입력하거나 기본 평균 단계 크기로 설정할 수 있다. 이 보행 속도의 대략적인 추정은 데드 레커닝(dead-reckoning) 시스템과 같은 다양한 어플리케이션에서 채택된다. 가속은 또한 시스템이 분산이 사전에 정의된 임계 값을 초과할 때 사용자가 걷거나 정지 하는지를 결정할 수 있게 한다.

도 9는 충돌경고 애플리케이션에 의해 구현된 예시적인 융합 검출 알고리즘을 도시한다. 첫째, 검출알고리즘은 사용자가 정지 상태 일 때 실행될 필요가 없다. 가속도계로부터의 입력에 의해, 모션 추정기는 폰이 움직이는 지 여부를 결정한다. 청각 검출기 및 모션 필터는 사용자가 이동하는 것으로 간주되는 경우에만 동작한다 (예컨대, 속도> 0); 그렇지 않으면 전력을 절약하기 위해 이러한 기능이 비활성화됩니다.

일단 트리거되면, 근접한 객체가 청각 검출기에 의해 검출된다. 어떤 장애물이 청각 검출기에 의해 발견되고 이 감지가 충분히 확실하지 않다면, 시각적 감지기가 트리거되어 탐지 결과를 다시 점검 할 수 있다. 청각 검출기는 특정 범위 내에서 사용자 주위의 객체를 감지하는 데 능숙하지만 측면 객체(예를 들면 어수선한 환경)를 다루는데 덜 효과적이다. 대조적으로, 시각 검출기는 사용자 전면의 리퍼런스 영역에 초점을 맞추기 때문에 측면 객체 문제로부터 자유롭다.

혼잡 한 환경을 식별하기 위해, 모션 필터는 정지된 객체의 수(예를 들면, 상대 속도가 0을 갖음)를 추정한다. 모션 필터의 이러한 측면은 클러 터 필터이고 사용자에게 상대적인 속도가 없는 객체를 필터링 할 수 있다. 클러 터 필터를 적용한 후에는 옥외 환경에서 필터링되지 않는 개체가 거의 없다; 반면 통로 환경에는 많은 객체가 있을 수 있다. 따라서, 통로를 통과하는 객체의 수가 사전에 정의 된 임계 값을 초과하기 때문에 통로 환경이 혼잡 한 것으로 식별 될 수 있습니다. 모션 필터의 재사용은 복잡한 환경을 식별하기 위한 출돌경고에서의 새로운 측면이고, 따라서, 시각 검출기를 트리거하기 위한 힌트를 제공한다.

융합 알고리즘에서, 상이한 검출기는 상이한 상황에서 서로를 보완한다. 혼잡한 통로에서, 측벽은 청각 검출기에 의해 장애물로 잘못 분류되지만, 후방 카메라에 의해 측벽 객체가 포착되지 않기 때문에 시각 검출기에 의해 필터링됩니다. 반면에, 시멘트 바닥에서 잔디 영역으로 건너는 것은 시각적 인 검출기에 의해 장애물로 잘못 분류되지만 풀밭 영역으로부터 반사가 수신되지 않기 때문에 청각 검출기에 의해 필터링됩니다. 따라서 이러한 탐지기를 통합함으로써 충돌경고는 위험한 대상을 높은 정확성과 낮은 위양성 비율로 발견 할 수 있다.

예시적인 실시 예에서, 충돌경고 애플리케이션은 갤럭시 S4에서 안드로이드 어플리케이션으로서 구현되었다. 충돌경고는 폰의 내장 센서에만 의존하기 때문에 아이오에스(iOS) 및 윈도우(Windows)와 같은 다른 플랫폼에 실을 수 있다. 충돌경고를 효율적으로 처리하려면, 대역 통과 및 정합 필터와 같은 신호 처리가 C로 구현되고 자바 네이티브 인터페이스(Java Native Interface (JNI))를 통해 인터페이스되어, 보다 짧은 실행 시간이 산출된다. 도 9에 도시 된 제어 로직은, 낮은 계산 요구 때문에 자바(Java)로 구현된다. 결과적으로, 청각/ 시각 검출기의 각 반복은 25/80ms 내에서 완료 될 수 있고 그 기간은 100ms로 설정 될 수 있다.

직면한 구현 문제는 미디어 플레이어 클래스가 상태 머신에 의해 제어되는 것이고, 오디오 파일을 재생하기 전에 "준비 (prepare)"라는 처리가 호출 될 필요가 있다. 이로 인해 다음 클립 재생을 시작하는데 임의의 지연이 발생한다. 이중 버퍼링을 통해 문제는 완화될 수 있고 다수의 플레이어 클래스가 미리 만들어지고 준비되어, 재생 명령의 호출을 기다린다. 하지만, 이중 버퍼링을 사용하더라도 안드로이드의 비 실시간 특성으로 인해 재생 기능 호출과 실제 재생되는 소리 사이에 200-600 밀리 초의 지연이 발생한다. 이 현상은 오디오 레코드 클래스에서도 발생하며 청각 검출기의 레이트를 1Hz로 제한한다. 이러한 문제는 사운드 시그널의 다수의 복사본으로 구성된 대형 오디오 파일을 재생함으로써 우회할 수 있다. 사용된 파일은 10 분 WAV 파일로 40 샘플의 알려진 신호가 100ms마다 재생된다. 파일의 끝에는 다른 플레이어 클래스가 필요한 사운드를 계속 재생할 준비가 되어 있다. 이 방법을 사용하면 청각 검출기의 트리거 율에 제한이 없다.

청각/시각 검출기를 트리거링하는 최대 속도는 검출 정확도와 처리 비용 간의 균형을 맞추기 위해 10Hz로, 감지 범위는 2-4m로 선택되었다. 사람의 평균적인 보행속도는 약 1.5m/s이고 청각 경보에 대한 반응 시간은 약 150ms이다. 이러한 반응 시간은 진동 경보를 사용하는 것과 유사하다. 따라서 거리범위가 2 ~ 4m로 설정된 100ms의 감지 기간을 설정하면 사용자에게 경고하는 데 충분하며 이러한 매개 변수의 선택은 잘 작동한다.

충돌경고를 다른 어플리케이션과 동시에 실행하기 위해, 충돌경고는 시스템 서비스로서 구현되었다. 그러나, 최신 버전의 안드로이드 API에서, 개인 정보 문제로 인해 백그라운드 서비스에서 카메라를 사용할 수 없다. 충돌경고에서 유사하게 이미지는 저장되지 않고 객체 감지를 위해 처리된다.

실제 환경에서 충돌경고의 성능을 평가하기 위해 일련의 실험이 수행되었다. 이 실험의 목적은 충돌경고의 성능을 포착하고 평가하는 것이므로 다른 크기의 객체를 수동으로 선택하고 다양한 대표 시나리오하에서 참가자에게 반복적으로 이러한 객체들을 향하여 걷는 것을 요구하였다. 이 실험의 장점은 실제 지면을 수집하고 충돌경고의 탐지를 정확하게 양자화하는 것이다. 이 정보는 실제 세계에서 충돌경고의 성능을 추측하는 데 중요하지만 참가자가 하나의 긴 경로에서 임의의 장애물을 향해 걷는 것이 가능하면 획득하기 곤란하다. 또한, 실험에서 볼 수 있듯이, 충돌경고의 성능은 객체와 시나리오에 따라 달라지므로 긴 경로에서 보이는 객체가 최종 결과에 중요한 편향을 만든다. 예를 들면, 벽이 감지하기 쉬운 목표이기 때문에 10 개의 벽과 5 개의 쓰레기통으로 이루어진 경로는 5 개의 벽과 10 개의 쓰레기통으로 이루어진 경로보다 더 나은 결과를 얻을 수 있다. 이러한 편향을 피하기 위해, 충돌경고의 정확성을 제공하기 위해 단일 긴 경로의 집계 된 정확도가 아닌 다른 시나리오의 각 객체를 선택하였다. 충돌경고의 유용성은 15 분 동안 충돌경고를 사용한 21 명의 참가자의 피드백을 수집하는 사용자의 조사를 통해 추가로 평가된다.

각각의 실험에서, 7 명의 참가자는 실내 및 실외 환경 모두에서 벽 및 간판과 같은 다양한 대상을 향해 걷도록 지시를 받았다. 각 실험은 각 사용자의 보행 패턴과 경로의 차이로 인한 오차를 평균하기 위해 10 회 반복한다. 참가자들은 지면 위에 놓인 마커를 걸을 때 지정된 버튼을 누르라는 지시를 받았다. 이것은 두 가지 용도로 사용된다. 첫째, 사용자가 그들의 폰을 보거나 입력하여 수행해야 하는 작업을 하는 사전에 점유된 사용자를 시뮬레이트한다. 둘째, 마커가 1m 간격으로 배치되어 지상실제를 수집 할 수 있다. 이 평가에서 양성 탐지는 2 ~ 4m 범위 내에서 탐지 된 장애물로 정의됩니다. 사용자가 목표물로부터 2 ~ 4m 떨어져있을 때의 모든 경고는 성공적인 경고로 분류되며 이러한 경고의 비율을 트루 포지티브(TP) 비율이라고 한다. 반면에 사용자가 실제로 대상 객체로부터 4m 또는 더 멀리 떨어져있을 때 발생하는 경고는 허위 경보로 분류되며 해당 속도는 위양성(FP) 비율로 계산된다. 평균 지연은 참가자가 4m 마커를 걷는 시간부터 경보가 울리는 시간까지 정의된다.

이 실험에서, 4 개의 객체들의 세트는 3 개의 상이한 환경에서 장애물로서 사용된다. 벽, 간판, 쓰레기통, 판지 상자이며, 관련된 크기에 따라 분류된다. 이러한 객체는 실제 세계에서 여러 유형의 객체를 나타 내기 위해 선택된다. 감지의 어려움은 주로 객체의 크기에 기인한다. 예를 들면, 유리 도어 및 벽 탐지시 유사한 결과가 얻어진다. 또한 이러한 객체는 실내 및 실외 환경에서 쉽게 발견/이동 될 수 있기 때문에, 이러한 세팅에서 다른 환경으로 인한 성능 저하를 정확하게 측정 할 수 있다. 기둥이나 자동차와 같은 다른 객체도 테스트를 거쳐 유사한 특성을 갖지만 공간 제한으로 인해 결과가 생략된다. 사용 된 세 가지 테스트 환경은 개방 된 야외 공간, 건물 로비 및 (5m 너비의) 혼잡한 통로이다. 각 참가자는 각 실험을 10 번 반복하고 청각 검출기와 시각적 탐지기 모두의 10Hz 로우(raw) 데이터를 기록하여 동일한 탐지 프로그램을 통해 개별 실험의 탐지율을 오프라인으로 평가한다. 이것은 12km 이상의 도보 추적으로 구성된 동일한 데이터 세트를 기반으로 각 개별 구성 요소를 비교할 수 있도록 하기 위한 것이다. 학생들의 잡담과 같은 환경 잡음이 있는 환경에서 실험을 수행했지만, 인간의 활동과 관련된 대부분의 잡음의 주파수가 11kHz 미만이어서 충돌경고의 성능에 큰 영향을 미치지 않는 것으로 밝혀졌으며 충돌경고는 노이즈레벨을 기초하여 감지를 조절한다. 발견된 유일한 문제는 바람이 심하게 부는날(24mph 이상) 수집된 참가자 7의 실외 추적이다. 이경우, 폰의 마이크에서 수신된 신호는 바람소리만으로 포화상태가 되었다.

표 1의 결과로부터, 검출 범위 및 감도가 청각검출기가 시각검출기보다 더 길고 양호하기 때문에 청각 검출기가 TP 레이트에서 시각 검출기보다 우수한 것을 볼 수 있다. 청각 탐지의 전체 TP 레이트는 가장 위험한 객체를 식별하기에 충분한 95 %보다 높다. 모든 경우 평균 지연은 시각 및 청각 탐지 모두 650ms보다 짧다. 충돌경고의 이러한 낮은 지연은 1.5m/s로 2 초 이상 걷는 사용자에게 반응하여 장애물을 피하게하고 인간의 반응 시간보다 훨씬 길다.

통로 시나리오는 혼잡한 환경으로 인해 청각 검출에 대한 높은 FP 레이트를 나타낸다. 대조적으로, 시각적 감지는 폰의 후방 카메라에 의해 촬영 된 이미지의 방향성으로 인해 이러한 시나리오의 영향을 받지 않는다. 그러므로, 이 시나리오에서 시각적 탐지의 평균 FP 레이트는 청각 탐지의 FP 레이트보다 훨씬 낮다. 이러한 청각 및 시각 검출기의 보완적인 특성은 표 1에 나타나 있는 것과 같이 실내 환경에서 FP 레이트의 현저한 감소에 반해 실외 환경에서 높은 TP 레이트를 보장하는 퓨전 알고리즘 사용에 의해서 활용된다. 퓨전 알고리즘은 강한 바람이 마이크로 부는 것에 주로 기인하는 실외 환경에서 FP 레이트를 낮춘다. 실질적으로, 사용자 전면의 2m 이내의 측면에 연못과 천장에서 비상 사인과 같은 객체가 존재하기 때문에 5m 너비 통로에서 많은 오탐지는 잘못되지 않는다. 탐지 범위가 1-2m로 줄어들면, 청각 검출기의 FP 레이트는 28 %에서 5 %로 감소하고 청각 탐지와 시각 탐지의 조합이 적용될 때 2 %로 더 감소한다. 잘못된 탐지와 탐지 범위에는 트레이드 오프가 있음을 주목한다. 한 가지 가능한 해결책은 사용자가 충돌경고의 탐지 범위가 줄어드는 혼잡한 환경에 있을 때 사용자에게 경고하는 것이므로 보행에서 더 주의를 기울이는 것이 필요하다.

앞서 소개 한 것처럼 융합 알고리즘이 올바르게 작동하기 위한 키 포인트는 클러터 필터를 통해 정지된 객체의 수를 추정하는 능력이다. 실제 실험에서, 혼잡한 환경을 분류하기 위한 정지된 객체의 임계값은 5로 설정된다. (예를 들면, < 5 개의 고정 된 객체가 있는 경우 시각적 감지를 끈다). 다른 시나리오에서 정지된 객체의 분포는 도 11에 도시되어 있다. 실험 결과는 또한 적절한 조건 하에서 시각 검출기를 가능하게 할 때의 클러터 필터의 유효성을 검증한다.

고려된 모든 객체 중, 벽은 그 큰 크기로 인해 가장 쉽게 검출되고, 상자는 TP 비율 및 지연의 면에서 가장 단단하다. 또한, 시각 검출기에 의해 검출된 간판의 TP 레이트는 다른 객체의 TP 레이트보다 낮다. 이는 도 7(b)에 도시 된 바와 같이 바닥 위의 간판의 오버행에 기인한다. 옥외 및 통로 환경에서 간판에 대한 시각적 감지가 80 % 이상이지만, 높은 TP 레이트는 높은 FP 속도가 수반된다. 이것은 탐지기가 대부분의 시간을 추측하고, 높은 TP 및 FP 레이트로 이어지고 객체를 정확하게 감지하지 못했음을 의미한다.

상이한 폰 보유 위치 및 보행 패턴을 갖는 상이한 참가자의 효과를 연구하기 위해, 상기 결과는 개별 참가자에 기초하여 분리되었다. 폰 기울기/높이 및 대응하는 감지 결과는 표 2에 요약되어 있다. 실험에 따르면, 폰의 기울기(t_p)는 다른 참가자들 사이에서 31 °에서 65 °까지 변화한다; 폰 높이(hp)도 1에서 1.3m까지 변한다. 동일한 사용자에 대한 이러한 매개 변수는 시간이 지남에 따라 크게 변하지 않는다.

청각 검출에서의 흥미로운 발견은 TP 및 FP 레이트가 참가자들 사이에서 약간 상이하다는 것이다. 홀딩 자세가 다른 여러 테스트가 반복 되어 폰이 유지되는 방식과 휴대폰 마이크의 AGC에 따라 그 변화가 영향을 받는다는 사실을 찾았다. 예를 들면, 스피커가 손가락으로 차단되어 있을 때, 방해로 인해 수신 신호 강도는 낮다. 반면, 폰을 꽉 잡으면, 폰으로부터 직접 보낸 수신된 신호의 크기는 증가된다. 이러한 신호는 때때로 마이크 범위를 포화시킬만큼 충분히 클 수 있고, 반사로 인한 신호의 크기는 AGC에 의해 조정 된 낮은 게인으로 인해 낮아진다. 그러나 앞서 설명한 적응되는 임계값 메커니즘을 사용하면, 충돌경고가 잡음 레벨을 정확하게 추정하고 반사를 효과적으로 감지 할 수 있다.

참가자(p5)의 극단적으로 낮은 시각적 검출 레이트는 수평면에 대하여 30 °인 그의 폰의 홀딩 방식에 의해 야기된다. 참가자(p5)로부터 수집된 탐지 결과는 단지 장애물에 인접한(1m 이내) 이미지는 폰의 낮은 기울기 때문에 감지하기에 충분한 영역을 산출할 수 있는 것을 보여주고, 시각 감지가 폰을 잡은 특정한 자세를 응용할 수 있는 것을 의미하는 것은 아니다. 참가자(p5)와 비슷한 자세로 폰을 들고있는 두 명의 추가 참가자가 상기 실험을 반복하기 위해 모집되었다. 결과는 2m 거리의 객체를 식별하기 위해 시각 검출기가 30 ° 미만의 기울기로 작동 할 수 없음을 나타낸다. 그러나, 다른 사용자에 의해 성공적인 시각 감지의 높은 확률은 시각 감지가 40 °°에서 65 °까지 넓은 범위의 기울기로 작동한다는 것을 의미한다. 이러한 발생을 경고하기 위한 내재적인 방법은 충돌경고가 활성회되고 사용자들이 기울기가 40 ° 미만으로 폰을 들었을 때 사용자에게 경고하는 것이다. 사용자 연구에 따르면 대부분의 사용자는 충돌경고의 작동 범위에 만족하는 것으로 나타난다.

최종 실험은 충돌경고의 실시간 성능 및 자원 소비를 평가하는 것이다. 충돌경고는 4 가지 다른 구성에서 일반 환경에서 오랜 기간 실행되었다. 충돌경고의 CPU 사용량은 톱(Top) 명령을 통해 10 초 간격으로 기록된다. 1 시간 추적을 평균하여 CPU 사용량과 전력 소비량을 획득하였다. 4가지 다른 시나리오가 테스트 되었다; 대기(백라이트 사용), 청각 탐지 한정, 시각 탐지 한정 및 추적. 대기 케이스는 주로 백라이트에 의해 소비되는 전력을 나타내는 기준선으로 사용된다. 청각 또는 시각 탐지의 한정 게이트에서, 각 알고리즘은 백라이트를 켜고 10Hz에서 독립적으로 실행된다. 추적은 집과 회사 사이에서 보행하고 있을 때 참가자 1의 실제 행동을 특징으로 한다. 참가자 1의 결과는 도보 시간이 다른 참가자보다 길기 때문에 나타났다. 왕복 추적은 시간이 지남에 따라 더 나은 시각화를 위해 구성된다.

CPU의 사용량은 앱이 대기모드 일 때, 청각 한정 일 때, 시각 한정일 때, 각각 3.082 %, 8.917 % 및 17.795 % 이다. 시각 검출기의 CPU 사용량은 청각 검출기의 약 두 배이다. 높은 CPU 사용량으로, 시각 검출기의 전력 소모는 도 12에 나타나 있듯이 청각 검출기보다 훨씬 더 높은 것으로 관찰된다. 시각 검출기는 계산이 더 복잡할 뿐만 아니라 카메라를 유지하는 높은 소비전격으로 인해 더 많은 전력을 소비한다. 참가자 1의의 추적의 실제 사용에서, 전력 소비량은 시간당 8 %이다. 실제 CPU 사용량과 전력 소비량은 보행 경로와 알고리즘을 시작하는 결정에 의존한다.

21 명의 통행인(여성 10 명, 남성 11 명)이 충돌경고에 대한 사전 지식없이 유용성 및 실용성을 평가하기 위해 무작위로 선발되었다. 사용자들은 15 분 동안 충돌경고를 시도하고 설문지를 작성하도록 요청 받았다. 사용자는 도 13a에 표시되어 있는 것과 같이 충돌경고의 데모 버전을 도 13c에 도시된 위치에서 시도했다. 결과는 표 3에 요약되어 있다.

설문의 첫번째 섹션은 산만한 보행이 퍼져 있는 것을 분석한다. 그 결과 참가자 중 81 %가 걷는 동안 휴대 전화를 사용했고 그들 중 43 %는 산만한 보행때문에 장애가 발생하였다. 참가자 중 절반이 이전에 장애물에 부딪치지 않았지만 그들의 76 %는 보행 중 폰을 사용할 때 장애가 발생하는 것을 두려워했다. 장애물과 충돌 한 사람들의 비율은 객체에 충돌 한 친구가 포함 된 경우 86 %로 증가한다.

설문의 조사의 두 번째 섹션은 사용자가 자신이 폰을 소지하고 장애 감지 및 경고를 위해 특정 기울기 범위에서 폰을 들고 있는지 확인하는 경우 기울기를 알기 위해 시도하였다. 도 13b에 도시된 별도의 안드로이드 조망 앱이 소지한 폰의 기울기를 기록하고 참가자에게 알리는데 사용되었다. 처음에는 가장 편안한 자세로 폰을 들고있을 때 충돌경고가 기울기를 기록할 수 있는 상태에서 이동하도록 요청받았다. 그리고, 선택된 각도에서 조망앱이 폰의 기울기를 모니터하도록 하고 사용자가 ± 10 ° 범위 내에서 선택한 각도로 폰을 잡지 않은 경우 피드백(진동 및 빨간줄)을 제공하였다.

폰 기울기는 공개된 안드로이드 위젯을 통해 지속적으로 기울기를 기록함으로써 광범위하게 연구되어 왔다. 하지만, 기울기가 기록 될 때 사용자의 상태(예를 들어, 걷거나 앉을 때)는 보고되지 않았다. 사용자가 보행할 때 폰의 기울기를 기록한 사용자 연구에서, 대부분의 참가자는 지면에 대해 약 35°로 그들의 폰을 소지한다. 이러한 결과는 구글맵(Google Maps)이 실행될 때 평균 폰 기울기에 일치한다. 이러한 기울기 분포는 충돌경고에 적합하지 않다. 그러나 각기 다른 각도의 휴대 전화를 들고 우리의 목적에 대해 이야기 한 경험이 있는 참가자 중 90 %는 40 °에서 50 ° 사이에서 폰을 소지하려 하고, 이는 충돌경고에 좋은 것으로 입증되었다. 따라서, 충돌경고가 활성화되어 있지만 폰의 기울기가 작동 범위에 있지 않을 때 유사한 피드백을 제공하는 것이 합리적이다.

설문의 세 번째 섹션은 참가자들에게 충돌경고의 유용성을 도 13c에 도시 된 바와 같이 3 가지 시나리오에서 15 분의 평가 후에 충돌 경고의 유용성을 산출하도록 요청하였다. 사용한 세 가지 기준은 탐지 정확도, 감지 범위 및 허위 경보 비율이다. 참가자 중 약 72%는 탐지 정확도와 범위가 적절하다는 점에 동의하고 임박한 장애물에 대처할 수 있는 충분한 시간을 허락하였다. 일부 참가자들은 1.5-3m와 같이 더 짧은 거리에서도 장애물을 피할 수 있다고 언급하였다. 이러한 피드백은 충돌경고가 위양성 비율을 줄이는데 유용했다. 참가자 중 29 %는 허위 경보를 원하지 않았다. 우리는 참가자 중 일부가 정확한 감지이면 벽까지 4 미터 떨어진 거짓 경보에 반응한 것을 발견했다. 충돌경고의 성능을 토대로 오탐지율이 낮고 좋은 탐지율로 대부분의 참가자를 만족시킬 수 있었다.

설문의 마지막 섹션은 전력 소비 문제를 언급했다. 참가자 중 14 %만이 소비 전력이 시간당 4 % 미만 이길 원했다. 충돌경고의 전력 소비량은 사용자의 활동에 따라 사용자마다 다르다. 초기 실험에서, 전력 소비량은 시간당 약 8 %이고, 이 애플리케이션을 기꺼이 사용하려는 사람들의 86 %의 기준을 충족하였다.

여기에 기술 된 기술들은 모바일 장치에 상주하는 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 컴퓨터 프로그램들에 의해 구현 될 수 있다. 컴퓨터 프로그램은 비 일시적인 유형의 컴퓨터 판독 가능 매체 상에 저장되는 프로세서 - 실행 가능 명령을 포함한다. 컴퓨터 프로그램은 또한 저장된 데이터를 포함 할 수 있다. 비 일시적인 유형의 컴퓨터 판독 가능 매체의 비 제한적인 예들은 비 휘발성 메모리, 자기 저장 장치 및 광학 저장 장치이다.

상기 설명의 일부분은 정보에 관한 연산의 알고리즘 및 기호 표현과 관련하여 본 명세서에서 설명 된 기술을 나타낸다. 이러한 알고리즘 설명 및 표현은 데이터 처리 기술 분야의 당업자가 그들의 작업 내용을 당업자에게 가장 효과적으로 전달하기 위해 사용되는 수단이다. 이러한 동작은 기능적으로 또는 논리적으로 설명되지만, 컴퓨터 프로그램에 의해 구현되는 것으로 이해된다. 또한, 이러한 조작의 배열을 모듈이나 기능적 이름으로 언급하는 것이 때때로 일반성을 잃지 않고 참조하는 것이 편리하다는 것이 입증되었다. 주어진 모듈 내의 오퍼레이션들의 그룹화는 제한적이지 않고 오퍼레이션들은 다수의 모듈들 사이에서 공유되거나 단일 모듈로 결합 될 수 있음을 이해해야한다.

상기 설명으로부터 명백한 바와 같이 특별히 언급하지 않는 한, "처리"또는 "컴퓨팅"또는 "계산"또는 "결정" 또는 "디스플레이"등과 같은 용어를 이용하는 논의는, 컴퓨터 시스템 메모리 또는 레지스터 또는 다른 정보 저장, 전송 또는 디스플레이 장치 내의 물리적 (전자) 양으로 표현 된 데이터를 조작하고 변환하는 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 장치의 동작 및 프로세스를 지칭한다.

설명 된 기술들의 특정 양태는 본 명세서에서 알고리즘의 형태로 기술 된 처리 단계들 및 명령들을 포함한다. 서술된 프로세스 단계들 및 명령들은 소프트웨어, 펌웨어 또는 하드웨어로 구체화 될 수 있고, 소프트웨어로 구현 될 때 실시간 네트워크 운영 시스템에 의해 사용되는 상이한 플랫폼 상에 상주하도록 동작 될 수 있다는 것을 알아야한다.

본 개시는 또한 본 개시의 동작을 수행하기 위한 장치에 관한 것이다. 이 장치는 요구되는 목적을 위해 특별하게 구성 될 수 있거나, 또는 컴퓨터에 의해 액세스 될 수있는 컴퓨터 판독 가능 매체 상에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨터를 포함 할 수있다. 이러한 컴퓨터 프로그램은 플로피 디스크, 광학 디스크, CD-ROM, 자기 광학 디스크, 판독 전용 메모리 (ROM) (예를 들어, 컴퓨터로 읽을 수있는 기록 매체를 포함하는 임의의 유형의 디스크와 같은 유형의 컴퓨터 판독 가능 저장 매체에 저장 될 수있다. (RAM), EPROM, EEPROM, 자기 또는 광학 카드, 주문형 집적 회로 (ASIC), 또는 전자 명령을 저장하기에 적합한 임의의 유형의 매체를 포함하며, 이들 각각은 컴퓨터 시스템 버스에 결합된다. 또한, 명세서에 언급 된 컴퓨터는 단일 프로세서를 포함 할 수 있거나 증가 된 컴퓨팅 성능을 위해 다중 프로세서 설계를 채택하는 아키텍처 일 수 있다.

본 명세서에 제시된 알고리즘 및 동작은 본질적으로 임의의 특정 컴퓨터 또는 다른 장치와 관련되어 있지 않다. 다양한 범용 시스템이 또한 본 명세서의 교시에 따른 프로그램과 함께 사용될 수 있거나, 요구 된 방법 단계를 수행하기 위해보다 특수화 된 장치를 구성하는 것이 편리 할 수있다. 다양한 이들 시스템에 필요한 구조는 동등한 변형과 함께 당업자에게 명백 할 것이다. 또한, 본 개시는 임의의 특정 프로그래밍 언어를 참조하여 설명되지 않는다. 여기에 설명 된 바와 같이 본 명세서의 개시 내용을 구현하기 위해 다양한 프로그래밍 언어가 사용될 수 있다는 것을 이해할 수 있다.

상기 실시 예에 대한 설명은 예시 및 설명의 목적으로 제공되었다. 이는 포괄적이거나 공개를 제한하기 위한 것은 아니다. 특정 실시 예의 개개의 구성 요소 또는 특징은 일반적으로 특정 실시 예로 제한되지 않지만, 적용 가능할 경우, 상호 교환 가능하며, 특별히 도시되거나 기술되지 않더라도, 선택된 실시 예에서 사용될 수 있다. 동일한 것은 여러 면에서 다양할 수 있다. 이러한 변형은 개시로부터의 이탈로 간주되어서는 안되며, 이러한 모든 변형은 본 개시의 범위 내에 포함되는 것으로 의도된다.

Claims

컴퓨터 구현 시스템은 핸드 헬드 컴퓨팅 장치를 사용하는 보행자의 경로에 장매물을 식별하기 위한 컴퓨터 구현 시스템으로,
상기 핸드 헬드 컴퓨팅 장치에 상주하는 가속도계로부터 입력을 수신하고, 상기 핸드 헬드 컴퓨팅 장치가 움직이는 속도를 결정하도록 동작하는 모션 추정기;
상기 핸드 헬드 컴퓨팅 장치에 있는 스피커와 인터페이스하고 스피커를 통해 청각신호를 방출하도록 동작하고, 상기 핸드 헬드 컴퓨팅 장치에 있는 마이크와 인터페이스하고 마이크를 경유하여, 상기 핸드 헬드 컴퓨팅 장치에 인접한 객체에 의해 반사되는 청각 신호를 감지하기 위해 동작하고, 상기 감지된 청각 신호에 응답하여, 상기 방출된 청각신호와 상기 감지된 청각신호 간의 타이밍을 사용하여 주어진 객체와 거리를 결정하는 청각 검출기; 및
상기 모션 추정기와 상기 청각 검출기와 인터페이스하고, 상기 청각 검출기로부터 수신된 거리 측정으로부터 주어진 객체와의 거리 변화 비율을 결정하고, 상기 비율이 상기 핸드 헬드 컴퓨팅 장치의 속도와 실질적으로 동일한 결정에 응답하여, 보행자의 경로의 장애물로써 주어진 객체를 식별하는 모션 필터를 포함하고, 상기 모션 추정기, 상기 청각 검출기 및 상기 모션필터가 상기 핸드 헬드 컴퓨팅 장치 내에 상주하고 상기 핸드 헬드 컴퓨팅 장치 내에 상주하는 프로세서에 의해 실행되는 명령들에 의해 구현되는 컴퓨터 구현 시스템.
제1항에 있어서,
상기 모션 필터는 상기 모션 필터는 상기 주어진 객체에 대한 거리를 사용하여 상기 주어진 객체에 대한 추정 거리를 산출하고, 상기 주어진 객체에 대한 상기 추정 거리와 상기 청각 검출기에 의해 결정된 다른 거리들을 비교하고, 상기 주어진 객체에 대한 추정 거리와 상기 청각 검출기에 의해 결정된 적어도 하나의 다른 거리 간의 차이가 임계값보다 작은 경우 상기 주어진 객체가 장애물일 가능성을 증가시키는 컴퓨터 구현 시스템.
제1항에 있어서,
상기 모션필터는 상기 핸드 헬드 커뮤터 기기의 움직이는 속도가 초당 1미터 이내인 비율로 결정된 응답에 대응하여 상기 주어진 객체를 장애물로 식별하는 컴퓨터 구현 시스템.
제1항에 있어서,
상기 모션필터는 상기 주어진 객체의 거리 변화 비율이 상기 핸드 헬드 커뮤터 기기의 움직이는 속도와 다른 것으로 결정된 응답에 대응하여, 상기 주어진 객체를 무시하는 컴퓨터 구현 시스템.
제1항에 있어서,
상기 청각 검출기와 상기 모션필터는 상기 보행자가 움직이는 속도가 0 보다 클 때 동작하는 컴퓨터 구현 시스템.
제1항에 있어서,
상기 모션 필터와 인터페이스하는 경고 메커니즘을 더 포함하고, 상기 모션필터가 상기 주어진 객체까지 거리를 결정하고 상기 경고 메커니즘은 상기 주어진 객체까지의 거리를 임계값과 비교하고, 결정에 응답하여 주어진 객체까지의 거리가 임계값보다 작으면 보행자에게 경고를 생성하는 컴퓨터 구현 시스템.
제1항에 있어서,
핸드 헬드 컴퓨팅 장치 내의 카메로로부터 이미지 데이터를 수신하고 상기 이미지 데이터로부터 상기 보행자의 경로에 있는 객체의 상주를 결정하는 시각검출기를 더 포함하는 컴퓨터 구현 시스템.
제7항에 있어서,
상기 시각검출기는 보행자가 가로지르는 지면의 질감을 결정하고 역투영방법을 사용하여 상기 지면의 질감과 다른 상태의 객체를 구별함으로써 상기 이미지데이터로부터 객체의 존부를 결정하는 컴퓨터 구현 시스템.
제7항에 있어서,
상기 모션필터는 상기 핸드 헬드 컴퓨팅 장치에 인접한 복수의 객체를 결정하고, 객체의 수가 임계값을 초과하는 응답에 대응하여 상기 시각 검출기를 활성화하는 컴퓨터 구현 시스템.
제7항에 있어서,
상기 시각 검출기는 상기 가속도계로부터 입력을 사용하여 상기 지면과 비교하여 상기 핸드 헬드 컴퓨팅 장치의 기울기를 더 결정하고, 상기 청각신호를 이용하여 상기 기졈으로부터 상기 핸드 헬드 컴퓨팅 장치의 높이를 더 결정하고, 주어진 객체로부터의 거리를 상기 핸드 헬드 컴퓨팅 장치의 기울기와 상기 핸드 헨들 컴퓨팅 장치의 높이에 부분적으로 기초하여 상기 이미지 데이터로부터 주어진 물제까지의 거리를 더 결정하는 컴퓨터 구현 시스템.
제10항에 있어서,
상기 모션 필터는 상기 주어진 객체까지 거리 변화가 실질적으로 상기 핸드 헬드 컴퓨팅 장치가 움직이는 속도와 동일한 비율로 결정된 응답에 대응하여 상기 주어진 객체를 장애물로 식별하는 컴퓨터 구현 시스템.
핸드 헬드 컴퓨팅 장치를 운반하는 보행자 경로상의 장애물을 보행자에게 경고하는 컴퓨터 구현 방법으로,
컴퓨팅 디바이스에 상주하는 프로세서에 의해, 컴퓨팅 디바이스가 컴퓨팅 디바이스에 상주하는 모션 센서의 입력으로부터 움직이는 속도를 결정하는 단계;
상기 프로세서에 의해, 상기 컴퓨팅 장치의 스피커로부터 방출된 청각 신호와 상기 컴퓨팅 장치의 마이크로폰에 의해 검출된 청각 신호 사이의 타이밍으로부터 상기 거리가 계산되는, 상기 컴퓨팅 장치에 인접한 주어진 대상에 대한 현재 거리를 결정하는 단계;
상기 프로세서에 의해, 상기 주어진 객체에 대한 거리가 변하는 비율을 결정하는 단계;
상기 프로세서에 의해, 식별은 상기 주어진 객체까지의 거리가 변하는 속도가 상기 핸드 헬드 컴퓨팅이 수행되는 속도와 실질적으로 동일하다는 결정에 응답하여 발생하는, 상기 주어진 객체를 상기 보행자의 경로에 있는 장애물로 식별하는 단계; 및
상기 프로세서에 의해, 상기 주어진 객체까지의 거리가 임계 값보다 작은 것으로 결정한 것에 응답하여, 상기 프로세서에 의해 상기 장애물에 대한 경보를 발생시키는 단계를 포함하는 컴퓨터 구현 방법.
제12항에 있어서,
상기 스피커로부터 방출되는 청각신호에 대응하는 밴드 패스 필터와 매칭 필터의 사용에 의해 상기 컴퓨팅 장치에 접근한 객체로부터 반사되는 신호를 식별하는 단계를 더 포함하는 컴퓨터 구현 방법.
제12항에 있어서,
상기 주어진 객체로부터 반사되는 신호와 상기 스피커로부터 방출된 대응되는 청각신호에 간의 시간 차를 소리 속도와 곱함으로써, 상기 주어진 객체까지의 거리를 결정하는 단계를 더 포함하는 컴퓨터 구현 방법.
제12항에 있어서,
상기 장애물로서 주어진 객체를 식별하는 단계는,
윈도우 시간 동안 상기 컴퓨팅 장치에 근접한 객체들과의 거리를 결정하는 단계;
상기 주어진 객체까지의 현재 거리와 컴퓨팅 장치의 움직이는 속도로부터 상기 주어진 객체까지의 추정 거리를 추정하는 단계;
상기 주어진 객체까지의 상기 추정 거리와 윈도우 시간에서 컴퓨팅 장치에 상기 근접한 객체의 거리를 비교하는 단계;
상기 주어진 객체의 추정 거리와 상기 컴퓨팅 장치에 근접한 객체들의 거리 중 적어도 하나 간의 차이가 임계값보다 작으면 상기 주어진 객체가 장애물일 가능성을 증가시키는 단계를 더 포함하는 컴퓨터 구현 방법.
제12항에 있어서,
상기 주어진 객체로의 거리가 변화하는 비율이 상기 컴퓨팅 장치가 움직이는 속도와 다른 것으로 결정한 것에 응답하여 상기 주어진 객체를 필터링하는 단계를 더 포함하는 컴퓨터 구현 방법.
제12항에있어서,
상기 컴퓨팅 장치에 근접한 객체들의 수를 결정하는 단계;
상기 접한 객체들의 수와 임계값을 비교하는 단계; 및
상기 근접한 객체들의 수가 상기 임계값을 초과한다는 결정에 응답하여 상기 컴퓨팅 장치에서 카메라를 활성화시키는 단계를 더 포함하는 컴퓨터 구현 방법.
제 17 항에있어서,
상기 카메라에 의해 캡쳐 된 이미지 데이터로부터 상기 보행자 경로상의 객체들의 존재를 결정하는 단계; 및
주어진 객체까지 거리가 변화하는 비율이 핸드 헬드 컴퓨팅 장치가 이동하는 속도와 실질적으로 동일하고 대응하는 객체가 상기 카메라에 의해 캡쳐 된 이미지 데이터에서 발생한다는 결정에 응답하여 주어진 객체를 장애물로 식별하는 단계를 더 포함하는 컴퓨터 구현 방법.