KR20160044528A - 운전자 안전을 위한 시선의 영향 - Google Patents

운전자 안전을 위한 시선의 영향 Download PDF

Info

Publication number
KR20160044528A
KR20160044528A KR1020167006773A KR20167006773A KR20160044528A KR 20160044528 A KR20160044528 A KR 20160044528A KR 1020167006773 A KR1020167006773 A KR 1020167006773A KR 20167006773 A KR20167006773 A KR 20167006773A KR 20160044528 A KR20160044528 A KR 20160044528A
Authority
KR
South Korea
Prior art keywords
processor
line
sight
data
vehicle
Prior art date
Application number
KR1020167006773A
Other languages
English (en)
Inventor
벤자민 마이탈
놈 메어
Original Assignee
엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 filed Critical 엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Publication of KR20160044528A publication Critical patent/KR20160044528A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G06K9/00845—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G06K9/00604—
    • G06K9/00664—
    • H04N5/2257—

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

시선 데이터에 영향을 미치기 위한 시스템 및 방법에 관한 기술이 일반적으로 설명된다. 일부 예시에서, 프로세서는 차량의 위치에 기초하여 선택 구역을 결정할 수 있다. 프로세서는 선택 구역 내 객체를 선택할 수 있다. 프로세서는 객체를 식별하는 오디오 쿼리를 생성할 수 있다. 프로세서는 시선에 관련하는 시선 데이터를 수신할 수 있다. 프로세서는 시선 데이터에 기초하여 시선이 객체를 만나는지 여부를 결정할 수 있다. 프로세서는 결정에 기초하여 응답을 생성할 수 있다.

Description

운전자 안전을 위한 시선의 영향{INFLUENCE OF LINE OF SIGHT FOR DRIVER SAFETY}
여기에서 달리 명시되지 않는 한, 본 섹션에서 설명되는 내용은 본 출원에서 청구범위에 대한 종래 기술이 아니며, 본 섹션에 포함함으로써 선행 기술로 인정되지 않는다.
움직이는 차량의 안전한 작동은 훈련, 기량 및 차량 주변에 대한 의식 수준을 요할 수 있다. 움직이는 차량 주변에 대한 운전자의 주의 수준은 장거리 운전, 일상적인 운전 동안, 또는 동행자가 없는 경우 감소할 수 있다.
일부 예시에 따르면, 시선(line of sight) 데이터에 영향을 미치기 위한 방법이 일반적으로 설명된다. 방법은 프로세서에 의해 차량의 위치에 기초하여 선택 구역(selection zone)을 결정하는 단계를 포함할 수 있다. 방법은 선택 구역 내 객체(object)를 선택하는 단계를 포함할 수 있다. 방법은 객체를 식별하는 오디오 쿼리(audio query)를 생성하는 단계를 더 포함할 수 있다. 방법은 시선에 관련하는 시선 데이터를 수신하는 단계를 더 포함할 수 있다. 방법은 시선 데이터에 기초하여 시선이 객체를 만나는지(intersect) 여부를 결정하는 단계를 더 포함할 수 있다. 방법은 결정에 기초하여 응답을 생성하는 단계를 더 포함할 수 있다.
다른 예시에 따르면, 시선 데이터에 영향을 미치는 데에 효과가 있는 장치가 일반적으로 설명된다. 장치는 명령어를 포함하는 메모리를 포함할 수 있다. 장치는 메모리와 통신하도록 구성되는 프로세서를 더 포함할 수 있다. 프로세서는 차량의 위치에 기초하여 선택 구역을 결정하도록 구성될 수 있다. 프로세서는 선택 구역 내 객체를 선택하도록 구성될 수 있다. 프로세서는 객체를 식별하는 오디오 쿼리를 생성하도록 구성될 수 있다. 프로세서는 시선에 관련하는 시선 데이터를 수신하도록 구성될 수 있다. 프로세서는 시선 데이터에 기초하여 시선이 객체를 만나는지 여부를 결정하도록 구성될 수 있다. 프로세서는 결정에 기초하여 응답을 생성하도록 구성될 수 있다.
추가적인 예시에 따르면, 시선 데이터에 영향을 미치는 데에 효과가 있는 시스템이 일반적으로 설명된다. 시스템은 제1 장치를 포함할 수 있다. 시스템은 네트워크 상에서 제1 장치와 통신하도록 구성되는 제2 장치를 포함할 수 있다. 제1 장치는 GPS(global positioning system) 데이터를 생성하는 데에 효과가 있는 GPS 센서를 포함할 수 있다. 제1 장치는 스피커를 포함할 수 있다. 제1 장치는 시선 데이터를 생성하는 데에 효과가 있는 시선 센서를 포함할 수 있다. 제1 장치는 GPS 데이터 및 시선 데이터를 수신하고 네트워크 상에서 제2 장치로 GPS 데이터 및 시선 데이터를 전송하는 데에 효과가 있는 제1 프로세서를 포함할 수 있다. 제2 장치는 명령어를 포함하는 메모리를 포함할 수 있다. 제2 장치는 메모리와 통신하도록 구성되는 제2 프로세서를 포함할 수 있다. 제2 프로세서는 GPS 데이터를 수신하고 GPS 데이터에 기초하여 선택 구역을 결정하며 선택 구역 내 객체를 선택하도록 구성될 수 있다. 제2 프로세서는 네트워크 상에서 전송될 객체를 식별하는 오디오 쿼리를 생성하도록 구성될 수 있다. 제2 프로세서는 시선에 관련하는 시선 데이터를 수신하고 시선 데이터 및 GPS 데이터에 기초하여 시선이 객체를 만나는지 여부를 결정하도록 구성될 수 있다. 제2 프로세서는 결정에 기초하여 응답을 생성하도록 구성될 수 있다.
이상의 요약은 단지 예시적인 것으로서 어떠한 방식으로든 제한적으로 의도된 것이 아니다. 이하의 상세한 설명과 도면을 참조함으로써, 위에서 설명된 예시적인 양태들, 실시예들 및 특징들에 더하여, 추가적인 양태들, 실시예들 및 특징들이 명확해질 것이다.
본 개시의 전술한 특징들 및 다른 특징들은 첨부 도면과 함께, 다음의 설명 및 첨부된 청구범위로부터 더욱 명확해질 것이다. 이들 도면은 본 개시에 따른 단지 몇 개의 실시예들을 묘사할 뿐이고, 따라서 그 범위를 제한하는 것으로 간주되어서는 안될 것임을 이해하면서, 본 개시는 첨부 도면을 참조하여 더 구체적이고 상세하게 설명될 것이다.
도 1은 운전자 안전을 위해 시선에 영향을 미치는 데에 이용될 수 있는 예시적인 시스템을 도시하고,
도 2는 선택된 가시 객체(visible object)에 관한 추가적인 상세와 함께 도 1의 예시적인 시스템을 도시하고,
도 3은 선택된 가시 객체에 관한 추가적인 상세와 함께 도 2의 예시적인 시스템을 도시하고,
도 4는 운전자 안전을 위한 시선의 영향을 구현하기 위한 예시적인 프로세스를 도시하는 흐름도이고,
도 5는 운전자 안전을 위해 시선에 영향을 미치도록 구성되는 컴퓨터 프로그램 제품을 도시하고,
도 6은 운전자 안전을 위해 시선에 영향을 미치도록 배열되는 예시적인 컴퓨팅 장치를 도시하는 블록도이며,
모두 여기에 제시되는 적어도 일부 실시예에 따라 배열된다.
이하의 상세한 설명에서, 여기의 일부를 이루는 첨부 도면에 대한 참조가 이루어진다. 문맥에서 달리 지시하고 있지 않은 한, 도면에서 유사한 부호는 통상적으로 유사한 컴포넌트를 나타낸다. 상세한 설명, 도면 및 청구범위에서 설명되는 예시적인 실시예들은 제한적으로 여겨지지 않는다. 본 개시에서 제시되는 대상의 범위 또는 사상에서 벗어나지 않으면서 다른 실시예가 이용될 수 있고 다른 변경이 이루어질 수 있다. 여기에서 일반적으로 설명되고 도면에 도시되는 본 개시의 양태들이 다양한 다른 구성들로 배열, 대체, 조합, 분리 및 설계될 수 있음과 이 모두가 여기에서 명시적으로 고려됨이 기꺼이 이해될 것이다.
본 개시는 일반적으로, 그 중에서도 특히, 운전자 안전을 위해 시선에 영향을 미치는 것에 관련되는 방법, 기기, 시스템, 장치 및 컴퓨터 프로그램 제품을 포함하는 기술에 관한 것이다.
간단히 말해, 시선에 영향을 미치기 위한 시스템 및 방법에 관한 기술이 일반적으로 설명된다. 일부 예시에서, 프로세서는 차량의 위치에 기초하여 선택 구역을 결정할 수 있다. 프로세서는 선택 구역 내 객체를 선택할 수 있다. 프로세서는 객체를 식별하는 오디오 쿼리를 생성할 수 있다. 프로세서는 시선에 관련한 시선 테이터를 수신하고 시선 데이터에 기초하여 시선이 객체를 만나는지 여부를 결정할 수 있다. 프로세서는 결정에 기초하여 응답을 생성할 수 있다.
도 1은 여기에 제시되는 적어도 일부 실시예에 따라 배열되는, 운전자 안전을 위해 시선에 영향을 미치는 데에 이용될 수 있는 예시적인 시스템(100)을 도시한다. 도시된 바와 같이, 시스템(100)은 시선 영향 모듈(line of sight influencing module)(104)을 포함할 수 있다.
이하에서 더 상세히 논의되는 바와 같이, 시선 영향 모듈(104)은 선택 구역(120) 내 가시 객체(130)를 선택할 수 있다. 시선 영향 모듈(104)은 검출될 가시 객체(130)를 식별하는 오디오 쿼리 출력을 운전자(102)에게 생성할 수 있다. 차량(110)을 운전하는 운전자(102)는 가시 객체(130)를 검출하기 위한 시도로 선택 구역(120)을 살필(scan) 수 있다. 시선 영향 모듈(104)은 운전자(102)를 위한 시선을 결정할 수 있고, 시선이 가시 객체(130)를 만나는지 결정할 수 있다. 시선 영향 모듈(104)은 운전자(102)의 시선이 임계량의 시간 내에 가시 객체(130)를 만나는 경우 운전자(102)가 가시 객체(130)를 검출하였다고 결정할 수 있다. 시선 영향 모듈(104)은 운전자(102)의 시선이 임계량의 시간 내에 가시 객체(130)를 만나지 않는 경우 운전자(102)가 가시 객체(130)를 검출하지 않았다고 결정할 수 있다.
운전자(102)가 가시 객체(130)를 검출하였다고 결정하는 것에 응답하여, 시선 영향 모듈(104)은 응답을 생성할 수 있다. 응답은 오디오 응답일 수 있다. 시선 영향 모듈(104)은 또한 운전자(102)의 시선이 임계량의 시간 내에 가시 객체(130)를 만나는 경우 점수(score)를 생성할 수 있다. 시선 영향 모듈(104)은 이후 운전자(102)가 검출하기 위한 선택 구역(120) 내 새로운 가시 객체를 선택할 수 있다.
운전자(102)가 임계량의 시간 내에 가시 객체(103)를 검출하지 않았다고 결정하는 것에 응답하여, 시선 영향 모듈(104)은 오디오 알람(audio alarm)을 생성할 수 있다. 시선 영향 모듈(104)은 이후 운전자(102)가 검출하기 위한 선택 구역(120) 내 새로운 가시 객체를 선택할 수 있다.
도 2는 여기에 제시되는 적어도 일부 실시예에 따라 배열되는, 선택된 가시 객체에 관한 추가적인 상세와 함께 도 1의 예시적인 시스템(100)을 도시한다. 도 1의 컴포넌트와 동일하게 분류된 도 2의 컴포넌트는 명확성을 위해 다시 설명되지 않을 것이다.
도시된 바와 같이, 시스템(100)은 GPS(global positioning) 장치(234), 눈 추적 및 동작 센서(eye tracking and motion sensor)(252), 카메라(250), 마이크로폰(244), 스피커(248) 및 프로세서(240)를 포함할 수 있다. 시스템(100)의 구성요소 중 적어도 일부는 통신 링크(256)를 통해 차량(110) 외부의 프로세서(254)와 통신하도록 배열될 수 있다. 프로세서(254)는 네트워크(232)에 걸쳐 차량(110) 내 시선 영향 모듈(104)의 컴포넌트 및 프로세서(240)와 통신할 수 있다. 일부 예시에서, 프로세서(254)는 저장된 명령어(260)를 포함할 수 있는 메모리(258)와 통신하도록 적응될 수 있다. 프로세서(254)는 명령어(260)에 의해서와 같이 이하에서 설명되는 동작/작용/기능의 적어도 일부를 제어하도록 구성될 수 있다.
예를 들어, 운전자(102)는 차량(110)을 동작하고 있을 수 있다. 운전자(102)는, 예컨대 마이크로폰(244)으로 말함으로써, 명령어(260)의 구현의 시작을 위한 요청을 제출(submit)할 수 있다. 프로세서(254)는 요청을 수신할 수 있다. 프로세서(254)는 GPS 장치(234)로부터 GPS(global positioning) 데이터(236)를 수신할 수 있다. 프로세서(254)는 GPS 데이터(236)를 분석하고 차량(110)의 위치, 속력 및 방향을 결정할 수 있다. 프로세서(254)는 명령어(260)를 실행함으로써 메모리(258)와 함께 GPS 데이터(236)를 사용하여 선택 구역(120) 내에 있을 수 있는 메모리(258)에서 식별되는 가시 객체(130)를 선택할 수 있다. 선택 구역(120)은 GPS 데이터(236)로부터 프로세서(254)에 의해 결정되는 차량(110)의 앞 영역일 수 있다. 예를 들어, 선택 구역(120)은 차량(110)의 현재 속력 및 방향에 기초하여 약 3 내지 약 15 초 내에 차량(110)이 맞닥뜨릴 수 있는 영역을 포함할 수 있다. 메모리(258) 및 GPS 데이터(236)로부터 프로세서(254)에 의해 선택될 수 있는 가시 객체의 예시는 교회 탑, 맥도널드 레스토랑, 주유소, 급수탑 등일 수 있다. 도 2에 도시된 바와 같이, 추가적인 예시는 탑(288), 다가오는 차량(286), 동작되는 차량 앞의 차량(280), 번호판(290) 또는 건물(282)일 수 있다. 메모리(258)는 객체의 위치를 포함하는 지도의 데이터베이스 및 다른 차량 동작 시스템(100)의 식별자(identification) 및 위치를 포함하는 데이터베이스를 포함할 수 있다.
명령어(260)는 운전자(102)에 의한 검출을 위한 개시 객체(130) 및 후속의 가시 객체를 선택하기 위해 GPS 데이터(236)와 메모리(258)를 분석하기 위한 규칙을 프로세서(254)에 제공할 수 있다. 프로세서(254)는 명령어(260)를 실행함으로써 선택 구역(120) 내 특정 가시 객체(130)의 위치에 기초하여 특정 가시 객체(130)를 선택하여, 운전자(102)의 시선에 영향을 미치고 시선 데이터(268)에 영향을 미칠 수 있다. 후속의 가시 객체는 선택 구역(120) 내 그 위치에 기초하여 선택되어 운전자(102)의 시선에 더 영향을 미칠 수 있다.
예를 들어, 도 2를 보면, 운전자(102)에 의해 검출될 제1 가시 객체는 다가오는 차량(286)으로 선택될 수 있고, 이는 운전자(102)의 시선을 왼쪽으로 차량(110)의 앞 약 20 피트 영향을 미칠 수 있다. 프로세서(254)는 이후 운전자(102)에 의해 검출될 후속의 가시 객체로서 건물(282)을 선택할 수 있고, 이는 운전자(102)의 시선을 오른쪽으로 차량(110)의 앞 약 70 피트 영향을 미칠 수 있다. 프로세서(254)는 명령어(260)를 실행함으로써 선택 구역(120) 내 상이한 방향 및 깊이에 위치된 가시 객체를 선택하여 운전자(102)의 시선 및 결과적으로 시선 데이터(268)에 계속적으로 영향을 미칠 수 있다.
도 3은 여기에 제시되는 적어도 일부 실시예에 따라 배열되는, 선택된 가시 객체에 관한 추가적인 상세와 함께 도 2의 예시적인 시스템을 도시한다. 도 1 및 2의 컴포넌트와 동일하게 분류된 도 3의 컴포넌트는 명확성을 위해 다시 설명되지 않을 것이다.
예를 들어, 프로세서(254)는, 원으로 강조된 탑(288)에 의해 도시된 바와 같이, 선택된 객체(310)를 선택할 수 있다. 선택된 객체(310)를 선택한 후, 프로세서(254)는 명령어(260)를 실행함으로써 오디오 쿼리(246)를 생성하고 스피커(248)를 통해 운전자(102)에 전송할 수 있다. 오디오 쿼리(246)는 운전자(102)에 의해 검출될 선택된 객체(310)를 식별하여 운전자(102)의 시선에 영향을 미칠 수 있다. 운전자(102)는 시선 데이터(268)를 생성하는 선택된 객체(310)를 검출하기 위한 시도에서 선택 구역(120)을 살필 수 있다. 카메라(250)가 차량(110)에 부착된 경우 눈 추적 및 동작 센서(252)는 운전자(102) 동공 위치 및 머리 회전을 검출할 수 있다. 카메라(250)가 운전자(102)가 쓴 안경에 위치된 경우 눈 추적 및 동작 센서(252)는 운전자(102) 동공 위치를 검출할 수 있다. 카메라(250)가 운전자(102)가 쓴 안경에 위치된 경우 눈 추적 및 동작 센서(252)는 운전자(102) 머리 위치를 검출할 수 없다. 눈 추적 및 동작 센서(252)는 시선 데이터(268)를 생성하고 프로세서(254)로 전송할 수 있다. 시선 데이터(268)는 운전자(102)를 위한 시선에 관련할 수 있다. 예를 들어, 시선은 운전자(102)의 동공의 위치 및 운전자(102)가 바라보고 있는 공간각(spatial angle)을 포함할 수 있다. 눈 추적 및 동작 센서(252)는 시선 데이터(268) 생성 시 동작 센서에 기초하여 눈 움직임 및 머리 회전을 고려할 수 있다. 예를 들어, 눈 추적 및 동작 센서(252)는 운전자(102)의 동공의 위치를 결정할 수 있다. 눈 추적 및 동작 센서는 시선 데이터(268)를 위한 동공 위치 및 머리 각도 데이터를 생성하기 위한 안경 눈 추적 장치의 일부 또는 운전자(102) 눈 및 머리의 이미지를 만들 수 있는 별도의 장치일 수 있다.
프로세서(254)는 명령어(260)를 실행함으로써 시선 데이터(268) 및 메모리(258)를 분석하여 운전자(102)의 시선이 선택된 객체(310)를 만나는지 결정할 수 있다. 운전자(102)의 시선이 선택된 객체(310)를 만난다고 결정한 후, 프로세서(254)는 선택된 객체(310)가 운전자(102)에 의해 검출되었다고 결정할 수 있다. 프로세서(254)는 스피커(248)를 통해 운전자(102)에 의한 성공적인 검출의 오디오 확인(acknowledgement)을 전송할 수 있다.
프로세서(254)는 성공적인 검출에 대하여 운전자(102)를 위한 점수를 생성할 수 있고, 이후 검출될 새로운 가시 객체를 선택할 수 있다. 점수는 변할 수 있고 점수의 값은 검출할 객체의 어려움 수준에 기초할 수 있다. 예를 들어, 빨간색 차는 회색 차보다 더 검출하기 쉬울 수 있고 더 낮은 점수의 생성을 야기할 수 있다. 다른 예시에서, 교회는 우체통보다 더 검출하기 쉬울 수 있고 더 낮은 점수의 생성을 야기할 수 있다.
프로세서(254)는 운전자(102)의 시선이 임계량의 시간, 예컨대 약 1 내지 약 4 초 내에 선택된 객체(130)와 만나지 않는 경우 운전자(102)가 선택된 객체(310)를 검출하지 않았다고 결정할 수 있다. 프로세서(254)는 스피커(248)를 통해 성공적이지 않은 검출의 표시로서 오디오 알람을 생성할 수 있다. 프로세서(254)는 운전자(102)가 오디오 알람을 확인하도록 요구할 수 있다. 확인은 머리 움직임 또는 오디오 응답일 수 있다. 프로세서(254)는 첫번째 오디오 알람이 확인되지 않은 경우 첫번째 오디오 알람보다 더 큰 두번째 오디오 알람을 전송할 수 있다. 운전자(102)로부터 확인을 수신하는 것에 응답하여, 프로세서(254)는 운전자(102)가 검출할 선택 구역(120) 내 새로운 가시 객체를 선택할 수 있다.
다른 예시에서, 프로세서(254)는 카메라(250)로부터 이미지 데이터(262)를 수신할 수 있다. 카메라(250)는 차량(110)에 부착될 수 있고 선택 구역(120)으로 향할 수 있다. 카메라(250)는 운전자(102)가 쓴 눈 추적 안경의 일부일 수 있다. 이미지 데이터(262)는 선택 구역(120) 내 객체의 이미지를 포함할 수 있다. 프로세서(254)는 명령어(260)를 실행함으로써 시선 데이터(268), 이미지 데이터(262) 및 GPS 데이터(236)를 분석하여 운전자(102)의 시선이 선택된 객체(310)를 만나는지 결정할 수 있다. 예를 들어, 프로세서(254)는 시선 데이터(268)에 기초하여 이미지 데이터(262)에 대해 이미지 처리를 수행하여 운전자(102)의 시선이 선택된 객체(310)를 만나는지 여부를 결정할 수 있다. 카메라(250)가 운전자가 쓴 눈 추적 안경의 일부인 예시에서, 시선 데이터(268)가 시선의 각도를 포함하는 경우 프로세서(254)는 이미지 데이터(262) 및 시선 데이터(268)를 사용하여 운전자(102)가 바라보고 있는 점을 검출할 수 있다. 카메라(250)가 차량(110)에 부착된 예시에서, 시선 데이터(268)가 시선의 각도를 포함하고 머리 동작 데이터를 포함하는 경우 프로세서(254)는 이미지 데이터(262) 및 시선 데이터(268)를 사용하여 운전자(102)가 바라보고 있는 점을 검출할 수 있다.
프로세서(254)는 이미지 데이터(262)를 분석하고 교통 상황을 식별할 수 있다. 프로세서는 교통 상황에 기초하여 오디오 쿼리(246)를 생성하는 것을 멈출 수 있다. 오디오 쿼리(246)의 생성을 멈출만할 수 있는 교통 상황은 사고, 공사, 교통 체증, 긴급 차량 불빛 등을 포함할 수 있다. 교통 상황을 식별한 후, 프로세서(254)는 임박한 교통 상황 때문에 오디오 쿼리(246)의 생성이 멈추었다고 운전자(102)에게 표시할 수 있다. 다른 예시에서, 차량(110)이 크루즈 제어(cruise control) 하에서 동작하는 경우 오디오 쿼리(246)의 생성이 발생할 수 있다.
예를 들어, 운전자 안전을 위한 시선의 영향은 체감형 게임(interactive game)의 형태로 구현될 수 있다. 프로세서(254)는 운전자(102)에 의해 검출될 객체(310)를 선택할 수 있고 선택된 객체(310)를 식별하기 위한 오디오 쿼리(246)를 생성할 수 있다. 프로세서(254)는 운전자(102)에 의한 선택된 객체(310)의 성공적인 또는 성공적이지 않은 검출을 결정할 수 있고 운전자(102)를 위한 점수를 산출할 수 있다. 점수는 변할 수 있으며 점수의 값은 검출할 객체의 어려움 수준 및 오디오 쿼리(246)와 성공적인 검출 사이의 시간의 양에 기초할 수 있다. 프로세서(254)는 운전자(102)에 의한 다수의 성공적인 및/또는 성공적이지 않은 검출로부터 점수를 합산하여 게임 점수를 생성할 수 있다.
다른 가능한 이점 중에서, 시선에 영향을 미치는 것은 운전자(102)가 선택 구역(120)을 살피는 것 때문에 차량(110) 주위의 운전자(102) 의식을 증가시킬 수 있다. 살피는 것은 운전자(102)가 차량(110)의 안전한 동작을 위한 가치있는 시각 정보를 놓칠 수 있는 기회를 감소시킬 수 있다. 계속적으로 살피는 것과 객체를 검출하는 것의 도전은 운전 거리에 내재된 단조로움에 기인한 피로로부터 운전자(102)를 지킬 수 있다. 계속적인 쿼리는 운전자(102)를 지루함으로부터 지킬 수 있고 운전자(102)가 계속 집중하도록 할 수 있으며 운전자는 도로로부터 눈을 뗄 필요가 없다.
본 개시에 따른 시스템은 또한 운전자(102)가 선택된 객체(130)를 검출할 수 없는 경우 알람을 생성함으로써 운전자 안전을 도울 수 있다. 알람은 운전자(102)를 다시 집중하게 할 수 있거나, 운전자(102)가 주의를 기울이지 않고 있고 쉬어야 한다고 운전자(102)에게 표시할 수 있다. 알람은 운전자 안전을 도울 수 있고 운전자(102)가 위험한 상황에 맞닥뜨리기 전에 발생할 수 있다.
도 4는 여기에 제시되는 적어도 일부 실시예에 따라 배열되는, 운전자 안전을 위한 시선의 영향을 구현하기 위한 예시적인 프로세스를 도시하는 흐름도이다. 도 4의 프로세스는, 예컨대 위에서 논의된 시스템(100)을 사용하여 구현될 수 있다. 예시적인 프로세스는 블록(S2, S4, S6, S8, S10 및/또는 S12) 중 하나 이상에 의해 도시된 하나 이상의 동작, 작용 또는 기능을 포함할 수 있다. 별개의 블록으로 도시되어 있으나, 요구되는 구현에 따라 다양한 블록들이 추가적인 블록들로 분할되거나 더 적은 블록들로 조합되거나 제거될 수 있다.
프로세싱은 블록 S2 "차량의 위치에 기초하여 선택 구역을 결정"에서 시작할 수 있다. 블록 S2에서, 프로세서는 차량의 위치에 기초하여 선택 구역을 결정할 수 있다. 프로세서는 차량 내 GPS 센서로부터 GPS 데이터를 수신할 수 있다. 프로세서는 차량의 속력 및/또는 방향에 기초하여 선택 구역을 결정할 수 있다. 프로세서는 차량의 내부 또는 외부에 있을 수 있다.
프로세싱은 블록 S2로부터 블록 S4 "선택 구역 내 객체를 선택"으로 계속할 수 있다. 블록 S4에서, 프로세서는 선택 구역 내 객체를 결정할 수 있다. 프로세서는 GPS 데이터 및 메모리 내 객체를 사용하여 선택 구역 내 객체를 결정할 수 있다. 일부 예시에서, 객체는 교회 탑, 맥도널드 레스토랑, 주유소, 급수탑 등일 수 있다.
프로세싱은 블록 S4로부터 블록 S6 "객체를 식별하는 오디오 쿼리를 생성"으로 계속할 수 있다. 블록 S6에서, 프로세서는 객체를 식별하는 오디오 쿼리를 생성할 수 있다. 오디오 쿼리는 스피커를 통해 출력될 수 있다.
프로세싱은 블록 S6으로부터 블록 S8 "시선에 관련하는 시선 데이터를 수신"으로 계속할 수 있다. 블록 S8에서, 프로세서는 운전자의 시선에 관련하는 시선 데이터를 수신할 수 있다. 시선 데이터는 눈 추적 및 동작 센서에 의해 생성될 수 있다. 눈 추적 및 동작 센서는 눈 움직임, 시선 각도 및 머리 동작을 고려할 수 있다.
프로세싱은 블록 S8로부터 블록 S10 "시선 데이터에 기초하여 시선이 객체를 만나는지 여부를 결정"으로 계속할 수 있다. 블록 S10에서, 프로세서는 시선 데이터에 기초하여 시선이 객체를 만나는지 여부를 결정할 수 있다. 프로세서는 메모리 내 객체의 위치와 시선 데이터를 분석하여 시선이 선택된 객체를 만나는지 결정할 수 있다. 시선이 선택된 객체를 만났다고 결정하면, 프로세서는 선택된 객체가 운전자에 의해 검출되었다고 결정할 수 있다.
다른 예시에서, 임계량의 시간 내에 시선이 선택된 객체와 만나지 않는 경우 프로세서는 운전자가 선택된 객체를 검출하지 않았다고 결정할 수 있다.
프로세싱은 블록 S10으로부터 블록 S12 "결정에 기초하여 응답을 생성"으로 계속할 수 있다. 블록 S12에서, 프로세서는 결정에 기초하여 응답을 생성할 수 있다. 결정은 선택된 객체가 운전자에 의해 검출되었다는 것일 수 있고 프로세서는 오디오 응답으로 응답할 수 있다. 결정은 선택된 객체가 운전자에 의해 검출되지 않았다는 것일 수 있고 프로세서는 알람으로 응답할 수 있다. 프로세서는 운전자 부주의를 방지하고 안전성을 증가시키기 위해 알람을 생성할 수 있다.
도 5는 여기에 제시되는 적어도 일부 실시예에 따라 배열되는, 운전자 안전을 위하여 시선에 영향을 미치도록 구성되는 컴퓨터 프로그램 제품(500)을 도시한다. 프로그램 제품(500)은 신호 포함 매체(signal bearing medium)(502)를 포함할 수 있다. 신호 포함 매체(502)는, 예컨대 프로세서에 의해 실행되는 경우 도 1 내지 4에 관하여 앞서 논의된 기능을 제공할 수 있는 하나 이상의 명령어(504)를 포함할 수 있다. 따라서, 예를 들어, 시스템(100)을 참조하면, 프로세서(254) 또는 프로세서(240)는 매체(502)에 의해 시스템(100)으로 전달된 명령어(504)에 응답하여 도 5에 도시된 블록 중 하나 이상을 착수할 수 있다.
일부 구현예에서, 신호 포함 매체(502)는 하드 디스크 드라이브, CD(Compact Disc), DVD(Digital Video Disk), 디지털 테이프, 메모리 등과 같은 컴퓨터 판독 가능 매체(506)를 포함할 수 있으나, 이에 제한되지는 않는다. 일부 구현예에서, 신호 포함 매체(502)는 메모리, 읽기/쓰기(R/W) CD, R/W DVD 등과 같은 기록 가능 매체(508)를 포함할 수 있으나, 이에 제한되지는 않는다. 일부 구현예에서, 신호 포함 매체(502)는 디지털 및/또는 아날로그 통신 매체(예컨대, 광섬유 케이블, 도파관(waveguide), 유선 통신 링크, 무선 통신 링크 등)와 같은 통신 매체(510)를 포함할 수 있으나, 이에 제한되지는 않는다. 따라서, 예를 들어, 프로그램 제품(500)은, 신호 포함 매체(502)가 무선 통신 매체(510)(예컨대, IEEE 802.11 표준에 따르는 무선 통신 매체)에 의해 전달되는 RF 신호 포함 매체(502)에 의하여 시스템(100)의 하나 이상의 모듈로 전달될 수 있다.
도 6은 여기에 제시되는 적어도 일부 실시예에 따라 배열되는, 운전자 안전을 위하여 시선에 영향을 미치도록 배열되는 예시적인 컴퓨팅 장치(600)를 도시하는 블록도이다. 매우 기본적인 구성(basic configuration)(602)에서, 컴퓨팅 장치(600)는 전형적으로 하나 이상의 프로세서(604) 및 시스템 메모리(606)를 포함한다. 메모리 버스(608)가 프로세서(604)와 시스템 메모리(606) 사이의 통신을 위해 사용될 수 있다.
요구되는 구성에 따라, 프로세서(604)는 마이크로프로세서(μP), 마이크로컨트롤러(μC), 디지털 신호 프로세서(DSP) 또는 그 임의의 조합을 포함하는 임의의 유형일 수 있지만, 이에 한정되는 것은 아니다. 프로세서(604)는 레벨 1 캐시(610) 및 레벨 2 캐시(612)와 같은 하나 이상의 레벨의 캐싱, 프로세서 코어(614) 및 레지스터(616)를 포함할 수 있다. 예시적인 프로세서 코어(614)는 ALU(arithmetic logic unit), FPU(floating point unit), DSP 코어(digital signal processing core), 또는 그 임의의 조합을 포함할 수 있다. 예시적인 메모리 컨트롤러(618)는 또한 프로세서(604)와 사용될 수 있거나, 또는 일부 구현예에서, 메모리 컨트롤러(618)는 프로세서(604)의 내부 부품일 수 있다.
요구되는 구성에 따라, 시스템 메모리(606)는 (RAM과 같은) 휘발성 메모리, (ROM, 플래시 메모리 등과 같은) 비휘발성 메모리, 또는 그 임의의 조합을 포함하나 이에 한정되지 않는 임의의 유형일 수 있다. 시스템 메모리(606)는 운영 체제(620), 하나 이상의 애플리케이션(622) 및 프로그램 데이터(624)를 포함할 수 있다.
애플리케이션(622)은 도 1 내지 5에 관하여 앞서 설명된 것을 포함하여 여기에 설명된 기능을 수행하도록 배열되는 운전자 안전을 위한 시선의 영향 알고리즘(626)을 포함할 수 있다. 프로그램 데이터(624)는 여기에서 설명된 바와 같은 운전자 안전을 위한 시선의 영향에 유용할 수 있는 운전자 안전을 위한 시선의 영향 데이터(628)를 포함할 수 있다. 일부 실시예에서, 운전자 안전을 위한 시선의 영향이 제공될 수 있도록 애플리케이션(622)은 운영 체제(620) 상에서 프로그램 데이터(624)와 동작하도록 배열될 수 있다. 이러한 설명된 기본 구성(602)은 내부 파선 내의 컴포넌트들에 의해 도 6에 도시된다.
컴퓨팅 장치(600)는 추가적인 특징 또는 기능, 및 기본 구성(602)과 임의의 요구되는 장치와 인터페이스 사이의 통신을 용이하게 하기 위한 추가적인 인터페이스를 가질 수 있다. 예를 들어, 버스/인터페이스 컨트롤러(630)는 저장 인터페이스 버스(634)를 통한 기본 구성(602)과 하나 이상의 데이터 저장 장치(632) 간의 통신을 용이하게 하는 데에 사용될 수 있다. 데이터 저장 장치(632)는 분리형 저장 장치(636), 비분리형 저장 장치(638), 또는 그 조합일 수 있다. 분리형 저장 장치 및 비분리형 저장 장치의 예로는, 몇 가지 말하자면, 플렉서블 디스크 드라이브 및 하드 디스크 드라이브(HDD)와 같은 자기 디스크 장치, 컴팩트 디스크(CD) 드라이브 또는 디지털 다기능 디스크(DVD) 드라이브와 같은 광 디스크 드라이브, 고체 상태 드라이브(solid state drive(SSD)) 및 테이프 드라이브를 포함한다. 예시적인 컴퓨터 저장 매체는, 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성의, 분리형 및 비분리형 매체를 포함할 수 있다.
시스템 메모리(606), 분리형 저장 장치(636) 및 비분리형 저장 장치(638)는 컴퓨터 저장 매체의 예시이다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(DVD) 또는 다른 광학 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 다른 자기 저장 장치, 또는 원하는 정보를 저장하는 데에 사용될 수 있고 컴퓨팅 장치(600)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이에 한정되는 것은 아니다. 임의의 그러한 컴퓨터 저장 매체는 컴퓨팅 장치(600)의 일부일 수 있다.
컴퓨팅 장치(600)는 버스/인터페이스 컨트롤러(630)를 통한 다양한 인터페이스 장치(예컨대, 출력 장치(642), 주변 인터페이스(644) 및 통신 장치(646))로부터 기본 구성(602)으로의 통신을 용이하게 하기 위한 인터페이스 버스(640)도 포함할 수 있다. 예시적인 출력 장치(642)는 그래픽 처리 유닛(648) 및 오디오 처리 유닛(650)을 포함하며, 이는 하나 이상의 A/V 포트(652)를 통해 디스플레이 또는 스피커와 같은 다양한 외부 장치로 통신하도록 구성될 수 있다. 예시적인 주변 인터페이스(644)는 직렬 인터페이스 컨트롤러(654) 또는 병렬 인터페이스 컨트롤러(656)를 포함하며, 이는 하나 이상의 I/O 포트(658)를 통해 입력 장치(예컨대, 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치 등) 또는 다른 주변 장치(예컨대, 프린터, 스캐너 등)와 같은 외부 장치와 통신하도록 구성될 수 있다. 예시적인 통신 장치(646)는 네트워크 컨트롤러(660)를 포함하며, 이는 하나 이상의 통신 포트(664)를 통해 네트워크 통신 링크 상에서의 하나 이상의 다른 컴퓨팅 장치(662)와의 통신을 용이하게 하도록 배열될 수 있다.
네트워크 통신 링크는 통신 매체의 일례일 수 있다. 통신 매체는 전형적으로 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파 또는 다른 전송 메커니즘 같은 변조된 데이터 신호 내의 다른 데이터에 의해 구현될 수 있고, 임의의 정보 전달 매체를 포함할 수 있다. "변조된 데이터 신호"는 신호 내에 정보를 인코딩하기 위한 방식으로 설정되거나 변경된 특성 중 하나 이상을 갖는 신호일 수 있다. 제한적인지 않은 예시로서, 통신 매체는 유선 네트워크 또는 직접 유선 접속과 같은 유선 매체, 및 음향(acoustic), 무선 주파수(RF), 마이크로파(microwave), 적외선(IR) 및 다른 무선 매체와 같은 무선 매체를 포함할 수 있다. 여기에서 사용되는 컴퓨터 판독 가능 매체라는 용어는 저장 매체 및 통신 매체 둘 다를 포함할 수 있다.
컴퓨팅 장치(600)는 휴대 전화, PDA(personal data assistant), 개인용 미디어 플레이어 장치, 무선 웹-워치(web-watch) 장치, 개인용 헤드셋 장치, 특수 용도 장치, 또는 위 기능 중 임의의 것을 포함하는 하이브리드(hybrid) 장치와 같은 소형 폼 팩터(small-form factor)의 휴대용 (또는 모바일) 전자 장치의 일부로서 구현될 수 있다. 컴퓨팅 장치(600)는 또한 랩탑 컴퓨터 및 랩탑이 아닌 컴퓨터 구성을 모두 포함하는 개인용 컴퓨터로서 구현될 수 있다.
본 개시는 다양한 태양의 예시로서 의도된 본 출원에 기술된 특정 실시예들에 제한되지 않을 것이다. 당업자에게 명백할 바와 같이, 많은 수정과 변형이 그 사상과 범위를 벗어나지 않으면서 이루어질 수 있다. 여기에 열거된 것들에 더하여, 본 개시의 범위 안에서 기능적으로 균등한 방법과 장치가 위의 설명으로부터 당업자에게 명백할 것이다. 그러한 수정과 변형은 첨부된 청구항의 범위에 들어가도록 의도된 것이다. 본 개시는 첨부된 청구항의 용어에 의해서만, 그러한 청구항에 부여된 균등물의 전 범위와 함께, 제한될 것이다. 본 개시가 물론 다양할 수 있는 특정 방법, 시약, 화합물, 조성 또는 생물학적 시스템에 제한되지 않는 것으로 이해될 것이다. 또한, 여기에서 사용된 용어는 단지 특정 실시예들을 설명하기 위한 목적이고, 제한하는 것으로 의도되지 않음이 이해될 것이다.
여기에서 실질적으로 임의의 복수 및/또는 단수의 용어의 사용에 대하여, 당업자는 맥락 및/또는 응용에 적절하도록, 복수를 단수로 및/또는 단수를 복수로 해석할 수 있다. 다양한 단수/복수의 치환은 명확성을 위해 여기에서 명시적으로 기재될 수 있다.
당업자라면, 일반적으로 여기에 사용되며 특히 첨부된 청구범위(예를 들어, 첨부된 청구범위 본문)에 사용된 용어들이 일반적으로 "개방적(open)" 용어로 의도됨을 이해할 것이다(예를 들어, 용어 "포함하는"은 "포함하지만 이에 제한되지 않는"으로, 용어 "갖는"는 "적어도 갖는"으로, 용어 "포함하다"는 "포함하지만 이에 제한되지 않는다" 등으로 해석되어야 한다). 또한, 당업자라면, 도입된 청구항의 기재사항의 특정 수가 의도된 경우, 그러한 의도가 청구항에 명시적으로 기재될 것이며, 그러한 기재사항이 없는 경우, 그러한 의도가 없음을 이해할 것이다. 예를 들어, 이해를 돕기 위해, 이하의 첨부된 청구범위는 "적어도 하나" 및 "하나 이상" 등의 도입 구절의 사용을 포함하여 청구항 기재사항을 도입할 수 있다. 그러나, 그러한 구절의 사용이, 부정관사 "하나"("a" 또는 "an")에 의한 청구항 기재사항의 도입이, 그러한 하나의 기재사항을 포함하는 실시예로, 그러한 도입된 청구항 기재사항을 포함하는 임의의 특정 청구항을 제한함을 암시하는 것으로 해석되어서는 안되며, 동일한 청구항이 도입 구절인 "하나 이상" 또는 "적어도 하나" 및 "하나"("a" 또는 "an")와 같은 부정관사를 포함하는 경우에도 마찬가지로 해석되어야 한다(예를 들어, "하나"는 "적어도 하나" 또는 "하나 이상"을 의미하는 것으로 해석되어야 한다). 이는 청구항 기재사항을 도입하기 위해 사용된 정관사의 경우에도 적용된다. 또한, 도입된 청구항 기재사항의 특정 수가 명시적으로 기재되는 경우에도, 당업자라면 그러한 기재가 전형적으로 적어도 기재된 수를 의미하도록 해석되어야 함을 이해할 것이다(예를 들어, 다른 수식어가 없이 "두 개의 기재사항"을 단순히 기재한 것은, 적어도 두 개의 기재사항 또는 두 개 이상의 기재사항을 의미한다). 또한, "A, B 및 C 등 중의 적어도 하나"와 유사한 규칙이 사용된 경우에는, 일반적으로 그러한 해석은 당업자가 그 규칙을 이해할 것이라는 전제가 의도된 것이다(예를 들어, "A, B 및 C 중의 적어도 하나를 갖는 시스템"은, A만을 갖거나, B만을 갖거나, C만을 갖거나, A 및 B를 함께 갖거나, A 및 C를 함께 갖거나, B 및 C를 함께 갖거나, A, B 및 C를 함께 갖는 시스템 등을 포함하지만 이에 제한되지 않는다). "A, B 또는 C 등 중의 적어도 하나"와 유사한 규칙이 사용된 경우에는, 일반적으로 그러한 해석은 당업자가 그 규칙을 이해할 것이라는 전제가 의도된 것이다(예를 들어, "A, B 또는 C 중의 적어도 하나를 갖는 시스템"은, A만을 갖거나, B만을 갖거나, C만을 갖거나, A 및 B를 함께 갖거나, A 및 C를 함께 갖거나, B 및 C를 함께 갖거나, A, B 및 C를 함께 갖는 시스템 등을 포함하지만 이에 제한되지 않는다). 또한 당업자라면, 실질적으로 임의의 이접 접속어(disjunctive word) 및/또는 두 개 이상의 대안적인 용어들을 나타내는 구절은, 그것이 상세한 설명, 청구범위 또는 도면에 있는지와 상관없이, 그 용어들 중의 하나, 그 용어들 중의 어느 하나, 또는 그 용어들 두 개 모두를 포함하는 가능성을 고려하는 것으로 이해되어야 함을 이해할 것이다. 예를 들어, "A 또는 B"라는 구절은 "A" 또는 "B" 또는 "A 및 B"의 가능성을 포함하는 것으로 이해될 것이다.
당업자에게 이해될 것과 같이, 서면의 설명을 제공하는 측면에서와 같은 임의의 그리고 모든 목적에서, 여기에 개시되어 있는 모든 범위는 임의의 그리고 모든 가능한 하위범위와 그러한 하위범위의 조합을 또한 포함한다. 임의의 열거된 범위는 적어도 1/2, 1/3, 1/4, 1/5, 1/10 등으로 나누어지는 동일한 범위를 충분히 설명하고 실시가능하게 하는 것으로서 쉽게 인식될 수 있다. 제한하지 않는 예시로서, 여기서 논의되는 각각의 범위는 하위 1/3, 중앙 1/3, 상위 1/3 등으로 나누어질 수 있다. 또한, "까지", "적어도", "초과", "미만" 등과 같은 모든 언어가 기재된 수를 포함하며, 전술한 하위범위로 후속적으로 나누어질 수 있는 범위를 지칭함이 당업자에게 이해되어야 한다. 마지막으로, 범위는 각각의 개별 요소를 포함함이 이해되어야 한다. 따라서, 예를 들어, 1-3개의 셀을 갖는 그룹은 1, 2 또는 3개의 셀을 갖는 그룹들을 지칭한다. 유사하게, 1-5개의 셀을 갖는 그룹은 1, 2, 3, 4 또는 5개의 셀을 갖는 그룹을 지칭하는 등이다.
다양한 양태 및 실시예가 여기에 개시되었으나, 다른 양태 및 실시예가 당업자에게 명백할 것이다. 따라서, 여기에서 개시된 다양한 양태 및 실시예는 예시의 목적이고 제한하려고 의도된 것이 아니며, 진정한 범위와 사상은 이하의 청구범위에서 나타난다.

Claims (20)

  1. 시선(line of sight) 데이터에 영향을 미치기(influencing) 위한 방법으로서,
    프로세서에 의하여,
    차량의 위치에 기초하여 선택 구역(selection zone)을 결정하는 단계;
    상기 선택 구역 내 객체(object)를 선택하는 단계;
    상기 객체를 식별하는 오디오 쿼리(audio query)를 생성하는 단계;
    시선에 관련하는 시선 데이터를 수신하는 단계;
    상기 시선 데이터에 기초하여 상기 시선이 상기 객체를 만나는지(intersect) 여부를 결정하는 단계; 및
    상기 결정에 기초하여 응답을 생성하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 프로세서는 상기 차량의 외부에 있고 네트워크 상에서 상기 차량과 통신하도록 구성되는, 방법.
  3. 제1항에 있어서,
    상기 프로세서가,
    GPS(global positioning system) 센서로부터 상기 차량에 대한 GPS 데이터를 수신하는 단계; 및
    상기 GPS 데이터로부터 상기 선택 구역을 결정하는 단계
    를 더 포함하는 방법.
  4. 제3항에 있어서,
    상기 프로세서가,
    상기 차량의 속력을 결정하는 단계;
    상기 차량의 방향을 결정하는 단계; 및
    상기 속력 및 방향에 기초하여 상기 선택 구역을 결정하는 단계
    를 더 포함하는 방법.
  5. 제3항에 있어서,
    카메라로부터 이미지 데이터를 수신하는 단계를 더 포함하고,
    상기 이미지 데이터는 상기 선택 구역에 관련하며,
    상기 시선이 상기 객체를 만나는지 여부를 결정하는 단계는 상기 이미지 데이터, 상기 시선 데이터 및 상기 GPS 데이터를 처리하는 단계를 포함하는, 방법.
  6. 제1항에 있어서,
    상기 프로세서는 메모리와 통신하도록 구성되고, 상기 메모리는 객체의 위치와 다른 차량의 위치를 포함하며,
    상기 객체를 선택하는 단계는 상기 메모리를 분석하는 단계를 포함하는, 방법.
  7. 제1항에 있어서,
    임계량의 시간 내에 상기 시선이 상기 객체를 만난다고 결정하는 단계; 및
    상기 임계량의 시간 내에 상기 시선이 상기 객체를 만난다는 상기 결정에 응답하여 스피커를 통하여 전송될 오디오 응답을 생성하는 단계
    를 더 포함하는 방법.
  8. 제1항에 있어서,
    임계량의 시간 내에 상기 시선이 상기 객체를 만나지 않는다고 결정하는 단계; 및
    상기 임계량의 시간 내에 상기 시선이 상기 객체를 만나지 않는다는 상기 결정에 응답하여 알람을 생성하는 단계
    를 더 포함하는 방법.
  9. 제8항에 있어서,
    상기 임계량의 시간 내에 상기 시선이 상기 객체를 만나지 않는다는 상기 결정에 응답하여 스피커를 통하여 전송될 오디오 알람을 생성하는 단계를 더 포함하는 방법.
  10. 제1항에 있어서,
    카메라로부터 이미지 데이터를 수신하는 단계 - 상기 이미지 데이터는 상기 선택 구역에 관련함 -;
    상기 선택 구역 내 교통 상황을 식별하는 단계; 및
    상기 교통 상황에 기초하여 상기 오디오 쿼리의 생성을 중단하는 단계
    를 더 포함하는 방법.
  11. 시선 데이터에 영향을 미치는 데에 효과가 있는 장치로서,
    명령어를 포함하는 메모리; 및
    상기 메모리와 통신하도록 구성되는 프로세서를 포함하고,
    상기 프로세서는,
    차량의 위치에 기초하여 선택 구역을 결정;
    상기 선택 구역 내 객체를 선택;
    상기 객체를 식별하는 오디오 쿼리를 생성;
    시선에 관련하는 시선 데이터를 수신;
    상기 시선 데이터에 기초하여 상기 시선이 상기 객체를 만나는지 여부를 결정; 및
    상기 결정에 기초하여 응답을 생성하도록 구성되는, 장치.
  12. 제11항에 있어서,
    상기 프로세서는 상기 차량의 외부에 있고 네트워크 상에서 상기 차량과 통신하도록 구성되는, 장치.
  13. 제11항에 있어서,
    상기 프로세서는,
    GPS(global positioning system) 센서로부터 상기 차량에 대한 GPS 데이터를 수신; 및
    상기 GPS 데이터로부터 상기 선택 구역을 결정하도록 더 구성되는, 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 차량의 속력을 결정;
    상기 차량의 방향을 결정; 및
    상기 속력 및 방향에 기초하여 상기 선택 구역을 결정하도록 더 구성되는, 장치.
  15. 제13항에 있어서,
    상기 프로세서는 카메라로부터 이미지 데이터를 수신하도록 더 구성되고,
    상기 이미지 데이터는 상기 선택 구역에 관련하며,
    상기 시선이 상기 객체를 만나는지 여부의 상기 결정은 상기 이미지 데이터, 상기 시선 데이터 및 상기 GPS 데이터에 기초하는, 장치.
  16. 제11항에 있어서,
    상기 메모리는 객체의 위치와 다른 차량의 위치를 더 포함하고,
    상기 프로세서는 상기 메모리의 분석에 기초하여 상기 객체를 선택하도록 더 구성되는, 장치.
  17. 제13항에 있어서,
    상기 프로세서는,
    임계량의 시간 내에 상기 시선이 상기 객체를 만난다고 결정; 및
    상기 임계량의 시간 내에 상기 시선이 상기 객체를 만난다는 상기 결정에 응답하여 스피커를 통하여 전송될 오디오 응답을 생성하도록 더 구성되는, 장치.
  18. 시선 데이터에 영향을 미치는 데에 효과가 있는 시스템으로서,
    제1 장치; 및
    네트워크 상에서 상기 제1 장치와 통신하도록 구성되는 제2 장치
    를 포함하고,
    상기 제1 장치는,
    GPS(global positioning system) 데이터를 생성하는 데에 효과가 있는 GPS 센서;
    시선 데이터를 생성하는 데에 효과가 있는 시선 센서; 및
    상기 GPS 데이터 및 상기 시선 데이터를 수신하고, 상기 네트워크 상에서 상기 제2 장치로 상기 GPS 데이터 및 상기 시선 데이터를 전송하는 데에 효과가 있는 제1 프로세서
    를 포함하고,
    상기 제2 장치는,
    명령어를 포함하는 메모리; 및
    상기 메모리와 통신하도록 구성되는 제2 프로세서
    를 포함하며,
    상기 제2 프로세서는,
    상기 GPS 데이터를 수신;
    상기 GPS 데이터에 기초하여 선택 구역을 결정;
    상기 선택 구역 내 객체를 선택;
    상기 객체를 식별하는, 상기 네트워크 상에서 전송될 오디오 쿼리를 생성;
    시선에 관련하는 상기 시선 데이터를 수신;
    상기 시선 데이터 및 상기 GPS 데이터에 기초하여 상기 시선이 상기 객체를 만나는지 여부를 결정; 및
    상기 결정에 기초하여 응답을 생성하도록 구성되는,
    시스템.
  19. 제18항에 있어서,
    상기 제1 장치는 이미지 데이터를 생성하는 데에 효과가 있는 카메라를 더 포함하고,
    상기 제1 프로세서는 상기 이미지 데이터를 수신하고 상기 네트워크 상에서 상기 제2 장치로 전송하는 데에 효과가 있으며,
    상기 제2 장치는 상기 이미지 데이터, 상기 시선 데이터 및 상기 GPS 데이터에 기초하여 상기 시선이 상기 객체를 만나는지 여부를 결정하는 데에 효과가 있는, 시스템.
  20. 제18항에 있어서,
    상기 제2 프로세서는,
    상기 차량의 속력을 결정;
    상기 차량의 방향을 결정; 및
    상기 속력 및 방향에 기초하여 상기 선택 구역을 결정하는 데에 효과가 있는, 시스템.
KR1020167006773A 2013-08-22 2013-08-22 운전자 안전을 위한 시선의 영향 KR20160044528A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/056191 WO2015026350A1 (en) 2013-08-22 2013-08-22 Influence of line of sight for driver safety

Publications (1)

Publication Number Publication Date
KR20160044528A true KR20160044528A (ko) 2016-04-25

Family

ID=52480010

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167006773A KR20160044528A (ko) 2013-08-22 2013-08-22 운전자 안전을 위한 시선의 영향

Country Status (3)

Country Link
US (1) US20150054951A1 (ko)
KR (1) KR20160044528A (ko)
WO (1) WO2015026350A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109341989A (zh) * 2018-09-03 2019-02-15 大连理工大学 一种能够剔除车辆动力效应的桥梁影响线识别方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102263725B1 (ko) * 2014-11-21 2021-06-11 현대모비스 주식회사 주행 정보 제공 장치 및 주행 정보 제공 방법
DE102015213769A1 (de) * 2015-07-22 2017-01-26 Robert Bosch Gmbh Verfahren und Vorrichtung zum Prädizieren einer Blickrichtung eines Fahrzeuginsassen
RU2704053C1 (ru) * 2016-08-09 2019-10-23 Ниссан Мотор Ко., Лтд. Способ управления (варианты) и устройство управления для автоматически управляемого транспортного средства
JP7115276B2 (ja) * 2018-12-10 2022-08-09 トヨタ自動車株式会社 運転支援装置、ウェアラブル装置、運転支援システム、運転支援方法およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5647016A (en) * 1995-08-07 1997-07-08 Takeyama; Motonari Man-machine interface in aerospace craft that produces a localized sound in response to the direction of a target relative to the facial direction of a crew
JP2005315802A (ja) * 2004-04-30 2005-11-10 Olympus Corp ユーザ支援装置
US7835834B2 (en) * 2005-05-16 2010-11-16 Delphi Technologies, Inc. Method of mitigating driver distraction
US7797108B2 (en) * 2006-10-19 2010-09-14 Gm Global Technology Operations, Inc. Collision avoidance system and method of aiding rearward vehicular motion
JP2009136551A (ja) * 2007-12-07 2009-06-25 Denso Corp 車両用顔特徴量検出装置及び顔特徴量検出方法
US9250315B2 (en) * 2009-03-04 2016-02-02 Toyota Motor Engineering & Manufacturing North America, Inc. Collision avoidance system and method
US8358224B2 (en) * 2009-04-02 2013-01-22 GM Global Technology Operations LLC Point of interest location marking on full windshield head-up display
WO2010119496A1 (ja) * 2009-04-13 2010-10-21 富士通株式会社 画像処理装置、画像処理プログラム、画像処理方法
US8340894B2 (en) * 2009-10-08 2012-12-25 Honda Motor Co., Ltd. Method of dynamic intersection mapping
WO2011064831A1 (ja) * 2009-11-30 2011-06-03 富士通株式会社 診断装置及び診断方法
US8552850B2 (en) * 2010-02-17 2013-10-08 Honeywell International Inc. Near-to-eye tracking for adaptive operation
US9294722B2 (en) * 2010-10-19 2016-03-22 Microsoft Technology Licensing, Llc Optimized telepresence using mobile device gestures
US9363361B2 (en) * 2011-04-12 2016-06-07 Microsoft Technology Licensing Llc Conduct and context relationships in mobile devices
US20130030811A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation Natural query interface for connected car
US9635271B2 (en) * 2011-11-17 2017-04-25 GM Global Technology Operations LLC Vision-based scene detection
TWI458532B (zh) * 2012-05-16 2014-11-01 Hon Hai Prec Ind Co Ltd 光線槍指向位置確定系統及方法
JP6036065B2 (ja) * 2012-09-14 2016-11-30 富士通株式会社 注視位置検出装置及び注視位置検出方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109341989A (zh) * 2018-09-03 2019-02-15 大连理工大学 一种能够剔除车辆动力效应的桥梁影响线识别方法

Also Published As

Publication number Publication date
US20150054951A1 (en) 2015-02-26
WO2015026350A1 (en) 2015-02-26

Similar Documents

Publication Publication Date Title
US11001196B1 (en) Systems and methods for communicating a machine intent
US10336252B2 (en) Long term driving danger prediction system
KR101231510B1 (ko) 운전자 주시방향 연동 전방충돌 위험경보 시스템, 그 방법 및 그를 이용한 차량
CN105185134B (zh) 电子装置、电子装置的控制方法及计算机可读记录介质
JP2021064395A (ja) 情報処理装置、情報処理方法及びプログラム
US20220113739A1 (en) Autonomous vehicle hailing and pickup location refinement through use of an identifier
US10642266B2 (en) Safe warning system for automatic driving takeover and safe warning method thereof
US20150062168A1 (en) System and method for providing augmented reality based directions based on verbal and gestural cues
WO2012101720A1 (en) Information processing device, alarm method, and program
KR20160044528A (ko) 운전자 안전을 위한 시선의 영향
JP2008186045A (ja) 運転評価装置
KR20090125795A (ko) 안전운전 지원장치
JP2007241729A (ja) 運転支援装置及び運転支援システム
KR102304018B1 (ko) 자율주행 차량의 충돌 방지 방법, 장치 및 컴퓨터프로그램
JP2021093162A (ja) 走行関連案内サービスを提供する車両用端末装置、サービス提供サーバ、方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
KR101559886B1 (ko) 이동 수단의 집단 제어를 위한 장치 및 방법
KR102534960B1 (ko) 자율주행 차량들을 위한 행렬들의 검출 및 그에 대한 대응
JP5362770B2 (ja) 運転支援装置
JP6296684B2 (ja) 運転支援装置
JP2006236029A (ja) 警告装置及び警告方法
JP2008310376A (ja) 歩行者検出装置
JP4277678B2 (ja) 車両運転支援装置
JP2014219814A (ja) 運転支援装置及びプログラム
JP7426471B2 (ja) 自動運転車インタラクションシステム
CN110281950B (zh) 基于三维声像传感器的载运工具控制与可视化环境体验

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right