KR20210100731A - 차량의 탑승자를 모니터링하기 위한 방법 및 장치 및 오브젝트의 인지를 분석하기 위한 시스템 - Google Patents

차량의 탑승자를 모니터링하기 위한 방법 및 장치 및 오브젝트의 인지를 분석하기 위한 시스템 Download PDF

Info

Publication number
KR20210100731A
KR20210100731A KR1020217022757A KR20217022757A KR20210100731A KR 20210100731 A KR20210100731 A KR 20210100731A KR 1020217022757 A KR1020217022757 A KR 1020217022757A KR 20217022757 A KR20217022757 A KR 20217022757A KR 20210100731 A KR20210100731 A KR 20210100731A
Authority
KR
South Korea
Prior art keywords
vehicle
occupant
detected
information content
recognized
Prior art date
Application number
KR1020217022757A
Other languages
English (en)
Other versions
KR102663092B1 (ko
Inventor
토르벤 귄첼
Original Assignee
폭스바겐 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 폭스바겐 악티엔게젤샤프트 filed Critical 폭스바겐 악티엔게젤샤프트
Publication of KR20210100731A publication Critical patent/KR20210100731A/ko
Application granted granted Critical
Publication of KR102663092B1 publication Critical patent/KR102663092B1/ko

Links

Images

Classifications

    • G06K9/00845—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0272—Period of advertisement exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F15/00—Boards, hoardings, pillars, or like structures for notices, placards, posters, or the like
    • G09F15/0006—Boards, hoardings, pillars, or like structures for notices, placards, posters, or the like planar structures comprising one or more panels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량(1)의 탑승자(2)를 모니터링하기 위한 방법에 관한 것으로서, 상기 방법에서 차량(1)의 지리적 위치가 검출되고, 탑승자(2)의 시선 방향(3)이 시선 검출 디바이스(eye-tracking device)(8)에 의해 검출된다. 본 발명에 따른 방법은, 오브젝트(5) 및 이러한 오브젝트(5)에 할당된 지리적 위치가 저장되어 있는 데이터 저장소(15)에 액세스되고; 차량(1)의 검출된 지리적 위치에 기초하여, 오브젝트(5) 중 하나가 차량(1)의 주변에 위치되는지 여부가 확인되고; 및 탑승자(2)의 검출된 시선 방향(3), 차량(1)의 검출된 지리적 위치 및 차량(1) 주변의 결정된 오브젝트(5)의 지리적 위치에 따라, 차량(1) 주변의 오브젝트(5)가 탑승자(2)에 의해 인지되었는지 여부가 확인되는 것을 특징으로 한다. 본 발명은 또한 차량(1)의 탑승자(2)를 모니터링하기 위한 장치 및 이러한 유형의 장치를 구비하는 복수의 차량(1)을 포함하는, 교통 공간에서의 오브젝트(5)의 인지를 분석하기 위한 시스템에 관한 것이다.

Description

차량의 탑승자를 모니터링하기 위한 방법 및 장치 및 오브젝트의 인지를 분석하기 위한 시스템
본 발명은 차량의 지리적 위치가 검출되고, 시선 검출 디바이스에 의해 탑승자의 시선 방향이 검출되는, 차량의 탑승자를 모니터링하기 위한 방법에 관한 것이다. 또한, 본 발명은 차량의 지리적 위치를 검출하기 위한 위치 검출 디바이스 및 탑승자의 시선 방향을 검출하기 위한 시선 검출 디바이스를 포함하는, 차량의 탑승자를 모니터링하기 위한 장치에 관한 것이다. 마지막으로, 본 발명은 차량의 탑승자를 모니터링하기 위한 장치를 구비하는 복수의 차량을 포함하는, 교통 공간에서의 오브젝트의 인지를 분석하기 위한 시스템에 관한 것이다.
교통 공간에 광고 컨텐츠가 있는 오브젝트를 설치하는 기업의 경우, 교통 공간에서 이동 중인 차량의 탑승자에 의해 광고 컨텐츠가 어떠한 방식으로 인지되는지가 중요하다. 이러한 인지를 검출하기 위해, 사람이 광고물을 관찰할 때 인식하는 센서가 통합되어 있는 광고물이 공지되어 있다. 여기서, 광고물 내의 센서를 위해 높은 비용이 발생되고, 센서의 범위가 제한적이므로, 탑승자가 지나가는 차량 내에서 광고물을 관찰할 때에는 검출될 수 없다는 것이 단점이다.
DE 10 2012 213 466 A1호로부터 차량 탑승자를 모니터링하기 위한 방법 및 장치가 공지되어 있으며, 여기서 차량 환경의 오브젝트가 환경 검출 디바이스에 의해 검출되고, 차량 탑승자의 시선 방향은 시선 검출 디바이스에 의해 검출되며, 검출된 시선 방향은 검출된 오브젝트에 자동으로 할당된다. 오브젝트는 예를 들어 광고 포스터일 수 있다. 환경 검출 디바이스는 비디오 및/또는 레이더 시스템을 포함하며, 이에 기초하여 주행 경로 상에, 특히 도로 상에 또는 노변에 위치된, 예를 들어 광고 포스터와 같은 오브젝트가 인식될 수 있다. 오브젝트는 비디오 카메라의 거리 추정 및 오브젝트 분류 또는 레이더 시스템의 거리 측정 및 레이더 오브젝트 결정에 의해 검출된다. 이러한 방법 또는 이러한 장치의 단점은, 오브젝트 검출을 신뢰할 수 없다는 것이다.
US 2016/0316237 A1호로부터, 차량용 엔터테인먼트 시스템이 공지되어 있으며, 이를 통해 영화, 오디오 프로그램, 정보 비디오, 텍스트 설명 및 광고 컨텐츠가 출력될 수 있다. 이러한 시스템은 사용자의 얼굴이 기록되는 카메라를 포함한다. 카메라에 의해 기록된 이미지는 사용자의 감정을 분석하는데 사용된다. 이러한 방식으로, 예를 들어 광고에 대한 사용자의 반응이 검출될 수 있다. 또한, 사용자가 디스플레이에서 보고 있는 위치를 검출하기 위해, 사용자의 시선 방향이 검출될 수 있다. 마지막으로, 예를 들어 나이, 모발 색상 및 유사한 특성과 같은 사용자의 개인적인 특성이 획득될 수 있다.
또한, DE 10 2014 204 530 A1호로부터 주관적인 광고 디스플레이 효과 분석을 위한 방법 및 장치가 공지되어 있다. 이 경우, 차량에 광고가 표시되고, 이러한 광고에 대한 사용자 반응이 분석된다. 이를 위해, 탑승자의 반응을 시각적으로 기록하는 차량 카메라가 제공된다. 이러한 방식으로, 사용자가 광고 디스플레이를 좋아하는지 또는 아닌지의 여부가 결정될 수 있다. 예를 들어 광고 디스플레이가 재생될 때 얼굴 인식 소프트웨어가 실행될 수 있으므로, 사용자 감정이 기록될 수 있고, 타임 스탬프가 제공될 수 있다.
본 발명의 과제는 차량 탑승자를 통한 차량 주변의 오브젝트의 인지가 신뢰성 있게 확인될 수 있는, 도입부에서 언급된 유형의 방법, 장치 및 시스템을 제공하는 것이다.
본 발명에 따르면, 이러한 과제는 청구항 제1항의 특징을 갖는 방법, 청구항 제14항의 특징을 갖는 장치 및 청구항 제15항의 특징을 갖는 시스템에 의해 달성된다. 유리한 실시예 및 개발예는 종속 청구항으로부터 명백해질 것이다.
본 발명에 따른 방법은 오브젝트 및 이러한 오브젝트에 할당된 지리적 위치가 저장되어 있는 데이터 저장소에 액세스되고, 차량의 검출된 지리적 위치에 기초하여, 오브젝트 중 하나가 차량의 주변에 위치되는지 여부가 확인되는 것을 특징으로 한다. 또한, 탑승자의 검출된 시선 방향, 차량의 검출된 지리적 위치 및 차량 주변의 확인된 오브젝트의 지리적 위치에 따라, 차량 주변의 오브젝트가 탑승자에 의해 인지되었는지 여부가 확인된다.
본 발명에 따른 방법에서는, 차량의 탑승자의 모니터링에 관련된 오브젝트가 인식되는 방식으로 차량의 환경을 검출하는 것을 필요로 하지 않는다. 오히려, 차량의 탑승자의 모니터링에 관련된 오브젝트는, 특히 오브젝트의 지리적 위치를 포함하는 오브젝트에 할당된 정보가 데이터 저장소에 저장되고, 오브젝트 중 하나가 차량 주변에 위치되는지 여부를 확인할 수 있도록 이러한 데이터 저장소에 액세스됨으로써 검출된다. 데이터 저장소는 여기서 특히 차량의 외부에 위치될 수 있다. 데이터 저장소에 대한 액세스는, 이러한 경우 차량의 현재 지리적 위치를 데이터 저장소로 전송하기 위한, 및 차량 주변의 오브젝트의 지리적 위치를 데이터 저장소로부터 차량으로 전송하기 위한 무선 통신 인터페이스를 통해 수행된다. 데이터 저장소는 예를 들어 통신 연결에 의해 자동차에 연결된 차량 외부 서버 장치 및/또는 자동차의 네비게이션 시스템이다.
본 발명에 따른 방법의 일 개발예에 따르면, 데이터 저장소에는 저장된 오브젝트의 배향 또한 저장된다. 그런 다음, 탑승자의 검출된 시선 방향, 차량의 검출된 지리적 위치 및 차량 주변의 확인된 오브젝트의 지리적 위치 및 배향에 따라, 차량 주변의 오브젝트가 탑승자에 의해 인지되었는지 여부가 확인된다. 이러한 개발예는, 오브젝트에 의해 표현된 정보 컨텐츠가 단지 특정 관찰 방향에서만 인지될 수 있는 경우에 특히 유용하다.
따라서, 데이터 저장소는 특히 지도 데이터 및 오브젝트의 장소 및 배향을 저장할 수 있다. 또한, 오브젝트가 분류될 수 있다. 오브젝트는 특히 광고 게시판과 같은 광고물일 수 있다. 이러한 광고물에 대해, 시선 방향이 확인될 수 있는 배향이 저장된다. 시선 방향은 오브젝트가 시각적으로 인지될 수 있는 관찰 각도를 나타낸다.
본 발명에 따른 방법의 일 개발예에 따르면, 오브젝트의 지리적 위치 및 배향에 따라 오브젝트에 관찰 영역이 할당된다. 차량의 지리적 위치에 따라, 차량이 관찰 영역 내에 위치되는지 여부가 확인된다. 차량이 관찰 영역 내에 위치되는 경우, 탑승자의 검출된 시선 방향에 기초하여, 차량 주변의 오브젝트가 탑승자에 의해 인지되었는지 여부가 확인된다.
관찰 영역은 여기서 특히, 차량의 탑승자가 오브젝트를 인지할 수 있도록, 차량이 위치되어야 하는 영역을 정의한다. 이 경우, 오브젝트의 인지를 위해 관찰 영역 내의 위치를 필요로 하지만, 그러나 이는 충분한 조건인 것은 아닌데, 왜냐하면 예를 들어 안개와 같은 제한된 가시성 조건의 경우 오브젝트의 시각적 인지성이 제한될 수 있기 때문이다. 그러나, 이러한 방식으로 추가의 분석을 위해 오브젝트가 고려되는지 여부가 매우 간단하게 결정될 수 있다. 차량이 오브젝트의 관찰 영역 외부에 위치되는 경우, 차량의 탑승자가 이러한 오브젝트를 인지했는지 여부가 추가로 확인될 필요가 없다.
관찰 영역은 여기서 가능한 관찰 각도 외에도, 오브젝트를 인지할 수 있기 위해 필요한 최소 거리를 또한 정의할 수도 있다. 예를 들어 오브젝트가 특정 크기의 문자를 포함하는 경우, 차량의 탑승자가 오브젝트를 볼 수 있을 뿐만 아니라, 문자 또한 읽을 수 있도록 필요한 최소 거리가 정의될 수 있다. 이러한 경우, 오브젝트의 인지는 서면 통지의 컨텐츠가 인지될 수 있도록 정의된다.
본 발명에 따른 방법의 일 실시예에 따르면, 탑승자의 시선 방향은, 시선 검출 디바이스에 의해 차량의 배향에 대한 탑승자의 시선 방향이 결정되고, 그런 다음 차량의 주변에 대한 탑승자의 시선 방향이 차량의 배향 및 차량의 배향에 대한 탑승자의 시선 방향에 기초하여 결정됨으로써 검출된다. 차량의 배향은 차량의 지리적 위치의 시간적 변화에 기초하여 비교적 간단하게 결정될 수 있다. 또한, 배향은 차량 내에 위치된 센서들을 통해 공지된 방식으로 확인될 수 있다. 그런 다음, 시선 검출 디바이스는 더 이상 차량 주변의 오브젝트에 대한 시선 방향을 결정할 필요가 없고, 단지 차량의 기준 시스템에 대해서만 상대적으로 결정한다. 시선 검출 디바이스는 특히 차량 내, 즉 차량의 기준 시스템에 또한 배치되기 때문에, 차량 내에 배치되고 예를 들어 운전자 또는 다른 차량 탑승자의 동공의 이동을 추적하는, 그 자체로 공지된 시선 트래킹 시스템(Eye-Tracking-System)이 사용될 수 있다.
본 발명에 따른 방법의 다른 실시예에 따르면, 탑승자의 검출된 시선 방향에 따라 및 차량의 검출된 지리적 위치의 시간적 변화에 따라, 차량 주변의 오브젝트가 탑승자에 의해 인지된 시간이 확인된다. 이 경우, 오브젝트의 인지 기간의 이러한 확인의 결과에 따라, 오브젝트는 특히 인지된 것으로 표시된다. 예를 들어 최소 시간 간격이 정의될 수 있다. 오브젝트 인지의 기간이 이러한 최소 시간 간격을 초과하는 경우에만, 오브젝트가 인지된 것으로 표시된다. 특히, 차량의 각각의 지리적 위치에서 시선 방향이 오브젝트의 방향으로 향하는지 여부가 지속적으로 또는 연속적인 시점에 대해 결정된다. 차량이 이동되기 때문에, 특정 기간 동안 오브젝트를 관찰할 때에도 탑승자의 시선 방향이 또한 변경되어야 한다. 차량 위치의 이러한 변화 및 이와 관련된 시선 방향의 변화는, 차량 주변의 오브젝트가 얼마나 오래 인지되었는지를 결정하기 위해 본 발명에 따른 방법에서 고려된다.
본 방법의 유리한 개발예에 따르면, 인지된 오브젝트의 메타데이터가 확인된다. 이러한 메타데이터는 예를 들어 오브젝트에 의해 표시된 광고 컨텐츠에 대한 정보를 포함할 수 있다. 또한, 광고된 제품 또는 광고된 기업에 대한 정보를 포함할 수도 있다. 메타데이터는 또한, 데이터 저장소에 저장될 수도 있다. 데이터 저장소에 대한 액세스를 통해, 이러한 메타데이터가 검색될 수 있다. 이러한 메타데이터의 확인은 추가 분석에 유리하다. 또한, 이러한 메타데이터를 차량의 탑승자에게 출력하는 것도 가능하다. 이러한 방식으로, 탑승자는 오브젝트를 이미 통과했을 때, 인지된 오브젝트와 관련된 정보를 추후에 또한 검색할 수도 있다.
본 발명에 따른 방법의 일 실시예에서, 인지된 오브젝트의 메타데이터는 시간적으로 변경된다. 예를 들어 오브젝트는 다양한 시간 간격으로 뉴스, 광고 컨텐츠 또는 예를 들어 교통 정보와 같은 다른 정보들을 나타내는 디스플레이를 포함할 수 있다. 이러한 경우, 오브젝트가 탑승자에 의해 인지되었던 시점 또는 시간 간격이 검출되고, 인지된 오브젝트의 메타데이터는 오브젝트가 인지되었던 시점 또는 시간 간격에 대해 확인된다. 이러한 방식으로, 오브젝트가 탑승자에 의해 인지되었다는 것뿐만 아니라, 이러한 시점 또는 이러한 시간 간격에 대해 어떠한 정보를, 예를 들어 오브젝트를 디스플레이했는지 또한 검출될 수 있다.
본 발명에 따른 방법의 일 개발예에 따르면, 확인된 오브젝트로부터 정보 컨텐츠가 출력되는지 여부가 확인된다. 그런 다음, 출력된 정보 컨텐츠에 대한 인식 데이터가 검출된다. 적어도 정보 컨텐츠의 출력 동안 또는 그 이후의 일정 시간 간격 동안, 차량 탑승자 간의 대화가 차량 내부 공간의 마이크에 의해 검출된다. 그런 다음, 정보 컨텐츠의 출력 동안 또는 그 이후의 일정 시간 간격 동안 행해진, 검출된 대화에 대한 분석이 수행되고, 대화 도중 또는 대화 이전에 출력된 정보 컨텐츠에 대한 대화 분석 및 검출된 인식 데이터에 기초하여, 출력된 정보 컨텐츠가 차량의 탑승자에 의해 인지되었는지 여부가 확인된다. 이러한 방식으로, 오브젝트에 의해 출력된 정보 컨텐츠에 기초하여, 오브젝트가 인지되었는지 여부가 보다 정확하게 판단될 수 있다.
정보 컨텐츠 출력 이후의 시간 간격은 예를 들어 정보 컨텐츠의 출력이 종료된 후 30분까지의 시간을 포함할 수 있다. 시간 간격은 특히 정보 컨텐츠의 출력이 종료된 후 20분, 바람직하게는 10분 또는 2분의 시간을 포함한다.
정보 컨텐츠는 차량 탑승자에 의해 인지될 수 있는 모든 형태의 정보이다. 정보 컨텐츠는 특히 광고 컨텐츠이다. 따라서, 광고가 출력되며, 그 컨텐츠는 차량 탑승자에 의해 인지될 수 있다. 본 발명에 따른 방법의 이러한 실시예에서, 차량 탑승자는 광고 컨텐츠를 인지했는지의 여부를 위해 모니터링된다. 이를 위해, 차량 탑승자 간의 대화 내용이 분석된다. 이러한 대화 분석을 기반으로, 할당된 정보 컨텐츠의 인식 데이터와의 관계성이 생성될 수 있다. 이러한 관계성이 존재하면, 차량 탑승자에 의해 정보 컨텐츠가 인지된 것으로 추론된다. 이러한 대화 분석에 의해, 정보 컨텐츠의 인지 및 이에 따라 이러한 정보 컨텐츠를 출력한 오브젝트의 인지에 대해 매우 신뢰성 있게 추론될 수 있는 것이 달성된다.
본 발명에 따른 방법의 일 실시예에 따르면, 인식 데이터는 출력된 정보 컨텐츠가 분석됨으로써 획득된다. 예를 들어 정보 컨텐츠의 시각적 출력은 차량의 환경을 기록하는 카메라에 의해 검출될 수 있다. 그런 다음, 카메라에 의해 검출된 데이터가 분석될 수 있어, 정보 컨텐츠에 대한 인식 데이터를 획득할 수 있다. 이러한 실시예에서, 인식 데이터는 차량 외부의 디바이스에 액세스하는 것을 필요로 하지 않고도, 단지 차량의 디바이스에 의해서 유리한 방식으로 획득될 수 있다.
본 발명에 따른 방법의 다른 실시예에 따르면, 차량 주변의 확인된 오브젝트의 출력된 정보 컨텐츠에 대한 인식 데이터가 데이터 저장소로부터 차량으로 전송된다. 본 방법의 이러한 실시예에서는, 차량 외부 디바이스에 액세스하는 것을 필요로 한다. 그러나, 이러한 경우 인식 데이터는 신뢰성 있게 그리고 경우에 따라서는 사전 결정된 방식으로 획득될 수 있는데, 확인된 오브젝트에 대해 어떠한 정보 컨텐츠가 어떤 시간에 출력되는지를 나타내는 데이터가 데이터 저장소에 저장될 수 있기 때문이다.
인식 데이터는 예를 들어 출력된 정보 컨텐츠의 키워드를 포함할 수 있다. 이를 통해, 특히 신뢰성 있는 대화 분석이 수행될 수 있는 것이 유리한 방식으로 달성된다.
본 발명에 따른 방법의 일 실시예에 따르면, 정보 컨텐츠의 출력 동안 또는 그 이후의 일정 시간 간격 동안 행해진, 검출된 대화가 분석될 때, 정보 컨텐츠에 속하는 키워드의 적어도 하나의 부분 집합 및 대화의 단어 간에 일치가 존재하는지 여부가 확인된다. 정보 컨텐츠의 키워드에 대응하는 단어가 대화에서 발생하면, 유리하게는 대화 컨텐츠가 출력된 정보 컨텐츠에 관련되어 있다는 것이 매우 신뢰성 있게 추론될 수 있다. 따라서, 키워드는 정보 컨텐츠에서 가능한 한 특별하거나 또는 드물게 발생하는 단어이므로, 대화 분석 시 일반적인 대화와 출력된 정보 컨텐츠에 대한 대화 간의 명확한 구분이 가능해진다. 이러한 방식으로, 모니터링된 탑승자가 출력된 정보 컨텐츠를 인지했는지의 여부가 특히 신뢰성 있게 검증될 수 있다.
본 발명에 따른 방법의 일 개발예에 따르면, 정보 컨텐츠의 출력 도중 또는 그 이후의 일정 시간 간격 동안 행해진, 검출된 대화가 분석될 때, 대화의 내용이 확인되고, 정보 컨텐츠에 대한 적어도 한 명의 탑승자의 반응이 어떠한지가 결정된다. 예를 들어 탑승자가 정보 컨텐츠에 대해 긍정적, 중립적 또는 부정적으로 반응했는지 여부가 분석될 수 있다. 유리하게는, 이러한 실시예에서 정보 컨텐츠의 출력이 인지되었는지 여부뿐만 아니라, 정보 컨텐츠에 대한 반응이 어떠한지 또한 확인될 수 있다.
본 발명에 따른 방법의 일 개발예에 따르면, 오브젝트가 인지되었던 시점 또는 시간 간격에 대해 탑승자의 기분(mood)이 기분 검출 디바이스에 의해 검출된다. 이를 위해, 기분 검출 디바이스는 예를 들어 내부 공간 카메라 및/또는 마이크와 결합될 수 있다. 이러한 방식으로, 탑승자의 음성, 표정 및/또는 제스처가 기분 검출 디바이스에 의해 분석되고 분류될 수 있으며, 이에 따라 특정 기분에 할당될 수 있다.
또한, 탑승자의 개인적인 특성이 검출될 수 있다. 예를 들어 탑승자, 특히 차량의 운전자의 신원은 차량 키를 기반으로 또는 주행이 개시될 때의 입력을 기반으로 확인될 수 있다.
대안적으로, 탑승자의 개인적인 특성은 탑승자 검출 디바이스에 의해 검출된다. 이러한 디바이스는 내부 공간 카메라 및/또는 마이크에 액세스할 수 있다. 이러한 방식으로, 예를 들어 탑승자의 연령 등급 및 성별이 자동으로 확인될 수 있다. 이러한 정보는 오브젝트의 인지에 대한 데이터의 추가적인 평가를 지원할 수 있다.
본 발명에 따른 방법의 일 실시예에 따르면, 차량 내부 분석 디바이스에 의해, 차량 주변의 어떤 오브젝트가 어떤 탑승자에 의해 언제 인지되었는지가 검출된다. 또한, 차량 내부 분석 디바이스에 의해, 어떤 메타데이터가 인지된 오브젝트를 갖는지, 오브젝트가 얼마나 오래 인지되었는지 및/또는 오브젝트를 인지한 탑승자의 개인적인 특성 및/또는 기분이 검출될 수 있다. 이 경우, 분석 디바이스에 의해 검출된 데이터는 차량 외부의 평가 디바이스로 전송될 수 있다. 이를 통해, 차량 탑승자의 모니터링 시 획득되었던 데이터를 차량 외부의, 특히 중앙 평가 디바이스를 통해 평가하여, 오브젝트의 인지에 대한 데이터를 획득하는 것이 가능해진다. 이 경우, 차량 외부의 평가 디바이스는 복수의 차량의 데이터에 기초하여, 특히 메타데이터에 속하는 정보 컨텐츠가 인지되는 방식을 확인할 수 있다. 대안적으로 또는 추가적으로, 정보 컨텐츠 출력의 효율성을 결정할 수 있다.
데이터 저장소는, 통신 연결에 의해 자동차에 연결된 적어도 하나의 차량 외부 서버 장치 및/또는 자동차의 네비게이션 시스템일 수 있다.
차량의 탑승자를 모니터링하기 위한 본 발명에 따른 장치는, 오브젝트 및 이러한 오브젝트에 할당된 지리적 위치가 저장되어 있는 데이터 저장소에 액세스하기 위한 인터페이스를 특징으로 한다. 또한, 이러한 장치는 차량의 검출된 지리적 위치에 기초하여, 오브젝트 중 하나가 차량의 주변에 위치되는지 여부를 확인하고, 또한 탑승자의 검출된 시선 방향, 차량의 검출된 지리적 위치 및 차량 주변의 확인된 오브젝트의 지리적 위치에 따라, 차량 주변의 오브젝트가 탑승자에 의해 인지되었는지 여부를 확인할 수 있도록 형성된 분석 디바이스를 특징으로 한다.
분석 디바이스는 특히 차량 내에 배치된다. 반면, 데이터 저장소는 특히 차량의 외부에 배치된다. 이러한 경우, 인터페이스는 특히 데이터 저장소와 분석 디바이스 간의 데이터 교환을 위한 무선 통신 인터페이스이다.
본 발명에 따른 장치는 특히 본 발명에 따른 방법을 실행하도록 형성된다. 따라서, 이러한 장치는 또한 본 발명에 따른 방법과 동일한 이점을 포함한다.
본 발명은 또한 교통 공간에서의 오브젝트의 인지를 분석하기 위한 시스템에 관한 것이다. 시스템은 상기 설명된 본 발명에 따른 장치를 각각 구비하는 복수의 차량을 포함한다. 이 경우, 차량은 각각 분석 디바이스를 포함한다. 이러한 시스템은 차량의 인터페이스와 통신하고 차량의 분석 디바이스에 의해, 차량의 탑승자로부터 어떤 오브젝트가 인지되었는지를 나타내는 데이터를 수신할 수 있도록 형성된 차량 외부의 평가 디바이스를 또한 포함한다. 본 발명에 따른 시스템에 의해, 예를 들어 노변에 배치된 오브젝트를 통과하는 차량의 탑승자를 통한 오브젝트의 인지를 위한 데이터가 유리하게는 장기간에 걸쳐 획득될 수 있다.
본 발명은 이제 도면을 참조하여 예시적인 실시예에 기초하여 설명될 것이다.
도 1은 본 발명에 따른 방법의 일 예시적인 실시예에 따른, 차량 탑승자를 통한 오브젝트의 인지를 도시한다.
도 2는 본 발명에 따른 장치의 일 예시적인 실시예를 도시한다.
도 1을 참조하여, 본 발명에 따른 방법이 사용되는 시나리오가 설명된다.
탑승자(2), 예를 들어 운전자가 있는 차량(1)이 도로의 차도(4)를 주행한다. 도로 옆에는 오브젝트(5)가 위치되어 있다. 이는 여기서 예를 들어 광고 게시판과 같은 광고물일 수 있다. 오브젝트(5)는 특정 배향을 가지므로, 특정 관찰 영역(6)으로부터 이러한 관찰 영역(6) 내의 사람에 의해 인지될 수 있다. 관찰 영역(6) 내에 위치되는 차량(1)의 탑승자(2)는, 그 시선 방향(3)이 정보 컨텐츠가 표현되는 오브젝트(5)의 표면 방향으로 볼 수 있다. 이러한 방식으로, 탑승자(2)는 오브젝트(5) 및 오브젝트(5)에 의해 표현되는 정보 컨텐츠를 인지할 수 있다. 차도(4) 상의 차량(2)이 오브젝트(5)를 통과하여 이동되면, 탑승자(2)가 오브젝트 또는 표현된 정보 컨텐츠를 인지할 때, 특정 기간 동안 오브젝트(5)의 방향을 향하도록 탑승자(2)의 시선 방향(3)이 변경된다.
도 2를 참조하여, 본 발명에 따른 장치 및 본 발명에 따른 방법의 일 예시적인 실시예가 설명된다.
차량(1)은 다양한 센서들(7)을 포함한다. 센서들(7)은 예를 들어 내부 공간 카메라(7-1), 내부 공간 마이크(7-2), 식별 유닛(7-3) 및 위치 검출 디바이스(7-4)를 포함한다. 센서들(7)은 시선 검출 디바이스(8), 기분 검출 디바이스(9) 및 탑승자 검출 디바이스(10)에 결합된다.
시선 검출 디바이스(8)에 의해, 센서들(7)로부터 기록된 데이터에 기초하여 차량(1)의 기준 시스템에 대한 차량 탑승자(2)의 시선 방향(3)이 검출될 수 있다. 따라서, 시선 검출 디바이스(8)는 시선 트래킹 시스템을 포함할 수 있다. 예를 들어 탑승자(2)가 차량 창문, 예를 들어 앞창 또는 측창을 보고 있는 곳이 검출된다. 또한, 차량(1) 내부의 탑승자(2)의 눈의 위치가 확인될 수 있고, 이로부터 시선 방향(3)이 계산될 수 있다.
기분 검출 디바이스(9)는 센서들(7)에 의해 전송된 데이터에 기초하여 특정 시점 또는 시간 간격에 대해 탑승자(2)의 기분을 검출할 수 있다. 예를 들어 탑승자(2)의 표정, 제스처 및 음성이 분석될 수 있고, 특정 기분 등급에 할당될 수 있다.
탑승자 검출 디바이스(10)는 센서들(7)로부터 검출된 데이터에 기초하여 탑승자(2)의 개인적인 특성을 검출할 수 있다. 한편으로는, 탑승자(2)의 신원은 예를 들어 탑승자(2)에게 개인적으로 할당된 키에 기초하여 식별 유닛(7-3)을 통해 직접 확인될 수 있다. 대안적으로 또는 추가적으로, 탑승자(2)의 개인적인 특성은 이미지 분석 및/또는 음성 분석에 의해 확인될 수 있다.
시선 검출 디바이스(8)에 의해 검출된 탑승자(2)의 시선 방향(3), 기분 검출 디바이스(9)에 의해 검출된 탑승자(2)의 기분 및 탑승자 검출 디바이스(10)에 의해 검출된 탑승자(2)의 개인적인 특성은, 지속적으로 또는 특정 시간 간격 내에서 차량 내부 분석 디바이스(11)로 전송된다. 위치 검출 디바이스(7-4)에 의해, 또한 차량(1)의 현재 지리적 위치 및 포즈, 즉 차량(1)의 공간적인 위치 또는 배향이 검출되고, 분석 디바이스(11)로 지속적으로 전송된다. 이러한 방식으로, 분석 디바이스(11)는 차량(1)의 속도 및 이동 방향을 확인할 수 있다.
차량 내부 분석 디바이스(11)는 예를 들어 모바일 무선 네트워크를 통한 데이터 연결과 같은 통신 인터페이스(12)를 통해 오브젝트 확인 디바이스(13)에 결합된다. 오브젝트 확인 디바이스(13)는 다시 데이터 저장소(15)에 액세스한다. 데이터 저장소(15)에는 탑승자(2)의 모니터링에 관련되어 있는 오브젝트(5)에 대한 데이터가 저장되어 있다. 데이터 저장소(15)는 오브젝트(5)에 할당되어 있는 지리적 위치를 저장한다. 또한, 오브젝트의 인지가 단지 특정 관찰 방향으로부터만 가능한 경우, 오브젝트에 할당된 배향은 데이터 저장소에 저장된다. 예를 들어 오브젝트(5)는 광고물, 정보 및 지시를 가리키는 오브젝트, 또는 탑승자(2)에 의한 인지가 중요한 다른 오브젝트(5)일 수 있다. 오브젝트(5)에는 또한 메타데이터가 저장될 수 있다. 여기에는, 관찰 영역(6)에 대한 데이터, 오브젝트(5)에 의해 표시된 정보 컨텐츠, 특히 광고 컨텐츠에 대한 데이터, 및 경우에 따라서는 어떤 정보 컨텐츠가 언제 표시되었는지 또는 언제 표시되는지를 나타내는 시간 데이터가 포함된다. 정보 컨텐츠는 광고된 제품 및 광고된 기업에 대한 정보 또한 포함할 수 있다.
차량 내부 분석 디바이스(11)는 또한 무선 통신 인터페이스(12)를 통해 차량 외부 평가 디바이스(14)에 연결된다.
이하에서는, 본 발명에 따른 방법에서 차량(1)의 탑승자(2)가 모니터링되는 방식이 설명되고, 여기서 본 발명에 따른 장치의 다양한 장치의 구성예가 추가로 설명된다.
차량(1)의 지리적 위치는 위치 검출 디바이스(7-4)에 의해 지속적으로 검출된다. 차량 내부 분석 디바이스(11)에 의해, 차량(1)의 위치는 통신 인터페이스(12)를 통해 오브젝트 확인 디바이스(13)로 지속적으로 전송된다. 데이터 저장소(15)에 액세스함으로써, 오브젝트 확인 디바이스(13)는 분석 디바이스(11)에 의해 전송된 차량(1)의 지리적 위치에 따라, 차량(1) 주변에 위치되는 오브젝트(5)를 확인한다. 예를 들어 오브젝트 확인 디바이스(13)는 차량(1)이 오브젝트(5)의 관찰 영역(6) 내에 위치되는지 여부를 결정할 수 있다. 그런 다음, 오브젝트 검출 디바이스(13)는 차량(1) 주변의 오브젝트(5)에 대한 데이터를 분석 디바이스(11)로 다시 전송한다. 이러한 데이터에는 오브젝트(5)의 지리적 위치 및 배향이 포함된다. 또한, 데이터는 타임 스탬프 및 앞서 언급된 오브젝트(5)의 메타데이터의 전부 또는 부분 집합을 포함할 수 있다.
또한, 탑승자(2)의 시선 방향(3)이 지속적으로 검출된다. 차량(1)의 기준 시스템에 대해 시선 방향(3)이 검출되면, 분석 디바이스(11)는 차량(1)의 이동을 고려하여, 오브젝트(5)가 위치된 차도(4)의 기준 시스템에서 탑승자(2)의 시선 방향(3)을 지속적으로 계산한다. 이러한 기준 시스템에서는 특히 이동되지 않는다. 그런 다음, 분석 디바이스(11)는 탑승자(2)의 검출된 현재 시선 방향(3), 차량(1)의 검출된 현재 지리적 위치 및 차량(1) 주변의 오브젝트(5)의 지리적 위치 및 배향에 따라, 차량(1) 주변의 오브젝트(5)가 탑승자(2)에 의해 인지되었는지 여부를 결정한다. 오브젝트(5)가 단지 관찰자에 대해 특정 배향에서만 인지될 수 있는 경우, 차량(1) 주변의 확인된 오브젝트(5)의 배향이 또한 차량(1) 주변의 오브젝트(5)가 탑승자(2)에 의해 인지되었는지의 여부가 확인될 때 고려된다. 이러한 배향은 예를 들어 편평한 오브젝트(5)의 경우, 단지 특정 관찰 방향으로 인지되었을 경우에, 즉 예를 들어 오브젝트 자체가 아니라 표현된 정보를 갖는 표면이 인지되었을 경우에, 오브젝트(5)가 인지된 것으로 표시되어야 하는 경우에 고려되어야 한다.
또한, 분석 디바이스(11)는 어떤 시점에 그리고 얼마나 오래 오브젝트(5)가 탑승자(2)에 의해 인지되었는지를 검출한다. 이러한 정보는 분석 디바이스(11)의 내부 저장소에 저장된다. 이와 관련하여, 오브젝트(5)를 인지하는 동안 탑승자(2)의 검출된 기분, 및 탑승자(2)의 개인적인 특성 또한 저장된다.
차량(1)이 교통 공간의 도로를 주행하는 동안, 언급된 정보는 차량(1)이 오브젝트(5)를 통과할 때 분석 디바이스(11)의 내부 저장소에 반복해서 저장된다. 이 경우, 이러한 저장된 정보는 통신 인터페이스(12)를 통해 또는 다른 방식으로, 차량(1)의 탑승자(2)가 모니터링될 때 획득된 데이터가 계속 평가될 수 있는 차량 외부의 평가 디바이스(14)로 전송될 수 있다.
이하에서는, 상기 설명된 예시적인 실시예의 개발예가 설명되고, 여기서 본 발명에 따른 장치의 다양한 디바이스의 가능한 다른 구성예 또한 추가로 설명된다.
이러한 개발예에서 오브젝트(5)로부터 정보 컨텐츠가 디스플레이된다. 여기서 고정 디스플레이 또는 변경되는 디스플레이일 수 있다. 분석 디바이스(11)에 의해, 확인된 오브젝트(5)로부터 정보 컨텐츠가 출력되는지 여부가 확인된다.
정보 컨텐츠는 특히 광고 컨텐츠이다. 정보 컨텐츠에는 인식 데이터 및 경우에 따라서는 메타데이터가 할당된다. 인식 데이터는 정보 컨텐츠와 관련된 키워드이다. 키워드는 정보 컨텐츠가 출력될 때 시각적으로 디스플레이되는 단어일 수 있다. 그러나, 인식 데이터, 특히 키워드는 또한 다른 방식으로 정보 컨텐츠와 관련될 수도 있다. 키워드가 디스플레이되는 방식으로 출력되는 것을 반드시 필요로 하지는 않는다. 사용자가 정보 컨텐츠의 출력을 인지했는지 여부가 인식 데이터에 기초하여 확인될 수 있도록, 인식 데이터는 이러한 정보 컨텐츠와 관련된다. 예를 들어 인식 데이터는 전송되는 의미에서 정보 컨텐츠와 관련된 키워드를 또한 포함할 수도 있다. 예를 들어 정보 컨텐츠에서 키워드가 자체적으로 발생하지는 않고, 정보 컨텐츠에 대한 대화 중에 높은 확률로 발화되는 키워드일 수 있다. 키워드는 특히, 이러한 단어의 발생 빈도가 가능한 한 낮도록 선택되므로, 키워드가 다른 맥락에서는 낮은 확률로 언급된다.
오브젝트(5)로부터 정보 컨텐츠가 출력되는 것을 분석 디바이스(11)가 확인하면, 출력된 정보 컨텐츠에 대한 인식 데이터를 검출한다. 예를 들어 분석 디바이스(11)는 차량(1) 주변의 확인된 오브젝트(5)의 출력된 정보 컨텐츠에 대한 인식 데이터가 데이터 저장소(15)로부터 분석 디바이스(11)로 전송됨으로써 인식 데이터를 획득할 수 있다. 이를 위해, 데이터 저장소(15)에는 어떤 오브젝트(5)로부터 어떠한 정보 컨텐츠가 어떤 시간에 디스플레이되는지뿐만 아니라, 추가적으로 각각 할당된 인식 데이터 또한 저장될 수 있다.
대안적으로, 분석 디바이스(11)는 센서들(7)에 의해 전송된 데이터를 평가함으로써, 출력된 정보 컨텐츠에 대한 인식 데이터를 검출한다. 예를 들어 내부 공간 카메라(7-1)에 의해 기록된 이미지에 기초하여, 표현된 텍스트를 추출하고 이로부터 인식 데이터, 특히 키워드를 생성할 수 있다.
분석 디바이스(12)는 또한 내부 공간 마이크(7-2)의 기록을 수신한다. 이러한 분석 디바이스는, 정보 컨텐츠의 출력 도중 또는 정보 컨텐츠의 출력 이후의 일정 시간 간격 동안 검출된 대화를 분석할 수 있도록 형성된다. 분석 디바이스(12)는 출력된 정보 컨텐츠의 대화 도중 또는 대화 이전에 검출된 인식 데이터 및 이러한 대화 분석에 기초하여, 출력된 정보 컨텐츠가 차량(1)의 탑승자에 의해 인지되었는지의 여부를 확인한다. 분석 디바이스(12)는 여기서 정보 출력 동안 또는 그 이후의 일정 시간 간격으로 검출된 대화의 특정 단어를 추출하고, 이러한 추출된 단어를 인식 데이터의 키워드와 비교한다. 어느 정도 일치가 확인되면, 분석 디바이스(12)는 탑승자(2)가 정보 컨텐츠를 출력한 오브젝트(5)를 인지했는지를 검증할 수 있다.
교통 공간에서의 오브젝트(5)의 인지를 분석하기 위한 본 발명에 따른 시스템에서, 복수의 차량(1)에는 상기 설명된 본 발명에 따른 장치가 장착되어 있다. 차량(1)은 오브젝트(5)의 인지와 관련하여 각각의 차량(1)의 하나 이상의 탑승자(2)를 모니터링한다. 차량(1)의 각각의 분석 디바이스(11)에는 어느 시점에서 어떤 탑승자(2)에 의해 어떤 오브젝트(5)가 인지되었는지가 검출된다. 또한, 오브젝트(5)의 인지에 대한 언급된 메타데이터가 검출될 수 있다. 분석 디바이스(11)에 의해 검출된 데이터는 차량 외부의 평가 디바이스(14)로 전송되므로, 이러한 평가 디바이스는 특정 오브젝트가 인지된 방식을 포괄적으로 평가할 수 있다.
차량 외부의 평가 디바이스는 복수의 차량의 데이터에 기초하여, 메타데이터에 속하는 정보 컨텐츠가 인지되는 방식을 확인한다.
1 차량
2 탑승자
3 시선 방향
4 차도
5 오브젝트
6 관찰 영역
7 센서
7-1 내부 공간 카메라
7-2 내부 공간 마이크
7-3 식별 유닛
7-4 위치 검출 디바이스
8 시선 검출 디바이스
9 기분 검출 디바이스
10 탑승자 검출 디바이스
11 차량 내부 분석 디바이스
12 통신 인터페이스
13 오브젝트 확인 디바이스
14 평가 디바이스
15 데이터 저장소

Claims (15)

  1. 차량(1)의 탑승자(2)를 모니터링하기 위한 방법으로서,
    상기 차량(1)의 지리적 위치가 검출되고,
    상기 탑승자(2)의 시선 방향(3)이 시선 검출 디바이스(eye-tracking device)(8)에 의해 검출되는, 상기 방법에 있어서,
    오브젝트(5) 및 상기 오브젝트(5)에 할당된 지리적 위치가 저장되어 있는 데이터 저장소(15)에 액세스되고, 상기 차량(1)의 상기 검출된 지리적 위치에 기초하여, 상기 오브젝트(5) 중 하나가 상기 차량(1)의 주변에 위치되는지 여부가 확인되고,
    상기 탑승자(2)의 상기 검출된 시선 방향(3), 상기 차량(1)의 상기 검출된 지리적 위치, 및 상기 차량(1) 주변의 상기 확인된 오브젝트(5)의 지리적 위치에 따라, 상기 차량(1) 주변의 상기 오브젝트(5)가 상기 탑승자(2)에 의해 인지되었는지 여부가 확인되는 것을 특징으로 하는, 방법.
  2. 제1항에 있어서,
    상기 데이터 저장소(15)에는 상기 저장된 오브젝트(5)의 배향 또한 저장되어 있고,
    상기 탑승자(2)의 상기 검출된 시선 방향(3), 상기 차량(1)의 상기 검출된 지리적 위치, 및 상기 차량(1) 주변의 상기 확인된 오브젝트(5)의 지리적 위치 및 배향에 따라, 상기 차량(1) 주변의 상기 오브젝트(5)가 상기 탑승자(2)에 의해 인지되었는지 여부가 확인되는 것을 특징으로 하는, 방법.
  3. 제2항에 있어서,
    상기 오브젝트(5)의 지리적 위치 및 배향에 따라, 상기 오브젝트(5)에 관찰 영역(6)이 할당되고,
    상기 차량(1)의 지리적 위치에 따라, 상기 차량(1)이 상기 관찰 영역(6) 내에 위치되는지 여부가 확인되고,
    상기 차량(1)이 상기 관찰 영역(6) 내에 위치되는 경우, 상기 탑승자(2)의 상기 검출된 시선 방향(3)에 기초하여, 상기 차량(1) 주변의 상기 오브젝트(5)가 상기 탑승자(2)에 의해 인지되었는지 여부가 확인되는 것을 특징으로 하는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 차량(1)의 배향이 결정되고,
    상기 탑승자(2)의 시선 방향(3)은, 상기 시선 검출 디바이스(8)에 의해 상기 차량(1)의 배향에 대한 상기 탑승자(2)의 시선 방향(3)이 결정됨으로써 검출되고,
    상기 차량(1)의 주변에 대한 상기 탑승자(2)의 시선 방향(3)은, 상기 차량(1)의 배향, 및 상기 차량(1)의 배향에 대한 상기 탑승자(2)의 시선 방향(3)에 기초하여 결정되는 것을 특징으로 하는, 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 탑승자(2)의 상기 검출된 시선 방향(3)에 따라 그리고 상기 차량(1)의 상기 검출된 지리적 위치의 시간적 변화에 따라, 상기 차량(1) 주변의 상기 오브젝트(5)가 상기 탑승자(2)에 의해 인지된 시간이 확인되고,
    상기 오브젝트(5)의 인지 기간의 상기 확인의 결과에 따라, 상기 오브젝트(5)는 인지된 것으로 표시되는 것을 특징으로 하는, 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    인지된 오브젝트(5)의 메타데이터가 확인되고, 그리고/또는 상기 탑승자(2)의 개인적인 특성이 검출되는 것을 특징으로 하는, 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 확인된 오브젝트(5)로부터 정보 컨텐츠가 출력되는지 여부가 확인되고,
    상기 출력된 정보 컨텐츠에 대한 인식 데이터가 검출되고,
    적어도 상기 정보 컨텐츠의 출력 동안 또는 상기 정보 컨텐츠의 출력 이후의 일정 시간 간격 동안, 상기 차량(1)의 탑승자(2) 간의 대화가 상기 차량(1)의 내부 공간의 마이크(7-1)에 의해 검출되고,
    상기 정보 컨텐츠의 출력 동안 또는 상기 정보 컨텐츠의 출력 이후의 일정 시간 간격 동안 행해진, 상기 검출된 대화의 분석이 수행되고,
    상기 대화 동안 또는 상기 대화 이전에 출력된 상기 정보 컨텐츠의 상기 대화 분석 및 상기 검출된 인식 데이터에 기초하여, 상기 출력된 정보 컨텐츠가 상기 차량(1)의 탑승자에 의해 인지되었는지 여부가 확인되는 것을 특징으로 하는, 방법.
  8. 제7항에 있어서,
    상기 데이터 저장소(15)에 의해 상기 차량(1) 주변의 상기 확인된 오브젝트(5)의 출력된 정보 컨텐츠에 대한 인식 데이터가 상기 차량(1)으로 전송되는 것을 특징으로 하는, 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 오브젝트(5)가 인지되었던 시점 또는 시간 간격에 대해 상기 탑승자(2)의 기분(mood)이 기분 검출 디바이스(9)에 의해 검출되는 것을 특징으로 하는, 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 탑승자(2)의 개인적인 특성이 검출되는 것을 특징으로 하는, 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    차량 내부 분석 디바이스(11)에 의해, 상기 차량(2) 주변의 어떤 오브젝트(5)가 어떤 탑승자(2)에 의해 언제 인지되었는지가 검출되는 것을 특징으로 하는, 방법.
  12. 제11항에 있어서,
    상기 차량 내부 분석 디바이스(11)에 의해, 어떤 메타데이터가 상기 인지된 오브젝트(5)를 갖는지, 상기 오브젝트(5)가 얼마나 오래 인지되었는지, 및/또는 상기 오브젝트(5)를 인지한 상기 탑승자(2)의 개인적인 특성 및/또는 기분이 또한 검출되는 것을 특징으로 하는, 방법.
  13. 제11항 또는 제12항에 있어서,
    상기 차량 내부 분석 디바이스(11)에 의해 검출된 데이터가 차량 외부의 평가 디바이스(14)로 전송되고, 특히 상기 차량 외부의 평가 디바이스(14)가 상기 전송된 데이터를 복수의 차량으로부터 수신하고, 상기 메타데이터에 속하는 정보 컨텐츠가 인지되는 방식을 확인하고, 그리고/또는 상기 정보 컨텐츠의 출력의 효율성을 결정하는 것을 특징으로 하는, 방법.
  14. 차량(1)의 탑승자(2)를 모니터링하기 위한 장치로서,
    상기 차량(1)의 지리적 위치를 검출하기 위한 위치 검출 디바이스(7-4), 및
    상기 탑승자(2)의 시선 방향(3)을 검출하기 위한 시선 검출 디바이스(8)를 포함하는, 상기 장치에 있어서,
    오브젝트(5) 및 상기 오브젝트(5)에 할당된 지리적 위치가 저장되어 있는 데이터 저장소(15)에 액세스하기 위한 인터페이스(12), 및
    상기 차량(1)의 상기 검출된 지리적 위치에 기초하여, 상기 오브젝트(5) 중 하나가 상기 차량(1)의 주변에 위치되는지 여부를 확인하고, 상기 탑승자(2)의 검출된 시선 방향(3), 상기 차량(1)의 검출된 지리적 위치, 및 상기 차량(1) 주변의 확인된 오브젝트(5)의 지리적 위치에 따라, 상기 차량(1) 주변의 상기 오브젝트(5)가 상기 탑승자(2)에 의해 인지되었는지 여부를 확인할 수 있도록 형성된 분석 디바이스(11)를 특징으로 하는, 장치.
  15. 교통 공간에서의 오브젝트(5)의 인지를 분석하기 위한 시스템으로서,
    제14항에 따른 장치를 각각 구비하는 복수의 차량(1) - 상기 차량(1)은 분석 디바이스(11)를 각각 구비함 - , 및
    상기 차량의 인터페이스(12)에 의해 통신할 수 있고, 상기 차량(1)의 분석 디바이스(11)에 의해 상기 차량(1)의 탑승자(2)에 의해 인지된 오브젝트(5)를 나타내는 데이터를 수신할 수 있도록 형성된, 차량 외부의 평가 디바이스(14)
    를 포함하는, 시스템.
KR1020217022757A 2018-12-21 2019-11-27 차량의 탑승자를 모니터링하기 위한 방법 및 장치 및 오브젝트의 인지를 분석하기 위한 시스템 KR102663092B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018133445.1A DE102018133445A1 (de) 2018-12-21 2018-12-21 Verfahren und Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs sowie System zur Analyse der Wahrnehmung von Objekten
DE102018133445.1 2018-12-21
PCT/EP2019/082818 WO2020126375A1 (de) 2018-12-21 2019-11-27 Verfahren und vorrichtung zum überwachen eines insassen eines fahrzeugs sowie system zur analyse der wahrnehmung von objekten

Publications (2)

Publication Number Publication Date
KR20210100731A true KR20210100731A (ko) 2021-08-17
KR102663092B1 KR102663092B1 (ko) 2024-05-03

Family

ID=68806720

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217022757A KR102663092B1 (ko) 2018-12-21 2019-11-27 차량의 탑승자를 모니터링하기 위한 방법 및 장치 및 오브젝트의 인지를 분석하기 위한 시스템

Country Status (6)

Country Link
US (1) US12026961B2 (ko)
EP (1) EP3899851A1 (ko)
KR (1) KR102663092B1 (ko)
CN (1) CN113168643A (ko)
DE (1) DE102018133445A1 (ko)
WO (1) WO2020126375A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11704698B1 (en) * 2022-03-29 2023-07-18 Woven By Toyota, Inc. Vehicle advertising system and method of using

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018133445A1 (de) 2018-12-21 2020-06-25 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs sowie System zur Analyse der Wahrnehmung von Objekten
US20220139093A1 (en) * 2019-04-24 2022-05-05 Mitsubishi Electric Corporation Travel environment analysis apparatus, travel environment analysis system, and travel environment analysis method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110161160A1 (en) * 2009-12-30 2011-06-30 Clear Channel Management Services, Inc. System and method for monitoring audience in response to signage
US20140278933A1 (en) * 2013-03-15 2014-09-18 F. Gavin McMillan Methods and apparatus to measure audience engagement with media
US20150006278A1 (en) * 2013-06-28 2015-01-01 Harman International Industries, Inc. Apparatus and method for detecting a driver's interest in an advertisement by tracking driver eye gaze

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10033333A1 (de) 2000-07-01 2002-01-17 Berndt Gmbh & Co Kg Verfahren zur Ermittlung einer Kenngröße für einen Werbewert
DE102004020878A1 (de) 2004-04-28 2005-11-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Informationswiedergabe
US20070205963A1 (en) 2006-03-03 2007-09-06 Piccionelli Gregory A Heads-up billboard
US20120066007A1 (en) 2010-09-14 2012-03-15 Ferrick David P System and Method for Tracking and Sharing Driving Metrics with a Plurality of Insurance Carriers
US20120143693A1 (en) 2010-12-02 2012-06-07 Microsoft Corporation Targeting Advertisements Based on Emotion
DE102012213466A1 (de) * 2012-07-31 2014-02-06 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überwachen eines Fahrzeuginsassens
DE102012219280A1 (de) 2012-10-23 2014-04-24 Robert Bosch Gmbh Fahrerassistenzsystem und Verfahren
US20140214933A1 (en) 2013-01-28 2014-07-31 Ford Global Technologies, Llc Method and Apparatus for Vehicular Social Networking
US20140278910A1 (en) 2013-03-15 2014-09-18 Ford Global Technologies, Llc Method and apparatus for subjective advertisment effectiveness analysis
US20140379456A1 (en) * 2013-06-24 2014-12-25 United Video Properties, Inc. Methods and systems for determining impact of an advertisement
DE102013223680A1 (de) 2013-11-20 2015-05-21 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug
US20150142552A1 (en) 2013-11-21 2015-05-21 At&T Intellectual Property I, L.P. Sending Information Associated with a Targeted Advertisement to a Mobile Device Based on Viewer Reaction to the Targeted Advertisement
US20150310451A1 (en) 2014-04-29 2015-10-29 Ford Global Technologies, Llc Vehicle driver tracking and reporting
US9607515B2 (en) * 2014-12-22 2017-03-28 Intel Corporation System and method for interacting with digital signage
US9852355B2 (en) 2015-04-21 2017-12-26 Thales Avionics, Inc. Facial analysis for vehicle entertainment system metrics
JP6643461B2 (ja) 2015-09-04 2020-02-12 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 広告掲示板ディスプレイ、及び、車両乗員のデモグラフィック情報のセンシングにより広告を選択的に表示する方法
JP2017123029A (ja) * 2016-01-06 2017-07-13 富士通株式会社 情報通知装置、情報通知方法及び情報通知プログラム
WO2018167966A1 (ja) * 2017-03-17 2018-09-20 マクセル株式会社 Ａｒ表示装置及びａｒ表示方法
US10083547B1 (en) * 2017-05-23 2018-09-25 Toyota Jidosha Kabushiki Kaisha Traffic situation awareness for an autonomous vehicle
DE102017215901A1 (de) 2017-09-08 2019-03-14 Audi Ag Assistenzsystem für ein Fahrzeug
DE102018133445A1 (de) 2018-12-21 2020-06-25 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs sowie System zur Analyse der Wahrnehmung von Objekten

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110161160A1 (en) * 2009-12-30 2011-06-30 Clear Channel Management Services, Inc. System and method for monitoring audience in response to signage
US20140278933A1 (en) * 2013-03-15 2014-09-18 F. Gavin McMillan Methods and apparatus to measure audience engagement with media
US20150006278A1 (en) * 2013-06-28 2015-01-01 Harman International Industries, Inc. Apparatus and method for detecting a driver's interest in an advertisement by tracking driver eye gaze

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11704698B1 (en) * 2022-03-29 2023-07-18 Woven By Toyota, Inc. Vehicle advertising system and method of using

Also Published As

Publication number Publication date
WO2020126375A1 (de) 2020-06-25
DE102018133445A1 (de) 2020-06-25
US12026961B2 (en) 2024-07-02
KR102663092B1 (ko) 2024-05-03
CN113168643A (zh) 2021-07-23
EP3899851A1 (de) 2021-10-27
US20220019824A1 (en) 2022-01-20

Similar Documents

Publication Publication Date Title
JP6643461B2 (ja) 広告掲示板ディスプレイ、及び、車両乗員のデモグラフィック情報のセンシングにより広告を選択的に表示する方法
US10838676B2 (en) Electronic display systems connected to vehicles and vehicle-based systems
JP7285978B2 (ja) 運転者の自動特定
US11748780B2 (en) Content output systems using vehicle-based data
US10423982B2 (en) Content output systems using vehicle-based data
KR102663092B1 (ko) 차량의 탑승자를 모니터링하기 위한 방법 및 장치 및 오브젝트의 인지를 분석하기 위한 시스템
US9533688B1 (en) Platform for acquiring driver behavior data
CN109389849B (zh) 信息提供装置和信息提供系统
JP2020532811A (ja) コンテキストデータを使用した事故検出のための方法およびシステム
US8958978B2 (en) Method and device for monitoring a vehicle occupant
CA3037294C (en) Electronic display systems connected to vehicles and vehicle-based systems
WO2013033686A2 (en) Method and apparatus for social telematics
KR20190087931A (ko) 광고 차량 및 차량용 광고 시스템
CA3115234A1 (en) Roadside assistance system
KR20190114854A (ko) 자동차의 탑승자에게 디스플레이하기 위한 컨텐츠를 제공하기 위한 방법, 장치 및 명령어들을 갖는 컴퓨터 판독 가능 저장 매체
KR20130108928A (ko) 차량 사고 정보 수집 방법, 이를 위한 장치 및 차량 사고 정보 수집 시스템
US10825343B1 (en) Technology for using image data to assess vehicular risks and communicate notifications
CA3099982C (en) Content output systems using vehicle-based data
US20210406957A1 (en) Real-time identity enrichment and definition with digital smart screen
Hirayama et al. Analysis of temporal relationships between eye gaze and peripheral vehicle behavior for detecting driver distraction
US11302304B2 (en) Method for operating a sound output device of a motor vehicle using a voice-analysis and control device
CN113168644A (zh) 用于监视车辆乘员的方法及设备
US20220172249A1 (en) Systems and Methods for Providing Targeted Advertising
JP7093268B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
TW201709164A (zh) 危險車輛警示方法及危險車輛警示系統

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant