KR102027646B1 - 트래픽 사운드 데이터를 처리하여 운전자 보조를 제공하기 위한 시스템 및 방법 - Google Patents

트래픽 사운드 데이터를 처리하여 운전자 보조를 제공하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102027646B1
KR102027646B1 KR1020170101094A KR20170101094A KR102027646B1 KR 102027646 B1 KR102027646 B1 KR 102027646B1 KR 1020170101094 A KR1020170101094 A KR 1020170101094A KR 20170101094 A KR20170101094 A KR 20170101094A KR 102027646 B1 KR102027646 B1 KR 102027646B1
Authority
KR
South Korea
Prior art keywords
vehicle
sound
vehicles
ecu
alert
Prior art date
Application number
KR1020170101094A
Other languages
English (en)
Other versions
KR20180020886A (ko
Inventor
사라나파고우다 린가나고우다 파틸
가네아키 후지시타
유키오 다케야리
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20180020886A publication Critical patent/KR20180020886A/ko
Application granted granted Critical
Publication of KR102027646B1 publication Critical patent/KR102027646B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/14—Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B60W2550/30—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2302/00—Responses or measures related to driver conditions
    • B60Y2302/03—Actuating a signal or alarm device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

트래픽 사운드 데이터를 처리하여 차량내 운전자 보조를 제공하는 시스템 및 방법의 다양한 양태가 본 명세서에서 개시된다. 이 시스템은 제1 차량의 전자 제어 유닛(ECU; electronic control unit) 내의 하나 이상의 회로를 포함한다. ECU 내의 하나 이상의 회로는 제1 차량과 연관된 2개 이상의 오디오 입력 디바이스에 의해 포착된 사운드 데이터를 수신하도록 구성된다. 사운드 데이터는 하나 이상의 다른 차량으로부터 발산된 사운드에 대응한다. 그 후, 수신된 사운드 데이터에 기초하여 하나 이상의 다른 차량 중 제2 차량으로부터의 제1 차량의 상대 위치(거리 및/또는 각도)가 결정된다. 또한, 결정된 상대 위치에 기초하여 제1 차량에 대한 차량내 경보가 생성된다. 차량내 경보는 제2 차량으로부터 발산된 사운드를 나타내는 가상 사운드를 포함한다.

Description

트래픽 사운드 데이터를 처리하여 운전자 보조를 제공하기 위한 시스템 및 방법{SYSTEM AND METHOD FOR PROCESSING TRAFFIC SOUND DATA TO PROVIDE DRIVER ASSISTANCE}
관련출원에 대한 상호-참조/참조에 의한 포함
본 개시내용의 다양한 실시예들은 오디오 처리에 관한 것이다. 더 구체적으로는, 본 개시내용의 다양한 실시예는 운전 보조를 위해 트래픽 사운드 데이터를 처리하기 위한 시스템 및 방법에 관한 것이다.
차량을 운전하는 것은 많은 사람들에게 번거롭고 어려운 작업일 수 있다. 도로의 트래픽 상황에서 운전하고, 또한 적절한 차선에서의 운전, 속도 제한 유지, 무위험 추월 등의 교통 규칙을 준수하기 위해서는 지속적인 집중이 요구될 수 있다. 또한, 도로 사고의 경우 생명과 재산에 대한 상당한 위험이 있을 수 있다. 사실상, 다양한 지역 및 기간에 걸친 수 개의 도로 사고 조사에 따르면, 도로 사고에서의 사망자와 부상자의 수가 놀랍도록 많다. 따라서, 도로 상의 안전은, 자동차 제조업체, 차량 소유자, 승객, 및 운전자에게 가장 중요할 수 있다. 자동차 및 관련 산업의 발전과 함께, 차량 운전자가 조심스럽게 운전할 수 있도록 안내하기 위해 차량 내에 설치될 수 있는 여러 가지 제품들이 개발되어 왔다. 그러나, 운전자가 안내를 무시하거나 놓치거나, 또는 제공되는 안내가 부정확하거나 따르기에 혼란스러운 많은 경우들이 있다. 따라서, 효율적인 차량내 운전자 보조를 제공하는 개선된 시스템 및 방법이 필요하다. 또한, 최근에는 운전자가 없는 자율 차량 분야에서 급속한 발전이 있었다. 이러한 자율 차량도 역시, 개선된 운전 보조 방법 및 시스템으로부터 이익을 얻을 수 있다.
종래의 및 전통적인 접근법의 추가적인 제한 및 단점은, 도면을 참조한 본 출원의 나머지 부분에 개시되는 본 개시내용의 일부 양태들을 갖는 설명된 시스템과의 비교를 통해 본 기술분야의 통상의 기술자에게 명백해질 것이다.
실질적으로 도면들 중 적어도 하나에 도시되거나 및/또는 이와 연계하여 설명되는, 운전 보조를 위한 트래픽 사운드 데이터를 처리하는 시스템 및 방법은 청구항들에서 더욱 완전하게 개시된다.
본 개시내용의 이들 및 다른 피쳐들 및 이점들은, 전체에 걸쳐 유사한 참조 번호가 유사한 부분을 나타내는 첨부된 도면들과 함께, 본 개시내용의 이하의 상세한 설명의 검토로부터 이해될 수 있을 것이다.
도 1은 본 개시내용의 한 실시예에 따른 트래픽 사운드 데이터를 처리하여 차량내 운전자 보조를 제공하는 네트워크 환경을 나타내는 블록도이다.
도 2는 본 개시내용의 한 실시예에 따른 차량의 다양한 예시적인 컴포넌트 또는 시스템을 나타내는 블록도이다.
도 3은 본 개시내용의 한 실시예에 따른 제1 차량 부근의 차량들로부터 발산되는 트래픽 사운드의 포착을 도시하는 도로 부분의 제1 예시적인 평면도를 나타낸다.
도 4는 본 개시내용의 한 실시예에 따른 트래픽 사운드 데이터의 처리에 기초한 제1 차량에 관한 근처 차량의 위치의 예시적인 계산을 나타낸다.
도 5는 본 개시내용의 실시예에 따른 제1 차량에 관한 근처 차량의 상대 위치의 결정을 위한 근처 차량으로부터 제1 차량에 의해 포착된 트래픽 사운드 데이터의 제1 예시적인 패턴을 나타낸다.
도 6은 본 개시내용의 한 실시예에 따른 제1 차량 부근의 차량들로부터 발산되는 트래픽 사운드의 포착을 도시하는 도로 부분의 제2 예시적인 평면도를 나타낸다.
도 7은 본 개시내용의 실시예에 따른 제1 차량에 관한 근처 차량의 상대 위치의 결정을 위한 하나 이상의 근처 차량으로부터 제1 차량에 의해 포착된 트래픽 사운드 데이터의 제2 예시적인 패턴을 나타낸다.
도 8은 본 개시내용의 실시예에 따른 제1 차량에 관한 근처 차량의 상대 위치를 확인하기 위해 제1 차량에 의해 수행되는 예시적인 빔 형성 절차를 나타낸다.
도 9a 및 도 9b는 본 개시내용의 한 실시예에 따른 트래픽 영역 내의 제2 차량 또는 다른 물체의 가상 사운드의 재생을 도시하는 제1 차량 내부의 2개의 예시적인 평면도를 나타낸다.
도 10은 본 개시내용의 한 실시예에 따른 트래픽 사운드 데이터를 처리하여 차량내 운전자 보조를 제공하는 제1 예시적인 트래픽 시나리오를 나타낸다.
도 11은 본 개시내용의 한 실시예에 따른 트래픽 사운드 데이터를 처리하여 차량내 운전자 보조를 제공하는 제2 예시적인 트래픽 시나리오를 나타낸다.
도 12는 본 개시내용의 한 실시예에 따른 트래픽 사운드 데이터를 처리하여 차량내 운전자 보조를 제공하는 제3 예시적인 트래픽 시나리오를 나타낸다.
도 13은 본 개시내용의 한 실시예에 따른 트래픽 사운드 데이터를 처리하여 차량내 운전자 보조를 제공하는 제4 예시적인 트래픽 시나리오를 나타낸다.
도 14a 및 14b는, 집합적으로, 본 개시내용의 실시예에 따른 트래픽 사운드 데이터를 처리하여 차량내 운전자 보조를 제공하는 예시적인 방법을 나타내는 플로차트를 도시한다.
이하의 설명된 구현들은 차량내 운전자 보조를 제공하는 개시된 시스템 및 방법에서 발견될 수 있다. 본 개시내용의 예시적인 양태는 제1 차량의 전자 제어 유닛(ECU; electronic control unit)에서 구현될 수 있는 방법을 포함할 수 있다. 이 방법은 제1 차량과 연관된 2개 이상의 오디오 입력 디바이스에 의해 포착된 사운드 데이터의 수신을 포함할 수 있다. 사운드 데이터는 하나 이상의 다른 차량으로부터 발산된 사운드에 대응할 수 있다. 그 후, 제1 차량의, 하나 이상의 다른 차량들 중 제2 차량으로부터의 거리는, 수신된 사운드 데이터에 기초하여 결정될 수 있다. 또한, 결정된 거리에 기초하여 제1 차량에 대한 차량내 경보가 발생될 수 있다. 차량내 경보는 제2 차량으로부터 발산된 사운드를 나타내는 가상 사운드를 포함할 수 있다.
한 실시예에 따르면, 제1 차량은 제1 세트의 오디오 출력 디바이스 및 제2 세트의 오디오 출력 디바이스를 포함할 수 있다. 제1 세트의 오디오 출력 디바이스는 제1 차량의 운전자와 연관될 수 있는 반면, 제2 세트의 오디오 출력 디바이스는 제1 차량의 운전자 및 하나 이상의 공동 승객과 연관될 수 있다. 실시예에 따르면, 차량내 경보는 제1 차량의 운전자를 위한 제1 세트의 오디오 출력 디바이스를 통해 재생될 수 있다. 한 실시예에 따르면, 차량내 경보는, 추가로 또는 대안으로서, 제1 차량의 주행 경로와 연관된 트래픽 상황에 기초하여 제2 세트의 오디오 출력 디바이스를 통해 재생될 수 있다. 차량내 경보의 예는, 사고 경고, 운전 조작 지시, 속도 변경 권고, 차량 추월 권고, 차선 변경 권고, 운전 조건 정보, 장애물 경고, 및/또는 선택된 차량 추적을 더 포함할 수 있지만, 이것으로 제한되지 않는다.
한 실시예에 따라, 제1 차량에서 가상 사운드를 재생하기 위해, 제1 차량에 관한 제2 차량의 상대 위치 및/또는 각도가 결정될 수 있다. 상대 위치 및/또는 각도의 결정은 수신된 사운드 데이터에 기초할 수 있다. 또한, 제2 차량으로부터 발산된 사운드를 나타내는 가상 사운드의 재생을 위해 결정된 거리 및/또는 각도에 기초하여 HRTF(Head-Related Transfer Function)가 적용될 수 있다.
한 실시예에 따르면, 제2 차량의 타입은, 제2 차량과 연관된 미리 저장된 오디오 서명(들)과 제2 차량으로부터 발산된 사운드의 비교에 기초하여 결정될 수 있다. 한 실시예에 따르면, 차량내 경보의 가상 사운드는 제2 차량의 결정된 타입에 따라 재생될 수 있다. 또한, 가상 사운드는, 제1 차량과 제2 차량 사이의 결정된 거리가 미리지정된 임계 거리 미만일 때 재생될 수 있다.
한 실시예에 따르면, 하나 이상의 다른 차량의 속도는 하나 이상의 다른 차량으로부터 발산된 포착된 사운드에 기초하여 결정될 수 있다. 또한, 제1 차량에 관한 제2 차량의 상대 속도는 제2 차량으로부터 발산된 사운드에 기초하여 결정될 수 있다. 한 실시예에 따르면, 결정된 거리 및/또는 상대 속도에 기초하여, 가상 사운드와 함께, 제1 차량의 운전자를 위해 오디오 경고가 생성될 수 있다.
한 실시예에 따르면, 제1 차량과 연관된 하나 이상의 촬영 디바이스는 제1 차량의 주행 경로 내의 하나 이상의 물체를 포함할 수 있는 하나 이상의 영상을 포착할 수 있다. 인간, 동물 또는 기타의 물체 등의 하나 이상의 물체는, 제1 차량과 연관된 하나 이상의 촬영 디바이스에 의해 포착된 하나 이상의 영상에 기초하여 인식될 수 있다. 또한, 제1 차량으로부터의 하나 이상의 물체의 거리는 포착된 하나 이상의 영상에 기초하여 결정될 수 있다. 한 실시예에 따르면, 차량내 경보는 제1 차량으로부터의 미리지정된 거리 내에서 주행 경로 내의 하나 이상의 물체의 존재를 나타내는 제2 오디오 출력을 더 포함할 수 있다.
한 실시예에 따르면, 제1 차량의 인포테인먼트 시스템을 통한 가상 물체의 디스플레이는, 포착된 하나 이상의 영상에 기초하여 제어될 수 있다. 가상 물체는 제1 차량의 주행 경로에 존재하는 인식된 하나 이상의 물체를 나타낼 수 있다. 한 실시예에 따르면, 차량내 경보는, 제1 차량의 주행 경로 내에 존재하는 이러한 인식된 하나 이상의 물체의 표시를 포함할 수 있다. 한 실시예에 따르면, 적어도 제2 차량은 제1 차량의 인포테인먼트 시스템을 통해 맵 상에 디스플레이될 수 있다. 맵 상의 제2 차량의 디스플레이는, 포착된 하나 이상의 영상 및 제1 차량과 제2 차량 사이의 결정된 거리에 기초하여 제어될 수 있다. 제1 차량과 제2 차량 사이의 결정된 거리는 제2 차량에 대한 제1 차량의 상대 위치 및/또는 각도를 포함할 수 있다. 한 실시예에 따르면, 인포테인먼트 시스템의 사용자는, 오디오 포착 디바이스 및 촬영 디바이스 등의, 제1 차량의 하나 이상의 센서에 의해 추적될 특정한 차량을 선택할 수 있다. 인포테인먼트 시스템의 사용자는 제1 차량의 운전자이거나 제1 차량의 하나 이상의 공동 승객 중 하나일 수 있다. 사용자-선택된 특정한 차량의 상대 위치는, 제1 차량의 하나 이상의 센서에 의해 사용자-선택된 특정한 차량으로부터 포착된 오디오 및/또는 하나 이상의 영상에 기초하여 제1 차량에 관해 추적될 수 있다. 그 후, 사용자-선택된 특정한 차량의 추적된 상대 위치는, 차량내 경보를 통해 사용자에게 제공되거나 및/또는 제1 차량의 인포테인먼트 시스템을 통해 맵 상에 디스플레이될 수 있다.
한 실시예에 따르면, 제1 차량의 주행 경로와 연관된 트래픽 조건에 대응할 수 있는 정보는 트래픽 관리 서버 및/또는 사용자의 전자 디바이스에 전송될 수 있다. 트래픽 조건 정보의 전송은, 결정된 거리, 상대 속도, 및/또는 제2 차량의 타입에 기초할 수 있다. 트래픽 조건 정보의 전송은 또한, 제1 차량으로부터의 미리결정된 거리 내의 하나 이상의 다른 차량의 카운트에 기초할 수 있다.
도 1은 본 개시내용의 한 실시예에 따른 트래픽 사운드 데이터를 처리하여 차량내 운전자 보조를 제공하는 네트워크 환경을 나타내는 도면이다. 도 1을 참조하면, 네트워크 환경(100)이 도시되어 있다. 네트워크 환경(100)은, 복수의 차량(102), 클라우드 서버(104), 무선 통신 네트워크(106), 및 하나 이상의 사용자를 포함할 수 있다. 복수의 차량(102)은, 제1 차량(102a), 및 제2 차량(102b) 등의 하나 이상의 다른 차량을 포함할 수 있다. 또한, 제1 차량(102a)에서, 전자 제어 유닛(ECU)(108), 2개 이상의 오디오 입력 디바이스(110a 내지 110h), 촬영 디바이스(112a 내지 112b)가 도시되어 있다. 하나 이상의 사용자는, 제1 차량(102a)과 연관된 운전자(114), 및 제2 차량(102b)과 연관된 또 다른 운전자(116)를 포함할 수 있다. 복수의 차량(102)은 도로 부분(118)을 따라 주행할 수 있다. 도로 측 유닛(RSU; road side unit)(120)이 추가로 도시되어 있다.
ECU(108)는, 제1 차량(102a)의 차량내 네트워크를 통해 직접 또는 간접적으로, 2개 이상의 오디오 입력 디바이스(110a 내지 110h) 및 하나 이상의 촬영 디바이스(112a 내지 112b)에 통신가능하게 결합될 수 있다. 한 실시예에 따르면, ECU(108)는 무선 통신 네트워크(106)를 통해 RSU(120)에 통신가능하게 결합될 수 있다. RSU(120)는 인터넷 또는 본 기술분야에 공지된 적절한 통신 프로토콜을 통해 클라우드 서버(104)와 통신할 수 있다. ECU(108)는 RSU(120)의 이용에 의해 클라우드 서버(104)와 통신하도록 구성될 수 있다. 한 실시예에 따르면, 하나 이상의 촬영 디바이스(112a 내지 112b)는 제1 차량(102a)에 제공되지 않을 수도 있다.
복수의 차량(102)은, 도로 부분(118)을 따라 주행할 수 있는 제1 차량(102a), 제2 차량(102b) 및 다른 차량들을 포함할 수 있다. 한 실시예에 따르면, 복수의 차량(102)은 무선 통신 네트워크(106)에 통신가능하게 결합될 수 있다. 한 실시예에 따르면, 무선 통신 네트워크(106)는 복수의 차량(102)들 사이의 차량 대 차량(V2V) 통신에 이용될 수 있다. 무선 통신 네트워크(106)는 또한, 복수의 차량(102) 중 하나와 RSU(120) 사이의 차량 대 인프라(V2I) 통신에 이용될 수도 있다.
제1 차량(102a)은, 자율 모드, 반-자율 모드, 또는 수동 모드로 동작할 수 있는 자율 차량일 수 있다. 대안으로서, 제1 차량(102a)은 비자율 차량일 수 있다. 제1 차량(102a)은, 무선 통신 네트워크(106)를 통해, 클라우드 서버(104), 및/또는 복수의 차량(102) 중 하나 이상의 다른 차량과 통신하도록 구성될 수 있는 ECU(108)를 포함할 수 있다. (제1 차량(102a) 및 제2 차량(102b)을 포함하는) 복수의 차량(102)의 예는, 자동차, 하이브리드 자동차, 및/또는 하나 이상의 별개의 재생가능한 또는 비재생가능한 전원을 이용하는 차량을 포함할 수 있지만, 이것으로 제한되지 않는다. 재생가능한 또는 비재생가능한 전원을 이용하는 차량은, 화석 연료-기반의 차량, 전기 추진-기반의 차량, 수소 연료-기반의 차량, 태양열 차량, 및/또는 다른 형태의 대체 에너지 소스에 의해 구동되는 차량을 포함할 수 있다.
클라우드 서버(104)는, 제1 차량(102a) 등의 하나 이상의 차량과 통신 채널을 확립하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. 클라우드 서버(104)는, 제1 차량(102a) 등의 하나 이상의 차량으로부터 수신된 정보를 저장하도록 구성될 수 있다. 클라우드 서버(104)는, 웹 서버, 데이터베이스 서버, 파일 서버, 애플리케이션 서버, 클라우드-기반의 서버, 또는 이들의 조합일 수 있다. 클라우드 서버(104)는 본 기술분야의 통상의 기술자에게 공지된 여러 기술을 이용하여 구현될 수 있다.
무선 통신 네트워크(106)는, 제1 차량(102a)이, RSU(120), 클라우드 서버(104), 및/또는 제2 차량(102b) 등의 하나 이상의 다른 차량과 통신할 수 있는 매체를 포함할 수 있다. 무선 통신 네트워크(106)의 예는, 전용 단거리 통신(DSRC) 네트워크, 모바일 애드-혹 네트워크(MANET), 차량 애드-혹 네트워크(VANET), 지능형 차량 애드-혹 네트워크(InVANET), 인터넷 기반의 모바일 애드-혹 네트워크(IMANET), 무선 센서 네트워크(WSN), 무선 메쉬 네트워크(WMN), 인터넷, LTE(long-term evolution) 네트워크 등의 셀룰러 네트워크, 클라우드 네트워크, Wi-Fi(Wireless Fidelity) 네트워크, 및/또는 WLAN(Wireless Local Area Network)을 포함할 수 있지만, 이것으로 제한되지 않는다. 네트워크 환경(100) 내의 다양한 디바이스들은, 다양한 무선 통신 프로토콜에 따라 무선 통신 네트워크(106)에 접속하도록 동작할 수 있다. 이러한 무선 통신 프로토콜의 예는, IEEE 802.11, 802.11p, 802.15, 802.16, 1609, Wi-MAX(Worldwide Interoperability for Microwave Access), 차량 환경에서의 무선 액세스(WAVE; Wireless Access in Vehicular Environment), 셀룰러 통신 프로토콜, TCP/IP(Transmission Control Protocol and Internet Protocol), UDP(User Datagram Protocol), HTTP(Hypertext Transfer Protocol), LTE(Long Term Evolution), FTP(File Transfer Protocol), ZigBee, EDGE, IR(Infrared), 근접장 통신(NFC), 및/또는 Bluetooth(BT) 통신 프로토콜을 포함할 수 있지만, 이것으로 제한되지 않는다.
ECU(108)는, 운전자 보조를 위해 사운드 데이터를 처리하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. ECU(108)는 2개 이상의 오디오 입력 디바이스(110a 내지 110h)에 의해 포착된 사운드 데이터를 수신할 수 있다. 사운드 데이터는, 도로 부분(118)에서, 제2 차량(102b) 등의, 하나 이상의 다른 차량에 의해 발산된 사운드일 수 있다. 수신된 사운드 데이터에 기초하여, ECU(108)는, 제1 차량(102a)과, 제1 차량(102a) 부근의 하나 이상의 다른 차량의 거리를 결정할 수 있다. 또한, ECU(108)는, 결정된 거리에 기초하여 제1 차량(102a)에 대한 차량내 경보를 생성할 수 있다. 차량내 경보는, 제2 차량(102b) 등의, 하나 이상의 다른 근처 차량 중 적어도 하나로부터 발산되는 사운드를 나타내는 가상의 사운드를 포함할 수 있다.
ECU(108)는 또한, 제1 차량(102a)의 센서 데이터에 액세스하거나, 제1 차량(102a)의 다른 ECU, 컴포넌트, 또는 시스템에 하나 이상의 제어 명령을 전달하도록 구성될 수 있다. 센서 데이터는, 제어기 영역 네트워크(CAN; controller area network) 버스 등의, 차량내 네트워크를 통해, ECU(108)에 의해 액세스될 수 있다. 한 실시예에 따르면, ECU(108)는, 무선 통신 시스템을 통해, 차량 대 차량(V2V) 통신에서 복수의 차량(102) 중의 하나 이상의 접속된 차량으로부터 차량 데이터를 수신하도록 구성될 수 있다. 한 실시예에 따르면, ECU(108)는, 인프라스트럭쳐-대-차량(I2V) 통신에서 클라우드 서버(104)로부터 하나 이상의 접속된 차량의 차량 데이터를 수신하도록 구성될 수 있다. 이러한 경우에, 복수의 차량(102) 중의 하나 이상의 접속된 차량은 차량-대-인프라스트럭쳐(V2I) 통신에서 대응하는 차량 데이터를 미리 클라우드 서버(104)에 전달할 수 있다.
2개 이상의 오디오 입력 디바이스(110a 내지 110h)란, 사운드 에너지를 전기 신호로 변환시키는 센서, 마이크로폰, 또는 트랜스듀서를 지칭할 수 있다. 2개 이상의 오디오 입력 디바이스들(110a 내지 110h)은, 2륜차, 3륜차, 4륜차, 트럭, 및/또는 트레일러 등의 그러나 이것으로 제한되지 않는 하나 이상의 자동차로부터 발산된 사운드를 포착하도록 구성될 수 있다. 하나 이상의 자동차는 복수의 차량(102) 중의 다른 차량을 포함할 수 있다. 2개 이상의 오디오 입력 디바이스(110a 내지 110h)는, 발산된 사운드의 음파 등의, 음장(sound field)의 음압 및/또는 사운드 입자 속도의 측정에 기초하여 사운드를 포착할 수 있다. 4륜차, 3륜차 또는 2륜차 등의 자동차로부터 발산되는 사운드는, 자동차의 엔진, 타이어, 경적 또는 기타의 컴포넌트에 의해 생성된 소정의 구별되는 피치 및 라우드니스 값을 포함할 수 있다. 2개 이상의 오디오 입력 디바이스(110a 내지 110h)는, 피치, 라우드니스, 및 사운드 지속기간의 미리정의된 범위에서 (엔진 또는 타이어 사운드 등의) 사운드를 포착하여 도로 부분(118) 상의 다른 노이즈를 필터링 제거하도록 구성될 수 있는 오디오 필터를 포함할 수 있다. 한 실시예에 따르면, 2개 이상의 오디오 입력 디바이스(110a 내지 110h)는, 도 1에 도시된 바와 같이, 제1 차량(102a) 주변의 다양한 방향으로부터 사운드를 포착하기 위해 제1 차량(102a)에 배치될 수 있다. 2개 이상의 오디오 입력 디바이스(110a 내지 110h)는 ECU(108)에 통신가능하게 결합될 수 있다. 2개 이상의 오디오 입력 디바이스(110a 내지 110h)는 포착된 사운드와 연관된 사운드 데이터를 추가 처리를 위해 ECU(108)에 전송할 수 있다. 이하에서부터, 2개 이상의 촬영 디바이스(110a 내지 110h)는 집합적으로 오디오 입력 디바이스(110)라고 칭할 수 있다.
하나 이상의 촬영 디바이스(112a 내지 112b)는, 도로 부분(118) 등의, 도로 부분의 하나 이상의 비디오 스트림을 포착하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. 비디오 스트림은, 하나 이상의 촬영 디바이스(112a 내지 112b)의 하나 이상의 시야(FOV; field-of-view)의 복수의 영상 프레임을 포함할 수 있다. 하나 이상의 촬영 디바이스(112a 내지 112b)는, 포착된 하나 이상의 비디오 스트림 내의 복수의 영상 프레임 중의 각각의 프레임의 포착 시간을 기록하도록 구성될 수 있다. 하나 이상의 촬영 디바이스(112a 내지 112b)의 예는, 영상 센서, 광각 카메라, CCTV(closed-circuit television) 카메라, 캠코더, 스마트 안경의 내장 카메라, 및/또는 기타의 이러한 차량 카메라를 포함할 수 있지만, 이것으로 제한되지 않는다. 촬영 디바이스(112a, 112b)는, (도시된 바와 같이) 제1 차량(102a)의 외부 후방 뷰 미러(ORVM; outside rear view mirror)에 설치될 수도 있다. 도 1에는 도시되지 않았지만, 촬영 디바이스는 또한, 제1 차량(102a)의 차체의 전방, 후방 및 측면에 설치된 하나 이상의 다른 카메라를 포함할 수도 있다. 예를 들어, 하나 이상의 다른 카메라는 2개 이상의 오디오 입력 디바이스(110a 내지 110h)의 인접한 위치에 설치될 수 있다. 한 실시예에 따르면, 복수의 촬영 디바이스 대신에, 제1 차량(102a) 부근의 도로 부분(118)의 360도 시야를 포착하도록 구성될 수 있는 하나의 회전가능한 촬영 디바이스가 제공될 수도 있다. 이하에서부터, 하나 이상의 촬영 디바이스(112a 내지 112b)는 집합적으로 촬영 디바이스(112)라고 칭할 수 있다.
RSU(120)는 도로 부분(118) 상의 복수의 차량(102)과 무선으로 통신하도록 구성될 수 있다. RSU(120)는 또한, 인터넷, 또는 본 기술분야에 공지된 적절한 통신 프로토콜을 통해, 클라우드 서버(104)와 통신하도록 구성될 수 있다. RSU(120)는, 도로 부분(118)에 설치된 인프라스트럭쳐 유닛 또는 통신 디바이스에 대응할 수 있다. 한 실시예에 따르면, RSU(120)와 유사한 복수의 RSU가 도로 부분(118) 또는 다른 도로 부분들을 따라 설치될 수 있다.
동작시, 2개 이상의 오디오 입력 디바이스(110a 내지 110h)는 복수의 차량(102) 중 하나 이상의 다른 차량으로부터 발산된 사운드를 포착하도록 구성될 수 있다. 2개 이상의 오디오 입력 디바이스(110a 내지 110h)는, 포착된 사운드로부터 노이즈를 제거하고 포착된 사운드와 연관된 사운드 데이터를 생성하기 위해 하나 이상의 오디오 필터를 적용할 수 있다. 그 다음, 2개 이상의 오디오 입력 디바이스(110a 내지 110h)는, 사운드 데이터를 추가 처리를 위해 제1 차량(102a)의 ECU(108)에 전송할 수 있다.
한 실시예에 따르면, ECU(108)는 복수의 차량(102) 내의 하나 이상의 다른 차량 중의 적어도 제2 차량(102b)으로부터의 제1 차량(102a)의 거리를 결정할 수 있다. 이 거리는 2개 이상의 오디오 입력 디바이스(110a 내지 110h)로부터 수신된 사운드 데이터에 기초하여 결정될 수 있다. ECU(108)는 또한, 결정된 거리에 기초하여 제1 차량(102a)에 대한 차량내 경보를 생성하도록 구성될 수 있다. 한 실시예에 따르면, ECU(108)에 의한 차량내 경보의 생성은 또한, 제2 차량(102b)에 관한 제1 차량(102a)의 결정된 상대 위치 및/또는 각도에 기초할 수 있다. 차량내 경보는 제2 차량(102b)으로부터 발산된 사운드를 나타내는 가상의 사운드를 포함할 수 있다.
한 실시예에 따르면, 차량내 경보는, 제1 차량(102a) 내의 (도시되지 않은) 제1 세트의 오디오 출력 디바이스를 통해, 제1 차량(102a)과 연관된 운전자(114)에게 제공될 수 있다. 제1 세트의 오디오 출력 디바이스는, 운전자(114)를 향해 타겟된 사운드 빔을 통해, 차량내 경보와 연관된 음장을 지향시킬 수 있다. 대안으로서, 차량내 경보는, 제1 차량(102a) 내의 (도시되지 않은) 제2 세트의 오디오 출력 디바이스를 통해, 운전자(114) 및 하나 이상의 공동 승객을 포함하는 제1 차량(102a)의 모든 승객에게 제공될 수 있다. 차량내 경보는, 제1 차량(102a)의 도로 부분(118) 등의, 주행 경로와 연관된 트래픽 조건에 기초하여 모든 승객에게 제공될 수 있다. 가상 사운드 외에도, 차량내 경보는, 사고 경고, 운전 조작 지시, 속도 변경 권고, 차량 추월 권고, 차선 변경 권고, 운전 조건 정보, 장애물 경보, 및/또는 선택된 차량 추적을 더 포함할 수 있다.
한 실시예에 따르면, ECU(108)는 또한, 수신된 사운드 데이터에 기초하여 제1 차량(102a)에 관한 제2 차량(102b)의 위치 및/또는 각도를 결정하도록 구성될 수 있다. 또한, ECU(108)는, 제2 차량으로부터 발산된 사운드를 나타내는 가상 사운드의 재생을 위해 결정된 거리 및/또는 각도에 기초하여 HRTF(Head-Related Transfer Function)를 적용할 수 있다. 또한, ECU(108)는, 제2 차량(102b)과 연관된 미리저장된 오디오 서명과 제2 차량(102b)으로부터 발산된 사운드의 비교에 기초하여 제2 차량(102b)의 타입을 결정할 수 있다. 한 실시예에 따르면, 차량내 경보의 가상 사운드는 제2 차량(102b)의 결정된 타입에 따라 재생될 수 있다. 또한, 가상 사운드는, 제1 차량(102a)과 제2 차량(102b) 사이의 결정된 거리가 미리지정된 임계 거리 미만일 때 재생될 수 있다.
한 실시예에 따르면, ECU(108)는 또한, 하나 이상의 다른 차량으로부터 발산된 포착된 사운드에 기초하여 복수의 차량(102) 중의 하나 이상의 다른 차량의 속도를 결정하도록 구성될 수 있다. 또한, ECU(108)는 제2 차량(102b)으로부터 발산된 사운드에 기초하여 제1 차량(102a)에 관한 제2 차량(102b)의 상대 속도를 결정할 수 있다. 한 실시예에 따르면, 결정된 거리 및/또는 상대 속도에 기초하여, 가상 사운드와 함께, 제1 차량(102a)의 운전자(114)에 대해 오디오 경고가 생성될 수 있다.
한 실시예에 따르면, 제1 차량(102a)의 도로 부분(118) 등의 주행 경로 내에 하나 이상의 물체가 존재할 수 있다. 한 실시예에 따르면, 촬영 디바이스(112a 내지 112g)(존재하는 경우)는, 제1 차량(102a)의 주행 경로 내의 하나 이상의 물체의 하나 이상의 영상을 포착할 수 있다. 하나 이상의 촬영 디바이스(112a 내지 112b)에 의해 포착된 하나 이상의 영상에 기초하여 하나 이상의 물체가 인식될 수 있다. ECU(108)는, 하나 이상의 촬영 디바이스(112a 내지 112b)로부터 수신된 하나 이상의 영상에 기초하여 제1 차량(102a)으로부터의 하나 이상의 물체의 거리를 결정하도록 구성될 수 있다. 한 실시예에 따르면, 차량내 경보는 하나 이상의 물체와 연관된 또 다른 가상 사운드를 포함하는 제2 오디오 출력을 더 포함할 수 있다. ECU(108)는 하나 이상의 물체의 각각의 타입과 연관된 하나 이상의 미리기록된 오디오 트랙에 기초하여 다른 가상 사운드를 생성할 수 있다. 차량내 경보에서 다른 가상 사운드의 포함은, 제1 차량(102a)으로부터의 미리지정된 거리 내에서 제1 차량(102a)의 주행 경로 내의 하나 이상의 물체의 존재 및 타입을 나타낼 수 있다.
한 실시예에 따라, ECU(108)는 포착된 하나 이상의 영상에 기초하여 제1 차량(102a)의 인포테인먼트 시스템을 통해 가상 물체의 디스플레이를 제어할 수 있다. 가상 물체는 제1 차량(102a)의 주행 경로 내에 존재하는 인식된 하나 이상의 물체를 나타낼 수 있다. 한 실시예에 따르면, 차량내 경보는, 제1 차량(102a)의 주행 경로 내에 존재하는 이러한 인식된 하나 이상의 물체의 표시를 포함할 수 있다. 한 실시예에 따르면, 제2 차량(102b)은 제1 차량(102a)의 인포테인먼트 시스템을 통해 맵 상에 디스플레이될 수 있다. 맵 상의 제2 차량(102b)의 디스플레이는, 포착된 하나 이상의 영상 및 제1 차량(102a)과 제2 차량(102b) 사이의 결정된 거리에 기초하여 ECU(108)에 의해 제어될 수 있다. 한 실시예에 따르면, 맵 상의 제2 차량(102b)의 디스플레이와 유사하게, 복수의 차량(102) 중의 다른 근처의 또는 빠르게 움직이는 차량이 맵 상에 디스플레이되어 운전자(114)가 제1 차량(102a) 주변의 트래픽 시나리오를 알 수 있게 할 수 있다.
한 실시예에 따르면, 제1 차량(102a)의 인포테인먼트 시스템의 사용자는, 2개 이상의 오디오 포착 디바이스(110a 내지 110h) 및 촬영 디바이스(도 1에 도시되지 않음) 등의, 제1 차량의 하나 이상의 센서에 의해 추적될 특정한 차량을 선택할 수 있다. 인포테인먼트 시스템의 사용자는 제1 차량(102a)의 운전자이거나 제1 차량(102a)의 하나 이상의 공동 승객 중 하나일 수 있다. 예를 들어, 제1 차량(102a)의 운전자(114)는, 인포테인먼트 시스템의 디스플레이 스크린 상에 제공된 터치-기반의 사용자 인터페이스를 통해서 등의, 인포테인먼트 시스템의 사용자 인터페이스를 통해 추적을 위한 제2 차량(102b)을 선택할 수 있다. 제2 차량(102b)의 상대 위치는, 제1 차량(102a)의 하나 이상의 센서에 의해 제2 차량(102b)으로부터 포착된 오디오 및/또는 하나 이상의 영상에 기초하여 제1 차량(102a)에 관하여 추적될 수 있다. 그 후, 제2 차량(102b)의 추적된 상대 위치는 차량내 경보를 통해 제공될 수 있거나 및/또는 제1 차량(102a)의 인포테인먼트 시스템을 통해 맵 상에 디스플레이될 수 있다.
한 실시예에 따르면, 제1 차량(102a)의 주행 경로와 연관된 트래픽 조건에 대응하는 정보는, 무선 통신 네트워크(106)을 통해, 클라우드 서버(104) 및/또는 사용자의 개인 디바이스 등의 전자 디바이스 등의, 트래픽 관리 서버에 전송될 수 있다. 트래픽 조건 정보의 전송은, 제2 차량(102b) 등의 하나 이상의 다른 차량의, 결정된 거리, 상대 속도, 및/또는 타입에 기초할 수 있다. 트래픽 조건 정보의 전송은 또한, 제1 차량(102a)으로부터 미리 결정된 거리 내에서 복수의 차량(102) 중의 하나 이상의 다른 차량의 카운트에 기초할 수 있다.
본 개시내용의 또 다른 양태에 따르면, 제1 차량(102a)은, 자율 모드 및/또는 반자율 모드에서 동작할 수 있는 차량에 대응할 수 있다. ECU(108)는, 수신된 사운드 데이터에 기초하여 제1 차량(102a)과 제2 차량(102b) 사이의 거리를 결정할 수 있다. 논의된 바와 같이, 사운드 데이터는, 2개 이상의 오디오 입력 디바이스(110a 내지 110h)에 의해 포착된 복수의 차량(102) 중의 하나 이상의 다른 차량에 의해 발산된 사운드에 대응할 수 있다. 결정된 거리에 기초하여, ECU(108)는, 도로 부분(118)을 따라 제1 차량(102a)의 주행 경로 상의 제1 차량(102a)의 자동-운전을 제어할 수 있다. 또한, ECU(108)는, 무선 통신 네트워크(106)를 통해, 자동-운전의 제어를 나타내는 메시지를, 제1 차량(102a)의 인간-네비게이터 또는 (운전자(114) 등의) 운전자의 스마트 폰 등의 전자 디바이스에 전송하도록 구성될 수 있다. 제1 차량(102a)은, 자율 차량, 반자율 차량, 및/또는 비자율 차량 중 하나에 대응할 수 있다.
도 2는 본 개시내용의 한 실시예에 따른 차량의 다양한 예시적인 컴포넌트 또는 시스템을 나타내는 블록도이다. 도 2는 도 1의 요소들과 연계하여 설명된다. 도 2를 참조하면, 제1 차량(102a)이 도시되어 있다. 제1 차량(102a)은, 마이크로프로세서(202) 및 메모리(204)를 포함할 수 있는, ECU(108)를 포함할 수 있다. 제1 차량(102a)은, 무선 통신 시스템(206), 인포테인먼트 시스템(208), 디스플레이 스크린(210), 외부 후방 뷰 미러(ORVM)(212), 동력전달(powertrain) 제어 시스템(214), 조향 시스템(216), 제동 시스템(218), 감지 시스템(220), 차량내 네트워크(222), 및 오디오 인터페이스(224)를 더 포함할 수 있다. 감지 시스템(220)은, (오디오 입력 디바이스(110a 내지 110h) 등의) 2개 이상의 오디오 입력 디바이스(110) 및 (촬영 디바이스(112a 내지 112b) 등의) 하나 이상의 촬영 디바이스(112)를 포함할 수 있다. 오디오 인터페이스(224)는, 제1 차량(102a)의 운전자(114)에 대한 제1 세트의 오디오 출력 디바이스(226a 및 226b) 및 제1 차량(102a) 운전자(114) 및 모든 공동 승객에 대해 공통인 제2 세트의 오디오 출력 디바이스(228a 내지 228d)를 포함할 수 있다. 차체(230)가 추가로 도시되어 있다.
다양한 컴포넌트 또는 시스템은, 차량 영역 네트워크(VAN) 및/또는 차량내 데이터 버스 등의 차량내 네트워크(222)를 통해 서로 통신가능하게 결합될 수 있다. 마이크로프로세서(202)는, 차량내 네트워크(222)를 통해, 메모리(204), 무선 통신 시스템(206), 인포테인먼트 시스템(208), 디스플레이 스크린(210), ORVM(212), 동력전달 제어 시스템(214), 감지 시스템(220), 및 오디오 인터페이스(224)에 통신가능하게 결합될 수 있다. 제1 차량(102a)은 또한, 다른 적절한 컴포넌트 또는 시스템을 또한 포함할 수 있지만, 간결성을 위해, 본 개시내용의 기능 및 동작을 기술하고 설명하는데 이용되는 컴포넌트 또는 시스템들만이 여기에 예시되어 있다는 것을 이해해야 한다.
마이크로프로세서(202)는, 메모리(204)에 저장된 한 세트의 명령어를 실행하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 마이크로프로세서(202)의 예는, X86-기반의 프로세서, RISC(Reduced Instruction Set Computing) 프로세서, ASIC(Application Specific Integrated Circuit) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, EPIC(Explicitly Parallel Instruction Computing) 프로세서, VLIW(Very Long Instruction Word) 프로세서, 마이크로컨트롤러, 중앙 처리 유닛(CPU), 그래픽 처리 디바이스(GPU), 상태 머신, 및/또는 기타의 프로세서 또는 회로일 수 있다.
메모리(204)는, 마이크로프로세서(202)에 의해 실행가능한 적어도 하나의 코드 섹션을 갖는 머신 코드 및/또는 명령어 세트를 저장하도록 구성될 수 있는 적절한 로직, 회로, 및/또는 인터페이스를 포함할 수 있다. 메모리(204)는 또한, 복수의 차량(102)의 차량 타입의 인식을 위해 차량과 관련된 사운드 서명을 저장하도록 구성될 수 있다. 메모리(204)는 또한, 포착된 하나 이상의 영상으로부터 하나 이상의 물체의 인식을 위해 다양한 타입의 물체들의 템플릿 영상을 저장하도록 구성될 수 있다. 메모리(204)는 또한, 다양한 타입의 차량 및 물체와 연관된 피치 및 주파수 값을 저장할 수 있다. 메모리(204)의 구현 예는, 전기적으로 소거가능하고 프로그램가능한 판독 전용 메모리(EEPROM), 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 하드 디스크 드라이브(HDD), 플래시 메모리, 보안 디지털(SD) 카드, 솔리드 스테이트 드라이브(SSD), 및/또는 CPU 캐시 메모리를 포함할 수 있지만, 이것으로 제한되지 않는다.
무선 통신 시스템(206)은 마이크로프로세서(202)의 제어하에, 클라우드 서버(104) 등의 하나 이상의 외부 디바이스와 통신하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 하나 이상의 외부 디바이스와의 이러한 통신은 무선 통신 네트워크(106)의 이용에 의해 발생할 수 있다. 무선 통신 시스템(206)은, 안테나, 텔레매틱스 유닛, 무선 주파수(RF) 트랜시버, 하나 이상의 증폭기, 하나 이상의 발진기, 디지털 신호 프로세서, 근접장 통신(NFC) 회로, 코더-디코더(CODEC) 칩셋, 및/또는 가입자 식별 모듈(SIM) 카드 등의 그러나 이것으로 제한되지 않는 다양한 컴포넌트를 포함할 수 있다.
무선 통신 시스템(206)은, 전용 단거리 통신(DSRC) 프로토콜 등의, 무선 통신 프로토콜을 통해, 마이크로프로세서(202)의 제어하에 무선 통신 네트워크(106) 등의 네트워크와 통신할 수 있다. 무선 통신 시스템(206)은, GSM(global system for mobile communications), EDGE(enhanced data GSM environment), W-CDMA(wideband code division multiple access), 코드 분할 다중 접속(CDMA), LTE(long term evolution), 시분할 다중 접속(TDMA), Bluetooth(BT), (IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n 등의) Wi-Fi, VoIP(Voice over Internet Protocol), Wi-MAX, 전자 메일, 인스턴트 메시징 및/또는 SMS(Short Message Service)를 위한 프로토콜 등의, 다양한 통신 표준, 프로토콜 및 기술들을 이용할 수 있다.
인포테인먼트 시스템(208)은, 엔터테인먼트 및 정보 미디어를 제1 차량(102a)의 사용자로의 출력으로서 제공할 수 있다. 인포테인먼트 시스템(208)은, 제1 차량(102a)의 사용자에게 재생될 미디어를 수신하기 위해 (클라우드 서버(104) 및/또는 미디어 또는 파일 서버 등의 하나 이상의 다른 서버를 포함한) 하나 이상의 서버에 접속될 수 있다 . 인포테인먼트 시스템(208)은, 결합된 전자 디바이스로부터 미디어를 수신하고 무선으로 재생하기 위해 사용자의 개인 디바이스 등의 전자 디바이스에 통신가능하게 결합될 수 있다. 미디어는, 오디오, 비디오, 텍스트 정보 및 메타 데이터, 및/또는 서비스 운영자로부터 부가 가치 서비스로서 사용자에게 제공되는 정보를 포함할 수 있다.
한 실시예에 따르면, 인포테인먼트 시스템(208)은, 무선 통신 네트워크(106) 또는 차량 네트워크를 통해 하나 이상의 서버 및/또는 전자 디바이스에 접속될 수 있다. 한 실시예에 따르면, 인포테인먼트 시스템(208)은 제1 차량(102a)의 현재 위치의 GPS 좌표를 검출할 수 있는 내장형 GPS 시스템을 포함할 수 있다. 대안으로서, 인포테인먼트 시스템(208)은, 제1 차량(102a) 내에 별개의 컴포넌트로서 설치될 수 있는 GPS 시스템에 통신가능하게 결합될 수 있다. GPS 시스템으로부터의 입력에 기초하여, ECU(108)에 의해 인식된 제1 차량(102a) 및 하나 이상의 다른 차량 또는 물체는, 디스플레이 스크린(210)을 통해 제1 차량(102a)을 기준으로 하여 맵 상에 디스플레이될 수 있다.
디스플레이 스크린(210)은, 운전자(114)로부터 입력을 수신하고 제1 차량(102a)의 운전자(114) 등의 탑승자에게 다양한 타입의 정보를 디스플레이하는 터치 스크린을 지칭할 수도 있다. 제1 차량(102a)은, 마이크로프로세서(202)와 통신하도록 구성될 수 있는 다른 입력/출력(I/O) 디바이스를 포함할 수 있다. 디스플레이 스크린(210)의 예는, 헤드 유닛의 디스플레이, 태블릿 컴퓨터, 전자 디스플레이를 갖춘 컴퓨팅 디바이스, 헤드-업 디스플레이(HUD), 증강 현실 시스템을 갖춘 헤드-업 디스플레이(AR-HUD), 운전자 정보 콘솔(DIC), 프로젝션-기반의 디스플레이, 시스루(see-through) 디스플레이, 스마트-안경 디스플레이, 및/또는 전기변색 디스플레이(electro-chromic display)를 포함할 수 있지만, 이것으로 제한되지 않는다. 한 실시예에 따르면, 촬영 디바이스(112d, 112e)는 (도 1에 도시된 바와 같이) 제1 차량(102a)의 ORVM(212)에 설치될 수 있다.
동력전달 제어 시스템(214)은, 제1 차량(102a)의 엔진 및 변속 시스템의 작동을 제어하는 제1 차량(102a)의 온보드 컴퓨터를 지칭할 수 있다. 동력전달 제어 시스템(214)은, 엔진의 점화, 연료 분사, 배출 시스템, 및/또는 (자동 변속 시스템 등의) 변속 시스템 및 제동 시스템(218)의 동작을 제어할 수 있다. 변속 시스템은, 수동 변속기, 동기 변속기, 완전 자동 변속기, 반자동 변속기, 무단 변속기(CVT; Continuously Variable Transmission), 순차 변속기, 이중 클러치 변속기(DCT), 또는 본 기술 분야에 공지된 기타의 변속기를 지칭할 수 있다.
조향 시스템(216)은 동력전달 제어 시스템(214)과 연관될 수 있다. 조향 시스템(216)은, 수동 모드 또는 반자율 모드에서 제1 차량(102a)의 움직임을 제어하기 위해 운전자(114)에 의해 이용될 수 있는 조향 휠 및/또는 (전력-보조형 조향의 경우) 전기 모터를 포함할 수 있다. 한 실시예에 따르면, 제1 차량(102a)이 자율 모드에 있을 때, 제1 차량(102a)의 움직임 또는 조향은 자동으로 제어될 수 있다. 조향 시스템(216)의 예는, 본 기술분야에 공지된, 자율 조향 제어, 전력-보조형 조향 시스템, 진공/유압-기반의 조향 시스템, 전자-유압식 전력-보조형 시스템(EHPAS), 또는 "와이어에 의해 조향(steer-by-wire)" 시스템을 포함할 수 있지만, 이것으로 제한되지 않는다.
제동 시스템(218)은 마찰력의 인가에 의해 제1 차량(102a)을 정지시키거나 감속시키는데 이용될 수 있다. 제동 시스템(218)은, 제1 차량(102a)이 자율 모드 또는 반자율 모드에 있을 때 마이크로프로세서(202)의 제어하에 동력전달 제어 시스템(214)으로부터 명령을 수신하도록 구성될 수 있다.
감지 시스템(220)은, 제1 차량(102a)에 제공된 2개 이상의 오디오 입력 디바이스(110) 및 촬영 디바이스(112)를 포함할 수 있다. 감지 시스템(220)은, 차량내 네트워크(222)를 통해, ECU(108)에 동작가능하게 접속되어, 마이크로프로세서(202)에 입력 신호를 제공할 수 있다. CAN 인터페이스 등의 하나 이상의 통신 인터페이스가 감지 시스템(220)에 제공되어 차량내 네트워크(222)에 접속할 수 있다. 감지 시스템(220)은 또한, RADAR 디바이스 및/또는 광 검출 및 거리측정(LIDAR) 디바이스 등의 레이저-기반의 물체 감지 센서에 대응할 수 있는 물체 검출 디바이스(도 2에는 미도시)를 포함할 수 있다. 또한, 감지 시스템(220)은, 일단 포착된 트래픽 사운드 데이터가 처리되고 나면, 제1 차량(102a)과 제2 차량(102b) 등의 다른 차량 사이의 검출된 거리의 정확성을 향상시키는데 이용될 수 있는 하나 이상의 초음파 센서(도 2에는 미도시)를 포함할 수 있다. 나아가, 하나 이상의 초음파 센서는 또한, 제1 차량(102a)에 관한 다른 차량의 속도 또는 상대 속도를 결정하는데 이용될 수 있다. 감지 시스템(220)의 하나 이상의 차량 센서의 예는, 차량 속도 센서, 주행거리 센서, 요 레이트(yaw rate) 센서, 속도계, GPS(global positioning system), 조향 각도 검출 센서, 차량 주향 방향 검출 센서, 매그노미터(magnometer)자계, 영상 센서, 터치 센서, 및/또는 적외선 센서를 더 포함할 수 있지만, 이것으로 제한되지 않는다. 감지 시스템(220)의 하나 이상의 차량 센서는, 제1 차량(102a)의 주행 방향, 지리공간 위치, 조향 각도, 요 레이트, 속도, 및/또는 속도 변화율을 검출하도록 구성될 수 있다.
차량내 네트워크(222)는, ECU(108), 오디오 인터페이스(224), 동력전달 제어 시스템(214), 감지 시스템(220), 및/또는 무선 통신 시스템(206) 등의, 제1 차량(102a)의 다양한 컴포넌트 또는 시스템이 서로 통신하는데 이용할 수 있는 매체를 포함할 수 있다. 차량내 네트워크(222)는, 마이크로프로세서(202)와, 제1 차량(102a)의 오디오 인터페이스(224) 또는 차체 제어 모듈 등의 다른 ECU들 사이의 액세스 제어 및/또는 통신을 가능하게 할 수 있다. 제1 차량(102a) 내의 다양한 디바이스들은, 다양한 유선 및 무선 통신 프로토콜들에 따라 차량내 네트워크(222)에 접속하도록 구성될 수 있다. CAN 인터페이스, LIN(Local Interconnect Network) 인터페이스, MOST(Media Oriented Systems Transport) 인터페이스 등의 하나 이상의 통신 인터페이스는, 제1 차량(102a)의 다양한 컴포넌트 또는 시스템에 의해 차량내 네트워크(222)에 접속하기 위해 이용될 수 있다. 차량내 네트워크(222)를 위한 유선 및 무선 통신 프로토콜의 예는, VAN(Vehicle Area Network), CAN 버스, D2B(Domestic Digital Bus), TTP(Time-Triggered Protocol), FlexRay, IEEE 1394, CSMA/CD(Carrier Sense Multiple Access With Collision Detection) 기반의 데이터 통신 프로토콜, I²C(Inter-Integrated Circuit), IEBus(Inter Equipment Bus), SAE(Society of Automotive Engineers) J1708, SAE J1939, ISO(International Organization for Standardization) 11992, ISO 11783, MOST(Media Oriented Systems Transport), MOST25, MOST50, MOST150, POF(Plastic optical fiber), PLC(Power-line communication), SPI(Serial Peripheral Interface) 버스, 및/또는 LIN(Local Interconnect Network)을 포함할 수 있지만, 이것으로 제한되지 않는다.
오디오 인터페이스(224)는, 제1 세트의 오디오 출력 디바이스(226a 및 226b), 제2 세트의 오디오 출력 디바이스(228a 내지 228d), 차임(chime), 버저(buzzer), 또는 사운드를 생성하도록 동작할 수 있는 기타의 디바이스에 접속될 수 있다. 오디오 인터페이스(224)는 또한, 운전자(114) 등의 제1 차량(102a)의 탑승자로부터 음성 입력을 수신하기 위해 마이크로폰 또는 기타의 디바이스에 접속될 수 있다. 오디오 인터페이스(224)는 (인포테인먼트 시스템(208) 등의) 인포테인먼트 유닛 또는 제1 차량(102a)의 헤드 유닛의 일부일 수 있다. 한 실시예에 따르면, 멀티미디어 컴포넌트에 대한 오디오/비디오 데이터의 차량내 통신은, 차량내 네트워크(222)의 MOST(Media Oriented Systems Transport) 멀티미디어 네트워크 프로토콜의 이용에 의해 이루어질 수 있다. 제1 세트의 오디오 출력 디바이스(226a 및 226b)는, 제1 차량(102a)의 운전자(114)를 향하는 오디오 출력을 제공하기 위해 운전석 부근 또는 운전석 상에 설치될 수 있다. 제2 세트의 오디오-출력 디바이스(228a 내지 228d)는 제1 차량(102a)의 모든 승객에게 오디오 출력을 제공하기 위해 제1 차량(102a)의 내부의 코너들에 설치될 수 있다. 제1 차량(102a)이 자전거 등의 2륜 차량인 경우, 오디오 인터페이스(224)와 연관된 하나 이상의 오디오 출력 디바이스가 자전거 라이더(rider)의 헬멧 내에 제공될 수 있다. 이러한 시나리오에서, 자전거 라이더의 헬멧 내의 하나 이상의 오디오 출력 디바이스를 통해 자전거 라이더에게 차량내 경보가 제공될 수 있지만, 뒷좌석 라이더는 이러한 차량내 경보를 듣지 못할 수 있다. 뒷좌석 라이더의 헬멧은, 음악이나 기타의 오디오 콘텐츠를 재생할 수 있는 또다른 오디오 출력 디바이스를 포함할 수 있다. 또 다른 시나리오에서, 뒷좌석 라이더의 헬멧은 오디오 출력 디바이스를 포함하지 않을 수도 있다.
차체(230)는, 전술된 다양한 컴포넌트 및 시스템, 및 제1 차량(102a) 등의 차량의 다른 기계적 및 전기적 작동부 또는 컴포넌트를 덮는, 제1 차량(102a)의 (섀시 이외의 외측 패널 및/또는 프레임 어셈블리 등의) 외부 쉘을 지칭할 수 있다. 차체(230)의 차체 타입은, 단일화된 차체(또는 유니-바디), 프레임 상의 차체(body-on-frame), 보조 서브프레임들을 갖춘 차체, 이중 프레임 차체, 및/또는 본 기술분야에 공지된 기타의 자체 구조물일 수 있다. 차체(230)의 차체 스타일은, 스포츠 유틸리티 차량(SUV), 밴(van), 트럭, 세단, 쿠페, 컨버터블, 해치백, 스포츠카, 및/또는 본 기술분야에 공지된 기타의 차체 스타일일 수 있다.
동작시, 2개 이상의 오디오 입력 디바이스들(110a 내지 110d)은 복수의 차량(102) 중 하나 이상의 다른 차량으로부터 발산된 사운드를 포착하도록 구성될 수 있다. 제2 차량(102b)을 포함할 수 있는 하나 이상의 다른 차량은, 도로 부분(118) 상에서 제1 차량(102a)에 근접할 수 있다. 2개 이상의 오디오 입력 디바이스(110a 내지 110d)는, 포착된 사운드로부터 노이즈를 제거하고 포착된 사운드와 연관된 사운드 데이터를 생성하기 위해 하나 이상의 오디오 필터를 적용할 수 있다. 그 다음, 2개 이상의 오디오 입력 디바이스(110a 내지 110d)는, 차량내 네트워크(222)를 통해, 사운드 데이터를 추가 처리를 위해 제1 차량(102a)의 ECU(108)에 전송할 수 있다.
한 실시예에 따르면, ECU(108)는, 제2 차량(102b) 등의, 하나 이상의 다른 차량으로부터 제1 차량(102a)의 상대 위치(거리 및/또는 각도)를 결정할 수 있다. 상대 위치는, 2개 이상의 오디오 입력 디바이스(110a 내지 110d)로부터 수신된 사운드 데이터에 기초하여 결정될 수 있다. 상대 위치의 결정은, 도 3, 도 4, 도 5, 도 6, 도 7, 및 도 8에서 더 상세히 설명된다. ECU(108)는 또한, 결정된 상대 위치에 기초하여 제1 차량(102a)에 대한 차량내 경보를 생성하도록 구성될 수 있다. 차량내 경보는, 제2 차량(102b) 등의 하나 이상의 다른 차량으로부터 발산된 사운드를 나타내는 가상의 사운드를 포함할 수 있다. 가상 사운드는, 제1 차량(102a) 내의 제1 세트의 오디오 출력 디바이스(226a 및 226b)에 의해 재생될 수 있다. 제1 세트의 오디오 출력 디바이스들(226a 및 226b)은, 운전자(114)를 향해 타겟된 사운드 빔을 통해, 차량내 경보와 연관된 음장을 지향시킬 수 있다. 대안으로서, 차량내 경보는, 제1 차량(102a) 내의 제2 세트의 오디오 출력 디바이스(228a 내지 228d)를 통해, 운전자(114) 및 하나 이상의 공동 승객을 포함하는 제1 차량(102a)의 모든 승객에게 제공될 수 있다. 차량내 경보는, 도로 부분(118)을 따라 제1 차량(102a)의 주행 경로와 연관된 트래픽 조건에 기초하여 모든 승객에게 제공될 수 있다. 가상 사운드를 포함하는 차량내 경보의 생성 및 재생은, 도 5, 도 9a, 및 도 9b에서 더 상세히 설명된다. 또한, 다양한 예시적인 트래픽 시나리오에서의 차량내 운전자 보조 시스템의 구현과 연관된 상세사항이 도 10 내지 도 13에서 설명된다. 차량내 경보의 예는, 사고 경고, 운전 조작 지시, 속도 변경 권고, 차량 추월 권고, 차선 변경 권고, 운전 조건 정보, 장애물 경보, 및/또는 선택된 차량 추적을 포함할 수 있지만, 이것으로 제한되지 않는다.
도 3은, 본 개시내용의 한 실시예에 따른, 제1 차량(102a) 부근의 하나 이상의 다른 차량으로부터 발산된 트래픽 사운드의 포착을 도시하는 도로 부분의 제1 예시적인 평면도를 나타낸다. 도 3은 도 1 및 도 2의 요소들과 연계하여 설명된다. 도 3을 참조하면, 제1 차선(302) 및 제2 차선(304)을 포함할 수 있는 도로 부분(306)의 평면도(300)가 도시되어 있다. 복수의 차량(102)이 도로 부분(306)을 따라 종주하는 것으로 도시되어 있다. 복수의 차량(102)은, 제1 차량(102a)과, 제2 차량(102b), 제3 차량(102c), 제4 차량(102d) 및 제5 차량(102e) 등의, 하나 이상의 다른 차량을 포함할 수 있다. 제3 차량(102c), 제4 차량(102d), 및 제5 차량(102e)은, 복수의 차량(102) 중 새로이 도시된 하나 이상의 다른 차량이다.
제2 차량(102b), 제3 차량(102c), 제4 차량(102d), 및 제5 차량(102e)으로부터 발산된 사운드는, 각각, 제1 사운드 빔(308a), 제2 사운드 빔(308b), 제3 사운드 빔(308c), 및 제4 사운드 빔(308d)으로서 표현될 수 있다. 제1 차량(102a)은, 2개 이상의 오디오 입력 디바이스(110a 내지 110d)를 포함하는 것으로 도시되어 있다. 제1 차량(102a), 제2 차량(102b), 및 제4 차량(102d)은, 제1 차선(302)을 따라 종주하는 것으로 도시되고, 제3 차량(102c) 및 제5 차량(102e)은 제2 차선(304)을 따라 종주하는 것으로 도시되어 있다.
한 실시예에 따라, (도시된 바와 같이, 각각, 제1 차량(102a)의 후단, 좌측 및 우측에 위치한) 오디오 입력 디바이스들(110a, 110b 및 110c)은, 도로 부분(306)을 따라 오디오 입력 디바이스(110d) 보다 더욱 현저히 제1 차량(102a) 뒤에 위치할 수 있는 다른 차량들로부터 발산된 사운드를 포착할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 제2 차량(102b) 및 제3 차량(102c)은, 도로 부분(306) 상에서, 각각, 제1 차량(102a)의 좌측 및 우측에서, 제1 차량(102a) 뒤쪽에 위치한다. 제2 차량(102b)으로부터 발산된 제1 사운드 빔(308a) 및 제3 차량(102c)으로부터 발산된 제2 사운드 빔(308b)은, 적어도 오디오 입력 디바이스들(110a, 110b 및 110c)에 의해 포착될 수 있다.
유사하게, (도시된 바와 같이, 각각, 제1 차량(102a)의 좌측, 우측 및 전단에 위치한) 오디오 입력 디바이스들(110b, 110c 및 110d)은, 도로 부분(306)을 따라 오디오 입력 디바이스(110a) 보다 더욱 현저히 제1 차량(102a)의 전방에(또는 나란히) 위치한 다른 차량들로부터 발산된 사운드를 포착할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 제4 차량(102d) 및 제5 차량(102e)은, 도로 부분(306)상에서, 각각, 제1 차량(102a)의 좌측 및 우측에서, 제1 차량(102a)의 전방에 위치한다. 제4 차량(102d)으로부터 발산된 제3 사운드 빔(308c) 및 제5 차량(102e)으로부터 발산된 제4 사운드 빔(308d)은, 적어도 오디오 입력 디바이스들(110b, 110c 및 110d)에 의해 포착될 수 있다. 도 3은, 제1 차량(102a)의 4개의 오디오 입력 디바이스들(110a 내지 110d)만이 근처 차량들로부터 발산된 사운드를 포착하는데 이용될 수 있는 실시예를 나타낸다. 제1 차량(102a)에 제공되는 경우 추가의 오디오 입력 디바이스의 이용에 의해 다른 차량들로부터 발산된 사운드가 포착될 수 있다는 것은 본 기술분야의 통상의 기술자라면 이해할 수 있을 것이다. 따라서, 4개보다 많은 오디오 입력 디바이스가 이용되는 다른 시나리오도 역시 가능할 수 있다. 예를 들어, 제1 차량(102a)의 8개의 오디오 입력 디바이스들(110a 내지 110h) 모두가 근처 차량들로부터 발산된 사운드를 포착하는데 이용될 수 있는 시나리오가 도 6에 도시되어 있다.
도 4는, 본 개시내용의 한 실시예에 따른, 제1 차량(102a)에 관한 근처 차량의 위치의 예시적인 계산을 나타낸다. 도 4는, 도 1, 도 2, 및 도 3의 요소들과 연계하여 설명된다. 도 4를 참조하면, 도로 부분(306)의 영역(402)을 도시하는 예시적인 평면도(400)가 도시되어 있다. 도로 부분(306)의 영역(402)은, 제1 차량(102a) 및 제2 차량(102b)을 포함하는 도 3의 제1 차선(302)의 소정 부분을 포함할 수 있다. 또한, 도 4에는, 제1 차량(102a)의 오디오 입력 디바이스(110a 내지 110d) 및 제2 차량(102b)으로부터 발산된 사운드에 대응하는 제1 사운드 빔(308a)이 도시되어 있다.
또한, 제1 차량(102a) 및 제2 차량(102b)의 블록도는, 도로 부분(306)의 영역(402)에서 제1 차량(102a)에 관한 제2 차량(102b)의 위치 계산을 예시하기 위해 나란히 도시되어 있다. 제1 차량(102a)에 관한 제2 차량(102b)의 위치는, 제2 차량(102b)으로부터 발산되어 제1 차량(102a)에서 포착된 제1 사운드 빔(308a)에 기초하여 확인될 수 있다. 제2 차량(102b) 및 오디오 입력 디바이스들(110a, 110b, 110c)의 전단의 중앙으로부터, 제1 거리(404a), 제2 거리(404b), 및 제3 거리(404c)(또한, 거리 또는 변 "a", "b", 및 "c"로서 표현됨) 등의 다양한 거리가 더 도시되어 있다.
또한, 도 4의 블록도는, 오디오 입력 디바이스들(110a, 110b 및 110c) 중 미리결정된 거리(408a, 408b 및 408c(또한 "x", "y", 및 "z"로서 표현됨)를 나타낸다. 미리결정된 거리(408a, 408b 및 408c)는 도시된 바와 같이 한 쌍의 오디오 입력 디바이스들(110a, 110b 및 110c) 사이의 쌍별 거리일 수 있다. 미리결정된 거리(408a, 408b, 408c)는, 제1 차량(102a) 내의 오디오 입력 디바이스들(110a 내지 110d)의 설치 위치에 기초하여 결정될 수 있다. 삼각형 "베이(bay)"의 변들 "a"(제1 거리(404a))와 "b"(제2 거리(404b)) 사이에 형성된 각도(406)(각도 "A"로도 표현됨)가 추가로 도시되어 있다. 제1 차량(102a)에 관한 제2 차량(102b)의 위치의 계산은 이하의 도 5에서 더 설명된다.
도 5는 본 개시내용의 실시예에 따른 제1 차량(102a)에 관한 근처 차량의 상대 위치의 결정을 위한 제1 차량(102a)에 의해 근처 차량으로부터 포착된 트래픽 사운드 데이터의 제1 예시적인 패턴을 나타낸다. 도 5는, 도 1, 도 2, 도 3, 및 도 4의 요소들과 연계하여 설명된다. 도 5를 참조하면, (도 4의) 제2 차량(102b)으로부터 오디오 입력 디바이스들(110a 내지 110c)에 의해 포착된 사운드 신호와 연관된 사운드 신호 패턴(500)이 도시되어 있다. 간결성을 위해, 사운드 신호 패턴(500)은 하나 이상의 다른 차량의 제2 차량(102b)으로부터 발산된 사운드의 포착을 도시한다.
한 실시예에 따르면, 사운드 신호 패턴(500)은, 제2 차량(102b)(도 4)으로부터 발산된 사운드에 대응하는 제1 사운드 빔(308a)과 연관된 사운드 신호를 포함할 수 있다. 사운드 신호 패턴(500)은, 제1 사운드 신호(502a), 제2 사운드 신호(502b), 및 제3 사운드 신호(502c)를 포함하는 것으로 도시되어 있다. 3개의 사운드 신호들(502a 내지 502c) 각각은, 오디오 입력 디바이스들(110a 내지 110c) 중 한 오디오 입력 디바이스에 의해 포착될 수 있는 사운드 채널에 대응할 수 있다. 한 실시예에 따르면, 3개의 사운드 신호들(502a 내지 502c) 각각은, 제2 차량(102b)으로부터 발산된 제1 사운드 빔(308a)에 대응할 수 있다. 따라서, 3개의 사운드 신호들(502a 내지 502c) 각각은, 동일한 사운드 소스, 즉, 제2 차량(102b)으로부터 동시에 발산될 수 있다.
동작시에, 오디오 입력 디바이스들(110a 내지 110d)은, 도로 부분(306)상에서 주행하는 제2 차량(102b) 등의 하나 이상의 다른 차량으로부터 발산된 사운드를 수신할 수 있다. 도 4에 도시된 바와 같이, 제2 차량(102b)은, 도로 부분(306)의 제1 차선(302)에서 제1 차량(102a) 뒤에 위치할 수 있다. 오디오 입력 디바이스들(110a, 110b 및 110c)은, 제1 사운드 빔(308a) 등의 제2 차량(102b)으로부터 발산된 사운드를 포착할 수 있다. 이제 도 5를 다시 참조하면, 제1 사운드 신호(502a)는, (제1 차량(102a)의 좌측의) 오디오 입력 디바이스(110b)와 제2 차량(102b) 사이의 제1 거리(404a)("a"라고도 표현됨)에 대응할 수 있다. 제2 사운드 신호(502b)는, (제1 차량(102a)의 우측의) 오디오 입력 디바이스(110c)와 제2 차량(102b) 사이의 제2 거리(404b)("b"라고도 표현됨)에 대응할 수 있다. 또한, 제3 사운드 신호(502c)는, (제1 차량(102a)의 후단의) 오디오 입력 디바이스(110a)와 제2 차량(102b) 사이의 제3 거리(404c)("c"라고도 표현됨)에 대응할 수 있다.
도 5에 도시된 바와 같이, 제1 사운드 신호(502a)는, 제1 차량(102a) 주변의 오디오 입력 디바이스(110a)의 위치로 인해, 오디오 입력 디바이스(110a)에 의해 포착된 다른 사운드 신호들보다 먼저 제1 차량(102a)에 도달할 수 있다. 도시된 바와 같이, 제1 사운드 신호(502a)에 후속하여, 제3 사운드 신호(502c), 및 그 다음, 제2 사운드 신호(502b)가 뒤따를 수 있다. 한 실시예에 따르면, 제1 차량(102a)에서의 사운드 신호의 도달 시간은, 그 사운드 신호를 포착하는 제1 차량(102a)의 각각의 오디오 입력 디바이스로부터의 제2 차량(102b)의 거리에 반비례할 수 있다. 예를 들어, 도 4를 다시 참조하면, 제2 차량(102b)과 오디오 입력 디바이스(110c) 사이의 ("b" 등의) 제2 거리(404b)는, 각각, ("a" 및 "c" 등의) 제1 거리(404a) 및 제3 거리(404c)보다 클 수 있다. 따라서, 제2 거리(404b)에 대응할 수 있는 제2 사운드 신호(502b)는, 제1 사운드 신호(502a)와 제3 사운드 신호(502c) 양쪽 모두가 제1 차량(102a)에 도달한 후에 제1 차량(102a)에 도달할 수 있다. 또한, 제1 거리(404a)가 제3 거리(404c)보다 작은 경우, 제1 사운드 신호(502a)는 제3 사운드 신호(502c)보다 먼저 도착할 수 있으며, 그 반대도 마찬가지이다.
한 실시예에 따르면, ECU(108)는, 제2 차량(102b)으로부터 발산되고 제1 차량(102a)의 오디오 입력 디바이스들(110a, 110b, 및 110c)에 의해 수신되는, 이 경우에는 제1 사운드 빔(308a) 등의, 동일한 사운드 빔의 상대 거리를 결정할 수 있다. 따라서, ECU(108)는, 오디오 입력 디바이스(110b), 오디오 입력 디바이스(110c), 및 오디오 입력 디바이스(110a)로부터의 제2 차량(102b)의 상대적 거리들(각각, 제1 거리(404a), 제2 거리(404b), 제3 거리(404c))간의 차이를 결정할 수 있다. 이를 위해, 한 실시예에 따르면, ECU(108)는, 제1 차량(102a)에서의 3개의 사운드 신호(502a 내지 502c)의 상대 도달 시간들 사이의 차이를 결정할 수 있다. 또한, ECU(108)는 3개의 사운드 신호들(502a 내지 502c) 각각의 방출의 진폭 및/또는 방향에 기초하여 제1 차량(102a)에 관한 제2 차량(102b)의 위치와 연관된 방향을 결정할 수 있다. 그 후, ECU(108)는 TDOA(time difference of arrival) 기술 및/또는 삼각측량 기술의 적용에 의해 제1 거리(404a), 제2 거리(404b), 및 제3 거리(404c)("a", "b", 및 "c"로 표현됨)를 결정할 수 있다. 또한, ECU(108)는, 결정된 제1 거리(404a), 제2 거리(404b) 및 제3 거리(404c)에 기초하여 제2 차량(102b)과 제1 차량(102a) 사이의 최단 거리를 결정할 수 있다. 제2 차량(102b)과 제1 차량(102a) 사이의 최단 거리는, 제2 차량(102b)의 전단과 제1 차량(102a)의 후단 사이의 수직 거리에 대응할 수 있다.
한 실시예에 따르면, ECU(108)는, 제1 차량(102a)과 제2 차량(102b) 사이의 결정된 수직 거리를 재추정하기 위해 제1 차량(102a)의 감지 시스템(220)과 연관된 하나 이상의 초음파 센서를 더 이용할 수 있다. ECU(108)는, 이전에 결정된 수직 거리의 정확도를 향상시키기 위해 제1 차량(102a)과 제2 차량(102b) 사이의 수직 거리를 재추정할 수 있다. ECU(108)의 명령하에 하나 이상의 초음파 센서는, 제2 차량(102b)의 결정된 방향을 향하여 하나 이상의 (초음파 등의) 전자기 신호를 전송할 수 있다. 그 후, 하나 이상의 초음파 센서는 제2 차량(102b)으로부터 하나 이상의 (반사된 초음파 등의) 반사된 전자기 신호를 수신할 수 있다. 하나 이상의 전자기 신호의 전송과 하나 이상의 반사된 전자기 신호의 수신 사이의 경과 시간에 기초하여, ECU(108)는 제2 차량(102b)과 제1 차량(102a) 사이의 수직 거리를 재추정할 수 있다. ECU(108)는 또한, 수직 거리의 재추정과 유사한 방식으로, 제1 거리(404a), 제2 거리(404b) 및 제3 거리(404c)를 재추정할 수 있다. 하나 이상의 전자기 신호는, 제1 차량(102a)으로부터 제2 차량(102b)까지의 각각의 거리와 연관된 방향으로 전송될 수 있다.
한 실시예에 따르면, ECU(108)는, 각각의 차량으로부터 포착된 사운드 데이터에 기초하여 (제2 차량(102b), 제3 차량(102c), 및 제4 차량(102d) 등의) 하나 이상의 다른 차량의 속도를 결정할 수 있다. 또한, ECU(108)는, 제2 차량(102b)으로부터 포착된 사운드 데이터에 기초하여, 제1 차량(102a)에 관한 제2 차량(102b)의 상대 속도를 결정할 수 있다. 예를 들어, 오디오 입력 디바이스들(110a, 110b 및 110c)에 의해 포착된 사운드 신호들의 진폭 또는 피치에서의 차이, 및/또는 결정된 TDOA가, 속도 및/또는 상대 속도의 결정에 이용될 수 있다. 대안으로서, (존재하는 경우) 초음파 센서는 또한, (순간 속도계 판독치에 기초하여) 제1 차량(102a)의 속도가 알려질 때 속도 및/또는 상대 속도의 결정에 이용될 수 있다.
한 실시예에 따르면, ECU(108)는 또한, 제2 차량(102b)이 제1 차량(102a)의 오디오 입력 디바이스(110b)(좌측에) 및 오디오 입력 디바이스(110c)(우측에)에 관해 위치해 있을 때 각도(406)(각도 "A"로 표현)을 계산하도록 구성될 수 있다. 즉, (각도 "A"로 표현된) 각도(406)는, 삼각형 "베이"의 제1 거리(404a) 및 제2 거리(404b)(변 "a" 및 "b"로 표현됨)에 대응하는 라인들 사이에 형성된 각도에 대응할 수 있다. (각도 "A"로 표현된) 각도(406)는, 삼각형 "베이"에 대한 다음과 같은 수학식에 기초하여 계산될 수 있다 :
Figure 112017076827338-pat00001
한 실시예에 따르면, (각도 "A"로 표현된) 각도(406)의 계산 후, ECU(108)는 계산된 각도(406)에 기초하여 검출된 제2 차량(102b)을 향한 지향된 사운드 빔의 전송에 의해 빔 형성 절차를 수행할 수 있다. 전송된 지향된 사운드 빔은 제2 차량(102b)으로부터 반사될 수 있다. 반사된 사운드 빔은 2개 이상의 오디오 포착 디바이스(110)에 의해 포착될 수 있다. 포착된 반사된 사운드 빔의 분석에 기초하여, ECU(108)는 제1 차량(102a)과 제2 차량(102b) 사이의 상대 거리를 추정할 수 있다. 빔 형성 절차의 예시적인 실시예가 도 8과 연계하여 설명된다.
한 실시예에 따라, 제1 차량(102a)에 관한 제2 차량(102b)의 결정된 상대 거리 및 각도 정보는, 획득되면, ECU(108)에 의해 제2 차량(102b)에 대한 가상 사운드를 생성하는데 이용될 수 있다. 한 실시예에 따르면, ECU(108)는 제1 차량(102a)에 관한 제2 차량(102b)의 결정된 거리 및 각도를 유클리드 좌표계로부터 구면 좌표계로 변환할 수 있다. 구면 좌표계로 표현된 거리 및 각도 정보는 HRTF(head-related transfer function)를 적용하는데 이용될 수 있다. ECU(108)는 아래에 언급된 수학식을 이용하여 HRTF를 적용함으로써 가상의 사운드를 생성할 수 있다 :
Figure 112017076827338-pat00002
여기서, HRTF는 구면 좌표(r, θ, φ)로 표현된 (제2 차량(102b) 등의) 사운드 소스로부터의 제1 차량(102a)의 거리 및 각도에 관하여 측정되고, 여기서,
"r"은 머리 중앙에 대한 소스 거리를 나타내고;
"θ"는 "0에서 360"도의 수평면을 나타내며;
"φ"는 머리 중앙에 대해 아래 및 위의 영역들을 나타내는 "-90° ~ 90°" 사이의 고도를 나타내고;
"f"는 상이한 주파수들을 나타내며;
"a"는 개별 머리를 나타내고;
"PL" 및 "PR"은, 제1 세트의 오디오 출력 디바이스(226a 및 226b)로부터 재생된 사운드 등의, 좌측 및 우측 귀에서의 사운드 압력을 나타내며;
"P0"은 머리가 제외한 머리 중앙에서의 사운드 압력을 나타낸다.
한 실시예에 따라, ECU(108)는, 사운드 신호 패턴(500)의 구성 신호로서 오디오 입력 디바이스들(110a 내지 110c)에 의해 포착될 수 있는 제1 사운드 빔(308a)에 하나 이상의 사운드 필터를 적용할 수 있다. 하나 이상의 사운드 필터의 적용에 기초하여, ECU(108)는 제2 차량(102b)과 연관된 사운드 서명을 결정할 수 있다. ECU(108)는 제2 차량(102b)의 결정된 사운드 서명을 메모리(204) 내의 미리저장된 사운드 서명과 비교할 수 있다. 미리저장된 사운드 서명은 다양한 타입의 차량 및 물체에 대응할 수 있다. 차량의 타입의 예는, 4륜차, 3륜차, 2륜차, 트럭, 자동차, SUV 및/또는 다용도 차량을 포함할 수 있지만, 이것으로 제한되지 않는다. 차량 이외의 물체는, 사람, 동물, 및/또는 기타의 사운드 생성 물체를 포함할 수 있지만 이것으로 제한되지 않는다. 비교에 기초하여, ECU(108)는 제2 차량(102b)의 타입을 결정할 수 있다.
한 실시예에 따르면, 제2 차량(102b)과 연관된 가상 사운드는 제2 차량(102b)의 결정된 타입에 기초하여 생성될 수 있다. 예를 들어, 제1 차량(102a)에서의 가상 사운드 출력의 피치 및 주파수는 제2 차량(102b)의 결정된 타입에 기초할 수 있다. 다양한 타입의 차량 및 물체에 대한 가상 사운드 출력의 생성에 이용되는 피치 및 주파수 값은, 사운드 서명과 함께 메모리(204)에 저장될 수 있다. 따라서, ECU(108)는, 제2 차량(102b)에 대해 결정된 차량 타입의 피치 및 주파수 값을 메모리(204)로부터 추출할 수 있다. 그 후, ECU(108)는 그에 따라 제2 차량(102b)에 대한 메모리(204)로부터 추출된 관련 피치 및 주파수 값(들)의 가상 사운드 출력을 생성할 수 있다. 결과적인 가상 사운드 출력은 운전자(114)가 (도로 부분(306) 또는 도로 부분(118) 등의) 도로 부분을 따라 혼잡한 트래픽 영역에서 안전하게 운전하기 위해 집중할 부분을 용이하게 이해할 수 있게 해줄 수 있다.
한 실시예에 따르면, 포착된 사운드에서의 하나 이상의 사운드 필터의 적용에 기초하여, ECU(108)는 또한, 제2 차량(102b)과 연관된 하나 이상의 운전 파라미터를 결정할 수 있다. 예를 들어, ECU(108)는, 하나 이상의 사운드 필터의 적용에 기초하여, 제2 차량(102b)에 의해 현재 적용된 엔진 기어를 결정할 수 있다. 가상 사운드 출력의 피치 및/또는 주파수는 또한, ECU(108)에 의해 결정되는, 제2 차량(102b)에 의해 현재 적용된 기어에 기초할 수 있다. 한 실시예에 따르면, 가상 사운드 출력의 진폭 값은 제1 차량(102a)으로부터의 제2 차량(102b)의 거리 및/또는 상대 속도에 비례할 수 있다. 또한, 제2 차량(102b)과 연관된 가상 사운드 출력은 제2 차량(102b)의 차량 타입과 연관된 미리기록된 오디오 트랙을 포함할 수 있다. 대안으로서, 가상 사운드 출력은, 제2 차량(102b)으로부터 포착된 사운드의 적어도 기록된 부분을, 실시간으로 또는 거의 실시간으로 포함할 수 있다. 제2 차량(102b)의 가상 사운드를 포함하는 차량내 경보는, 제2 세트의 오디오 출력 디바이스(228a 및 228d) 또는 제1 세트의 오디오 출력 디바이스(226a 및 226b)를 통해 재생될 수 있다.
도 6은 본 개시내용의 한 실시예에 따른 제1 차량 부근의 차량들로부터 발산되는 트래픽 사운드의 포착을 도시하는 도로 부분의 제2 예시적인 평면도를 나타낸다. 도 6은 도 1 및 도 2와 연계하여 설명된다. 도 6을 참조하면, 제1 차선(602) 및 제2 차선(604)을 포함할 수 있는 도로 부분(606)의 평면도(600)가 도시되어 있다. 제1 차량(102a), 자동차(608a), 트레일러(608b), 트럭(608c), 자전거(608d), 자전거(608e), 및 자동차(608f) 등의 도로 부분(606)을 종주하는 복수의 차량이 도시되어 있다. 자동차(608a) 및 트레일러(608b)는 제1 차선(602)을 따라 종주하는 것으로 도시되어 있는 반면, 트럭(608c), 자전거(610d), 제1 차량(102a), 자전거(608e), 및 자동차(608f)는 제2 차선(604)을 따라 반대 방향으로 주행하는 것으로 도시되어 있다.
제1 차량(102a)은, 110a 내지 110h 등의 2개 이상의 오디오 입력 디바이스를 포함하는 것으로 도시되어 있다. 또한, 제1 세트의 사운드 빔(610a), 제2 세트의 사운드 빔(610b), 및 제3 세트의 사운드 빔(610c)은, 각각, 트럭(608c), 자전거(608d), 및 자동차(608a)로부터 제1 차량(102a)을 향해 발산되는 것으로 도시되어 있다. 오디오 입력 디바이스들(110e, 110a, 110f)은, 제1 차량(102a)의 후방-좌측, 후방, 및 후방-우측에 설치된 것으로 도시되어 있다. 전술된 3개의 오디오 입력 디바이스들(110e, 110a, 110f) 각각은, 제1 세트의 사운드 빔(610a), 제2 세트의 사운드 빔(610b), 및 제3 세트의 사운드 빔(610c) 내의 개개의 지향된 사운드 빔을 포착할 수 있다. 예를 들어, 제1 세트의 사운드 빔(610a)은 3개의 지향된 사운드 빔을 포함할 수 있다. 3개 사운드 빔 중 제1의 사운드 빔은 제1 차량(102a)의 후방 좌측단을 향해 지향되므로, 제1 차량(102a)의 후방-좌측단에 설치된 오디오 입력 디바이스(110a)에 의해 포착될 수 있다. 유사하게, 3개의 사운드 빔 중 제2 및 제3 사운드 빔은, 제1 차량(102a)의 후방-중앙단 및 후방 우측단을 향해 지향될 수 있다. 제1 세트의 사운드 빔(610a) 중 제2 사운드 빔은 (후단의) 오디오 입력 디바이스(110a)에 의해 포착될 수 있는 반면, 제1 세트의 사운드 빔 중 제3 사운드 빔은 (후방-우측단의) 오디오 입력 디바이스(110f)에 의해 포착될 수 있다.
도 7은 본 개시내용의 실시예에 따른 제1 차량에 관한 근처 차량의 상대 위치의 결정을 위한 제1 차량에 의해 하나 이상의 근처 차량들로부터 포착된 트래픽 사운드 데이터의 제2 예시적인 패턴을 나타낸다. 도 7은, 도 1, 도 2, 및 도 6과 연계하여 설명된다. 도 7을 참조하면, 제1 신호 스트림(702a), 제2 신호 스트림(702b), 및 제3 신호 스트림(702c)이 도시되어 있다. 또한, 한 세트의 제1 차량-타입 신호(704a 내지 704c), 한 세트의 제2 차량-타입 신호(706a 내지 706c), 및 한 세트의 제3 차량-타입 신호(708a 내지 708c)가 도시되어 있다.
제1 신호 스트림(702a)은, 도 7에 도시된 바와 같이, 제1 차량(102a)의 후방-좌측단에 설치된 오디오 입력 디바이스(110e)에 의해 포착된 오디오 신호에 대응할 수 있다. 유사하게, 제2 신호 스트림(702b) 및 제3 신호 스트림(702c)은, 제1 차량(102a)의 후방-중앙 및 후방-우측단에 설치된 오디오 입력 디바이스(110a 및 110f)에 의해 포착된 오디오 신호들에 대응할 수 있다. 설명의 목적을 위해, 제1 차량-타입 신호 세트(704a 내지 704c)는 트럭(608c)으로부터 포착된 제1 세트의 사운드 빔(610a)을 포함하는 것으로 간주된다. 또한, 제2 차량-타입 신호 세트(706a 내지 706c)는 자동차(608a) 및 자전거(608d)로부터 포착된 제2 세트의 사운드 빔(610b)을 포함하는 것으로 간주된다. 또한, 제3 차량-타입 신호 세트(708a 내지 708c)는 자전거(608d)로부터 포착된 제3 세트의 사운드 빔(610c)을 포함하는 것으로 간주된다.
동작시, 제1 차량(102a)에 가장 가까운 차량을 결정하기 위해, ECU(108)는 차량-타입 신호의 가장 조기의 발생을 포함하는 신호 스트림을 식별할 수 있다. 즉, ECU(108)는 근처 차량으로부터 발산된 사운드 빔을 어느 오디오 입력 디바이스가 먼저 포착했는지를 체크할 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 후방-중앙 오디오 입력 디바이스(110a)에 대응하는 제2 신호 스트림(702b)은 가장 조기의 차량-타입 신호(즉, 제1 세트의 사운드 빔(610a)으로부터의 신호(704b))를 수신했다. 그 후, ECU(108)는 다른 오디오 입력 디바이스들에서 수신된 동일한 차량-타입의 다른 신호들을 상관시킬 수 있다. 예를 들어, 상기 경우에, (역시 제1 세트의 사운드 빔(610a)으로부터의) 제1 차량-타입의 신호들(704a 및 704c)은, 동일한 차량(즉, 트럭(608c))으로부터 포착된 신호(704b)(가장 조기에 수신된 신호)와 상관될 수 있다.
동일한 차량에 관련된 신호들의 상관에 기초하여, 그 차량으로부터 다른 오디오 입력 디바이스들에서 수신된 신호들의 시작 위치들이 식별될 수 있다. 예를 들어, 제1 차량-타입 신호 세트(704a 내지 704c)의 세트의 상관에 기초하여, 제1 신호 스트림(702a) 및 제3 신호 스트림(702c)에서 트럭(608c)의 신호들의 수신의 시작 위치들이 식별될 수 있다. 또한, 시작 위치들의 식별에 기초하여, 신호 지연들이 결정될 수 있다. 예를 들어, 신호들(704a 및 704c)의 서로에 대한 그리고 신호(704b)에 관한 지연이 결정될 수 있다. 결정된 지연에 기초하여, 제1 차량(102a)에 관한 식별된 가장 가까운 차량(예를 들어, 트럭(608c))의 상대 접근 각도가 결정될 수 있다. 유사하게, 다른 근처 차량들에 관한 제1 차량(102a)의 상대 각도도 역시 결정될 수 있다. 가장 가까운 차량의 상대 각도를 결정하는 다른 실시예가 도 4에 설명되어 있다. 한 실시예에 따르면, ECU(108)는, 가장 가까운 식별된 차량(예를 들어, 트럭(608c))의 상대 위치에 대한 빔-형성 기반의 결정을 수행할 수 있다. 빔-형성은, 제1 차량(102a)에 관한 가장 가까운 차량(예를 들어, 트럭(608c))의 결정된 상대 접근 각도를 따라 수행될 수 있다. 예시적인 빔 형성 절차가 도 8과 연계하여 더 설명된다.
도 8은 본 개시내용의 실시예에 따른 제1 차량에 관한 근처 차량의 상대 위치를 확인하기 위해 제1 차량에 의해 수행되는 예시적인 빔 형성 절차를 나타낸다. 도 8은, 도 1, 도 2, 도 6, 및 도 7의 요소들과 연계하여 설명된다. 도 8을 참조하면, 도 6에도 역시 도시된 바와 같이, 제1 차선(602) 및 제2 차선(604)을 포함할 수 있는 도로 부분(606)의 평면도(800)가 도시되어 있다. 또한, 자동차(608a) 및 트레일러(608b)는 제1 차선(602)에서 주행하는 것으로 도시되어 있는 반면, 트럭(608c), 자전거(608d), 제1 차량(102a), 자전거(608e) 및 자동차(608f)는 제2 차선(604)을 종주하는 것으로 도시되어 있다. 도 6과 유사하게, 제1 차선(602)의 차량들은 제2 차선(604)의 차량들에 관하여 반대 방향으로 주행한다.
도 6과 유사하게, 제1 차량(102a)은 2개 이상의 오디오 입력 디바이스(110a 내지 110h)를 포함하는 것으로 도시되어 있다. 도 8에 도시된 바와 같이, 오디오 입력 디바이스들(110e, 110a, 110f)은, 상기 제1 차량(102a)의 후방-우측, 후방-중앙, 후방-좌측에 설치되어 근처 차량들로부터 발산된 사운드 빔들을 포착할 수 있다. 자동차(608a), 트럭(608c) 및 자전거(608d) 등의 근처 차량들은, 오디오 입력 디바이스들(110e, 110a 및 110f)을 향하여 사운드 빔을 발산할 수 있다. 예를 들어, 도 8에 도시된 바와 같이, 자동차(608a), 트럭(608c), 및 자전거(608d)는, 제1 세트의 사운드 빔(610a), 제2 세트의 사운드 빔(610b), 및 제3 세트의 사운드 빔(610c)을 발산할 수 있다. 근처 차량들로부터 포착된 사운드 빔들의 패턴의 분석에 대한 예시적인 실시예가 도 7과 연계하여 설명된다. 포착된 사운드 빔의 패턴의 분석에 기초하여, 도 7과 연계하여 설명되는 바와 같이, 가장 가까운 차량(예를 들어, 트럭(608c)) 및 제1 차량(102a)에 관한 가장 가까운 차량의 상대 접근 각도가 결정될 수 있다.
한 실시예에 따르면, ECU(108)는 가장 가까운 차량(예를 들어, 트럭(608c))의 결정된 상대 접근 각도를 따라 빔 형성을 수행할 수 있다. 빔 형성은, 제1 차량(102a)에 의해, 가장 가까운 차량(예를 들어, 트럭(608c))의 결정된 상대 접근 각도를 향하여 지향 빔(예를 들어, 지향된 사운드 빔 또는 지향된 밀리미터-파 라디오 빔)을 투사함으로써 수행될 수 있다. 제1 차량(102a)의 오디오 입력 디바이스들(110e, 110a, 및 110f)은, 가장 가까운 차량(예를 들어, 트럭(608c))으로부터 되튀어 나오거나 반사되는 빔을 수신할 수 있다. 수신된 빔에 기초하여, ECU(108)는, 제1 차량(102a)으로부터의 가장 가까운 차량(예를 들어, 트럭(608c))의 상대 위치를 결정할 수 있다. 트럭(608c)에 관해 수행된 빔 형성은 도 8에서 광선(802)로 도시되어 있다.
도 9a 및 도 9b는, 본 개시내용의 한 실시예에 따른, 트래픽 영역 내의 제2 차량(102b) 또는 다른 물체의 가상 사운드의 재생을 도시하는 제1 차량(102a) 내부의 2개의 예시적인 평면도를 도시한다. 도 9a 및 도 9b는, 도 1 내지 도 8의 요소들과 연계하여 설명된다. 도 9a를 참조하면, 제1 차량(102a)의 내부의 제1 평면도(900A)는, 제1 음장(902), 운전석(904), 하나 이상의 공동 승객석(906a 내지 906c), 조향 휠(216a), 및 ECU(108)를 포함하는 것으로 도시되어 있다. 또한, 운전자(114)에 대한 제1 세트의 오디오 출력 디바이스(226a 및 226b) 및 제1 차량(102a)의 운전자(114) 및 모든 공동 승객에 대한 제2 세트의 오디오 출력 디바이스(228a 내지 228d)가 추가로 도시되어 있다. 도 9a는 또한, 디스플레이 스크린(210)을 도시한다.
동작시, ECU(108)는, 제1 차량(102a)으로부터의 제2 차량(102b)의 결정된 위치 및 각도에 기초하여, 제1 차량(102a)과 적어도 제2 차량(102b) 사이의 거리를 결정하도록 구성될 수 있다. 거리는, 적어도 제2 차량(102b)을 포함하는 다른 차량들 및 제1 차량(102a)의 트래픽 영역 내의 물체들로부터 발산된 사운드에 대응하는 수신된 사운드 데이터에 기초하여 결정될 수 있다. 제1 차량(102a)과 제2 차량(102b) 사이의 거리의 결정은, 도 4 및 도 5에서 설명된다(수학식 1 참조). 또한, ECU(108)는, 제1 차량(102a) 내의 하나 이상의 사운드 재생 디바이스를 통해, 제2 차량(102b)의 가상 사운드를 차량내 경보로서 생성하기 위해 HRTF를 적용할 수 있다(수학식 2 참조). 가상 사운드는, 후술되는 바와 같이, 제1 차량(102a) 내의 하나 이상의 위치에서 재생되어, 운전자(114) 또는 운전자(114)와 공동 승객(들) 양쪽 모두를 위한 음장을 제어하거나 생성할 수 있다.
한 실시예에 따르면, 제2 세트의 오디오-출력 디바이스들(228a 내지 228d)은, ECU(108)에 의해 생성된 차량내 경보의 가상 사운드 출력을 제1 차량(102a)의 모든 승객에게 재생할 수 있다. 도 9a에 도시된 바와 같이, 제2 세트의 오디오 출력 디바이스들(228a 내지 228d)의 각각의 오디오 출력 디바이스는 제1 음장(902)에 의해 표현된 가상 사운드 출력의 생성에 기여할 수 있다. 제2 세트의 오디오 출력 디바이스들(228a 내지 228d)은 제1 차량(102a)의 4개의 코너에 설치될 수 있다. 예를 들어, 제1 차량(102a)의 후방 코너에 오디오 출력 디바이스들(228a, 228b)이 설치되어 후방 승객석(906b, 906c)에 착석한 승객들을 위해 사운드를 재생할 수 있다. 또한, 오디오 출력 디바이스들(228c, 228d)은 제1 차량(102a)의 전방 코너들에 설치되어 좌석(906a)에 착석한 전방 공동 승객 및 운전석(904)에 착석한 운전자(114)를 위해 사운드를 재생할 수 있다. 따라서, 제2 세트의 오디오 출력 디바이스들(228a 내지 228d)에 의해 생성된 제1 음장(902)은 운전석(904)에 착석한 운전자(114) 및 공동 승객석(906a 내지 906c)에 착석한 공동 승객에게 들릴 수 있다.
한 실시예에 따르면, 차량내 경보는 제1 차량(102a)과 연관된 트래픽 영역의 트래픽 조건에 기초하여 제1 음장(902)을 통해 재생될 수 있다. 예를 들어, 사고 경고의 경우 또는 다른 차량이 제1 차량(102a)을 향해 고속으로 접근하고 있는 경우(또는 미리결정된 근접 거리 내에 있는) 경우, 차량내 경보는 제1 음장(902)을 통해 모든 승객들을 위해 재생될 수 있다. 또한, 차량내 경보는, 야간, 안개 및/또는 러쉬 아워(rush hour) 등의 소정의 운전 조건에서 제1 음장(902)으로서 재생될 수 있다. 정상 운전 조건 동안, 차량내 경보는, 제1 차량(102a) 내의 다른 공동 승객들을 방해하지 않고, 도 9b에서 설명된 바와 같이 운전자(114)에 대해서만 생성될 수 있다.
도 9b를 참조하면, 제1 차량(102a)의 내부의 제2 평면도(900B)는, 제2 음장(908a), 제3 음장(908b), 운전석(904), 하나 이상의 공동 승객(906a 내지 906c), 조향 휠(216a), 및 ECU(108)를 포함하는 것으로 도시되어 있다. 또한, 도 9b는, 제1 세트의 오디오 출력 디바이스(226a 및 226b), 제2 세트의 오디오 출력 디바이스(228a 내지 228d), 및 디스플레이 스크린(210)을 나타낸다.
동작시, 제2 차량(102b)으로부터 발산된 사운드를 나타내는 가상 사운드를 포함할 수 있는 차량내 경보는, 제1 차량(102a)의 운전자(114)에 대해서만 재생되어 운전자(114)를 보조할 수 있다. 제1 차량(102a)의 공동 승객들은 차량내 경보를 제공받지 못하고, 어떠한 사운드도 듣지 못하거나, 제1 차량(102a)의 음악 시스템(또는 인포테인먼트 시스템(208))을 통해 음악을 들을 수 있다. 즉, 공동 승객들은 차량내 경보로 방해받지 않고, 음악을 계속 즐기거나 사운드를 전혀 듣지 못할 것이다. 이것은, 차량들 사이에 충분한 거리가 유지되고, 트래픽 규칙들이 준수되며, 및/또는 현저한 위협이나 장애물이 없는, 정상적인 운전 조건에서의 경우일 것이다.
예를 들어, 제1 세트의 오디오 출력 디바이스들(226a 및 226b)은, 운전석(904)에 착석한 운전자(114)를 향해 지향된 차량내 경보를 재생할 수 있다. 도 9b에 도시된 바와 같이, 제1 세트의 오디오 출력 디바이스들(226a 및 226b) 각각은 운전자(114)를 향해 지향된 제2 음장(908a)의 생성에 기여할 수 있다. 제1 세트의 오디오 출력 디바이스들(226a 및 226b)은, 운전자(114)에게 쌍이성(binaural) 사운드 출력을 제공하기 위해 운전석(904) 상에 또는 그 주변에 설치될 수 있다. 쌍이성 사운드 출력은, 차량내 경보의 가상 사운드 출력을 포함하는 제2 음장(908a)에 대응할 수 있다.
한 실시예에 따르면, 좌석들(906a 내지 906c)에 착석한, 제1 차량(102a)의 하나 이상의 공동 승객은, 제3 음장(908b) 등의, 별개의 사운드 출력을 제공받을 수 있다. 제3 음장(908b)은, 제1 차량(102a)의 음악 시스템 또는 인포테인먼트 시스템(208)의 이용에 의해 하나 이상의 공동 승객을 위해 재생된 음악 트랙 또는 인포테인먼트 채널을 포함할 수 있다. 제2 세트의 오디오 출력 디바이스들(228a 내지 228d) 중 하나 이상의 오디오 출력 디바이스의 이용에 의해 ECU(108)는 제1 차량(102a)의 공동 승객에 대한 제3 음장(908b)을 제어하거나 생성할 수 있다. 예를 들어, 오디오 출력 디바이스들(228a 내지 228c)은 좌석들(906b, 906c, 및 906a)에 각각 착석한 공동 승객들에 대해 제3 음장(908b)을 재생할 수 있다. 대안으로서, 제3 음장(908b)은 재생되지 않을 수도 있고 공동 승객들은 어떠한 사운드도 전혀 들을 수 없다.
한 실시예에 따르면, 제1 차량(102a) 내부에서의 음장의 재생은 ECU(108)에 의한 트래픽 조건의 평가에 기초하여 자동으로 전환될 수 있다. 예를 들어, ECU(108)는, 제1 차량(102a)으로부터의 하나 이상의 다른 차량들의 거리를 계속 결정할 수 있다. 제1 차량(102a)에 접근하는 과속 차량의 검출 등의 트래픽 조건의 변화에 기초하여, ECU(108)는 (도 9a의) 제1 음장(902)의 생성으로 전환할 수 있다. 한 실시예에 따르면, ECU(108)는 또한, (트럭 또는 롱 트레일러 등의) 특정한 타입의 차량이 제1 차량(102a)의 미리결정된 근접 거리 내에 있을 때 제1 음장(902)의 생성으로 전환할 수 있다. 그러나, 정상 운전 조건에서, ECU(108)는, 도 9b의 (공동 승객들에 의해 인포테인먼트 시스템(208)이 이용되는 경우) 제2 음장(908a) 및/또는 제3 음장(908b)을 계속 생성할 수 있다. 한 실시예에 따르면, 차량내 경보를 재생하기 위한 (제1 음장(902) 및 제2 음장(908a)으로부터) 특정한 음장을 생성하는 것에 대한 선호도는, 디스플레이 스크린(210) 등의 인터페이스를 통해 또는 인포테인먼트 시스템(208)을 통해, 제1 차량(102a)의 운전자(114) 및/또는 공동 승객들에 의해 맞춤화될 수 있다.
한 실시예에 따르면, ECU(108)는, 제1 차량(102a)으로부터 미리결정된 근접 거리 내에 있는 다른 차량들의 결정된 거리에 기초하여 차량내 경보를 생성할 수 있다. 생성된 차량내 경보는, 현재 제1 차량(102a)으로부터 미리결정된 근접 거리 내에 있는 특정한 차량으로부터 발산된 사운드를 나타낼 수 있는 가상의 사운드를 포함할 수 있다. 한 실시예에 따르면, 생성된 차량내 경보는 또한, 다른 차량들의 결정된 거리에 기초하여 2개 이상의 가상 사운드 출력들의 조합을 포함할 수 있다. 각각의 이러한 가상 사운드 출력의 재생은 각각의 차량의 타입에 의존할 수 있다. 따라서, 별개의 차량들의 가상 사운드 출력들은, 운전자(114)가 차량의 타입, 근접성 또는 속도를 평가하고 그에 따라 운전할 수 있도록, 운전자(114)에 의해 뚜렷하게 식별가능한 것으로 보일 수 있다. 한 실시예에 따르면, 제1 차량(102a)의 미리결정된 근접 거리 내에 있는 다른 차량들의 표시는 디스플레이 스크린(210)을 통해 디스플레이될 수 있다. 운전자(114) 또는 탑승자 등의 사용자는, 디스플레이 스크린(210)을 통해 디스플레이된 표시에 기초하여 맵상에서 다른 차량들의 움직임을 추적할 수 있다.
한 실시예에 따르면, ECU(108)는, 적어도 제2 차량(102b)을 포함하는 복수의 차량(102) 중의 하나 이상의 다른 차량의 (제1 차량(102a)에 관한) 상대 속도를 결정할 수 있다. 제2 차량(102b) 등의 또 다른 차량의 상대 속도의 결정은 또한, 도 4 및 도 5에서 앞서 설명된 바와 같이, 그 차량으로부터 발산된 포착된 사운드 및 그로부터 결정된 연관된 거리에 기초할 수 있다. 제2 차량(102b) 등의 특정한 다른 차량의 결정된 거리 및/또는 상대 속도에 기초하여, ECU(108)는 오디오 경고를 생성할 수 있다. 오디오 경고는 차량내 경보에 포함될 수 있다. 예를 들어, 제1 차량(102a)으로부터 특정한 거리 내에 있는 또 다른 차량이 특정한 임계 속도를 초과하는 상대 속도로 제1 차량(102a)에 접근할 때, 차량내 경보와 함께 오디오 경고가 생성될 수 있다. 그 다음, 운전자(114)는 과속 차량을 인식할 수 있다. 한 실시예에 따르면, 오디오 경고는 제1 음장(902)을 통해 재생될 수 있다. 이러한 시나리오에서, 차량내 경보는, 제2 음장(908a)으로부터 제1 음장(902)으로, 이미 전환되지 않았다면, 전환될 수 있다. 대안으로서, 오디오 경고는, 차량내 경보의 재생을 위한 제1 음장(902)의 현재 이용과 무관하게, 제2 음장(908a)을 통해 운전자(114)에게만 재생될 수 있다. 따라서, 이 경우, 오디오 경고는, 전적으로 운전자(114)에게만 제공될 수 있다.
한 실시예에 따르면, 제2 차량(102b)으로부터 발산된 사운드는 제1 차량(102a)에서 직접 사운드 빔으로서 포착될 수 있다. 이것은, 제2 차량(102b)이 제1 차량(102a)과 연관된 시선(LOS; line-of-sight) 내에 있을 수 있는 경우일 수 있다. 그러나, 제2 차량(102b)이 제1 차량(102a)의 직접적인 LOS에 있지 않은 경우, 제2 차량(102b)으로부터 발산된 사운드는 제1 차량(102a)에서 간접 또는 반사된(다중 경로) 사운드 빔으로서 포착될 수 있다. ECU(108)는, 전술된 바와 같이, 제2 차량(102b)의 포착된 간접 사운드에 기초하여, TDOA 및/또는 삼각측량 기술의 이용에 의해, 여전히 제1 차량(102a)과 제2 차량(102b) 사이의 거리를 결정할 수 있다. 따라서, 제2 차량(102b)이 직접 눈으로 볼 수 없거나, 제2 차량(102b)이 운전자(114)의 운전 사각 지대에 있을 수 있는 경우에도, 제2 차량(102b)이 검출되고 위치파악될 수 있다. 또한, ECU(108)는 제1 차량(102a)에 관한 제2 차량(102b)의 미리결정된 근접성 및/또는 상대 속도에 기초하여 운전자(114)에 대한 차량내 경보를 생성할 수 있다. 복수의 차량이 제1 차량(102a)의 미리결정된 근접 거리 내에 존재하거나 및/또는 하나 이상의 다른 차량이 높은 상대 속도로 제1 차량(102a)에 접근하는 경우, ECU(108)는 차량내 경보의 일부로서 적절한 가상 사운드 및/또는 경보 메시지를 생성할 수 있다. 가상 사운드 출력들 각각은, 각각의 차량들의 타입, 제1 차량(102a)에 관한 그들의 각각의 거리, 및/또는 상대 속도에 기초하여, 특정의 검출된 차량에 대해 특유할 수 있다. 따라서, 운전자(114)는 현재의 운전 시나리오에서 제1 차량(102a) 주변의 다양한 차량을 명확하게 식별할 수 있고 제1 차량(102a)을 적절히 기동시킬 수 있다.
한 실시예에 따르면, ECU(108)는 또한, 트래픽 관리 및 제어를 위해, 트래픽 모니터링 센터 등의, 제2 위치의 원격 제어 센터에 트래픽 영역의 트래픽 조건의 통계 데이터를 전달하도록 구성될 수 있다. 예를 들어, ECU(108)는, 무선 통신 네트워크(106)를 통해, 클라우드 서버(104)에 실시간 또는 주기적으로 통계 데이터를 전송할 수 있다. 한 실시예에 따라, 클라우드 서버(104)로의 통계 데이터의 전송은, (도 1의) 도로 부분(118)을 따라 설치된 RSU(120)를 통해 이루어질 수 있다. 대안으로서, ECU(108)는 클라우드 서버(104)에 직접 통계 데이터를 전송할 수 있다.
실시예에 따라, 클라우드 서버(104)는, 복수의 차량(102)으로부터 수신된 통계 데이터를 편집하고 소정 기간에 걸친 트래픽 영역에서의 트래픽 조건과 연관된 경향을 분석하도록 구성될 수 있다. 또한, 편집된 데이터는 주로 대중의 운전 행동 및 사고의 분석에 이용될 수 있다. ECU(108)는 또한, 운전자(114) 등의 제1 차량(102a)의 사용자의 전자 디바이스에 통계 데이터를 전송할 수 있다. 전자 디바이스의 예는, 스마트폰, 랩탑, 개인용 컴퓨터, 태블릿 컴퓨터, 착용형 디바이스, 및/또는 차량 네트워크에 접속될 수 있는 사물 인터넷(IoT) 디바이스를 포함할 수 있지만, 이것으로 제한되지 않는다. 통계 데이터의 예는, 제1 차량(102a)으로부터의 제2 차량(102b)의 거리, 제1 차량(102a)에 관한 제2 차량(102b)의 상대 속도, 및/또는 제2 차량(102b)의 타입을 포함할 수 있지만, 이것으로 제한되지 않는다. 통계 데이터는, 제1 차량(102a)으로부터 미리결정된 거리(또는 미리 결정된 근접 거리) 내의 하나 이상의 다른 차량의 카운트, 및 생성된 차량내 경보를 더 포함할 수 있다.
한 실시예에 따르면, 클라우드 서버(104)는, 다른 비-수송 구현을 위해 제1 차량(102a)의 ECU(108)로부터 수신된, 트래픽 조건과 관련된, 통계 데이터를 이용할 수 있다. 예를 들어, 복수의 차량(102)을 포함하는 복수의 차량은, 제1 차량(102a)과 유사한 방식으로 ECU(108)를 구현할 수 있다. 클라우드 서버(104)는, 소정 기간 동안 (예를 들어, 복수의 차량(102) 등의) 복수의 차량으로부터 이러한 트래픽 조건 관련 통계 데이터를 수신할 수 있다. 클라우드 서버(104)는 또한, 미리정의된 기간 동안 (복수의 차량(102) 등의) 복수의 차량에 의해 생성된 대응하는 가상 사운드 출력을 수신할 수 있다. 클라우드 서버(104)는, 트래픽 조건 및 수신된 대응하는 가상 사운드 출력에 관련된 수신된 통계 데이터를 이용하여 특정한 도로 부분 및 (복수의 차량(102) 등의) 차량 세트와 연관된 메타 데이터를 생성할 수 있다. 한 실시예에 따르면, 클라우드 서버(104)는, 가상 현실, 증강 현실, 게임, 운전자 훈련, 자율 차량의 제어, 및/또는 자율 차량의 훈련에 이용된 머신 학습 알고리즘의 훈련 또는 향상 등의, 다양한 응용 시나리오에서 생성된 메타 데이터를 이용할 수 있다.
한 실시예에 따르면, ECU(108)는 또한, 디스플레이 스크린(210)을 통해, 제1 차량(102a)의 트래픽 영역 내의 제2 차량(102b) 및/또는 하나 이상의 물체의 표현을 디스플레이하도록 구성될 수 있다. 디스플레이 스크린(210)은 제1 차량(102a)의 인포테인먼트 시스템(208)과 연관될 수 있다. 디스플레이 스크린(210)은 또한, 무선 통신 시스템(206)을 통해, 클라우드 서버(104)에 역시 전송될 수 있는, 제1 차량(102a) 부근의 트래픽 조건의 통계 데이터를 디스플레이할 수 있다. 예를 들어, 디스플레이 스크린(210)은, 트래픽 영역과 연관된 맵 상에 제2 차량(102b), 하나 이상의 물체, 및/또는 통계 데이터를 표현하는 가상 물체를 나타낼 수 있다.
한 실시예에 따르면, 촬영 디바이스(112a 내지 112b)는 제2 차량(102b) 및 하나 이상의 물체의 하나 이상의 영상을 포착할 수 있다. 디스플레이 스크린(210) 상의 가상 물체들의 디스플레이는, 하나 이상의 영상으로부터의 하나 이상의 물체 및 제1 차량(102a)으로부터의 결정된 거리의 인식에 기초하여 제어될 수 있다. 물체 타입의 식별, 및 제1 차량(102a)으로부터의 위치, 크기, 거리 등의 연관된 정보에 기초하여, ECU(108)는 운전자(114)가 도로 부분(306) 상에서 정확하게 주행하는 것을 도울 수 있는 오디오 및/또는 시각 정보를 생성할 수 있다.
도 10은 본 개시내용의 한 실시예에 따른 트래픽 사운드 데이터를 처리하여 차량내 운전자 보조를 제공하는 제1 예시적인 트래픽 시나리오를 나타낸다. 도 10은, 도 1 내지 도 8, 도 9a 및 도 9b의 요소들을 참조하여 설명된다. 도 10을 참조하면, 제1 예시적인 트래픽 시나리오(1000)의 평면도가 도시되어 있다. 제1 예시적인 트래픽 시나리오(1000)는, 도로 부분(1012)에서 제1 차선(1002) 및 제2 차선(1004)을 포함할 수 있다. 제1 예시적인 트래픽 시나리오(1000)는, 도로 부분(1012)을 따라 제1 차선(1002) 또는 제2 차선(1004) 상에서 주행하는 차량을 더 포함한다. 제1 차선(1002)의 차량은, (제1 자동차 등의) 제1 차량(102a), 제2 자동차(1006a), 제3 자동차(1006b), 제4 자동차(1006c), 및 제5 자동차(1006d)를 포함한다. 또한, 제2 차선(1004)의 차량들은, 제6 자동차(1006e), 트럭(1008) 및 트레일러(1010)를 포함한다. 제1 차량(102a)을 포함한 모든 차량은, 제1 차선(1002) 및 제2 차선(1004) 상에서, 화살표로 표시된 전방향으로 이동하는 것으로 도시되어 있다.
도 10에서, 제1 차량(102a), 자동차(1006a 내지 1006e), 트럭(1008) 및 트레일러(1010) 등의 모든 차량은, 차선을 변경하지 않고 그들 각각의 차선에서 이동하는 것으로 도시되어 있다. 제1 차량(102a)은, (제3 자동차(1006b)에 관한 제1 차량(102a)의 상대 속도에 기초하여) 제4 자동차(1006c) 및 제3 자동차(1006b) 등의 다른 차량을 추월하는 것으로 도시되어 있다. 또한, 트럭(1008)과 트레일러(1010)는 제1 차선(1002)에서 주행하는 제1 차량(102a)과는 상이한 차선, 즉, 제2 차선(1004)에서 주행하는 것으로 도시되어 있다. 더욱이, 트럭(1008) 및 트레일러(1010) 양쪽 모두는 제1 차량(102a)으로부터 안전한 거리에 있을 수 있다. 따라서, 제1 차량(102a)은 현재 시나리오에서 운전 규칙을 따르고 있을 수 있다는 것이 명백할 수 있다. 나아가, 운전 조건도 역시 제1 예시적인 트래픽 시나리오(1000)에서 정상적일 수 있다.
동작시에, ECU(108)는, 다른 차량들로부터 발산된 사운드의 포착에 기초하여, 도로 부분(1012)을 따라 주행하는 다른 차량들에 관한 제1 차량(102a)의 거리 및 상대 속도를 결정할 수 있다. 거리(및/또는 상대 속도)에 기초하여, ECU(108)는, 전술된 바와 같이, 현재의 트래픽 조건을 정상 운전 조건으로서 결정할 수 있다. 따라서, 차량내 경보는 제1 세트의 오디오 출력 디바이스(226a 및 226b)에 의해 제2 음장(908a)에서 재생될 수 있음으로써, 차량내 경보를 제1 차량(102a)의 운전자(114)에게만 제공한다. 한 실시예에 따르면, ECU(108)는 정상 운전 조건에서 및/또는 트래픽 규칙이 지켜질 때 차량내 경보에서 (음악 트랙 또는 미리 정의된 곡 등의) 유쾌한 사운드를 연속적으로 생성할 수 있다. 또한, 디스플레이 스크린(210)은, 제2 자동차(1006a), 제3 자동차(1006b) 및 제4 자동차(1006c)의 가상 표현을 디스플레이할 수 있는데, 이것은 이들이 제1 차량(102a)으로부터의 미리결정된 거리 내에 있을 수 있는 차량들에 대응하기 때문이다. ECU(108)가 차량의 포착된 영상에 기초하여 특정한 차량을 식별할 수 있을 때, ECU(108)는 인포테인먼트 시스템(208)을 이용하여 디스플레이 스크린(210)상의 맵 상에 차량의 그 포착된 영상을 디스플레이할 수 있다.
도 11은 본 개시내용의 한 실시예에 따른 트래픽 사운드 데이터를 처리하여 차량내 운전자 보조를 제공하는 제2 예시적인 트래픽 시나리오를 나타낸다. 도 11은, 도 1 내지 도 8, 도 9a, 도 9b, 및 도 10의 요소들을 참조하여 설명된다. 도 11을 참조하면, 제2 예시적인 트래픽 시나리오(1100)의 평면도가 도시되어 있다. 제2 예시적인 트래픽 시나리오(1100)는, 도로 부분(1106)의 제1 차선(1102) 및 제2 차선(1104)을 포함할 수 있다. 제2 예시적인 트래픽 시나리오(1100)는, 도로 부분(1106)을 따라 제1 차선(1102) 또는 제2 차선(1104) 상에서 주행하는 차량을 더 포함한다. 제1 차선(1102)의 차량은, 제2 자동차(1006a), 제3 자동차(1006b), 제4 자동차(1006c), 제5 자동차(1006d), 및 제6 자동차(1006e)를 포함할 수 있다. 또한, 제2 차선(1104)의 차량은, (제1 자동차 등의) 제1 차량(102a), 제7 자동차(1006f), 제8 자동차(1006g), 및 제9 자동차(1006h)를 포함할 수 있다.
자동차(1006a 내지 1006h) 등의 제1 차량(102a)을 제외한 모든 차량은, 도로 부분(1106) 상의 그들 각각의 차선에서, 전방향으로 이동하는 것으로 도시되어 있다. 반면에, 제1 차량(102a)은, 도 11에 점선 화살표로 도시된 바와 같이, 자신의 차선을 제2 차선(1104)으로부터 제1 차선(1102) 쪽으로 변경하는 것으로 도시되어 있다. 제2 예시적인 트래픽 시나리오(1100)로부터 명백한 바와 같이, 제1 차선(1102) 및 제2 차선(1104) 양쪽 모두는 차량들로 혼잡할 수 있다. 따라서, 이러한 트래픽 조건에서 다른 차량을 추월하는 것은 안전 운전을 위해 권장되지 않을 수 있다. 또한, 도로 부분(1106)을 따라 주행하는 다른 차량들과 제1 차량(102a) 사이에 안전한 거리가 유지될 것이 요구될 수 있다.
동작시, ECU(108)는, 차량내 네트워크(222)로부터 추출된 차량내 데이터 또는 촬영 디바이스(112a 내지 112b) 중 하나 이상에 의해 포착된 하나 이상의 영상에 기초하여 제1 차량(102a)이 차선을 변경하고 있다는 것을 검출할 수 있다. 제1 차량(102a)의 오디오 입력 디바이스(110a 내지 110h)는 도로 부분(1106) 내의 다양한 차량으로부터 발산된 사운드를 포착할 수 있다. 수신된 사운드 데이터에 기초하여, ECU(108)는 제1 차량(102a)이 제1 차량(102a)이 추월할 수 있는(또는 추월했을 수 있는) 하나 이상의 다른 차량에 매우 근접하게 위치해 있을 수 있다고 결정할 수 있다. 또한, ECU(108)는, 제1 차량(102a)이, 트래픽 규칙에 위배될 수 있는, "잘못된 측"으로부터 다른 차량을 추월하고 있는지를 결정할 수 있다. 예를 들어, 제7 자동차(1006f)는 제1 차량(102a)에 매우 근접해 위치해 있을 수 있다. 제1 차량(102a)은, 좌측 등의 "잘못된 측"으로부터 제7 자동차(1006f)를 추월했을 수 있다. 또한, 제1 차량(102a)은, 도 11에 도시된 바와 같이, 자신의 차선을 제2 차선(1104)으로부터 제1 차선(1102)으로 변경하기 시작할 수 있다.
ECU(108)는, 도 9b에서 논의된 것과 유사한 방식으로, 제7 자동차(1006f)에 대한 근접성과 연관된 오디오 경고를 생성시킬 수 있다. 오디오 경고는, 제1 차량(102a)의 운전자에 의한 잘못된 추월 및/또는 차선 변경을 나타낼 수 있다. 또한, ECU(108)가 제1 차량(102a)에 관한 제3 자동차(1000b) 및 제8 자동차(1000g)의 상대 속도가 미리결정된 임계값 미만이라고 검출하면, ECU(108)는 차선 변경이 트래픽 방해를 야기할 수 있다고 결정할 수 있다. 따라서, ECU(108)는 차선 변경으로 인한 잠재적인 트래픽 방해 상황을 나타내는 오디오 경고를 다시 생성할 수 있다. 한 실시예에 따르면, 오디오 경고는, 전적으로 제1 차량(102a)의 운전자(114)를 향하는 제2 음장(908a)에서 재생될 수 있다. 오디오 경고는 차량내 경보에 포함될 수 있다. 한 실시예에 따르면, 오디오 경고는 제1 차량(102a)의 운전자에 의한 트래픽 조건 및/또는 올바르지 않은 운전을 나타내는 기록된 메시지를 포함할 수 있다. 오디오 경고는 또한, 운전자(114)에 의한 즉각적인 조치를 위한 주의를 끌 수 있는 경보, 후트(hoot), 경적(horn), 차임(chime), 또는 벨 등의 불쾌한 사운드를 포함할 수 있다. 운전자(114)가 제1 차량(102a)의 주행 경로를 수정할 때까지 차량내 경보와 함께 오디오 경고가 계속해서 재생될 수 있다.
한 실시예에 따르면, ECU(108)는, 도로 부분(1106) 상의 제1 차량(102a) 부근의 다른 차량의 거리 및/또는 상대 속도의 결정에 기초하여, 도로 부분(1106)의 현재 트래픽 조건을 평가할 수 있다. 현재의 트래픽 조건에 기초하여, ECU(108)는 제1 차량(102a)이 차선을 변경하거나 다른 차량을 추월해야하는지의 여부를 결정할 수 있다. 예를 들어, 혼잡한(또는 밀도가 높은) 트래픽 조건의 경우, ECU(108)는 제1 차량(102a)이 차선을 변경하거나 다른 차량을 추월해서는 안된다고 결정할 수 있다. 또한, ECU(108)는, 강우, 약한 빛, 야간 시간, 눈, 안개, 먼지/우박 폭풍, 또는 (러시 아워 또는 보행자 달림 등으로 인한) 트래픽 혼잡 등의 도로 부분(1106)와 연관된 다양한 나쁜 운전 조건을 평가할 수 있다.
한 실시예에 따르면, ECU(108)는, 인포테인먼트 시스템(208)으로부터 도로 부분(1106) 주변의 장소와 연관된 날씨 및 운전 조건과 연관된 정보를 수신할 수 있다. 인포테인먼트 시스템(208)은, 무선 통신 네트워크(106)를 통해, 도로 부분(1106)를 따라 위치될 수 있는 (RSU(120) 등의) RSU들 중 하나를 통해 클라우드 서버(104)로부터 전술된 정보를 수신할 수 있다. 대안으로서, ECU(108)는 이 정보를 클라우드 서버(104)로부터 직접 수신할 수 있다. 수신된 날씨 및 운전 조건 정보에 기초하여, ECU(108)는, 현재의 운전 조건이 상기 열거된 나쁜 운전 조건에 대응하는지를 평가할 수 있다. 한 실시예에 따르면, 날씨 조건은 또한, 제1 차량(102a) 내의 촬영 디바이스들(112a 내지 112b) 중 하나 이상에 의해 포착된 영상을 이용함으로써 분석될 수 있다. 결정된 날씨 조건에 기초하여, ECU(108)는 운전자(114)에 대한 제1 세트의 오디오 출력 디바이스(226a 및 226b)에 의해 재생될 수 있는 별개의 가상 사운드를 생성할 수 있다. 운전자(114)는 제1 차량(102a)의 속도를 감소하거나 다른 적절한 동작을 취하도록 명령받을 수 있다. 대안으로서, 날씨 조건에 관련된 별개의 가상 사운드는 제1 차량(102a)의 모든 승객에 대해 제2 세트의 오디오 출력 디바이스(228a 내지 228d)에 의해 재생될 수 있다.
예를 들어, ECU(108)는, 나쁜 운전 조건의 경우에, 제1 음장(902a)을 통해 제1 차량의 모든 승객에 대해 재생될 수 있는 차량내 경보를 생성할 수 있다. 차량내 경보는 추월 및 차선 변경을 피하라는 명령을 포함할 수 있다. 또한, 차량내 경보는 도로 부분(1106) 상에서 주행하는 다른 차량들로부터 안전 거리가 유지될 수 있도록 제1 차량(102a)의 속도 감소를 지시할 수 있는 또 다른 명령을 포함할 수 있다. 차량내 경보와는 별도로, ECU(108)는 또한, 차량내 경보에 관련된 메시지를 디스플레이 스크린(210)을 통해 디스플레이할 수 있다. 메시지는, 평가된 나쁜 운전 조건의 표시에 추가하여, 클라우드 서버(104)로부터 수신된 날씨 및 운전 조건 정보를 포함할 수 있다. 이들 메시지는 제1 차량(102a)의 인포테인먼트 시스템(208)을 통해 디스플레이될 수 있다. (스마트 폰 또는 착용형 디바이스 등의) 전자 디바이스가 인포테인먼트 시스템(208)에 통신가능하게 결합되는 경우에, 메시지는 제1 차량(102a)의 사용자의 전자 디바이스 상에 디스플레이될 수도 있다.
한 실시예에 따르면, 촬영 디바이스(112a 내지 112b)는 ECU(108)에 의한 명령 또는 특별한 버턴의 누름에 기초하여 활성화될 수 있다. 한 실시예에 따르면, 차량이 후방, 측면 또는 정면으로부터 제1 차량(102a)과 부딪히면, 운전자(114)가 즉시 행동을 취하도록 가상의 별개의 사운드가 즉각적으로 생성될 수 있다. 촬영 디바이스들(112a 내지 112b)은, 번호판, 운전자 사진, 및/또는 공동 승객 사진 등의 충돌 차량에 관련된 특정한 상세사항을 포착하기 위해 다양한 각도 또는 적절한 측면으로부터 영상을 포착할 수 있다. 특정한 상세사항에 관련된 이 정보는 자동차 보험 회사가 보험 청구를 확인하기 위해 또는 필요에 따라 법 집행 기관에 의해 이용될 수 있다.
도 12는 본 개시내용의 한 실시예에 따른 트래픽 사운드 데이터를 처리하여 차량내 운전자 보조를 제공하는 제3 예시적인 트래픽 시나리오를 나타낸다. 도 12는, 도 1 내지 도 8, 도 9a, 도 9b, 도 10, 및 도 11의 요소들을 참조하여 설명된다. 도 12를 참조하면, 제3 예시적인 트래픽 시나리오(1200)의 평면도가 도시되어 있다. 제3 예시적인 트래픽 시나리오(1200)는, 도로 부분(1206)의 제1 차선(1202) 및 제2 차선(1204)을 포함할 수 있다. 제3 예시적인 트래픽 시나리오(1200)는, 도로 부분(1206)을 따라 제1 차선(1202) 또는 제2 차선(1204) 상에서 주행하는 차량을 더 포함한다. 제1 차선(1202) 내의 차량들은, 제2 자동차(1006a), 제4 자동차(1006c) 및 제5 자동차(1006d)를 포함한다. 또한, 제2 차선(1204) 내의 차량들은, (제1 자동차 등의) 제1 차량(102a), 제3 자동차(1006b), 제6 자동차(1006e), 및 트럭(1008)을 포함한다.
도 12에서, 자동차(1006a 내지 1006e) 및 트럭(1008) 등의, 제1 차량(102a)을 제외한 모든 차량들은 차선을 변경하지 않고 그들 각각의 차선에서 이동하는 것으로 도시되어 있다. 제1 차량(102a)은 제2 차선(1204)으로부터 제1 차선(1202)으로의 그 차선을 변경하는 것으로 도시되어 있다. 제3 예시적인 트래픽 시나리오(1200)로부터, 현재 트래픽 조건이 보통의 트래픽 레벨에 대응할 수 있다는 것이 명백할 수 있다. 제1 차량(102a)과 도로 부분(1206)를 따라 주행하는 다른 차량들 사이에는 안전한 주행 거리가 유지될 수 있다. 또한, 도로 부분(1206) 상의 제1 차량(102a)의 전방에 있는, 제2 자동차(1006a)와 제3 자동차(1006b) 사이의 갭은 제1 차량(102a)을 수용하기에 충분할 수 있다. 따라서, 일단 제1 차량(102a)이 그 차선을 제1 차선(1202)으로 변경하고 나면, 제1 차량(102a)은 제2 자동차(1006a)와 제3 자동차(1006b) 사이에서 안전하게 기동될 수 있다. 따라서, 제1 예시적인 트래픽 시나리오(1000)와 유사하게, 제1 차량(102a)이, 이 경우, 운전 규칙을 따르고 있다는 것이 명백할 수 있다. 나아가, 운전 또는 기상 조건도 역시 현재 시나리오에서 정상적일 수 있다.
동작시, ECU(108)는, 도 4, 도 5, 도 6, 도 7, 및 도 8에서 전술된 바와 같이, 도로 부분(1206) 상의 제1 차량(102a) 부근의 다른 차량들의 거리 및/또는 상대 속도를 결정할 수 있다. ECU(108)는 제1 차량(102a)의 운전자(114)에 대한 차량내 경보를 생성할 수 있다. 차량내 경보는, 전적으로 제1 차량(102a)의 운전자(114)에게만 차량내 경보와 연관된 오디오를 제공하기 위해 제1 세트의 오디오 출력 디바이스(226a 및 226b)에 의해 제2 음장(908a)에서 재생될 수 있다. 또한, 디스플레이 스크린(210)은 제2 자동차(1006a) 및 제3 자동차(1006b)의 가상 표현을 디스플레이할 수 있는데, 이것은 이들이 제1 차량(102a)으로부터 미리결정된 거리 내에 있을 수 있는 차량들에 대응할 수 있기 때문이다. 또한, 디스플레이 스크린(210)은, 차선 변경을 추천하고 (제2 자동차(1006a) 및 제3 자동차(1006b) 등의) 근처 차량으로부터 특정한 속도 및 거리를 유지하도록 운전자를 안내할 수 있는 메시지를 디스플레이할 수 있다.
한 실시예에 따르면, ECU(108)는 제1 차량(102a)에서 생성된 차량내 경보 및/또는 오디오 경고를 제1 차량(102a)에 대해 미리 결정된 근접 거리 내에 있을 수 있는 하나 이상의 다른 차량에 전송하도록 구성될 수 있다. 전송은 V2V 네트워킹 인프라스트럭쳐를 통해 이루어질 수 있다. 대안으로서, 전송은 도로 부분(1206) 상에 설치된 (도 12에 도시되지 않은) RSU들 중 하나를 이용하여 무선 통신 네트워크(106)를 통해 이루어질 수 있다. 한 실시예에 따르면, 제1 차량(102a)에서 생성된 차량내 경보 및/또는 오디오 경고는, ECU(108)에 의해 제1 차량(102a)의 미리결정된 근접 거리 내의 차량을 향한 지향성 사운드 빔으로서 발산될 수 있다. 또한, 제1 차량(102a)의 운전자(114)가 추월하거나 차선을 변경하기로 결정한 경우, 적절한 오디오 메시지가 V2V 통신을 통해 원하는 차량에 전송되거나, 지향된 사운드 빔이 추월 또는 차선 변경의 표시로서 원하는 차량에 발사될 수 있다.
한 실시예에 따르면, 제1 차량(102a)은, 자율 차량, 반자율 차량, 또는 비-자율 차량에 대응할 수 있다. 제1 차량(102a)이, 자동 모드에서 운전되는, 자율 또는 반자율 차량인 경우, ECU(108)는 다른 차량들과 제1 차량(102a) 사이의 거리 및 상대 속도를 모니터링할 수 있다. 다른 차량들의 거리 및 상대 속도는, 2개 이상의 오디오 입력 디바이스(110a 내지 110d)에 의해 포착된, (자동차(1006a 내지 1006e) 및 트럭(1008) 등의) 이들 차량으로부터 발산된 사운드에 기초하여 결정될 수 있다. 거리 및 상대 속도의 결정은, 도 4, 도 5, 도 6, 도 7, 및 도 8에서 설명된다. 거리(및/또는 상대 속도)에 기초하여, ECU(108)는 도로 부분(1206) 상의 제1 차량(102a)의 자율 구동을 제어할 수 있다. 따라서, ECU(108)는, 조향 시스템(216) 및/또는 제동 시스템(218)을 포함하는 동력 전달 제어 시스템(214)에 명령을 내려 도로 부분(1206)을 따른 제1 차량(102a)의 조향 방향 및/또는 속도를 제어할 수 있다. 명령들은 차량내 네트워크(222)를 통해 내려질 수 있다. 나아가, ECU(108)는 또한, (도 4, 도 5, 도 6, 도 7, 및 도 8에서 설명된 바와 같이) 사운드 데이터가 수신되고 처리될 때, 결정된 거리 및/또는 상대 속도에 기초하여, 차선 변경 명령 또는 추월 명령을 나타내는 명령을 내릴 수 있다. 내려진 명령은 또한 차량내 네트워크(222)를 통해 동력전달 제어 시스템(214)에 전송될 수 있다. 제1 차량(102a)이 비-자율 차량인 경우, ECU(108)는, 전술된 바와 같이, 디스플레이 스크린(210), 인포테인먼트 시스템(208), 및/또는 차량내 경보를 통해, 운전자(114)에게 명령을 제공할 수 있다.
도 13은 본 개시내용의 한 실시예에 따른 트래픽 사운드 데이터를 처리하여 차량내 운전자 보조를 제공하기 위한 제4 예시적인 트래픽 시나리오의 평면도를 나타낸다. 도 13은, 도 2, 도 9a, 및 도 9b로부터의 요소들을 참조하여 설명된다. 도 13을 참조하면, 제4 예시적인 트래픽 시나리오(1300)의 평면도가 도시되어 있다. 제4 예시적인 트래픽 시나리오(1300)는 도로 부분(1306)의 제1 차선(1302) 및 제2 차선(1304)을 포함할 수 있다. 제4 예시적인 트래픽 시나리오(1300)는 도로 부분(1306)을 따라 제1 차선(1302) 또는 제2 차선(1304) 상에서 주행하는 차량을 더 포함한다. 제1 차선(1302) 내의 차량들은, (제1 자동차 등의) 제1 차량(102a), 제2 자동차(1006a), 및 제3 자동차(1006b)를 포함한다. 또한, 제2 차선(1304) 내의 차량들은, 제4 자동차(1006c), 제5 자동차(1006d), 트럭(1008), 및 트레일러(1010)를 포함한다. 제4 예시적인 트래픽 시나리오(1300)는 또한, 도 13에서 점선 화살표로 나타낸 바와 같이, 제1 차선(1302)으로부터 제2 차선(1304)을 향해 도로 부분(1306)를 횡단할 수 있는 (보행자(1308) 등의) 사람을 나타낸다.
동작시, 제1 차량(102a)의 (도 1의; 도 13에는 도시되지 않은) 촬영 디바이스들(112a 내지 112b)은 제1 차량(102a)의 주행 경로에 존재하는 하나 이상의 물체의 하나 이상의 영상을 포착할 수 있다. ECU(108)는 하나 이상의 포착된 영상의 분석에 기초하여 하나 이상의 물체를 검출하고 인식할 수 있다. 이 목적을 위해, ECU(108)는 하나 이상의 영상을 메모리(204)에 저장된 다양한 타입의 물체와 연관된 하나 이상의 미리저장된 템플릿 영상과 비교할 수 있다. 예를 들어, 사람(예를 들어, 보행자(1308)) 또는 동물 등의 하나 이상의 물체가 하나 이상의 영상에서 운전자(114)의 주행 경로에 접근하는 것이 검출되고 인식될 수 있다. 하나 이상의 물체의 다른 예는, 경로 상의 바리케이드, 도로-블록, 돌, 정지되어 있거나 주차된 차량, 및/또는 속도 차단기를 포함한 그러나 이것으로 제한되지 않는 정지된 물체 또는 무생물을 포함할 수 있다.
한 실시예에 따르면, ECU(108)는, 제1 차량(102a)으로부터의 미리지정된 거리 내에서 주행 경로 내의 하나 이상의 물체의 존재를 나타내는 제2 오디오 출력을 생성할 수 있다. 제2 오디오 출력은 차량내 경보에 경보 메시지로서 포함될 수 있다. 한 실시예에 따르면, 제2 오디오 출력은, 인식된 물체를 뚜렷하게 나타내며 제1 차량(102a)의 운전자(114)에 대한 경고로서 작용할 수 있는 가상의 사운드에 대응할 수 있다. 한 실시예에 따르면, 하나 이상의 인식된 물체를 나타내는 가상 사운드는 다양한 타입의 물체와 연관된 미리저장된 오디오 트랙에 기초하여 생성될 수 있다. 가상 사운드의 진폭, 피치 및 주파수는, 제1 차량(102a)으로부터의 하나 이상의 물체의 거리 및 제1 차량(102a)의 현재 속도에 기초할 수 있다. 예를 들어, 보행자(1308)의 경우에, ECU(108)는 인간으로서 식별된 물체를 나타내는 가상 사운드를 제2 오디오 출력으로서 생성할 수 있다. 따라서, 운전자(114)는 제1 차량(102a)의 속도를 감소시키거나 및/또는 제1 차량(102a)의 운전 코스를 변경할 수 있다. 한 실시예에 따르면, 제1 세트의 오디오 출력 디바이스(226a 및 226b)는 제1 차량(102a)의 운전자를 위한 제2 오디오 출력을 재생할 수 있다. 제2 오디오 출력은 제2 음장(608a)(도 6b)에서 전적으로 운전자(114)를 향해 지향될 수 있다. 대안으로서, 제2 세트의 오디오 출력 디바이스(228a 내지 228d)는 제1 음장(902)을 통해 제2 오디오 출력을 재생하여, 보행자(1308)의 근접성 등의, 위협의 정도에 따라, 제1 차량(102a)의 모든 승객에게 경보할 수 있다.
한 실시예에 따르면, ECU(108)는 또한, 제1 차량(102a)에 근접한 또 다른 차량의 상대 속도가 미리결정된 임계 속도를 초과하는 경우에 제2 오디오 출력을 생성할 수 있다. ECU(108)는, 이러한 다른 차량으로부터 포착된 오디오 및 영상을 이용하여 다른 차량을 검출하고 제1 차량(102a)에 관한 검출된 차량의 상대 속도를 결정할 수 있다. 예를 들어, 도 13의 예시적인 시나리오에 도시된 바와 같이, 제3 자동차(1006b) 및 제4 자동차(1006c)는 제1 차량(102a)의 미리결정된 근접 거리 내에 위치할 수 있다. ECU(108)는, 이들 2개의 차량으로부터 포착된 오디오 및 영상에 기초하여 제3 자동차(1006) 및 제4 자동차(1006c)의 움직임을 추적할 수 있다. 제3 자동차(1006b)가 제1 차량(102a)보다 시간당 30km 빠른 것으로 검출된다면, ECU(108)는 과속중인 제3 차량(1006b)을 나타내는 제2 오디오 출력을 생성할 수 있는 등이다(시간당 25km로서의 미리결정된 임계 속도를 고려함).
도 14a 및 14b는, 집합적으로, 본 개시내용의 실시예에 따른, 트래픽 사운드 데이터를 처리하여 차량내 운전자 보조를 제공하는 예시적인 방법을 나타내는 플로차트를 도시한다. 도 14a 및 도 14b를 참조하면, 플로차트(1400)가 도시되어 있다. 플로차트(1400)는, 도 1 내지 도 8, 도 9a, 도 9b, 및 도 10 내지 도 13과 연계하여 설명된다. 이 방법은 ECU(108)에서 구현될 수 있다. 이 방법은 단계 1402에서 시작한다. 단계 1402로부터 분기하여, 방법의 플로차트(1400)는, 서로 병렬로 수행될 수 있거나, 서로에 관해 임의의 순서로 수행될 수 있는 2개 시퀀스의 단계들을 포함할 수 있다. 단계들의 제1 시퀀스는 단계들 1404a 내지 1420a을 포함하는 반면, 단계들의 제2 시퀀스는 단계들 1404b 내지 1414b을 포함한다. 전술된 단계들의 2개의 시퀀스는, 도 14b에 도시된 바와 같이, 플로차트(1400)의 단계 1422에서 병합될 수 있다.
단계들의 제1 시퀀스, 즉, 단계들 1404a 내지 1420a이 먼저 설명된다. 단계 1404a에서, 2개 이상의 오디오 입력 디바이스들(110)에 의해 포착된 사운드 데이터가 수신될 수 있다. 수신된 사운드 데이터는 복수의 차량(102) 중 하나 이상의 다른 차량으로부터 발산된 사운드에 대응할 수 있다. 발산된 사운드는 2개 이상의 오디오 입력 디바이스(110)에 의해 포착될 수 있다. ECU(108)는 2개 이상의 오디오 입력 디바이스(110a 내지 110h)와 연관하여 하나 이상의 사운드 필터의 이용에 의해 포착된 사운드를 처리하여 노이즈를 제거할 수 있다. 그 후, 2개 이상의 오디오 입력 디바이스(110a 내지 110h)는, 차량내 네트워크(222)를 통해 ECU(108)에 전송될 수 있는 하나 이상의 다른 차량에 의해 발산된 포착된 사운드와 연관된 사운드 데이터를 생성할 수 있다. 하나 이상의 다른 차량들로부터 발산된 사운드 포착의 예시적인 시나리오가 도 3 및 도 6에서 설명되었다.
단계 1406a에서, 제1 차량(102a)으로부터 제2 차량(102b)의 위치, 거리, 및/또는 각도는 수신된 사운드 데이터에 기초하여 결정될 수 있다. 한 실시예에 따르면, ECU(108)는, 도 4, 도 5, 도 6, 도 7, 및 도 8에서 설명된 바와 같이 제1 차량(102a)에 관한 제2 차량(102b)의 위치, 거리, 및/또는 각도를 결정하도록 구성될 수 있다.
단계 1408a에서, HRTF가 적용되어 결정된 거리 및/또는 각도에 기초하여 제2 차량(102b)의 가상 사운드를 생성할 수 있다. 한 실시예에 따르면, ECU(108)는 HRTF를 적용하여, 도 5에서 설명된 바와 같이, 수학식 2에 기초하여, 제2 차량(102b)의 가상 사운드를 생성하도록 구성될 수 있다.
단계 1410a에서, 제2 차량(102b)의 차량 타입은 미리저장된 오디오 서명에 기초하여 결정될 수 있다. 한 실시예에 따르면, ECU(108)는 제2 차량(102b)의 차량 타입을 결정하도록 구성될 수 있다. 차량 타입을 결정하기 위해, ECU(108)는 제2 차량(102b)으로부터 포착된 사운드와 연관된 사운드 데이터에 하나 이상의 사운드 필터를 적용할 수 있다. 하나 이상의 사운드 필터의 적용에 기초하여, ECU(108)는 제2 차량(102b)의 오디오 서명을 결정할 수 있다. ECU(108)는 메모리(204)로부터 다양한 차량 타입들과 연관된 미리저장된 오디오 서명들을 추출할 수 있고, 추출된 오디오 서명들을 결정된 오디오 서명과 비교하여 제2 차량(102b)의 차량 타입을 확인할 수 있다.
단계 1412a에서, 차량내 경보는 제1 차량(102a)으로부터의 제2 차량(102b)의 결정된 거리에 기초하여 생성될 수 있다. 차량내 경보는 제2 차량(102b)으로부터 발산된 사운드를 나타낼 수 있는 가상의 사운드를 포함할 수 있다. 한 실시예에 따르면, ECU(108)는, 제1 차량(102a)의 하나 이상의 오디오 출력 디바이스의 이용에 의해 제1 차량(102a)에서 차량내 경보를 생성하도록 구성될 수 있다.
한 실시예에 따르면, 차량내 경보는 차량이 제1 차량(102a)에 대한 미리결정된 근접 거리 내에서 검출될 때 (제2 차량(102b) 등의) 그 차량의 가상 사운드를 포함할 수 있다. 즉, 다른 차량이 제1 차량(102a)으로부터 미리결정된 반경(또는 거리) 내에 있을 때, 다른 차량의 존재는 차량내 경보에서 연관된 가상 사운드를 통해 표시될 수 있다. 차량내 경보는, 이들 차량이 제1 차량(102a)으로부터 미리결정된 반경 내에서 검출될 때 복수의 차량의 가상 사운드를 포함할 수 있다. 차량내 경보의 발생은, 도 5, 도 9a, 및 도 9b에서 설명되었다. 가상 사운드 외에도, 차량내 경보는, 사고 경고, 운전 조작 지시, 속도 변경 권고, 차량 추월 권고, 차선 변경 권고, 운전 조건 정보, 장애물 경보, 및/또는 선택된 차량 추적을 더 포함할 수 있다.
단계 1414a에서, 차량내 경보는 제1 차량(102a)의 제1 세트의 오디오 출력 디바이스(226a 및 226b)를 통해 제1 차량(102a)의 내부에서 재생될 수 있다. 한 실시예에 따르면, ECU(108)는, 제1 세트의 오디오 출력 디바이스(226a 및 226b)의 이용에 의해 차량내 경보를 재생하여 도 9b에서 설명된 바와 같이 차량내 경보를 전적으로 운전자(114)에게만 제공하도록 구성될 수 있다. 소정 시나리오에서, 도 9a에서 설명된 바와 같이, 차량내 경보는 제2 세트의 오디오 출력 디바이스(228a 내지 228d)를 통해 제1 차량(102a)의 모든 승객을 위해 재생될 수 있다.
단계 1416a에서, 제2 차량(102b)을 포함하는 하나 이상의 다른 차량의 속도 및/또는 상대 속도는 수신된 사운드 데이터에 기초하여 결정될 수 있다. 한 실시예에 따르면, ECU(108)는 수신된 사운드 데이터에 기초하여 하나 이상의 다른 차량의 속도를 결정하도록 구성될 수 있다. 나아가, ECU(108)는 또한, 제1 차량(102a)에 관한 제2 차량(102b)의 상대 속도를 결정하도록 구성될 수 있다. 복수의 차량(102) 중 하나 이상의 다른 차량의 속도 및 제2 차량(102b)의 상대 속도의 결정은, 도 4, 도 5, 도 6, 도 7, 및 도 8에서 설명되었다.
단계 1418a에서, 결정된 거리 및/또는 상대 속도에 기초하여 오디오 경고가 생성될 수 있다. 한 실시예에 따르면, ECU(108)는, 제1 차량(102a)에 관한 제2 차량(102b)의 결정된 거리 및/또는 상대 속도에 기초하여 오디오 경고를 생성하도록 구성될 수 있다. 오디오 경고는, 제2 차량(102b)이 제1 차량(102a)의 미리결정된 근접 거리 내에 있고 미리결정된 임계값을 초과하는 상대 속도로 제1 차량(102a)에 접근할 때 생성될 수 있다. 오디오 경고는 운전자(114)에게 제1 차량(102a)을 제2 차량(102b)으로부터 멀어지게 감속시키거나 기동하도록 지시할 수 있다. 예시적인 트래픽 시나리오들 1000(도 10), 1100(도 11), 1200(도 12), 및 1300(도 13)은, 다양한 트래픽 및 운전 조건에서 차량내 경보 및/또는 경고의 재생의 다양한 예를 나타낸다.
단계 1420a에서, 오디오 경고는, 제1 차량(102a)의 내부에서 차량내 경보와 함께 재생될 수 있다. 한 실시예에 따르면, ECU(108)는 차량내 경보와 함께 오디오 경고를 재생하도록 구성될 수 있다. 오디오 경고는, 운전자(114)를 향해 지향된 제1 세트의 오디오 출력 디바이스(226a 및 226b)를 통해 재생될 수 있다. 대안으로서, 제2 세트의 오디오 출력 디바이스(228a 내지 228d)는 제1 차량(102a)의 모든 승객에게 오디오 경고를 재생할 수 있다. 단계들의 제1 시퀀스의 단계 1420a로부터, 제어는 단계 1422로 진행한다. 단계 1422는, 단계들의 제2 시퀀스, 즉, 이하에서 주어지는, 단계들 1404b 내지 1414b 이후에 설명된다.
단계 1404b에서, 제1 차량(102a)의 주행 경로의 하나 이상의 영상이 수신된다. 하나 이상의 영상은, 제1 차량(102a)의 촬영 디바이스들(112a 내지 112b) 중 하나 이상에 의해 포착될 수 있다. 하나 이상의 영상은, 촬영 디바이스들(112a 내지 112b) 중 하나 이상의 시야 내의 하나 이상의 차량 및/또는 물체를 포함할 수 있다. 촬영 디바이스들(112a 내지 112b)은 차량내 네트워크(222)를 통해 하나 이상의 영상을 추가 처리, 분석을 위해 ECU(108)에 전송할 수 있다.
단계 1406b에서, 하나 이상의 포착된 영상 내의 하나 이상의 물체가 검출되고 인식될 수 있다. 한 실시예에 따르면, ECU(108)는, 메모리(204) 내의 하나 이상의 미리저장된 템플릿 영상에 기초하여, 하나 이상의 영상 처리 기술의 이용에 의해 하나 이상의 영상을 분석하도록 구성될 수 있다. 하나 이상의 미리저장된 템플릿 영상은 하나 이상의 알려진 물체 타입의 물체와 연관될 수 있다. 분석에 기초하여, ECU(108)는 하나 이상의 영상으로부터 하나 이상의 물체를 검출하거나 인식할 수 있다. 또한, ECU(108)는, 하나 이상의 미리저장된 템플릿 영상에 기초하여, 하나 이상의 포착된 영상의 분석에 기초해 각각의 인식된 물체의 물체 타입을 결정할 수 있다.
단계 1408b에서, 제1 차량(102a)으로부터의 하나 이상의 검출된 물체들의 위치, 거리 및/또는 각도가 결정될 수 있다. 한 실시예에 따르면, ECU(108)는, 하나 이상의 검출된 물체의 위치, 거리 및/또는 각도를 결정하도록 구성될 수 있다. 하나 이상의 검출된 물체의 위치, 거리, 및/또는 각도의 결정은, 하나 이상의 포착된 영상에 적용된 하나 이상의 영상 처리 기술 및 하나 이상의 삼각측량 기술의 이용에 의해 수행될 수 있다. 한 실시예에 따르면, 감지 시스템(220)의 하나 이상의 센서는, 하나 이상의 영상 처리 기술에 추가하여 하나 이상의 검출된 물체의 위치, 거리, 및/또는 각도의 결정을 위해 이용될 수 있다.
단계 1410b에서, 하나 이상의 인식된 물체와 연관된 미리저장된 오디오 서명이 회수될 수 있다. 한 실시예에 따르면, ECU(108)는 메모리(204)로부터 다양한 물체 타입과 연관된 미리저장된 오디오 서명들을 추출할 수 있다. 또한, ECU(108)는, 하나 이상의 인식된 물체들 각각에 대해 결정된 물체 타입을, 추출된 미리저장된 오디오 서명과 연관된 물체 타입과 비교할 수 있다. 비교에 기초하여, ECU(108)는 연관된 오디오 서명들을 다양한 물체 타입의 하나 이상의 인식된 물체에 할당할 수 있다.
단계 1412b에서, 각각의 인식된 물체의 가상 사운드를 포함할 수 있는 사운드 출력이 생성될 수 있다. 한 실시예에 따르면, ECU(108)는, 제1 차량(102a)의 미리지정된 거리 내의 하나 이상의 물체의 존재를 나타낼 수 있는 사운드 출력을 생성하도록 구성될 수 있다. 인식된 각각의 물체의 가상 사운드는, 물체 타입 및/또는 제1 차량(102a)으로부터의 물체의 거리에 기초하여 생성될 수 있다. 한 실시예에 따르면, 각각의 인식된 물체에 할당된 오디오 서명은, 그 물체의 물체 타입에 기초하여, 각각의 인식된 검출된 물체를 나타내는 별개의 가상 사운드 출력을 생성하는데 이용될 수 있다. 한 실시예에 따르면, 인식된 물체와 연관된 가상 사운드 출력은, 주행 경로 내의 그 물체의 존재를 나타내도록 렌더링된 사운드 효과를 포함할 수 있다. 예를 들어, 소(cattle) 등의 동물과 연관된 특정한 사운드는, 제1 차량(102a)의 주행 경로 내의 소의 존재를 나타내도록 렌더링될 수 있다. 또한, 미리-기록된 인간 음성 등의 또 다른 사운드는, 도로 부분을 따른 주행 경로 내의 보행자(1008) 등의 인간의 존재를 나타내도록 렌더링될 수 있다. 따라서, 인간 또는 동물 등의 각각의 물체는, 대개 현실 세계에서 이러한 인식된 물체에 의해 생성된 자연스러운 사운드를 모방한 가상 사운드의 재생으로 인해 사운드 출력에서 뚜렷하게 식별될 수 있다.
단계 1414b에서, 사운드 출력은 제1 차량(102a)의 내부에서 차량내 경보와 함께 재생될 수 있다. 한 실시예에 따르면, ECU(108)는, 제1 차량(102a)의 운전자(114)에 대한 제1 세트의 오디오 출력 디바이스(226a 및 226b)를 통해 사운드 출력을 재생할 수 있다. 대안으로서, 사운드 출력은 제2 세트의 오디오 출력 디바이스(228a 내지 228d)를 통해 제1 차량(102a)의 모든 승객을 위해 재생될 수 있다. 사운드 출력은 차량내 경보의 또 다른 사운드 출력과 혼합되거나 별개로 재생될 수 있다. 단계들의 제2 시퀀스의 단계 1414b로부터, 제어는 단계 1422로 진행한다.
단계 1422에서, 인식된 하나 이상의 물체 및 제2 차량(102b)의 가상 물체로서의 디스플레이가 제어될 수 있다. 디스플레이는 제1 차량(102a)의 인포테인먼트 시스템(208)을 통해 렌더링된 맵상에서 제어될 수 있다. ECU(108)는, 인포테인먼트 시스템(208)을 통해, 맵 상에서의 가상 물체로서의 하나 이상의 물체 및 제2 차량(102b)의 디스플레이를 제어하도록 구성될 수 있다. 인식된 하나 이상의 물체 및 제2 차량(102b)을 나타내는 가상 물체들의 디스플레이는, 수신된 사운드 데이터 및/또는 하나 이상의 포착된 영상에서의 그들의 인식에 기초한 각각의 결정된 거리에 기초하여 제어될 수 있다.
단계 1424에서, 제1 차량(102a)과 연관된 트래픽 조건에 대응할 수 있는 통계 데이터는, 클라우드 서버(104) 및/또는 제1 차량(102a)의 사용자의 (스마트폰, 착용형 디바이스 또는 사물 인터넷 디바이스 등의) 전자 디바이스에 전송될 수 있다. ECU(108)는 또한, 제1 차량(102a)과 연관된 트래픽 영역 내의 트래픽 조건에 대응하는 통계 데이터를 편집하도록 구성될 수 있다. 한 실시예에 따르면, ECU(108)는, 트래픽 조건에 대응하는 편집된 정보를 (클라우드 서버(104) 등의) 트래픽 관리 서버 및/또는 전자 디바이스에 전송할 수 있다. 전자 디바이스는, 제1 차량(102a)의 사용자 또는 다른 미리등록된 사용자에게 속할 수 있다. 트래픽 조건 정보의 전송은, 결정된 거리, 상대 속도, 및/또는 제2 차량(102b)의 타입에 기초할 수 있다. 트래픽 조건 정보의 전송은 또한, 제1 차량(102a)으로부터의 미리결정된 거리 내의 하나 이상의 다른 차량의 카운트에 기초할 수 있다. 통계 데이터는, (RSU(120) 등의) RSU들 중 하나를 이용하여 무선 통신 네트워크(106)를 통해 클라우드 서버(104)에 전송될 수 있다. 대안으로서, 통계 데이터는 무선 통신 네트워크(106)를 통해 클라우드 서버(104)에 직접 전송될 수 있다. 제어는 종료 단계(1426)로 진행할 수 있다.
본 개시내용의 한 실시예에 따르면, 트래픽 사운드 데이터를 처리하여 차량내 운전자 보조를 제공하는 시스템이 개시된다. 제1 차량(102a)(도 1)의 (ECU(108)(도 1) 등의) 시스템은 하나 이상의 회로(이하, 마이크로프로세서(202)(도 2)라고 함)를 포함할 수 있다. 마이크로프로세서(202)는 2개 이상의 오디오 입력 디바이스들(110a 내지 110h)(도 1)에 의해 포착된 사운드 데이터를 수신하도록 구성될 수 있다. 사운드 데이터는 제2 차량(102b)(도 1)을 포함할 수 있는 하나 이상의 다른 차량으로부터 발산된 사운드에 대응할 수 있다. 마이크로프로세서(202)는 수신된 사운드 데이터에 기초하여 제2 차량(102b)으로부터의 제1 차량(102a)의 거리를 결정하도록 구성될 수 있다. 또한, 마이크로프로세서(202)는 결정된 거리에 기초하여 차량내 경보를 생성하도록 구성될 수 있다. 차량내 경보는 제2 차량(102b)으로부터 발산된 사운드를 나타내는 가상의 사운드를 포함할 수 있다.
본 개시내용의 또 다른 양태에 따르면, 차량의 실시예가 개시된다. (제1 차량(102a)(도 2) 등의) 개시된 차량의 예시적인 양태는, (차체(230)(도 2) 등의) 차체, 차체(230) 상에 탑재된 2개 이상의 오디오 입력 디바이스(110a 내지 110h)(도 1), ECU(108)(도 2)를 포함할 수 있다. ECU(108)는, 2개 이상의 오디오 입력 디바이스들(110a 내지 110h)에 의해 포착된 사운드 데이터를 수신하도록 구성될 수 있는 하나 이상의 회로를 포함할 수 있다. 사운드 데이터는 하나 이상의 다른 차량으로부터 발산된 사운드에 대응할 수 있다. 그 후, 하나 이상의 다른 차량들 중 적어도 하나로부터의 제1 차량(102a)의 거리는 수신된 사운드 데이터에 기초하여 결정될 수 있다. 또한, 결정된 거리에 기초하여 제1 차량(102a)에 대한 차량내 경보가 발생될 수 있다. 차량내 경보는 하나 이상의 다른 차량들 중 적어도 하나로부터 발산된 사운드를 나타내는 가상 사운드를 포함할 수 있다.
본 개시내용의 다양한 실시예는, 머신 및/또는 컴퓨터로 하여금 트래픽 사운드 데이터를 처리하여 차량내 운전자 보조를 제공하게 하는 컴퓨터 실행가능한 명령어 세트를 저장한 비일시적 컴퓨터 판독가능한 매체 및/또는 저장 매체를 제공할 수 있다. ECU(108)(도 1) 등의, ECU 내의 컴퓨터 실행가능한 명령어 세트는, 머신 및/또는 컴퓨터로 하여금, 2개 이상의 오디오 입력 디바이스(110a 내지 110h)(도 1)에 의해 포착된 사운드 데이터의 수신을 포함하는 단계들을 수행하게 할 수 있다. 사운드 데이터는, 제2 차량(102b)(도 1)을 포함할 수 있는 하나 이상의 다른 차량들로부터 발산된 사운드에 대응할 수 있다. 제2 차량(102b)으로부터의 제1 차량(102a)의 거리는 수신된 사운드 데이터에 기초하여 결정될 수 있다. 결정된 거리에 기초하여 제1 차량(102a)에 대한 차량내 경보가 발생될 수 있다. 차량내 경보는 제2 차량(102b)으로부터 발산된 사운드를 나타내는 가상의 사운드를 포함할 수 있다.
본 개시내용은, 하드웨어, 또는 하드웨어와 소프트웨어의 조합으로 실현될 수 있다. 본 개시내용은, 적어도 하나의 컴퓨터 시스템에서 중앙집중형 방식으로, 또는 상이한 요소들이 수 개의 상호접속된 컴퓨터 시스템들에 걸쳐 분산되어 있을 수 있는 분산형 방식으로 실현될 수 있다. 여기서 설명된 방법을 수행하도록 적합화된 컴퓨터 시스템 또는 다른 장치가 적절할 수도 있다. 하드웨어 및 소프트웨어의 조합은, 로딩되고 실행될 때, 여기서 설명된 방법을 실행하도록 컴퓨터 시스템을 제어 할 수 있는 컴퓨터 프로그램을 갖춘 범용 컴퓨터 시스템일 수 있다. 본 개시내용은 다른 기능들을 역시 수행하는 집적 회로의 일부를 포함하는 하드웨어로 실현될 수도 있다.
본 개시내용은 또한, 여기서 설명된 방법들의 구현을 가능하게 하고 컴퓨터 시스템에 로딩될 때 이들 방법을 실행할 수 있는 모든 피쳐들을 포함하는 컴퓨터 프로그램 제품에 임베딩될 수도 있다. 컴퓨터 프로그램은, 본 문맥에서, 정보 처리 능력을 가진 시스템으로 하여금, 특정 기능을, 곧바로, 또는 a) 또 다른 언어, 코드 또는 표기로의 변환; b) 상이한 자료 형태로의 재생산 중 어느 하나 또는 양쪽 모두 이후에, 수행하게 하도록 의도된 한 세트의 명령어로 이루어진, 임의의 언어로 된, 임의의 표현, 코드 또는 표기를 의미한다.
본 개시내용이 소정 실시예들을 참조하여 기술되었지만, 본 기술분야의 통상의 기술자면, 본 개시내용의 범위로부터 벗어나지 않고 다양한 변경이 이루어질 수 있고 균등물로 대체될 수 있다는 것을 이해할 것이다. 또한, 특정한 상황 또는 재료를 본 개시내용의 교시에 맞게 그 본질적 범위로부터 벗어나지 않고 적합하게 개작하도록 많은 수정이 이루어질 수 있다. 따라서, 본 개시내용은 개시된 특정 실시예에 제한되지 않으며, 본 개시내용은 첨부된 청구항들의 범위 내에 속하는 모든 실시예를 포함하는 것으로 의도된다.

Claims (21)

  1. 차량내 운전자 보조를 제공하기 위한 시스템으로서,
    제1 차량의 전자 제어 유닛(ECU; electronic control unit) 내의 하나 이상의 회로를 포함하고, 상기 하나 이상의 회로는:
    상기 제1 차량과 연관된 2개 이상의 오디오 입력 디바이스에 의해 포착된 사운드 데이터 ―상기 사운드 데이터는 하나 이상의 다른 차량으로부터 발산된 사운드에 대응함― 를 수신하고;
    상기 수신된 사운드 데이터에 기초하여 상기 하나 이상의 다른 차량 중의 제2 차량으로부터의 상기 제1 차량의 거리를 결정하며;
    상기 결정된 거리에 기초하여 상기 제1 차량의 운전자와 연관된 제1 세트의 오디오 출력 디바이스를 통해 상기 제1 차량에 대한 차량내 경보 ―상기 차량내 경보는 상기 제2 차량으로부터 발산된 사운드를 나타내는 가상 사운드를 포함함―를 생성하고;
    상기 제1 차량의 주행 경로와 연관된 트래픽 조건에 기초하여 상기 제1 차량의 하나 이상의 공동 승객과 연관된 제2 세트의 오디오 출력 디바이스를 통해 상기 차량내 경보를 재생하도록 구성된, 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서, 상기 차량내 경보는 사고 경고, 운전 조작 지시, 속도 변경 권고, 차량 추월 권고, 차선 변경 권고, 운전 조건 정보, 장애물 경고, 및/또는 선택된 차량 추적 중 하나 이상을 포함하는, 시스템.
  6. 제1항에 있어서, 상기 하나 이상의 회로는 상기 수신된 사운드 데이터에 기초하여 상기 제1 차량에 관한 상기 제2 차량의 위치 및/또는 각도를 결정하여 상기 제1 차량에서 상기 가상 사운드를 재생하도록 추가로 구성된, 시스템.
  7. 제6항에 있어서, 상기 하나 이상의 회로는 상기 제2 차량으로부터 발산된 상기 사운드를 나타내는 상기 가상 사운드의 상기 재생을 위해 상기 결정된 거리 및/또는 상기 각도에 기초하여 HRTF(Head-Related Transfer Function)를 적용하도록 추가로 구성된, 시스템.
  8. 제1항에 있어서, 상기 하나 이상의 회로는 상기 제2 차량과 연관된 미리저장된 오디오 서명과 상기 제2 차량으로부터 발산된 상기 사운드의 비교에 기초하여, 상기 제2 차량의 타입을 결정하도록 추가로 구성된, 시스템.
  9. 제8항에 있어서, 상기 결정된 거리가 미리지정된 임계 거리보다 작거나 및/또는 상기 제1 차량에 관한 상기 제2 차량의 상대 속도가 미리결정된 임계 속도보다 큰 경우, 상기 제2 차량의 상기 결정된 타입에 따라 상기 차량내 경보의 상기 가상 사운드가 재생되는, 시스템.
  10. 제1항에 있어서, 상기 하나 이상의 회로는 상기 하나 이상의 다른 차량으로부터 발산된 상기 포착된 사운드에 기초하여 상기 하나 이상의 다른 차량의 속력을 결정하도록 추가로 구성된, 시스템.
  11. 제1항에 있어서, 상기 하나 이상의 회로는 상기 제2 차량으로부터 발산된 상기 사운드에 기초하여 상기 제1 차량에 관한 상기 제2 차량의 상대 속도를 결정하도록 추가로 구성되고, 상기 결정된 거리 및/또는 상기 상대 속도에 기초하여 상기 가상 사운드와 함께 제1 차량의 운전자를 위한 오디오 경고가 생성되는, 시스템.
  12. 제1항에 있어서, 상기 하나 이상의 회로는 하나 이상의 촬영 디바이스의 이용에 의해, 상기 제1 차량의 주행 경로 내에 존재하는 하나 이상의 물체의 하나 이상의 영상을 포착하도록 추가로 구성되고, 상기 포착된 하나 이상의 영상에 기초하여 상기 제1 차량으로부터의 상기 하나 이상의 물체의 거리가 결정되는, 시스템.
  13. 제12항에 있어서, 상기 하나 이상의 회로는 상기 하나 이상의 물체를 포함하는 상기 포착된 하나 이상의 영상에 기초하여 상기 제1 차량의 상기 주행 경로 내에 존재하는 하나 이상의 물체를 인식하도록 추가로 구성된, 시스템.
  14. 제12항에 있어서, 상기 차량내 경보는 상기 제1 차량으로부터의 미리지정된 거리 내에서의 상기 주행 경로 내의 상기 하나 이상의 물체의 존재를 나타내는 제2 오디오 출력을 추가로 포함하는, 시스템.
  15. 제13항에 있어서, 상기 하나 이상의 회로는 상기 포착된 하나 이상의 영상에 기초하여, 상기 제1 차량의 인포테인먼트 시스템을 통해, 상기 제1 차량의 상기 주행 경로 내에 존재하는 상기 인식된 하나 이상의 물체를 나타내는 가상 물체의 디스플레이를 제어하도록 추가로 구성된, 시스템.
  16. 제14항에 있어서, 상기 하나 이상의 회로는 상기 포착된 하나 이상의 영상 및 상기 결정된 거리에 기초하여, 상기 제1 차량의 인포테인먼트 시스템을 통해 맵 상에서의 적어도 상기 제2 차량의 디스플레이를 제어하도록 추가로 구성된, 시스템.
  17. 제16항에 있어서, 상기 하나 이상의 회로는 특정한 차량으로부터 포착된 오디오 및/또는 하나 이상의 영상에 기초하여 상기 제1 차량에 관한 상기 특정한 차량의 상대 위치를 추적하도록 추가로 구성되고, 상기 특정한 차량은 상기 제1 차량의 상기 인포테인먼트 시스템의 사용자 인터페이스를 통해 사용자에 의해 선택되며, 상기 특정한 차량의 상기 추적된 상대 위치는 상기 차량내 경보를 통해 상기 사용자에게 제공되거나 및/또는 상기 제1 차량의 상기 인포테인먼트 시스템을 통해 상기 맵 상에 디스플레이되는, 시스템.
  18. 제1항에 있어서, 상기 하나 이상의 회로는 상기 제2 차량과 상기 제1 차량 사이의 상기 결정된 거리, 상기 제1 차량에 관한 상기 제2 차량의 상대 속도, 상기 제2 차량의 타입, 및/또는 상기 제1 차량으로부터의 미리결정된 거리 내의 상기 하나 이상의 다른 차량의 카운트 중 하나 이상에 기초하여, 상기 제1 차량의 주행 경로와 연관된 트래픽 조건에 대응하는 정보를 트래픽 관리 서버 및/또는 상기 제1 차량과 연관된 사용자의 전자 디바이스에 전송하도록 추가로 구성된, 시스템.
  19. 차량내 운전자 보조를 위한 사운드 데이터를 처리하기 위한 방법으로서,
    제1 차량의 전자 제어 유닛(ECU)에서;
    상기 제1 차량과 연관된 2개 이상의 오디오 입력 디바이스에 의해 포착된 사운드 데이터 ―상기 사운드 데이터는 하나 이상의 다른 차량으로부터 발산된 사운드에 대응함― 를 수신하는 단계;
    상기 수신된 사운드 데이터에 기초하여 상기 하나 이상의 다른 차량 중의 제2 차량으로부터의 상기 제1 차량의 거리를 결정하는 단계;
    상기 결정된 거리에 기초하여 상기 제1 차량의 운전자와 연관된 제1 세트의 오디오 출력 디바이스를 통해 상기 제1 차량과 연관된 차량내 경보 ―상기 차량내 경보는 상기 제2 차량으로부터 발산된 사운드를 나타내는 가상 사운드를 포함함―를 생성하는 단계; 및
    상기 제1 차량의 주행 경로와 연관된 트래픽 조건에 기초하여 상기 제1 차량의 하나 이상의 공동 승객과 연관된 제2 세트의 오디오 출력 디바이스를 통해 상기 차량내 경보를 재생하는 단계
    를 포함하는, 방법.
  20. 제19항에 있어서, 상기 ECU에 의해, 상기 제1 차량에서 상기 가상 사운드를 재생하기 위해 상기 수신된 사운드 데이터에 기초하여 상기 제1 차량에 관한 상기 제2 차량의 위치 및/또는 각도를 결정하는 단계를 추가로 포함하는 방법.
  21. 제1 차량으로서,
    차체;
    상기 차체 상에 탑재된 2개 이상의 오디오 입력 디바이스; 및
    하나 이상의 회로를 포함하는 전자 제어 유닛(ECU)
    을 포함하고, 상기 하나 이상의 회로는:
    상기 2개 이상의 오디오 입력 디바이스에 의해 포착된 사운드 데이터 ―상기 사운드 데이터는 하나 이상의 다른 차량으로부터 발산된 사운드에 대응함― 를 수신하고;
    상기 수신된 사운드 데이터에 기초하여 상기 하나 이상의 다른 차량 중의 적어도 하나로부터의 상기 제1 차량의 거리를 결정하며;
    상기 결정된 거리에 기초하여 상기 제1 차량의 운전자와 연관된 제1 세트의 오디오 출력 디바이스를 통해 상기 제1 차량에 대한 차량내 경보 ―상기 차량내 경보는 상기 하나 이상의 다른 차량 중의 상기 적어도 하나로부터 발산된 사운드를 나타내는 가상 사운드를 포함함―를 생성하고;
    상기 제1 차량의 주행 경로와 연관된 트래픽 조건에 기초하여 상기 제1 차량의 하나 이상의 공동 승객과 연관된 제2 세트의 오디오 출력 디바이스를 통해 상기 차량내 경보를 재생하도록 구성된, 차량.
KR1020170101094A 2016-08-19 2017-08-09 트래픽 사운드 데이터를 처리하여 운전자 보조를 제공하기 위한 시스템 및 방법 KR102027646B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/241,347 2016-08-19
US15/241,347 US10403141B2 (en) 2016-08-19 2016-08-19 System and method for processing traffic sound data to provide driver assistance

Publications (2)

Publication Number Publication Date
KR20180020886A KR20180020886A (ko) 2018-02-28
KR102027646B1 true KR102027646B1 (ko) 2019-11-04

Family

ID=59626491

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170101094A KR102027646B1 (ko) 2016-08-19 2017-08-09 트래픽 사운드 데이터를 처리하여 운전자 보조를 제공하기 위한 시스템 및 방법

Country Status (5)

Country Link
US (1) US10403141B2 (ko)
EP (1) EP3285241B1 (ko)
JP (1) JP6468454B2 (ko)
KR (1) KR102027646B1 (ko)
CN (1) CN107767697A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102247023B1 (ko) 2020-05-08 2021-05-03 주식회사 사운드에어 사운드 데이터 기반 자율주행 시스템, 이동체 이동 안전 시스템 및 방법
US11548521B2 (en) 2020-03-31 2023-01-10 Toyota Research Institute, Inc. Systems, methods and vehicles for determining wrong direction driving

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017163514A1 (ja) * 2016-03-23 2017-09-28 日本電気株式会社 眼鏡型ウェアラブル端末、その制御方法および制御プログラム
US10347129B2 (en) * 2016-12-07 2019-07-09 Magna Electronics Inc. Vehicle system with truck turn alert
US10380886B2 (en) 2017-05-17 2019-08-13 Cavh Llc Connected automated vehicle highway systems and methods
US10145945B2 (en) * 2017-01-11 2018-12-04 Toyota Research Institute, Inc. Systems and methods for automatically calibrating a LIDAR using information from a secondary vehicle
WO2018207213A1 (en) * 2017-05-11 2018-11-15 Harichandan Jyotiranjan A system and method for controlling vehicle components using smartphone
US10692365B2 (en) 2017-06-20 2020-06-23 Cavh Llc Intelligent road infrastructure system (IRIS): systems and methods
US12008893B2 (en) 2017-05-17 2024-06-11 Cavh Llc Autonomous vehicle (AV) control system with roadside unit (RSU) network
US10699546B2 (en) * 2017-06-14 2020-06-30 Wipro Limited Headphone and headphone safety device for alerting user from impending hazard, and method thereof
US10567923B2 (en) * 2017-07-07 2020-02-18 Toyota Jidosha Kabushiki Kaisha Computation service for mobile nodes in a roadway environment
EP3750145A4 (en) 2018-02-06 2022-02-16 Cavh Llc INTELLIGENT ROAD INFRASTRUCTURE SYSTEM (IRIS): SYSTEMS AND PROCEDURES
CA3096472A1 (en) 2018-05-09 2019-11-14 Cavh Llc Systems and methods for driving intelligence allocation between vehicles and highways
JP2019200478A (ja) * 2018-05-14 2019-11-21 トヨタ自動車株式会社 サーバ、車両撮影システム及び車両撮影方法
CN112136165B (zh) * 2018-05-25 2023-10-27 索尼公司 路车间通信的道路侧设备和车辆侧设备以及路车间通信系统
US10909851B2 (en) * 2018-06-06 2021-02-02 Motional Ad Llc Vehicle intent communication system
US11842642B2 (en) * 2018-06-20 2023-12-12 Cavh Llc Connected automated vehicle highway systems and methods related to heavy vehicles
CN108960432A (zh) * 2018-06-22 2018-12-07 深圳市易成自动驾驶技术有限公司 决策规划方法、装置及计算机可读存储介质
US12057011B2 (en) 2018-06-28 2024-08-06 Cavh Llc Cloud-based technology for connected and automated vehicle highway systems
GB201810755D0 (en) * 2018-06-29 2018-08-15 Univ Birmingham Vehicle power management system and method
WO2020014227A1 (en) * 2018-07-10 2020-01-16 Cavh Llc Route-specific services for connected automated vehicle highway systems
WO2020014224A1 (en) 2018-07-10 2020-01-16 Cavh Llc Fixed-route service system for cavh systems
CN109217944B (zh) * 2018-08-10 2020-09-01 厦门大学 一种用于车辆的声联网系统
JP7145447B2 (ja) * 2018-08-14 2022-10-03 パナソニックＩｐマネジメント株式会社 データ送信装置及びデータ送信方法
US10976748B2 (en) * 2018-08-22 2021-04-13 Waymo Llc Detecting and responding to sounds for autonomous vehicles
CA3143234A1 (en) 2018-09-30 2020-04-02 Strong Force Intellectual Capital, Llc Intelligent transportation systems
US20200104966A1 (en) * 2018-09-30 2020-04-02 Strong Force Intellectual Capital, Llc Intelligent transportation systems
US10970899B2 (en) * 2018-10-23 2021-04-06 International Business Machines Corporation Augmented reality display for a vehicle
US11079593B2 (en) * 2018-11-26 2021-08-03 International Business Machines Corporation Heads up display system
CN111762192A (zh) * 2019-03-13 2020-10-13 伟摩有限责任公司 用于自动驾驶车辆的可听通信
WO2020188941A1 (ja) * 2019-03-15 2020-09-24 本田技研工業株式会社 車両用コミュニケーション装置及びプログラム
JP7379463B2 (ja) * 2019-03-15 2023-11-14 本田技研工業株式会社 車両用コミュニケーション装置及びプログラム
US11373527B2 (en) * 2019-03-25 2022-06-28 Micron Technology, Inc. Driver assistance for non-autonomous vehicle in an autonomous environment
US11267393B2 (en) 2019-05-16 2022-03-08 Magna Electronics Inc. Vehicular alert system for alerting drivers of other vehicles responsive to a change in driving conditions
US10755691B1 (en) 2019-05-21 2020-08-25 Ford Global Technologies, Llc Systems and methods for acoustic control of a vehicle's interior
KR102665443B1 (ko) * 2019-05-30 2024-05-09 삼성전자주식회사 반도체 장치
KR20200143965A (ko) * 2019-06-17 2020-12-28 현대자동차주식회사 음향 통신 시스템 및 그의 데이터 송수신 방법
US11433886B2 (en) * 2019-06-24 2022-09-06 GM Global Technology Operations LLC System, vehicle and method for adapting a driving condition of a vehicle upon detecting an event in an environment of the vehicle
JP7268581B2 (ja) * 2019-11-07 2023-05-08 トヨタ自動車株式会社 車両、音響制御装置、及び音響制御プログラム
US11480961B1 (en) * 2019-11-21 2022-10-25 Zoox, Inc. Immersive sound for teleoperators
US11393489B2 (en) 2019-12-02 2022-07-19 Here Global B.V. Method, apparatus, and computer program product for road noise mapping
US11788859B2 (en) 2019-12-02 2023-10-17 Here Global B.V. Method, apparatus, and computer program product for road noise mapping
CN113098830B (zh) * 2019-12-23 2022-05-17 华为技术有限公司 通信方法及相关产品
US11625042B2 (en) * 2020-03-31 2023-04-11 Zoox, Inc. Detecting occluded objects using sound
US11914390B2 (en) * 2020-03-31 2024-02-27 Zoox, Inc. Distinguishing between direct sounds and reflected sounds in an environment
DE102020110974B3 (de) * 2020-04-22 2021-05-20 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Simulation eines Geräuschs in einem Kraftfahrzeug und Kraftfahrzeug
US11847919B2 (en) * 2020-05-19 2023-12-19 Toyota Motor North America, Inc. Control of transport en route
US11423925B2 (en) 2020-05-28 2022-08-23 Here Global B.V. Method and apparatus for determining vehicle class based upon audio data
US11483649B2 (en) 2020-08-21 2022-10-25 Waymo Llc External microphone arrays for sound source localization
CN111824159A (zh) * 2020-09-21 2020-10-27 李斯特技术中心（上海）有限公司 车辆控制方法、装置、车辆和计算机可读存储介质
CN114520944B (zh) * 2020-11-19 2023-07-28 上海汽车集团股份有限公司 一种三维警示音的防错系统及方法
US11898870B2 (en) 2021-09-02 2024-02-13 Here Global B.V. Apparatus and methods for providing a route using a map layer of one or more sound events
CN114189790B (zh) * 2021-10-26 2022-11-29 北京荣耀终端有限公司 音频信息的处理方法、电子设备、系统、产品及介质
CN113997863B (zh) * 2021-11-24 2024-05-28 北京字节跳动网络技术有限公司 数据处理方法、装置和车辆
CN114999201A (zh) * 2022-05-25 2022-09-02 浙江极氪智能科技有限公司 导航引导方法、装置、设备及存储介质
CN117351754A (zh) * 2022-06-29 2024-01-05 深圳市中兴微电子技术有限公司 路况提示方法、电子设备、计算机可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001001851A (ja) * 1999-06-16 2001-01-09 Honda Motor Co Ltd 車両用警報装置
JP2005301751A (ja) * 2004-04-13 2005-10-27 Matsushita Electric Ind Co Ltd 緊急車両走行位置検出装置
JP2008191742A (ja) * 2007-02-01 2008-08-21 Nissan Motor Co Ltd 聴覚情報報知装置および方法
JP2009051333A (ja) * 2007-08-27 2009-03-12 Nissan Motor Co Ltd 車両用聴覚モニタ装置
WO2011001684A1 (ja) * 2009-07-02 2011-01-06 パナソニック株式会社 車両位置検出装置及び車両位置検出方法
JP5516455B2 (ja) * 2011-02-23 2014-06-11 トヨタ自動車株式会社 接近車両検出装置及び接近車両検出方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2689792B2 (ja) * 1991-10-30 1997-12-10 日産自動車株式会社 立体音場警報装置
US5979586A (en) 1997-02-05 1999-11-09 Automotive Systems Laboratory, Inc. Vehicle collision warning system
JPH1148886A (ja) 1997-08-06 1999-02-23 Fujitsu Ten Ltd 車載用緊急車両告知システム
US6449540B1 (en) * 1998-02-09 2002-09-10 I-Witness, Inc. Vehicle operator performance recorder triggered by detection of external waves
JP2002190093A (ja) * 2000-12-22 2002-07-05 Toyota Motor Corp 車両用警報システム及び装置
DE10156509B4 (de) 2001-11-16 2007-12-06 Audi Ag Fahrerassistenzsystem
JP2003220911A (ja) * 2002-01-31 2003-08-05 Denso Corp 車両用警告装置
US7741962B2 (en) * 2006-10-09 2010-06-22 Toyota Motor Engineering & Manufacturing North America, Inc. Auditory display of vehicular environment
KR101384528B1 (ko) * 2007-03-02 2014-04-11 삼성전자주식회사 입체 음향을 이용한 방향 안내 처리 방법 및 그를 적용한네비게이션 시스템
US8682004B2 (en) * 2008-03-07 2014-03-25 International Business Machines Corporation Positional audio in a vehicle-to-vehicle network
JP5391614B2 (ja) * 2008-09-12 2014-01-15 株式会社デンソー 物体検知装置
CN102439850A (zh) * 2009-05-14 2012-05-02 皇家飞利浦电子股份有限公司 一种用于经由音频装置提供关于声音源的信息的方法和设备
CN102685382B (zh) * 2011-03-18 2016-01-20 安尼株式会社 图像处理装置和方法、及移动体防碰撞装置
US8744736B2 (en) * 2011-07-28 2014-06-03 GM Global Technology Operations LLC Method and apparatus for updating travel time estimation
US8976040B2 (en) 2012-02-16 2015-03-10 Bianca RAY AVALANI Intelligent driver assist system based on multimodal sensor fusion
DE112012006881T5 (de) * 2012-09-05 2015-05-21 Mitsubishi Electric Corporation Fahrzeugannäherungs-Notifizierungston-Erzeugungsvorrichtung
US9469247B2 (en) * 2013-11-21 2016-10-18 Harman International Industries, Incorporated Using external sounds to alert vehicle occupants of external events and mask in-car conversations
CA2945957C (en) * 2014-04-14 2023-03-14 Sirius Xm Radio Inc. Systems, methods and applications for using and enhancing vehicle to vehicle communications, including synergies and interoperation with satellite radio
US20150319608A1 (en) * 2014-04-30 2015-11-05 Denso International America, Inc. Method For Detecting Smart Device Use While Operating A Motor Vehicle
US20150365743A1 (en) 2014-06-14 2015-12-17 GM Global Technology Operations LLC Method and apparatus for including sound from an external environment into a vehicle audio system
CN104867349A (zh) * 2015-04-16 2015-08-26 小米科技有限责任公司 信息提示方法及装置
KR101977090B1 (ko) * 2015-07-22 2019-05-10 엘지전자 주식회사 차량 제어 장치 및 이를 구비한 차량의 제어방법
US9840254B2 (en) * 2015-12-31 2017-12-12 Sony Corporation Method and system for adaptive detection and application of horn for an autonomous vehicle
DE102016103331A1 (de) * 2016-02-25 2017-08-31 Visteon Global Technologies, Inc. Vorrichtung und Verfahren zur Wiedergabe von Audiosignalen in einem Kraftfahrzeug

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001001851A (ja) * 1999-06-16 2001-01-09 Honda Motor Co Ltd 車両用警報装置
JP2005301751A (ja) * 2004-04-13 2005-10-27 Matsushita Electric Ind Co Ltd 緊急車両走行位置検出装置
JP2008191742A (ja) * 2007-02-01 2008-08-21 Nissan Motor Co Ltd 聴覚情報報知装置および方法
JP2009051333A (ja) * 2007-08-27 2009-03-12 Nissan Motor Co Ltd 車両用聴覚モニタ装置
WO2011001684A1 (ja) * 2009-07-02 2011-01-06 パナソニック株式会社 車両位置検出装置及び車両位置検出方法
JP5516455B2 (ja) * 2011-02-23 2014-06-11 トヨタ自動車株式会社 接近車両検出装置及び接近車両検出方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11548521B2 (en) 2020-03-31 2023-01-10 Toyota Research Institute, Inc. Systems, methods and vehicles for determining wrong direction driving
KR102247023B1 (ko) 2020-05-08 2021-05-03 주식회사 사운드에어 사운드 데이터 기반 자율주행 시스템, 이동체 이동 안전 시스템 및 방법

Also Published As

Publication number Publication date
EP3285241A3 (en) 2018-05-16
EP3285241B1 (en) 2023-05-24
US10403141B2 (en) 2019-09-03
EP3285241A2 (en) 2018-02-21
CN107767697A (zh) 2018-03-06
KR20180020886A (ko) 2018-02-28
US20180053413A1 (en) 2018-02-22
JP2018028911A (ja) 2018-02-22
JP6468454B2 (ja) 2019-02-13

Similar Documents

Publication Publication Date Title
KR102027646B1 (ko) 트래픽 사운드 데이터를 처리하여 운전자 보조를 제공하기 위한 시스템 및 방법
JP6724986B2 (ja) 自動運転車のためのホーンの適応検出および適用のための方法およびシステム
US11615706B2 (en) System and method for driving assistance along a path
US10518698B2 (en) System and method for generating a parking alert
US10286905B2 (en) Driver assistance apparatus and control method for the same
US10748428B2 (en) Vehicle and control method therefor
US20170240185A1 (en) Driver assistance apparatus and vehicle having the same
US20210291732A1 (en) Vehicular electronic device and method of operating the same
US20220383749A1 (en) Signal processing device, signal processing method, program, and mobile device
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20200139991A1 (en) Electronic device for vehicle and operating method of electronic device for vehicle
CN114056325B (zh) 降低碰撞风险的装置及方法
WO2022145286A1 (ja) 情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システム
KR20230140775A (ko) 운전자 보조 장치 및 그를 가지는 차량
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
WO2023162497A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20240010231A1 (en) Apparatus for driver assistance and method of controlling the same
US20240290204A1 (en) Information processing device, information processing method, and program
JP2023061664A (ja) 車載通信装置、端末装置、通信方法、情報処理方法及び通信システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant