WO2018079624A1 - 処理装置、サーバ装置、出力方法及びプログラム - Google Patents

処理装置、サーバ装置、出力方法及びプログラム Download PDF

Info

Publication number
WO2018079624A1
WO2018079624A1 PCT/JP2017/038573 JP2017038573W WO2018079624A1 WO 2018079624 A1 WO2018079624 A1 WO 2018079624A1 JP 2017038573 W JP2017038573 W JP 2017038573W WO 2018079624 A1 WO2018079624 A1 WO 2018079624A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
vehicle
amplification factor
microphones
processing
Prior art date
Application number
PCT/JP2017/038573
Other languages
English (en)
French (fr)
Inventor
洋人 河内
洋一 奥山
昭光 藤吉
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to EP17865653.4A priority Critical patent/EP3534350A4/en
Priority to US16/345,200 priority patent/US10720897B2/en
Priority to JP2018547734A priority patent/JP6690007B2/ja
Publication of WO2018079624A1 publication Critical patent/WO2018079624A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G3/00Gain control in amplifiers or frequency changers without distortion of the input signal
    • H03G3/20Automatic control
    • H03G3/30Automatic control in amplifiers having semiconductor devices
    • H03G3/3005Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/02Synthesis of acoustic waves
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0217Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for loud-speakers
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/001Monitoring arrangements; Testing arrangements for loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G2201/00Indexing scheme relating to subclass H03G
    • H03G2201/10Gain control characterised by the type of controlled element
    • H03G2201/103Gain control characterised by the type of controlled element being an amplifying element
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本発明では、複数のマイクで車両外部の環境音を集音する集音部(11)と、集音部(11)にて集音した環境音を増幅させて車両内部に出力させる処理部(12)と、を有し処理部(12)は、一部のマイクで集音された環境音の増幅率を、他のマイクで集音された環境音の増幅率と異ならせる処理装置(10)を提供する。

Description

処理装置、サーバ装置、出力方法及びプログラム
 本発明は、処理装置、サーバ装置、出力方法及びプログラムに関する。
 特許文献1には、車外の周囲音を集音器で収集し、収集した音を提示する装置が開示されている。当該装置は、車両の移動方向の周囲音を抑圧して提示したり、運転手の視線方向の周囲音を抑圧して提示したり、車内の走行雑音の周波数帯域を抑圧して提示したり、車速情報に応じて音圧レベルを調整したり、移動性音源の検出に応じて音の提示を開始したりできる。
 特許文献2には、救急車、消防車、踏切等が備える音声発生装置と、車外で発生した音を車内に通知する車載音声通知装置とを有するシステムが開示されている。音声発生装置は、音声信号の種別を示す識別情報を音声信号に重畳させた信号に基づき、所定の音を出力する。車載音声通知装置は、収集した音声信号から上記識別情報を抽出する。そして、車載音声通知装置は、抽出した識別情報に基づき、車内に通知すべきか判断する。
 特許文献3には、車外の周囲音を集音器で収集し、収集した音を提示する装置が開示されている。当該装置は、自車両周囲に存在する物体を検出する。そして、物体が検出された場合には、所定の音を提示し、物体が検出されていない場合には、当該所定の音を提示しない。所定の音は、マイクで集音された音と、当該装置で生成された仮想音とを合成した音である。検出された物体が音を発する物体である場合、マイクで集音された音により当該物体の検出が通知される。検出された物体が音を発しない物体である場合、仮想音により当該物体の検出が通知される。
 特許文献4には、集音した車外の音に基づき、自車両に接近する接近車両を検出する装置が開示されている。当該装置は、自車両が走行する走行路の形状や、接近車両が走行する走行路の路面種類等を検出し、検出結果に基づいて、集音特性を調整する。
特開2009-258802号公報 特開2015-32155号公報 特開2009-251799号公報 特開2011-232293号公報
 特許文献1乃至4に記載の技術によれば、自車両の周囲の音を運転手に通知することができる。しかし、自車両の周囲には様々な音が混在する。混在する音の中には、運転手への通知が望まれる音、及び、運転手への通知が不要な音が混在する。単に、車外の音を集音し、車内のスピーカから出力させる場合、運転手に通知される音の中に、運転手への通知が望まれる音、及び、運転手への通知が不要な音が混在する。結果、運転手への通知が望まれる音を運転手が聞き逃す等の不都合が発生し得る。
 本発明の課題の一例は、自車両の周囲の音を運転手に通知するシステムにおいて発生し得る上述のような不都合を軽減する技術を提供することである。
 請求項1に記載の発明は、
 複数のマイクで車両外部の環境音を集音する集音部と、
 前記集音部にて集音した環境音を増幅させて車両内部に出力させる処理部と、
を有し、
 前記処理部は、一部のマイクで集音された前記環境音の増幅率を、他のマイクで集音された前記環境音の増幅率と異ならせる処理装置である。
 請求項6に記載の発明は、
 複数の車両から、当該車両の位置情報、当該位置情報が示す位置において設定された環境音の増幅率の情報、前記増幅率を設定したマイクの情報、前記車両と前記環境音との位置関係の情報、並びに、当該位置に置ける周辺の環境及び日時の少なくとも一方を含む条件情報を取得する取得部と、
 前記取得部により取得された情報に基づき、所定の位置において設定される増幅率、当該増幅率が設定される対象となるマイク及び当該増幅率が設定される際の条件を含む参照情報を生成する生成部と、
 他の車両から送信される位置情報及び条件情報、並びに、前記参照情報に基づき、前記他の車両が設定する増幅率を決定する決定部と、
 を有するサーバ装置である。
 請求項7に記載の発明は、
 コンピュータが、
 複数のマイクで車両外部の環境音を集音する集音工程と、
 前記集音部にて集音した環境音を増幅させて車両内部に出力させる処理工程と、
を実行し、
 前記処理工程は、一部のマイクで集音された前記環境音の増幅率を、他のマイクで集音された前記環境音の増幅率と異ならせる出力方法である。
 請求項8に記載の発明は、
 コンピュータを、
 複数のマイクで車両外部の環境音を集音する集音手段、
 前記電気信号にて集音した環境音を増幅させて車両内部に出力させる処理手段、
として機能させ、
 前記処理手段は、一部のマイクで集音された前記環境音の増幅率を、他のマイクで集音された前記環境音の増幅率と異ならせるプログラムである。
 上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本実施形態の処理装置の機能ブロック図の一例を示す図である。 本実施形態の処理装置のハードウエア構成の一例を示すブロック図である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 サーバ装置に蓄積される情報の一例を模式的に示す図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。
 以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
<本実施形態の概要>
 本実施形態の処理装置は、例えば車両に搭載される車載装置であってもよいし、車両内に持ち込まれる携帯端末(例:スマートフォン、タブレット、携帯電話など)であってもよい。処理装置は、集音部と、処理部とを有する。集音部は、複数のマイクで車両外部(以下、「車外」という場合がある)の環境音(以下、「車外の音」という場合がある)を集音し、電気信号に変換する。処理部は、集音部にて集音した環境音を増幅させて車両内部に出力させる。なお、処理部は、一部のマイクで集音された環境音の増幅率を、他のマイクで集音された環境音の増幅率と異ならせる。
 このような本実施形態の処理装置によれば、複数のマイクで集音された音のうち、出力させる音を相対的に大きくする音と、出力させる音を相対的に小さくする音とを適切に選択することで、所望の音源の音(運転手への通知が望まれる音)を残しつつ、他の音源の音(運転手への通知が不要な音)を軽減して、車内に設置されたスピーカから車外の音を出力させることができる。
<本実施形態の詳細>
 次に、本実施形態の処理装置の構成を詳細に説明する。図1に、本実施形態の処理装置10の機能ブロック図の一例を示す。図示するように、本実施形態の処理装置10は、集音部11と、処理部12と、検出部13とを有する。
 機能ブロック図で示される各機能部は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
 図2は、本実施形態の処理装置10のハードウエア構成を例示するブロック図である。図2に示すように、処理装置10は、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有する。周辺回路4Aには、様々なモジュールが含まれる。なお、周辺回路4Aを有さなくてもよい。
 バス5Aは、プロセッサ1A、メモリ2A、周辺回路4A及び入出力インターフェイス3Aが相互にデータを送受信するためのデータ伝送路である。プロセッサ1Aは、例えばCPU(Central Processing Unit)やGPU(Graphics Processing Unit)などの演算処理装置である。メモリ2Aは、例えばRAM(Random Access Memory)やROM(Read Only Memory)などのメモリである。入出力インターフェイス3Aは、入力装置(例:キーボード、マウス、マイク等)、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置(例:ディスプレイ、スピーカ、プリンター、メーラ等)、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ1Aは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
 以下、図1の機能ブロック図で示される各機能部の機能を詳細に説明する。
 検出部13は、自車両の現在位置を検出する。「自車両」は、処理装置10を搭載した車両を意味する(以下同様)。現在位置を取得する手段は、例えばGPS(Global Positioning System)を利用するものなどが考えられるが、特段限定されない。
 集音部11は、車両外部の環境音を集音し、電気信号に変換する。集音部11は、複数のマイクを有する。複数のマイクは、車外の音を集音する任意の位置に設置される。例えば、4つのマイクが自車両の右前方、左前方、右後方、左後方の4か所に設置されてもよい。
 処理部12は、集音部11にて集音した環境音を増幅させて車両内部に出力させる。すなわち、処理部12は、集音部11により生成された電気信号に基づき、車内に設置されたアンプ及びスピーカを介して車外の音を出力させる。処理部12は、集音部11が生成した電気信号に所定の処理を実行する。例えば、処理部12は、複数の周波数フィルタの中から選択した周波数フィルタを用いて、電気信号にフィルタ処理を行ってもよい。また、処理部12は、電気信号に対してゲイン調整(増幅処理、減衰処理等)を行ってもよい。また、複数のマイクで集音される場合には、処理部12は、複数のマイク各々に対応する複数の音波を合成する処理(複数のマイクで集音した複数の音の合成)を行ってもよい。なお、処理部12は、電気信号に対してその他の処理を行ってもよい。
 処理部12は、上述のような処理後の信号に基づき、車内に設置されたスピーカを介して車外の音を出力させる。処理部12は、集音部11で集音された音を、リアルタイムにスピーカから出力させる。集音から出力までのタイムロスはできるだけ小さいのが好ましい。スピーカの数及び設置位置は設計的事項である。
 ここで、処理部12が実行できるフィルタ処理について説明する。処理部12は、一部の周波数帯域の成分を通し、他の周波数帯域の成分を低減する周波数フィルタを用いて、フィルタ処理を行う。
 複数の周波数フィルタは、低減する周波数帯域が互いに異なる。例えば、複数の周波数フィルタの中には、「人間の声の周波数帯域の成分を通し、その他の周波数帯域の成分を低減する周波数フィルタ」、「人間の子供の声の周波数帯域の成分を通し、その他の周波数帯域の成分を低減する周波数フィルタ」、「自転車の音(例:ブレーキ音、ベル音、車輪の回転音等)の周波数帯域の成分を通し、その他の周波数帯域の成分を低減する周波数フィルタ」、「海の波の音の周波数帯域の成分を通し、その他の周波数帯域の成分を低減する周波数フィルタ」、及び、「鳥の鳴き声の周波数帯域の成分を通し、その他の周波数帯域の成分を低減する周波数フィルタ」の中のいずれか1つまたは複数が含まれてもよい。なお、例示した周波数フィルタはあくまで一例であり、これらに限定されない。
 処理部12は、検出部13により検出された現在位置に基づき、周波数フィルタを選択することができる。例えば、処理部12は、現在位置の属性(位置属性)を特定してもよい。そして、処理部12は、特定した位置属性に対応する周波数フィルタを選択してもよい。以下、当該処理の一例を説明する。
 例えば、処理部12は、各位置の属性(位置属性)を示す地図情報に基づき、現在位置の位置属性を特定してもよい。位置属性としては、例えば、「スクールゾーン」、「自転車の交通量が多い」、「海沿い」、「鳥の鳴き声が聞こえる」等が例示されるがこれらに限定されない。なお、地図情報では、ある位置に1つの位置属性を対応付けてもよいし、ある位置に複数の位置属性を対応付けてもよい。また、位置属性を対応付けられていない位置が存在してもよい。
 そして、処理部12は、特定した現在位置の位置属性に対応する周波数フィルタを選択する。例えば、処理部12は、図3に示すように、位置属性と周波数フィルタのID(identifier)とを対応付けた対応情報を保持しておいてもよい。そして、処理部12は、当該対応情報に基づき、現在位置の位置属性に対応する周波数フィルタを選択してもよい。
 「位置属性:スクールゾーン」に対応する周波数フィルタは、例えば、「人間の子供の声の周波数帯域の成分を通し、その他の周波数帯域の成分を低減する周波数フィルタ」であってもよい。また、「位置属性:自転車の交通量が多い」に対応する周波数フィルタは、例えば、「自転車の音(例:ブレーキ音、ベル音、車輪の回転音等)の周波数帯域の成分を通し、その他の周波数帯域の成分を低減する周波数フィルタ」であってもよい。
 また、「位置属性:海沿い」に対応する周波数フィルタは、例えば、「海の波の音の周波数帯域の成分を通し、その他の周波数帯域の成分を低減する周波数フィルタ」であってもよい。また、「位置属性:鳥の鳴き声が聞こえる」に対応する周波数フィルタは、例えば、「鳥の鳴き声の周波数帯域の成分を通し、その他の周波数帯域の成分を低減する周波数フィルタ」であってもよい。
 処理部12は、例えば上述のようにして選択した周波数フィルタを用いて、集音部11が生成した電気信号にフィルタ処理を行う。
 なお、図3では図示していないが、処理部12は、複数の位置属性の組み合わせと周波数フィルタのID(identifier)とを対応付けた対応情報を保持しておいてもよい。例えば、「位置属性:スクールゾーン」と「位置属性:自転車の交通量が多い」の組み合わせに対応して、周波数フィルタが対応付けられてもよい。当該周波数フィルタは、「人間の子供の声の周波数帯域の成分、及び、自転車の音(例:ブレーキ音、ベル音、車輪の回転音等)の周波数帯域の成分を通し、その他の周波数帯域の成分を低減する周波数フィルタ」であってもよい。
 現在位置に複数の位置属性が対応付けられている場合、処理部12は、複数の位置属性の組み合わせに対応する周波数フィルタを選択することができる。
 また、現在位置にいずれの位置属性も対応付けられていない場合、処理部12は、周波数フィルタを選択しなくてもよい。この場合、フィルタ処理を行わずに車外の音がスピーカら出力されてもよい。
 ところで、上述の通り、現在位置の位置属性に応じて、周波数フィルタを通過させてスピーカから出力させる音、すなわち、運転手に通知する音が異なる。例えば、スクールゾーンでは子供の声を通知し、自転車の交通量が多い位置では自転車の音を通知し、海沿いでは海の波の音を通知し、鳥の鳴き声が聞こえる位置では鳥の鳴き声を通知するという具合である。
 このように、運転手に通知する音は複数種類(例:人間の話す声、自転車の音、海の波の音、鳥の鳴き声)存在し得るが、それらは、音源から発せられる音の大きさが互いに異なる。
 そこで、処理部12は、現在位置の位置属性に応じて(すなわち、現在位置に応じて)、スピーカに入力される信号の増幅率を変えてもよい。増幅率は、0以上の値である。具体的には、処理部12は、現在位置で運転手に通知する音を適切な大きさ(大きすぎず、かつ、小さすぎず)で運転手に通知できるように、上記増幅率を設定してもよい。
 また、処理部12は、一部のマイクで集音された環境音の増幅率を、他のマイクで集音された環境音の増幅率と異ならせることができる。すなわち、処理部12は、一部のマイク(第1のグループのマイク)で集音され、スピーカに入力される信号の増幅率を、他のマイク(第2のグループのマイク)で集音され、スピーカに入力される信号の増幅率と異ならせることができる。
 例えば、処理部12は、自車両の現在位置に基づき、一部のマイク(第1のグループのマイク)を決定することができる。すなわち、処理部12は、自車両の現在位置に基づき、複数のマイクを、第1のグループ及び第2のグループにグループ分けすることができる。
 例えば、自車両の現在位置の位置属性が「海沿い」である場合、処理部12は、海が存在する側に位置するマイクで集音された音の信号の増幅率を、他のマイクで集音された音の信号の増幅率よりも大きくしてもよい。例えば、海が自車両の右側に位置する場合、処理部12は、自車両の右側(例:右前方、右後方等)に位置するマイクを第1のグループに分類し、自車両の左側(例:左前方、左後方等)に位置するマイクを第2のグループに分類してもよい。そして、第1のグループで集音された音の信号の増幅率を、第2のグループで集音された音の信号の増幅率よりも大きくしてもよい。
 その他、例えば、処理部12は、自車両の周囲の状況に基づき、一部のマイク(第1のグループのマイク)を決定することができる。すなわち、処理部12は、自車両の周囲の状況に基づき、複数のマイクを、第1のグループ及び第2のグループにグループ分けすることができる。また、処理部12は、周囲の状況に応じて、音量レベルを調整してもよい。
 例えば、処理部12は、複数のマイクのうち、基準値以上の大きさの音を集音しているマイクを第2のグループに分類し、その他を第1のグループに分類してもよい。そして、第2のグループで集音された音を、第1のグループで集音された音よりも小さく出力させてもよい。このようにすれば、例えば極端に音の大きさが大きくなっている方向の音だけ、他の方向の音と同様のレベルの大きさ又はそれより小に調整することができる。結果、極端に大きな音に他の音が埋もれる不都合を軽減できる。
 その他、例えば、処理部12は、複数のマイクのうち、自車両の前方に取り付けられたマイクを第2のグループに分類し、その他を第1のグループに分類してもよい。そして、第2のグループで集音された音を、第1のグループで集音された音よりも小さく出力させてもよい。自車両の前方は目視し易い。このため、その方向の音は他の方向の音に比べて、運転手に通知する優先度を低くすることができる。
 その他、例えば、処理部12は、複数のマイクのうち、運転手の視線の方向の音を他のマイクより集音しやすいマイクを第2のグループに分類し、その他を第1のグループに分類してもよい。例えば、運転手が右前方を見ている場合、車両の右前方に取り付けられたマイクが第2のグループに分類される。運転手が視認している方向の音は他の方向の音に比べて、運転手に通知する優先度を低くすることができる。なお、運転手の視線の方向を検出する手段は、従来技術に準じて実現できる。例えば、カメラが撮影した運転手の画像を解析することで、運転手の視線の方向を検出してもよい。
 次に、本実施形態の処理装置10の処理の流れの一例を説明する。
 図4に示すように、車外の音をスピーカから出力する処理が開示されると、集音部11は、車外の音を集音する(S10)。
 そして、処理部12は、集音部11により生成された電気信号に対して、設定されている条件で処理を行う。例えば、処理部12は、複数のマイク各々で生成された電気信号に対して、各マイクに対応して設定されている条件でゲインの調整を行う。そして、ゲインの調整後の電気信号に基づき、複数のマイク各々に対応する複数の音波を合成する。
 S11の後、処理部12は、処理後の電気信号に基づき、スピーカから車外の音を出力させる(S12)。
 次に、図5のフローチャートを用いて、上記設定されている条件を変更する処理の一例を説明する。
 検出部13は、条件を設定するための情報を取得する処理を継続する。例えば、検出部13は、自車両の現在位置を示す情報、運転手の視線の方向を示す情報、複数のマイク各々で集音された音の大きさを示す情報等を取得する。
 そして、処理部12は、最新の情報に基づき、条件を決定し、設定する(S21)。すなわち、処理部12は、最新の情報に基づき、複数のマイクを第1のグループ及び第2のグループに分類する。そして、グループ毎にゲイン調整の条件を設定する。
 次に、本実施形態の作用効果を説明する。
 本実施形態の処理装置10によれば、周波数フィルタの選択、及び、選択した周波数フィルタを用いたフィルタ処理により、所望の音源の音(運転手への通知が望まれる音)を残しつつ、他の音源の音(運転手への通知が不要な音)を軽減して、車内に設置されたスピーカから車外の音を出力させることができる。このような本実施形態の処理装置10によれば、従来技術に比べて確実に、所望の車外の音を運転手に通知することができる。
 また、本実施形態の処理装置10は、現在位置に基づき周波数フィルタを選択することができる。このような処理装置10によれば、現在位置に応じて、残す音及び軽減する音を適切に選択し、車内に設置されたスピーカから車外の音を出力させることができる。
 運転手に通知すべき音は多数存在する。それらすべてを通す周波数フィルタの場合、ほとんどの音を通してしまい、フィルタ効果が薄れてしまう。本実施形態の場合、現在位置に応じて運転手に通知すべき音を絞り込み、その音を通す周波数フィルタを選択することができる。このため、従来技術に比べて確実に、各場所で運転手に通知すべき音を運転手に通知することができる。
 また、本実施形態の処理装置10は、現在位置に応じて、スピーカに入力される信号の増幅率を変えることができる。運転手に通知すべき音は多数存在し、音源から発せられる大きさは互いに異なる。このため、スピーカに入力される信号の増幅率を一定にしていると、ある音は適当な大きさで聞こえるが、他の音は聞こえにくかったり、また、大きすぎたりという状況が生じ得る。
 音が聞こえにくいと、運転手がその音を聞き逃すという問題が発生し得る。また、音が大きすぎると、運転の妨げになり得る。また、音が大きすぎると、運転手がスピーカの音量の設定を小さくなるように変更し、それ以降、所定の音が聞こえにくくなる等の問題が発生し得る。
 現在位置に応じてスピーカに入力される信号の増幅率を変え、各位置で運転手に通知すべき音が適当な大きさでスピーカから出力されるように調整できる処理装置10によれば、上述のような不都合を軽減できる。
 また、本実施形態の処理装置10は、一部のマイクで集音され、スピーカに入力される信号の増幅率を、他のマイクで集音され、スピーカに入力される信号の増幅率と異ならせることができる。そして、現在位置、周囲の状況、運転手の状況等に応じて、上記一部のマイクと上記他のマイクとのグループ分けを行うことができる。
 例えば、処理装置10は、運転手に通知すべき音を集音しやすいマイク(例:運転手に通知すべき音の音源が位置する側のマイク)で集音された音の信号の増幅率を、他のマイクで集音された音の信号の増幅率よりも大きくすることができる。このような処理装置10によれば、運転手に通知すべき音を強調してスピーカから出力させることができる。結果、従来技術に比べて確実に、各場所で運転手に通知すべき音を運転手に通知することができる。
 また、極端に大きい音を集音しているマイクで集音された音の信号の増幅率を、他のマイクで集音された音の信号の増幅率よりも小さくすることができる。このような処理装置10によれば、運転手に通知すべき音が極端に大きい音に埋もれてしまう不都合を軽減できる。結果、従来技術に比べて確実に、運転手に通知すべき音を運転手に通知することができる。
 また、処理装置10は、自車両の前方に設置されたマイクや、運転手の視線の方向の音を集音しやすいマイクで集音された音の信号の増幅率を、他のマイクで集音された音の信号の増幅率よりも小さくすることができる。自車両の前方や、運転手の視線の方向は、他の方向の音に比べて、運転手に通知する優先度が低い。このような方向の音を小さくすることで、他の方向から発せられた運転手に通知すべき音を、より確実に、運転手に通知することができる。
<変形例>
 ここで、本実施形態の処理装置10の変形例を説明する。処理装置10は、設定した増幅率を、増幅率を設定したときの自車両の位置情報と日時情報と対応付けて外部のサーバ装置に送信してもよい。外部のサーバ装置は送信された情報に基づき地図情報を更新する。
 図6のフローチャートを用いて、処理の流れの一例を説明する。車両Aに搭載された処理装置10の検出部13が自車両の現在位置を検出し(S30)、処理部12が現在位置に基づき増幅率を設定すると(S31)、処理装置10は、集音部11により集音された音を解析し、増幅する対象となる音が集音された音に含まれているか否かと、音源と自車両との位置関係を判断する(S32)。例えば、現在位置の属性が「海沿い」である場合、波の音が含まれているか否か、及び、波の音の音源と自車両との位置関係を判断する。
 集音した音に増幅する対象となる音が含まれている場合(S32のYes)、音を増幅したときに設定した増幅率情報、増幅率を設定したときの位置情報、信号を増幅する対象のマイクのグループ、日時情報及び/又は環境情報(例えば、天候情報、渋滞情報等)並びに自車両と音源との位置関係を外部のサーバ装置に送信する(S33)。集音した音に増幅する対象となる音が含まれていない場合(S32のNo)、サーバ装置への情報送信は行わない。
 サーバ装置は、複数の車両からこれらの情報を受信し(S34、取得部)、受信する毎に個別ID(identifier)と共にテーブルデータとして記憶する(S35)。そして、記憶したテーブルデータを統計処理することで、位置毎に設定される増幅率、その増幅率が設定される条件及び信号を増幅する対象のマイクのグループの一又は複数の組み合わせを参照情報として算出する(S36、生成部)。算出した参照情報は地図情報に埋め込んでもよい。
 増幅率を新たに設定する車両Bに搭載された処理装置10は、現在の位置情報、日時情報及び/又は環境情報を条件情報としてサーバ装置に送信し、設定すべき増幅率を問い合わせる(S40)。
 サーバ装置は、当該問い合わせを受信すると(S37)、S36で生成した参照情報、及び、S37で受信した情報に基づき、設定されるべき増幅率及び信号を増幅する対象のマイクのグループを決定し(S38、決定部)、その情報を車両Bの処理装置10に送信する(S39)。
 車両Bの処理装置10は、サーバ装置から送信された情報を受信すると(S41)、受信した情報で示される増幅率及び信号を増幅する対象のマイクのグループを特定し、特定した内容で集音部11に集音された音を処理する(S42)。
 なお、サーバ装置から各車両の処理装置10に参照情報を送信してもよい。そして、各処理装置10が自身で、参照情報に基づき、増幅率及び信号を増幅する対象のマイクのグループを決定してもよい。
 当該変形例でサーバ装置に収集される情報の一例を図7に模式的に示す。当該変形例の場合、音源の方向を特定する必要が無く、また、周辺環境や時刻の変化の条件に対応して増幅率を設定することができる。
 図8のフローチャートを用いて、他の変形例を説明する。処理装置10は、緊急車両の接近等、車内に出力する必要のある音が自車両周辺に発生した場合は、集音状況に応じて車内に出力する必要のある音も強調するよう増幅率を設定する。具体的には、マイクで集音した音(S50)に、運転者に対し出力する必要がある音(緊急車両の音、公共の緊急放送等)が含まれているか否かを、処理装置10は判断する(S51)。運転者に対し出力する必要がある音が含まれる場合(S51のYes)、状況に応じて自車両の位置情報に基づき設定した増幅率を維持しつつ、運転者に対して出力する必要のある音の音源の方向に位置するマイクグループのゲインを調整する。例えば、緊急車両が接近している場合(S52のYes)等、時間経過とともに運転者にとって重要度が増加する場合は運転者に対して出力する必要のある音の到来方向に位置するマイクの増幅率を上げ、緊急車両が遠ざかる場合(S52のNo)等、時間経過とともに運転者にとって重要度が減少する場合は増幅率の調整を行わない。結果、車両の現在位置によらない、車両の搭乗者にとって重要となる音についても、搭乗者に対し出力することができる。S51のNoの場合、及び、S52のNoの場合は、上述した本実施形態の構成に従い自車両の現在位置に基づき増幅率が決定される。なお、運転者に対し出力する必要がある音の種類は、予め登録されていてもよい。
 また、自動運転車両において、自動運転システムから搭乗者への運転の権限委譲が起こる場合、当該権限委譲の緊急度合いに応じて集音した音を車室内に出力してもよい。例えば、権限譲渡の緊急度合いが高い場合は集音した音に代えてアラーム音を出力し、権限譲渡の緊急度合いが低い場合は集音した音を出力する。緊急度の低い権限委譲にアラーム音ではなく車外の音を使用することで、より自然でストレスの少ない権限委譲が可能となる。
 以上、図面を参照して実施形態及び実施例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
 この出願は、2016年10月25日に出願された日本出願特願2016-208427号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (8)

  1.  複数のマイクで車両外部の環境音を集音する集音部と、
     前記集音部にて集音した環境音を増幅させて車両内部に出力させる処理部と、
    を有し、
     前記処理部は、一部のマイクで集音された前記環境音の増幅率を、他のマイクで集音された前記環境音の増幅率と異ならせる処理装置。
  2.  請求項1に記載の処理装置において、
     自車両の現在位置を検出する検出部をさらに有し、
     前記処理部は、前記現在位置に基づき、前記一部のマイクを決定する処理装置。
  3.  請求項1又は2に記載の処理装置において、
     自車両の現在位置を検出する検出部をさらに有し、
     前記処理部は、前記現在位置に応じて、前記増幅率を設定する処理装置。
  4.  請求項1から3のいずれか1項に記載の処理装置において、
     自車両の現在位置を検出する検出部をさらに有し、
     前記処理部は、前記現在位置に基づき複数の周波数フィルタの中から選択した前記周波数フィルタを用いて前記環境音にフィルタ処理を行い、フィルタ処理後の前記電気信号に基づき、車内に設置されたスピーカから音を出力させる処理装置。
  5.  請求項1から4いずれか1項に記載の処理装置において、
     前記処理部は、前記環境音を増幅しているときにおける、前記現在位置を特徴つける音でなく、かつ前記車両の搭乗者に聴取させる必要のある外部音の前記集音部による集音状況に応じて、前記複数のマイクにおける増幅率を維持するか否かを判断する処理装置
  6.  複数の車両から、当該車両の位置情報、当該位置情報が示す位置において設定された環境音の増幅率の情報、前記増幅率を設定したマイクの情報、前記車両と前記環境音との位置関係の情報、並びに、当該位置に置ける周辺の環境及び日時の少なくとも一方を含む条件情報を取得する取得部と、
     前記取得部により取得された情報に基づき、所定の位置において設定される増幅率、当該増幅率が設定される対象となるマイク及び当該増幅率が設定される際の条件を含む参照情報を生成する生成部と、
     他の車両から送信される位置情報及び条件情報、並びに、前記参照情報に基づき、前記他の車両が設定する増幅率を決定する決定部と、
     を有するサーバ装置。
  7.  コンピュータが、
     複数のマイクで車両外部の環境音を集音する集音工程と、
     前記集音部にて集音した環境音を増幅させて車両内部に出力させる処理工程と、
    を実行し、
     前記処理工程は、一部のマイクで集音された前記環境音の増幅率を、他のマイクで集音された前記環境音の増幅率と異ならせる出力方法。
  8.  コンピュータを、
     複数のマイクで車両外部の環境音を集音する集音手段、
     前記電気信号にて集音した環境音を増幅させて車両内部に出力させる処理手段、
    として機能させ、
     前記処理手段は、一部のマイクで集音された前記環境音の増幅率を、他のマイクで集音された前記環境音の増幅率と異ならせるプログラム。
PCT/JP2017/038573 2016-10-25 2017-10-25 処理装置、サーバ装置、出力方法及びプログラム WO2018079624A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17865653.4A EP3534350A4 (en) 2016-10-25 2017-10-25 PROCESSING DEVICE, SERVER DEVICE, OUTPUT PROCESS AND PROGRAM
US16/345,200 US10720897B2 (en) 2016-10-25 2017-10-25 Processing device, server device, output method, and non-transitory storage medium
JP2018547734A JP6690007B2 (ja) 2016-10-25 2017-10-25 処理装置、サーバ装置、出力方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-208427 2016-10-25
JP2016208427 2016-10-25

Publications (1)

Publication Number Publication Date
WO2018079624A1 true WO2018079624A1 (ja) 2018-05-03

Family

ID=62025113

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/038573 WO2018079624A1 (ja) 2016-10-25 2017-10-25 処理装置、サーバ装置、出力方法及びプログラム

Country Status (4)

Country Link
US (1) US10720897B2 (ja)
EP (1) EP3534350A4 (ja)
JP (1) JP6690007B2 (ja)
WO (1) WO2018079624A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10319228B2 (en) 2017-06-27 2019-06-11 Waymo Llc Detecting and responding to sirens
JP7120077B2 (ja) * 2019-02-27 2022-08-17 トヨタ自動車株式会社 運転支援システム
CN113525271A (zh) * 2020-04-15 2021-10-22 上海擎感智能科技有限公司 一种车辆降噪方法、车机及计算机存储介质
US20230419944A1 (en) * 2020-12-04 2023-12-28 Cerence Operating Company In-cabin audio filtering

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008035472A (ja) * 2006-06-28 2008-02-14 National Univ Corp Shizuoka Univ 車内外音響伝送システム
JP2008239099A (ja) * 2007-03-28 2008-10-09 Fujitsu Ten Ltd 車両騒音制御装置および車両騒音制御方法
JP2009051333A (ja) * 2007-08-27 2009-03-12 Nissan Motor Co Ltd 車両用聴覚モニタ装置
JP2011233090A (ja) * 2010-04-30 2011-11-17 Toyota Motor Corp 車外音検出装置
JP2013149080A (ja) * 2012-01-19 2013-08-01 Denso Corp 音声出力装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5303998B2 (ja) * 2008-04-03 2013-10-02 日産自動車株式会社 車外情報提供装置及び車外情報提供方法
JP5272489B2 (ja) 2008-04-11 2013-08-28 日産自動車株式会社 車外情報提供装置および車外情報提供方法
JP2011232293A (ja) 2010-04-30 2011-11-17 Toyota Motor Corp 車外音検出装置
JP2015032155A (ja) 2013-08-02 2015-02-16 株式会社デンソー 音声通知システム
US20180270571A1 (en) * 2015-01-21 2018-09-20 Harman International Industries, Incorporated Techniques for amplifying sound based on directions of interest

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008035472A (ja) * 2006-06-28 2008-02-14 National Univ Corp Shizuoka Univ 車内外音響伝送システム
JP2008239099A (ja) * 2007-03-28 2008-10-09 Fujitsu Ten Ltd 車両騒音制御装置および車両騒音制御方法
JP2009051333A (ja) * 2007-08-27 2009-03-12 Nissan Motor Co Ltd 車両用聴覚モニタ装置
JP2011233090A (ja) * 2010-04-30 2011-11-17 Toyota Motor Corp 車外音検出装置
JP2013149080A (ja) * 2012-01-19 2013-08-01 Denso Corp 音声出力装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3534350A4 *

Also Published As

Publication number Publication date
US10720897B2 (en) 2020-07-21
US20190280664A1 (en) 2019-09-12
EP3534350A4 (en) 2020-10-21
JPWO2018079624A1 (ja) 2019-09-19
JP6690007B2 (ja) 2020-04-28
EP3534350A1 (en) 2019-09-04

Similar Documents

Publication Publication Date Title
WO2018079624A1 (ja) 処理装置、サーバ装置、出力方法及びプログラム
US9683884B2 (en) Selective audio/sound aspects
US20180237033A1 (en) System and method for sound direction detection in a vehicle
JP6718204B2 (ja) 外部事象を車両乗員にアラートし、車内会話をマスクするための外部音響の使用
US9763003B2 (en) Automotive constant signal-to-noise ratio system for enhanced situation awareness
CN103108777B (zh) 车辆外部警告声音生成系统和方法
US20120051561A1 (en) Audio/sound information system and method
US20120121103A1 (en) Audio/sound information system and method
RU2559742C2 (ru) Способ и устройство для предоставления информации об источнике звука через аудио устройство
US20150365743A1 (en) Method and apparatus for including sound from an external environment into a vehicle audio system
US9479872B2 (en) Audio reproducing method and apparatus
US10490072B2 (en) Extended range vehicle horn
WO2018079623A1 (ja) 処理装置、サーバ装置、出力方法及びプログラム
US20170303037A1 (en) Enhanced audio landscape
EP3595331A1 (en) Information processing device, information processing method and recording medium
WO2018079527A1 (ja) 制御装置、出力方法及びプログラム
WO2014192260A1 (ja) 車載通信装置およびプログラム
US11654835B2 (en) Rear seat display device
KR20220054504A (ko) 차량 및 그 제어방법
WO2018062476A1 (ja) 車載装置、出力方法及びプログラム
KR20090046326A (ko) 환경소음에 따른 스피커 음량 자동 제어 시스템 및 그 제어방법
JP2015226147A (ja) 車載用音響装置
JP2005241271A (ja) 音声ガイド付カーナビゲーションシステム
CN114801983A (zh) 扬声系统、用于控制扬声系统的方法和电动车辆
CN117643074A (zh) 用于载具的通透音频模式

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17865653

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018547734

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017865653

Country of ref document: EP

Effective date: 20190527