JP5303998B2 - Outside vehicle information providing apparatus and outside vehicle information providing method - Google Patents
Outside vehicle information providing apparatus and outside vehicle information providing method Download PDFInfo
- Publication number
- JP5303998B2 JP5303998B2 JP2008097177A JP2008097177A JP5303998B2 JP 5303998 B2 JP5303998 B2 JP 5303998B2 JP 2008097177 A JP2008097177 A JP 2008097177A JP 2008097177 A JP2008097177 A JP 2008097177A JP 5303998 B2 JP5303998 B2 JP 5303998B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- range
- vehicle
- information
- outside
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title description 45
- 238000001514 detection method Methods 0.000 claims abstract description 68
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 230000008859 change Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 26
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 101000836540 Homo sapiens Aldo-keto reductase family 1 member B1 Proteins 0.000 description 1
- 101000809450 Homo sapiens Amphiregulin Proteins 0.000 description 1
- 101000928259 Homo sapiens NADPH:adrenodoxin oxidoreductase, mitochondrial Proteins 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 102000046818 human AR Human genes 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車両外部の情報を運転者に対して提供する車外情報提供装置及び車外情報提供方法に関する。 The present invention relates to an out-of-vehicle information providing apparatus and an out-of-vehicle information providing method for providing information outside a vehicle to a driver.
従来、運転者に対して車両外部で発生する危険を高速且つ自然に告知することを目的として、音によって危険の存在を提示することが行われている。例えば、かかる技術としては、緊急車両の音を集音して運転者に当該緊急車両の存在を気付かせるものが提案されている。 2. Description of the Related Art Conventionally, the presence of danger is presented by sound for the purpose of notifying a driver of danger occurring outside the vehicle at high speed and naturally. For example, as such a technique, a technique has been proposed in which the sound of an emergency vehicle is collected to make the driver aware of the presence of the emergency vehicle.
しかしながら、全てのシーンにおいて、車両外部の音情報を運転者に提示することは、運転者の注意を散漫にさせる可能性が高く好ましくないため、提示する音を取捨選択する必要がある。従来の技術においては、提示する音を、踏み切りの音や緊急車両の音等、いくつかの音に限定して運転者に対して情報提供を行っているが、これでは限定された状態においてのみ外部の危険を音で知らせることしかできず、例えばより緊急度の高い追い越し車両等の存在を運転者に対して的確に知らせることはできないという問題があった。 However, in all scenes, it is not preferable to present the sound information outside the vehicle to the driver because it is likely to distract the driver's attention, so it is necessary to select the sound to be presented. In the conventional technology, the information to be presented is provided to the driver by limiting the sounds to be presented to some sounds such as crossing sounds and emergency vehicle sounds. There is a problem that external danger can only be notified by sound, for example, it is impossible to accurately notify the driver of the presence of an overtaking vehicle or the like with a higher degree of urgency.
そこで、本発明は、上述した実情に鑑みて提案されたものであり、運転者に負担をかけることなく、状況に応じた最適な車両外部の音情報を運転者に対して提供することができる車外情報提供装置及び車外情報提供方法を提供することを目的とする。 Therefore, the present invention has been proposed in view of the above-described circumstances, and can provide the driver with sound information outside the vehicle that is optimal for the situation without burdening the driver. An object of the present invention is to provide a vehicle outside information providing apparatus and a vehicle outside information providing method.
本発明では、現在の自車両の走行状況に応じて、運転者に提示する音の入出力範囲である音提示範囲、及び自車両に設置されて自車両外部の音を集音する集音手段による集音範囲を決定し、自車両周囲に存在する物体を検出した場合に、前記集音手段によって集音された音、及び決定された音提示範囲及び集音範囲内に存在する物体を表す仮想音を時空間にマッピングして、運転者に音情報を提示することにより、上述の課題を解決する。 In the present invention, the sound presenting range which is the input / output range of the sound presented to the driver according to the current traveling state of the own vehicle, and the sound collecting means which is installed in the own vehicle and collects the sound outside the own vehicle Represents the sound collected by the sound collecting means, and the sound presenting range and the object existing in the sound collecting range when an object existing around the host vehicle is detected. The above-mentioned problem is solved by mapping virtual sound to space-time and presenting sound information to the driver.
本発明にかかる車外情報提供装置及び車外情報提供方法によれば、自車両の走行状況に応じて不要な情報を提示しないことにより、全ての音情報が運転者に提示されてしまうことがなくなるので、運転者の注意を散漫にさせる可能性を低減して当該運転者に負担をかけることなく、状況に応じた最適な車両外部の音情報を提供することができる。 According to the out-of-vehicle information providing apparatus and out-of-vehicle information providing method according to the present invention, it is possible to prevent all sound information from being presented to the driver by not presenting unnecessary information according to the traveling state of the host vehicle. Thus, the possibility of distracting the driver's attention can be reduced, and optimal sound information outside the vehicle can be provided according to the situation without placing a burden on the driver.
以下、本発明の好適な実施形態としての車外情報提供装置について具体的に説明する。 Hereinafter, an outside information providing apparatus as a preferred embodiment of the present invention will be specifically described.
[車外情報提供装置の構成]
本発明の実施形態として示す車外情報提供装置は、自車両外部に設置されたマイクロホンやセンサを用いて自車両外部の音を車速等の車両状態に応じて収集し、音情報として運転者に対して提供するものである。
[Configuration of information providing device outside the vehicle]
The outside information providing apparatus shown as an embodiment of the present invention collects sounds outside the own vehicle according to the vehicle state such as the vehicle speed using a microphone and a sensor installed outside the own vehicle, and provides the driver with sound information as sound information. Provided.
具体的には、車外情報提供装置は、図1に示すように、自車両外部の音を集音するマイクロホン11と、自車両周囲に存在する物体を検出する物体検出センサ12と、自車両周囲の環境を検出する環境検出部13と、自車両に関係のある各種情報を判定する情報判定部14と、運転者に提示する音の入出力範囲である音提示範囲やマイクロホン11による集音範囲を切り替える音提示範囲及び集音範囲切替装置15と、出力する音のタイミングや位置を決定するタイミング及び位置決定部16と、運転者に音情報を提示する情報提示部17とを備える。
Specifically, as shown in FIG. 1, the vehicle information providing apparatus includes a
なお、車外情報提供装置は、これら各部のうち、少なくとも、マイクロホン11、物体検出センサ12、環境検出部13における車載機器操作信号出力部13b、情報判定部14における移動方向検出部14b、音提示範囲及び集音範囲切替装置15、タイミング及び位置決定部16、及び情報提示部17を備えていればよい。
The vehicle information providing apparatus includes at least a
マイクロホン11は、自車両に設置され、当該自車両外部の音を集音する。このマイクロホン11としては、自車両外部の音を集音して電気信号に変換する一般的な構成のものを用いることができる。ただし、マイクロホン11としては、2個以上のマイクロホンを配設することを要件とする。このマイクロホン11によって集音されて電気信号に変換された音情報は、音提示範囲及び集音範囲切替装置15に供給される。なお、このマイクロホン11の具体的な設置例については、後述するものとする。
The microphone 11 is installed in the own vehicle and collects sound outside the own vehicle. As the
物体検出センサ12は、自車両に設置され、当該自車両周囲に存在する物体を検出する。この物体検出センサ12としては、例えばミリ波レーダや超音波センサ等、遠距離及び近距離に位置する物体を検出するセンサを複数個組み合わせて構成することができる。また、物体検出センサ12は、車外カメラによって物体を検出するものであってもよい。この物体検出センサ12によって検出された物体情報は、音提示範囲及び集音範囲切替装置15に供給される。なお、この物体検出センサ12の具体的な設置例については、後述するものとする。
The
環境検出部13は、自車両内に構築されたCAN(Controller Area Network)情報から得られる車速パルスやステアリング角度等の情報、及び自車両内に設置されたカメラによって撮像される映像に基づいて、自車両周囲の環境を検出する。具体的には、環境検出部13は、ナビゲーションの際に用いられる自車両の位置情報を検出する位置情報検出部13aと、車速パルス、ステアリング角度、シフト位置等を示す車載機器操作信号を出力する車載機器操作信号出力部13bと、カメラや当該カメラによって撮像された画像を認識する画像出力部13cとを有する。このような環境検出部13は、検出した環境を示す環境情報を情報判定部14に供給する。
The
情報判定部14は、例えばCPU(Central Processing Unit)等の演算装置から構成され、環境検出部13によって検出された環境情報の内容に基づいて、自車両の移動方向(進行方向)等の自車両に関係のある各種情報を判定する。具体的には、情報判定部14は、環境検出部13における位置情報検出部13aによって検出された位置情報に基づいて、自車両を駐車可能な駐車場所を判定する駐車場所判定部14aと、環境検出部13における車載機器操作信号出力部13bから供給された車載機器操作信号に基づいて、自車両の移動方向を検出する移動方向検出部14bと、環境検出部13における画像出力部13cから供給された映像情報に基づいて、自車両周囲に存在する当該自車両に対して相対的に移動する物体を検出する移動物体検出部14cとを有する。このような情報判定部14は、判定した各種情報を音提示範囲及び集音範囲切替装置15に供給する。
The
音提示範囲及び集音範囲切替装置15は、情報判定部14によって判定された各種情報の内容に基づいて、運転者に提示する音の入出力範囲である音提示範囲やマイクロホン11による集音範囲を決定し、決定した範囲となるようにシステムの動作を切り替える。音提示範囲及び集音範囲切替装置15は、切り替え内容を示す切替信号をタイミング及び位置決定部16に供給する。
The sound presentation range / sound collection
タイミング及び位置決定部16は、音提示範囲及び集音範囲切替装置15から供給された切替信号に基づいて、運転者に提示するために出力する音のタイミングや、音の出力方向や距離等の位置を決定する。タイミング及び位置決定部16は、決定した内容を示す決定情報を情報提示部17に供給する。
Based on the switching signal supplied from the sound presentation range and sound collection
情報提示部17は、後述するように、例えばトランスオーラルシステム等の立体音源システムから構成され、マイクロホン11によって集音された音、及び、音提示範囲及び集音範囲切替装置15によって決定された音提示範囲及び集音範囲内に存在する物体を表す仮想音の作成及び合成を行い、アンプやスピーカを用いて音情報の出力を行う。なお、アンプやスピーカは、一般的なものでよい。具体的には、情報提示部17は、タイミング及び位置決定部16から供給された決定情報に基づいて仮想音を生成する仮想音源生成部17aと、この仮想音源生成部17aによって生成された仮想音及びマイクロホン11によって集音された音のゲインを調整するミキシングゲイン調整部17bと、このミキシングゲイン調整部17bによって調整された音を運転者に提示する音情報提示部17cとを有する。このような情報提示部17は、車両状態に応じて適した音場環境となるように音を作成し、作成した音を運転者に提示する。なお、この情報提示部17の具体的な設置例については、後述するものとする。
As will be described later, the
[マイクロホンの配設状況と集音範囲との関係]
このような車外情報提供装置においては、マイクロホン11の配設位置、向き、ゲイン、及び種類に応じて、集音範囲を制御することができる。
[Relationship between microphone placement and sound collection range]
In such an out-of-vehicle information providing apparatus, the sound collection range can be controlled in accordance with the arrangement position, orientation, gain, and type of the
まず、マイクロホン11として、複数の指向性マイクと方向変換装置とを用いる場合には、方向変換装置を用いて複数の指向性マイクを集音したい方向に向けることにより、集音範囲を変更することができる。なお、方向変換装置としては、サーボモータ等、方向を変換する一般的な機構を用いればよい。これを具体的に説明するために、例えば図2(A)に示すように、車両100の前後左右方向に4つのマイクロホン11a,11b,11c,11dが設置されている場合を考える。
First, when a plurality of directional microphones and a direction changing device are used as the
このとき、車外情報提供装置においては、全方向の範囲の音を集音したい場合には、図2(A)に示すように、マイクロホン11aの方向を右前方に向け、マイクロホン11bの方向を左前方に向け、マイクロホン11cの方向を右後方に向け、マイクロホン11dの方向を左後方に向けることにより、全方向の範囲の音を集音することができ、これらマイクロホン11a,11b,11c,11dのゲインを調整することにより、集音範囲を調整することができる。
At this time, in the information providing apparatus outside the vehicle, when it is desired to collect sounds in a range in all directions, the direction of the
また、車外情報提供装置においては、後方の範囲の音を集音したい場合には、図2(B)に示すように、マイクロホン11aの方向を右後方に向け、マイクロホン11bの方向を左後方に向け、マイクロホン11cの方向を右後方に向け、マイクロホン11dの方向を左後方に向けることにより、後方の範囲の音を強調して集音することができ、これらマイクロホン11a,11b,11c,11dのゲインを調整することにより、集音範囲を調整することができる。
Further, in the information providing apparatus outside the vehicle, when it is desired to collect the sound in the rear range, the direction of the
さらに、車外情報提供装置においては、左折時等において左前方以外の方向の音を集音したい場合には、図2(C)に示すように、マイクロホン11aの方向を右前方に向け、マイクロホン11cの方向を右後方に向け、マイクロホン11dの方向を左後方に向ける一方で、マイクロホン11bについては集音しないことにより、左前方以外の方向の音を集音することができ、これらマイクロホン11a,11c,11dのゲインを調整することにより、集音範囲を調整することができる。
Furthermore, in the information providing apparatus outside the vehicle, when it is desired to collect sounds in directions other than the left front when turning left, as shown in FIG. 2C, the
さらにまた、車外情報提供装置においては、左車線への車線変更時等において左前方及び右後方以外の方向の音を集音したい場合には、図2(D)に示すように、マイクロホン11aの方向を右前方に向け、マイクロホン11bの方向を左後方に向け、マイクロホン11cの方向を右前方に向け、マイクロホン11dの方向を左後方に向けることにより、左前方及び右後方以外の方向の音を集音することができ、これらマイクロホン11a,11b,11c,11dのゲインを調整することにより、集音範囲を調整することができる。
Furthermore, in the information providing apparatus outside the vehicle, when it is desired to collect sounds in directions other than the left front and right rear when the lane is changed to the left lane, as shown in FIG. By directing the direction to the right front, the direction of the
また、マイクロホン11として、指向性マイクと無指向性マイクとを組み合わせて用いることもできる。これを具体的に説明するために、例えば図3(A)に示すように、車両100の前方に1つの指向性マイクロホン11eが設置され、後方に1つの無指向性マイクロホン11fが設置されている場合を考える。
As the
このとき、車外情報提供装置においては、左折時等において左前方以外の方向の音を集音したい場合には、図3(A)に示すように、指向性マイクロホン11eの方向を右方に向け、無指向性マイクロホン11fの方向を後方に向けることにより、左前方以外の方向の音を集音することができ、指向性マイクロホン11eについてはそのゲインを調整することにより、集音範囲を調整することができる。
At this time, in the information providing apparatus outside the vehicle, when it is desired to collect sound in directions other than the left front when turning left, as shown in FIG. 3A, the direction of the
また、車外情報提供装置においては、右車線への車線変更時等において全方向及び左前方の音を集音したい場合には、図3(B)に示すように、指向性マイクロホン11eの方向を左前方に向け、無指向性マイクロホン11fの方向を後方に向けることにより、全方向及び左前方の音を集音することができ、指向性マイクロホン11eについてはそのゲインを調整することにより、集音範囲を調整することができる。
In addition, in the information providing apparatus outside the vehicle, when it is desired to collect all directions and the left front sound when changing to the right lane, the direction of the
このように、車外情報提供装置においては、マイクロホン11の配設位置、向き、ゲイン、及び種類に応じて、集音範囲を制御することができる。
Thus, in the vehicle outside information providing device, the sound collection range can be controlled according to the arrangement position, orientation, gain, and type of the
[物体検出センサの配設状況と音提示範囲との関係]
また、車外情報提供装置においては、物体検出センサ12の配設位置や種類に応じて、運転者に提示する音の入出力範囲である音提示範囲を制御することができる。
[Relationship between object detection sensor placement and sound presentation range]
Moreover, in the information providing apparatus outside the vehicle, the sound presentation range that is the input / output range of the sound presented to the driver can be controlled according to the arrangement position and type of the
物体検出センサ12としては、上述したように、ミリ波レーダや超音波センサ等を複数個組み合わせて構成することができる。車外情報提供装置においては、物体検出センサ12として距離を厳密に測定できるものを用いる場合には、音提示範囲を厳密に決定することができる。一方、車外情報提供装置においては、物体検出センサ12として距離を厳密に測定できるものを用いない場合には、例えば図4に示すような車両100の物体検出センサ12a,12b,12c,12dのように、複数の場所に複数のセンサを配設し、各センサによって検出された物体の方向情報に基づいて音提示範囲を決定すればよい。このとき、車外情報提供装置においては、各センサの検知範囲を変更する必要はない。
As described above, the
[情報提示部の具体例]
情報提示部17は、上述したように、トランスオーラルシステムとして構成することができる。具体的には、トランスオーラルシステムとしては、例えば図5に示すように、複数のフィルタH(H11,H12,H21,H22,H31,H32,H41,H42)からなるフィルタバンクに対して入力信号X1,X2を入力し、各フィルタの出力を加算(ミキシング)して複数のスピーカSP(SP1,SP2,SP3,SP4)から、運転席に座位している運転の両耳付近の位置C1,C2における観測信号Y1,Y2としての音を出力する構成とすることができる。このとき、このトランスオーラルシステムにおいては、運転席に座位している運転の両耳付近の位置C1,C2における観測信号Y1,Y2が、入力信号X1,X2と等価になるように、フィルタHを調整する。換言すれば、トランスオーラルシステムにおいては、スピーカSPから出力される音の音場を表す伝達特性G(G11,G14,G21,G24)と、フィルタHとの関係が、HG=単位行列となるように、フィルタHを調整すればよい。
[Specific example of information presentation unit]
As described above, the
[車外情報提供装置の動作]
さて、このような車外情報提供装置においては、図6に示すような一連の手順にしたがって、自車両外部の音を運転者に対して提供する。
[Operation of information providing device outside vehicle]
Now, in such a vehicle outside information provision apparatus, the sound outside the own vehicle is provided to the driver according to a series of procedures as shown in FIG.
まず、車外情報提供装置は、図6に示すように、ステップS1において、システムを初期化すると、ステップS2において、走行モードの設定を行う。具体的には、車外情報提供装置は、走行モード設定処理として、環境検出部13及び情報判定部14により、現在の自車両の走行状況を検出する。この場合、車外情報提供装置は、走行モードとして、駐車モード、市街地走行モード(中速走行モード)、高速走行モード、及び停車モードのうち、いずれかの走行モードを設定する。なお、この走行モード設定処理については、後に詳述するものとする。
First, as shown in FIG. 6, when the system is initialized in step S1, the outside-vehicle information providing apparatus sets a travel mode in step S2. Specifically, the information providing apparatus outside the vehicle detects the current traveling state of the host vehicle by the
続いて、車外情報提供装置は、ステップS3において、動作モードの設定を行う。車外情報提供装置においては、運転者の視線の範囲外についても音情報として提示することを可能とするため、ステアリング角度やウィンカ動作等の情報を検出することによって運転者の視線方向を予測し、当該運転者の視野範囲外を音提示範囲とする。具体的には、車外情報提供装置は、動作モード設定処理として、環境検出部13及び情報判定部14により、ステアリング角度やウィンカ動作の有無等の情報を判定し、判定した各種情報の内容に基づいて、音提示範囲及び集音範囲切替装置15により、走行モードに応じた音提示範囲や集音範囲を決定する。なお、この動作モード設定処理については、後に詳述するものとする。
Subsequently, the information providing apparatus outside the vehicle sets an operation mode in step S3. In the information providing apparatus outside the vehicle, in order to be able to present as sound information even outside the range of the driver's line of sight, by predicting the driver's line of sight by detecting information such as steering angle and blinker operation, The sound presentation range is outside the driver's visual field range. Specifically, the information providing apparatus outside the vehicle uses the
続いて、車外情報提供装置は、ステップS4において、物体検出センサ12による物体検出の有無に応じて、動作を開始するか否かを判定する。具体的には、車外情報提供装置は、物体検出センサ12によって自車両周囲に存在する他車両、敷石、壁、歩行者等の各種物体が検出されない場合には、音を出力(提示)せず、ステップS2からの処理を繰り返す。一方、車外情報提供装置は、物体検出センサ12によって自車両周囲に存在する物体が検出された場合には、マイクロホン11による集音及び情報提示部17による音情報の提示を開始する。
Subsequently, the outside-vehicle information providing apparatus determines whether or not to start the operation in step S4 according to whether or not the
これに応じて、車外情報提供装置は、ステップS5において、仮想音情報及びマイクロホン11によって集音された音を時空間にマッピングする。具体的には、車外情報提供装置は、マイクロホン11によって集音可能な音については、そのままトランスオーラルシステム等の立体音源システムからなる情報提示部17を介して出力することによって運転者に提示する。一方、車外情報提供装置は、例えば壁、敷石、歩行者等、物体検出センサ12によって検出された物体についての音であってマイクロホン11によって検知されない物体音については、それぞれの物体の位置(方向、距離)等に合わせた仮想音として生成し、トランスオーラルシステム等の立体音源システムからなる情報提示部17を介して出力することによって運転者に提示する。なお、このマッピング処理については、後に詳述するものとする。
In response to this, the outside-vehicle information providing apparatus maps the virtual sound information and the sound collected by the
そして、車外情報提供装置は、ステップS6において、実空間におけるマイクロホン11によって集音された音と、物体検出センサ12によって検出された物体に割り当てた仮想音とを融合し、その音を運転者に提示して一連の処理を終了する。
In step S6, the outside-vehicle information providing apparatus fuses the sound collected by the
車外情報提供装置においては、このような一連の手順にしたがって、自車両外部の音を運転者に対して提供することができる。 In the information providing apparatus outside the vehicle, the sound outside the host vehicle can be provided to the driver according to such a series of procedures.
つぎに、ステップS2における走行モード設定処理について詳述する。 Next, the travel mode setting process in step S2 will be described in detail.
車外情報提供装置は、走行モード設定処理に移行すると、図7に示すように、ステップS11において、環境検出部13及び情報判定部14により、現在の自車両の走行状況が駐車状態であるか否かを判定する。
When the vehicle outside information providing apparatus shifts to the driving mode setting process, as shown in FIG. 7, in step S11, the
ここで、環境検出部13及び情報判定部14は、駐車状態であるものと判定した場合には、ステップS12において、走行モードを駐車モードに切り替え、走行モード設定処理を終了する。一方、環境検出部13及び情報判定部14は、駐車状態でないものと判定した場合には、ステップS13において、現在の自車両の走行状況が中速走行であるか否かを判定する。
Here, when the
環境検出部13及び情報判定部14は、中速走行であるものと判定した場合には、ステップS14において、走行モードを市街地走行モードに切り替え、走行モード設定処理を終了する。一方、環境検出部13及び情報判定部14は、中速走行でないものと判定した場合には、ステップS15において、現在の自車両の走行状況が高速走行であるか否かを判定する。
If the
そして、環境検出部13及び情報判定部14は、高速走行であるものと判定した場合には、ステップS16において、走行モードを高速走行モードに切り替え、走行モード設定処理を終了する。一方、環境検出部13及び情報判定部14は、高速走行でないものと判定した場合には、ステップS17において、走行モードを停車モードに切り替え、走行モード設定処理を終了する。
If the
車外情報提供装置は、このような一連の手順にしたがって、走行モードを設定することができる。 The out-of-vehicle information providing apparatus can set the traveling mode according to such a series of procedures.
つぎに、図6中ステップS3における動作モード設定処理について詳述する。 Next, the operation mode setting process in step S3 in FIG. 6 will be described in detail.
車外情報提供装置は、動作モード設定処理に移行すると、走行モードに応じた音提示範囲及び集音範囲を設定する。このとき、車外情報提供装置は、上述したように、運転者の視線の範囲外についても音情報として提示することを可能とするため、ステアリング角度やウィンカ動作等の情報を加味して音提示範囲及び集音範囲を設定する。 When shifting to the operation mode setting process, the outside-vehicle information providing apparatus sets a sound presentation range and a sound collection range according to the travel mode. At this time, as described above, the information providing apparatus outside the vehicle can present information outside the range of the driver's line of sight as sound information. And set the sound collection range.
具体的には、車外情報提供装置は、図8に示すように、ステップS21において、環境検出部13及び情報判定部14により、ステアリング角度を検出し、そのステアリング角度に基づいて、音提示範囲及び集音範囲切替装置15により、自車両の移動方向と垂直な面に対して音提示範囲を設定する。
Specifically, as shown in FIG. 8, the vehicle information providing apparatus detects the steering angle by the
続いて、車外情報提供装置は、ステップS22において、環境検出部13及び情報判定部14により、ウィンカ動作の有無を判定する。ここで、ウィンカの動作があった場合には、自車両が左右のいずれかに移動する可能性が高く、運転者は移動方向に注意を払っている可能性が高い。そのため、車外情報提供装置は、ウィンカの動作があった場合には、ステップS23において、環境検出部13及び情報判定部14により、そのウィンカの方向に基づいて自車両の進行予定方向を設定し、その進行予定方向以外の方向に対して音提示範囲を設定する。
Subsequently, the information providing apparatus outside the vehicle determines the presence / absence of the blinker operation by the
続いて、車外情報提供装置は、ステップS24において、音提示範囲及び集音範囲切替装置15により、ステアリング角度やウィンカ動作の有無に応じた音提示範囲を決定する。具体的には、音提示範囲及び集音範囲切替装置15は、ウィンカの動作がなかった場合には、ステップS21にてステアリング角度に基づいて設定した音提示範囲とする。また、音提示範囲及び集音範囲切替装置15は、ウィンカの動作があった場合には、ステップS21にてステアリング角度に基づいて設定した音提示範囲に対して、ステップS23にてウィンカの方向に基づいて設定した音提示範囲を加味した音提示範囲とする。
Subsequently, the outside information providing apparatus determines the sound presentation range according to the steering angle and the presence / absence of the blinker operation by using the sound presentation range and sound collection
そして、車外情報提供装置は、ステップS25において、音提示範囲及び集音範囲切替装置15により、先に図2(A)乃至図2(D)、図3(A)及び図3(B)、並びに図4に示したように、ステップS24にて決定した音提示範囲に基づいて、マイクロホン11による集音範囲を決定し、動作モード設定を終了する。なお、集音範囲と音提示範囲は、原則一致していることが望ましいが、マイクロホン11の配設要件等の制約がある場合には、必ずしも一致していなくともよい。
Then, in step S25, the information providing device outside the vehicle uses the sound presenting range and sound collection
車外情報提供装置は、このような一連の手順にしたがって、音提示範囲及び集音範囲を決定することができる。 The outside-vehicle information providing apparatus can determine the sound presentation range and the sound collection range according to such a series of procedures.
つぎに、図6中ステップS4における条件分岐処理について詳述する。 Next, the conditional branch process in step S4 in FIG. 6 will be described in detail.
車外情報提供装置は、物体検出センサ12による物体検出の有無に応じて、動作を開始するか否かを判定する。ここで、運転情報に必要のない物体に対して仮想音を割り当て、警報音として提示すると、運転者の運転行動に対して不利な影響を与える可能性が生じる。そこで、車外情報提供装置は、物体検出後、不要な物体については仮想音を割り当てるリストに加えないように条件分岐処理を行う。
The information providing apparatus outside the vehicle determines whether or not to start the operation depending on whether or not the
具体的には、車外情報提供装置は、図9に示すように、ステップS31において、物体検出センサ12によって自車両周囲に存在する物体を検出する。すなわち、車外情報提供装置は、ミリ波レーダや超音波センサ等を用いて運転者の視点から物体の方向と距離を測定して算出する。
Specifically, as shown in FIG. 9, the outside-vehicle information providing apparatus detects an object existing around the host vehicle by the
車外情報提供装置は、物体が検出されると、ステップS32において、環境検出部13及び情報判定部14により、その物体が、図6中ステップS3にて決定された音提示範囲内に存在する物体であるか否かを判定する。
When an object is detected, the outside-vehicle information providing apparatus detects that the object is within the sound presentation range determined in step S3 in FIG. 6 by the
ここで、車外情報提供装置は、音提示範囲内に存在する物体でない場合には、ステップS31からの処理を繰り返す一方で、音提示範囲内に存在する物体であった場合には、ステップS33において、環境検出部13及び情報判定部14により、その物体が自車両に対して相対的に移動する物体であるか否かを判定し、移動物体でない場合には、ステップS31からの処理を繰り返す一方で、移動物体であった場合には、ステップS34へと処理を移行する。なお、このステップS33の処理は、車外情報提供装置をいわゆる駐車アシストシステム等に適用した場合に有効なものである。すなわち、駐車アシストシステムにおいては、表示装置に表示されている壁等の物体に音を割り当てず、移動物体を検出したときにのみ音を提示することにより、運転者に対して移動物体に対する危険をより強く認知させることができる。したがって、車外情報提供装置においては、このステップS33の処理を必ずしも設ける必要はない。
Here, when the vehicle outside information providing apparatus is not an object existing in the sound presentation range, the vehicle exterior information providing apparatus repeats the processing from step S31. On the other hand, in the case of an object existing in the sound presentation range, in step S33 The
そして、車外情報提供装置は、ステップS34において、仮想音を割り当てる物体の方向と距離をリストに追加し、条件分岐処理を終了する。 In step S34, the outside-vehicle information providing apparatus adds the direction and distance of the object to which the virtual sound is assigned to the list, and ends the conditional branching process.
車外情報提供装置は、このような一連の手順にしたがって、音を提示すべき適切な物体を検出し、動作を開始するか否かを判定することができる。 The out-of-vehicle information providing apparatus can detect an appropriate object to present a sound according to such a series of procedures and determine whether to start the operation.
つぎに、図6中ステップS5におけるマッピング処理について詳述する。 Next, the mapping process in step S5 in FIG. 6 will be described in detail.
車外情報提供装置は、運転者からみた物体の方向と距離の情報に基づいて、仮想音を割り当てる。このとき、図6中ステップS4にて作成した物体のリストを検索し、その物体の方向情報及び距離情報に応じて仮想音を割り当てる。 The out-of-vehicle information providing device assigns a virtual sound based on information on the direction and distance of the object viewed from the driver. At this time, the list of objects created in step S4 in FIG. 6 is searched, and virtual sounds are assigned according to the direction information and distance information of the objects.
具体的には、車外情報提供装置は、図10に示すように、ステップS41において、情報提示部17により、リストを検索し、そのリストに待行列が存在しているか否かを判定する。ここで、情報提示部17は、リストに待行列が存在しているものと判定した場合には、ステップS42において、リストの中から最近傍の物体を抽出する。
Specifically, as shown in FIG. 10, the information providing apparatus outside the vehicle searches the list by the
続いて、情報提示部17は、ステップS43において、マイクロホン11の入力を調査する。ここで、情報提示部17は、マイクロホン11の入力から方向音を検出し、その音の入力方向と物体の位置又は方向とが同じ場合には、運転者に提示する情報が混乱するため仮想音を割り当てず、ステップS46へと処理を移行する。なお、マイクロホン11への音入力方向は、いわゆるビームフォーミング等の信号処理的な手法を用いて検出すればよい。一方、情報提示部17は、マイクロホン11からの入力がない場合やマイクロホン11からの入力があり且つその音の入力方向と物体の位置又は方向とが同じでない場合には、ステップS44へと処理を移行し、その物体の方向及び距離に応じて仮想音源を割り当てる。このとき、情報提示部17は、物体が複数個ある場合には、仮想音源の出力タイミングをずらすように仮想音源を割り当てる。
Subsequently, the
そして、情報提示部17は、ステップS45において、仮想音源を割り当てた物体をリストから削除し、ステップS41からの処理を繰り返す。
And the
情報提示部17は、このようなステップS41乃至ステップS45の処理を行い、ステップS41において、リストに待行列が存在していないものと判定した場合には、ステップS46へと処理を移行し、マイクロホン11への入力をトランスオーラルシステム等の立体音源システムの出力信号に変換する。このとき、情報提示部17は、仮想音が存在する場合には、その仮想音も立体音源システムの出力信号に変換する。
The
そして、情報提示部17は、ステップS47において、マイクロホン11からの入力音及び仮想音を加算(ミキシング)し、マッピング処理を終了する。
In step S47, the
車外情報提供装置は、このような一連の手順にしたがって、仮想音情報及びマイクロホン11によって集音された音を時空間にマッピングすることができる。なお、車外情報提供装置においては、ステップS43において、マイクロホン11からの入力音の方向性を検出した際に、当該マイクロホン11からの入力音をそのまま仮想音とし、その仮想音をリストの方向及び距離に応じた位置に配置するようにしてもよい。
The out-of-vehicle information providing apparatus can map the virtual sound information and the sound collected by the
車外情報提供装置は、このようなマッピング処理を行うことにより、自車両外部にて実際に発生している音と仮想音とを融合させた音情報を、運転者に提示することができる。例えば、図11に示すように、駐車場にて駐車をしようとしている場合において、実空間上の自車両の前方に要注意物体としての人間A,Bが存在すると共に、自車両の後方に要注意物体としての壁面Wが存在している状況を考える。この場合、車外情報提供装置は、要注意物体としての人間A,B及び壁面Wの位置に音源を配置するようにマッピング処理を行う。すなわち、車外情報提供装置は、人間A,Bがそれぞれ発話した発話内容X,Yをマイクロホン11によって集音し、運転者に対して発話内容X’,Y’として聴取されるように情報提示部17によってバイノーラル再生すると共に、物体検出センサ12によって検出した壁面Wの存在を告知するために、その壁面Wの位置に情報提示部17によって仮想音源としての警告音を配置して出力する。
By performing such a mapping process, the outside-vehicle information providing apparatus can present to the driver sound information obtained by fusing sounds actually generated outside the host vehicle and virtual sounds. For example, as shown in FIG. 11, when parking in a parking lot, humans A and B as objects requiring attention exist in front of the own vehicle in real space, and necessary behind the own vehicle. Consider a situation in which a wall surface W as an attention object exists. In this case, the information providing apparatus outside the vehicle performs the mapping process so that the sound sources are arranged at the positions of the persons A and B and the wall surfaces W as objects requiring attention. In other words, the information providing unit outside the vehicle collects the utterance contents X and Y uttered by the persons A and B by the
これにより、車外情報提供装置は、人間A,B及び壁面Wがそれぞれの位置に存在していることを運転者に的確に知らせることができる。 Thereby, the information providing apparatus outside the vehicle can accurately notify the driver that the humans A and B and the wall surface W exist at the respective positions.
なお、人間の音源定位に関する距離感は、数m程度であるため、現実の物体の場所に音が聞こえるように配置したとしても、正確に認知することが困難である場合がある。このような場合、提示した情報が曖昧になるので、運転者が危険の度合いを認識できない場合が生じる。そこで、車外情報提供装置は、音を時空間にマッピングする際に、方向感の維持と、自車両外部での音源定位の維持のみに特化し、距離情報の圧縮を図るのが望ましい。例えば図11に示したような状況の場合には、車外情報提供装置は、図12に示すように、要注意物体としての人間A,Bがそれぞれ発話した発話内容X,Yが運転者に対して発話内容X’,Y’として聴取されるように情報提示部17によってバイノーラル再生する際に、その音源をマイクロホン11の近傍に配置すると共に、物体検出センサ12によって検出した壁面Wを現す仮想音源を自車両後部に配置するといったように、これら物体の実空間上の位置よりも運転者に近い位置まで距離を圧縮した位置に音源を配置するようにマッピング処理を行う。
It should be noted that since the sense of distance related to human sound source localization is about several meters, even if it is arranged so that sound can be heard at the location of an actual object, it may be difficult to accurately recognize. In such a case, the presented information becomes ambiguous, and the driver may not be able to recognize the degree of danger. Therefore, it is desirable that the information providing apparatus outside the vehicle specializes only in maintaining the sense of direction and maintaining the sound source localization outside the host vehicle, and compresses the distance information when mapping the sound into space-time. For example, in the situation as shown in FIG. 11, the outside information providing apparatus, as shown in FIG. 12, utterance contents X and Y uttered by humans A and B as cautionary objects are given to the driver. When binaural reproduction is performed by the
これにより、車外情報提供装置は、物体の存在及び危険性を運転者により的確に知らせることができる。 Thereby, the information providing apparatus outside the vehicle can notify the driver of the existence and danger of the object more accurately.
[音提示範囲及び集音範囲の具体例]
つぎに、上述した4つの走行モードに応じた音提示範囲及び集音範囲の具体例と、ステアリングの操舵があった場合における音提示範囲及び集音範囲の具体例と、ウィンカ動作があった場合における音提示範囲及び集音範囲の具体例とについて、それぞれ説明する。
[Specific examples of sound presentation range and sound collection range]
Next, a specific example of the sound presentation range and the sound collection range according to the four driving modes described above, a specific example of the sound presentation range and the sound collection range when steering is performed, and a winker operation A sound presentation range and a specific example of the sound collection range will be described.
まず、車外情報提供装置は、走行モードが駐車モードである場合には、例えば図13に示すように、自車両100の非進行方向については半径R2のような同心円状の特性を有すると共に、進行方向については半径R1(>R2)のような範囲を拡大した特性を有する音提示範囲及び集音範囲とする。すなわち、車外情報提供装置は、自車両100の進行方向については、非進行方向に比べ、集音するマイクロホン11のゲインを上げ、音提示範囲及び集音範囲を拡大する。
First, when the traveling mode is the parking mode, the vehicle information providing apparatus has a concentric characteristic such as a radius R2 in the non-traveling direction of the
これにより、車外情報提供装置は、例えば物体C等、駐車場所により近い領域に存在する物体を含む音情報を運転者に確実に提示することができる。 Thereby, the information provision apparatus outside a vehicle can show a driver | operator sound information including the object which exists in the area | region close | similar to a parking place, such as the object C, for example.
また、車外情報提供装置は、走行モードが市街地走行モードである場合には、例えば図14に示すように、自車両100の進行方向を長軸とする楕円状の特性、又は、使用した全てのマイクロホン11の特性を重ね合わせた特性のうち、広範囲となるいずれか一方の特性を有する音提示範囲及び集音範囲とする。
Further, when the driving mode is the urban driving mode, the vehicle outside information providing apparatus, as shown in FIG. 14, for example, has an elliptical characteristic whose major axis is the traveling direction of the
これにより、車外情報提供装置は、隣接車線を走行する他車両101Bや同一車線を走行する他車両100A等の音情報を運転者に確実に提示することができる。
Thereby, the information providing apparatus outside the vehicle can surely present to the driver the sound information of the
さらに、車外情報提供装置は、走行モードが高速走行モードである場合には、例えば図15に示すように、自車両100の進行方向を長軸とする楕円状の特性を有する音提示範囲及び集音範囲とする。このとき、車外情報提供装置は、環境検出部13によって検出された車速に応じて、自車両の前後方向、すなわち、楕円の長軸方向に音提示範囲及び集音範囲の大きさを変化させる。すなわち、車外情報提供装置は、検出された車速に対応する自車両100の単位時間当たりの移動量が、運転者が危険に対応するために十分な距離を有する範囲となるように、音提示範囲及び集音範囲を決定する。
Further, when the traveling mode is the high-speed traveling mode, the outside-vehicle information providing apparatus, for example, as shown in FIG. 15, the sound presenting range and the collection having an elliptical characteristic with the traveling direction of the
これにより、車外情報提供装置は、高速走行時に注意を払うべき自車両の前後に位置する他車両101A,101Bや隣接車線を走行する他車両101B等の音情報を運転者に確実に提示することができる。
Thereby, the information providing apparatus outside the vehicle surely presents to the driver the sound information of the
さらにまた、車外情報提供装置は、走行モードが停車モードである場合には、例えば図16に示すように、同心円状の特性、又は、使用した全てのマイクロホン11の特性を重ね合わせた特性のうち、広範囲となるいずれか一方の特性を有する音提示範囲及び集音範囲とする。
Furthermore, when the driving mode is the stop mode, the outside-vehicle information providing apparatus, for example, as shown in FIG. 16, is a concentric characteristic or a characteristic obtained by superimposing characteristics of all the
これにより、車外情報提供装置は、停車している自車両100の周囲に存在する物体を含む音情報を運転者に確実に提示することができる。
Thereby, the information providing apparatus outside the vehicle can surely present to the driver the sound information including the object existing around the
また、車外情報提供装置は、各走行モードに応じて音提示範囲及び集音範囲を設定した後にステアリングの操舵があった場合には、例えば図17に示すように、ステアリングの操舵に応じて死角となる領域を新たに追加すると共に、死角とならなくなる領域については元の音提示範囲及び集音範囲から減少させるように、音提示範囲及び集音範囲を変更する。 Further, when the steering operation is performed after the sound presentation range and the sound collection range are set according to each driving mode, the outside-vehicle information providing apparatus, for example, as shown in FIG. The sound presentation range and the sound collection range are changed so that the region that does not become a blind spot is reduced from the original sound presentation range and the sound collection range.
これにより、車外情報提供装置は、ステアリング角度を変更する度に、自車両100の移動方向に応じた適切な音情報を運転者に確実に提示することができる。
Thereby, the information providing apparatus outside the vehicle can reliably present appropriate sound information corresponding to the moving direction of the
さらに、車外情報提供装置は、各走行モードに応じて音提示範囲及び集音範囲を設定した後にウィンカ動作があった場合には、例えば図18に示すように、自車両100の進行予定方向の範囲を拡大した特性を有する音提示範囲及び集音範囲とする。
Further, when the turn signal operation is performed after the sound presentation range and the sound collection range are set according to each driving mode, the vehicle exterior information providing apparatus displays the
これにより、車外情報提供装置は、ウィンカを動作させる度に、自車両100の進行予定方向に応じた、他車両100A、100B、100Cを含む適切な音情報を運転者に確実に提示することができる。
As a result, the information providing apparatus outside the vehicle can surely present to the driver appropriate sound information including the other vehicles 100A, 100B, and 100C corresponding to the traveling direction of the
[走行状況に応じた動作例]
つぎに、走行状況に応じた動作の具体例について説明する。
[Operation example according to driving conditions]
Next, a specific example of the operation according to the traveling situation will be described.
まず、図19(a)に示すようなカーブ道路手前における動作例について説明する。 First, an operation example in front of a curved road as shown in FIG.
この場合、車外情報提供装置は、ナビゲーションシステムによって自車両100の進行方向先にカーブ道路の存在を検出するとシステムの動作を開始し、ステアリング角度に応じて運転者の視線方向を予測する。これにより、音提示範囲及び集音範囲ARは、図19(b)に示すように、先に図17を用いて説明したように、予測した運転者の視線方向に基づいて決定されることになる。このように、車外情報提供装置は、カーブ道路に応じた適切な音情報を運転者に確実に提示することができる。
In this case, the information providing apparatus outside the vehicle starts the operation of the system when the navigation system detects the presence of a curved road ahead of the traveling direction of the
つぎに、図20に示すような右左折時における動作例について説明する。 Next, an operation example during a right / left turn as shown in FIG. 20 will be described.
この場合、車外情報提供装置は、図20(a)に示すように、ナビゲーションシステムによって自車両100の進行方向先にT字路の存在を検出するとシステムの動作を開始し、音提示範囲及び集音範囲ARの変更動作を開始する。ここで、車外情報提供装置は、自車両100の右側のウィンカを動作させた場合には、図20(b)に示すように、マイクロホン11の向きを変更し、T字路の左右方向の音を集音できるような音提示範囲及び集音範囲AR’に変更すればよい。これにより、車外情報提供装置は、自車両100がT字路に差し掛かった際に適切な音情報を運転者に確実に提示することができる。
In this case, as shown in FIG. 20 (a), the information providing apparatus outside the vehicle starts the operation of the system when the navigation system detects the presence of a T-junction ahead of the traveling direction of the
つぎに、図21に示すような合流時における動作例について説明する。 Next, an operation example at the time of merging as shown in FIG. 21 will be described.
この場合、車外情報提供装置は、ナビゲーションシステムによって自車両の走行車線が他車線への合流車線である旨を検出するとシステムの動作を開始し、ウィンカ動作に応じて運転者の視線方向を予測し、自車両100の進行予定方向及び後方の範囲を拡大した音提示範囲及び集音範囲ARに変更すればよい。これにより、車外情報提供装置は、自車両100が、他車両101が存在する他車線に合流する際に適切な音情報を運転者に確実に提示することができる。
In this case, the information providing apparatus outside the vehicle starts the operation of the system when the navigation system detects that the traveling lane of the host vehicle is a merging lane to another lane, and predicts the driver's line-of-sight direction according to the blinker operation. What is necessary is just to change into the sound presentation range and the sound collection range AR which expanded the direction of advancing of the
つぎに、図22に示すような車線幅が狭い道路の走行時における動作例について説明する。 Next, an operation example when traveling on a road having a narrow lane width as shown in FIG. 22 will be described.
この場合、車外情報提供装置は、ナビゲーションシステムによって車線幅を検出するとシステムの動作を開始し、飛び出し等に対する注意を促すため、市街地走行モードや停車モードと同様に広範囲であり、特に車線幅よりも広範囲の音提示範囲及び集音範囲ARとする。これにより、車外情報提供装置は、狭い道路を走行する際に、自車両100の側面に迫っている壁などの情報を適切な音情報として運転者に確実に提示することができる。
In this case, the information providing device outside the vehicle starts the operation of the system when the lane width is detected by the navigation system, and in order to call attention to jumping out, etc. A wide sound presentation range and a sound collection range AR are set. Thereby, the information providing apparatus outside the vehicle can reliably present information such as a wall approaching the side surface of the
つぎに、図23に示すような中央分離帯Sが存在する道路の走行時における動作例について説明する。 Next, an operation example during traveling on a road where the median strip S as shown in FIG. 23 exists will be described.
この場合、車外情報提供装置は、中央分離帯Sによって隔てられた対向車線に存在する他車両に注意を払う必要性は低いので、中央分離帯Sが存在しない自車両100の左方に範囲を拡大した音提示範囲及び集音範囲ARとする。これにより、車外情報提供装置は、中央分離帯Sが存在する道路を走行する際に、対向車線に存在する他車両101の情報を提示することなく、適切な音情報を運転者に確実に提示することができる。
In this case, since the information providing apparatus outside the vehicle is less likely to pay attention to other vehicles existing in the oncoming lane separated by the median strip S, the vehicle information providing device has a range to the left of the
最後に、運転者の視線移動が頻繁に発生する場合における動作例について説明する。 Finally, an operation example in the case where the driver's line-of-sight movement frequently occurs will be described.
車外情報提供装置は、図24に示すように、運転者の視線方向を環境検出部13としての車載カメラCによって検出する構成とされる場合には、視線が向いていない方向の注意が疎かになりがちであるので、視線移動に応じて(a)と(b)とで切り換えることにより、視線が向いていない方向に範囲を拡大した音提示範囲及び集音範囲ARに動的に変更する。これにより、車外情報提供装置は、運転者の視線移動が頻繁に発生する場合であっても、適切な音情報を運転者に確実に提示することができる。
As shown in FIG. 24, when the outside information providing apparatus is configured to detect the driver's line-of-sight direction by the in-vehicle camera C as the
[実施形態の効果]
以上詳細に説明したように、本発明の実施形態として示した車外情報提供装置は、現在の自車両の走行状況に応じて、運転者に提示する音の入出力範囲である音提示範囲、及びマイクロホン11による集音範囲を決定し、物体検出センサ12によって自車両周囲に存在する物体が検出された場合に、マイクロホン11によって集音された音、及び、音提示範囲及び集音範囲切替装置15によって決定された音提示範囲及び集音範囲内に存在する物体を表す仮想音を時空間にマッピングし、情報提示部17を介して運転者に音情報を提示する。
[Effect of the embodiment]
As described above in detail, the vehicle information providing apparatus shown as the embodiment of the present invention includes a sound presentation range that is an input / output range of sound presented to the driver according to the current traveling state of the host vehicle, and The sound collection range by the
これにより、この車外情報提供装置においては、自車両の走行状況に応じて不要な情報を提示しないことにより、全ての音情報が運転者に提示されてしまうことがなくなるので、運転者の注意を散漫にさせる可能性を低減して当該運転者に負担をかけることなく、状況に応じた最適な車両外部の音情報を提供することができる。 As a result, in this out-of-vehicle information providing device, by not presenting unnecessary information according to the traveling state of the host vehicle, all sound information will not be presented to the driver. It is possible to provide optimal sound information outside the vehicle according to the situation without reducing the possibility of distraction and placing a burden on the driver.
また、この車外情報提供装置において、情報提示部17は、物体検出センサ12によって検出された物体の実空間上の位置に音源を配置するように、マイクロホン11によって集音された音、及び決定された音提示範囲及び集音範囲内に存在する物体を表す仮想音をマッピングすることにより、その実空間上の位置に物体が存在していることを運転者に的確に知らせることができる。
In the information providing apparatus outside the vehicle, the
さらに、この車外情報提供装置において、情報提示部17は、物体検出センサ12によって検出された物体の実空間上の位置よりも運転者に近い位置まで距離を圧縮した位置に音源を配置するように、マイクロホン11によって集音された音、及び決定された音提示範囲及び集音範囲内に存在する物体を表す仮想音をマッピングすることにより、物体の存在及び危険性を運転者により的確に知らせることができる。
Further, in this information providing apparatus outside the vehicle, the
さらにまた、この車外情報提供装置において、音提示範囲及び集音範囲切替装置15は、現在の自車両の走行状況が駐車状況である場合には、自車両の非進行方向については所定半径からなる同心円状の特性を有すると共に、進行方向についてはその半径よりも大きい領域まで範囲を拡大した特性を有する音提示範囲及び集音範囲とすることにより、駐車場所により近い領域に存在する物体を含む音情報を運転者に確実に提示することができる。
Furthermore, in this out-of-vehicle information providing device, the sound presentation range and sound collection
また、この車外情報提供装置において、音提示範囲及び集音範囲切替装置15は、現在の自車両の走行状況が中速走行状況である場合には、自車両の進行方向を長軸とする楕円状の特性、又は、使用した全ての集音手段の特性を重ね合わせた特性のうち、広範囲となるいずれか一方の特性を有する音提示範囲及び集音範囲とすることにより、隣接車線を走行する他車両等の音情報を運転者に確実に提示することができる。
Moreover, in this information providing apparatus outside the vehicle, the sound presentation range and the sound collection
さらに、この車外情報提供装置において、音提示範囲及び集音範囲切替装置15は、現在の自車両の走行状況が高速走行状況である場合には、自車両の進行方向を長軸とする楕円状の特性を有する音提示範囲及び集音範囲とし、当該自車両の車速に応じて楕円の長軸方向に音提示範囲及び集音範囲の大きさを変化させることにより、高速走行時に注意を払うべき自車両の前後に位置する他車両や隣接車線を走行する他車両等の音情報を運転者に確実に提示することができる。
Further, in the information providing apparatus outside the vehicle, the sound presentation range and the sound collection
さらにまた、この車外情報提供装置において、音提示範囲及び集音範囲切替装置15は、現在の自車両の走行状況が停車状況である場合には、同心円状の特性、又は、使用した全ての集音手段の特性を重ね合わせた特性のうち、広範囲となるいずれか一方の特性を有する音提示範囲及び集音範囲とすることにより、停車している自車両の周囲に存在する物体を含む音情報を運転者に確実に提示することができる。
Furthermore, in this out-of-vehicle information providing device, the sound presentation range and the sound collection
また、この車外情報提供装置において、音提示範囲及び集音範囲切替装置15は、ステアリング角度及びウィンカ動作の有無に応じて予測された運転者の視線方向に基づいて音提示範囲及び集音範囲を決定することにより、運転者の視線の範囲外についても音情報として提示することができる。
In this outside information providing apparatus, the sound presentation range and sound collection
具体的には、この車外情報提供装置において、音提示範囲及び集音範囲切替装置15は、ステアリングの操舵に応じて死角となる領域を新たに追加すると共に、死角とならなくなる領域については元の音提示範囲及び集音範囲から減少させるように、音提示範囲及び集音範囲を決定することにより、ステアリング角度を変更する度に、自車両の移動方向に応じた適切な音情報を運転者に確実に提示することができる。
Specifically, in the outside information providing device, the sound presentation range and the sound collection
そして、この車外情報提供装置においては、このようなステアリング角度に応じた音提示範囲及び集音範囲の決定手法を応用し、自車両の進行方向先にカーブ道路の存在が検出された場合には、音提示範囲及び集音範囲切替装置15により、ステアリング角度に応じて予測された運転者の視線方向に基づいて音提示範囲及び集音範囲を決定することにより、カーブ道路に応じた適切な音情報を運転者に確実に提示することができる。
In this information providing apparatus outside the vehicle, when a method for determining the sound presentation range and the sound collection range according to the steering angle is applied, and the presence of a curve road is detected in the traveling direction ahead of the own vehicle, The sound presentation range and sound collection
さらに、この車外情報提供装置において、音提示範囲及び集音範囲切替装置15は、ウィンカ動作があった場合には、自車両の進行予定方向の範囲を拡大した特性を有する音提示範囲及び集音範囲とすることにより、ウィンカを動作させる度に、自車両の進行予定方向に応じた適切な音情報を運転者に確実に提示することができる。
Furthermore, in this information providing apparatus outside the vehicle, the sound presentation range and sound collection
そして、この車外情報提供装置においては、このようなウィンカ動作に応じた音提示範囲及び集音範囲の決定手法を応用し、自車両の進行方向先にT字路の存在が検出された場合には、音提示範囲及び集音範囲切替装置15により、当該T字路の左右方向の音を集音できるように範囲を拡大した特性を有する音提示範囲及び集音範囲に変更することにより、自車両がT字路に差し掛かった際に適切な音情報を運転者に確実に提示することができる。
And in this information providing apparatus outside a vehicle, when the determination method of the sound presentation range and the sound collection range according to such a blinker operation is applied, and the presence of a T-junction is detected in the traveling direction ahead of the own vehicle, The sound presentation range and sound collection
また、この車外情報提供装置において、音提示範囲及び集音範囲切替装置15は、自車両の走行車線が他車線への合流車線である旨が検出された場合には、ウィンカ動作に応じて予測された運転者の視線方向に基づいて、自車両の進行予定方向及び後方の範囲を拡大した音提示範囲及び集音範囲に変更することにより、自車両が他車線に合流する際に適切な音情報を運転者に確実に提示することができる。
Moreover, in this information providing apparatus outside the vehicle, the sound presentation range and the sound collection
さらに、この車外情報提供装置において、音提示範囲及び集音範囲切替装置15は、車線幅が狭い道路を走行している旨が検出された場合には、車線幅よりも広範囲の音提示範囲及び集音範囲とすることにより、狭い道路を走行する際に適切な音情報を運転者に確実に提示することができる。
Furthermore, in this information providing apparatus outside the vehicle, the sound presentation range and the sound collection
さらにまた、この車外情報提供装置において、音提示範囲及び集音範囲切替装置15は、中央分離帯が存在する道路を走行している旨が検出された場合には、中央分離帯が存在しない自車両の側に範囲を拡大した音提示範囲及び集音範囲とすることにより、中央分離帯が存在する道路を走行する際に適切な音情報を運転者に確実に提示することができる。
Furthermore, in this information providing apparatus outside the vehicle, the sound presentation range and the sound collection
また、この車外情報提供装置において、音提示範囲及び集音範囲切替装置15は、運転者の視線移動が検出された場合には、視線移動に応じて、視線が向いていない方向に範囲を拡大した音提示範囲及び集音範囲に動的に変更することにより、運転者の視線移動が頻繁に発生する場合であっても、適切な音情報を運転者に確実に提示することができる。
In this information providing apparatus outside the vehicle, the sound presentation range and the sound collection
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施の形態に限定されることはなく、この実施の形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。 The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and even if it is a form other than this embodiment, as long as it does not depart from the technical idea according to the present invention, the design and the like Of course, various modifications are possible.
11,11a,11b,11c,11d マイクロホン
11e 指向性マイクロホン
11f 無指向性マイクロホン
12,12a,12b,12c,12d 物体検出センサ
13 環境検出部
13a 位置情報検出部
13b 車載機器操作信号出力部
13c 画像出力部
14 情報判定部
14a 駐車場所判定部
14b 移動方向検出部
14c 移動物体検出部
15 音提示範囲及び集音範囲切替装置
16 タイミング及び位置決定部
17 情報提示部
17a 仮想音源生成部
17b ミキシングゲイン調整部
17c 音情報提示部
A,B 人間
AR,AR’ 音提示範囲及び集音範囲
C 車載カメラ
C1,C2 位置
G,G11,G14,G21,G24 伝達特性
H,H11,H12,H21,H22,H31,H32,H41,H42 フィルタ
SP,SP1,SP2,SP3,SP4 スピーカ
R,R1,R2,R3,R4,R5,R6,R7 半径
S 中央分離帯
W 壁面
X,X’,Y,Y’ 発話内容
X1,X2 入力信号
Y1,Y2 観測信号
11, 11a, 11b, 11c,
Claims (15)
自車両に設置されて自車両周囲に存在する物体を検出する物体検出手段と、
現在の自車両の走行状況に応じて、前記集音手段によって集音された音及び物体を表す仮想音を運転者に提示する自車両外部の音提示範囲を決定し、前記音提示範囲を含む範囲に前記集音手段による集音範囲を決定する決定手段と、
前記物体検出手段によって自車両周囲に存在する物体が検出された場合に、前記集音手段によって集音された音、及び前記決定手段によって決定された音提示範囲及び集音範囲内に存在する物体を表す仮想音を時空間にマッピングし、運転者に音情報を提示する情報提示手段とを備え、
前記決定手段は、現在の自車両の走行状況が駐車状況である場合には、自車両の非進行方向については所定半径からなる同心円状の特性を有すると共に、進行方向については前記半径よりも大きい領域まで範囲を拡大した特性を有する音提示範囲及び集音範囲とすることを特徴とする車外情報提供装置。 Sound collecting means for collecting sounds outside the own vehicle installed in the own vehicle;
Object detection means for detecting an object installed in the host vehicle and existing around the host vehicle;
A sound presenting range outside the own vehicle for presenting a sound collected by the sound collecting means and a virtual sound representing an object to the driver is determined according to a current traveling state of the own vehicle, and includes the sound presenting range determining means for determining a sound collecting range by said sound collecting means in the range,
When the object detecting means detects an object present around the vehicle, the sound collected by the sound collecting means, and the sound presenting range and the object existing in the sound collecting range determined by the determining means An information presentation means for mapping the virtual sound representing the time and space and presenting the sound information to the driver ,
The determination means has a concentric characteristic of a predetermined radius in the non-traveling direction of the host vehicle when the current traveling state of the host vehicle is a parking state, and is larger than the radius in the traveling direction. A vehicle outside information providing apparatus characterized by having a sound presentation range and a sound collection range having characteristics that are expanded to the area .
自車両に設置されて自車両周囲に存在する物体を検出する物体検出手段と、
現在の自車両の走行状況に応じて、前記集音手段によって集音された音及び物体を表す仮想音を運転者に提示する自車両外部の音提示範囲を決定し、前記音提示範囲を含む範囲に前記集音手段による集音範囲を決定する決定手段と、
前記物体検出手段によって自車両周囲に存在する物体が検出された場合に、前記集音手段によって集音された音、及び前記決定手段によって決定された音提示範囲及び集音範囲内に存在する物体を表す仮想音を時空間にマッピングし、運転者に音情報を提示する情報提示手段とを備え、
前記決定手段は、現在の自車両の走行状況が中速走行状況である場合には、自車両の進行方向を長軸とする楕円状の特性、又は、使用した全ての集音手段の特性を重ね合わせた特性のうち、広範囲となるいずれか一方の特性を有する音提示範囲及び集音範囲とすることを特徴とする車外情報提供装置。 Sound collecting means for collecting sounds outside the own vehicle installed in the own vehicle;
Object detection means for detecting an object installed in the host vehicle and existing around the host vehicle;
A sound presenting range outside the own vehicle for presenting a sound collected by the sound collecting means and a virtual sound representing an object to the driver is determined according to a current traveling state of the own vehicle, and includes the sound presenting range determining means for determining a sound collecting range by said sound collecting means in the range,
When the object detecting means detects an object present around the vehicle, the sound collected by the sound collecting means, and the sound presenting range and the object existing in the sound collecting range determined by the determining means An information presentation means for mapping the virtual sound representing the time and space and presenting the sound information to the driver ,
When the current traveling state of the host vehicle is a medium speed traveling state, the determining unit is configured to obtain an elliptical characteristic whose major axis is the traveling direction of the host vehicle, or characteristics of all the sound collecting units used. A vehicle outside information providing apparatus characterized by having a sound presenting range and a sound collecting range having either one of a wide range of the superposed characteristics .
自車両に設置されて自車両周囲に存在する物体を検出する物体検出手段と、
現在の自車両の走行状況に応じて、前記集音手段によって集音された音及び物体を表す仮想音を運転者に提示する自車両外部の音提示範囲を決定し、前記音提示範囲を含む範囲に前記集音手段による集音範囲を決定する決定手段と、
前記物体検出手段によって自車両周囲に存在する物体が検出された場合に、前記集音手段によって集音された音、及び前記決定手段によって決定された音提示範囲及び集音範囲内に存在する物体を表す仮想音を時空間にマッピングし、運転者に音情報を提示する情報提示手段とを備え、
前記決定手段は、現在の自車両の走行状況が高速走行状況である場合には、自車両の進行方向を長軸とする楕円状の特性を有する音提示範囲及び集音範囲とし、当該自車両の車速に応じて楕円の長軸方向に音提示範囲及び集音範囲の大きさを変化させることを特徴とする車外情報提供装置。 Sound collecting means for collecting sounds outside the own vehicle installed in the own vehicle;
Object detection means for detecting an object installed in the host vehicle and existing around the host vehicle;
A sound presenting range outside the own vehicle for presenting a sound collected by the sound collecting means and a virtual sound representing an object to the driver is determined according to a current traveling state of the own vehicle, and includes the sound presenting range determining means for determining a sound collecting range by said sound collecting means in the range,
When the object detecting means detects an object present around the vehicle, the sound collected by the sound collecting means, and the sound presenting range and the object existing in the sound collecting range determined by the determining means An information presentation means for mapping the virtual sound representing the time and space and presenting the sound information to the driver ,
When the current traveling state of the host vehicle is a high-speed traveling state, the determining means sets the sound presenting range and the sound collecting range having an elliptical characteristic with the traveling direction of the host vehicle as a major axis, A vehicle outside information providing device that changes the size of the sound presentation range and the sound collection range in the major axis direction of the ellipse according to the vehicle speed of the vehicle .
自車両に設置されて自車両周囲に存在する物体を検出する物体検出手段と、
現在の自車両の走行状況に応じて、前記集音手段によって集音された音及び物体を表す仮想音を運転者に提示する自車両外部の音提示範囲を決定し、前記音提示範囲を含む範囲に前記集音手段による集音範囲を決定する決定手段と、
前記物体検出手段によって自車両周囲に存在する物体が検出された場合に、前記集音手段によって集音された音、及び前記決定手段によって決定された音提示範囲及び集音範囲内に存在する物体を表す仮想音を時空間にマッピングし、運転者に音情報を提示する情報提示手段とを備え、
前記決定手段は、現在の自車両の走行状況が停車状況である場合には、同心円状の特性、又は、使用した全ての集音手段の特性を重ね合わせた特性のうち、広範囲となるいずれか一方の特性を有する音提示範囲及び集音範囲とすることを特徴とする車外情報提供装置。 Sound collecting means for collecting sounds outside the own vehicle installed in the own vehicle;
Object detection means for detecting an object installed in the host vehicle and existing around the host vehicle;
A sound presenting range outside the own vehicle for presenting a sound collected by the sound collecting means and a virtual sound representing an object to the driver is determined according to a current traveling state of the own vehicle, and includes the sound presenting range determining means for determining a sound collecting range by said sound collecting means in the range,
When the object detecting means detects an object present around the vehicle, the sound collected by the sound collecting means, and the sound presenting range and the object existing in the sound collecting range determined by the determining means An information presentation means for mapping the virtual sound representing the time and space and presenting the sound information to the driver ,
The determining means, when the current driving situation of the host vehicle is a stopping situation, is either a concentric characteristic or a characteristic that is a wide range of characteristics obtained by superimposing characteristics of all the sound collecting means used. A vehicle outside information providing apparatus characterized by having a sound presentation range and a sound collection range having one characteristic .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008097177A JP5303998B2 (en) | 2008-04-03 | 2008-04-03 | Outside vehicle information providing apparatus and outside vehicle information providing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008097177A JP5303998B2 (en) | 2008-04-03 | 2008-04-03 | Outside vehicle information providing apparatus and outside vehicle information providing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009251799A JP2009251799A (en) | 2009-10-29 |
JP5303998B2 true JP5303998B2 (en) | 2013-10-02 |
Family
ID=41312474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008097177A Expired - Fee Related JP5303998B2 (en) | 2008-04-03 | 2008-04-03 | Outside vehicle information providing apparatus and outside vehicle information providing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5303998B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9873428B2 (en) | 2015-10-27 | 2018-01-23 | Ford Global Technologies, Llc | Collision avoidance using auditory data |
US9937922B2 (en) | 2015-10-06 | 2018-04-10 | Ford Global Technologies, Llc | Collision avoidance using auditory data augmented with map data |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5395716B2 (en) * | 2010-03-25 | 2014-01-22 | 株式会社デンソーアイティーラボラトリ | Outside sound providing device, outside sound providing method and program |
JP2011232292A (en) * | 2010-04-30 | 2011-11-17 | Toyota Motor Corp | Vehicle exterior sound detection device |
JP2011232293A (en) * | 2010-04-30 | 2011-11-17 | Toyota Motor Corp | Vehicle exterior sound detection device |
JP5598484B2 (en) | 2012-01-19 | 2014-10-01 | 株式会社デンソー | Audio output device |
JP6684608B2 (en) * | 2016-02-19 | 2020-04-22 | 学校法人 中央大学 | Sound field control device, sound field control system, and sound field control method |
KR101748276B1 (en) | 2016-03-10 | 2017-06-16 | 현대자동차주식회사 | Method for providing sound detection information, apparatus detecting sound around vehicle, and vehicle including the same |
EP3534349B1 (en) | 2016-10-25 | 2023-12-27 | Pioneer Corporation | Processing device, output method, and program |
JP6690007B2 (en) | 2016-10-25 | 2020-04-28 | パイオニア株式会社 | Processing device, server device, output method, and program |
WO2018163545A1 (en) * | 2017-03-09 | 2018-09-13 | ソニー株式会社 | Information processing device, information processing method and recording medium |
JP7143623B2 (en) * | 2018-05-08 | 2022-09-29 | 富士通株式会社 | sound control device |
JPWO2020003819A1 (en) * | 2018-06-26 | 2021-08-05 | ソニーグループ株式会社 | Audio signal processors, mobile devices, and methods, and programs |
JP7081669B2 (en) * | 2018-08-03 | 2022-06-07 | 日本電気株式会社 | Information processing equipment, information processing methods and information processing programs |
KR102531313B1 (en) * | 2018-09-04 | 2023-05-12 | 현대자동차주식회사 | Display device and Vehicle having the same and method for controlling the same |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2689792B2 (en) * | 1991-10-30 | 1997-12-10 | 日産自動車株式会社 | Three-dimensional sound field alarm device |
JPH07159190A (en) * | 1993-12-09 | 1995-06-23 | Zanabui Informatics:Kk | Sound device totallizing system on vehicle |
JPH09128697A (en) * | 1995-11-06 | 1997-05-16 | Honda Motor Co Ltd | Circumferential state monitor device for vehicle |
JP2005316704A (en) * | 2004-04-28 | 2005-11-10 | Sony Corp | Surrounding state notification device and method for notifying surrounding state |
-
2008
- 2008-04-03 JP JP2008097177A patent/JP5303998B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9937922B2 (en) | 2015-10-06 | 2018-04-10 | Ford Global Technologies, Llc | Collision avoidance using auditory data augmented with map data |
US9873428B2 (en) | 2015-10-27 | 2018-01-23 | Ford Global Technologies, Llc | Collision avoidance using auditory data |
Also Published As
Publication number | Publication date |
---|---|
JP2009251799A (en) | 2009-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5303998B2 (en) | Outside vehicle information providing apparatus and outside vehicle information providing method | |
US10870435B2 (en) | Notice management apparatus and notice management method | |
JP7040621B2 (en) | Vehicle travel control method and travel control device | |
JP6677822B2 (en) | Vehicle control device | |
US10748425B2 (en) | Image generation apparatus | |
JP6323385B2 (en) | Vehicle travel control device | |
US20180211528A1 (en) | Vehicle acoustic-based emergency vehicle detection | |
US10173680B2 (en) | Vehicle speed control device | |
JP6665605B2 (en) | Display control device and display control method | |
JP7155991B2 (en) | Notification device | |
JPWO2020035896A1 (en) | Vehicle travel control method and travel control device | |
JP2018095143A (en) | Vehicle control device | |
JP2017088133A (en) | Driving support device | |
JP2008123215A (en) | Driving support device, method and program | |
JP2008021181A (en) | Driving support information notifying device | |
JP2006142888A (en) | Vehicular informing device and program of vehicular informing method | |
JP2009026003A (en) | Operation support system | |
JP2007122536A (en) | Obstacle report device for vehicle | |
JP2005328181A (en) | Periphery confirming apparatus | |
WO2022044768A1 (en) | Vehicular display device | |
JP2019159682A (en) | Driving assistance system | |
JPWO2018180523A1 (en) | Information processing apparatus, information processing method, program, and moving object | |
JP2020177292A (en) | Vehicle remote indication system | |
JP2008293095A (en) | Operation support system | |
JP2017167737A (en) | Admission control device and admission control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110315 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120919 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120925 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130610 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5303998 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |