JP5838962B2 - Sound image localization apparatus and program - Google Patents
Sound image localization apparatus and program Download PDFInfo
- Publication number
- JP5838962B2 JP5838962B2 JP2012284618A JP2012284618A JP5838962B2 JP 5838962 B2 JP5838962 B2 JP 5838962B2 JP 2012284618 A JP2012284618 A JP 2012284618A JP 2012284618 A JP2012284618 A JP 2012284618A JP 5838962 B2 JP5838962 B2 JP 5838962B2
- Authority
- JP
- Japan
- Prior art keywords
- sound image
- image localization
- host vehicle
- travel
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Stereophonic System (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Description
本発明は、車両走行中において適切な運転操作を実現するために運転者の視線を誘導するよう音像を定位させる音像定位装置に関する。 The present invention relates to a sound image localization apparatus that localizes a sound image so as to guide a driver's line of sight in order to realize an appropriate driving operation while the vehicle is traveling.
車両の走行に関し、その安全を図る技術が種々提案されている。例えば、走行中に車両が車線を逸脱しそうになった場合に車線の逸脱を防止する車線逸脱防止装置が提案されている(例えば、特許文献1参照)。 Various techniques for ensuring the safety of traveling of vehicles have been proposed. For example, a lane departure prevention device that prevents a lane departure when a vehicle is about to depart from the lane during travel has been proposed (see, for example, Patent Document 1).
この装置では、車線逸脱量を予測値として算出し、当該算出した予測値に基づいて自車両が車線逸脱傾向にあるかどうかを検出する。そして、自車両が車線逸脱傾向にある場合には、警報を発したり、車線からの逸脱を回避するように車両を制御したりする。 In this apparatus, the lane departure amount is calculated as a predicted value, and whether or not the host vehicle is in a lane departure tendency is detected based on the calculated predicted value. When the host vehicle tends to depart from the lane, an alarm is issued or the vehicle is controlled so as to avoid deviation from the lane.
ところで、特許文献1に記載された技術は、車線逸脱傾向にあるかどうかを検出するものであり、車線逸脱傾向が生じた後に、警告を発したり、車両の制御を行ったりする。つまり、車両の挙動が危険な状態となることを予測して、それに対する措置を講じるものである。 By the way, the technique described in Patent Document 1 detects whether or not there is a tendency to deviate from the lane. After the tendency to deviate from the lane occurs, a warning is issued or the vehicle is controlled. That is, it is predicted that the behavior of the vehicle will be in a dangerous state, and measures are taken for that.
ところが、さらなる安全運転を考えた場合、そもそも車両の挙動が危険な状態とならないようにする工夫が重要となってくる。
そこで出願人は、運転中に運転者の視線を誘導するための装置を提案した。
However, when considering further safe driving, it is important to devise measures to prevent the behavior of the vehicle from becoming dangerous in the first place.
Therefore, the applicant has proposed a device for guiding the driver's line of sight while driving.
走行中における運転者の視線は、その視覚運動量が最小となる点の周辺に注がれることが分かっている。したがって、例えばN秒(例えば5秒)後に運転者が視線を向けるであろう点(以下「予測注視点」という)を予測し、立体音響の技術を用いて、この予測注視点に音像を定位させる。「音像」とは空間的位置などを感覚的にとらえた聴感上の音源であり、「音像を定位させる」とは、音源の聴感上の空間的位置などを一定にすることをいう。そのため、予測注視点に音像を定位させた場合、予測注視点(の方向、距離)に音源があるかのように聞こえる。なお、「定位」には、「位置を一定にする」という意味の他、そのように定めた「位置」の意味も含まれるが、本明細書では、混乱を避けるため、前者を「定位」と記載し、後者をあえて「定位位置」と記載する。このように予測注視点に音像を定位させることで、運転者の視線を予測注視点に誘導することができ、車両の挙動を安定させることができる。 It has been found that the driver's line of sight while driving is poured around the point where the visual momentum is minimized. Therefore, for example, a point (hereinafter referred to as “predictive attention point”) where the driver will turn his gaze after N seconds (for example, five seconds) is predicted, and the sound image is localized at this predicted attention point using the technology of stereophony. Let A “sound image” is a sound source in the sense of hearing that senses the spatial position and the like, and “localize the sound image” means to make the spatial position in the sense of sound of the sound source constant. Therefore, when a sound image is localized at the predicted gazing point, it sounds as if the sound source is at the predicted gazing point (direction and distance). Note that “localization” includes not only the meaning of “constant position” but also the meaning of “position” defined as such, but in this specification, the “localization” is used to avoid the confusion. And the latter is referred to as a “localization position”. Thus, by localizing the sound image at the predicted gazing point, the driver's line of sight can be guided to the predicted gazing point, and the behavior of the vehicle can be stabilized.
しかしながら、このような視線誘導の技術も、次の点では改良の余地がある。それは、予測注視点へ視線を誘導することが、適切な場合と不適切な場合とがあるという点である。前者の場合は積極的に予測注視点への視線誘導を行うことで安全運転が確保され、後者の場合は、あえて予測注視点への視線誘導を行わないことで安全運転が確保される。例えば、市街地などを走行する場合には、予測注視点以外にも注意を払うべき歩行者などの対象物が存在する可能性が大きいため、あえて予測注視点への視線誘導を行わないことで安全運転が確保されるという具合である。 However, such line-of-sight guidance technology also has room for improvement in the following respects. That is, there are cases where it is appropriate and inappropriate to guide the line of sight to the predicted gazing point. In the former case, safe driving is ensured by actively guiding the gaze to the predicted gazing point, and in the latter case, safe driving is ensured by not performing the gaze guidance to the predicted gazing point. For example, when driving in an urban area or the like, there is a high possibility that there are objects such as pedestrians to pay attention to in addition to the predicted gazing point, so it is safe not to guide the line of sight to the predicted gazing point. That is, driving is secured.
本発明は、上述した課題を解決するためになされたものであり、その目的は、立体音響の技術を用いて運転者の視線を注視点に誘導するにあたり、適切な状況下で注視点への視線誘導を行うことが可能な音像定位装置を提供することにある。 The present invention has been made to solve the above-described problems, and its purpose is to guide the driver's line of sight to the gazing point using the technology of stereophonic sound under an appropriate situation. An object of the present invention is to provide a sound image localization apparatus that can perform line-of-sight guidance.
上記目的を達成するためになされた音像定位装置(3)は、音像を生成するオーディオシステム(52)及び、オーディオシステムに対し音像を定位させるための伝達関数を設定する立体音響システム(51)と共に用いられる。 The sound image localization apparatus (3) made to achieve the above object, together with an audio system (52) for generating a sound image and a stereophonic system (51) for setting a transfer function for localizing the sound image to the audio system Used.
ここで音像定位装置は、例えばナビゲーション装置として具現化される。このとき、オーディオシステム及び立体音響システムは、通常、ナビゲーション装置の外部に設けられる。ただし、ナビゲーション装置、オーディオシステム、及び、立体音響システムを備えたナビゲーションシステムの発明として実現してもよい。 Here, the sound image localization device is embodied as a navigation device, for example. At this time, the audio system and the stereophonic sound system are usually provided outside the navigation device. However, you may implement | achieve as invention of the navigation system provided with the navigation apparatus, the audio system, and the stereophonic sound system.
音像定位装置では、実行手段(30a)が音像定位処理を実行する。この音像定位処理は、走行中に運転者が注視する傾向にある注視点を算出し、当該注視点を前記立体音響システムへ出力することにより、オーディオシステムを介して音像を注視点に定位させるものである。なお、注視点は、言い換えれば、走行中に運転者が注視する事が推奨される点である。 In the sound image localization apparatus, the execution means (30a) executes sound image localization processing. In this sound image localization processing, a gaze point that tends to be watched by the driver during driving is calculated, and the gaze point is output to the stereophonic sound system to localize the sound image to the gaze point via the audio system. It is. Note that the gaze point is, in other words, that the driver is recommended to gaze while driving.
ここで特に本発明では、取得手段(30b)が、自車両の走行に関連する情報である走行関連情報を取得する。そして、取得手段にて取得される走行関連情報に基づき、実行制御手段(30c)によって、実行手段による音像定位処理の停止/開始が制御される。 Here, particularly in the present invention, the acquisition means (30b) acquires travel-related information that is information related to the travel of the host vehicle. Based on the travel-related information acquired by the acquisition unit, the execution control unit (30c) controls the stop / start of the sound image localization process by the execution unit.
走行関連情報は、自車両の周辺情報であってもよいし、自車両の走行速度などの走行情報であってもよい。
このようにすれば、立体音響の技術を用いて運転者の視線を注視点に誘導するにあたり、適切な状況下で注視点への視線誘導を行うことができる。
The travel-related information may be surrounding information of the host vehicle or travel information such as the travel speed of the host vehicle.
In this way, when the driver's gaze is guided to the gaze point using the stereophonic technology, gaze guidance to the gaze point can be performed under an appropriate situation.
なお、本発明は、音像定位装置の有する各手段に特徴を有するものであり、各手段は通常コンピュータを機能させるプログラムとして実現される。この意味で、各手段を実現するプログラムの発明として実現してもよい。 The present invention is characterized by each means of the sound image localization apparatus, and each means is usually realized as a program that causes a computer to function. In this sense, it may be realized as an invention of a program for realizing each means.
以下、本発明の実施形態を図面に基づいて説明する。
図1に示すナビゲーションシステム1は、車両に搭載され、ナビゲーション装置3と、ナビゲーション装置3にて制御されるサブシステム5とを備えている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
A navigation system 1 shown in FIG. 1 is mounted on a vehicle and includes a navigation device 3 and a subsystem 5 controlled by the navigation device 3.
ナビゲーション装置3は、制御部30を中心に構成されている。制御部30は、いわゆるコンピュータシステムとして構成され、CPU、ROM、RAM、I/O及びこれらを接続するバスラインを有している。 The navigation device 3 is configured around the control unit 30. The control unit 30 is configured as a so-called computer system, and includes a CPU, a ROM, a RAM, an I / O, and a bus line connecting them.
制御部30には、カメラ31、地磁気センサ32、ジャイロスコープ33、距離センサ34、GPS受信機35、地図データ入力部36、操作スイッチ群37、通信部41、外部メモリ42、及び、表示部43が接続されている。 The control unit 30 includes a camera 31, a geomagnetic sensor 32, a gyroscope 33, a distance sensor 34, a GPS receiver 35, a map data input unit 36, an operation switch group 37, a communication unit 41, an external memory 42, and a display unit 43. Is connected.
カメラ31は、車両の前方を撮影するための構成である。カメラ31は、単眼カメラなどとして具現化される。車両前方の所定範囲を撮影することにより、歩行者などの障害物などを検出することが可能となる。 The camera 31 is a structure for photographing the front of the vehicle. The camera 31 is embodied as a monocular camera or the like. By photographing a predetermined range in front of the vehicle, it becomes possible to detect obstacles such as pedestrians.
地磁気センサ32は、地磁気によって車両の方位を検出する構成である。また、ジャイロスコープ33は、車両に加えられる回転運動の角速度に応じた検出信号を出力する。さらにまた、距離センサ34は、車両の走行距離を出力する。また、GPS受信機35は、GPS(Global Positioning System )用の人工衛星からの送信信号を受信し、車両の位置座標や高度を検出する。かかる構成により、制御部30は、車両の位置、方位などを算出可能となっている。なお、GPS受信機35からの出力信号に基づいて位置を求める方式は、単独測位方式、相対測位方式の何れであってもよい。 The geomagnetic sensor 32 is configured to detect the direction of the vehicle by geomagnetism. The gyroscope 33 outputs a detection signal corresponding to the angular velocity of the rotational motion applied to the vehicle. Furthermore, the distance sensor 34 outputs the travel distance of the vehicle. The GPS receiver 35 receives a transmission signal from a GPS (Global Positioning System) artificial satellite and detects the position coordinates and altitude of the vehicle. With this configuration, the control unit 30 can calculate the position, direction, and the like of the vehicle. The method for obtaining the position based on the output signal from the GPS receiver 35 may be either a single positioning method or a relative positioning method.
また、地図データ入力部36は、制御部30へ地図データを入力するための構成である。地図データは、DVD−ROM36aに記憶されており、地図データ入力部36を介して制御部30へ入力される。もちろん、DVD−ROM36a以外に、HDDやCD−ROMなどを用いてもよい。地図データには、道路データ、描画データ、マップマッチング用データ、経路案内用データなどが含まれる。 The map data input unit 36 is a configuration for inputting map data to the control unit 30. The map data is stored in the DVD-ROM 36 a and is input to the control unit 30 via the map data input unit 36. Of course, an HDD or a CD-ROM may be used in addition to the DVD-ROM 36a. The map data includes road data, drawing data, map matching data, route guidance data, and the like.
操作スイッチ群37は、ユーザからの各種指示を入力するための構成であり、物理的な押しボタンスイッチなどとして具現化される。あるいは、表示部43と一体に構成されたタッチパネルとして具現化してもよい。 The operation switch group 37 is configured to input various instructions from the user, and is embodied as a physical push button switch or the like. Alternatively, it may be embodied as a touch panel configured integrally with the display unit 43.
通信部41は、自車両周辺の他車両との間で、車車間通信を行うための構成である。これにより、例えば他車両からの要求があれば、制御部30は、自車両の位置情報(自車位置や高度)を他車両へ送信することが可能である。 The communication unit 41 is a configuration for performing inter-vehicle communication with other vehicles around the host vehicle. Thereby, for example, if there is a request from another vehicle, the control unit 30 can transmit the position information (the own vehicle position and altitude) of the own vehicle to the other vehicle.
外部メモリ42は、一時的な記憶を可能とするメモリである。例えば電源オフ時にも記憶内容が消失しないようにフラッシュメモリなどによって構成することが考えられる。また、HDDなどによって構成してもよい。 The external memory 42 is a memory that enables temporary storage. For example, it may be configured by a flash memory or the like so that stored contents are not lost even when the power is turned off. Moreover, you may comprise by HDD etc.
表示部43は、例えば液晶ディスプレイなどで構成される。この表示部43には、地図データ入力部36を介して入力される地図データに基づく地図及び当該地図上の自車位置が表示される。目的地までのルートが探索された場合には、当該ルートを表示することも可能である。 The display unit 43 is configured by, for example, a liquid crystal display. The display unit 43 displays a map based on the map data input via the map data input unit 36 and the vehicle position on the map. When a route to the destination is searched, the route can be displayed.
サブシステム5は、立体音響システム51及びオーディオシステム52を有している。
立体音響システム51は、音像を定位させるために、オーディオシステム52に対し、伝達関数の設定を指示する。具体的には、後述するように、制御部30から出力される指令値に基づいて、伝達関数の設定を指示する。伝達関数は、周知の音像定位技術に用いら
れるものであり、詳しくは、仮想音源から聴取者の鼓膜までの音の伝達特性を表す頭部伝達関数(HRTF:Head-Related Transfer Function)である。
The subsystem 5 includes a stereophonic sound system 51 and an audio system 52.
The stereophonic sound system 51 instructs the audio system 52 to set a transfer function in order to localize the sound image. Specifically, the setting of the transfer function is instructed based on the command value output from the control unit 30, as will be described later. The transfer function is used in a well-known sound image localization technique, and more specifically, is a head-related transfer function (HRTF) that represents a transfer characteristic of sound from the virtual sound source to the eardrum of the listener.
オーディオシステム52は、音源53、フィルタ54L,54R、及び、スピーカ55L,55Rを有している。
音源53は、CD音源やラジオ音源として具現化される。なお、ユーザによる録音を音源としてもよいし、警報音などを音源として利用してもよい。これら音源53は、ナビゲーション装置3の操作スイッチ群37を介して切り換えることが可能である。
The audio system 52 includes a sound source 53, filters 54L and 54R, and speakers 55L and 55R.
The sound source 53 is embodied as a CD sound source or a radio sound source. Note that recording by the user may be used as a sound source, or an alarm sound or the like may be used as a sound source. These sound sources 53 can be switched via the operation switch group 37 of the navigation device 3.
スピーカ55L,55Rは、その一方がユーザの左側からの音出力を行うための左側スピーカ55Lとなっており、他方がユーザの右側からの音出力を行うための右側スピーカ55Rとなっている。 One of the speakers 55L and 55R is a left speaker 55L for outputting sound from the left side of the user, and the other is a right speaker 55R for outputting sound from the right side of the user.
左側スピーカ55Lに対応するのが左側フィルタ54Lであり、右側スピーカ55Rに対応するのが右側フィルタ54Rである。上述したように音像を定位させる場合には、左側フィルタ54L及び右側フィルタ54Rが、伝達関数に基づくフィルタリングを行う。このようにしてフィルタリングされた音源53からの信号が、それぞれ左側スピーカ55L、右側スピーカ55Rへ出力される。 The left filter 54L corresponds to the left speaker 55L, and the right filter 54R corresponds to the right speaker 55R. As described above, when the sound image is localized, the left filter 54L and the right filter 54R perform filtering based on the transfer function. The signals from the sound source 53 filtered in this way are output to the left speaker 55L and the right speaker 55R, respectively.
なお、左側スピーカ55L及び右側スピーカ55Rとしたのは2チャンネルであることを示しており、左側スピーカ55L及び右側スピーカ55Rがそれぞれ複数のスピーカによって構成されていてもよい。また、後述する視線誘導を行わない通常時にあっては、ユーザによって設定されたオーディオ環境に基づいて音源53からの信号出力が行われる。このときオーディオシステム52は、フィルタ54L,54Rを介さず信号出力を行う。 Note that the left speaker 55L and the right speaker 55R are two channels, and the left speaker 55L and the right speaker 55R may each be composed of a plurality of speakers. Further, in a normal time when line-of-sight guidance described later is not performed, signal output from the sound source 53 is performed based on the audio environment set by the user. At this time, the audio system 52 outputs a signal without passing through the filters 54L and 54R.
オーディオ環境とは、出力信号の周波数特性を変更するイコライザの設定であることが考えられる。また、左右のバランスの設定であることが考えられる。前後方向にスピーカが配置されている場合には、前後のバランスの設定も含まれる。オーディオ環境の設定は、操作スイッチ群37を介して行われ、ナビゲーション装置3の外部メモリ42に記憶される。なお、ユーザによる設定がなされていない場合、デフォルトのオーディオ環境が外部メモリ42に記憶されているものとする。 The audio environment may be an equalizer setting that changes the frequency characteristics of the output signal. It is also possible to set the left and right balance. When speakers are arranged in the front-rear direction, setting of the front-rear balance is also included. The setting of the audio environment is performed via the operation switch group 37 and stored in the external memory 42 of the navigation device 3. It is assumed that the default audio environment is stored in the external memory 42 when the setting is not made by the user.
また、制御部30には、車内LANなどのネットワークを介して車両内のECU群60が接続されている。制御部30は、ECU群60を構成する複数のECUと通信を行うことにより、例えば車輪速度センサにて取得される車速を取得することが可能となる。 In addition, an ECU group 60 in the vehicle is connected to the control unit 30 via a network such as an in-vehicle LAN. The control unit 30 can acquire the vehicle speed acquired by, for example, a wheel speed sensor by communicating with a plurality of ECUs constituting the ECU group 60.
次に、図2のフローチャートに基づき、音像定位処理を説明する。この音像定位処理を実行することにより、予測注視点に音像が定位し、予測注視点に運転者の視線を誘導することが可能となる。音像定位処理は、視線誘導モードが「ON」又は「AUTO」となっている場合に、制御部30により所定時間間隔(例えば300ms)で繰り返し実行される。 Next, sound image localization processing will be described based on the flowchart of FIG. By executing this sound image localization processing, the sound image is localized at the predicted gazing point, and the driver's line of sight can be guided to the predicted gazing point. The sound image localization process is repeatedly executed by the control unit 30 at a predetermined time interval (for example, 300 ms) when the line-of-sight guidance mode is “ON” or “AUTO”.
視線誘導モードとは音像定位処理を実行して運転者の視線誘導を行うか否かを選択指示するためのものであり、視線誘導モードには「ON」、「AUTO」及び「OFF」がある。視線誘導モード「ON」の場合は基本的に音像定位処理が実行される。また、視線誘導モード「OFF」の場合は音像定位処理が実行されない。さらにまた、視線誘導モード「AUTO」の場合は、種々の走行関連情報に基づいて音像定位処理の実行が決定される。 The line-of-sight guidance mode is for selecting and instructing whether or not to perform the driver's line-of-sight guidance by executing sound image localization processing. The line-of-sight guidance mode includes “ON”, “AUTO”, and “OFF”. . In the case of the line-of-sight guidance mode “ON”, sound image localization processing is basically executed. Further, when the line-of-sight guidance mode is “OFF”, the sound image localization process is not executed. Furthermore, in the case of the line-of-sight guidance mode “AUTO”, execution of the sound image localization process is determined based on various travel-related information.
最初のS100では、自車両の速度を取得する。この処理は、ECU群60を介して自
車両の現時点の速度を取得するものである。
続くS110では、自車両の位置を取得する。この処理は、地磁気センサ32及びGPS受信機35などを用い自車両の位置及び方位を算出し、さらに、地図データ入力部36を介して入力される地図データ中の道路データ及びマップマッチングデータを用い、地図上での自車両の位置を取得するものである。
In first S100, the speed of the host vehicle is acquired. In this process, the current speed of the host vehicle is acquired via the ECU group 60.
In continuing S110, the position of the own vehicle is acquired. This process uses the geomagnetic sensor 32 and the GPS receiver 35 to calculate the position and orientation of the host vehicle, and further uses road data and map matching data in the map data input via the map data input unit 36. The position of the vehicle on the map is acquired.
次のS120では、道路形状を取得する。この処理は、S110にて取得される自車両の位置に基づき、自車両が走行している道路形状を取得するものである。後述するようにN秒後の自車両の位置を推定するため、走行方向を考慮して所定範囲(例えば50m先まで)の道路形状を取得する。 In the next S120, the road shape is acquired. In this process, the shape of the road on which the host vehicle is traveling is acquired based on the position of the host vehicle acquired in S110. As will be described later, in order to estimate the position of the host vehicle after N seconds, a road shape within a predetermined range (for example, up to 50 m ahead) is acquired in consideration of the traveling direction.
続くS130では、N秒後の自車両の位置における道路の曲率を取得する。この処理は、S100にて取得した自車両の速度でN秒間走行した場合の自車両の推定位置における道路の曲率を取得するものである。 In subsequent S130, the curvature of the road at the position of the host vehicle after N seconds is acquired. This process acquires the curvature of the road at the estimated position of the host vehicle when traveling for N seconds at the speed of the host vehicle acquired in S100.
次のS140では、N秒後における自車両の速度及びヨーレートを推定する。ヨーレートとは、自車両の旋回方向への回転角の変化速度である。ここでは、S100にて取得した自車両の速度をN秒後の自車両の速度とし、また、S130にて取得した道路の曲率に基づき自車両のヨーレートを推定する。 In the next S140, the speed and yaw rate of the host vehicle after N seconds are estimated. The yaw rate is the rate of change of the rotation angle in the turning direction of the host vehicle. Here, the speed of the host vehicle acquired in S100 is set as the speed of the host vehicle after N seconds, and the yaw rate of the host vehicle is estimated based on the curvature of the road acquired in S130.
続くS150では、指令値を算出する。この処理は、N秒後の自車両の位置における予測注視点を示す指令値を算出するものである。予測注視点は、特許第4735676号公報に記載されている方法で算出可能である。この指令値は、例えば予測注視点までの距離R、自車両からの水平方向の角度である方位角θ、及び、自車両からの垂直方向の角度である仰角φとして算出される。 In subsequent S150, a command value is calculated. This process calculates a command value indicating a predicted point of gaze at the position of the host vehicle after N seconds. The predicted gazing point can be calculated by the method described in Japanese Patent No. 4735676. This command value is calculated as, for example, the distance R to the predicted gazing point, the azimuth angle θ that is the horizontal angle from the host vehicle, and the elevation angle φ that is the vertical angle from the host vehicle.
次のS160では、指令値に基づく音像定位の目標となる定位位置を出力する。この処理は、S150にて算出された指令値に基づき、三次元直交座標系での音像の定位位置を算出し、当該定位位置を立体音響システム51へ出力するものである。これにより、立体音響システム51は、フィルタ54L,54Rで用いる伝達関数の設定をオーディオシステム52へ指示する。例えばオーディオシステム52は、立体音響システム51からの指示に対応する複数の伝達関数を予め保持しており、選択的に伝達関数を設定するという具合である。これにより、スピーカ55L,55Rにより形成される音像は、指令値に対応する定位位置に定位する。 In the next S160, a localization position which is a target of sound image localization based on the command value is output. In this process, the localization position of the sound image in the three-dimensional orthogonal coordinate system is calculated based on the command value calculated in S150, and the localization position is output to the stereophonic sound system 51. Thereby, the stereophonic sound system 51 instructs the audio system 52 to set the transfer function used in the filters 54L and 54R. For example, the audio system 52 holds a plurality of transfer functions corresponding to instructions from the stereophonic sound system 51 in advance, and selectively sets the transfer functions. Thereby, the sound image formed by the speakers 55L and 55R is localized at the localization position corresponding to the command value.
このような音像定位処理により、N秒後の自車位置における注視点である予測注視点に音像が定位することになる。
図7に示すように、正面方向を0度とする運転者の視線の方向(角度)を縦軸とし測定時間を横軸とすると、音像定位処理を実行した場合の運転者の視線の動きは、曲線A(太実線で示した曲線)に示すごとくとなった。一方、音像定位処理を実行していない場合の運転者の視線の動きは、曲線B(細実線で示した曲線)に示すごとくとなった。このとき、曲線X(破線で示した曲線)が予測注視点の方向の変化を示している。
By such sound image localization processing, the sound image is localized at the predicted gazing point, which is the gazing point at the vehicle position after N seconds.
As shown in FIG. 7, when the driver's line-of-sight direction (angle) with the front direction as 0 degrees is the vertical axis and the measurement time is the horizontal axis, the movement of the driver's line-of-sight when sound image localization processing is performed is As shown by curve A (curve shown by a thick solid line). On the other hand, the movement of the driver's line of sight when the sound image localization processing is not executed is as shown by a curve B (curve indicated by a thin solid line). At this time, a curve X (curve indicated by a broken line) indicates a change in the direction of the predicted gazing point.
図7から分かるように、音像定位処理の実行により、運転者の視線の方向は、その変化幅が大きくなっており、予測注視点の方向の変化と類似する傾向にある。これにより、音像定位処理を実行した場合は、運転者の視線が予測注視点の方向へ誘導され、運転者は、道路におけるコーナーの奥へ視線を運んでいることが分かる。 As can be seen from FIG. 7, the direction of the driver's line of sight increases due to the execution of the sound image localization process, and tends to be similar to the change in the direction of the predicted gazing point. Thereby, when the sound image localization processing is executed, it is understood that the driver's line of sight is guided in the direction of the predicted gazing point, and the driver is carrying the line of sight toward the back of the corner on the road.
図8及び図9は、音像定位処理を実行している場合と実行していない場合とで、車両の前後方向及び左右方向の加速度をそれぞれ縦軸と横軸とにプロットしたものである。ここ
で、音像定位処理が実行されていないときを示す図9では加速度の大きさや方向が急激に変化しているのに対し、音像定位処理が実行されているときを示す図8では、加速の大きさや方向の変化が連続的で滑らかなものとなった。これにより、視線誘導モードをオンにした場合は、運転者の視線が予測注視点の方向へ誘導される結果、車両の挙動を滑らかにするような運転操作が実現されることが分かる。
FIGS. 8 and 9 plot the longitudinal and lateral accelerations of the vehicle on the vertical axis and the horizontal axis, respectively, when the sound image localization process is executed and when it is not executed. Here, in FIG. 9, which shows the time when the sound image localization processing is not executed, the magnitude and direction of the acceleration change abruptly, whereas in FIG. 8, which shows the time when the sound image localization processing is executed, The change in size and direction became continuous and smooth. As a result, when the line-of-sight guidance mode is turned on, the driver's line of sight is guided in the direction of the predicted gazing point, and as a result, a driving operation that smoothens the behavior of the vehicle is realized.
しかしながら、予測注視点へ視線を誘導することが、適切な場合と不適切な場合とがある。前者の場合は積極的に予測注視点への視線誘導を行うことで安全運転が確保され、後者の場合は、あえて予測注視点への視線誘導を行わないことで安全運転が確保される。 However, there are cases where it is appropriate and inappropriate to guide the line of sight to the predicted gazing point. In the former case, safe driving is ensured by actively guiding the gaze to the predicted gazing point, and in the latter case, safe driving is ensured by not performing the gaze guidance to the predicted gazing point.
そこで、本実施形態では、以下に示す誘導停止処理及び誘導開始処理を実行する。以下、これらの処理について説明する。
図3のフローチャートに示す誘導停止処理は、視線誘導モードが「ON」又は「AUTO」に設定されている場合に、制御部30によって所定時間間隔で繰り返し実行される。視線誘導モードが「ON」のときにも実行されるのは、不適切な状況下で音像定位処理が実行されることによる不具合を払拭するためである。
Therefore, in the present embodiment, the following guidance stop processing and guidance start processing are executed. Hereinafter, these processes will be described.
The guidance stop process shown in the flowchart of FIG. 3 is repeatedly executed by the control unit 30 at predetermined time intervals when the line-of-sight guidance mode is set to “ON” or “AUTO”. The reason why the line-of-sight guidance mode is also “ON” is to eliminate problems caused by executing the sound image localization process under an inappropriate situation.
最初のS200では、運転支援制御中であるか否かを判断する。この処理は、運転を支援する制御システムが動作しているか否かを判断するものであり、ECU群60からの情報に基づいて行われる。例えば、ACC(Adaptive Cruise Control )と呼ばれる車間自動制御システム、及び、LKA(Lane Keeping Assist System)と呼ばれるレーンキープアシストシステムが動作しているか否かを判断するという具合である。ここで運転支援制御中であると判断された場合(S200:YES)、S210へ移行する。一方、運転支援制御中でないと判断された場合(S200:NO)、S210の処理を実行せず、S220へ移行する。 In first S200, it is determined whether or not driving support control is being performed. This process determines whether or not a control system that supports driving is operating, and is performed based on information from the ECU group 60. For example, it is determined whether an inter-vehicle automatic control system called ACC (Adaptive Cruise Control) and a lane keep assist system called LKA (Lane Keeping Assist System) are operating. When it is determined that the driving support control is being performed (S200: YES), the process proceeds to S210. On the other hand, when it is determined that the driving support control is not being performed (S200: NO), the process of S210 is not executed, and the process proceeds to S220.
S210では、オーバーライドがあったか否かを判断する。この処理は、運転支援制御中にあって、運転者の操作介入があったか否かを判断するものである。操作介入とは、アクセル操作、ブレーキ操作、ステアリング操作、又は、運転支援制御を停止(オフ)する操作を意味する。運転者の操作介入があった場合には、注意を払うべき走行状況が発生したと考えられる。ここでオーバーライドがあったと判断された場合(S210:YES)、S280にて音像定位処理を停止し、S290にて処理の停止を通知して、その後、誘導停止処理を終了する。処理の停止の通知は、「音による誘導を停止しました」などの通知を行うものである(以下でも同様)。一方、オーバーライドがないと判断された場合(S210:NO)、S220へ移行する。 In S210, it is determined whether or not there is an override. This process determines whether or not there has been a driver's operation intervention during the driving support control. The operation intervention means an accelerator operation, a brake operation, a steering operation, or an operation for stopping (turning off) the driving support control. When there is a driver's operation intervention, it is considered that a driving situation that requires attention has occurred. If it is determined that there is an override (S210: YES), the sound image localization process is stopped in S280, the stop of the process is notified in S290, and then the guidance stop process is terminated. The process stop notification is a notification such as “Sound guidance stopped” (and so on). On the other hand, when it is determined that there is no override (S210: NO), the process proceeds to S220.
S220では、市街地を走行中か否かを判断する。この処理は、地図データ入力部36を介して入力される地図データに基づき、自車両の走行する道路が市街地路であるか否かを判断するものである。市街地であるか否かの判断は、例えばPOI(Point Of Interest )データなどから施設の面積を求め、地図上の自車両周辺のエリアの建坪率を求めることで行われる。ここで市街地を走行中であると判断された場合(S220:YES)、S280にて音像定位処理を停止し、S290にて処理の停止を通知して、その後、誘導停止処理を終了する。市街地にあっては、歩行者など注意を払うべき対象物が多いためである。一方、市街地を走行中でないと判断された場合は(S220:NO)、S230へ移行する。 In S220, it is determined whether the vehicle is traveling in an urban area. This process is based on the map data input via the map data input unit 36, and determines whether or not the road on which the vehicle travels is an urban road. The determination as to whether or not it is an urban area is made by, for example, determining the area of the facility from POI (Point Of Interest) data and determining the floor area ratio of the area around the vehicle on the map. If it is determined that the vehicle is traveling in an urban area (S220: YES), the sound image localization process is stopped in S280, the stop of the process is notified in S290, and then the guidance stop process is terminated. This is because there are many objects such as pedestrians that require attention in urban areas. On the other hand, when it is determined that the vehicle is not traveling in an urban area (S220: NO), the process proceeds to S230.
S230では、低速走行が継続しているか否かを判断する。ここでは、例えば10km/h以下の速度で10秒間走行していることを判断するという具合である。自車両の車速は、ECU群60を介して取得する。ここで低速走行が継続していると判断された場合(S230:YES)、S280にて音像定位処理を停止し、S290にて処理の停止を通
知して、その後、誘導停止処理を終了する。低速走行が継続している場合には、たとえ市街地でなくても、歩行者など注意を払うべき対象物が多いという状況である蓋然性が高いためである。一方、低速走行が継続していないと判断された場合(S230:NO)、S240へ移行する。
In S230, it is determined whether or not the low speed running is continued. Here, for example, it is determined that the vehicle is traveling for 10 seconds at a speed of 10 km / h or less. The vehicle speed of the host vehicle is acquired via the ECU group 60. If it is determined that the low-speed running is continued (S230: YES), the sound image localization process is stopped in S280, the process stop is notified in S290, and then the guidance stop process is ended. This is because there is a high probability that there are many objects such as pedestrians to pay attention to even if the vehicle is traveling at low speed, even in a city area. On the other hand, when it is determined that the low-speed traveling is not continued (S230: NO), the process proceeds to S240.
S240では、停車中か否かを判断する。この処理は、自車両の車速が「0」となっているか否かを判断するものである。ここで停車中であると判断された場合(S240:YES)、S280にて音像定位処理を停止し、S290にて処理の停止を通知して、その後、誘導停止処理を終了する。停車中にあっては、前方の道路形状に基づく音像の定位が意味をなさなくなり、「止まっていても右側から音が聞こえる」というように、運転者の注意を散漫にしたり、違和感を生じさせたりするためである。一方、停車中でないと判断された場合(S240:NO)、すなわち走行中である場合には、S250へ移行する。 In S240, it is determined whether or not the vehicle is stopped. This process is to determine whether or not the vehicle speed of the host vehicle is “0”. If it is determined that the vehicle is stopped (S240: YES), the sound image localization process is stopped in S280, the process stop is notified in S290, and then the guidance stop process is terminated. When stopped, the localization of the sound image based on the shape of the road ahead makes no sense, distracting the driver's attention and causing a sense of discomfort, such as `` you can hear the sound from the right side even if it stops '' This is because On the other hand, when it is determined that the vehicle is not stopped (S240: NO), that is, when the vehicle is running, the process proceeds to S250.
S250では、音像定位処理が停止中か否かを判断する。ここで音像定位処理が停止中であると判断された場合(S250:YES)、S260にて音像定位処理を開始し、S270にて処理の開始を通知して、その後、誘導停止処理を終了する。処理の開始の通知は、「音による誘導を開始しました」などの通知を行うものである(以下でも同様)。一方、音像定位処理が停止中でないと判断された場合(S250:NO)、すなわち音像定位処理が繰り返し実行されている場合には、S260及びS270の処理を実行せず、誘導停止処理を終了する。 In S250, it is determined whether the sound image localization process is stopped. If it is determined that the sound image localization process is stopped (S250: YES), the sound image localization process is started in S260, the start of the process is notified in S270, and then the guidance stop process is terminated. . The notification of the start of the process is a notification such as “The guidance by sound has started” (and so on). On the other hand, when it is determined that the sound image localization process is not stopped (S250: NO), that is, when the sound image localization process is repeatedly executed, the processes of S260 and S270 are not executed, and the guidance stop process is terminated. .
図4のフローチャートに示す誘導開始処理は、視線誘導モードが「AUTO」に設定されている場合に、制御部30によって所定時間間隔で繰り返し実行される。
最初のS300において、高速道路を走行中であるか否かを判断する。この判断は、地図データ入力部36を介して入力される地図データに基づいて行われる。ここで高速道路を走行中であると判断された場合(S300:YES)、S310にて音像定位処理を開始し、S320にて処理の開始を通知して、その後、誘導開始処理を終了する。一方、高速道路を走行中でないと判断された場合(S300:NO)、S310及びS320の処理を実行せず、誘導開始処理を終了する。
The guidance start process shown in the flowchart of FIG. 4 is repeatedly executed by the control unit 30 at predetermined time intervals when the line-of-sight guidance mode is set to “AUTO”.
In first S300, it is determined whether or not the vehicle is traveling on a highway. This determination is made based on the map data input via the map data input unit 36. If it is determined that the vehicle is traveling on a highway (S300: YES), the sound image localization process is started in S310, the start of the process is notified in S320, and the guidance start process is then terminated. On the other hand, when it is determined that the vehicle is not traveling on the highway (S300: NO), the processes of S310 and S320 are not executed, and the guidance start process is terminated.
以上詳述したように、本実施形態では、音像定位処理(図2参照)に並行し、誘導停止処理(図3参照)及び誘導開始処理(図4参照)を実行することで、予測注視点へ視線を誘導することが適切な状況であるか不適切な状況であるかを判断し、音像定位処理の停止/開始を制御する。 As described above in detail, in the present embodiment, in parallel with the sound image localization process (see FIG. 2), the guidance stop process (see FIG. 3) and the guidance start process (see FIG. 4) are executed, thereby predicting the gaze point. It is determined whether it is an appropriate situation or an inappropriate situation to guide the line of sight to the sound, and the stop / start of the sound image localization process is controlled.
すなわち、実行手段30aにて実行される音像定位処理により、走行中に運転者が注視する傾向にある注視点が算出され、当該注視点が前記立体音響システムへ出力されることにより、オーディオシステムを介して音像が注視点に定位する。 That is, by the sound image localization process executed by the execution unit 30a, a gaze point that tends to be watched by the driver while traveling is calculated, and the gaze point is output to the stereophonic sound system, thereby the audio system is The sound image is localized at the point of interest.
ここで特に、取得手段30bが、自車両の走行に関連する情報である走行関連情報を取得し、取得手段30bにて取得される走行関連情報に基づき、実行制御手段30cが、実行手段30aによる音像定位処理の停止/開始を制御する。 Here, in particular, the acquisition unit 30b acquires travel-related information that is information related to the travel of the host vehicle, and the execution control unit 30c is based on the travel-related information acquired by the acquisition unit 30b. Controls stop / start of sound image localization processing.
これにより、立体音響の技術を用いて運転者の視線を注視点に誘導するにあたり、適切な状況下で注視点への視線誘導を行うことができる。
また、本実施形態では、自車両の速度を取得し(図2中のS100)、地図上での自車両の位置を取得する(S110)。次に、走行方向を考慮して所定範囲の道路形状を取得し(S120)、N秒後の自車両の位置における道路の曲率を取得して(S130)、N秒後における自車両の速度及びヨーレートを推定し(S140)、N秒後の自車両の位置における予測注視点を示す指令値を算出する(S150)。すなわち、音像定位処理では
、車両の未来における速度及びヨーレートを推定し、当該未来における注視点である予測注視点を算出する。これにより、近い将来に運転者が注視する予測注視点が算出されるため、予測注視点への音像の定位により、運転者の運転操作をより適切なものとすることができる。
Thereby, in guiding the driver's line of sight to the gazing point using the stereophonic technology, the line of sight to the gazing point can be performed under an appropriate situation.
In the present embodiment, the speed of the host vehicle is acquired (S100 in FIG. 2), and the position of the host vehicle on the map is acquired (S110). Next, the road shape within a predetermined range is acquired in consideration of the traveling direction (S120), the curvature of the road at the position of the host vehicle after N seconds is acquired (S130), and the speed of the host vehicle after N seconds and A yaw rate is estimated (S140), and a command value indicating a predicted gazing point at the position of the host vehicle after N seconds is calculated (S150). That is, in the sound image localization processing, the future speed and yaw rate of the vehicle are estimated, and a predicted gazing point that is the gazing point in the future is calculated. As a result, a predicted gazing point that the driver is gazing in the near future is calculated, so that the driving operation of the driver can be made more appropriate by localization of the sound image to the predicted gazing point.
ところで、ACCやLKAなどの運転支援制御中に運転者の操作介入があった場合は注意を払うべき走行状況が発生していると考えられる。この点、本実施形態では、運転支援制御中であるか否かを判断し(図3中のS200)、運転支援システムによる運転支援制御が行われている場合に(S200:YES)運転者によるオーバーライドがあった場合には(S210:YES)、音像定位処理を停止する(S280)。すなわち、自車両の運転を支援する運転支援システムと共に用いられ、取得手段30bは、走行関連情報として、運転支援システムによる自車両の制御状態を取得し、実行制御手段30cは、制御状態に基づき、運転支援システムによる制御に運転者の操作介入があった場合、音像定位処理を停止する。これにより、走行状況に十分な注意を払うことができ、安全運転の実現に寄与する。 By the way, it is thought that the driving | running | working condition which should pay attention has generate | occur | produced when there exists a driver | operator's operation intervention during driving assistance control, such as ACC and LKA. In this respect, in the present embodiment, it is determined whether or not the driving support control is being performed (S200 in FIG. 3), and when the driving support control is being performed by the driving support system (S200: YES), by the driver. If there is an override (S210: YES), the sound image localization process is stopped (S280). That is, it is used together with a driving support system that supports driving of the host vehicle, the acquisition unit 30b acquires the control state of the host vehicle by the driving support system as travel related information, and the execution control unit 30c is based on the control state, If there is a driver's operation intervention in the control by the driving support system, the sound image localization processing is stopped. Thereby, sufficient attention can be paid to the driving situation, which contributes to the realization of safe driving.
また、市街地にあっては歩行者など注意を払うべき対象物が多い。この点、本実施形態では、市街地を走行中か否かを判断し(図3中のS220)、市街地を走行中であると判断された場合には(S220:YES)、音像定位処理を停止する(S280)。すなわち、取得手段30bは、走行関連情報として、自車両の走行する道路を取得し、実行制御手段30cは、道路に基づき、自車両が市街地を走行している場合、音像定位処理を停止する。これにより、対象物に十分な注意を払うことができ、安全運転の実現に寄与する。 In addition, there are many objects such as pedestrians that require attention in urban areas. In this regard, in this embodiment, it is determined whether or not the vehicle is traveling in an urban area (S220 in FIG. 3), and if it is determined that the vehicle is traveling in an urban area (S220: YES), the sound image localization process is stopped. (S280). That is, the acquisition unit 30b acquires the road on which the host vehicle travels as travel-related information, and the execution control unit 30c stops the sound image localization process when the host vehicle is traveling in an urban area based on the road. Thereby, sufficient attention can be paid to the object, which contributes to the realization of safe driving.
さらにまた、低速走行が継続している場合には、たとえ市街地でなくても、歩行者など注意を払うべき対象物が多いという状況である蓋然性が高い。この点、本実施形態では、自車両の低速走行が継続しているか否かを判断し(図3中のS230)、低速走行が継続していると判断された場合には(S230:YES)、音像定位処理を停止する(S280)。すなわち、取得手段30bは、走行関連情報として、自車両の速度を取得し、実行制御手段30cは、速度に基づき、自車両が低速走行を継続している場合、音像定位処理を停止する。これにより、対象物に十分な注意を払うことができ、安全運転の実現に寄与する。 Furthermore, when low-speed driving continues, there is a high probability that there are many objects to be paid attention to, such as pedestrians, even in a city area. In this regard, in the present embodiment, it is determined whether or not the low-speed traveling of the host vehicle is continued (S230 in FIG. 3), and when it is determined that the low-speed traveling is continued (S230: YES). Then, the sound image localization process is stopped (S280). That is, the acquisition unit 30b acquires the speed of the host vehicle as the travel-related information, and the execution control unit 30c stops the sound image localization process when the host vehicle continues to travel at a low speed based on the speed. Thereby, sufficient attention can be paid to the object, which contributes to the realization of safe driving.
また、停車中にあっては前方の道路形状に基づく音像の定位が意味をなさなくなり、「止まっていても右側から音が聞こえる」というように、運転者の注意を散漫にしたり、違和感を生じさせたりする。この点、本実施形態では、自車両が停止中であるか否かを判断し(図3中のS240)、自車両が停止していると判断された場合には(S240:YES)、音像定位処理を定位する(S280)。すなわち、取得手段30bは、走行関連情報として、自車両の速度を取得し、実行制御手段30cは、速度に基づき、自車両が停止している場合、音像定位処理を停止する。これにより、停車中において、運転者の注意を散漫にさせたり、違和感を生じさせたりすることがなくなる。 Also, when stopped, the localization of the sound image based on the shape of the road ahead makes no sense, distracting the driver's attention and causing a sense of incongruity, such as `` you can hear the sound from the right side even if it stops '' I will let you. In this regard, in the present embodiment, it is determined whether or not the own vehicle is stopped (S240 in FIG. 3), and if it is determined that the own vehicle is stopped (S240: YES), the sound image is displayed. The localization process is localized (S280). That is, the acquisition unit 30b acquires the speed of the host vehicle as the travel-related information, and the execution control unit 30c stops the sound image localization process when the host vehicle is stopped based on the speed. As a result, the driver's attention is not distracted or uncomfortable while the vehicle is stopped.
一方で、自車両が高速道路を走行している場合には、コーナーの奥へ視線を向けることが車両挙動の安定につながる。この点、本実施形態では、自車両が高速道路を走行中であるか否かを判断し(図4中のS300)、高速道路を走行中であると判断された場合には(S300:YES)、音像定位処理を開始する(S310)。すなわち、取得手段30bは、走行関連情報として、自車両の走行する道路を取得し、実行制御手段30cは、道路に基づき、自車両が高速道路を走行している場合、音像定位処理を開始する。これにより、高速道路走行において車両挙動の安定を図ることができる。 On the other hand, when the host vehicle is traveling on an expressway, turning the line of sight toward the back of the corner leads to stable vehicle behavior. In this regard, in this embodiment, it is determined whether or not the host vehicle is traveling on the expressway (S300 in FIG. 4), and if it is determined that the vehicle is traveling on the expressway (S300: YES). ), Sound image localization processing is started (S310). That is, the acquisition unit 30b acquires the road on which the host vehicle travels as travel-related information, and the execution control unit 30c starts the sound image localization process when the host vehicle is traveling on the highway based on the road. . As a result, the vehicle behavior can be stabilized in traveling on the highway.
また、本実施形態では、音像定位処理を停止した場合や開始した場合、当該処理の停止
/開始を通知する(図2中のS270,S290,図3中のS320)。すなわち、実行手段30aによる音像定位処理の停止/開始を運転者に報知する報知手段30dを備えている。これにより、音像定位処理の停止/開始によって運転者が違和感を生じることがなくなる。
In this embodiment, when the sound image localization process is stopped or started, the stop / start of the process is notified (S270, S290 in FIG. 2, S320 in FIG. 3). That is, a notification unit 30d that notifies the driver of the stop / start of the sound image localization process by the execution unit 30a is provided. This prevents the driver from feeling uncomfortable due to the stop / start of the sound image localization process.
なお、本実施形態では2チャンネルの立体音響技術を用いた。これに対し、チャンネル数を増やしてオーディオシステムのスピーカを運転者の周囲に配置すれば、立体音響技術を用いなくとも音像を定位させることは出来る。ただし、車室内という限られたスペースの中では、任意の位置にスピーカを配置することは困難となる。したがって、2チャンネルの立体音響技術を用いることが、車室内では極めて有効となる。 In this embodiment, a two-channel stereophonic technology is used. On the other hand, if the number of channels is increased and the speakers of the audio system are arranged around the driver, the sound image can be localized without using the stereophonic technology. However, it is difficult to place a speaker at an arbitrary position in a limited space such as a passenger compartment. Therefore, it is very effective to use the two-channel stereophonic technology in the passenger compartment.
以上、本発明は、上述した実施形態に何ら限定されるものではなく、その技術的範囲を逸脱しない限り、種々なる形態で実施可能である。
[補足説明]
予測注視点の算出方法は、具体的には、次のように行う。
As described above, the present invention is not limited to the embodiment described above, and can be implemented in various forms without departing from the technical scope thereof.
[Supplemental explanation]
Specifically, the method of calculating the predicted gazing point is performed as follows.
まず、図5に示すように、現時点からN秒後における自車両100を基準にし、自車両100の走行する道路R上に、一定間隔で、区切り線Kを設定する。そして、この区切り線K上に複数の格子点Lを仮想的に設定する。ここで各格子点Lの位置及び距離は、ナビゲーション装置3の地図データ入力部36を介して入力される地図データから取得する。図中では区切り線K上に設定される格子点Lの一部を示した。また、格子点Lの個数もイメージ的なものである。 First, as shown in FIG. 5, dividing lines K are set at regular intervals on the road R on which the host vehicle 100 travels with reference to the host vehicle 100 N seconds after the current time. Then, a plurality of grid points L are virtually set on the dividing line K. Here, the position and distance of each grid point L are acquired from the map data input via the map data input unit 36 of the navigation device 3. In the drawing, a part of the lattice points L set on the dividing line K is shown. The number of grid points L is also an image.
次に、N秒後における運転者の首振り角の変化率を推測する。この首振り角の変化率は、図2中のS130で取得される道路の曲率から推測可能である。ここで推測される首振り角の変化率をAとして説明を続ける。 Next, the change rate of the driver's swing angle after N seconds is estimated. The change rate of the swing angle can be estimated from the curvature of the road acquired in S130 in FIG. The description will be continued assuming that the change rate of the swing angle estimated here is A.
続いて、N秒後における自車両100を基準とし、各格子点Lについて、網膜球面モデルに投射した場合の運動量(以下「視覚運動量」という)を算出する。図6に示すように網膜球面モデルは、運転者の網膜を球面としてモデル化したものであり、網膜球面モデル上の物体の位置は、網膜座標系における物体に位置に対応する。 Subsequently, with respect to the host vehicle 100 after N seconds, a momentum (hereinafter referred to as “visual momentum”) when each lattice point L is projected onto the retinal spherical model is calculated. As shown in FIG. 6, the retinal spherical model is obtained by modeling the driver's retina as a spherical surface, and the position of the object on the retinal spherical model corresponds to the position in the retinal coordinate system.
ここで物体の方位角をθとし仰角をφとすると、N秒後における自車両100を基準とした任意の格子点Lの網膜球面モデル上での位置は(θ,φ)と記述することができる。そして、離心角ωの変化率(離心角変化率ω’)の絶対値を視覚運動量として算出する。離心角変化率ω’は、車速をVとし、格子点Lまでの距離をRとし、ヨーレートをγとすると、次の式1で表すことができる。なお、車速V及びヨーレートγは、図2中のS140にて推定されたものである。 Here, if the azimuth angle of the object is θ and the elevation angle is φ, the position on the retinal spherical model of an arbitrary lattice point L with reference to the vehicle 100 after N seconds can be described as (θ, φ). it can. Then, the absolute value of the change rate of the eccentric angle ω (eccentric angle change rate ω ′) is calculated as the visual momentum. The eccentric angle change rate ω ′ can be expressed by the following equation 1 where the vehicle speed is V, the distance to the lattice point L is R, and the yaw rate is γ. The vehicle speed V and the yaw rate γ are those estimated in S140 in FIG.
式1を用い各格子点Lについて離心角変化率ω’を算出し、離心角変化率ω’の絶対値が最小となる格子点Lを、N秒後における予測注視点とする。
なお、離心角変化率ω’は、網膜球面モデルを用いて算出したものであることから路上の格子点Lの視覚運動量を示している。運転者は、運転中に視覚運動量の最小点を注視する傾向にあることが知られている。
The eccentric angle change rate ω ′ is calculated for each lattice point L using Equation 1, and the lattice point L at which the absolute value of the eccentric angle change rate ω ′ is the minimum is set as the predicted gazing point after N seconds.
Since the eccentric angle change rate ω ′ is calculated using the retinal spherical model, it indicates the visual momentum of the lattice point L on the road. It is known that the driver tends to gaze at the minimum point of visual momentum during driving.
[他の実施形態]
(イ)上記実施形態では、視線誘導モードが「ON」又は「AUTO」のときに誘導停止処理を実行し、視線誘導モードが「AUTO」のときに誘導開始処理を実行していた。視線誘導モードが「ON」となっているときに誘導停止処理を実行するのは、音像の定位による視線誘導がない状態を基準とし、明に「ON」となっている場合でも不適切な状況下では音像定位処理を停止するのが妥当であるとの判断に基づくものである。ただし、視線誘導モードが「AUTO」の場合にだけ誘導停止処理を実行するようにしてもよい。同様に、視線誘導モードが「OFF」となっているときに誘導開始処理を実行していないのは、音像の定位による視線誘導がない状態を基準とし、明に「OFF」となっている場合には適切な状況下であっても運転者の意思を尊重するという判断に基づくものである。ただし、視線誘導モードが「OFF」又は「AUTO」の場合に誘導開始処理を実行するようにしてもよい。
[Other Embodiments]
(A) In the above embodiment, the guidance stop process is executed when the line-of-sight guidance mode is “ON” or “AUTO”, and the guidance start process is executed when the line-of-sight guidance mode is “AUTO”. The guidance stop process is executed when the line-of-sight guidance mode is “ON” based on the state where there is no line-of-sight guidance due to localization of the sound image, even when it is clearly “ON” The following is based on the judgment that it is appropriate to stop the sound image localization processing. However, the guidance stop process may be executed only when the line-of-sight guidance mode is “AUTO”. Similarly, when the line-of-sight guidance mode is “OFF”, the guidance start process is not executed when the line-of-sight guidance by sound image localization is not used as a reference and is clearly “OFF” Is based on the judgment of respecting the driver's will even under appropriate circumstances. However, the guidance start process may be executed when the line-of-sight guidance mode is “OFF” or “AUTO”.
(ロ)上記実施形態では、現時点からN秒後の自車両の位置を基準として、予測注視点に対応する指令値を算出していた(図2中のS150)。これに対し、現時点から所定距離M(例えば30m)だけ進んだ自車両の位置を基準として、予測注視点に対応する指令値を算出するようにしてもよい。この場合、図2に示した音像定位処理のS130において、自車両の現時点における位置よりも所定距離Mだけ進んだ位置での曲率を取得するようにすればよい。このようにしても、上記実施形態と同様の効果が奏される。 (B) In the above embodiment, the command value corresponding to the predicted gazing point is calculated based on the position of the host vehicle N seconds after the current time (S150 in FIG. 2). On the other hand, the command value corresponding to the predicted gazing point may be calculated on the basis of the position of the host vehicle that has traveled by a predetermined distance M (for example, 30 m) from the present time. In this case, in S130 of the sound image localization process shown in FIG. 2, the curvature at a position advanced by a predetermined distance M from the current position of the host vehicle may be acquired. Even if it does in this way, the same effect as the above-mentioned embodiment is produced.
(ハ)上記実施形態では、現時点からN秒後の自車両の位置を基準として、予測注視点に対応する指令値を算出していた(図2中のS150)。これに対し、現時点での注視点を算出するようにしてもよい。この場合、図2に示した音像定位処理のS130において、自車両の現時点における道路の曲率を取得するようにすればよい。このようにしても、上記実施形態と同様の効果が奏される。 (C) In the above embodiment, the command value corresponding to the predicted gazing point is calculated based on the position of the host vehicle N seconds after the current time (S150 in FIG. 2). On the other hand, the current gaze point may be calculated. In this case, in S130 of the sound image localization process shown in FIG. 2, the curvature of the road at the present time of the host vehicle may be acquired. Even if it does in this way, the same effect as the above-mentioned embodiment is produced.
1…ナビゲーションシステム、3…ナビゲーション装置、5…サブシステム、30…制御部、30a…実行手段、30b…取得手段、30c…実行制御手段、30d…報知手段、31…カメラ、32…地磁気センサ、33…ジャイロスコープ、34…距離センサ、35…GPS受信機、36a…DVD−ROM、37…操作スイッチ群、41…通信部、42…外部メモリ、43…表示部、51…立体音響システム、52…オーディオシステム、53…音源、54L…フィルタ、54L…左側フィルタ、54R…右側フィルタ、55L…スピーカ、55L…左側スピーカ、55R…右側スピーカ、60…ECU群、100…自車両 DESCRIPTION OF SYMBOLS 1 ... Navigation system, 3 ... Navigation apparatus, 5 ... Subsystem, 30 ... Control part, 30a ... Execution means, 30b ... Acquisition means, 30c ... Execution control means, 30d ... Notification means, 31 ... Camera, 32 ... Geomagnetic sensor, 33 ... Gyroscope, 34 ... Distance sensor, 35 ... GPS receiver, 36a ... DVD-ROM, 37 ... Operation switch group, 41 ... Communication unit, 42 ... External memory, 43 ... Display unit, 51 ... Stereophonic sound system, 52 ... Audio system, 53 ... Sound source, 54L ... Filter, 54L ... Left filter, 54R ... Right filter, 55L ... Speaker, 55L ... Left speaker, 55R ... Right speaker, 60 ... ECU group, 100 ... Own vehicle
Claims (8)
走行中に運転者が注視する傾向にある注視点を算出し、当該注視点を前記立体音響システムへ出力することにより、前記オーディオシステムを介して前記音像を前記注視点に定位させる音像定位処理を実行する実行手段(30a)を備えた音像定位装置(3)であって、
自車両の走行に関連する情報である走行関連情報を取得する取得手段(30b)と、
前記取得手段にて取得される前記走行関連情報に基づき、前記実行手段による前記音像定位処理の停止/開始を制御する実行制御手段(30c)と、
を備え、
前記音像定位処理では、前記自車両の未来における速度及びヨーレートを推定し、当該未来における前記注視点である予測注視点を算出すること(S140,S150)
を特徴とする音像定位装置。 Used together with an audio system (52) for generating a sound image and a stereophonic system (51) for setting a transfer function for localizing the sound image to the audio system;
A sound image localization process is performed for calculating a gazing point that the driver tends to gaze while traveling and outputting the gazing point to the stereophonic sound system to localize the sound image to the gazing point via the audio system. A sound image localization device (3) provided with execution means (30a) for executing,
Acquisition means (30b) for acquiring travel-related information that is information related to the travel of the host vehicle;
Execution control means (30c) for controlling stop / start of the sound image localization processing by the execution means based on the travel-related information acquired by the acquisition means;
Equipped with a,
In the sound image localization processing, the future speed and yaw rate of the host vehicle are estimated, and a predicted gazing point that is the gazing point in the future is calculated (S140, S150).
A sound image localization device characterized by.
自車両の運転を支援する運転支援システムと共に用いられ、
前記取得手段は、前記走行関連情報として、前記運転支援システムによる自車両の制御状態を取得し、
前記実行制御手段は、前記制御状態に基づき、前記運転支援システムによる前記制御に運転者の操作介入があった場合、前記音像定位処理を停止すること(S200:YES,S210:YES,S280)
を特徴とする音像定位装置。 The sound image localization apparatus according to claim 1 ,
Used with a driving support system that supports driving of the vehicle,
The acquisition means acquires a control state of the host vehicle by the driving support system as the travel related information,
The execution control means stops the sound image localization processing based on the control state when there is a driver's operation intervention in the control by the driving support system (S200: YES, S210: YES, S280).
A sound image localization device characterized by.
前記取得手段は、前記走行関連情報として、自車両の走行する道路を取得し、
前記実行制御手段は、前記道路に基づき、自車両が市街地を走行している場合、前記音像定位処理を停止すること(S220:YES,S280)
を特徴とする音像定位装置。 The sound image localization apparatus according to claim 1 or 2 ,
The acquisition means acquires a road on which the host vehicle travels as the travel-related information,
The execution control means stops the sound image localization process when the host vehicle is traveling in an urban area based on the road (S220: YES, S280).
A sound image localization device characterized by.
前記取得手段は、前記走行関連情報として、自車両の速度を取得し、
前記実行制御手段は、前記速度に基づき、自車両が低速走行を継続している場合、前記音像定位処理を停止すること(S230:YES,S280)
を特徴とする音像定位装置。 In the sound image localization apparatus according to any one of claims 1 to 3 ,
The acquisition means acquires the speed of the host vehicle as the travel-related information,
The execution control means stops the sound image localization process based on the speed when the host vehicle continues traveling at a low speed (S230: YES, S280).
A sound image localization device characterized by.
前記取得手段は、前記走行関連情報として、自車両の速度を取得し、
前記実行制御手段は、前記速度に基づき、自車両が停止している場合、前記音像定位処理を停止すること(S240:YES,S280)
を特徴とする音像定位装置。 In the sound image localization apparatus according to any one of claims 1 to 4 ,
The acquisition means acquires the speed of the host vehicle as the travel-related information,
The execution control means stops the sound image localization process based on the speed when the host vehicle is stopped (S240: YES, S280).
A sound image localization device characterized by.
前記取得手段は、前記走行関連情報として、自車両の走行する道路を取得し、
前記実行制御手段は、前記道路に基づき、自車両が高速道路を走行している場合、前記音像定位処理を開始すること(S300:YES,S310)
を特徴とする音像定位装置。 In the sound image localization apparatus according to any one of claims 1 to 5 ,
The acquisition means acquires a road on which the host vehicle travels as the travel-related information,
The execution control means starts the sound image localization process based on the road when the host vehicle is traveling on an expressway (S300: YES, S310).
A sound image localization device characterized by.
さらに、前記実行手段による前記音像定位処理の停止/開始を運転者に報知する報知手段(30d)を備えていること(S270,S290,S320)
を特徴とする音像定位装置。 In the sound image localization apparatus according to any one of claims 1 to 6 ,
Furthermore, it has a notification means (30d) for notifying the driver of the stop / start of the sound image localization process by the execution means (S270, S290, S320).
A sound image localization device characterized by.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012284618A JP5838962B2 (en) | 2012-12-27 | 2012-12-27 | Sound image localization apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012284618A JP5838962B2 (en) | 2012-12-27 | 2012-12-27 | Sound image localization apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014127932A JP2014127932A (en) | 2014-07-07 |
JP5838962B2 true JP5838962B2 (en) | 2016-01-06 |
Family
ID=51407102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012284618A Expired - Fee Related JP5838962B2 (en) | 2012-12-27 | 2012-12-27 | Sound image localization apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5838962B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6465058B2 (en) * | 2016-03-31 | 2019-02-06 | マツダ株式会社 | Sound effect generator for vehicles |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0247677Y2 (en) * | 1986-09-05 | 1990-12-14 | ||
JP5217950B2 (en) * | 2008-11-20 | 2013-06-19 | トヨタ自動車株式会社 | Driving assistance device |
JP2010128558A (en) * | 2008-11-25 | 2010-06-10 | Toyota Motor Corp | Driving support apparatus |
JP5664603B2 (en) * | 2012-07-19 | 2015-02-04 | 株式会社デンソー | On-vehicle acoustic device and program |
-
2012
- 2012-12-27 JP JP2012284618A patent/JP5838962B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014127932A (en) | 2014-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6237685B2 (en) | Vehicle control device | |
JP6342856B2 (en) | Vehicle control device | |
JP6254554B2 (en) | Information presentation system | |
JP5821917B2 (en) | Driving assistance device | |
US10259459B2 (en) | Travel control method and travel control apparatus | |
US10131306B2 (en) | Travel control method and travel control apparatus | |
JP6544320B2 (en) | Control system and control method of autonomous driving vehicle | |
US20200377126A1 (en) | Information output control device and information output control method | |
JP6315107B2 (en) | Target route generation device and travel control device | |
EP2687407B1 (en) | Apparatus and method for localizing sound image for vehicle's driver | |
JP6460019B2 (en) | Vehicle control device | |
JP2016132352A (en) | Autonomous driving vehicle system | |
JP2017185946A (en) | Vehicular automatic drive system | |
JP5964332B2 (en) | Image display device, image display method, and image display program | |
JP2020196292A (en) | Automatic drive assistance device | |
JP2017076232A (en) | Vehicle-purposed notification device | |
JP4595725B2 (en) | Driving support device | |
JP7416010B2 (en) | Presentation control device, presentation control program, automatic driving control device, and automatic driving control program | |
JP2017109616A (en) | Vehicular control apparatus | |
JP5915519B2 (en) | Sound image localization apparatus and program | |
JP5838962B2 (en) | Sound image localization apparatus and program | |
JP5794223B2 (en) | Sound image localization apparatus and program | |
JP6701913B2 (en) | Vehicle control device | |
JP2019116182A (en) | Drive support device | |
JP2014127935A (en) | Sound image localization device and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150313 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150703 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150714 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150910 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151013 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151026 |
|
LAPS | Cancellation because of no payment of annual fees |