JP6504040B2 - 報知処理装置 - Google Patents

Description

本発明は、車両に用いられる報知処理装置に関する。

自動走行が可能な車両として、特許文献１には、道路標識及び路面に描かれた道路標示を車両に搭載されたＣＣＤカメラにより検出し、ドライバが行う運転操作のうち、アクセル操作、ブレーキ操作及びステアリング操作を自動で行う車両が開示されている。

特開平１０−３２０６９０号公報

この種の車両として、ドライバが行う運転操作のうち、少なくともアクセル操作、ブレーキ操作及びステアリング操作を自動で行う自動運転制御を実行する自動運転モードと、自動運転制御を実行しない手動運転モードと、の間で車両の運転モードがドライバの操作により切替可能に構成される車両が挙げられる。このような車両は、例えば次のような走行環境で利用され得る。すなわち、自動走行が許可される区間である許可区間と自動走行が禁止される区間である禁止区間とに道路が区分され、許可区間が開始される地点に許可区間の開始を表す道路標識や道路標示などの標示物である開始標示物が設けられる。そして、車両が禁止区間から許可区間に入る際にドライバが運転モードを手動運転モードから自動運転モードに切り替える。

このような状況の下、車両が開始標示物を検出し、許可区間の開始をドライバに報知するような構成を想定すると、報知を受けたドライバが安心して車両の運転モードを切り替えられない場合がある。すなわち、車両の運転中に車内スピーカ等で車両が許可区間に入った旨の報知を行っただけでは、ドライバはその報知内容が正しいかどうか確信を持つことができないまま運転モードを切り替えなければならない場合が起こり得る。

本発明は、こうした問題にかんがみてなされたものであり、車両が禁止区間から許可区間に入る際に、ドライバが車両の報知内容に対して安心して運転モードを切り替えることができることを目的とする。

本発明の一側面は、ドライバが行う運転操作のうち、少なくともアクセル操作、ブレーキ操作及びステアリング操作を自動で行う自動運転制御を実行する自動運転モードと、自動運転制御を実行しない手動運転モードと、の走行が可能な車両（１）で用いられ、ドライバに対して報知を行うための報知処理装置（３５）である。報知処理装置は、画像取得部（Ｓ１５，Ｓ２２７，Ｓ２５７）と、認識部（Ｓ１６，Ｓ２２８，Ｓ２５８）と、第１報知処理部（Ｓ２０，Ｓ２１，Ｓ２３，Ｓ２４，Ｓ２２１，Ｓ２５１）と、第２報知処理部（Ｓ２０，Ｓ２１，Ｓ２３，Ｓ２４，Ｓ２２１，Ｓ２５１）と、を備える。画像取得部は、車両の前方を撮像する撮像装置（３１）から撮像画像を取得する。認識部は、画像取得部により取得された撮像画像において、特定の標示物である特定標示物（２１〜２６）を認識する。第１報知処理部は、特定標示物が映った撮像画像である特定撮像画像を車両内の表示装置（３３）に表示する。第２報知処理部は、特定撮像画像の表示とは異なる報知態様により報知を行う。認識部は、画像取得部により取得された撮像画像において、自動運転モードでの走行が許可される区間である許可区間の開始を表す標示物である開始標示物（２３）を特定標示物として認識する。第１報知処理部は、認識部により開始標示物が認識された場合に、開始標示物が映った撮像画像である開始撮像画像を特定撮像画像として表示装置に表示する。第２報知処理部は、認識部により開始標示物が認識された場合に、開始撮像画像の表示とは異なる報知態様により許可区間の開始を報知する。

このような構成では、認識部により開始標示物が認識された場合に、第２報知処理部による報知が行われ、また、これに加えて第１報知処理部により開始標示物が映った撮像画像である開始撮像画像が表示装置に表示される。つまり、車両の運転中にドライバが目視可能な開始標示物の実際の画像が表示装置に表示される。そして、ドライバは、表示された開始撮像画像と自らが目視した内容とを照合し、両者が一致していれば車両の報知内容が正しいとの確信を持って車両の運転モードを自動運転モードに切り替えることができる。したがって、車両の報知内容に対して安心して運転モードを切り替えることができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

車両が認識する特定の標識を説明する図である。 車両の内部を表す図である。 報知システムの構成を示すブロック図である。 報知処理のフローチャートである。 報知処理の一部として実行される自動走行起動処理のフローチャートである。 報知処理の一部として実行される自動走行終了処理のフローチャートである。 報知処理の一部として実行される例外処理のフローチャートである。

以下、図面を参照しながら、発明を実施するための形態を説明する。
［１．前提］
まず、本発明の一実施形態の前提となる事項を図１及び図２を用いて説明する。図１及び図２に示す車両１は、２種類の運転モード、具体的には、自動運転モードと手動運転モードとで走行可能である。

自動運転モードは、ドライバが行う運転操作のうち、アクセル操作、ブレーキ操作及びステアリング操作を自動で行う自動運転制御を実行する運転モードである。つまり、自動運転モードでは、アクセル操作、ブレーキ操作及びステアリング操作はドライバの操作を一切必要とすることなく行われる。一方、手動運転モードは、自動運転制御を実行しない運転モード、つまり通常の運転モードである。

本実施形態では、運転モードは、図２に示すように、車両１のステアリングホイール１０に設けられた切替スイッチ３２をドライバが押すことにより切り替えられる。つまり、運転モードは、ドライバの操作により切り替えられる。

また、本実施形態では、自動運転モードでの走行である自動走行が許可される区間である許可区間が道路の一部に設けられ、許可区間以外の区間は自動走行が禁止される区間である禁止区間である。図１に示すように、許可区間の開始位置には許可区間の開始を表す道路標識である開始標識２３が設けられ、許可区間の終了位置には許可区間の終了を表す道路標識である終了標識２６が設けられる。本実施形態では、開始標識２３は「ここから自動走行許可」と書かれた道路標識であり、終了標識２６は「ここから自動走行禁止」と書かれた道路標識である。

また、禁止区間における開始標識２３の手前には、許可区間の開始を予告する道路標識である開始予告標識２２が設けられ、許可区間における終了標識２６の手前には、許可区間の終了を予告する道路標識である終了予告標識２５が設けられる。なお、本実施形態では、開始予告標識２２は「この先自動走行許可」と書かれた道路標識であり、終了予告標識２５は「この先自動走行禁止」と書かれた道路標識である。

さらに、禁止区間には、当該区間が禁止区間であることを示す道路標識である禁止標識２１が所々設置されており、許可区間には、当該区間が許可区間であることを示す道路標識である許可標識２４が所々設置されている。本実施形態では、禁止標識２１は「禁止区間」と書かれた道路標識であり、許可標識２４は「許可区間」と書かれた道路標識である。

このように、禁止標識２１、開始予告標識２２、開始標識２３、許可標識２４、終了予告標識２５及び終了標識２６は、この順番で道路に設置される。
［２．構成］
次に、本発明の一実施形態の構成について説明する。図３に示す報知システム３０は、車両１で用いられ、撮像装置３１、切替スイッチ３２、表示装置３３、スピーカ３４、制御装置３５、駆動力制御装置３６、制動力制御装置３７及び操舵制御装置３８を備える。

撮像装置３１は、車両１の前部、具体的には、図２に示すように車室内におけるバックミラーの隣りに設けられた車載カメラである。撮像装置３１は、車両１の前方を撮像し、撮像した撮像画像を制御装置３５へ出力する。

切替スイッチ３２は、車両１の運転モードを自動運転モードと手動運転モードとの間で切り替えるためのスイッチである。
表示装置３３は、画像を表示可能に構成された装置、いわゆるディスプレイである。表示装置３３は、図２に示すように、表示された画像をドライバが視認できるような位置、具体的にはインストルメントパネルに設けられる。

スピーカ３４は、音を出力可能に構成された装置である。
制御装置３５は、ＣＰＵ３５１、ＲＯＭ３５２、ＲＡＭ３５３等を構成要素とするマイクロコンピュータを備える。制御装置３５は、撮像装置３１から取得した撮像画像に基づいて、白線や歩行者や車両等を認識し、自動走行のための制御量を演算する。制御装置３５は、演算した制御量を駆動力制御装置３６、制動力制御装置３７及び操舵制御装置３８へ出力する。

また、制御装置３５、具体的にはＣＰＵ３５１は、非遷移的実体的記録媒体であるＲＯＭ３５２に記録されているプログラムに従い、図４〜図７に示す後述する報知処理を実行する。

駆動力制御装置３６は、制御装置３５から入力された制御量に基づいて駆動力を制御する。
制動力制御装置３７は、制御装置３５から入力された制御量に基づいて制動力を制御する。

操舵制御装置３８は、制御装置３５から入力された制御量に基づいて操舵制御を行う。
［３．処理］
次に、制御装置３５が実行する報知処理について、図４〜図７のフローチャートを用いて説明する。報知処理は、車両１のイグニッションスイッチがオンにされることにより開始される。また、車両１のイグニッションスイッチがオンにされた時点、換言すれば、報知処理が開始された時点では、車両１の運転モードは手動運転モードに設定されている。なお、本実施形態では、車両１の起動時には、車両１が禁止区間に位置することが想定される。

Ｓ１１で、制御装置３５は、車両１の状態を禁止状態にする。ここでいう禁止状態とは、車両１の運転モードを手動運転モードから自動運転モードに切り替えようとする切替スイッチ３２の入力が無効になる状態である。車両１の状態としては、禁止状態の他に、車両１の運転モードを自動運転モードに切り替えようとする切替スイッチ３２の入力が有効になる状態である許可状態がある。本実施形態では、車両１の状態が禁止状態になってから後述するＳ２２２で車両１の状態が許可状態になるまでの間は、運転モードを自動運転モードに切り替えることができない。

Ｓ１２で、制御装置３５は、イグニッションスイッチがオンであるか否かを判定する。
このＳ１２で、制御装置３５は、イグニッションスイッチがオンであると判定した場合に、処理をＳ１３へ移行させる。一方、制御装置３５は、イグニッションスイッチがオンでない、つまりオフであると判定した場合に、報知処理を終了する。

Ｓ１３で、制御装置３５は、自動走行システムが正常であるか否かを判定する。ここでいう自動走行システムとは、自動走行を行うために必要なセンサ、ＥＣＵ及びアクチュエータを意味し、本実施形態では、自動走行システムには、撮像装置３１、駆動力制御装置３６、制動力制御装置３７及び操舵制御装置３８といった装置が少なくとも含まれる。Ｓ１３では、制御装置３５は、自動走行システムの故障の有無を判定し、故障がある場合に自動走行システムが正常でないと判定し、故障がない場合に自動走行システムが正常であると判定する。

このＳ１３で、制御装置３５は、自動走行システムが正常でない、つまり異常であると判定した場合に、処理をＳ１４へ移行させる。
Ｓ１４で、制御装置３５は、自動走行システムの動作を禁止する。具体的には、制御装置３５は、運転モードが手動運転モードである状態、つまり自動走行が行われていない状態では、運転モードの自動運転モードへの切替を無効にし、運転モードを切り替えられないようにする。一方、制御装置３５は、運転モードが自動運転モードである状態、つまり自動走行が行われている状態では、車両１を路肩等の安全な場所に自動走行させて停車させた後、自動走行システムの動作を停止させる。

制御装置３５は、Ｓ１４の処理を実行すると、前述したＳ１２へ戻り、Ｓ１２以降の処理を繰り返す。
一方、制御装置３５は、前述したＳ１３で自動走行システムが正常であると判定した場合に、処理をＳ１５へ移行させる。

Ｓ１５で、制御装置３５は、撮像装置３１から最新の撮像画像を１つ取得する。
Ｓ１６で、制御装置３５は、Ｓ１５で取得した撮像画像において特定標識を認識したか否かを判定する。ここでいう特定標識とは、特定の道路標識を意味し、本実施形態では、特定標識は、前述した図１に示す禁止標識２１、開始予告標識２２、開始標識２３、許可標識２４、終了予告標識２５及び終了標識２６である。また、本実施形態では、制御装置３５は、周知の画像処理であるテンプレートマッチングにより特定標識を認識する。

このＳ１６で、制御装置３５は、特定標識を認識していないと判定した場合に、前述したＳ１２へ戻り、Ｓ１２以降の処理を繰り返す。一方、制御装置３５は、特定標識を認識したと判定した場合に、処理をＳ１７へ移行させる。

Ｓ１７で、制御装置３５は、特定標識が順番通りに認識されたか否かを判定する。本実施形態では、Ｓ１２〜Ｓ２５のうち少なくともＳ１２〜１９は繰り返し実行され、車両１の走行に伴い、道路に沿って間隔を空けて設置された特定標識が順に認識される。前述したように、特定標識は、禁止標識２１、開始予告標識２２、開始標識２３、許可標識２４、終了予告標識２５、終了標識２６の順番で道路に設置される。制御装置３５は、道路に設置された特定標識の順番と認識された特定標識の順番とに矛盾がない場合に、特定標識が順番通りに認識されたと判定し、矛盾がある場合に、特定標識が順番通りに認識されていないと判定する。

矛盾がある場合としては、例えば、前回認識されるべき特定標識が認識されず、その結果順番を飛ばして特定標識が認識される場合が挙げられる。なお、前回認識されるべき特定標識が認識されない場合としては、特定標識が他の車両の影に隠れ、特定標識を撮像できなかった場合等が考えられる。

また、制御装置３５は、連続して設置され得る禁止標識２１及び許可標識２４については、これらの特定標識が連続して認識された場合にも特定標識が順番通りに認識されたと判定する。

このＳ１７で、制御装置３５は、特定標識が順番通りに認識されたと判定した場合に、処理をＳ１９へ移行させる。一方、制御装置３５は、特定標識が順番通りに認識されていないと判定した場合に、Ｓ１８で図７に示す例外処理を実行した後、処理をＳ１９へ移行させる。例外処理については後述する。

Ｓ１９で、制御装置３５は、Ｓ１６で認識された特定標識の種類を判定する。
このＳ１９で、制御装置３５は、認識された特定標識が禁止標識２１であると判定した場合には、処理をＳ２０へ移行させる。

Ｓ２０で、制御装置３５は、認識された禁止標識２１が映った撮像画像である禁止撮像画像を表示装置３３に表示し、また、車両１が禁止区間に位置している旨をスピーカ３４に音声出力させる。制御装置３５は、例えば、「禁止区間です」といった音声メッセージをスピーカ３４に出力させる。

また、本実施形態では、禁止撮像画像などの、特定標識が映った撮像画像である特定撮像画像は、次のように表示装置３３に表示される。すなわち、制御装置３５は、特定標識のみが映った撮像画像を特定撮像画像として表示装置３３に表示する。具体的には、本実施形態では、撮像装置３１は特定標識を一部に含む範囲を撮像可能であり、制御装置３５は、まず、撮像した撮像画像から認識された特定標識が映った部分のみを切り取る。そして、制御装置３５は、図２に示すように、切り取った画像で表示装置３３の表示画面が埋まるように、切り取った画像を拡大して表示装置３３に表示する。この際、制御装置３５は、切り取った画像を静止画像として所定時間（例えば数秒間）表示する。

制御装置３５は、Ｓ２０の処理を実行すると、前述したＳ１２へ戻り、Ｓ１２以降の処理を繰り返す。
一方、制御装置３５は、前述したＳ１９で、認識された特定標識が開始予告標識２２であると判定した場合には、処理をＳ２１へ移行させる。

Ｓ２１で、制御装置３５は、認識された開始予告標識２２が映った撮像画像である開始予告撮像画像を表示装置３３に表示し、また、許可区間の開始を予告する旨をスピーカ３４に音声出力させる。制御装置３５は、例えば、「間もなく許可区間に入ります」といった音声メッセージをスピーカ３４に出力させる。

制御装置３５は、Ｓ２１の処理を実行すると、前述したＳ１２へ戻り、Ｓ１２以降の処理を繰り返す。
一方、制御装置３５は、前述したＳ１９で、認識された特定標識が開始標識２３であると判定した場合には、処理をＳ２２へ移行させる。

Ｓ２２で、制御装置３５は、自動走行起動処理を実行する。
ここで、自動走行起動処理について、図５のフローチャートを用いて説明する。
Ｓ２２１で、制御装置３５は、認識された開始標識２３が映った撮像画像である開始撮像画像を表示装置３３に表示し、また、許可区間が開始する旨をスピーカ３４に音声出力させる。制御装置３５は、例えば、「許可区間に入りました」といった音声メッセージをスピーカ３４に出力させる。

Ｓ２２２で、制御装置３５は、車両１の状態を前述した許可状態にする。
Ｓ２２３で、制御装置３５は、ドライバに対して運転モードを自動運転モードに切り替える切替方法を案内する。制御装置３５は、例えば、「ステアリングホイールにある切替スイッチを押してください」といった音声メッセージをスピーカ３４に出力させることにより切替方法を案内する。

Ｓ２２４で、制御装置３５は、切替スイッチ３２の操作があったか否かを判定する。制御装置３５は、切替スイッチ３２の操作があったと判定した場合に、処理をＳ２２５へ移行させる。

Ｓ２２５で、制御装置３５は、運転モードを自動運転モードに切り替える。制御装置３５は、Ｓ２２５の処理を実行すると、前述したＳ１２へ戻り、Ｓ１２以降の処理を繰り返す。

一方、制御装置３５は、前述したＳ２２４で、切替スイッチ３２の操作がなかったと判定した場合に、処理をＳ２２６へ移行させる。
Ｓ２２６で、制御装置３５は、最新のＳ２２３の処理を実行してから、つまり切替方法の最新の案内を行ってから一定時間経過したか否かを判定する。制御装置３５は、一定時間経過したと判定した場合に、前述したＳ２２３へ戻り、Ｓ２２３以降の処理を繰り返す。一方、制御装置３５は、一定時間経過していないと判定した場合に、処理をＳ２２７へ移行させる。

Ｓ２２７及びＳ２２８の処理は、前述したＳ１５及びＳ１６と同じであるため、説明を省略する。
このＳ２２８で、制御装置３５は、特定標識を認識していないと判定した場合に、前述したＳ２２３へ戻り、Ｓ２２３以降の処理を繰り返す。一方、制御装置３５は、特定標識を認識したと判定した場合に、前述したＳ１７へ戻り、Ｓ１７以降の処理を繰り返す。

一方、制御装置３５は、前述したＳ１９で、認識された特定標識が許可標識２４であると判定した場合には、処理をＳ２３へ移行させる。
Ｓ２３で、制御装置３５は、認識された許可標識２４が映った撮像画像である許可撮像画像を表示装置３３に表示し、また、車両１が許可区間に位置している旨をスピーカ３４に音声出力させる。制御装置３５は、例えば、「許可区間です」といった音声メッセージをスピーカ３４に出力させる。

制御装置３５は、Ｓ２３の処理を実行すると、前述したＳ１２へ戻り、Ｓ１２以降の処理を繰り返す。
一方、制御装置３５は、前述したＳ１９で、認識された特定標識が終了予告標識２５であると判定した場合には、処理をＳ２４へ移行させる。

Ｓ２４で、制御装置３５は、認識された終了予告標識２５が映った撮像画像である終了予告撮像画像を表示装置３３に表示し、また、許可区間の終了を予告する旨をスピーカ３４に音声出力させる。制御装置３５は、例えば、「間もなく禁止区間です」といった音声メッセージをスピーカ３４に出力させる。

制御装置３５は、Ｓ２４の処理を実行すると、前述したＳ１２へ戻り、Ｓ１２以降の処理を繰り返す。
一方、制御装置３５は、前述したＳ１９で、認識された特定標識が終了標識２６であると判定した場合には、処理をＳ２５へ移行させる。

Ｓ２５で、制御装置３５は、自動走行終了処理を実行する。
ここで、自動走行終了処理について、図６のフローチャートを用いて説明する。
Ｓ２５１で、制御装置３５は、認識された終了標識２６が映った撮像画像である終了撮像画像を表示装置３３に表示し、また、許可区間が終了する旨をスピーカ３４に音声出力させる。制御装置３５は、例えば、「禁止区間に入りました」といった音声メッセージをスピーカ３４に出力させる。

Ｓ２５２で、制御装置３５は、ドライバに対して運転モードを手動運転モードに切り替える切替方法を案内する。制御装置３５は、例えば、「ステアリングホイールにある切替スイッチを押してください」といった音声メッセージをスピーカ３４に出力させることにより切替方法を案内する。

Ｓ２５３で、制御装置３５は、切替スイッチ３２の操作があったか否かを判定する。
このＳ２５３で、制御装置３５は、切替スイッチ３２の操作があったと判定した場合に、処理をＳ２５４へ移行させる。

Ｓ２５４で、制御装置３５は、運転モードを手動運転モードに切り替える。
Ｓ２５５で、制御装置３５は、車両１の状態を前述した禁止状態にする。制御装置３５は、Ｓ２５５の処理を実行すると、前述したＳ１２へ戻り、Ｓ１２以降の処理を繰り返す。

一方、制御装置３５は、前述したＳ２５３で、切替スイッチ３２の操作がなかったと判定した場合に、処理をＳ２５６へ移行させる。
Ｓ２５６、Ｓ２５７及びＳ２５８の処理は、前述したＳ２２６、Ｓ２２７及びＳ２２８と同じであるため、説明を省略する。

このＳ２５８で、制御装置３５は、特定標識を認識していないと判定した場合に、前述したＳ２５２へ戻り、Ｓ２５２以降の処理を繰り返す。一方、制御装置３５は、特定標識を認識したと判定した場合に、前述したＳ１７へ戻り、Ｓ１７以降の処理を繰り返す。

一方、制御装置３５は、前述したＳ２５６で一定時間経過したと判定した場合に、処理をＳ２５９へ移行させる。
Ｓ２５９で、制御装置３５は、前述したＳ１４と同様の処理を実行する。つまり、制御装置３５は、車両１を路肩等の安全な場所に自動走行させて停車させた後、自動走行システムの動作を停止させる。このため、本実施形態では、車両１が禁止区間を自動走行し続ける事態が抑制されるようになっている。制御装置３５は、Ｓ２５９の処理を実行すると、報知処理を終了する。

次に、前述したＳ１８で実行される例外処理について、図７のフローチャートを用いて説明する。
Ｓ１８１で、制御装置３５は、運転モードを切り替える必要があるか否かを判定する。本実施形態では、制御装置３５は、次の（１）〜（５）のいずれかの場合に運転モードを切り替える必要があると判定する。
（１）禁止標識２１が認識された後に開始標識２３、許可標識２４及び終了予告標識２５のうちのいずれかが認識された場合。
（２）開始予告標識２２が認識された後に許可標識２４又は終了予告標識２５が認識された場合。
（３）開始標識２３又は許可標識２４が認識された後に終了標識２６、禁止標識２１及び開始予告標識２２のうちのいずれかが認識された場合。
（４）終了予告標識２５が認識された後に禁止標識２１又は開始予告標識２２が認識された場合。
（５）終了標識２６が認識された後に開始標識２３、許可標識２４及び終了予告標識２５のうちのいずれかが認識された場合。

より具体的には、制御装置３５は、上記（１）、（２）及び（５）の場合に、運転モードを自動運転モードに切り替える必要があると判定し、上記（３）及び（４）の場合に、運転モードを手動運転モードに切り替える必要があると判定する。

このＳ１８１で、運転モードを切り替える必要があると判定した場合に、処理をＳ１８２へ移行させる。
Ｓ１８２で、制御装置３５は、自動走行起動処理又は自動走行終了処理を実行する。ここで、制御装置３５は、前述したＳ１８１で運転モードを自動運転モードに切り替える必要があると判定した場合に、前述した図５の自動走行起動処理を実行する。一方、前述したＳ１８１で運転モードを手動運転モードに切り替える必要があると判定した場合に、前述した図６の自動走行終了処理を実行する。また、制御装置３５は、Ｓ１８２において自動走行起動処理を実行するときは、Ｓ２２１において、開始撮像画像の表示装置３３への表示は行わず、スピーカ３４による音声出力のみを実行する。同様に、制御装置３５は、Ｓ１８２において自動走行終了処理を実行するときは、Ｓ２５１において、終了撮像画像の表示装置３３への表示は行わず、スピーカ３４による音声出力のみを実行する。

制御装置３５は、Ｓ１８２の処理を実行すると、例外処理を終了する。
［４．走行シーン例］
次に、ドライバ視点での走行シーン例について説明する。

まず、ドライバは、禁止区間において、開始予告標識２２があるまでの間は、手動運転モードで車両１を走行させる。そして、ドライバは、禁止区間における開始予告標識２２と開始標識２３との間の区間、つまり許可区間の手前では、運転モードを自動運転モードに切り替える準備をする。

また、ドライバは、禁止区間全般において、車両１のシステム状況、並びに、車両１周辺の特定標識、具体的には禁止標識２１、開始予告標識２２及び開始標識２３の有無、を目視により監視する。なお、禁止区間における走行としては、例えば、ドライバの自宅から許可区間までの走行が挙げられる。

開始標識２３の設置場所付近では、ドライバは、表示装置３３に表示された開始撮像画像と自らが目視した開始標識２３とが一致していることを確認し、運転モードを自動運転モードに切り替える。この際、ドライバは、車両１の周辺状況を確認の上、運転モードを切り替える。

許可区間では、ドライバは、車両１のシステム状況、並びに、車両１周辺の特定標識、具体的には許可標識２４、終了予告標識２５及び終了標識２６の有無、を目視により監視する。

そして、ドライバは、許可区間における終了予告標識２５と終了標識２６との間の区間、つまり禁止区間の手前では、運転モードを手動運転モードに切り替える準備をする。
終了標識２６の設置場所付近では、ドライバは、表示装置３３に表示された終了撮像画像と自らが目視した終了標識２６とが一致していることを確認し、運転モードを手動運転モードに切り替える。この際、ドライバは、車両１の周辺状況を確認の上、運転モードを切り替える。

［５．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
（５ａ）本実施形態では、制御装置３５は、取得された撮像画像において、開始標識２３が認識された場合に、開始撮像画像を表示装置３３に表示し、また、スピーカ３４に音を出力させることにより許可区間の開始を報知する。

このように、本実施形態では、車両の運転中にドライバが目視可能な開始標識２３の実際の画像が表示装置３３に表示される。そして、ドライバは、表示された開始撮像画像と自らが目視した内容とが一致していれば、車両の報知内容が正しいとの確信を持って車両の運転モードを自動運転モードに切り替えることができる。したがって、車両の報知内容に対して安心して運転モードを切り替えることができる。

（５ｂ）本実施形態では、制御装置３５は、取得された撮像画像において、終了標識２６が認識された場合に、終了撮像画像を表示装置３３に表示し、また、スピーカ３４に音を出力させることにより許可区間の終了を報知する。

このため、ドライバは、表示装置３３に表示された終了撮像画像と自らが目視した内容とが一致していれば、車両の報知内容が正しいとの確信を持って車両の運転モードを手動運転モードに切り替えることができる。

（５ｃ）本実施形態では、制御装置３５は、取得された撮像画像において、開始予告標識２２が認識された場合に、開始予告撮像画像を表示装置３３に表示し、また、スピーカ３４に音を出力させることにより許可区間の開始を予告する旨の報知を行う。

このため、ドライバは、表示装置３３に表示された開始予告撮像画像と自らが目視した内容とが一致していれば、車両の報知内容が正しいとの確信を持って、許可区間の手前で自動運転モードへの切替に備えることができる。

（５ｄ）本実施形態では、制御装置３５は、取得された撮像画像において、終了予告標識２５が認識された場合に、終了予告撮像画像を表示装置３３に表示し、また、スピーカ３４に音を出力させることにより許可区間の終了を予告する旨の報知を行う。

このため、ドライバは、表示装置３３に表示された終了予告撮像画像と自らが目視した内容とが一致していれば、車両の報知内容が正しいとの確信を持って、禁止区間の手前で手動運転モードへの切替に備えることができる。

また、許可区間では、必ずしも運転モードを自動運転モードに切り替える必要はなく、手動運転モードのままで走行することも可能であるが、禁止区間では、自動運転モードでの走行は禁止されており、必ず手動運転モードに切り替えなければならない。本実施形態のように許可区間の終了を予告する旨の報知を行うことで、ドライバが事前に準備することができ、禁止区間を自動運転モードのままで走行し続けることを抑制することができる。

（５ｅ）本実施形態では、制御装置３５は、特定標示物のみが映った撮像画像を表示装置３３に表示する。したがって、特定標示物を一部に含む範囲の撮像画像を表示装置３３に表示する構成と比較して、特定標示物が強調された撮像画像を表示装置３３に表示することができる。

（５ｆ）本実施形態では、制御装置３５は、特定標識が映った撮像画像である特定撮像画像を静止画像として表示装置３３に表示する。したがって、特定撮像画像を動画として表示する構成と比較して、表示された画像においてドライバが特定標識を認識しやすくなり、その結果、表示された画像における特定標識と自らが目視した内容とを照合しやすくすることができる。

（５ｇ）本実施形態では、制御装置３５は、特定撮像画像を表示装置３３に表示し、また、スピーカ３４に音を出力することで報知を行う。つまり、本実施形態では、特定撮像画像の表示とは異なる報知態様の報知は、スピーカ３４に音を出力させることで行われる。したがって、特定撮像画像の表示とは異なる報知態様の報知として、例えば、車室内ランプを点灯させる構成と比較して、車室内ランプを視認しなくてもよいため、運転時に視線を変えることなく報知内容を認識することができる。

なお、本実施形態では、禁止標識２１、開始予告標識２２、開始標識２３、許可標識２４、終了予告標識２５及び終了標識２６が特定標示物に相当する。また、開始予告標識２２が開始予告標示物に相当し、開始標識２３が開始標示物に相当し、終了予告標識２５が終了予告標示物に相当し、終了標識２６が終了標示物に相当する。また、制御装置３５が報知処理装置に相当し、Ｓ１５，Ｓ２２７及びＳ２５７が画像取得部としての処理に相当し、Ｓ１６，Ｓ２２８及びＳ２５８が認識部としての処理に相当する。また、Ｓ２０，Ｓ２１，Ｓ２３，Ｓ２４，Ｓ２２１及びＳ２５１が第１報知処理部及び第２報知処理部としての処理に相当する。

［６．他の実施形態］
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。

（６ａ）上記実施形態では、特定標示物として特定標識２１〜２６を例示したが、特定標示物はこれに限られるものではない。例えば、特定標示物は、路面に描かれた特定の道路標示である特定道路標示であってもよい。また、制御装置は、例えば、特定標識及び特定道路標示のうちいずれか一方のみを認識してもよく、両方を認識してもよい。

（６ｂ）上記実施形態では、制御装置３５は、撮像した撮像画像から特定標識が映った部分のみを切り取り、切り取った画像を拡大して表示することにより、特定標識のみが映った撮像画像を表示した。しかし、特定標識のみが映った撮像画像を表示する方法はこれに限られるものではない。制御装置は、例えば、切り取った画像で表示装置３３の表示画面が埋まらないように、換言すれば、表示画面において切り取った画像が表示されていない部分が残るように、当該切り取った画像を表示してもよい。

また、制御装置３５は、特定標識のみが映った撮像画像を特定撮像画像として表示する場合において、特定撮像画像に加え、当該特定撮像画像の地図上の撮像場所である特定撮像場所も表示装置３３に表示してもよい。

具体的には、報知システムを、地図データを記憶可能に構成された装置である地図データ記憶部と、車両１の現在位置を検出可能に構成された位置検出装置と、を更に備える構成にする。ここでいう地図データは、表示装置３３に地図を表示する上で必要になる各種データであり、地図データには、道路の形状を示すリンクのデータと、リンクの両端であるノードの位置のデータと、が含まれる。また、地図データには、リンク等により形成される道路の種別、道幅、車線数等を示すデータや建築物や地形等に関するデータ等が含まれる。

そして、制御装置は、地図データ記憶部から地図データを取得する処理と、地図データに基づき、特定撮像場所を算出する処理と、を更に実行し、地図データと算出部により算出された特定撮像場所とに基づき、特定撮像画像と、当該特定撮像画像の特定撮像場所が識別可能に表された地図と、を表示装置３３に表示する。このような構成によれば、特定撮像画像のみを表示する構成と比較して、ドライバが、表示された特定撮像画像と自らが目視した内容とをより容易に照合することができる。

なお、この例では、地図データを取得する処理が地図データ取得部に相当し、地図データに基づき、特定撮像画像の地図上の撮像場所である特定撮像場所を算出する処理が算出部に相当する。

（６ｃ）上記実施形態では、特定標識のみが映った撮像画像を特定撮像画像として表示したが、表示態様はこれに限られるもではない。制御装置は、例えば、特定標識、より一般には特定標示物を一部に含む範囲の撮像画像を特定撮像画像として表示装置３３に表示してもよい。このような構成によれば、特定標示物に加え特定標示物以外のもの（例えば周囲風景、道路、他の車両及び道路付随物等）も表示されるため、特定標示物のみが映った撮像画像を特定撮像画像として表示する構成と比較して、ドライバが、表示された画像と自らが目視した内容とをより容易に照合することができる。

また、特定撮像画像に加え、車両１の現在位置及び表示された特定撮像画像の特定撮像場所、車両１の現在位置付近で撮像されたキロポストの撮像画像及び特定撮像場所付近で撮像されたキロポストの撮像画像、並びに、現在時刻及び特定撮像画像が撮像された時刻、なども表示装置３３に表示されてもよい。

なお、これらは、特定標示物のみが映った撮像画像が表示される場合と特定標示物を一部に含む範囲の撮像画像が表示される場合とのいずれにおいても表示されてもよい。
また、特定標示物のみが映った撮像画像が表示されるモードと特定標示物を一部に含む範囲の撮像画像が表示されるモードとをドライバの操作により切り替えることができるようにしてもよい。

（６ｄ）上記実施形態では、制御装置３５は、特定撮像画像を静止画像として表示装置３３に表示したが、表示態様はこれに限られるものではない。制御装置は、例えば、特定撮像画像を動画として表示してもよい。

（６ｅ）上記実施形態では、制御装置３５は、スピーカ３４に音声メッセージを出力させることにより特定撮像画像の表示とは異なる報知態様の報知を行ったが、当該報知はこれに限られるものではない。制御装置は、例えば、スピーカ３４に音声メッセージ以外の音を出力させることにより報知を行ってもよい。

また、制御装置は、例えば、特定撮像画像以外の画像（例えばアイコンなど）を表示装置３３に表示させたり、車室内の機器を振動させたり、車室内ランプを点灯させたりなどして報知を行ってもよい。

（６ｆ）上記実施形態では、撮像画像において特定標識２１〜２６が認識された場合に報知が行われることでドライバは車両１が禁止区間及び許可区間のいずれに位置しているかを判別可能であった。しかし、区間の判別方法はこれに限られるものではない。例えば、特定標識２１〜２６に基づく判別に加え、更に次のように判別可能としてもよい。

すなわち、制御装置は、禁止区間及び許可区間の位置の情報を含む地図データを取得する処理と、車両の現在位置を取得する処理と、を更に実行し、取得したこれらの情報に基づいて、車両が禁止区間及び許可区間のいずれに位置しているかを判定し、判定結果をスピーカ３４等により報知させてもよい。このような構成によれば、特定標識２１〜２６が認識されない区間においても、ドライバは車両１が禁止区間及び許可区間のいずれに位置しているかを判別することができる。

（６ｇ）上記実施形態では、自動運転モードは、ドライバが行う運転操作のうち、アクセル操作、ブレーキ操作及びステアリング操作を自動で行う自動運転制御を実行する運転モードであったが、自動運転モードはこれに限られるものではない。自動運転モードは、例えば、アクセル操作、ブレーキ操作及びステアリング操作に加え、これら以外の操作も自動で実行される運転モードであってもよい。この場合において、自動運転モードは、例えば、ドライバが行う運転操作のすべてを自動で行う完全自動運転制御を実行する運転モードであってもよい。

（６ｈ）上記実施形態で、制御装置３５が実行する機能の一部又は全部を、１つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。
（６ｉ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（６ｊ）前述した制御装置３５の他、当該制御装置３５を構成要素とする報知システム３０、当該制御装置３５としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実体的記録媒体、特定撮像画像を表示装置３３に表示して報知する方法など、種々の形態で本発明を実現することもできる。

１…車両、２１…禁止標識、２２…開始予告標識、２３…開始標識、２４…許可標識、２５…終了予告標識、２６…終了標識、３０…報知システム、３１…撮像装置、３３…表示装置、３４…スピーカ、３５…制御装置。

Claims (11)

1. ドライバが行う運転操作のうち、少なくともアクセル操作、ブレーキ操作及びステアリング操作を自動で行う自動運転制御を実行する自動運転モードと、前記自動運転制御を実行しない手動運転モードと、の走行が可能な車両（１）で用いられ、前記ドライバに対して報知を行うための報知処理装置（３５）であって、
   前記車両の前方を撮像する撮像装置（３１）から撮像画像を取得する画像取得部（Ｓ１５，Ｓ２２７，Ｓ２５７）と、
   前記画像取得部により取得された前記撮像画像において、特定の標示物である特定標示物（２１〜２６）を認識する認識部（Ｓ１６，Ｓ２２８，Ｓ２５８）と、
   前記特定標示物が映った前記撮像画像である特定撮像画像を前記車両内の表示装置（３３）に表示する第１報知処理部（Ｓ２０，Ｓ２１，Ｓ２３，Ｓ２４，Ｓ２２１，Ｓ２５１）と、
   前記特定撮像画像の表示とは異なる報知態様により報知を行う第２報知処理部（Ｓ２０，Ｓ２１，Ｓ２３，Ｓ２４，Ｓ２２１，Ｓ２５１）と、
   を備え、
   前記認識部は、前記画像取得部により取得された前記撮像画像において、前記自動運転モードでの走行が許可される区間である許可区間の開始を表す標示物である開始標示物（２３）を前記特定標示物として認識し、
   前記第１報知処理部は、前記認識部により前記開始標示物が認識された場合に、前記開始標示物が映った前記撮像画像である開始撮像画像を前記特定撮像画像として前記表示装置に表示し、
   前記第２報知処理部は、前記認識部により前記開始標示物が認識された場合に、前記開始撮像画像の表示とは異なる報知態様により前記許可区間の開始を報知し、
   前記認識部は、前記画像取得部により取得された前記撮像画像において、前記許可区間の開始を予告する標示物である開始予告標示物（２２）を前記特定標示物として認識し、
   前記第１報知処理部は、前記認識部により前記開始予告標示物が認識された場合に、前記開始予告標示物が映った前記撮像画像である開始予告撮像画像を前記特定撮像画像として前記表示装置に表示し、
   前記第２報知処理部は、前記認識部により前記開始予告標示物が認識された場合に、前記開始予告撮像画像の表示とは異なる報知態様により、前記許可区間の開始を予告する旨の報知を行う、
   報知処理装置。
2. 請求項１に記載の報知処理装置であって、
   前記認識部は、前記画像取得部により取得された前記撮像画像において、前記許可区間の終了を予告する標示物である終了予告標示物（２５）を前記特定標示物として認識し、
   前記第１報知処理部は、前記認識部により前記終了予告標示物が認識された場合に、前記終了予告標示物が映った前記撮像画像である終了予告撮像画像を前記特定撮像画像として前記表示装置に表示し、
   前記第２報知処理部は、前記認識部により前記終了予告標示物が認識された場合に、前記終了予告撮像画像の表示とは異なる報知態様により、前記許可区間の終了を予告する旨の報知を行う、報知処理装置。
3. ドライバが行う運転操作のうち、少なくともアクセル操作、ブレーキ操作及びステアリング操作を自動で行う自動運転制御を実行する自動運転モードと、前記自動運転制御を実行しない手動運転モードと、の走行が可能な車両（１）で用いられ、前記ドライバに対して報知を行うための報知処理装置（３５）であって、
   前記車両の前方を撮像する撮像装置（３１）から撮像画像を取得する画像取得部（Ｓ１５，Ｓ２２７，Ｓ２５７）と、
   前記画像取得部により取得された前記撮像画像において、特定の標示物である特定標示物（２１〜２６）を認識する認識部（Ｓ１６，Ｓ２２８，Ｓ２５８）と、
   前記特定標示物が映った前記撮像画像である特定撮像画像を前記車両内の表示装置（３３）に表示する第１報知処理部（Ｓ２０，Ｓ２１，Ｓ２３，Ｓ２４，Ｓ２２１，Ｓ２５１）と、
   前記特定撮像画像の表示とは異なる報知態様により報知を行う第２報知処理部（Ｓ２０，Ｓ２１，Ｓ２３，Ｓ２４，Ｓ２２１，Ｓ２５１）と、
   を備え、
   前記認識部は、前記画像取得部により取得された前記撮像画像において、前記自動運転モードでの走行が許可される区間である許可区間の開始を表す標示物である開始標示物（２３）を前記特定標示物として認識し、
   前記第１報知処理部は、前記認識部により前記開始標示物が認識された場合に、前記開始標示物が映った前記撮像画像である開始撮像画像を前記特定撮像画像として前記表示装置に表示し、
   前記第２報知処理部は、前記認識部により前記開始標示物が認識された場合に、前記開始撮像画像の表示とは異なる報知態様により前記許可区間の開始を報知し、
   前記認識部は、前記画像取得部により取得された前記撮像画像において、前記許可区間の終了を予告する標示物である終了予告標示物（２５）を前記特定標示物として認識し、
   前記第１報知処理部は、前記認識部により前記終了予告標示物が認識された場合に、前記終了予告標示物が映った前記撮像画像である終了予告撮像画像を前記特定撮像画像として前記表示装置に表示し、
   前記第２報知処理部は、前記認識部により前記終了予告標示物が認識された場合に、前記終了予告撮像画像の表示とは異なる報知態様により、前記許可区間の終了を予告する旨の報知を行う、
   報知処理装置。
4. 請求項１から請求項３までのいずれか１項に記載の報知処理装置であって、
   前記認識部は、前記画像取得部により取得された前記撮像画像において、前記許可区間の終了を表す標示物である終了標示物（２６）を前記特定標示物として認識し、
   前記第１報知処理部は、前記認識部により前記終了標示物が認識された場合に、前記終了標示物が映った前記撮像画像である終了撮像画像を前記特定撮像画像として前記表示装置に表示し、
   前記第２報知処理部は、前記認識部により前記終了標示物が認識された場合に、前記終了撮像画像の表示とは異なる報知態様により、前記許可区間の終了を報知する、報知処理装置。
5. 請求項１から請求項４までのいずれか１項に記載の報知処理装置であって、
   前記第１報知処理部は、前記特定標示物のみが映った前記撮像画像を前記特定撮像画像として前記表示装置に表示する、報知処理装置。
6. 請求項５に記載の報知処理装置であって、
   地図データを取得する地図データ取得部と、
   前記地図データに基づき、前記特定撮像画像の地図上の撮像場所である特定撮像場所を算出する算出部と、
   を更に備え、
   前記第１報知処理部は、前記地図データと前記算出部により算出された前記特定撮像場所とに基づき、前記特定撮像画像と、当該特定撮像画像の前記特定撮像場所が識別可能に表された地図と、を前記表示装置に表示する、報知処理装置。
7. 請求項１から請求項６までのいずれか１項に記載の報知処理装置であって、
   前記第１報知処理部は、前記特定標示物を一部に含む範囲の前記撮像画像を前記特定撮像画像として前記表示装置に表示する、報知処理装置。
8. 請求項１から請求項７までのいずれか１項に記載の報知処理装置であって、
   前記第１報知処理部は、前記特定撮像画像を静止画像として前記表示装置に表示する、報知処理装置。
9. 請求項１から請求項８までのいずれか１項に記載の報知処理装置であって、
   前記第２報知処理部は、前記車両内のスピーカ（３４）に音を出力させることにより報知を行う、報知処理装置。
10. ドライバが行う運転操作のうち、少なくともアクセル操作、ブレーキ操作及びステアリング操作を自動で行う自動運転制御を実行する自動運転モードと、前記自動運転制御を実行しない手動運転モードと、の走行が可能な車両であって、前方を撮像する撮像装置（３１）と表示装置（３３）とを搭載した車両（１）で用いられ、前記ドライバに対して報知を行うための報知処理装置（３５）であって、
    前記撮像装置から撮像画像を取得する画像取得部（Ｓ１５，Ｓ２２７，Ｓ２５７）と、
    前記画像取得部により取得された前記撮像画像において、特定の標示物である特定標示物（２１〜２６）を認識する認識部（Ｓ１６，Ｓ２２８，Ｓ２５８）と、
    前記認識部により前記特定標示物が認識された場合に、前記特定標示物を前記表示装置（３３）に表示させて前記ドライバに報知する第１報知処理部（Ｓ２０，Ｓ２１，Ｓ２３，Ｓ２４，Ｓ２２１，Ｓ２５１）と、
    前記認識部により前記特定標示物が認識された場合に、前記第１報知処理部による表示とは異なる報知態様により報知を行う第２報知処理部（Ｓ２０，Ｓ２１，Ｓ２３，Ｓ２４，Ｓ２２１，Ｓ２５１）と、
    を備え、
    前記認識部は、前記画像取得部により取得された前記撮像画像において、前記自動運転モードでの走行が禁止される区間である禁止区間であることを表す標示物である禁止標示物（２１）、前記自動運転モードでの走行が許可される区間である許可区間の開始を表す標示物である開始標示物（２３）及び前記車両の進行方向に対して前記開始標示物の手前に設けられ、前記自動運転モードでの走行が許可される区間である許可区間の開始を予告する開始予告標示物（２２）を前記特定標示物として認識するように構成され、
    前記第２報知部は、前記認識部により前記禁止標示物が認識された場合に、前記禁止区間である旨の報知を行い、前記認識部により前記開始予告標示物が認識された場合に、前記許可区間の開始を予告する旨の報知を行い、前記認識部により前記開始標示物が認識された場合に、前記許可区間が開始する旨の報知を行う、報知処理装置。
11. ドライバが行う運転操作のうち、少なくともアクセル操作、ブレーキ操作及びステアリング操作を自動で行う自動運転制御を実行する自動運転モードと、前記自動運転制御を実行しない手動運転モードと、の走行が可能な車両であって、前方を撮像する撮像装置（３１）と表示装置（３３）とを搭載した車両（１）で用いられ、前記ドライバに対して報知を行うための報知処理装置（３５）であって、
    前記撮像装置から撮像画像を取得する画像取得部（Ｓ１５，Ｓ２２７，Ｓ２５７）と、前記画像取得部により取得された前記撮像画像から、前記自動運転モードでの走行が許可される区間である許可区間の終了を予告する終了予告標示物を認識する認識部（Ｓ１６，Ｓ２２８，Ｓ２５８）と、
    前記認識部により前記終了予告標示物が認識された場合に、前記終了予告標示物を前記表示装置に表示させて前記ドライバに報知する第１報知処理部（Ｓ２１）と、
    前記認識部により前記終了予告標示物が認識された場合に、前記第１報知処理部による表示とは異なる報知態様により、前記許可区間の終了を予告する旨の報知を行う、第２報知処理部（Ｓ２１）と、
    を備える、報知処理装置。

Images