JP5263520B2 - 表示制御システム、表示制御方法、及び表示制御プログラム - Google Patents

Description

本発明は、表示制御システム、表示制御方法、及び表示制御プログラムに関する。

従来、ドライバの姿勢に合わせた映像を、車両の天井を支持する柱（以下、ピラー）に表示することができる運転支援装置が提案されている。この運転支援装置は、車両に取り付けられたカメラを用いて、ピラーによって生じる死角領域の映像を撮影し、撮影された映像をピラーの内側に表示する。この際、ドライバの頭部の位置を検出し、ピラーに対する頭部の位置に応じて死角の角度を算出して、ピラーの内側に表示される映像を制御する（例えば、特許文献１参照）。

特開２００８−２２２６７号公報

ところで、運転中のドライバの頭部の動き方は、例えば直進走行時や右左折走行時などの走行状況に応じて異なるが、上述の如き従来の装置では、このような走行状況による差異を考慮せずにドライバの頭部の位置を検出していた。このため、頭部が細動していた場合に、その頭部の位置の検出結果に基づいてピラーの内側に表示される映像も細動してしまい、ドライバに不快感を与えてしまう可能性があった。

本発明は、上記に鑑みてなされたものであって、走行状況に応じた最適な映像の表示制御が可能な表示制御システム、表示制御方法、及び表示制御プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１に記載の表示制御システムは、車両の周辺の画像を取得する周辺画像取得手段と、前記車両のドライバの視野に関する状態を特定する視野状態情報を取得する視野状態情報取得手段と、前記視野状態情報に基づいて、前記画像における切取範囲を設定する切取範囲設定手段と、前記画像のうち前記切取範囲に対応する画像を表示する表示手段と、を備える表示制御システムであって、前記車両の状態を特定する車両状態情報を複数取得する車両状態情報取得手段と、複数の車両状態情報の各々に対応付けられたサンプリング周期を備えた制御テーブルを記憶する記憶手段と、前記記憶手段に記憶された前記制御テーブルから前記車両状態情報取得手段により取得された複数の車両状態情報の各々に対応付けられたサンプリング周期を抽出し、当該抽出した複数のサンプリング周期に基づいて、前記視野状態情報取得手段が前記視野状態情報を取得するサンプリング周期を設定するサンプリング周期設定手段とを備えることを特徴とする。

また、請求項２に記載の表示制御システムは、請求項１に記載の表示制御システムにおいて、前記車両状態情報は、前記車両の速度を特定する速度情報であることを特徴とする。

また、請求項３に記載の表示制御システムは、請求項１又は２に記載の表示制御システムにおいて、前記車両状態情報は、前記車両の現在位置を特定する位置情報であることを特徴とする。

また、請求項４に記載の表示制御システムは、請求項１から３のいずれか一項に記載の表示制御システムにおいて、前記車両状態情報は、前記車両のステアリングの操舵角を特定するステアリング情報であることを特徴とする。

また、請求項５に記載の表示制御方法は、車両の周辺の画像を取得する周辺画像取得ステップと、前記車両のドライバの視野に関する状態を特定する視野状態情報を取得する視野状態情報取得ステップと、前記視野状態情報に基づいて、前記画像における切取範囲を設定する切取範囲設定ステップと、前記画像のうち前記切取範囲に対応する画像を表示手段に表示させる表示ステップと、を含む表示制御方法であって、前記車両の状態を特定する車両状態情報を複数取得する車両状態情報取得ステップと、複数の車両状態情報の各々に対応付けられたサンプリング周期を備えた制御テーブルから、前記車両状態情報取得ステップにおいて取得された複数の車両状態情報の各々に対応付けられたサンプリング周期を抽出し、当該抽出した複数のサンプリング周期に基づいて、前記視野状態情報取得ステップが前記視野状態情報を取得するサンプリング周期を設定するサンプリング周期設定ステップとを含むことを特徴とする。

また、請求項６に記載の表示制御プログラムは、請求項５に記載の方法をコンピュータに実行させる。

請求項１に記載の表示制御システム、請求項５に記載の表示制御方法、及び請求項６に記載の表示制御プログラムによれば、車両状態情報に基づいて設定したサンプリング周期で視野状態情報取得手段が視野状態情報を取得し、この視野状態情報に基づいて、車両の周辺の画像における切取範囲を設定するので、走行状況に応じて適切なサンプリング周期で視野状態情報を取得し切取範囲を設定することが可能となり、走行状況に応じた最適な表示制御を行うことができる。

また、請求項２に記載の表示制御システムによれば、車両状態情報は、車両の速度を特定する速度情報であるので、車両の速度によって異なる出力制御を行うことができる。例えば、ドライバの頭部の動きが小さい高速走行時にサンプリング周期を大きくする等により、表示手段の不必要な細動を低減することができる。

また、請求項３に記載の表示制御システムによれば、車両状態情報は、車両の現在位置を特定する位置情報であるので、車両の現在位置によって異なる出力制御を行うことができる。例えば、ドライバの頭部の動きが小さい高速道路走行時にサンプリング周期を大きくする等により、表示手段の不必要な細動を低減することができ、ドライバの頭部の動きが大きい交差点内や駐車場ではサンプリング周期を小さくすることにより、ドライバの頭部の動きに追随させて滑らかに映像を表示手段に表示させることができる。

また、請求項４に記載の表示制御システムによれば、車両状態情報は、車両のステアリングの操舵角を特定するステアリング情報であるので、車両のステアリングの操舵角によって異なる出力制御を行うことができる。例えば、ステアリングの操舵角が小さい場合にサンプリング周期を大きくする等により、表示手段の不必要な細動を低減することができる。

以下、本発明に係る表示制御システム、表示制御方法、及び表示制御プログラムの実施の形態について図面を参照しつつ詳細に説明する。ただし、実施の形態によって本発明が限定されるものではない。

〔実施の形態〕
最初に、実施の形態について説明する。この形態は、視野状態情報を取得するサンプリング周期を設定する形態である。

（構成）
図１は実施の形態に係る表示制御システムを例示するブロック図である。図１に示すように、この表示制御システム１は、ステアリングセンサ１０、車速センサ２０、車両周辺カメラ３０、ドライバカメラ４０、現在地検出処理部５０、ディスプレイ６０、及び表示制御装置７０を備えている。

（構成−ステアリングセンサ）
ステアリングセンサ１０は、車両のステアリングホイールの操舵角を検出し、当該検出値を表示制御装置７０に出力するものであり、公知のステアリングセンサを用いることができる。

（構成−車速センサ）
車速センサ２０は、車輪の回転速度等を表示制御装置７０に出力するものであり、公知の車速センサを用いることができる。

（構成−車両周辺カメラ）
車両周辺カメラ３０は、車両の周辺の画像を取得する周辺画像取得手段である。この車両周辺カメラ３０は、例えば運転席側のフロントピラー外側（以下では特記する場合を除いて、「フロントピラー」を単に「ピラー」と称する。また、車両の外部に面する側を「外側」、車両の内部に面する側を「内側」と称する）に一台又は複数台設置され、車両の前方及び側方を撮影する。車両周辺カメラ３０が取得した映像データは、表示制御装置７０に出力される。なお、車両周辺カメラ３０の具体的な構成は任意で、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の公知の撮像素子、及び魚眼レンズやプリズム等の公知の光学系部品を用いて構成されている。

（構成−ドライバカメラ）
ドライバカメラ４０は、ドライバの画像を撮影するためのものである。このドライバカメラ４０は、例えば車両内部においてピラーの内側や天井等に設置され、ドライバの頭部を撮影する。ドライバカメラ４０が取得した映像データは、表示制御装置７０に出力される。なお、ドライバカメラ４０の具体的な構成は任意で、車両周辺カメラ３０と同様に、公知の撮像素子、及び公知の光学系部品を用いて構成されている。

（構成−現在地検出処理部）
現在地検出処理部５０は、表示制御装置７０が取り付けられた車両の現在位置を検出する現在位置検出手段である。具体的には、現在地検出処理部５０は、ＧＰＳ、地磁気センサ、距離センサ、又はジャイロセンサ（いずれも図示省略）の少なくとも一つを有し、現在の車両の位置（座標）及び方位等を公知の方法にて検出する。

（構成−ディスプレイ）
ディスプレイ６０は、車両の周辺の画像のうち、表示制御装置７０によって設定された切取範囲に対応する画像を表示する表示手段である。このディスプレイ６０は、例えば車両前方のピラー内側に運転席に向けて配置され、表示制御装置７０から出力された画像データを表示する。ディスプレイ６０の具体的な構成は任意であり、公知の液晶ディスプレイや有機ＥＬディスプレイの如きフラットパネルディスプレイを使用することができる。あるいは、ピラーの内側や天井等をスクリーンとし、車両内部の任意の位置に設けたプロジェクタから投影光を当該スクリーンに投影することにより、スクリーン上に画像データを表示させることもできる。

（構成−表示制御装置）
表示制御装置７０は、制御部７１及びデータ記録部７２を備えている。

（構成−表示制御装置−制御部）
制御部７１は、表示制御装置７０を制御する制御手段であり、具体的には、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを格納するためのＲＡＭの如き内部メモリを備えて構成されるコンピュータである。特に、本実施の形態に係る表示制御プログラムは、任意の記録媒体又はネットワークを介して表示制御装置７０にインストールされることで、制御部７１の各部を実質的に構成する。

この制御部７１は、機能概念的に、視野状態情報取得部７１ａ、表示制御部７１ｂ、車両状態情報取得部７１ｃ、及びサンプリング周期設定部７１ｄを備えている。視野状態情報取得部７１ａは、車両のドライバの視野に関する状態を特定する視野状態情報を取得する視野状態情報取得手段である。表示制御部７１ｂは、視野状態情報に基づいて、車両の周辺の画像における切取範囲を設定する切取範囲設定手段であり、ディスプレイ６０の出力制御を行う表示制御手段である。車両状態情報取得部７１ｃは、車両の状態を特定する車両状態情報を取得する車両状態情報取得手段である。サンプリング周期設定部は、車両状態情報に基づいて、視野状態情報取得部７１ａが視野状態情報を取得するサンプリング周期を設定するサンプリング周期設定手段である。ここで、「視野」とは、ドライバの目に見える範囲であり、ドライバの頭部位置、顔の方向、視線方向等の動きに連動して変化するため、ドライバの視野に関連する状態を特定する情報である「視野状態情報」は、ドライバの頭部位置、顔の方向、視線方向等、例えばドライバカメラ４０により撮影された画像に基づいて取得される。「車両状態情報」とは、車両の状態を特定するための情報であり、例えば、車速、ステアリングの操舵角、車両の現在位置等を特定する情報を含んでいる。これらの制御部７１の各構成要素によって実行される処理の詳細については後述する。

（構成−表示制御装置−データ記録部）
データ記録部７２は、表示制御装置７０の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、外部記憶装置としてのハードディスク（図示省略）を用いて構成されている。ただし、ハードディスクに代えてあるいはハードディスクと共に、磁気ディスクの如き磁気的記録媒体、又はＤＶＤやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる。

このデータ記録部７２は、制御テーブル７２ａ、及び地図情報データベース７２ｂ（以下、データベースを「ＤＢ」と称する）を備えている。制御テーブル７２ａは、表示制御部７１ｂがディスプレイ６０の出力制御を実行する際に参照するためのものである。図２は、制御テーブル７２ａに格納されている情報を例示した表である。図２に示したように、制御テーブル７２ａは、テーブル項目として項目「車両状態」及び項目「サンプリング周期」を備え、これらに対応する情報が相互に対応付けて格納されている。項目「車両状態」に対応して格納される情報は車両状態情報であり、例えば、車両の速度を特定する速度情報、車両の現在位置を特定する位置情報、車両のステアリングの操舵角を特定するステアリング情報等の車両状態情報を格納することができる（図２では「車速」について「５０ｋｍ／ｈ以上」、「５０ｋｍ／ｈ未満」、あるいは「現在位置」について「交差点内」、「交差点外」等）。項目「サンプリング周期」に対応して格納される情報は、視野状態情報取得部７１ａが視野状態情報を取得する周期であり、例えば、「車速」が「５０ｋｍ／ｈ未満」の場合に「０．２ｓｅｃ」、「５０ｋｍ／ｈ以上」の場合に「３ｓｅｃ」等の値を格納することができる。

図１に戻り、地図情報ＤＢ７２ｂは、地図情報を格納する地図情報格納手段である。「地図情報」とは、交差点、高速道路、駐車場等の位置の特定に必要な情報であり、例えば、交差点データ（交差点座標等）、道路データ（道路種別、車線数、制限速度、道路座標、道路番号等）、地図をモニタ（図示省略）に表示するための地図表示データ等を含んで構成されている。

（処理）
次に、このように構成される表示制御システム１によって実行される処理について、サンプリング周期設定処理と表示制御処理とに大別して説明する。

（処理−サンプリング周期設定処理）
まず、サンプリング周期設定処理について説明する。図３はサンプリング周期設定処理のフローチャートである（以下の各処理の説明ではステップを「Ｓ」と略記する）。このサンプリング周期設定処理は、例えば、自車両のエンジン始動後に自動的に起動される。エンジン始動後、車両状態情報取得部７１ｃは、ステアリングセンサ１０、車速センサ２０、現在地検出処理部５０等を介して、ステアリングの操舵角、車速、現在位置等の車両状態情報を取得する（ＳＡ１）。また、取得した車両状態情報と、地図情報ＤＢ７２ｂに格納されている地図情報とに基づいて、地図上での自車の位置を特定する（ＳＡ２）。

続いて、サンプリング周期設定部７１ｄは制御テーブル７２ａを参照し、車両状態情報取得部７１ｃが取得した車両状態情報及び地図上での自車の位置に基づいて、視野状態情報取得部７１ａが視野状態情報を取得するサンプリング周期Ｔを決定し、当該視野状態情報取得部７１ａにサンプリング周期Ｔを設定する（ＳＡ３）。例えば図２において、車速が５０ｋｍ／ｈ以上であり、現在位置が交差点外又は高速道路であり、ステアリングの操舵角が１０度未満であるとの全ての条件が満たされた場合に、サンプリング周期設定部７１ｄはサンプリング周期Ｔを３ｓｅｃに決定し、それ以外の場合、例えば車速が５０ｋｍ／ｈ未満の場合や、現在位置が交差点内の場合等は、サンプリング周期を０．２ｓｅｃに決定することができる。また、車速、現在位置、またはステアリングの操舵角のいずれか一つの値に基づいてサンプリング周期Ｔを決定してもよく、あるいはこれらの車両状態情報に対応するサンプリング周期Ｔの中で最も多い値や平均値等を採用してもよい。例えば、車速が５０ｋｍ／ｈ未満、現在位置が交差点内、ステアリングの操舵角が１０度未満であった場合、車速及び現在位置に対応するサンプリング周期が０．２ｓｅｃ、ステアリングの操舵角に対応するサンプリング周期が３ｓｅｃであるので、最も多いサンプリング周期を採用する場合には、サンプリング周期＝０．２ｓｅｃを採用し、平均値を採用する場合には、サンプリング周期＝３．４／３＝１．１ｓｅｃを採用する。以降、同様に、ＳＡ１からＳＡ３を繰り返す。

（処理−表示制御処理）
次に、表示制御処理について説明する。図４は表示制御処理のフローチャートである。この表示制御処理は、例えば、サンプリング周期設定処理と同時に自車両のエンジン始動後所定周期毎（例えば０．２秒毎）に起動される。表示制御処理の起動後、表示制御部７１ｂは、車両周辺カメラ３０によって車両の周辺の画像を取得させる（ＳＢ１）。次に、表示制御部７１ｂは、ディスプレイ６０に画像を表示させているか否かを判定し（ＳＢ２）、既にディスプレイ６０に画像を表示させている場合（ＳＢ２、Ｙｅｓ）、視野状態情報取得部７１ａによって視野状態情報が前回取得された時からの経過時間を計時するタイマのタイマ値ｎと、サンプリング周期設定処理にて設定されたサンプリング周期Ｔとを比較する（ＳＢ３）。

その結果、タイマ値ｎがサンプリング周期Ｔ以上であった場合（ＳＢ３、Ｙｅｓ）、又はＳＢ２においてディスプレイ６０に画像を表示させていなかった場合（ＳＢ２、Ｎｏ）、視野状態情報の取得タイミングが到来したものとし、視野状態情報取得部７１ａは、タイマ値をリセットし（ＳＢ４）、タイマの計測を開始させると共に（ＳＢ５）、ドライバカメラ４０を介してドライバの頭部位置等の視野状態情報を取得する（ＳＢ６）。続いて、表示制御部７１ｂは切取範囲をＳＢ６で今回取得された視野状態情報に基づいて設定し、当該設定した切取範囲をＲＡＭ等に記憶させる（ＳＢ７）。表示制御部７１ｂは、例えばＳＢ６で取得したドライバの頭部位置等に基づき、ピラー等で遮蔽されることにより生じるドライバ視野の死角を算出する。そして、算出した死角に対応する範囲を車両周辺カメラ３０によって撮影された画像における切取範囲として設定する。なお、ＳＢ７において切取範囲が既に設定されている場合は、今回取得された視野状態情報に基づいて切取範囲を書き換えることができる。

一方、タイマ値ｎがサンプリング周期Ｔ未満であった場合（ＳＢ３、Ｎｏ）、前回以前の処理にて記憶された切取範囲をＲＡＭ等から読み出し、車両周辺カメラ３０によって撮影された画像における切取範囲として設定する（ＳＢ８）。

ＳＢ７又はＳＢ８の処理の後、表示制御部７１ｂは、設定されている切取範囲に対応する画像を車両周辺カメラ３０によって撮影された画像から抽出し（ＳＢ９）、当該抽出した画像をディスプレイ６０に表示させる（ＳＢ１０）。

このように、車速が大きい場合や高速道路を走行中の場合等、ドライバが車両の前方を注視している割合が多く頭部の動きが小さい場合に、サンプリング周期を大きくすることにより、ディスプレイ６０に表示される映像の不必要な細動を低減でき、ドライバに与える不快感を低減することができる。一方、車速が小さい場合や交差点を走行中の場合等、ドライバが車両の左右にも注意を払うために頭部の動きが大きくなる場合にサンプリング周期を小さくすることにより、ドライバの頭部の動きに追随させて滑らかに映像をディスプレイ６０に表示させることができ、適切な運転支援をドライバに提供することができる。

（効果）
このように本実施の形態によれば、車両状態情報に基づいて設定したサンプリング周期で視野状態情報取得部７１ａが視野状態情報を取得し、この視野状態情報に基づいて、車両の周辺の画像における切取範囲を変更するので、走行状況に応じて適切なサンプリング周期で視野状態情報を取得し切取範囲を設定することが可能となり、走行状況に応じた最適な表示制御を行うことができる。例えば、高速走行時にサンプリング周期を大きくすることにより、ドライバの一瞬のわき見によって切取範囲が変化してしまうことを防止することができる。

また、車両状態情報は、車両の速度を特定する速度情報であるので、車両の速度によって異なるドライバの頭部の動き方等を考慮に入れた出力制御を行うことができる。例えば、ドライバの頭部の動きが小さい高速走行時にサンプリング周期を低速走行時より大きくする等により、ディスプレイ６０の不必要な細動を低減することができる。

また、車両状態情報は、車両の現在位置を特定する位置情報であるので、車両の現在位置によって異なるドライバの頭部の動き方等を考慮に入れた出力制御を行うことができる。例えば、ドライバの頭部の動きが小さい高速道路走行時にサンプリング周期を一般道路走行時よりも大きくする等により、ディスプレイ６０の不必要な細動を低減することができ、ドライバの頭部の動きが大きい交差点内や駐車場ではサンプリング周期を小さくすることにより、ドライバの頭部の動きに追随させて滑らかに映像をディスプレイ６０に表示させることができる。

また、車両状態情報は、車両のステアリングの操舵角を特定するステアリング情報であるので、車両のステアリングの操舵角によって異なるドライバの頭部の動き方等を考慮に入れた出力制御を行うことができる。例えば、ドライバの頭部の動きが小さいステアリングの操舵角が小さい場合にサンプリング周期を操舵角が大きい場合よりも大きくする等により、ディスプレイ６０の不必要な細動を低減することができる。

〔実施の形態に対する変形例〕
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した各発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。

（解決しようとする課題や発明の効果について）
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏することがある。

（制御テーブルについて）
制御テーブル７２ａの具体的な設定内容は任意に変更することができる。例えば、車両状態として、方向指示器の操作状態を加えてもよく、方向指示器が操作されている場合には、方向指示器が操作されてない場合に比べて、サンプリング周期を小さくしてもよい。また、サンプリング周期は、絶対値ではなく、基準値（デフォルト値）に対する相対値として設定してもよい。

本発明の実施の形態に係る表示制御システムを例示するブロック図である。 制御テーブルに格納されている情報を例示した表である。 サンプリング周期設定処理のフローチャートである。 表示制御処理のフローチャートである。

符号の説明

１ 表示制御システム
１０ ステアリングセンサ
２０ 車速センサ
３０ 車両周辺カメラ
４０ ドライバカメラ
５０ 現在地検出処理部
６０ ディスプレイ
７０ 表示制御装置
７１ 制御部
７１ａ 視野状態情報取得部
７１ｂ 表示制御部
７１ｃ 車両状態情報取得部
７１ｄ サンプリング周期設定部
７２ データ記録部
７２ａ 制御テーブル
７２ｂ 地図情報ＤＢ

Claims (6)

1. 車両の周辺の画像を取得する周辺画像取得手段と、
   前記車両のドライバの視野に関する状態を特定する視野状態情報を取得する視野状態情報取得手段と、
   前記視野状態情報に基づいて、前記画像における切取範囲を設定する切取範囲設定手段と、
   前記画像のうち前記切取範囲に対応する画像を表示する表示手段と、を備える表示制御システムであって、
   前記車両の状態を特定する車両状態情報を複数取得する車両状態情報取得手段と、
   複数の車両状態情報の各々に対応付けられたサンプリング周期を備えた制御テーブルを記憶する記憶手段と、
   前記記憶手段に記憶された前記制御テーブルから前記車両状態情報取得手段により取得された複数の車両状態情報の各々に対応付けられたサンプリング周期を抽出し、当該抽出した複数のサンプリング周期に基づいて、前記視野状態情報取得手段が前記視野状態情報を取得するサンプリング周期を設定するサンプリング周期設定手段と、
   を備えることを特徴とする表示制御システム。
2. 前記車両状態情報は、前記車両の速度を特定する速度情報であること、
   を特徴とする請求項１に記載の表示制御システム。
3. 前記車両状態情報は、前記車両の現在位置を特定する位置情報であること、
   を特徴とする請求項１又は２に記載の表示制御システム。
4. 前記車両状態情報は、前記車両のステアリングの操舵角を特定するステアリング情報であること、
   を特徴とする請求項１から３のいずれか一項に記載の表示制御システム。
5. 車両の周辺の画像を取得する周辺画像取得ステップと、
   前記車両のドライバの視野に関する状態を特定する視野状態情報を取得する視野状態情報取得ステップと、
   前記視野状態情報に基づいて、前記画像における切取範囲を設定する切取範囲設定ステップと、
   前記画像のうち前記切取範囲に対応する画像を表示手段に表示させる表示ステップと、を含む表示制御方法であって、
   前記車両の状態を特定する車両状態情報を複数取得する車両状態情報取得ステップと、
   複数の車両状態情報の各々に対応付けられたサンプリング周期を備えた制御テーブルから、前記車両状態情報取得ステップにおいて取得された複数の車両状態情報の各々に対応付けられたサンプリング周期を抽出し、当該抽出した複数のサンプリング周期に基づいて、前記視野状態情報取得ステップが前記視野状態情報を取得するサンプリング周期を設定するサンプリング周期設定ステップと、
   を含むことを特徴とする表示制御方法。
6. 請求項５に記載の方法をコンピュータに実行させるための表示制御プログラム。

Images