JP6929139B2 - 表示制御装置、表示システムおよび表示制御方法 - Google Patents

Description

本発明は、表示制御装置、表示システムおよび表示制御方法に関する。

近年、例えば車両内に設置されるディスプレイの数は増加傾向にある。また、複数のレイヤーからなる画像を各ディスプレイに表示するための制御を行う表示制御装置が知られている。表示制御装置は、かかる画像のレイヤーとして、複数のディスプレイにそれぞれ対応する個別レイヤーに画像を描画する（たとえば、特許文献１参照）。

特開２０１３−２１３８５９号公報

しかしながら、従来の技術は、例えば、複数のディスプレイ間で画像の表示連携を行おうとした場合、各個別レイヤー毎に表示タイミング等の制御を行わなければならず、制御が複雑になるため、処理負荷が嵩むおそれがあった。

本発明は、上記に鑑みてなされたものであって、複数のディスプレイで表示連携を行う場合の処理負荷を抑えることができる表示制御装置、表示システムおよび表示制御方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、取得部と、描画部と、画像合成部とを備える。前記取得部は、複数のレイヤーからなる画像における前記レイヤーとして、表示装置における表示領域にそれぞれ対応する個別レイヤーと、複数の前記表示装置における各前記表示領域を含んだ共通レイヤーとが定義されたレイヤー情報を取得する。前記描画部は、前記取得部が取得した前記レイヤー情報に基づき、前記複数の表示装置間を移動するように表示される第１合成用画像を前記共通レイヤーに描画し、前記表示装置毎に独立して表示される第２合成用画像を前記個別レイヤーに描画する。前記画像合成部は、前記描画部によって前記共通レイヤーに描画された前記第１合成用画像を対応する前記個別レイヤーの前記第２合成用画像と合成する。

本発明によれば、複数のディスプレイで表示連携を行う場合の処理負荷を抑えることができる。

図１Ａは、実施形態に係る表示システムの構成を示す図である。 図１Ｂは、実施形態に係る表示制御方法の概要を示す図である。 図２は、実施形態に係る表示制御装置の構成を示すブロック図である。 図３Ａは、配置情報の説明図である。 図３Ｂは、配置情報の説明図である。 図３Ｃは、配置情報の説明図である。 図４は、内容情報の説明図である。 図５は、イベント表示情報の説明図である。 図６は、形式情報の説明図である。 図７は、形式情報の説明図である。 図８は、決定部の処理内容を示す図である。 図９は、変更部の処理内容を示す図である。 図１０は、変更部の処理内容を示す図である。 図１１は、実施形態に係る表示制御装置が実行する表示処理の処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する表示制御装置、表示システムおよび表示制御方法の実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

まず、図１Ａおよび図１Ｂを用いて実施形態に係る表示システムおよび表示制御方法の概要について説明する。図１Ａは、実施形態に係る表示システムＳの構成を示す図である。図１Ｂは、実施形態に係る表示制御方法の概要を示す図である。

図１Ａには、車両Ｃの室内前方を見た図を示している。図１Ａに示すように、実施形態に係る表示システムＳは、例えば車両Ｃに搭載され、第１表示装置４１と、第２表示装置４２と、第３表示装置４３とを含む表示装置４０と、表示制御装置１とを備える。なお、表示システムＳにおける表示装置４０は、車両Ｃに搭載されるものに限定されず、例えば、オフィス等に設置されたＰＣ（Personal Computer）等の表示装置であってもよい。また、表示装置４０の数は、３つに限定されず、２つでもよく、４つ以上であってもよい。

第１表示装置４１は、例えば、車両Ｃの前方中央に設けられるセンターディスプレイであり、ナビゲーション機能を示す画像や音楽再生に関する画像、テレビ等の動画像を表示する。また、第１表示装置４１は、例えばナビゲーション装置１２（図２参照）への入力を受け付ける受付部としても機能する、いわゆるタッチパネルディスプレイとして構成することができる。

第２表示装置４２は、例えば、車両Ｃのスピードメータ、燃料計等の各種計器で計測した値等を画像として表示するサブディスプレイである。第３表示装置４３は、例えば、車両Ｃのフロントガラス等に設けられ、ＨＵＤ（Head Up Display）として構成することができる。第３表示装置４３は、例えば、ナビゲーション機能の案内表示に関する画像や、各種センサで検知した物体等への注意を喚起する警告画像等を表示する。

なお、上記した第１表示装置４１、第２表示装置４２および第３表示装置４３の設置位置や、機能等は一例であり、これらに限定されるものではなく、例えば、表示装置４０は、表示機能を有するサイドミラー等であってもよい。

また、図１Ｂには、第１表示装置４１、第２表示装置４２、第３表示装置４３で表示される画像のレイヤー構成を示している。なお、図１Ｂに示すレイヤーＬ１，Ｌ２・・・を総称してレイヤーＬと記載する場合がある。

また、各レイヤーＬには、表示装置４０における表示領域（例えば、表示領域Ｒ１−１）を示している。なお、図１Ｂに示す表示領域Ｒ１−１，Ｒ１−２・・・を総称して表示領域Ｒと記載する場合がある。

すなわち、レイヤーＬの表示領域Ｒは、例えばＶＲＡＭ（Video Random Access Memory）等の表示用の実メモリ空間である。従って、表示装置４０の表示される画像は、かかる領域に描画される。

図１Ｂに示すように、第１表示装置４１、第２表示装置４２、第３表示装置４３で表示される画像は、例えば、５層のレイヤーＬで構成される。なお、表示される画像のレイヤーＬの数は、５層に限定されず、複数層であれば、４層以下でもよく、６層以上でもよい。つまり、表示装置４０は、複数のレイヤーＬからなる画像を表示する。

また、各レイヤーＬが有する表示領域Ｒは、例えば、表示装置４０の画像が表示される画面のサイズに対応する。具体的には、第１表示装置４１における表示領域Ｒ１−１は、第１表示装置４１の画面のサイズと略同じである。また、第２表示装置４２における表示領域Ｒ１−２は、第２表示装置４２の画面のサイズと略同じである。また、第３表示装置４３における表示領域Ｒ１−３は、第３表示装置４３の画面のサイズと略同じである。

また、各表示領域Ｒには、合成用画像が描画される。なお、合成用画像の詳細については、図４を用いて後述する。そして、各表示領域Ｒに描画された合成用画像を重ね合わせることで表示装置４０に表示される画像が合成される。

図１Ｂに示すように、レイヤーＬには、第１表示装置４１、第２表示装置４２、第３表示装置４３の表示領域Ｒをすべて含んだ共通レイヤーＬ１，Ｌ２，Ｌ３と、第１表示装置４１、第２表示装置４２、第３表示装置４３それぞれの表示領域Ｒに対応する個別レイヤーＬ４−１，Ｌ４−２，Ｌ４−３，Ｌ５−１，Ｌ５−２，Ｌ５−３とがある。

ここで、従来の表示制御方法について説明する。従来の表示制御方法では、複数のディスプレイにそれぞれ対応する個別レイヤーに画像を描画していた。つまり、従来は、レイヤーとして、個別レイヤーしか存在しなかった。このため、従来は、個別レイヤー毎、つまり表示装置毎に表示のタイミング等の制御を行う必要があった。

しかしながら、例えば、複数の表示装置間で画像の表示を連携させようとした場合、表示領域毎に表示タイミング等の制御を行うとなると、制御が複雑になる。したがって、従来は、複数の表示装置で表示を連携させようとした場合、処理負荷が嵩むおそれがあった。

そこで、実施形態に係る表示制御方法では、共通レイヤーＬ１，Ｌ２，Ｌ３を有し、１つの共通レイヤーＬ１，Ｌ２，Ｌ３が複数の表示領域Ｒを有する。具体的には、実施形態に係る表示制御装置１は、複数の表示装置４０における表示領域Ｒを含んだ共通レイヤーＬ１，Ｌ２，Ｌ３が定義されたレイヤー情報３１（図２参照）を取得する。

例えば、図１Ｂに示すように、１層目の共通レイヤーＬ１は、第１表示装置４１の表示領域Ｒ１−１と、第２表示装置４２の表示領域Ｒ１−２と、第３表示装置４３の表示領域Ｒ１−３とを含む。また、２層目の共通レイヤーＬ２は、第１表示装置４１の表示領域Ｒ２−１と、第２表示装置４２の表示領域Ｒ２−２と、第３表示装置４３の表示領域Ｒ２−３とを含む。また、３層目の共通レイヤーＬ３は、第１表示装置４１の表示領域Ｒ３−１と、第２表示装置４２の表示領域Ｒ３−２と、第３表示装置４３の表示領域Ｒ３−３とを含む。つまり、１つの共通レイヤーＬ１，Ｌ２，Ｌ３は、複数の表示装置４０すべての表示領域Ｒを含む。

また、図１Ｂに示すように、４層目および５層目のレイヤーＬは、個別レイヤーＬ４−１，Ｌ４−２，Ｌ４−３，Ｌ５−１，Ｌ５−２，Ｌ５−３であり、各表示領域Ｒ４−１，Ｒ４−２，Ｒ４−３，Ｒ５−１，Ｒ５−２，Ｒ５−３にそれぞれ対応する。つまり、実施形態に係る表示制御装置１は、表示装置４０における表示領域Ｒにそれぞれ対応する個別レイヤーＬ４−１，Ｌ４−２，Ｌ４−３，Ｌ５−１，Ｌ５−２，Ｌ５−３が定義されたレイヤー情報３１を取得する。

すなわち、個別レイヤーＬ４−１，Ｌ４−２，Ｌ４−３，Ｌ５−１，Ｌ５−２，Ｌ５−３は、表示領域Ｒを示す実メモリ空間であり、共通レイヤーＬ１，Ｌ２，Ｌ３は、表示領域Ｒである実メモリ空間の位置関係を、表示装置４０の位置関係に基づいて定義した仮想メモリ空間である。

なお、以下では、個別レイヤーＬ４−１，Ｌ４−２，Ｌ４−３，Ｌ５−１，Ｌ５−２，Ｌ５−３を総称して個別レイヤーＩＬと記載し、共通レイヤーＬ１，Ｌ２，Ｌ３を総称して共通レイヤーＣＬと記載する場合がある。

つづいて、実施形態に係る表示制御装置１は、取得したレイヤー情報３１に基づき、複数の表示装置間を移動するように表示される第１合成用画像を共通レイヤーＣＬに描画し、表示装置４０毎に独立して表示される第２合成用画像を個別レイヤーＩＬに描画する。なお、第１合成用画像および第２合成用画像の具体例については図４で後述する。

つづいて、実施形態に係る表示制御装置１は、共通レイヤーＣＬに描画された第１合成用画像を対応する個別レイヤーＩＬの第２合成用画像と合成する。

具体的には、実施形態に係る表示制御装置１は、共通レイヤーＬ１，Ｌ２，Ｌ３の各表示領域Ｒのうち、第１表示装置４１の個別レイヤーＬ４−１，Ｌ５−１と同じサイズの表示領域Ｒ１−１，Ｒ２−１，Ｒ３−１を抽出する。

そして、実施形態に係る表示制御装置１は、レイヤーＬ単位で表示装置４０へ出力する。つまり、実施形態に係る表示制御装置１は、共通レイヤーＣＬの合成用画像それぞれについて表示タイミングを制御せずとも、表示タイミングを合わせることができる。なお、合成用画像として、例えば、矢印等の絵画像を移動させる移動画像を描画できるがかかる点については、後述する。

このように、共通レイヤーＣＬの大きさを、複数の表示領域Ｒが包含可能な大きさの仮想メモリ空間として定義することで、表示の連携を行う場合に、表示領域Ｒ毎に表示タイミング等を制御する必要がない。したがって、複数の表示装置４０で表示連携を行う場合の処理負荷を抑えることができる。

また、実施形態に係る表示システムＳを車両Ｃに搭載することで、運転者が違和感を覚えることのない表示連携を行うことができるため、運転により集中させ易くすることができる。

なお、共通レイヤーＣＬには、表示領域Ｒ間の位置関係以外に、表示される画像の倍率や色、文字のフォント、表示可否等の情報を定義できるが、かかる点については後述する。

次に、図２を参照して、実施形態に係る表示制御装置１の構成について詳細に説明する。図２は、実施形態に係る表示制御装置１の構成を示すブロック図である。図２に示すように、実施形態に係る表示制御装置１は、例えば、カメラ１０と、各種センサ１１と、ナビゲーション装置１２とに接続される。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、車両Ｃの周囲を撮像する位置に取り付けられる。なお、カメラ１０は、１つであってもよく複数であってもよい。

各種センサ１１は、例えば車両Ｃの速度や加速度、旋回状態等の走行状態を検出するセンサや、車両Ｃの周囲に存在する障害物等の物体を検出するセンサ等を含む。

ナビゲーション装置１２は、予め記憶された電子地図データを表示するとともに、車両Ｃの運転者等によって設定された目的地までの走行経路の設定および案内を行う装置である。

実施形態に係る表示制御装置１は、制御部２と、記憶部３とを備える。制御部２は、取得部２１と、描画部２２と、画像合成部２３と、出力部２４とを備える。記憶部３は、レイヤー情報３１と、イベント表示情報３２と、形式情報３３とを記憶する。

ここで、表示制御装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の取得部２１、描画部２２、画像合成部２３および出力部２４として機能する。

また、制御部２の取得部２１、描画部２２、画像合成部２３および出力部２４の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、たとえば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、レイヤー情報３１や、イベント表示情報３２、形式情報３３、各種プログラムの情報等を記憶することができる。なお、表示制御装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

レイヤー情報３１は、レイヤーＬの定義に関する情報が含まれる。レイヤー情報３１は、例えば、配置情報３１ａと、内容情報３１ｂとを含む。ここで、図３Ａ〜図４を用いて、レイヤー情報３１について説明する。図３Ａ〜図３Ｃは、配置情報３１ａの説明図である。図４は、内容情報３１ｂの説明図である。

まず、図３Ａ〜図３Ｃを用いて、配置情報３１ａについて説明する。図３Ｂには、共通レイヤーＬ１における表示領域Ｒ１−１，Ｒ１−２，Ｒ１−３の配置を模式的に示す。また、図３Ｃでは、第１合成用画像Ｏを各表示領域Ｒで表示する際のサイズ関係を示す。

図３Ａに示すように、配置情報３１ａは、「レイヤーＩＤ」、「位置関係」、「サイズ関係」といった項目が含まれる。「レイヤーＩＤ」は、各共通レイヤーＣＬを識別する識別情報である。「位置関係」は、各表示装置４０の空間的な位置関係に基づくレイヤーＬでの位置座標を示す。「サイズ関係」は、例えば、第１表示装置４１を基準とした場合の、第２表示装置４２および第３表示装置４３の表示領域Ｒのサイズ比率を示す。なお、図３Ａでは、３つの共通レイヤーＣＬすべてにおいて、第１表示装置４１、第２表示装置４２および第３表示装置４３の位置関係、サイズ関係を同じにしたが、各共通レイヤーＣｌで、位置関係、サイズ関係が異なってもよい。

ここで、図３Ｂに、図３Ａで示したテーブルの模式的に示す。図３Ｂでは、レイヤーＩＤ「１」である共通レイヤーＬ１を代表して示す。図３Ｂに示すように、共通レイヤーＬ１には、３つの表示領域Ｒ１−１，Ｒ１−２，Ｒ１―３が含まれる。なお、表示領域Ｒ１−１，Ｒ１−２，Ｒ１―３の数は、表示装置４０の数に対応している。つまり、表示装置４０が３つの場合、共通レイヤーＬ１に含まれる表示領域Ｒ１−１，Ｒ１−２，Ｒ１―３の数は、３つである。なお、共通レイヤーＬ１は、３つの表示領域Ｒ１−１，Ｒ１−２，Ｒ１―３をすべて含まなくてもよく、いずれか２つを含んでもよい。

図３Ｂに示すように、各表示領域Ｒ１−１，Ｒ１−２，Ｒ１―３は、共通レイヤーＬ１の左下の頂点を原点（０，０）とする絶対座標によって定義される。具体的には、各表示領域Ｒ１−１，Ｒ１−２，Ｒ１―３の左下の頂点が原点（０，０）を基に定義される。

より具体的には、表示領域Ｒ１−１は、原点（０，０）からＸ軸正方向（図中右方向）へ距離Ｘ１、Ｙ軸正方向（図中上方向）へ距離Ｙ１進んだ点が定義される。また、表示領域Ｒ１−２は、原点（０，０）からＸ軸正方向へ距離Ｘ２、Ｙ軸正方向へ距離Ｙ２進んだ点が定義される。表示領域Ｒ１−３は、原点（０，０）からＸ軸正方向へ距離Ｘ３、Ｙ軸正方向へ距離Ｙ３進んだ点が定義される。

また、各表示領域Ｒ１−１，Ｒ１−２，Ｒ１―３は、各表示装置４０の画面サイズに基づいて縦横比が定義される。具体的には、表示領域Ｒ１−１は、縦横比がｙ１：ｘ１であり、表示領域Ｒ１−２は、縦横比がｙ２：ｘ２であり、表示領域Ｒ１−３は、縦横比がｙ３：ｘ３である。

また、各表示領域Ｒ１−１，Ｒ１−２，Ｒ１―３は、領域面積に基づいて、例えば、表示領域Ｒ１−１を基準とするサイズ関係が定義される。具体的には、表示領域Ｒ１−１の領域面積を「サイズ比：１」とした場合に、表示領域Ｒ１−２の領域面積が「サイズ比：０．４」と定義され、表示領域Ｒ１−３の領域面積が，「サイズ比：０．５」と定義される。そして、定義されたサイズ比および縦横比に基づいて各表示領域Ｒ１−１，Ｒ１−２，Ｒ１−３の縦および横の長さが定義される。

ここで、図３Ｃを用いて、第１合成用画像Ｏを各表示領域Ｒ１−１，Ｒ１−２，Ｒ１―３で表示する際のサイズ関係についてさらに説明する。図３Ｃに示すように、第１合成用画像は、表示領域Ｒ１−１，Ｒ１−２，Ｒ１−３のサイズ比に基づいてサイズ調整される。

サイズ調整された各第１合成用画像は、すべて同じピクセル数である。すなわち、図３Ｃに示すサイズ比は、表示装置４０毎に表示された際の見た目の大きさの比を示している。なお、第１合成用画像を各表示領域Ｒ１−１，Ｒ１−２，Ｒ１−３のサイズ比を基により大きくしたり小さくしたりしてもよいが、かかる点については図６で後述する。

なお、図３Ａ〜図３Ｃでは、配置情報３１ａにおいて、各表示領域Ｒ１−１，Ｒ１−２，Ｒ１−３を絶対座標に基づいて定義したが、定義は、絶対座標に限らず、各表示領域Ｒ１−１，Ｒ１−２，Ｒ１−３の相対的な位置関係や角度関係に基づいて定義してもよい。

次に、図４を用いて、内容情報３１ｂについて説明する。図４に示すように、内容情報３１ｂは、「レイヤーＩＤ」、「分類」、「表示装置ＩＤ」、「表示内容」といった項目を含む。

「レイヤーＩＤ」は、各レイヤーＬを識別する識別情報である。「分類」は、レイヤーＬの分類の種別を示す。「表示装置ＩＤ」は、複数の表示装置４０を識別する識別情報である。「表示内容」は、レイヤーＬに描画される合成用画像の内容を示す。「表示内容」のうち、「レイヤー１」〜「レイヤー３」の「表示内容」は、複数の表示装置４０間を移動するように表示される第１合成用画像を含む。また、「レイヤー４」、「レイヤー５」は、表示装置４０毎に独立して表示される第２合成用画像を含む。

例えば、レイヤーＩＤが「レイヤー１」は、１層目の共通レイヤーＬ１であり、第１表示装置４１、第２表示装置４２、第３表示装置４３の表示領域Ｒ１−１，Ｒ１−２，Ｒ１−３に共通して、文字情報やコーション画像が表示されることを示す。

すなわち、後述する描画部２２は、各共通レイヤーＣＬに異なる種類の第１合成用画像を描画する。これにより、例えば、コーション表示等は、色やサイズが変わる共通レイヤーＣＬ、矢印やデザイン画等は、サイズが変わらない共通レイヤーＣＬ、動画等は走行規制が有効な共通レイヤーＣＬなど、第１合成用画像の種類によって適切な表示制御が可能となる。なお、第１合成用画像を表示する際の色や表示サイズ、走行規制等の表示可否に関する説明については後述する。

次に、イベント表示情報３２は、車両Ｃに対するイベントに応じて各レイヤーＬで表示される内容を示す情報である。ここで、図５を用いて、イベント表示情報３２について説明する。

図５は、イベント表示情報３２を示す図である。図５に示すように、イベント表示情報３２は、「レイヤーＩＤ」、「イベント種別」といった項目を含む。「イベント種別」は、車両Ｃに対して所定の条件を満たすイベントの種別を示す。

例えば、イベント種別が「前方で事故発生」であった場合、「レイヤー１」には、事故発生を示すコーション画像（図４参照）や、迂回指示を促す合成用画像を描画することを示す。一方で、「レイヤー２」および「レイヤー３」については、合成用画像を描画しない。また、「レイヤー４」および「レイヤー５」である個別レイヤーは、常時表示させることを示す。

次に、形式情報３３は、表示領域Ｒに描画される絵画像や、文字情報等の表示のサイズやフォント等の表示形式に関する情報を含む。形式情報３３は、比率情報３３ａおよび文字形式情報３３ｂを含む。比率情報３３ａは、矢印等の絵画像の表示サイズに関する情報である。文字形式情報３３ｂは、文字情報の表示形式に関する情報である。ここで、図６および図７を用いて、形式情報３３について説明する。

図６および図７は、形式情報３３の説明図である。図６には、比率情報３３ａを示し、図７には、文字形式情報３３ｂを示す。まず、図６を用いて、比率情報３３ａについて説明する。

図６に示すように、比率情報３３ａは、「レイヤーＩＤ」、「第１表示装置（基準）」、「表示サイズ比率」といった項目を含む。「第１表示装置（基準）」は、複数の表示装置４０における表示サイズの基準を示しており、図６の例では、第１表示装置４１の表示サイズを基準としている。なお、第１表示装置４１に限らず、第２表示装置４２または第３表示装置４３の表示サイズを基準にしてもよい。「表示サイズ比率」は、イベント毎の「第１表示装置（基準）」に対する第２表示装置４２および第３表示装置４３の表示サイズの比率を示す。

例えば、イベントが「前方で事故発生」であった場合の表示サイズ比率は、「第２表示装置」の「レイヤー１」が、「１」、つまり、第１表示装置４１と同じ表示サイズで第２表示装置４２に表示させることを示す。

また、例えば、「前方で事故発生」において、「第３表示装置」の「レイヤー１」が、「０．５」、つまり、第１表示装置４１の半分の表示サイズで第３表示装置４３に表示させることを示す。

次に、図７を用いて、文字形式情報３３ｂについて説明する。図７に示すように、文字形式情報３３ｂは、「レイヤーＩＤ」、「項目」、「イベント種別」といった項目を有する。「項目」は、表示される文字情報におけるテキストの表示形式の種別の項目を示す。

例えば、イベント種別が「前方で事故発生」の場合、「レイヤー１」において、フォントが、第１表示装置４１では、ゴシック体を使用し、第２表示装置４２では、明朝体を使用し、第３表示装置４３では、ゴシック体を使用することを示している。また、サイズ比においては、第１表示装置４１が基準である「１」、第２表示装置４２では、「０．８」、第３表示装置４３では、「１」のサイズ比であることを示している。また、色においては、第１表示装置４１では、白色を使用し、第２表示装置４２では、灰色を使用し、第３表示装置４３では、橙色を使用することを示している。

制御部２は、レイヤーＬが定義されたレイヤー情報３１を取得し、レイヤー情報３１に含まれる個別レイヤーＩＬおよび共通レイヤーＣＬに合成用画像を描画して、抽出することで画像を合成し、各表示装置４０へ出力する。

取得部２１は、表示装置４０における表示領域Ｒにそれぞれ対応する個別レイヤーＩＬと、複数の表示装置４０における各表示領域Ｒを含んだ共通レイヤーＣＬとが定義されたレイヤー情報３１を取得する。

図２に示すように、取得部２１は、記憶部３に予め記憶されたレイヤー情報３１を取得する。なお、図２では、レイヤー情報３１を予め記憶部３に記憶しておくこととしたが、これに限らず、例えば、取得部２１は、外部のサーバ装置等からレイヤー情報３１を取得することとしてもよい。

描画部２２は、取得部２１が取得したレイヤー情報３１に基づき、個別レイヤーＩＬおよび共通レイヤーＣＬに合成用画像をそれぞれ描画する。具体的には、描画部２２は、複数の共通描画部２２ａと、複数の個別描画部２２ｂとを有し、例えば、共通描画部２２ａおよび個別描画部２２ｂのそれぞれがＧＰＵ（Graphics Processing Unit）で構成される。つまり、描画部２２は、レイヤーＬの数のＧＰＵを有する。

なお、描画部２２は、必ずしもレイヤーＬの数のＧＰＵを有する必要はなく、複数の共通描画部２２ａすべてを包括するＧＰＵと、複数の個別描画部２２ｂすべてを包括するＧＰＵとを有してもよい。つまり、描画部２２は、共通描画部２２ａおよび個別描画部２２ｂそれぞれに対応するＧＰＵを１つずつ有してもよい。

共通描画部２２ａは、共通レイヤーＣＬに第１合成用画像を描画する。例えば、共通描画部２２ａは、取得部２１が取得したレイヤー情報３１の内容情報３１ｂに基づいて合成用画像の内容に対応する共通レイヤーＣＬへ描画を行う。

例えば、車両Ｃの右側方に障害物があり、運転者に対して注意を促すとする。かかる場合、共通描画部２２ａは、レイヤー情報３１に基づき、１層目の共通レイヤーＬ１には、「右側注意」といった文字情報を描画し、２層目の共通レイヤーＬ２には、右側を指す矢印を描画し、３層目の共通レイヤーＬ３には、右側を撮像するカメラ１０のリアルタイムの映像を描画する。なお、このとき、文字情報や矢印等が右に流れるように移動する移動画像を合成用画像として描画できるが、かかる点については、図８を用いて後述する。

個別描画部２２ｂは、レイヤー情報３１の内容情報３１ｂに基づいて表示装置４０毎に独立して表示される第２合成用画像を描画する。例えば、個別描画部２２ｂは、第１表示装置４１に、ナビゲーション装置１２の地図画像の描画や、地図画像の位置に対応する自車位置を示す画像の描画を行う（図４参照）。つまり、個別描画部２２ｂは、表示装置４０で常に表示されるベースとなる画像を描画する。

画像合成部２３は、抽出部２３ａと、決定部２３ｂと、変更部２３ｃとを備え、描画部２２によって共通レイヤーＣＬに描画された第１合成用画像を対応する個別レイヤーＩＬの第２合成用画像と合成する。

抽出部２３ａは、描画部２２によって共通レイヤーＣＬに描画された第１合成用画像を対応する個別レイヤーＩＬにあわせてそれぞれ抽出する。具体的には、抽出部２３ａは、共通レイヤーＣＬに描画された第１合成用画像を各表示装置４０の表示領域Ｒのサイズで型抜きする。

決定部２３ｂは、共通レイヤーＣＬにおける表示領域Ｒの配置に基づいて表示装置４０毎の表示タイミングを決定する。ここで、図８を用いて、決定部２３ｂの処理内容について説明する。

図８は、実施形態に係る決定部２３ｂの処理内容を示す図である。図８では、第１合成用画像として矢印が左から右へ流れるように移動する移動画像Ａ１〜Ａ６を２層目の共通レイヤーＬ２（図４参照）に描画する場合を示す。具体的には、移動画像Ａ１から移動画像Ａ６まで順に移動する場合を示す。また、図８には、移動画像Ａ１〜Ａ６と同様の矢印の画像であり、表示装置４０に表示されない非表示画像ＮＡを示している。

決定部２３ｂは、共通レイヤーＣＬの配置情報３１ａに基づき、第１合成用画像が、所定の表示装置４０で表示が消失してから他の表示装置４０で表示されるまでの消失期間を決定する。

具体的には、図８に示すように、決定部２３ｂは、例えば、移動画像Ａ１〜Ａ６の間に非表示画像ＮＡを設定する。具体的には、決定部２３ｂは、非表示画像ＮＡを、移動画像Ａ３と移動画像Ａ４との間に設定する。

そして、決定部２３ｂは、移動画像Ａ１〜Ａ３、非表示画像ＮＡ、移動画像Ａ４〜Ａ６の順に移動するように表示タイミングを決定する。これにより、移動画像Ａ３の表示後、非表示画像ＮＡの分だけ移動画像Ａ４が表示されるまでにタイムラグが生じることとなる。言い換えると、決定部２３ｂは、表示領域Ｒ２−１と表示領域Ｒ２−２との間の距離に基づいて移動画像Ａ４の表示タイミングを遅らせる。これは、車両Ｃ内における第１表示装置４１と第２表示装置４２との実際の設置位置の間隔を考慮している（図１Ａ参照）。

より具体的には、非表示画像ＮＡおよび移動画像Ａ１〜Ａ６の間隔は、すべて略同じである。すなわち、移動画像Ａ３と移動画像Ａ４との間において、非表示画像ＮＡの分だけ、表示装置４０から矢印が消失したように見える。非表示画像ＮＡの数、すなわち消失期間は、表示領域Ｒ２−１，Ｒ２−２の間隔に基づいて決定される。これにより、第１合成用画像である矢印が、表示装置４０間を自然に移動しているような視覚効果をユーザに与えることができる。

つまり、表示タイミングを遅らせることで、運転に対して移動画像Ａ１〜Ａ６が表示装置４０間を移動しているように感じさせることで、表示装置４０間で移動画像Ａ１〜Ａ６を連携させる場合に、移動画像Ａ１〜Ａ６のつながりをスムーズに見せることができる。

なお、図８では、移動画像Ａ３と移動画像Ａ４との間に非表示画像ＮＡを仮想的に設定したが、必ずしも非表示画像ＮＡを設定する必要はなく、例えば、表示領域Ｒ２−１と表示領域Ｒ２−２との間の距離に基づいて移動画像Ａ３と移動画像Ａ４との間隔を調整してもよい。

また、決定部２３ｂは、例えば、車両Ｃの走行速度を加味して表示タイミングを決定してもよい。具体的には、決定部２３ｂは、車両Ｃの走行速度が速いほど、表示装置４０毎の表示タイミングを遅くする。

例えば、決定部２３ｂは、車両Ｃの走行速度が速いほど、移動画像Ａ１〜Ａ６それぞれの間隔を長くする。これにより、車両Ｃの走行速度が速くなることで、表示装置４０の表示を見落とすことを防止できる。

変更部２３ｃは、車両Ｃに対して所定の条件を満たすイベントが発生した場合に、描画部２２によって描画された合成用画像の表示形式を複数の表示装置４０毎に変更する。変更部２３ｃは、例えば、比率情報３３ａおよび文字形式情報３３ｂに含まれるイベントが発生した場合に、かかるイベントに応じた、表示サイズや、フォント、色に変更する。

なお、変更部２３ｃは、表示サイズ、フォントおよび色のうち少なくとも１つを変更することとしてもよい。すなわち、変更部２３ｃは、共通レイヤーＣＬの形式情報３３に基づいて第１合成用画像における表示形式として色、文字のフォントおよび表示サイズの少なくとも１つを変更する。

これにより、各表示装置４０で画像の見せ方を最適化できるため、車両Ｃの運転者に対して画像を認識させ易くすることができる。つまり、同じ第１合成用画像でも表示装置４０毎に色やフォントを変えて表示できるため、ユーザに対する情報の認知度を高めることができる。

なお、変更部２３ｃは、車両Ｃに対して発生したイベントが所定の条件を満たさない場合、表示の変更を禁止してもよく、あるいは、表示自体を禁止してもよい。

また、変更部２３ｃは、車両Ｃの走行規制に関するイベントが発生した場合、複数の表示装置４０のうち走行規制に対応する表示装置４０への合成用画像の表示を禁止する。かかる点について、図９を用いて具体的に説明する。

図９は、変更部２３ｃの処理内容を示す図である。図９では、車両Ｃの走行速度が２０ｋｍ／ｈ未満と２０ｋｍ／ｈ以上とにおける変更部２３ｃの処理内容を示す。なお、図９では、走行速度が２０ｋｍ／ｈ以上となることで、走行規制に関するイベントが発生したこととする。

ここで、例えば、図９に示すように、文字および矢印の画像を表示領域Ｒ２−１から表示領域Ｒ２−２まで移動させたとする。かかる場合、車両Ｃの運転者にとって、矢印は瞬間的に認識しやすいものの、文字については認識するのに時間を要し、結果、前方への注意力が散漫になるおそれがある。

そこで、変更部２３ｃは、車両Ｃが、例えば所定の走行速度以上となった場合に、文字の画像については表示装置４０間の移動を禁止する。具体的には、図９に示すように、変更部２３ｃは、車両Ｃの走行速度が２０ｋｍ／ｈ以上となった場合、文字の画像については、表示領域Ｒ２−１から表示領域Ｒ２−２への移動を禁止する。

すなわち、表示装置４０毎に、例えば走行速度が２０ｋｍ／ｈ以上の場合に表示を禁止する表示可否に関する情報（表示可否情報）を共通レイヤーＣＬに含ませ、変更部２３ｃは、表示可否情報に基づいて表示装置４０での表示可否を決定する。

これにより、文字の画像は、第１表示装置４１で表示され、第２表示装置４２では表示されない。したがって、運転者が不必要に文字を注視する状況をなくすことができるため、前方への注意力が低下することを防止できる。すなわち、例えば、車両Ｃが走行中に、第１合成用画像を、第１表示装置４１および第２表示装置４２で表示させ、第３表示装置４３で表示させないといった制御を容易に行うことができる。

なお、図９に示すように、変更部２３ｃは、車両Ｃの走行速度が２０ｋｍ／ｈ未満の場合は、文字を表示領域Ｒ２−１から表示領域Ｒ２−２へ移動させてもよい。

また、走行規制は、車両Ｃの走行速度に限らず、例えば、車両Ｃの周辺に人等が存在する場合に、表示領域Ｒ２−１から表示領域Ｒ２−２への移動を禁止してもよい。つまり、走行規制に関するイベントは、運転者が周囲を特に注視する必要があるイベントであればよい。

また、例えば、変更部２３ｃは、複数の表示装置４０それぞれに描画された移動画像Ａ１〜Ａ６の間隔を揃える。かかる点について、図１０を用いて、説明する。

図１０は、変更部２３ｃの処理内容を示す図である。図１０では、移動画像Ａ１〜Ａ６を１秒間隔で移動させる場合を示している。変更部２３ｃは、配置情報３１ａに基づき、第１合成用画像（移動画像Ａ１〜Ａ６）が、所定の表示装置４０から他の表示装置４０へ表示の移動を行う場合に、他の表示装置４０における移動速度および表示サイズの少なくとも一方を決定する。

具体的には、変更部２３ｃは、配置情報３１ａの「サイズ関係」（図３Ａ参照）に基づいて表示領域Ｒ２−１と表示領域Ｒ２−２との領域面積に応じた移動画像Ａ１〜Ａ６の表示サイズに変更する。つまり、移動画像Ａ４〜Ａ６を表示領域Ｒ２−２の大きさに合わせて移動画像Ａ１〜Ａ３よりも小さくしている。

また、図１０では、移動画像Ａ１〜Ａ６それぞれは、例えば、１秒毎の間隔で左から右へ移動することとする。つまり、運転者には、まず、移動画像Ａ１が表示され、つづいて、移動画像Ａ２，移動画像Ａ３，移動画像Ａ４，移動画像Ａ５，移動画像Ａ６の順に表示される。なお、各移動画像Ａ１〜Ａ６の間隔は、１秒毎に限定されず、任意の間隔を設定可能である。

かかる場合、変更部２３ｃは、移動画像Ａ４〜移動画像Ａ６の間隔については、表示領域Ｒ２−２の大きさに合わせて短くしないこととする。つまり、図１０に示すように、変更部２３ｃは、移動画像Ａ１〜Ａ３の間隔と、移動画像Ａ４〜Ａ６の間隔とを揃える。

より具体的には、変更部２３ｃは、表示領域Ｒ毎のサイズおよび画素数から、１画素当たりの縦横サイズを算出し、１画素当たりの縦横サイズに基づいて表示領域Ｒ２−１と表示領域Ｒ２−２との移動速度が揃うようにする。

これにより、各表示装置４０の画面のサイズに関わらず、複数の表示装置４０間で移動画像Ａ１〜Ａ６の移動速度を揃えることができるため、移動画像Ａ４〜Ａ６の移動速度が突然遅くなったように運転者が錯覚することを防止できる。すなわち、表示装置４０毎の解像度が異なった場合であっても、第１合成用画像の表示サイズや移動速度が一定に見えるようにできる。また、同じ第１合成用画像であっても、表示装置４０に応じて表示サイズを変更できるため、例えばコーション表示を特定の表示装置４０で大きくすることでユーザの認知度を高めることができる。

図２に戻って、出力部２４について説明する。出力部２４は、各レイヤーＬから抽出された合成用画像を対応する表示装置４０へ出力する。例えば、出力部２４は、表示領域Ｒ１−１，Ｒ２−１，Ｒ３−１，Ｒ４−１，Ｒ５−１の合成用画像を第１表示装置４１へ出力する。これにより、各表示領域Ｒの合成用画像が重ねられて、第１表示装置４１で表示される。

次に、図１１を用いて、実施形態に係る表示制御装置１が実行する表示処理の処理手順について説明する。図１１は、実施形態に係る表示制御装置１が実行する表示処理の処理手順を示すフローチャートである。

図１１に示すように、まず、取得部２１は、複数のレイヤーＬからなる画像におけるレイヤーＬとして、表示装置４０における表示領域Ｒにそれぞれ対応する個別レイヤーＩＬと、複数の表示装置４０における各表示領域Ｒを含んだ共通レイヤーＣＬとが定義されたレイヤー情報３１を取得する（ステップＳ１０１）。

つづいて、描画部２２は、取得部２１が取得したレイヤー情報３１に基づき、個別レイヤーＩＬおよび共通レイヤーＣＬに合成用画像をそれぞれ描画する（ステップＳ１０２）。具体的には、描画部２２は、共通レイヤーＣＬに第１合成用画像を描画し、個別レイヤーＩＬに第２合成用画像を描画する。

つづいて、抽出部２３ａは、描画部２２によって共通レイヤーＣＬに描画された第１合成用画像を対応する個別レイヤーＩＬにあわせてそれぞれ抽出する（ステップＳ１０３）。

つづいて、決定部２３ｂは、共通レイヤーＣＬにおける表示領域Ｒの配置に基づいて表示装置４０毎の表示タイミングを決定する（ステップＳ１０４）。例えば、決定部２３ｂは、第１合成用画像が、所定の表示装置４０で表示が消失してから他の表示装置４０で表示されるまでの消失時間を決定する。

つづいて、変更部２３ｃは、車両Ｃに対して所定の条件を満たすイベントが発生したか否かを判定する（ステップＳ１０５）。つづいて、変更部２３ｃは、車両Ｃに対して所定の条件を満たすイベントが発生した場合（ステップＳ１０５，Ｙｅｓ）、かかるイベントが車両Ｃの走行規制に関するイベントであるか否かを判定する（ステップＳ１０６）。

つづいて、変更部２３ｃは、車両Ｃの走行規制に関するイベントが発生した場合（ステップＳ１０６，Ｙｅｓ）、複数の表示装置４０のうち走行規制に対応する表示装置４０への合成用画像の表示を禁止する（ステップＳ１０７）。つまり、走行規制に対応する表示装置４０以外の表示装置４０への合成用画像の表示を許可する。

つづいて、出力部２４は、抽出部２３ａによって抽出された合成用画像を対応する表示装置４０へ出力し（ステップＳ１０８）、処理を終了する。つまり、合成用画像の表示が許可された表示装置４０へ出力する。

一方、ステップＳ１０５において、変更部２３ｃは、車両Ｃに対して所定の条件を満たすイベントが発生しなかった場合（ステップＳ１０５，Ｎｏ）、表示形式を変更することなく、処理をステップＳ１０８に移行する。

また、ステップＳ１０６において、変更部２３ｃは、車両Ｃの走行規制に関するイベントが発生しなかった場合（ステップＳ１０６，Ｎｏ）、合成用画像の表示形式を表示装置４０毎に変更する（ステップＳ１０９）。

上述してきたように、実施形態に係る表示制御装置１は、取得部２１と、描画部２２と、画像合成部２３とを備える。取得部２１は、複数のレイヤーＬからなる画像におけるレイヤーＬとして、表示装置４０における表示領域Ｒにそれぞれ対応する個別レイヤーＩＬと、複数の表示装置４０における各表示領域Ｒを含んだ共通レイヤーＣＬとが定義されたレイヤー情報３１を取得する。描画部２２は、取得部２１が取得したレイヤー情報３１に基づき、複数の表示装置４０間を移動するように表示される第１合成用画像を共通レイヤーＣＬに描画し、表示装置４０毎に独立して表示される第２合成用画像を個別レイヤーＩＬに描画する。画像合成部２３は、描画部２２によって共通レイヤーＣＬに描画された第１合成用画像を対応する個別レイヤーＩＬの第２合成用画像と合成する。これにより、表示の連携を行う場合に、表示領域Ｒ毎に表示タイミング等を制御する必要がないため、複数の表示装置４０で表示連携を行う場合の処理負荷を抑えることができる。

なお、上述した実施形態では、車両Ｃの室内前方に設けられた表示装置４０を対象としたが、これに限定されず、例えば、車両Ｃの後部座席に設けられた表示装置であってもよい。

また、共通レイヤーＣＬは、複数の表示装置４０すべての表示領域Ｒを含んだが、必ずしもすべての表示領域Ｒを含む必要はない。例えば、共通レイヤーＬ１は、３つの表示領域Ｒ１−１，Ｒ１−２，Ｒ１−３を有した（図１Ｂ参照）が、２つの表示領域Ｒ１−１，Ｒ１−２を含んでもよい。かかる場合、表示領域Ｒ１−３は、個別レイヤーＩＬとして構成される。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 表示制御装置
２ 制御部
３ 記憶部
１０ カメラ
１１ 各種センサ
１２ ナビゲーション装置
２１ 取得部
２２ 描画部
２３ 画像合成部
２３ａ 抽出部
２３ｂ 決定部
２３ｃ 変更部
２４ 出力部
３１ レイヤー情報
３２ イベント表示情報
３３ 形式情報
４０ 表示装置
４１ 第１表示装置
４２ 第２表示装置
４３ 第３表示装置
Ｃ 車両
Ｓ 表示システム

Claims (8)

1. 複数のレイヤーからなる画像における前記レイヤーとして、車両に搭載された表示装置における表示領域にそれぞれ対応する個別レイヤーと、複数の前記表示装置における各前記表示領域を含んだ共通レイヤーとが定義されたレイヤー情報を取得する取得部と、
   前記取得部が取得した前記レイヤー情報に基づき、前記複数の表示装置間を移動するように表示される第１合成用画像を前記共通レイヤーに描画し、前記表示装置毎に独立して表示される第２合成用画像を前記個別レイヤーに描画する描画部と、
   前記描画部によって前記共通レイヤーに描画された前記第１合成用画像を対応する前記個別レイヤーの前記第２合成用画像と合成する画像合成部と、
   を備え、
   前記画像合成部は、
   前記車両に対して所定の条件を満たすイベントが発生した場合に、前記描画部によって描画された前記第１合成用画像および前記第２合成用画像の少なくとも一方の表示形式を前記イベントに応じて前記複数の表示装置毎に変更すること
   を特徴とする表示制御装置。
2. 前記共通レイヤーは、
   前記複数の表示装置の配置を示す空間的な位置関係が定義された配置情報を含み、
   前記画像合成部は、
   前記共通レイヤーの前記配置情報に基づき、前記第１合成用画像が、所定の前記表示装置で表示が消失してから他の前記表示装置で表示されるまでの消失期間を決定すること
   を特徴とする請求項１に記載の表示制御装置。
3. 前記共通レイヤーは、
   前記複数の表示装置間における前記表示領域のサイズ関係が定義されたサイズ情報を含み、
   前記画像合成部は、
   前記共通レイヤーの前記サイズ情報に基づき、前記第１合成用画像が、所定の前記表示装置から他の前記表示装置へ表示の移動を行う場合に、前記他の表示装置における移動速度および表示サイズの少なくとも一方を決定すること
   を特徴とする請求項１または２に記載の表示制御装置。
4. 前記共通レイヤーは、
   前記複数の表示装置毎に前記第１合成用画像の表示可否に関する表示可否情報を含み、
   前記画像合成部は、
   前記共通レイヤーの前記表示可否情報に基づき、前記第１合成用画像が、所定の前記表示装置から他の前記表示装置へ表示の移動を行う場合に、前記他の表示装置において前記第１合成用画像を表示するか否かを決定すること
   を特徴とする請求項１〜３のいずれか１つに記載の表示制御装置。
5. 前記共通レイヤーは、
   前記複数の表示装置毎に前記第１合成用画像における表示形式として色および文字のフォントの少なくとも一方の情報を有する形式情報を含み、
   前記画像合成部は、
   前記共通レイヤーの前記形式情報に基づいて前記複数の表示装置における前記第１合成用画像の前記表示形式を決定すること
   を特徴とする請求項１〜４のいずれか１つに記載の表示制御装置。
6. 前記レイヤー情報は、
   複数の前記共通レイヤーが定義されており、
   前記画像合成部は、
   前記複数の共通レイヤー毎に異なる種類の前記第１合成用画像を描画すること
   を特徴とする請求項１〜５のいずれか１つに記載の表示制御装置。
7. 請求項１〜６のいずれか１つに記載の表示制御装置と、
   前記表示制御装置から出力される画像を表示する表示装置と
   を備えることを特徴とする表示システム。
8. 複数のレイヤーからなる画像における前記レイヤーとして、車両に搭載された表示装置における表示領域にそれぞれ対応する個別レイヤーと、複数の前記表示装置における各前記表示領域を含んだ共通レイヤーとが定義されたレイヤー情報を取得する取得工程と、
   前記取得工程が取得した前記レイヤー情報に基づき、前記複数の表示装置間を移動するように表示される第１合成用画像を前記共通レイヤーに描画し、前記表示装置毎に独立して表示される第２合成用画像を前記個別レイヤーに描画する描画工程と、
   前記描画工程によって前記共通レイヤーに描画された前記第１合成用画像を対応する前記個別レイヤーの前記第２合成用画像と合成する画像合成工程と、
   を含み、
   前記画像合成工程は、
   前記車両に対して所定の条件を満たすイベントが発生した場合に、前記描画工程によって描画された前記第１合成用画像および前記第２合成用画像の少なくとも一方の表示形式を前記イベントに応じて前記複数の表示装置毎に変更すること
   を特徴とする表示制御方法。

Images