JP6980346B2 - 表示制御装置および表示制御方法 - Google Patents

Description

本発明は、表示制御装置および表示制御方法に関し、特に、車両の後方または前方を撮影するカメラの撮影結果に基づく画像の表示を制御する表示制御装置および表示制御方法に用いて好適なものである。

近年、車両の後方を撮影するカメラを搭載し、カメラの撮影結果に基づく画像を、車内に設けられた表示装置に表示するシステムが普及してきている。当該システムによれば、例えば、駐車スペースへの駐車等のため運転手が車両をバックさせる際に、運転手の運転を支援することができる。車両の後方を撮影するカメラが、車両の幅方向の中心に設けられている場合、基本的には、表示装置に表示された画像の左右方向の中心に、当該画像によって表現される風景における車両の幅方向の中心が位置した状態で、カメラの撮影結果に基づく画像が表示装置に表示されることになる。このため、当該画像を視認する運転手は、当該画像によって表現される風景と車両との位置関係を直感的に把握できる。

一方、車両の後方を撮影するカメラが、車両の幅方向の中心から幅方向にずらして設けられている場合において、撮影画像に対して車両の幅方向の中心とカメラとの幅方向のずれに基づく補正を行わなった場合、表示装置に表示された画像の左右方向の中心と、当該画像によって表現される風景における車両の幅方向の中心とが乖離した状態となる。このため、当該画像を視認する運転手が、当該画像によって表現される風景と車両との位置関係を直感的に把握しづらい。

このことを踏まえ、特許文献１には、車両の後方を撮影するカメラが、車両の中央から幅方向にずらして設けられている場合に、車両の幅方向の中心とカメラとの幅方向のずれに基づく補正を行う技術が記載されている。特許文献１に記載の技術によれば、車両の後方を撮影するカメラが、車両の幅方向の中心から幅方向にずらして設けられている場合であっても、表示装置に表示された画像の左右方向の中心と、当該画像によって表現される風景における車両の幅方向の中心とが一致した状態で、カメラの撮影結果に基づく画像が表示装置に表示されるため、運転手は、表示装置に表示された画像によって表現される風景と車両との位置関係を直感的に把握できる。

特開２００２−３７４５２３号公報

しかしながら、特許文献１に記載された技術の場合、撮影画像に対して、歪み補正や、解像度調整等に加えて、車両の幅方向の中心とカメラとの幅方向のずれに基づく補正を行う必要があるため、処理が複雑化し、処理負荷が大きくなるという課題があった。なお、このような課題は、カメラが、車両の前方を撮影するカメラである場合にも同様に発生する。

本発明は、このような問題を解決するために成されたものであり、処理の複雑化を抑制した上で、車両の後方または前方を撮影するカメラの撮影結果に基づく画像を視認する者が、表示装置に表示された画像によって表現される風景と車両との位置関係を直感的に把握できるようにすることを目的とする。

上記した課題を解決するために、本発明では、表示制御装置は、車両の後部または前部に、車両の幅方向の中心から幅方向にずらして設置されたカメラであって、車両の後方または前方を撮影するカメラから撮影画像を取得し、取得した撮影画像に対して、車両の幅方向の中心とカメラとの幅方向のずれに基づく補正を行わず、所定の画像処理を施して対応画像を生成すると共に、対応画像を含む表示画像を生成し、生成した表示画像に対して、車両の幅方向の中心とカメラとの幅方向のずれを反映して、車両の位置を示す付加画像を付加し、付加画像を付加した表示画像を表示装置に表示させる。その際の一態様として、対応画像として、車両の後部において車両の幅方向の中心から幅方向にずらして設置されたリアカメラの撮影画像に対して車両の幅方向の中心とカメラとの幅方向のずれに基づく補正を行うことなく車両の後方を俯瞰視した対応俯瞰画像を生成し、更に、矩形の領域の下部に、当該矩形の領域の左右方向の中心と対応俯瞰画像の左右方向の中心とが一致した状態で対応俯瞰画像が配置された俯瞰画面を含む表示画像を生成し、俯瞰画面において対応俯瞰画像の上方に、車両を表すマークからなる付加画像を、車両の幅方向の中心とカメラとの幅方向のずれ分ずらした状態で付加する。また別の態様として、対応画像として、車両の後部において車両の幅方向の中心から幅方向にずらして設置されたリアカメラの撮影画像に対して車両の幅方向の中心とカメラとの幅方向のずれに基づく補正を行うことなく車両の後方を俯瞰視した対応俯瞰画像を生成すると共に、リアカメラの撮影画像に対して当該ずれに基づく補正を行うことなく、遠近感を維持した状態で車両の後方の風景を表す車外画像を生成し、更に、対応俯瞰画像が配置された俯瞰画面と、車外画像が配置された車外画面との双方を同時に含む表示画像を生成し、俯瞰画面において、車両の幅方向の中心とカメラとの幅方向のずれを反映して、対応俯瞰画像によって表される風景と車両との位置関係を明示する付加画像を付加し、更に、車外画面において、車両の幅方向の中心とカメラとの幅方向のずれを反映して、車外画像によって表される風景と車両との位置関係を明示する付加画像を付加する。

上記のように構成した本発明によれば、撮影画像に対する画像処理に際し、車両の幅方向の中心とカメラとの幅方向のずれに基づく補正が行われないため、処理の複雑化を抑制できる。その上で、上記のように構成した本発明によれば、車両の幅方向の中心とカメラとの幅方向のずれを反映して、車両の位置を示す付加画像が付加された状態で表示装置にカメラの撮影結果に基づく画像が表示されるため、当該画像を視認する者は、付加画像に基づいて、表示装置に表示された画像によって表現される風景と車両との位置関係を直感的に把握できる。

本発明の一実施形態に係る表示制御装置の機能構成例を示すブロック図である。 リアカメラが設置された位置およびリアカメラの撮影領域の説明に用いる図である。 運転支援画面および表示画像の一例を示す図である。 付加画像が付加された表示画像の一例を示す図である。 切り替え後の運転支援画面の一例を示す図である。 本発明の一実施形態に係る表示制御装置の動作例を示すフローチャートである。 運転支援画面の一例を示す図である。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態に係る表示制御装置１の機能構成例を示すブロック図である。図１に示すように、表示制御装置１は、リアカメラ２（特許請求の範囲の「カメラ」に相当）およびタッチパネル３に接続されている。タッチパネル３は、液晶表示パネル等の表示パネルを含んで構成された表示装置４と、表示パネルに重ねて配置され、運転手（運転手以外の者であってもよい）によるタッチ操作を検出するタッチセンサ５とを含んで構成される。タッチパネル３は、車両Ｓのダッシュボードや、センターコンソール等、運転手が視認可能かつタッチ操作可能な位置に設けられる。リアカメラ２は、車両Ｓの後部に設けられ、車両Ｓの後方を撮影する撮影装置である。本実施形態では、リアカメラ２は、魚眼レンズを有する魚眼カメラによって構成されている。リアカメラ２は、ユーザの指示や、車両Ｓのギアがリーバスになったこと等の所定の事象をトリガとして、所定の周期で撮影を実行し、所定の周期で撮影結果に基づく撮影画像を出力する。

図２は、本実施形態において、リアカメラ２が設けられた位置、および、リアカメラ２の撮影領域の説明に用いる図である。図２で示す車両Ｓについて、図の上下方向が車両Ｓの長手方向に相当し、図の左右方向が車両Ｓの幅方向に相当し、図の上方が車両Ｓの前方に相当し、図の下方が車両Ｓの後方に相当する。以下、車両Ｓについて、前方に向かって左の方向を「車両左方向」といい、前方に向かって右の方向「車両右方向」という。また、図２において、符号Ｈは、リアカメラ２の撮影領域を説明に適した態様で模式的に示している。図２に示すように、本実施形態に係るリアカメラ２は、車両Ｓの後部において、車両Ｓの幅方向の中央を通り長手方向に延びる中心線Ｋに対し、距離Ｌだけ車両左方向に離間した位置Ｐ１に設けられている。

図２において、オブジェクトＯＪは、車両Ｓの後方の路面に載置された平らな部材である。オブジェクトＯＪは、正面視で長方形の部材であり、その長手方向の中心に、その短手方向に沿って延びる帯状の帯模様ＭＡが描画されており、模様Ｍの一方向側には「○」を模した模様ＭＯが描画され、他方向側には「□」を模した模様ＭＸが描画されている。図２において、オブジェクトＯＪは、車両Ｓから一定の距離だけ後方に離間した位置であって、その長手方向が車両Ｓの幅方向に沿って延び、その短手方向が車両Ｓの長手方向に沿って延びると共に、帯模様ＭＡが車両Ｓに係る中心線Ｋ上に延在する位置に配置される。つまり、オブジェクトＯＪの長手方向の中央を通り、短手方向に延びる線を中心線ＭＫとすると、オブジェクトＯＪは、オブジェクＯＪに係る中心線ＭＫと、車両Ｓに係る中心線Ｋとが同一線上になるように、車両Ｓの後方の路面に載置される。この結果、オブジェクトＯＪに係る中心線ＭＫと、リアカメラ２の光軸とは、距離Ｌだけ、車両Ｓの幅方向に離間した状態となっている。また、図２で表される路面には、所定の形状の白線ＨＫが描画されている。

表示制御装置１は、運転手からの指示や、車両Ｓのギアがリーバスになったこと等の所定の事象をトリガとして、タッチパネル３に運転支援画面ＵＩ１（図３（Ａ）参照）を表示し、運転を支援する。図１に示すように、表示制御装置１は、機能構成として、撮影画像取得部１０、表示画像生成部１１、画像付加部１２および表示制御部１３を備えている。上記各機能ブロック１０〜１３は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０〜１３は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

撮影画像取得部１０は、リアカメラ２が所定の周期で出力する撮影画像を入力し、取得する。撮影画像取得部１０は、取得した撮影画像を表示画像生成部１１に出力する。

表示画像生成部１１は、撮影画像取得部１０から撮影画像を入力し、入力した撮影画像に基づいて、表示画像を生成する。以下、表示画像生成部１１の処理について、運転支援画面ＵＩ１の構造と共に説明する。

図３（Ａ）は、図２の状態のときにリアカメラ２の撮影結果に基づいて表示される運転支援画面ＵＩ１の一例を示している。なお、運転支援画面ＵＩ１は、後述するように付加画像が付加された表示画像に基づいて表示される画面であり、運転支援画面ＵＩ１と、付加画像が付加された表示画像とは同一性を有する。このことを踏まえ、以下では、適宜、図３（Ａ）の運転支援画面ＵＩ１を、付加画像が付加された表示画像として、実施形態を説明する場合がある。図３（Ａ）に示すように、運転支援画面ＵＩ１は、タッチパネル３の表示領域の右部に表示された俯瞰画面Ｑ１と、タッチパネルの表示領域の左部に表示され、俯瞰画面Ｑ１よりもサイズが大きい車外画面Ｑ２とを有する。俯瞰画面Ｑ１の下部には、車両Ｓの後方に向かう方向が、画面の下に向かった状態で、リアカメラ２の撮影結果に基づく俯瞰画像である対応俯瞰画像Ｇ１（特許請求の範囲の「対応画像」に相当）が表示される。俯瞰画像とは、撮影画像を俯瞰視に視点変換した画像である。俯瞰画面Ｑ１において、対応俯瞰画像Ｇ１の上方には、車両Ｓを表すマークＭ１（特許請求の範囲の「付加画像」に相当）が表示される。マークＭ１は、車両Ｓを模した図形である。また、俯瞰画面Ｑ１には、所定の態様で、所定の形状の第１補助図形Ｚ１（特許請求の範囲の「付加画像」に相当）が表示される。運転支援画面ＵＩ１の俯瞰画面Ｑ１の内容については後に詳述する。

車外画面Ｑ２には、リアカメラ２の撮影結果に基づいて、車両Ｓの後方に向かう方向が画面の上に向かった状態で、車両Ｓの後方の風景を表す車外画像Ｇ２（特許請求の範囲の「対応画像」に相当）が表示される。車外画像Ｇ２は、リアカメラ２の撮影結果に基づく広角画像、標準画像または俯瞰画像のいずれかの種類の画像である。運転手は、これら画像の種類のうち、車外画面Ｑ２に表示させる画像の種類を切り替えることができる。広角画像とは、魚眼カメラにより構成されたリアカメラ２が出力する撮影画像について、広角性および遠近感が維持されつつ、魚眼レンズに由来する歪みが所定の態様で補正された画像である。標準画像は、撮影画像について、遠近感が維持されつつ、魚眼レンズに由来する歪みが補正され、中心射影方式の撮影装置による撮影結果のように成された画像である。なお、車外画像Ｇ２として表示される広角画像、標準画像および俯瞰画像は、左右反転された状態で表示される。図３（Ａ）では、車外画面Ｑ２に、車外画像Ｇ２として、標準画像が表示された様子を示している。車外画面Ｑ２には、所定の態様で、所定の形状の第２補助図形Ｚ２（特許請求の範囲の「付加画像」に相当）が表示される。運転支援画面ＵＩ１の車外画面Ｑ２の内容については後に詳述する。

図３（Ｂ）は、図３（Ａ）で例示した運転支援画面ＵＩ１の表示に際して、表示画像生成部１１が生成する表示画像の一例を説明に適した態様で模式的に示す図である。表示画像生成部１１は、撮影画像取得部１０から入力した撮影画像に対して、歪み補正や、視点変換処理、サイズ調整、解像度調整等の必要な画像処理を施して、対応俯瞰画像Ｇ１を生成する。その際、表示画像生成部１１は、車両Ｓに係る中心線Ｋからリアカメラ２が距離Ｌだけ車両Ｓの幅方向にずれた位置に配置されていることに基づく補正を行わない。つまり、表示画像生成部１１は、対応俯瞰画像Ｇ１の左右方向の中心と、対応俯瞰画像Ｇ１によって表現される風景における車両Ｓの幅方向の中心とが一致するように、撮影画像を左右方向にずらす補正を行わない。この結果、図３（Ｂ）に示すように、表示画像生成部１１により生成される対応俯瞰画像Ｇ１は、仮想線Ｋ１ａで表される帯模様ＭＡに沿って延びる線（車両Ｓに係る中心線Ｋと同一線上の線）と、仮想線Ｋ１ｂで表される対応俯瞰画像Ｇ１の左右方向の中心の線とが一致しない状態となる。

同様に、表示画像生成部１１は、撮影画像取得部１０から入力した撮影画像に対して、必要な画像処理を施して、ユーザが選択した種類の車外画像Ｇ２を生成する。車外画像Ｇ２の生成に際し、表示画像生成部１１は、対応俯瞰画像Ｇ１を生成するときと同様、車両Ｓの幅方向の中心とリアカメラ２との幅方向のずれを反映した補正を行わない。この結果、図３（Ｂ）の例では、表示画像生成部１１により生成される車外画像Ｇ２は、仮想線Ｋ２ａで表される帯模様ＭＡに沿って延びる線（車両Ｓに係る中心線Ｋに対応する線）と、仮想線Ｋ２ｂで表される車外画像Ｇ２の左右方向の中心の線とが一致しない状態となる。

対応俯瞰画像Ｇ１および車外画像Ｇ２を生成した後、表示画像生成部１１は、これら画像が適切な位置に配置された表示画像（図３（Ｂ）で示す画像の全体）を生成する。図３（Ｂ）に示すように、表示画像には、マークＭ１、第１補助図形Ｚ１および第２補助図形Ｚ２が付加されていない。表示画像生成部１１は、生成した表示画像を画像付加部１２に出力する。表示画像生成部１１は、リアカメラ２による車両Ｓの後方の撮影に応じて、所定の周期で、表示画像の生成、および、表示画像の出力を実行する。

画像付加部１２は、表示画像生成部１１から表示画像を入力し、入力した表示画像に対して、車両の幅方向の中心とリアカメラ２との幅方向のずれを反映して、付加画像（本実施形態では、マークＭ１、第１補助図形Ｚ１および第２補助図形Ｚ２）を付加する。以下、画像付加部１２の処理について付加画像の内容と共に詳述する。

まず、俯瞰画面Ｑ１にマークＭ１を付加するときの画像付加部１２の処理について説明する。画像付加部１２は、対応俯瞰画像Ｇ１によって表される風景と、マークＭ１によって表される車両Ｓとの位置関係が、実世界における当該風景と車両Ｓとの位置関係と一致するように、俯瞰画面Ｑ１にマークＭ１を付加する。図３（Ａ）の例では、マークＭ１によって表される車両Ｓと、対応俯瞰画像Ｇ１によって表される風景に含まれるオブジェクトＯＪとの位置関係が、図２で示す実世界における車両ＳとオブジェクトＯＪとの位置関係と一致している。俯瞰画面Ｑ１におけるマークＭ１の位置は、車両Ｓに係る中心線Ｋとリアカメラ２との幅方向のずれを反映して、事前のテストやシミュレーションの結果等を踏まえて適切に設定されている。画像付加部１２は、設定に従って、表示画像の俯瞰画面Ｑ１に対応する領域における予め定められた位置に、予め定められた態様で、マークＭ１を付加する。つまり、画像付加部１２は、車両Ｓの幅方向の中心とリアカメラ２との幅方向のずれを反映して、表示画像にマークＭ１を付加する。運転手は、マークＭ１に基づいて、対応俯瞰画像Ｇ１によって表された風景との関係で車両Ｓがどこに位置しているのかを的確に、かつ、直感的に把握することができる。

次に、俯瞰画面Ｑ１に第１補助図形Ｚ１を付加するときの画像付加部１２の処理について説明する。図３（Ａ）に示すように、第１補助図形Ｚ１は、マークＭ１の左側の外縁および右側の外縁の少し外側で、画面の上下方向（車両Ｓの長手方向に対応する方向）に沿って延びる２本の線Ｓ１Ｌ、Ｓ１Ｒを有する。線Ｓ１Ｌと線Ｓ１Ｒとは、仮想線Ｋ１ａを対称軸として線対称な線である。つまり、線Ｓ１Ｌおよび線Ｓ１Ｒは、対応俯瞰画像Ｇ１によって表される風景において、車両Ｓの幅方向の中心を通り長手方向に延びる中心線（仮想線Ｋ１ａ）を対称軸として線対称な２本の線である。図３（Ａ）に示すように、線Ｓ１Ｌ、Ｓ１Ｒは、マークＭ１の下端を上方に向かって少し超えた位置から、対応俯瞰画像Ｇ１の下端まで、画面の上下方向に沿って延在している。運転手は、線Ｓ１Ｌ、Ｓ１Ｒに基づいて、車両Ｓが現在位置から真っ直ぐに後進した場合に、対応俯瞰画像Ｇ１によって表された風景の中でどのような経路を通るかを認識し、当該認識に基づいて、より的確に、対応俯瞰画像Ｇ１によって表された風景との関係で車両Ｓがどこに位置しているのかを認識できる。

また、第１補助図形Ｚ１は、線Ｓ１Ｌ上の一端と線Ｓ１Ｒ上の一端とを結ぶ左右方向に延びる２つの線Ｓ１Ｕ、Ｓ１Ｄを有する。線Ｓ１Ｕは、車両Ｓの長手方向の後方の端から、所定距離（例えば、５０センチ）だけ後方に向かって離間した位置を示す線である。線Ｓ１Ｄは、線Ｓ１Ｕが示す位置から、所定距離（例えば、１００センチ）だけ後方に向かって離間した位置を示す線である。運転手は、線Ｓ１Ｕ、Ｓ１Ｄに基づいて、より的確に、対応俯瞰画像Ｇ１によって表される風景との関係で車両Ｓがどこに位置しているのかを認識できる。画像付加部１２は、車両Ｓに係る中心線Ｋとリアカメラ２との幅方向のずれが反映されて定められた事前の設定の下、表示画像の俯瞰画面Ｑ１に対応する領域における予め定められた位置に、予め定められた態様で、第１補助図形Ｚ１を付加する。つまり、画像付加部１２は、車両Ｓの幅方向の中心とリアカメラ２との幅方向のずれを反映して、表示画像に第１補助図形Ｚ１を付加する。

以上のように、本実施形態では、俯瞰画面Ｑ１において、マークＭ１および第１補助図形Ｚ１が、車両Ｓに係る中心線Ｋとリアカメラ２との幅方向のずれを反映した位置に付加される。これにより、上述したとおり、運転手は、マークＭ１および第１補助図形Ｚ１に基づいて、対応俯瞰画像Ｇ１によって表された風景との関係で車両Ｓがどこに位置しているのを的確に、かつ、直感的に把握することができる。本実施形態では、このような効果を、表示画像生成部１１が、画像処理において、撮影画像を左右方向にずらす補正を行わず、複雑で処理負荷の大きい処理を行うことなく、奏することができる。

次に、車外画面Ｑ２に第２補助図形Ｚ２を付加するときの画像付加部１２の処理について、車外画面Ｑ２に車外画像Ｇ２として標準画像を表示する場合と、俯瞰画像を表示する場合とのそれぞれの場合を例にして説明する。

まず、車外画像Ｇ２が標準画像の場合について図３（Ａ）を用いて説明する。図３（Ａ）に示すように、第２補助図形Ｚ２は、俯瞰画面Ｑ１に表示される第１補助図形Ｚ１を、車外画像Ｇ２によって立体的な空間として表される風景の中に描画した図形である。第２補助図形Ｚ２は、車外画像Ｇ２により表される風景の中で、奥行き方向に延びるように描画された２本の線Ｓ２Ｌ、Ｓ２Ｒを有する。線Ｓ２Ｌは、第１補助図形Ｚ１の線Ｓ１Ｌに対応し、線Ｓ２Ｒは、第１補助図形Ｚ１の線Ｓ１Ｒに対応する。つまり、線Ｓ２Ｌおよび線Ｓ２Ｒは、車外画像Ｇ２によって表される風景において、車両Ｓの幅方向の中心を通り長手方向に延びる中心線（仮想線Ｋ２ａ）を対称軸として線対称な２本の線である。線Ｓ２Ｌ、Ｓ２Ｒは、車両Ｓが現在位置から真っ直ぐに後進した場合に、対応俯瞰画像Ｇ２によって表された風景の中でどのような経路を通るかを表しており、運転手は、線Ｓ２Ｌ、Ｓ２Ｒを視認することにより、当該経路を認識できると共に、当該認識に基づいて、対応俯瞰画像Ｇ１によって表された風景との関係で車両Ｓがどこに位置しているのかを的確かつ直感的に認識できる。

図３（Ａ）に示すように、第２補助図形Ｚ２は、線Ｓ２Ｌ上の一端と線Ｓ２Ｒ上の一端とを結ぶ２つの線Ｓ２Ｕ、Ｓ２Ｄを有する。線Ｓ２Ｕは、第１補助図形Ｚ１の線Ｓ１Ｕに対応し、線Ｓ２Ｄは、第１補助図形Ｚ１の線Ｓ１Ｄに対応する。線Ｓ２Ｕ、Ｓ２Ｄは、車外画像Ｇ２により表される風景において、車両Ｓの長手方向の後方の端から、それぞれ異なる所定距離だけ離間した位置を示している。運転手は、線Ｓ２Ｕ、Ｓ２Ｄに基づいて、より的確に、車外画像Ｇ２によって表される風景との関係で車両Ｓがどこに位置しているのかを認識できる。画像付加部１２は、車両Ｓに係る中心線Ｋとリアカメラ２との幅方向のずれが反映されて定められた事前の設定の下、表示画像の車外画面Ｑ２に対応する領域における予め定められた位置に、予め定められた態様で、第２補助図形Ｚ２を付加する。つまり、画像付加部１２は、車両Ｓの幅方向の中心とリアカメラ２との幅方向のずれを反映して、第２補助図形Ｚ２を付加する。

次に、車外画像Ｇ２が俯瞰画像の場合について図４を用いて説明する。図４は、車外画像Ｇ２が俯瞰画像の場合に、表示画像に付加画像が付加された様子を示す図である。この場合、車外画面Ｑ２には、車外画像Ｇ２として、俯瞰画面Ｑ１の対応俯瞰画像Ｇ１が上下反転された画像が表示される。この場合、画像付加部１２は、第２補助図形Ｚ２として、第１補助図形Ｚ１と同様の形状の図形を、第２補助図形Ｚ２と車外画像Ｇ２との関係が、第１補助図形Ｚ１と対応俯瞰画像Ｇ１との関係と同一になるような状態で付加する。

画像付加部１２は、表示画像に付加画像を付加した後、付加画像が付加された表示画像を表示制御部１３に出力する。画像付加部１２は、リアカメラ２による車両Ｓの後方の撮影に応じて、所定の周期で、表示画像への付加画像の付加、および、付加画像が付加された表示画像の出力を実行する。

表示制御部１３は、所定の周期で入力する付加画像が付加された表示画像に基づいて、タッチパネル３の表示装置４を制御して、運転支援画面ＵＩ１を表示装置４に表示させる。この結果、リアカメラ２の撮影結果がリアルタイムで反映された動画として対応俯瞰画像Ｇ１および車外画像Ｇ２が表示されると共に、俯瞰画面Ｑ１の適切な位置にマークＭおよび第１補助図形Ｚ１が付加され、車外画面Ｑ２の適切な位置に第２補助図形Ｚ２が付加された状態で運転支援画面ＵＩ１が表示される。

なお、本実施形態では、運転手は、運転支援画面ＵＩ１の俯瞰画面Ｑ１の対応俯瞰画像Ｇ１をタッチ操作することによって、運転支援画面ＵＩ１の内容を、表示装置４の表示領域の広い領域に対応俯瞰画像Ｇ１が表示された画面へと切り替えることができる。図５は、切り替え後の運転支援画面ＵＩを示す図である。図５において、図３の画像と対応する画像には同一の符号を付している。図５において、車両Ｓの幅方向の中心とリアカメラ２との幅方向のずれを反映した適切な位置に付加画像（マークＭ１および第１補助図形Ｚ１）が付加されている。なお、図５では、マークＭ１は、車両Ｓの全域ではなく、車両Ｓの後部の一定の領域を表す図形である。運転手は、図５で示す画像に基づく画面を参照することにより、駐車スペースＳと車両Ｓとの位置関係を的確にかつ直感的に認識することができる。

図６は、本実施形態に係る表示制御装置１の動作例を示すフローチャートである。図６のフローチャートは、リアカメラ２が１つの撮影画像を出力したときに、当該１つの撮影画像に基づいて表示制御装置１が実行する処理を示している。

図６に示すように、撮影画像取得部１０は、リアカメラ２が出力した撮影画像を入力し、取得する（ステップＳＡ１）。表示画像生成部１１は、ステップＳＡ１で撮影画像取得部１０が取得した撮影画像に基づいて、表示画像を生成する（ステップＳＡ２）。上述したように、ステップＳＡ２において、表示画像生成部１１は、車両Ｓの幅方向の中心とリアカメラ２との幅方向のずれに基づく補正を行わず、所定の画像処理を施して表示画像を生成する。

画像付加部１２は、表示画像生成部１１が生成した表示画像の俯瞰画面Ｑ１に対応する領域に、事前の設定に基づいて、車両Ｓの幅方向の中心とリアカメラ２との幅方向のずれを反映して、マークＭを付加する（ステップＳＡ３）。画像付加部１２は、表示画像の俯瞰画面Ｑ１に対応する領域に、事前の設定に基づいて、車両Ｓの幅方向の中心とリアカメラ２との幅方向のずれを反映して、第１補助図形Ｚ１を付加する（ステップＳＡ４）。ステップＳＡ４の処理に併せて、画像付加部１２は、表示画像の車外画面Ｑ２に対応する領域に、事前の設定に基づいて、車両Ｓの幅方向の中心とリアカメラ２との幅方向のずれを反映して、第２補助図形Ｚ２を付加する（ステップＳＡ４）。

表示制御部１３は、ステップＳＡ３、ＳＡ４、ＳＡ５の処理によって付加画像（マークＭ、第１補助図形Ｚ１および第２補助図形Ｚ２）が付加された表示画像に基づいて運転支援画面ＵＩ１をタッチパネル３の表示装置４に表示させる（ステップＳＡ５）。

以上詳しく説明したように、本実施形態に係る表示制御装置１は、車両Ｓの後部に車両Ｓの幅方向の中心から幅方向にずらして設置されたリアカメラ２であって、車両Ｓの後方を撮影するリアカメラ２から撮影画像を取得し、取得した撮影画像に対して、車両Ｓの幅方向の中心とリアカメラ２との幅方向のずれに基づく補正を実行せず、他の画像処理を施して対応画像を生成し、対応画像を含む表示画像を生成し、生成した表示画像に対して、車両Ｓの幅方向の中心とリアカメラ２との幅方向のずれを反映して、車両Ｓの位置を示す付加画像を付加し、付加画像を付加した表示画像を表示装置４に表示させる。

この構成によれば、撮影画像に対する画像処理に際し、車両Ｓの幅方向の中心とリアカメラ２との幅方向のずれに基づく補正が行われないため、処理の複雑化を抑制できる。その上で、上記構成によれば、車両Ｓの幅方向の中心とリアカメラ２との幅方向のずれを反映して、車両Ｓの位置を示す付加画像が付加された状態で表示装置４にリアカメラ２の撮影結果に基づく画像（運転支援画面ＵＩ１）が表示されるため、当該画像を視認する者は、表示装置４に表示された画像によって表される風景と車両Ｓとの位置関係を直感的に把握できる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

例えば、上述した実施形態では、第１補助図形Ｚ１について、線Ｓ１Ｌと線Ｓ１Ｌとの離間距離は固定されていた。この点に関し、画像付加部１２が、線Ｓ１Ｌと線Ｓ１Ｌとの距離を、車両Ｓが駐車しようとしている駐車スペースの幅の大きさに応じて動的に変更する構成でもよい。この場合、画像付加部１２は、例えば、以下の処理を実行する。すなわち、車両Ｓが所定の駐車スペースに駐車するために、駐車スペースの前方に位置している場合に、画像付加部１２は、撮影画像取得部１０が取得した撮影画像について、白線検知を含む画像認識を行って、駐車スペースの幅の大きさを検出する。そして、画像付加部１２は、仮想線Ｋ１ａを対称軸として線対称な状態を維持しつつ、線Ｓ１Ｌと、線Ｓ１Ｒとの距離を、駐車スペースの幅の大きさに相当する距離とする。この構成によれば、運転手は、第１補助図形Ｚ１に基づいて、車両Ｓの位置だけではなく、車両Ｓが駐車予定の駐車スペースＳの幅、および、駐車スペースＳと車両Ｓとの位置関係を的確に認識することができる。なお、このような処理を第２補助図形Ｚ２に施してもよいことは勿論である。

また、上述した実施形態では、俯瞰画面Ｑ１に、マークＭと、第１補助図形Ｚ１とが表示される構成であったが、いずれか一方が表示される構成でもよい。また、運転支援画面ＵＩ１の内容を図を用いて例示したが、運転支援画面ＵＩ１の内容は例示した内容に限らない。例えば、運転支援画面ＵＩ１が俯瞰画面Ｑ１を有さず、表示領域の全域に車外画面Ｑ２を有する構成でもよい。また、俯瞰画面Ｑ１が、車外画面Ｑ２の左側に表示される構成でもよい。

また、第１補助図形Ｚ１の態様は、上述した実施形態で例示した態様に限らない。例えば、第１補助図形Ｚ１が線Ｓ１Ｕ、Ｓ１Ｄを有さない構成でもよい。また、第１補助図形Ｚ１は、マークＭ１から下方に向かって直線的に延びる帯状の図形であってもよい。また、第１補助図形Ｚ１の線Ｓ１Ｌ、Ｓ１Ｒの離間距離は、車両Ｓの車幅よりも狭くてもよい。また、第１補助図形Ｚ１は、対応俯瞰画像Ｇ１によって表される風景において、車両Ｓの幅方向の中心を通り長手方向に延びる中心線を表す画像を含んでいてもよい。図７は、図３（Ａ）の運転支援画面ＵＩ１に対して、車両Ｓの幅方向の中心を通り長手方向に延びる中心線を表す画像である線Ｓ１Ｍが付加された様子を示している。以上のことは、第２補助図形Ｚ２についても同様である。

また、俯瞰画面Ｑ１に、車両Ｓのステアリングの角度を反映した車両Ｓの予定経路を示す画像を付加する場合、このような画像と区別できるよう、第１補助図形Ｚ１の態様を、当該予定経路を示す画像と明確に区別できるような態様で表示してもよい。例えば、第１補助図形Ｚ１の色を、当該予定経路を示す画像の色と異なる色としたり、線の形状（太さや、波線、実線等）を異なる形状としたりすることができる。以上のことは、第２補助図形Ｚ２についても同様である。

また、本実施形態では、特許請求の範囲の「カメラ」が、車両Ｓの後部に設けられたリアカメラ２であるものとして実施形態を説明した。この点に関し、特許請求の範囲の「カメラ」は、車両Ｓの前部に設けられたフロントカメラであって、車両Ｓに係る中心線Ｋから幅方向にずれた位置に設けられたフロントカメラであってもよい。

１ 表示制御装置
４ 表示装置
１０ 画像取得部
１１ 表示画像生成部
１２ 画像付加部
１３ 表示制御部

Claims (8)

1. 車両の後部または前部に、前記車両の幅方向の中心から幅方向にずらして設置されたカメラであって、前記車両の後方または前方を撮影する前記カメラから撮影画像を取得する撮影画像取得部と、
   前記撮影画像取得部により取得された前記撮影画像に対して、前記車両の幅方向の中心と前記カメラとの幅方向のずれに基づく補正を行わず、所定の画像処理を施して対応画像を生成し、前記対応画像を含む表示画像を生成する表示画像生成部と、
   前記表示画像生成部により生成された前記表示画像に対して、前記車両の幅方向の中心と前記カメラとの幅方向のずれを反映して、前記車両の位置を示す付加画像を付加する画像付加部と、
   前記付加画像が付加された前記表示画像を表示装置に表示させる表示制御部とを備え、
   前記表示画像生成部は、
   前記対応画像として、前記車両の後部において前記車両の幅方向の中心から幅方向にずらして設置されたリアカメラの前記撮影画像に対して前記車両の幅方向の中心と前記リアカメラとの幅方向のずれに基づく補正を行うことなく前記車両の後方を俯瞰視した対応俯瞰画像を生成し、更に、矩形の領域の下部に、当該矩形の領域の左右方向の中心と前記対応俯瞰画像の左右方向の中心とが一致した状態で前記対応俯瞰画像が配置された俯瞰画面を含む前記表示画像を生成し、
   前記画像付加部は、
   前記俯瞰画面において前記対応俯瞰画像の上方に、前記車両を表すマークからなる前記付加画像を、前記車両の幅方向の中心と前記リアカメラとの幅方向のずれ分ずらした状態で付加する
   ことを特徴とする表示制御装置。
2. 前記画像付加部は、
   前記俯瞰画面において、前記車両を表すマークからなる前記付加画像と、当該マークの左右方向の中心を通り上下方向に延びる中心線を対称軸として線対称な２本の線を表す画像であって、前記対応俯瞰画像に延在する画像からなる前記付加画像、または、前記中心線を表す画像であって、前記対応俯瞰画像に延在する画像からなる前記付加画像を付加する
   ことを特徴とする請求項１に記載の表示制御装置。
3. 前記画像付加部は、
   前記俯瞰画面において、前記車両を表すマークからなる前記付加画像と、当該マークの左右方向の中心を通り上下方向に延びる中心線を対称軸として線対称な２本の線を表す画像であって、前記対応俯瞰画像に延在する画像からなる前記付加画像を付加し、
   前記カメラの検出結果に基づいて、前記車両が駐車する予定の駐車スペースの幅の大きさを検出し、前記駐車スペースの幅の大きさに応じて、２本の線の距離が、駐車スペースの幅の大きさに相当する距離となるように２本の線の幅の大きさを動的に変更する
   ことを特徴とする請求項１に記載の表示制御装置。
4. 車両の後部または前部に、前記車両の幅方向の中心から幅方向にずらして設置されたカメラであって、前記車両の後方または前方を撮影する前記カメラから撮影画像を取得する撮影画像取得部と、
   前記撮影画像取得部により取得された前記撮影画像に対して、前記車両の幅方向の中心と前記カメラとの幅方向のずれに基づく補正を行わず、所定の画像処理を施して対応画像を生成し、前記対応画像を含む表示画像を生成する表示画像生成部と、
   前記表示画像生成部により生成された前記表示画像に対して、前記車両の幅方向の中心と前記カメラとの幅方向のずれを反映して、前記車両の位置を示す付加画像を付加する画像付加部と、
   前記付加画像が付加された前記表示画像を表示装置に表示させる表示制御部とを備え、
   前記表示画像生成部は、
   前記対応画像として、前記車両の後部において前記車両の幅方向の中心から幅方向にずらして設置されたリアカメラの前記撮影画像に対して前記車両の幅方向の中心と前記リアカメラとの幅方向のずれに基づく補正を行うことなく前記車両の後方を俯瞰視した対応俯瞰画像を生成すると共に、前記リアカメラの前記撮影画像に対して当該ずれに基づく補正を行うことなく、遠近感を維持した状態で前記車両の後方の風景を表す車外画像を生成し、更に、
   前記対応俯瞰画像が配置された俯瞰画面と、前記車外画像が配置された車外画面との双方を同時に含む前記表示画像を生成し、
   前記画像付加部は、
   前記俯瞰画面において、前記車両の幅方向の中心と前記リアカメラとの幅方向のずれを反映して、前記対応俯瞰画像によって表される風景と前記車両との位置関係を明示する前記付加画像を付加し、更に、
   前記車外画面において、前記車両の幅方向の中心と前記リアカメラとの幅方向のずれを反映して、前記車外画像によって表される風景と前記車両との位置関係を明示する前記付加画像を付加する
   ことを特徴とする表示制御装置。
5. 前記画像付加部は、
   前記俯瞰画面において、前記対応俯瞰画像によって表される風景で、前記車両の幅方向の中心を通り長手方向に延びる中心線を対称軸として線対称な２本の線を表す画像、または、前記中心線を表す画像を含む前記対応画像を付加し、
   前記車外画像において、前記車外画像によって表される風景で、前記車両の幅方向の中心を通り長手方向に延びる中心線を対称軸として線対称な２本の線を表す画像、または、前記中心線を表す画像を含む前記対応画像を付加する
   ことを特徴とする請求項４に記載の表示制御装置。
6. 前記画像付加部は、
   前記俯瞰画面において、前記対応俯瞰画像によって表される風景で、前記車両の幅方向の中心を通り長手方向に延びる中心線を対称軸として線対称な２本の線を表す前記対応画像を付加すると共に、前記車外画面において、前記車外画像によって表される風景で、前記車両の幅方向の中心を通り長手方向に延びる中心線を対称軸として線対称な２本の線を表す前記対応画像を付加し、
   前記カメラの検出結果に基づいて、前記車両が駐車する予定の駐車スペースの幅の大きさを検出し、前記駐車スペースの幅の大きさに応じて、前記俯瞰画面および前記車外画面において２本の線の距離が、駐車スペースの幅の大きさに相当する距離となるように２本の線の幅の大きさを動的に変更する
   ことを特徴とする請求項４に記載の表示制御装置。
7. 表示制御装置の撮影画像取得部が、車両の後部または前部に、前記車両の幅方向の中心から幅方向にずらして設置されたカメラであって、前記車両の後方または前方を撮影する前記カメラから撮影画像を取得する第１ステップと、
   前記表示制御装置の表示画像生成部が、前記撮影画像取得部により取得された前記撮影画像に対して、前記車両の幅方向の中心と前記カメラとの幅方向のずれに基づく補正を行わず、所定の画像処理を施して対応画像を生成し、前記対応画像を含む表示画像を生成する第２ステップと、
   前記表示制御装置の画像付加部が、前記表示画像生成部により生成された前記表示画像に対して、前記車両の幅方向の中心と前記カメラとの幅方向のずれを反映して、前記車両の位置を示す付加画像を付加する第３ステップと、
   前記表示制御装置の表示制御部が、前記付加画像が付加された前記表示画像を表示装置に表示させる第４ステップとを含み、
   前記第２ステップにおいて前記表示画像生成部は、前記対応画像として、前記車両の後部において前記車両の幅方向の中心から幅方向にずらして設置されたリアカメラの前記撮影画像に対して前記車両の幅方向の中心と前記リアカメラとの幅方向のずれに基づく補正を行うことなく前記車両の後方を俯瞰視した対応俯瞰画像を生成し、更に、矩形の領域の下部に、当該矩形の領域の左右方向の中心と前記対応俯瞰画像の左右方向の中心とが一致した状態で前記対応俯瞰画像が配置された俯瞰画面を含む前記表示画像を生成し、
   前記第３ステップにおいて前記画像付加部は、前記俯瞰画面において前記対応俯瞰画像の上方に、前記車両を表すマークからなる前記付加画像を、前記車両の幅方向の中心と前記リアカメラとの幅方向のずれ分ずらした状態で付加する
   ことを特徴とする表示制御方法。
8. 表示制御装置の撮影画像取得部が、車両の後部または前部に、前記車両の幅方向の中心から幅方向にずらして設置されたカメラであって、前記車両の後方または前方を撮影する前記カメラから撮影画像を取得する第１ステップと、
   前記表示制御装置の表示画像生成部が、前記撮影画像取得部により取得された前記撮影画像に対して、前記車両の幅方向の中心と前記カメラとの幅方向のずれに基づく補正を行わず、所定の画像処理を施して対応画像を生成し、前記対応画像を含む表示画像を生成する第２ステップと、
   前記表示制御装置の画像付加部が、前記表示画像生成部により生成された前記表示画像に対して、前記車両の幅方向の中心と前記カメラとの幅方向のずれを反映して、前記車両の位置を示す付加画像を付加する第３ステップと、
   前記表示制御装置の表示制御部が、前記付加画像が付加された前記表示画像を表示装置に表示させる第４ステップとを含み、
   前記第２ステップにおいて前記表示画像生成部は、前記対応画像として、前記車両の後部において前記車両の幅方向の中心から幅方向にずらして設置されたリアカメラの前記撮影画像に対して前記車両の幅方向の中心と前記リアカメラとの幅方向のずれに基づく補正を行うことなく前記車両の後方を俯瞰視した対応俯瞰画像を生成すると共に、前記リアカメラの前記撮影画像に対して当該ずれに基づく補正を行うことなく、遠近感を維持した状態で前記車両の後方の風景を表す車外画像を生成し、更に、前記対応俯瞰画像が配置された俯瞰画面と、前記車外画像が配置された車外画面との双方を同時に含む前記表示画像を生成し、
   前記第３ステップにおいて前記画像付加部は、前記俯瞰画面において、前記車両の幅方向の中心と前記リアカメラとの幅方向のずれを反映して、前記対応俯瞰画像によって表される風景と前記車両との位置関係を明示する前記付加画像を付加し、更に、前記車外画面において、前記車両の幅方向の中心と前記リアカメラとの幅方向のずれを反映して、前記車外画像によって表される風景と前記車両との位置関係を明示する前記付加画像を付加する
   ことを特徴とする表示制御方法。
   

Images