JP7039879B2 - 表示制御装置 - Google Patents

表示制御装置 Download PDF

Info

Publication number
JP7039879B2
JP7039879B2 JP2017150671A JP2017150671A JP7039879B2 JP 7039879 B2 JP7039879 B2 JP 7039879B2 JP 2017150671 A JP2017150671 A JP 2017150671A JP 2017150671 A JP2017150671 A JP 2017150671A JP 7039879 B2 JP7039879 B2 JP 7039879B2
Authority
JP
Japan
Prior art keywords
image
unit
height
vehicle
virtual projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017150671A
Other languages
English (en)
Other versions
JP2019028920A (ja
Inventor
一矢 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2017150671A priority Critical patent/JP7039879B2/ja
Priority to US16/632,930 priority patent/US11383642B2/en
Priority to EP18842006.1A priority patent/EP3664014B1/en
Priority to PCT/JP2018/006260 priority patent/WO2019026320A1/ja
Priority to CN201880048325.3A priority patent/CN110945558B/zh
Publication of JP2019028920A publication Critical patent/JP2019028920A/ja
Application granted granted Critical
Publication of JP7039879B2 publication Critical patent/JP7039879B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Description

本発明の実施形態は、表示制御装置に関する。
従来、車両の周囲に設けられた複数の撮像部によって、車両の周辺を撮像して、その撮像された複数の撮像画像データを合成し三次元の合成俯瞰画像を生成して、車室内の表示装置で表示することで、車両の周囲の状況を運転者に認識させる俯瞰画像生成装置が提案されている（例えば、特許文献１参照）。
この俯瞰画像生成装置では、各方向（車両の前後左右）を撮像する撮像部の設置高さ（設置地上高）の違いに起因する合成画像の高さ方向のずれを解消している。具体的には、俯瞰画像（三次元空間モデル）の一部の高さ方向の形状を変化させて、水平線の位置を合わせることで、表示される合成俯瞰画像の水平線部分の違和感が出ないようにしている。
特開２０１６－２２５８６５号公報
しかしながら、従来技術において、水平線の位置を合わせるために三次元空間モデルの高さ方向の一部の形状を変化させることで、投影する画像の水平線の位置を合わせている。その結果、合成俯瞰画像の上端部の形状に凹凸が生じて、表示装置に表示した場合、表示画像の縁部等の形状が不自然となり、商品性の低下を招いてしまうという問題があった。
そこで、本発明の課題の一つは、三次元合成画像の縁部等の形状に不自然さを伴うことなく、高さ方向の画像内容の表示ずれが軽減可能な表示制御装置を提供することにある。
実施形態の表示制御装置は、例えば、車両の第一の高さ位置に設けられて上記車両の周囲のうち第一の方向の状況を撮像する第１撮像部から得られる第１画像と、上記第一の高さ位置とは異なる第二の高さ位置に設けられて上記第一の方向とは異なる第二の方向の状況を撮像する第２撮像部から得られる第２画像と、を取得する画像取得部と、上記第１画像および上記第２画像を投影可能で、上記車両の接地面から高さ方向に立ち上がる側面を少なくとも備える三次元の仮想投影面を取得する投影面取得部と、上記第１撮像部の位置から上記仮想投影面を臨んだ場合に上記仮想投影面に投影する上記第１画像の高さ方向の投影位置と、上記第２撮像部の位置から上記仮想投影面を臨んだ場合に上記仮想投影面に投影する上記第２画像の高さ方向の投影位置とのうち少なくとも一方を上記第一の高さ位置と上記第二の高さ位置との差に基づき、上記第１画像の内容と上記第２画像の内容とが整合するように補正する補正部と、補正によって高さ方向の整合が取れた上記第１画像と上記第２画像を含む三次元合成画像を生成する画像合成部と、を備える。この構成によれば、例えば、第１撮像部の第一の高さ位置と第２撮像部の第二の高さ位置とで違いがある場合、その高さ位置の差に基づき仮想投影面に投影する画像の内容（投影位置）を補正する。この場合、仮想投影面の形状は変更されないため、表示される三次元合成画像の外縁部等の形状に変化はなく、表示画像の商品性の低下を伴うことなく、高さ方向の画像内容の表示ずれを軽減することができる。
また、実施形態の表示制御装置の上記補正部は、例えば、上記第一の高さ位置と上記第二の高さ位置との高さ比に基づき、上記投影位置を補正するようにしてもよい。この構成によれば、例えば、第１撮像部の第一の高さ位置と第２撮像部の第二の高さ位置の違いに起因する表示ずれをより適正に補正することができる。
また、実施形態の表示制御装置は、例えば、さらに、上記車両の周囲に存在する物体の位置を検出可能な位置検出部を備え、上記投影面取得部は、上記物体の位置に対応する位置に上記側面を備える上記仮想投影面を取得するようにしてもよい。この構成によれば、検出した物体、例えば、他車両の存在する位置に仮想投影面の側面が形成されるので、注意を払うべき物体の形状（大きさ）をより現実に似せた態様で表示できるとともに、高さ方向のずれ（水平線のずれ）が軽減された状態で表示可能となる。その結果、視認性、画像品質、商品性等の向上に、さらに寄与できる。
図１は、実施形態にかかる表示制御装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態にかかる表示制御装置を搭載する車両の一例が示された平面図（俯瞰図）である。 図３は、実施形態にかかる表示制御装置を有する表示制御システムの構成の一例を示すブロック図である。 図４は、実施形態にかかる表示制御装置のＣＰＵの構成の例示的なブロック図である。 図５は、実施形態にかかる表示制御システムにおける撮影画像の仮想投影面への投影を示す例示的かつ模式的な説明図である。 図６は、実施形態にかかる表示制御装置で用いる仮想投影面（三次元仮想モデル）を示す例示的かつ模式的な説明図である。 図７は、実施形態にかかる表示制御システムにおける車両形状モデルと仮想投影面とを示す模式的かつ例示的な側面図である。 図８は、実施形態にかかる表示制御装置における撮像部の高さ位置に起因する三次元合成画像の高さ方向の表示ずれの発生と、その表示ずれの修正を模式的かつ例示的に説明する説明図である。 図９は、撮像部の高さ位置に起因する三次元合成画像の高さ方向の表示ずれの発生を説明する模式的な三次元合成画像の表示例を示す図である。 図１０は、実施形態にかかる表示制御装置による補正を適用して撮像部の高さ位置に起因する三次元合成画像の高さ方向の表示ずれを解消した場合の模式的な三次元合成画像の表示例を示す図である。 図１１は、実施形態にかかる表示制御装置において、物体の検出位置に仮想投影面の側面を設定する模式的かつ例示的な側面図である。
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
本実施形態において、表示制御装置（表示制御システム）を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。駆動方式としては、四つある車輪３すべてに駆動力を伝え、四輪すべてを駆動輪として用いる四輪駆動車両とすることができる。車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。また、駆動方式も四輪駆動方式に限定されず、例えば、前輪駆動方式や後輪駆動方式でもよい。
図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。
また、車室２ａ内には、表示装置８や、音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員（運転者等）は、表示装置８の表示画面に表示される画像に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
また、図１、図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図３に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。
また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ～１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１５は、車両１が移動可能な路面や物体（障害物として、例えば、岩、樹木、人間、自転車、車両等）を含む車両１の外部の周辺の環境を逐次撮影し、撮像画像データとして出力する。
撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リアハッチのドア２ｈのリアウインドウの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパやフロントグリル等に設けられている。撮像部１５ｄは、例えば、車体２の左側の端部２ｄに位置され、左側のドアミラー２ｇに設けられている。
また、図３に例示されるように、表示制御システム１００（表示制御装置）では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。
また、図１、図２に例示されるように、車体２には、複数の測距部１６，１７として、例えば四つの測距部１６ａ～１６ｄと、八つの測距部１７ａ～１７ｈとが設けられている。測距部１６，１７は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器とも称されうる。ＥＣＵ１４は、測距部１６，１７の検出結果により、車両１の周囲に位置された障害物等の物体の有無や当該物体までの距離（位置）を測定することができる。したがって、測距部１６，１７は、車両１の周囲に存在する物体の位置を検出する位置検出部として機能する。なお、測距部１７は、例えば、比較的近距離の物体の検出に用いられ、測距部１６は、例えば、測距部１７よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部１７は、例えば、車両１の前方および後方の物体の検出に用いられ、測距部１６は、車両１の側方の物体の検出に用いられうる。
ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理を実行する。例えば、ＣＰＵ１４ａは、撮像部１５が撮像した撮像画像データに演算処理や画像処理を実行して、三次元の周辺画像（例えば、俯瞰画像）を生成する。ＣＰＵ１４ａは、生成する周辺画像の視点を変化させることができる。また、ＣＰＵ１４ａは、車両１の周囲に注意すべき物体（例えば、他車両や壁、歩行者等の障害物）が存在するか否かを検出したり、検出した物体の位置に基づいて周辺画像の表示態様を変化させたりすることができる。また、ＣＰＵ１４ａは、検出した物体に基づき、ユーザ（運転者や搭乗者）に物体の存在を報知する処理も実行可能である。
ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。
ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。
舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したように撮像部１５が撮像した撮像画像データに基づいた車両１周辺の環境を例えば、三次元の俯瞰態様の画像で表示する。この機能を実現するために、ＣＰＵ１４ａは、図４に示すような種々のモジュールを含んでいる。ＣＰＵ１４ａは、例えば、画像取得部２６、投影面取得部２８、補正部３０、画像合成部３２、三次元処理部３４、周辺画像生成部３６、物体位置取得部３８、可変設定部４０等を含む。これらのモジュールは、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。
画像取得部２６は、車両１の周囲を表示するために必要な情報を取得する。例えば、画像取得部２６は、車両１の周辺を撮像する複数の撮像部１５から、複数の撮像画像データを取得する。なお、本実施形態において、撮像部１５は、車体２（車両１）における設置位置に応じて、固定されている高さ位置が異なる。図１、図５に示されるように撮像部１５ｂおよび撮像部１５ｄは例えばドアミラー２ｇに固定される。一方、撮像部１５ｃは、図５に示されるように車体２の端部２ｃで、ドアミラー２ｇより低い位置、例えばフロントグリルに固定される。本実施形態において、撮像部１５ｃは、車両１の第一の高さ位置（第１高さＨ１）に設けられて車両１の周囲のうち第一の方向（前方）の状況を撮像する第１撮像部と称し、第１撮像部（撮像部１５ｃ）からの撮像画像データを第１撮像画像データと称する場合がある。また、撮像部１５ｂまたは撮像部１５ｄは、第一の高さ位置（第１高さＨ１）とは異なる第二の高さ位置（第２高さＨ２）に設けられて第１撮像画像データに基づく第１画像と水平方向において繋ぎ合わせ可能な第二の方向（主として左側方または右側方）の状況を示す第２画像を撮像する第２撮像部と称する場合がある。また、第２撮像部（撮像部１５ｂまたは撮像部１５ｄ）からの撮像画像データを第２撮像画像データと称する場合がある。
投影面取得部２８は、例えば、ＲＯＭ１４ｂやＳＳＤ１４ｆ等に予め記憶された三次元形状モデルを取得する。三次元形状モデルは、例えば、車両１の周囲を取り囲む仮想投影面を規定するデータである。図５～図７に三次元形状モデルの一例を示す。なお、図５は、撮像部１５ｄの撮影画像Ｉｃを仮想投影面Ｓｐ（Ｓｐｓ）へ投影する例を示す模式図であり、図６は、仮想投影面Ｓｐの構成を模式的に示す図であり、図７は、仮想投影面Ｓｐの全体を模式的に示す図である。
図６に示すように、三次元形状モデルである仮想投影面Ｓｐは、座標（Ｘ，Ｙ，Ｚ）が規定されるメッシュ構造のデータで、撮像部１５が撮像した撮像画像データの各画素のデータが例えば、メッシュの交点（座標Ｘ，Ｙ，Ｚで規定される交点）に投影される。なお、図６に示す仮想投影面Ｓｐのメッシュは、説明のために図示したもので、実際には視認できないように設定されている。
仮想投影面Ｓｐは、例えば、図５、図７に示すように、地面Ｇｒに沿った底面Ｓｐｇと、底面Ｓｐｇすなわち地面Ｇｒから立ち上がった側面Ｓｐｓと、を有している。地面Ｇｒは、車両１の高さ方向Ｙ（上下方向）と直交する水平面であり、車輪３の接地面でもある。底面Ｓｐｇは、例えば略円形の平坦面であり、車両１を基準とする水平面である。側面Ｓｐｓは、底面Ｓｐｇと接して底面Ｓｐｇの一部から高さ方向に立ち上り底面Ｓｐｇの一部を取り囲む、例えば曲面である。図５に示されるように、側面Ｓｐｓの、車両１の中心Ｇｃを通り車両１の垂直な仮想断面の形状は、例えば、楕円状あるいは放物線状である。側面Ｓｐｓは、例えば、車両１の中心Ｇｃを通り車両１の高さ方向に沿う中心線ＣＬ周りの回転面として構成される。つまり、側面Ｓｐｓは、車両１の周囲を取り囲んでいる。
補正部３０は、第１画像を示す第１撮像画像データまたは第２画像を示す第２撮像画像データのうち一方のデータの高さ方向の補正を行う。本実施形態において、第一の高さ位置（第１高さＨ１）に設けられた撮像部１５ｃから撮像した場合の第１撮像画像データと、第二の高さ位置（第２高さＨ２）に設けられた撮像部１５ｄから撮像した場合の第２撮像画像データと、を三次元形状モデルの仮想投影面Ｓｐにそのまま投影した場合、第一の高さ位置（第１高さＨ１）と第二の高さ位置（第２高さＨ２）との差異に起因して、高さ方向の表示内容がずれてしまう場合がある。そこで、補正部３０は、表示内容のずれを軽減するために、仮想投影面Ｓｐに投影する第１撮像画像データまたは第２撮像画像データのうち少なくとも一方（例えば、第１撮像画像データ）の高さ方向の補正を行う。また、撮像部１５が備えるレンズは、広範囲の撮像を実現するために広角レンズや魚眼レンズである場合があり、画像に歪みを含む場合がある。補正部３０は、レンズの歪みに基づき第１撮像画像データおよび第２撮像画像データの補正を行ってもよい。なお、高さ方向の補正の詳細は後述する。
画像合成部３２は、例えば画像取得部２６で取得されて補正部３０で補正された撮像部１５ｃが撮像した第１撮像画像データと、画像取得部２６で取得された撮像部１５ｄおよび撮像部１５ｂが撮像した第２撮像画像データを、それらの境界部分を合成することで繋ぎ、一つの撮像画像データを生成する。なお、第１撮像画像データと第２撮像画像データとを合成する場合、境界部分をそのまま合成すると境界線が明確に現れてしまう場合がある。例えば、撮像部１５ｃの撮像した第１画像と、撮像部１５ｄの撮像した第２画像とで、日光やライトの当たり方等によって画像の明るさや色合いが異なる場合がある。この場合、明るさや色合いの違いによる境界線が現れ、合成された一つの撮像画像データに基づく画像の品質が低下してしまう場合がある。そこで、仮想投影面Ｓｐには、第１撮像画像データを投影する側面Ｓｐｓ１の水平方向の端部と第２撮像画像データを投影する側面Ｓｐｓ２の水平方向の端部とが重なる重複領域が設定される。この重複領域においては、画像合成部３２は、第１撮像画像データと第２撮像画像データのそれぞれａ％を利用して画像を合成するブレンド処理を実行してもよい。ブレンド処理を実行することにより、第１撮像画像データの第１画像と第２撮像画像データの第２画像とが、徐々に変化するように合成され、明るさや色合いの違いによって生じる境界線を目立ちにくくすることができる。
なお、画像合成部３２は、ＥＣＵ１４が車両１の後方の状況を示す周辺画像を表示する場合は、同様に、撮像部１５ａが撮像した第１撮像画像データと撮像部１５ｄおよび撮像部１５ｂが撮像した第２撮像画像データを合成して一つの撮像画像データを生成する。
三次元処理部３４は、車両１が存在する位置を基準として定められた、車両１の周囲を取り囲む仮想投影面Ｓｐ（三次元形状モデル）に、画像合成部３２で合成した撮像画像データを投影した、仮想投影画像のデータを生成する。三次元処理部３４は、図５に示すように、撮影画像Ｉｃを、仮想投影面Ｓｐに投影した仮想投影画像Ｉｐを算出する。撮影画像Ｉｃを地面Ｇｒに投影すると、撮像部１５から遠ざかるにつれて像が長くなり、出力画像中で実際の長さよりも長く映る場合がある。図５からわかるように、地面Ｇｒ（底面Ｓｐｇ）から立ち上がった側面Ｓｐｓへ投影された仮想投影画像Ｉｐは、地面Ｇｒに投影された場合に比べて、像が短くなり、出力画像中で実際の長さよりも長く映るのが抑制される。
また、三次元処理部３４は、図６、図７に示すように、仮想投影面Ｓｐを含む三次元仮想空間内に、ＲＯＭ１４ｂまたはＳＳＤ１４ｆ等に記憶されている、車両１に対応する車両形状モデルＭを配置する。三次元処理部３４は、三次元仮想空間内に配置する車両形状モデルＭに、所定の透過率を設定する。これにより、三次元仮想空間において、車両形状モデルＭを介して、反対側の仮想投影画像Ｉｐを視認できる。
周辺画像生成部３６は、撮像画像データが投影された、三次元仮想空間内の仮想投影面Ｓｐに投影された仮想投影画像Ｉｐ及び車両形状モデルＭを、当該三次元仮想空間内に設定された視点Ｅｐから注視点Ｅｎを見た周辺画像データを生成する。周辺画像生成部３６は、生成した周辺画像データを表示制御部１４ｄに供給し、表示制御部１４ｄは表示装置８に三次元の周辺画像を表示させる。
図７には、車両形状モデルＭを中心とする仮想投影面Ｓｐの全体が模式的に示されている。周辺画像生成部３６は、仮想投影面Ｓｐに投影された仮想投影画像Ｉｐ（図５参照）を、仮想の視点Ｅｐから見た周辺画像データ（図６には不図示）に変換する。図７に示される例では、視点Ｅｐは、車両形状モデルＭの後方に設定され、車両形状モデルＭの前方（注視点Ｅｎ）を見ている場合である。
このように本実施形態の表示制御システム１００によれば、車両１に設置された複数の撮像部１５で撮像した撮像画像データを合成して、任意の視点Ｅｐから注視点Ｅｎを見た車両１の周囲の状況を三次元の仮想空間内で表示することで利用者（運転者等）に車両１の周囲の状況を認識させやすくすることができる。
物体位置取得部３８は、測距部１６や測距部１７によって車両１の周囲に物体が検出された場合、例えば他車両や、壁、歩行者等が検出された場合に、その物体の位置、例えば、物体までの距離を取得する。可変設定部４０は、物体位置取得部３８が取得した物体の位置に応じて、投影面取得部２８が取得する三次元形状モデルで規定される仮想投影面Ｓｐの側面Ｓｐｓの位置を設定し得る。例えば、ＲＯＭ１４ｂやＳＳＤ１４ｆに底面Ｓｐｇの広さが異なる仮想投影面Ｓｐ（車両形状モデルＭからの側面Ｓｐｓの立上り位置が異なる仮想投影面Ｓｐ）を複数記憶させておく。そして、可変設定部４０は、投影面取得部２８が三次元形状モデルを取得する場合に、物体の位置に対応した位置（近い位置）から立ち上がる側面Ｓｐｓを持つ仮想投影面Ｓｐを規定する三次元形状モデルを選択させるようにしてもよい。また、別の例では、可変設定部４０は、物体位置取得部３８が取得した物体の位置に応じて、その位置から立ち上がる側面Ｓｐｓを持つ仮想投影面Ｓｐを規定する三次元形状モデルを算出して、投影面取得部２８に提供するようにしてもよい。
図８は、補正部３０が実行する補正により仮想投影面Ｓｐの側面Ｓｐｓに対する撮像画像データの投影位置を変化させることを説明する図であり、周辺画像生成部３６で生成する三次元の周辺画像（周辺画像データ）の表示内容のずれを軽減する。具体的には、車両１の前方を表示する第１画像と車両１の側方を表示する第２画像の高さ方向のずれを軽減する。
図８は、一例として、第１撮像部としての撮像部１５ｃが撮像する第１撮像画像データに基づく第１画像と、第２撮像部としての撮像部１５ｄが撮像する第２撮像画像データに基づく第２画像と、を仮想投影面Ｓｐの側面Ｓｐｓに投影する場合の説明図である。図８は、補正部３０による補正を行わず、図９に示すように高さ方向で画像内容のずれが生じる場合と、補正部３０による補正を実行して、図１０に示すように高さ方向の画像内容のずれが軽減される場合を説明する図である。
まず、補正部３０による補正を実行しない場合を説明する。仮想投影面Ｓｐの側面Ｓｐｓの位置と異なる位置に物体Ｔが存在する場合（例えば、側面Ｓｐｓの位置よりさらに前方の位置に存在する場合）、仮想投影面Ｓｐの側面Ｓｐｓ上の点Ｓ０（Ｘ０，Ｙ０，Ｚ０）には、撮像部１５ｃ（第１撮像部）の延長線Ｑ１上に存在するものが映る（投影される）。この場合、側面Ｓｐｓ上の点Ｓ０に対して、撮像部１５ｃで撮像された第１撮像画像データには、物体Ｔが映る（含まれる）。一方、撮像部１５ｄ（第２撮像部）の延長線Ｑ２上には、物体Ｔが存在しないので、側面Ｓｐｓ上の点Ｓ０に対して、撮像部１５ｄで撮像された第２撮像画像データを投影しても、物体Ｔが映らない（含まれない）。この場合、側面Ｓｐｓにおいて点Ｓ０の少し上方の位置に物体Ｔが映る。このように、撮像部１５ｃ（第１撮像部）と撮像部１５ｄ（第２撮像部）の延長線上に映る部分が異なる場合、撮像部１５ｃで撮像された第１画像と撮像部１５ｄで撮像された第２画像とを仮想投影面Ｓｐの側面Ｓｐｓ上で構成した場合、物体Ｔの投影位置が高さ方向にずれる。その結果、例えば、図９に示すように、仮想投影面Ｓｐの側面Ｓｐｓ１に投影される撮像部１５ｃ（第１撮像部）で撮像された第１画像Ｐ１の水平線Ｇと、仮想投影面Ｓｐの側面Ｓｐｓ２に投影される撮像部１５ｄ（第２撮像部）で撮像された第２画像Ｐ２の水平線Ｇとの高さがずれる。仮に、三次元形状モデルの形状を変化させて、第１画像Ｐ１の水平線Ｇと第２画像Ｐ２の水平線Ｇとを一致させようとすると、三次元形状モデルの上端部に凹凸が生じ、表示される周辺画像の外縁部等の形状にも違和感が生じる。また、仮想投影面Ｓｐの底面Ｓｐｇと側面Ｓｐｓとの接続部分にずれが生じ、三次元の周辺画像に新たな違和感を生じさせてしまう場合がある。
上述したような第１画像Ｐ１の水平線Ｇと第２画像Ｐ２の水平線Ｇのずれは、各撮像部１５の高さの違いが主たる原因である。そこで、補正部３０は、各撮像部１５の高さ位置の差に基づき、仮想投影面Ｓｐに投影する第１画像Ｐ１と第２画像Ｐ２のうち少なくとも一方の投影位置を補正する。具体的には、撮像部１５ｃ（第１撮像部）の第一の高さ位置（第１高さＨ１）と撮像部１５ｄ（第２撮像部）の第二の高さ位置（第２高さＨ２）との高さ比に基づき（図５参照）、仮想投影面Ｓｐに投影する第１画像Ｐ１と第２画像Ｐ２のうち少なくとも一方の投影位置を第１画像Ｐ１の内容と第２画像Ｐ２の内容とが高さ方向で整合するように補正する。この場合、三次元形状モデルが規定している仮想投影面Ｓｐの側面Ｓｐｓ上の点Ｓ０の三次元座標（Ｘ０，Ｙ０，Ｚ０）に対応する第１画像Ｐ１の二次元座標（Ｕ，Ｖ）の対応関係を算出することになる。つまり、点Ｓ０の三次元座標（Ｘ０，Ｙ０，Ｚ０）の高さ成分Ｙ０のみを以下に示す（式１）にしたがい修正した高さ成分Ｙ１を含む点Ｓ１の三次元座標（Ｘ０，Ｙ１，Ｚ０）を算出する。そして、点Ｓ１に対応する第１画像Ｐ１の二次元座標（Ｕ，Ｖ）を点Ｓ０の三次元座標（Ｘ０，Ｙ０，Ｚ０）に投影する。
Ｙ１＝Ｙ０×（第１高さＨ１）／（第２高さＨ２）・・・・（式１）
図８の場合、前方を撮影する撮像部１５ｃ（第１撮像部）は、側方を撮像する撮像部１５ｄ（第２撮像部）より低い位置に固定されているので、補正後の点Ｓ１の三次元座標（Ｘ０，Ｙ１，Ｚ０）は、補正前の点Ｓ０の三次元座標（Ｘ０，Ｙ０，Ｚ０）より低い位置になる。図８に示すように、点Ｓ１の三次元座標（Ｘ０，Ｙ１，Ｚ０）を通過する撮像部１５ｃ（第１撮像部）の延長線Ｑ３上に存在するものは、点Ｓ０の三次元座標（Ｘ０，Ｙ０，Ｚ０）を通過する撮像部１５ｃ（第１撮像部）の延長線Ｑ２上に存在するものより、第一の高さ位置（第１高さＨ１）と第二の高さ位置（第２高さＨ２）との高さ比にしたがい近くのものとなる。つまり、撮像部１５ｄ（第２撮像部）の延長線Ｑ２と地面Ｇｒとの交点と、撮像部１５ｃ（第１撮像部）の延長線Ｑ３と地面Ｇｒの交点とが、ほぼ同じ位置Ｒとなる。したがって、画像合成部３２が、補正後の点Ｓ１の三次元座標（Ｘ０，Ｙ１，Ｚ０）に対応する第１画像Ｐ１の二次元座標（Ｕ，Ｖ）を点Ｓ０の三次元座標（Ｘ０，Ｙ０，Ｚ０）の位置に投影することにより、より近い位置の画像を仮想投影面Ｓｐの側面Ｓｐｓ上に投影することになる。このように、第１画像Ｐ１の投影位置が側面Ｓｐｓ上で第一の高さ位置（第１高さＨ１）と第二の高さ位置（第２高さＨ２）との高さ比にしたがい上方に補正され、第１画像Ｐ１の内容と第２画像Ｐ２の内容とが高さ方向で整合が取れる。したがって、画像合成部３２は、第１画像Ｐ１と第２画像Ｐ２の内容が概ね一致した状態で境界部分で繋ぎ合わされた一つの撮像画像のデータを生成することになる。その結果、図１０に示すように、撮像部１５ｃ（第１撮像部）で撮像され仮想投影面Ｓｐの側面Ｓｐｓ１に投影される第１画像Ｐ１の水平線Ｇと、撮像部１５ｄおよび撮像部１５ｂ（第２撮像部）で撮像され仮想投影面Ｓｐの側面Ｓｐｓ２に投影される第２画像Ｐ２の水平線Ｇとがほぼ一致した、違和感が軽減された三次元の周辺画像を表示することができる。
なお、一般的に車両１の左右のドアミラー２ｇは、運転席からの距離が異なるため、左右で角度が異なる。その結果、左右のドアミラー２ｇに固定される撮像部１５ｂおよび撮像部１５ｄの高さ位置（地上高）が異なる。したがって、高さ成分Ｙ１を算出する場合の第二の高さ位置（第２高さＨ２）は、撮像部１５ｂと撮像部１５ｄの第二の高さ位置（第２高さＨ２）の平均値を用いてもよい。この場合、第１画像Ｐ１を挟んで左右に合成される第２画像Ｐ２に対して、第１画像Ｐ１の表示ずれを、それぞれ適度に軽減することができる。
なお、補正部３０による点Ｓ１の三次元座標（Ｘ０，Ｙ１，Ｚ０）の算出は、例えば、車両１の電源をＯＮしたとき、例えばイグニッションスイッチをＯＮしたときに、各撮像部１５の高さ位置をＲＯＭ１４ｂ等に保存された諸元データから取得して一度実行し、その結果をＲＯＭ１４ｂやＳＳＤ１４ｆに保存しておけばよい。そして、画像合成部３２は、画像取得部２６が撮像部１５の撮像画像データを取得する度（毎フレーム描画時）に、高さ方向の補正が行われた第１画像Ｐ１と、第２画像Ｐ２と、を境界部分で合成して一つの撮像画像データを生成する。そして、三次元処理部３４および周辺画像生成部３６が、視点Ｅｐと注視点Ｅｎの設定状態に基づき、高さ整合が行われた撮像画像データを用いて、図１０に示すような周辺画像を生成する。
なお、図１０に示す例では、撮像部１５ｃ（第１撮像部）が撮像した第１画像Ｐ１の描画位置を第一の高さ位置（第１高さＨ１）と第二の高さ位置（第２高さＨ２）との高さの比にしたがい上方に補正する例を示した。別の実施形態では、撮像部１５ｄおよび撮像部１５ｄ（第２撮像部）が撮像した第２画像Ｐ２の描画位置を第一の高さ位置（第１高さＨ１）と第二の高さ位置（第２高さＨ２）との高さにしたがい下方に補正してもよい。その結果、上述の例と同様に、第１画像Ｐ１の内容と第２画像Ｐ２の内容との高さ方向の整合が取れ、第１画像Ｐ１と第２画像Ｐ２の内容が境界部分で違和感なく繋ぎ合わされた周辺画像を表示することができる。
このように、本実施形態の表示制御システム１００によれば、仮想投影面Ｓｐの形状は変更されないため、表示される三次元の合成画像の外縁部等の形状に変化はない。したがって、表示画像の商品性の低下は伴うことなく、高さ方向の画像内容の表示ずれを軽減することができる。なお、補正部３０は、仮想投影面Ｓｐの側面Ｓｐｓ上で一律に高さ成分Ｙ１を例えば、Ｙ１＝Ｙ-αのように補正するのではなく、第一の高さ位置（第１高さＨ１）と第二の高さ位置（第２高さＨ２）との高さの比にしたがい補正する。その結果、仮想投影面Ｓｐの底面Ｓｐｇと側面Ｓｐｓとの境界部分のずれが生じない。したがって、仮想投影面Ｓｐ全体としても違和感のない表示が実現できる。
ところで、上述のように、仮想投影面Ｓｐの側面Ｓｐｓ上で高さ方向の表示ずれが軽減される場合でも、仮想投影面Ｓｐにおける底面Ｓｐｇからの側面Ｓｐｓの立上り位置が固定されている場合、表示内容に違和感が生じる場合がある。例えば、図１１に示すように、側面Ｓｐｓより車両１に近い位置に物体Ｔ１が存在する場合、物体Ｔ１を仮想投影面Ｓｐに投影すると、物体Ｔ１が底面Ｓｐｇおよび側面Ｓｐｓに跨がって表示され、実際の物体Ｔ１より大きい（長い）仮想投影画像Ｉｐ１が表示され、表示装置８（図３参照）には、実際の物体Ｔ１より大きな物体が存在するように表示されることがある。
そこで、物体位置取得部３８は、測距部１６や測距部１７（図３参照）によって車両１の周囲に物体が検出された場合、その物体の位置、例えば、物体Ｔ１までの距離を取得する。そして、可変設定部４０は、物体位置取得部３８が取得した物体Ｔ１の位置から側面Ｓｐｓ３が立ち上がるような仮想投影面Ｓｐを投影面取得部２８が取得するように設定する。上述したように、可変設定部４０は、ＲＯＭ１４ｂやＳＳＤ１４ｆに底面Ｓｐｇの広さが異なる仮想投影面Ｓｐ（車両形状モデルＭからの側面Ｓｐｓの立上り位置が異なる仮想投影面Ｓｐ）を複数記憶している場合は、投影面取得部２８が、物体Ｔ１までの距離に対応する仮想投影面Ｓｐを読み出してくるように制御信号を送出する。また、可変設定部４０は、物体位置取得部３８が取得した物体Ｔ１の位置に応じて、その位置から立ち上がる側面Ｓｐｓ３を持つ仮想投影面Ｓｐを規定する三次元形状モデルを算出して、投影面取得部２８に提供するようにしてもよい。この場合、物体Ｔ１は、側面Ｓｐｓ３に投影され、底面Ｓｐｇには実質的に投影されないので、より実物のイメージに近い大きさ（高さ）の仮想投影画像Ｉｐ２を三次元の仮想空間内に表示することができる。そして、撮像部１５ｄ（第２撮像部）の延長線Ｑ２と地面Ｇｒとの交点と、撮像部１５ｃ（第１撮像部）の延長線Ｑ３と地面Ｇｒの交点とが、ほぼ同じ位置Ｒとなるように、補正後の点Ｓ１の三次元座標（Ｘ０，Ｙ１，Ｚ０）に対応する第１画像Ｐ１の二次元座標（Ｕ，Ｖ）を点Ｓ０の三次元座標（Ｘ０，Ｙ０，Ｚ０）の位置に投影する。その結果、実物の物体Ｔ１の大きさを認識しやすく、かつ高さ方向の表示ずれが軽減された、より違和感が軽減された三次元の周辺画像の表示が可能になる。つまり、さらに品質の高い周辺画像の表示が可能になる。
なお、ＥＣＵ１４は、測距部１６，１７によって物体Ｔ１が検出された場合に、その物体Ｔ１の存在を表示装置８や音声出力装置９を介して報知してもよい。また、仮想投影面Ｓｐの側面Ｓｐｓが物体Ｔ１の位置に設定されたことを報知してもよい。また、物体Ｔ１の検出は、測距部１６，１７に代えて、例えば、画像認識によって行ってもよい。例えば、撮像部１５をステレオカメラで構成すれば、周知の画像処理により物体Ｔ１までの距離を検出できる。
なお、上述した実施形態では、車両１の前方を臨む三次元の周辺画像を表示する例を示した。表示制御システム１００は、例えば操作入力部１０の操作等により視点Ｅｐの位置を変更可能であり、より高い視点Ｅｐから見下ろしたような三次元の俯瞰表示や、より低い視点Ｅｐからほぼ水平を臨む三次元の周辺画像の表示が可能である。同様に、視点Ｅｐを車両１の前方に設定して注視点Ｅｎを車両１の後方に設定すれば、車両１の後方を臨む三次元の周辺画像を表示することが可能である。この場合、第１画像Ｐ１として撮像部１５ａが撮像した画像を用い、第２画像Ｐ２として撮像部１５ｂおよび撮像部１５ｄが撮像した画像を用いることにより、前方を表示する場合と同様の効果を得ることができる。
上述した例では、イグニッションスイッチがＯＮされる度に、補正部３０が各撮像部１５の高さ位置に基づく高さ比を算出して、第１画像の投影位置を補正するときに用いる点Ｓ１の三次元座標（Ｘ０，Ｙ１，Ｚ０）の算出を行う例を示した。各撮像部１５の高さ位置は、車両の製造工場やディーラ等で固定され、それ以降は撮像部１５の修理や交換等以外は一般的には変更されない。したがって、製造工場やディーラ等で予め各撮像部１５の高さ位置に基づく高さ比を用い、例えば第１画像の投影位置を補正するときに用いる点Ｓ１の三次元座標（Ｘ０，Ｙ１，Ｚ０）を算出し、対応する二次元座標（Ｕ，Ｖ）をＲＯＭ１４ｂやＳＳＤ１４ｆに保存しておいてもよい。この場合、ＥＣＵ１４の処理負担が軽減され、比較的性能の低いＥＣＵ１４の利用も可能になり、ＥＣＵ１４を選定する際の選択範囲が広がったり、低コストのＥＣＵ１４の利用が可能になったりする利点がある。
上述した実施形態では、仮想投影面Ｓｐは、底面Ｓｐｇと側面Ｓｐｓとで構成される例を示したが、他の実施形態においては、仮想投影面Ｓｐが側面Ｓｐｓだけで構成されていてもよい。つまり、表示装置８に表示される画像は、車両１から所定距離離れた位置の立上り面のみが表示される。この場合、補正部３０は、第１撮像部（例えば撮像部１５ｃ）の第一の高さ位置（第１高さＨ１）と第２撮像部（例えば、撮像部１５ｂ，１５ｄ）の第二の高さ位置（第２高さＨ２）の差（違い）を用いて、側面Ｓｐｓ（仮想投影面Ｓｐ）に投影する画像の内容（投影位置）を補正してもよい。この場合も、側面Ｓｐｓ（仮想投影面Ｓｐ）の形状は変更されないため、表示される三次元合成画像の外縁部等の形状に変化はなく、表示画像の商品性の低下を伴うことなく、高さ方向の画像内容の表示ずれを軽減することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１…車両、８…表示装置、１０…操作入力部、１４…ＥＣＵ、１４ａ…ＣＰＵ、１５…撮像部、１５ｂ，１５ｄ…撮像部（第２撮像部）、１５ｃ…撮像部（第１撮像部）、１６，１７…測距部、２６…画像取得部、２８…投影面取得部、３０…補正部、３２…画像合成部、３４…三次元処理部、３６…周辺画像生成部、３８…物体位置取得部、４０…可変設定部、１００…表示制御システム、Ｈ１…第１高さ（第一の高さ位置）、Ｈ２…第２高さ（第二の高さ位置）、Ｓｐ…仮想投影面、Ｐ１…第１画像、Ｐ２…第２画像。

Claims (3)

  1. 車両の第一の高さ位置に設けられて前記車両の周囲のうち第一の方向の状況を撮像する第１撮像部から得られる第１画像と、前記第一の高さ位置とは異なる第二の高さ位置に設けられて前記第一の方向とは異なる第二の方向の状況を撮像する第２撮像部から得られる第２画像と、を取得する画像取得部と、
    前記第１画像および前記第２画像を投影可能で、前記車両の接地面から高さ方向に立ち上がる側面を少なくとも備える三次元の仮想投影面を取得する投影面取得部と、
    前記第１撮像部の位置から前記仮想投影面を臨んだ場合に前記仮想投影面に投影する前記第１画像の高さ方向の投影位置と、前記第２撮像部の位置から前記仮想投影面を臨んだ場合に前記仮想投影面に投影する前記第２画像の高さ方向の投影位置とのうち少なくとも一方を前記第一の高さ位置と前記第二の高さ位置との差に基づき、前記第１画像の内容と前記第２画像の内容とが整合するように補正する補正部と、
    補正によって高さ方向の整合が取れた前記第１画像と前記第２画像を含む三次元合成画像を生成する画像合成部と、
    を備える表示制御装置。
  2. 前記補正部は、前記第一の高さ位置と前記第二の高さ位置との高さ比に基づき、前記投影位置を補正する請求項１に記載の表示制御装置。
  3. さらに、前記車両の周囲に存在する物体の位置を検出可能な位置検出部を備え、
    前記投影面取得部は、前記物体の位置に対応する位置に前記側面を備える前記仮想投影面を取得する請求項１または請求項２に記載の表示制御装置。
JP2017150671A 2017-08-03 2017-08-03 表示制御装置 Active JP7039879B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017150671A JP7039879B2 (ja) 2017-08-03 2017-08-03 表示制御装置
US16/632,930 US11383642B2 (en) 2017-08-03 2018-02-21 Display control apparatus
EP18842006.1A EP3664014B1 (en) 2017-08-03 2018-02-21 Display control device
PCT/JP2018/006260 WO2019026320A1 (ja) 2017-08-03 2018-02-21 表示制御装置
CN201880048325.3A CN110945558B (zh) 2017-08-03 2018-02-21 显示控制装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017150671A JP7039879B2 (ja) 2017-08-03 2017-08-03 表示制御装置

Publications (2)

Publication Number Publication Date
JP2019028920A JP2019028920A (ja) 2019-02-21
JP7039879B2 true JP7039879B2 (ja) 2022-03-23

Family

ID=65233362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017150671A Active JP7039879B2 (ja) 2017-08-03 2017-08-03 表示制御装置

Country Status (5)

Country Link
US (1) US11383642B2 (ja)
EP (1) EP3664014B1 (ja)
JP (1) JP7039879B2 (ja)
CN (1) CN110945558B (ja)
WO (1) WO2019026320A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018131165A1 (ja) * 2017-01-16 2018-07-19 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
WO2019038901A1 (ja) * 2017-08-25 2019-02-28 株式会社ソシオネクスト 補正装置、補正プログラム及び記録媒体
JP6909151B2 (ja) * 2017-12-28 2021-07-28 アルパイン株式会社 車載システム
DE102018214875A1 (de) * 2018-08-31 2020-03-05 Audi Ag Verfahren und Anordnung zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs und Fahrzeug mit einer solchen Anordnung
WO2020068960A1 (en) * 2018-09-26 2020-04-02 Coherent Logix, Inc. Any world view generation
JP7000383B2 (ja) * 2019-07-04 2022-01-19 株式会社デンソー 画像処理装置および画像処理方法
US11948315B2 (en) * 2020-12-31 2024-04-02 Nvidia Corporation Image composition in multiview automotive and robotics systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5648746B2 (ja) 2011-07-12 2015-01-07 日産自動車株式会社 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法
WO2015194501A1 (ja) 2014-06-20 2015-12-23 クラリオン株式会社 映像合成システムとそのための映像合成装置及び映像合成方法
JP2016225865A (ja) 2015-06-01 2016-12-28 東芝アルパイン・オートモティブテクノロジー株式会社 俯瞰画像生成装置
WO2017056989A1 (ja) 2015-09-30 2017-04-06 アイシン精機株式会社 車両用画像処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
US7741961B1 (en) * 2006-09-29 2010-06-22 Canesta, Inc. Enhanced obstacle detection and tracking for three-dimensional imaging systems used in motor vehicles
JP2008309519A (ja) * 2007-06-12 2008-12-25 Panasonic Corp 画像処理を用いた物体検出装置
JP5057936B2 (ja) * 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
WO2010051979A1 (de) * 2008-11-05 2010-05-14 Johnson Controls Gmbh Fahrzeuganzeigesystem bzw. projektionsdisplay für ein kraftfahrzeug und verfahren zur kalibrierung
JP5483120B2 (ja) * 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5648746B2 (ja) 2011-07-12 2015-01-07 日産自動車株式会社 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法
WO2015194501A1 (ja) 2014-06-20 2015-12-23 クラリオン株式会社 映像合成システムとそのための映像合成装置及び映像合成方法
JP2016225865A (ja) 2015-06-01 2016-12-28 東芝アルパイン・オートモティブテクノロジー株式会社 俯瞰画像生成装置
WO2017056989A1 (ja) 2015-09-30 2017-04-06 アイシン精機株式会社 車両用画像処理装置

Also Published As

Publication number Publication date
EP3664014B1 (en) 2022-08-10
US20200238907A1 (en) 2020-07-30
CN110945558B (zh) 2023-06-06
EP3664014A1 (en) 2020-06-10
JP2019028920A (ja) 2019-02-21
EP3664014A4 (en) 2020-07-08
US11383642B2 (en) 2022-07-12
WO2019026320A1 (ja) 2019-02-07
CN110945558A (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
JP7039879B2 (ja) 表示制御装置
JP6115104B2 (ja) 車両の制御装置、及び制御方法
EP3687165B1 (en) Display control device
US11440475B2 (en) Periphery display control device
EP3002727B1 (en) Periphery monitoring apparatus and periphery monitoring system
JP7091624B2 (ja) 画像処理装置
CN110997409B (zh) 周边监控装置
CN110877573A (zh) 车辆周边显示装置
JP6554866B2 (ja) 画像表示制御装置
JP6876236B2 (ja) 表示制御装置
JP7013751B2 (ja) 画像処理装置
JP7009785B2 (ja) 周辺監視装置
JP2022023870A (ja) 表示制御装置
JP7314518B2 (ja) 周辺監視装置
JP6965563B2 (ja) 周辺監視装置
JP2022009331A (ja) 周辺監視装置
JP2021064149A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220221

R150 Certificate of patent or registration of utility model

Ref document number: 7039879

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150