JP2024052375A - 表示システム - Google Patents

表示システム Download PDF

Info

Publication number
JP2024052375A
JP2024052375A JP2022159054A JP2022159054A JP2024052375A JP 2024052375 A JP2024052375 A JP 2024052375A JP 2022159054 A JP2022159054 A JP 2022159054A JP 2022159054 A JP2022159054 A JP 2022159054A JP 2024052375 A JP2024052375 A JP 2024052375A
Authority
JP
Japan
Prior art keywords
image
vehicle
unit
display
surroundings
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022159054A
Other languages
English (en)
Inventor
麻未 久保（葛谷）
博基 石塚
和也 海野
貴洋 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai Rika Co Ltd
Original Assignee
Tokai Rika Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai Rika Co Ltd filed Critical Tokai Rika Co Ltd
Priority to JP2022159054A priority Critical patent/JP2024052375A/ja
Priority to PCT/JP2023/028192 priority patent/WO2024070202A1/ja
Publication of JP2024052375A publication Critical patent/JP2024052375A/ja
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Abstract

【課題】リアルタイムの移動体周囲の視界及び移動体底面の視界を確保することができる表示システムを得る。【解決手段】表示システム１０は、移動体２０と表示装置３０とを備える。移動体２０は、移動体２０の周囲を撮影して移動体周囲画像を取得する周囲撮影部２２と、移動体２０の車体の下側を撮影して移動体底面画像を取得する下側撮影部２３とを含む。表示装置３０は表示部３２を含む。移動体２０又は表示装置３２は、移動体周囲画像と移動体底面画像とを合成して合成画像を生成する合成画像生成部２４Ｂを含む。移動体２０及び表示装置３２は各々画像を送受信する通信部を含む。【選択図】図１

Description

本発明は、表示システムに関する。
特許文献１には、車両底部の直下の撮影画像に基づく画像を表示装置に表示させるための車両直下画像表示制御装置が開示されている。この車両直下画像表示制御装置においては、後方監視カメラにより撮影された後方撮影画像を用いて車両周辺の鳥瞰画像が生成され、直下監視カメラにより撮影された直下撮影画像を用いて車両直下の鳥瞰画像が生成されている。
特開２００６－２７９７５２号公報
しかしながら、特許文献１に記載された車両直下画像表示制御装置においては、車両周辺の鳥瞰画像及び車両直下の鳥瞰画像を生成する際に、過去の後方撮影画像と現在の後方撮影画像を合成し、かつ過去の直下撮影画像と現在の直下撮影画像とを合成している。そのため、リアルタイム（即時）の車両周辺の鳥瞰画像及び車両直下の鳥瞰画像を取得し難いという問題がある。
本発明は、上記事実を考慮して、リアルタイムの移動体周囲の視界及び移動体底面の視界を確保することができる表示システムを得ることが目的である。
本発明の第１の態様の表示システムは、移動体の周囲を撮影して移動体周囲画像を取得する周囲撮影部と、前記移動体の下側を撮影して移動体底面画像を取得する下側撮影部と、を含む移動体と、表示部を含む表示装置と、前記移動体又は前記表示装置に含まれ、前記周囲撮影部により取得された移動体周囲画像と前記下側撮影部により取得された移動体底面画像とを合成して合成画像を生成する合成画像生成部と、前記移動体及び前記表示装置に各々含まれ、画像データを送信又は受信する通信部と、を備える。
本発明の第１の態様の表示システムによれば、移動体又は表示装置に含まれる合成画像生成部は、移動体周囲画像と移動体底面画像とを合成して合成画像を生成する。そのため、合成画像生成部により生成された合成画像は、リアルタイムで周囲撮影部により取得された移動体周囲画像及びリアルタイムで下側撮影部により取得された移動体底面画像を含んでいるので、リアルタイムの移動体周囲の視界及び移動体底面の視界を確保することができる。
また、本発明の第２の態様の表示システムは、第１の態様の表示システムにおいて、前記移動体は、前記合成画像生成部を含み、前記移動体側の前記通信部は、前記合成画像生成部により生成された前記合成画像を送信する送信部を含んで、前記表示装置側の前記通信部は、前記送信部から送信された前記合成画像を受信する受信部を含む。
本発明の第２の態様の表示システムによれば、移動体において合成画像を生成し、生成した合成画像を送信部によって表示装置に送信している。また、表示装置側では受信部によって合成画像を受信している。そのため、合成画像において、移動体周囲画像と移動体底面画像とを合わせた総データ量よりも小さいデータ量となるように移動体周囲画像と移動体底面画像とを合成することにより、移動体周囲画像及び移動体底面画像をそのまま送受信する場合と比較して送信するデータ量を削減することができる。
また、本発明の第３の態様の表示システムは、第１の態様の表示システムにおいて、前記移動体側の前記通信部は、前記周囲撮影部により取得された前記移動体周囲画像及び前記下側撮影部により取得された前記移動体底面画像を送信する送信部を含み、前記表示装置側の前記通信部は、前記送信部から送信された前記移動体周囲画像及び前記移動体底面画像を受信する受信部を含んで、前記表示装置は、前記合成画像生成部を含む。
本発明の第３の態様の表示システムによれば、移動体が移動体周囲画像及び移動体底面画像を送信し、表示装置が送信された移動体周囲画像及び移動体底面画像を受信している。また、表示装置において受信した移動体周囲画像及び移動体底面画像を合成して合成画像を生成している。そのため、移動体側において合成処理をしないのでその分速く表示装置側で移動体周囲画像及び移動体底面画像を受信することができる。これにより、例えば移動体よりも表示装置の方がより処理能力が高い場合には、より速く表示部に画像を表示させることができる。
また、本発明の第４の態様の表示システムは、第１の態様又は第２の態様の表示システムにおいて、前記周囲撮影部が複数の前記移動体周囲画像を取得する場合、前記合成画像生成部は、全ての隣接する前記移動体周囲画像及び前記移動体底面画像を各々オーバラップさせて合成する。
本発明の第４の態様の表示システムによれば、合成画像は全ての隣接する移動体周囲画像及び移動体底面画像を各々オーバラップさせて合成されるので、隣接する画像の境界部においても被写体が連続して映り込む。そのため、合成画像には移動体周囲及び移動体底面の全方位において画像情報が存在するので、移動体周囲の視界及び移動体底面の視界を途切れることなく連続して確保することができる。
また、本発明の第５の態様の表示システムは、第１の態様又は第２の態様の表示システムにおいて、前記周囲撮影部が複数の前記移動体周囲画像を取得し、前記下側撮影部が１枚の前記移動体底面画像を取得する場合、前記合成画像生成部は、前記移動体底面画像を全ての前記移動体周囲画像と各々オーバラップさせて合成する。
本発明の第５の態様の表示システムによれば、移動体底面画像が１枚の場合、合成画像は移動体底面画像を全ての移動体周囲画像に各々オーバラップさせて合成されるので、移動体底面と移動体周囲との水平方向の全周囲の境界部においても被写体が連続して映り込む。そのため、合成画像には移動体周囲と移動体底面の境界部において画像情報が存在するので、移動体周囲と移動体底面との境界部における視界を途切れることなく連続して確保することができる。
また、本発明の第６の態様の表示システムは、第１の態様又は第２の態様の表示システムにおいて、前記周囲撮影部が複数の前記移動体周囲画像を取得し、前記下側撮影部が２枚の前記移動体底面画像を取得する場合、前記合成画像生成部は、複数の前記移動体周囲画像を少なくとも一方の前記移動体底面画像と各々オーバラップさせて合成する。
本発明の第６の態様の表示システムによれば、移動体底面画像が２枚の場合、合成画像は複数の移動体周囲画像を少なくとも一方の移動体底面画像に各々オーバラップさせて合成されるので、移動体底面と移動体周囲との水平方向の全周囲の境界部において被写体が連続して映り込む。そのため、合成画像には移動体周囲と移動体底面との水平方向の全周囲の境界部において画像情報が存在するので、移動体周囲と移動体底面との境界部における視界を途切れることなく連続して確保することができる。
また、本発明の第７の態様の表示システムは、第１の態様～第６の態様の何れかの表示システムにおいて、前記下側撮影部が複数の前記移動体底面画像を取得する場合、前記合成画像生成部は、隣接する前記移動体底面画像をオーバラップさせて合成する。
本発明の第７の態様の表示システムによれば、移動体底面画像が複数枚である場合、合成画像は隣接する移動体底面画像をオーバラップさせて合成されるので、移動体底面において隣接する移動体底面画像の境界部では被写体が連続して映り込む。そのため、合成画像には移動体底面の全方位において画像情報が存在するので移動体底面の視界を途切れることなく連続して確保することができる。
また、本発明の第８の態様の表示システムは、第１の態様～第７の態様の何れかの表示システムにおいて、前記表示装置が、前記受信部により受信された前記合成画像から前記表示部に表示する表示画像を生成する表示画像生成部を含む。
本発明の第８の態様の表示システムによれば、表示装置は、受信部により受信された合成画像から表示部に表示する表示画像を生成する表示画像生成部を含んでいる。そのため、表示装置側において、表示画像生成部は合成画像から表示部に表示する表示画像を生成できるので、表示装置の操作者の所望する視点や表示態様での表示画像を表示部に表示することができる。
また、本発明の第９の態様の表示システムは、第１の態様～第８の態様の何れかの表示システムにおいて、前記移動体周囲画像及び前記移動体底面画像には、前記移動体の一部が含まれている。
本発明の第９の態様の表示システムによれば、移動体周囲画像及び移動体底面画像には、移動体の一部が含まれているので、合成画像において移動体の周囲及び移動体の底面における死角の発生を防止することができる。
以上説明したように、本発明の表示システムによれば、リアルタイムの移動体周囲の視界及び移動体底面の視界を確保することができるという優れた効果を有する。
本発明の第１実施形態に係る表示システムのハードウェア構成を示すブロック図である。 車両の周囲を撮影するカメラが配置される位置を示す上面図である。 カメラにより撮影された車両周囲画像の一例を示す図である。 車両の下側を撮影するカメラが配置される位置を示す左側面図である。 画像の合成方法を説明するための説明図である。 エクイレクタングラー形式の合成画像を説明するための説明図である。 全天球画像において、エクイレクタングラーから球体への形式の変換を説明するための説明図である。 表示部に表示される表示画像の一例を示す図である。 表示部に表示される表示画像の一例を示す図である。 表示部に表示される表示画像の一例を示す図である。 表示部に表示される表示画像の一例を示す図である。 表示部に表示される表示画像の一例を示す図である。 表示部に表示される表示画像の一例を示す図である。 車両周囲画像と２枚の車両底面画像の合成方法を説明するための説明図である。 本発明の第２実施形態に係る表示システムのハードウェア構成を示すブロック図である。
図１～図１３を用いて本発明の第１実施形態に係る表示システム１０について説明する。なお、以下の説明において前後左右上下の方向を示して説明するときは、車両の前後左右上下の方向を示すものとする。
図１は本発明の第１実施形態に係る表示システム１０のハードウェア構成を示すブロック図である。図１に示されるように、本実施形態の表示システム１０は、移動体としての車両２０、及び車両２０に搭載された表示装置３０を含んで構成されている。本実施形態において、車両２０は、手動運転と自動運転とを切り替え可能に構成されており、乗員が車両２０を手動運転する場合には、乗員の運転操作を支援する公知の運転支援機能等が設けられている。
図１に示されるように、車両２０は、周囲撮影部２２、下側撮影部としての下方カメラ２３、画像処理装置２４、車両制御装置２６、及び通信部２８を備えている。本実施形態の周囲撮影部２２は、一例として、前方カメラ２２Ａ、右前方カメラ２２Ｂ、右側方カメラ２２Ｃ、右後方カメラ２２Ｄ、後方カメラ２２Ｅ、左後方カメラ２２Ｆ、左側方カメラ２２Ｇ、及び左前方カメラ２２Ｈの８つのカメラを備えている。
この８つのカメラ２２Ａ～２２Ｈ及び下方カメラ２３は、一例として、各々１８０度よりも大きい画角を有する円周魚眼レンズが使用されている。円周魚眼レンズにより撮影された撮影画像は、魚眼画像であり、撮影範囲の中央付近の被写体は大きく写り、撮影範囲の周囲の被写体は小さく写る特徴があって、撮影範囲は円形状の画像で表されている。なお、本実施形態において「撮影画像」は、静止画であってもよいし、動画であってもよい。
図２は車両２０の周囲を撮影する８つのカメラ２２Ａ～２２Ｈが車両２０に配置される位置を示す上面図、図３は８つのカメラ２２Ａ～２２Ｈにより撮影された車両周囲画像Ｐ１～Ｐ８の一例を示す図である。図２及び図３に示されるように、前方カメラ２２Ａは車両２０の前部に搭載され、前方カメラ２２Ａで撮影された車両周囲画像Ｐ１には車両２０の前方が映り込む。また、右前方カメラ２２Ｂは車両２０の右前部に搭載され、右前方カメラ２２Ｂで撮影された車両周囲画像Ｐ２には車両２０の右前方が映り込む。右側方カメラ２２Ｃは車両２０の右側部のミラーに搭載され、右側方カメラ２２Ｃで撮影された車両周囲画像Ｐ３には車両２０の右側方が映り込む。また、右後方カメラ２２Ｄは車両２０の右後部に搭載され、右後方カメラ２２Ｄで撮影された車両周囲画像Ｐ４には車両２０の右後方が映り込む。
後方カメラ２２Ｅは車両２０の後部に搭載され、後方カメラ２２Ｅで撮影された車両周囲画像Ｐ５には車両２０の後方が映り込む。また、左後方カメラ２２Ｆは車両２０の左後部に搭載され、左後方カメラ２２Ｆで撮影された車両周囲画像Ｐ６には車両２０の左後方が映り込む。左側方カメラ２２Ｇは車両２０の左側部のミラーに搭載され、左側方カメラ２２Ｇで撮影された車両周囲画像Ｐ７には車両２０の左側方が映り込む。また、左前方カメラ２２Ｈは車両２０の左前部に搭載され、左前方カメラ２２Ｈで撮影された車両周囲画像Ｐ８には車両２０の左前方が映り込む。
本実施形態においては一例として、周囲撮影部２２の８つのカメラ２２Ａ～２２Ｈは、各々隣接するカメラの撮影領域が重なる重複部分が形成されるように撮影範囲が設定されている。すなわち、車両周囲画像Ｐ１は、右端部に車両周囲画像Ｐ２と共通する被写体が、左端部に車両周囲画像Ｐ８と共通する被写体がそれぞれ映り込んでいる。
同様にして、車両周囲画像Ｐ２～Ｐ８も、各々左右端部において隣接する車両周囲画像と共通する被写体がそれぞれ映り込んでいる。また、撮影画像Ｐ１～Ｐ８においては、車両２０の一部が映り込んでいる。上述したように構成された周囲撮影部２２によって、車両２０の水平方向の全周囲（全方位）Ｓが撮影される。
図４は車両２０の下側を撮影する下方カメラ２３が配置される位置を示す左側面図である。図４に示されるように、下方カメラ２３は車両２０の前部の下側に搭載され、下方カメラ２３で撮影された車両底面画像Ｐ９（図示省略）には車両２０の車体の底面２０Ａ及び車両２０が位置する地面Ｇ（道路等も含む）が映り込む。本実施形態においては一例として、車両周囲画像Ｐ１～Ｐ８の各々の下端部に、車両底面画像Ｐ９と共通する被写体が映り込んでいる。言い換えると、車両底面画像Ｐ９の周縁部には、車両周囲画像Ｐ１～Ｐ８の何れかと共通する被写体が映り込んでいる。
図１に示されるように、画像処理装置２４は車両２０に搭載されている。画像処理装置２４は、図示は省略するが、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：プロセッサ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びストレージ等を含んで構成されており、各構成は、バスを介して相互に通信可能に接続されている。ＣＰＵは、ＲＯＭ又はストレージからプログラムを読み出し、ＲＡＭを作業領域としてプログラムを実行する。
また、画像処理装置２４は、機能構成として画像取得部２４Ａ及び合成画像生成部２４Ｂを備えており、画像取得部２４Ａ及び合成画像生成部２４Ｂは、上記ＣＰＵが、ＲＯＭ又はストレージからプログラムを読み出し、ＲＡＭを作業領域としてプログラムを実行することにより実行される。
画像取得部２４Ａは、周囲撮影部２２の８つのカメラ２２Ａ～２２Ｈにより各々撮影された８枚の車両周囲画像Ｐ１～Ｐ８と、下方カメラ２３により撮影された車両底面画像Ｐ９を各々表す画像データを取得する。なお、本実施形態においては、一例として、１枚の撮影画像は約２００万画素で構成されている。なお、撮影画像の画素数は、使用するカメラの性能等により適宜変更することができる。
合成画像生成部２４Ｂは、画像取得部２４Ａにより取得された画像データが各々表す８枚の車両周囲画像Ｐ１～Ｐ８と車両底面画像Ｐ９とを合成して合成画像ＣＰを生成する。本実施形態においては、合成画像ＣＰは、撮影地点である車両２０から見渡すことができる全ての方向すなわち車両全周囲（全方位）を表す全天球画像とする。
合成画像生成部２４Ｂには、８つのカメラ２２Ａ～２２Ｈにより各々撮影された８枚の車両周囲画像Ｐ１～Ｐ８と下方カメラ２３により撮影された車両底面画像Ｐ９とを全天球画像に変換するために必要な情報が予め記憶されている。この情報としては、９つのカメラ２２Ａ～２２Ｈ及び下方カメラ２３各々の円周魚眼レンズの物理的な配置関係を表す位置情報、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９の像高と円周魚眼レンズの入射角との関係を表す射影情報、８つのカメラ２２Ａ～２２Ｈ及び下方カメラ２３の撮影方向を示す情報、及び円周魚眼レンズの特性を表す情報等がある。これらの情報は予めキャリブレーションすることによって導出されている。
合成画像生成部２４Ｂは、魚眼画像である８枚の車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９から、上記必要な情報に基づいて公知の技術により投影変換を行って合成し、合成画像ＣＰを生成する。ここで、本実施形態においては、合成画像ＣＰを合成する際に、上述した重複部分をオーバラップさせている。
図５において、例えば車両周辺画像Ｐ６を一例として説明すると、車両周辺画像Ｐ６と車両周辺画像Ｐ５との重複部分は網掛で示される第１領域ＯＶ１で示され、車両周辺画像Ｐ６と車両周辺画像Ｐ７との重複部分は網掛で示される第２領域ＯＶ２で示される。合成画像生成部２４Ｂは、この重複部分を画素単位でオーバラップさせることにより、車両周辺画像Ｐ１～Ｐ８を合成する。なお、オーバラップの方法については、公知の技術を使用することができる。
また、合成された車両周辺画像Ｐ１～Ｐ８に車両底面画像Ｐ９が合成される。本実施形態においては、車両底面画像Ｐ９の周縁部に、車両周囲画像Ｐ１～Ｐ８と各々共通する被写体が映り込んでいるため、この共通する被写体が映り込んでいる範囲が、隣接する撮影領域が重なる重複部分となる。図５において、例えば車両周辺画像Ｐ６を一例として説明すると、車両周辺画像Ｐ６と車両底面画像Ｐ９との重複部分は斜め斜線で示される第３領域ＯＶ３で示される。合成画像生成部２４Ｂは、この重複部分を画素単位でオーバラップさせることにより、車両周辺画像Ｐ１～Ｐ８の下側に車両底面画像Ｐ９を合成する。なお、オーバラップの方法については、公知の技術を使用することができる。
図６はエクイレクタングラー形式（正距円筒図法）の合成画像を説明するための説明図である。ここで、エクイレクタングラー形式の合成画像は、縦方向と横方向との比率が１：２となる画像である。エクイレクタングラー形式は、縦方向と横方向が１：２の比率の長方形の合成画像を球体状のスクリーンに貼り付けて、その中央から合成画像を見たときに、３６０度が正しく見える形式である。
本実施形態においては、合成画像生成部２４Ｂは、エクイレクタングラー形式の合成画像ＣＰ、すなわち縦方向と横方向との比率が１：２となる合成画像ＣＰを生成している。なお、エクイレクタングラー形式の合成画像ＣＰは、平面状態の全天球画像である。本実施形態においては、一例として、合成画像ＣＰは、３８４０×１９２０ピクセル、すなわち約７４０万画素の画像データで構成する。なお、合成画像ＣＰの画素数は、後述する表示装置３０の表示部３２の性能に合わせて適宜変更することができる。
全天球画像は、図６の右図に示されるように、所定軸周りの角度座標を含む座標系で表される画像であり、動径を定数ｎ（例えば１）として、ｐｉｔｃｈ方向の軸に対してなされる垂直角度φと、ｙａｗ方向の軸周りの回転角に対応する水平角度λとを座標とした画素値の配列として表現される。垂直角度φは、－９０度～＋９０度（あるいは０度～１８０度）の範囲となり、水平角度λは、－１８０度～＋１８０度（あるいは０度～３６０度）の範囲となる。
合成画像生成部２４Ｂは、合成画像ＣＰの横方向は車両２０の水平方向の全周囲すなわち３６０度を表しているので、合成された車両周囲画像Ｐ１～Ｐ８の横方向と一致している。また、合成された車両周囲画像Ｐ１～Ｐ８の下方向の端部には車両底面画像Ｐ９が合成されており、車両底面画像Ｐ９の下端が合成画像ＣＰの下方向の下端と一致している。本実施形態においては、車両２０の直上方向は車両周辺画像Ｐ１～Ｐ８に映り込んでいない。そのため、車両周辺画像Ｐ１～Ｐ８の上方側の画角を予め記憶している情報から読み出し、読み出した画角に応じて合成された車両周囲画像Ｐ１～Ｐ８の上端の座標の位置が決定されている。
なお、カメラ２２Ａ～２２Ｈにより撮影されていない車両２０の直上方向の領域に対応する座標については、図６に示されるようにブランクとして一律の画素値により示される。本実施形態においては一例として、黒色を表す画素値で示し、この黒色の領域をブランク画像ＢＰとする。車両周辺画像Ｐ１～Ｐ８の上方側の画角が大きい程ブランク画像ＢＰのｐｉｔｃｈ方向（縦方向）の幅は狭くなる。このようにして合成画像生成部２４Ｂは合成画像ＣＰを生成している。
図１に戻り、車両制御装置２６は、車両２０に搭載された各種センサ（図示省略）により検出された情報、及び周囲撮影部２２により撮影された車両周囲画像Ｐ１～Ｐ８及び下方カメラ２３により撮影された車両底面画像Ｐ９に基づいて車両２０の自動運転を制御する装置である。車両制御装置２６は、公知の技術を使用することができる。
また、車両制御装置２６は、一例として、正常時走行モード、異常時走行モード、及び復帰時走行モード等の各種モードを設定可能に構成されている。車両制御装置２６は、上述したセンサにより検出された情報、並びに車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９に基づいて、上記各モードを自動的に選択して車両２０を走行させる。車両制御装置２６は、正常時に正常時走行モードを選択し、例えば異常と判断する対象を自動運転システムの通知情報や上記センサによるセンシングにて検出した場合等に異常時走行モードを選択する。具体的には、車両制御装置２６により異常時走行モードが選択されると、車両２０は停止される。
また、復帰時走行モードは、車両２０が停止後に走行を開始する際に車両制御装置２６により選択される。具体的には、車両制御装置２６は、自動運転システムや上記センサによるセンシングによって車両２０に異常がないこと確認させるか、又は表示装置３０を介して、乗員に異常時状態であることを報知するための信号を送信する。
車両制御装置２６は、車両２０の走行状況、すなわち現在選択されているモードを、通信部２８を介して表示装置３０に送信する。
通信部２８は、外部装置と通信するためのインターフェイスであり、合成画像生成部２４Ｂにより生成された合成画像ＣＰを送信する送信部としても機能する。また、通信部２８は、車両２０の走行状況、すなわち現在選択されているモードを送信する送信部としても機能する。
次に、表示装置３０について説明する。図１に示されるように、表示装置３０は、表示部３２、表示制御装置３４、通信部３６、及び記録部３８を備えている。表示部３２は、図示は省略するが、一例として、車両２０の車室内において乗員から視認可能な位置に設置されている。
表示部３２には、車両２０から受信した合成画像ＣＰに基づいて生成された表示画像ＨＰが表示される。なお、合成画像ＣＰをそのまま表示させることもできる。
本実施形態において、表示部３２、一例として、４Ｋ解像度に対応した映像が表示可能な性能を有しているが、表示部の性能はこれに限られず、４Ｋよりも低解像度又は４Ｋよりも高解像度の映像が表示可能な性能を有していてもよいし適宜変更可能である。
通信部３６は、外部装置と通信するためのインターフェイスであり、車両２０の通信部２８から送信された合成画像ＣＰを受信する受信部としても機能する。ここで、車両２０の通信部２８と表示装置３０の通信部３６は、車両２０の車室内に配線された有線ケーブル（図示省略）によって通信されてもよいし、ネットワークを経由して互いに通信されてもよい。ネットワークは、ｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の狭域無線通信モジュールや、４Ｇ、ＬＴＥ、５Ｇ等の広域無線通信モジュールであるモバイル回線等で構成される。
記録部３８は、フラッシュメモリ等の不揮発性のメモリであり、通信部３６により受信された合成画像ＣＰを記録する。また車両２０の通信部２８から送信された車両２０の走行状態や車速度及び操舵角等、各種データを記録する。
表示制御装置３４は、表示部３２へ画像や情報等を表示させる装置であり、図示は省略するが、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：プロセッサ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びストレージ等を含んで構成されている。各構成は、バスを介して相互に通信可能に接続されている。ＣＰＵは、ＲＯＭ又はストレージからプログラムを読み出し、ＲＡＭを作業領域としてプログラムを実行する。
また、表示制御装置３４は、機能構成として合成画像取得部３４Ａ及び表示画像生成部３４Ｂを備えており、合成画像取得部３４Ａ及び表示画像生成部３４Ｂは、上記ＣＰＵが、ＲＯＭ又はストレージからプログラムを読み出し、ＲＡＭを作業領域としてプログラムを実行することにより実行される。
合成画像取得部３４Ａは、通信部３６により受信された合成画像ＣＰを取得して、記録部３８に記憶させる。
表示画像生成部３４Ｂは、表示装置３０の表示部３２に表示させる表示画像ＨＰを生成する。具体的には、表示画像生成部３４Ｂは合成画像ＣＰに基づいて表示画像ＨＰを生成する。
図７は全天球画像において、エクイレクタングラーから球体への形式の変換を説明するための説明図である。表示画像生成部３４Ｂは、図７の左図に示される合成画像ＣＰ上の点Ｐｅ（λ，φ）を、図７の右図に示される単位球状の点Ｐｓ（ｘｓ,ｙｓ,ｚｓ）に変換する。ここで、図７の右図において、λは経度、φは緯度を表す。
この場合、変換式は下記式（１）～（３）で示される。
ｘｓ＝ｃｏｓ（φ）ｓｉｎ（λ）・・・（１）
ｙｓ＝ｓｉｎ（φ） ・・・（２）
ｚｓ＝ｃｏｓ（φ）ｃｏｓ（λ）・・・（３）
表示画像生成部３４Ｂは、上記変換式（１）～（３）により、平面状態の全天球画像を球体の全天球画像に変換する。表示画像生成部３４Ｂは、合成画像ＣＰ及び変換後の球体の全天球画像を表す合成画像ＲＰに基づいて、表示部３２を視認する乗員の所望する表示態様の表示画像ＨＰを生成する。なお、エクイレクタングラー形式の平面状態の合成画像ＣＰには原点から見た全ての方向の情報が含まれるため、この合成画像ＣＰに基づいて球体以外の形状、例えば円筒を上から見た形状等の任意の形状の合成画像を生成することもできる。また、表示画像生成部３４Ｂは、合成画像ＣＰを表示画像ＨＰとしてそのまま使用することもできる。
図８～図１３は表示装置３０の表示部３２に表示される表示画像ＨＰの一例を示す図である。本実施形態においては、一例として、車両制御装置２６により車両２０が自動運転されている際に、表示制御装置３４による表示部３２への表示画像ＨＰの表示が行われる。
図８に示されるように、表示画像生成部３４Ｂは、球体の全天球画像を表す合成画像ＲＰにおいて車両２０を見下ろす視点で生成された３６０度俯瞰画像である表示画像ＨＰ１を生成する。なお、図８において、便宜上、車両２０の車体の下側を表す画像ＧＰが同色で構成された略矩形領域で表されているが、実際には車両２０の車体の下側を表す実際の画像が表されている。また、表示画像生成部３４Ｂは、車両２０を模擬した画像Ａ１（図９参照）を表示画像ＨＰ１に重ねて合成してもよい。この際に、表示画像ＨＰ１において画像Ａ１が重ねられた領域すなわち画像ＧＰも視認可能とするために、画像Ａ１は透過性を有する画像とする。生成された表示画像ＨＰ１は、表示制御装置３４によって表示部３２に表示される。
また、図９に示されるように、表示制御装置３４は、表示部３２に表示された画像Ａ１を含む表示画像ＨＰ１に対して、矢印Ｍ１で示される時計回りの回転方向又は矢印Ｍ２で示される反時計回りの回転方向に移動可能な画像Ａ２を表示画像ＨＰ１に重ねて合成してもよい。画像Ａ２は、表示画像ＨＰ１の円周上の円弧と該円弧よりも小さい半径で形成された内側円弧とを両端部でつなぎ合わせた形状とすることができる。この画像Ａ２が重なる表示画像ＨＰ１上の範囲は、乗員が見たい方向の領域とされる。
本実施形態においては、乗員が、この画像Ａ２を上記時計回り又は反時計回りの回転方向に移動させることにより、乗員が見たい方向を変更することができる。表示画像生成部３４Ｂは、図１０に示されるように、乗員が見たい方向、つまり乗員の所望する自由視点で切り取られた表示画像ＨＰ２を生成する。図１０に示される表示画像ＨＰ２は、車両２０から前方側を見た際の画像とされている。生成された表示画像ＨＰ２は、表示制御装置３４によって表示部３２に表示される。
また、例えば、乗員がタッチパネル（図示省略）等を操作することにより車両２０を後方斜め上側から見たいという情報を合成画像生成部２４Ｂが取得した場合には、合成画像生成部２４Ｂは、図１１に示されるように、合成画像ＲＰに基づいて、車両２０を後方斜め上側から見た俯瞰画像である表示画像ＨＰ４を生成する。表示画像生成部３４Ｂは、表示画像ＨＰ４において、車両２０を表す画像Ａ３を重ねて合成している。この画像Ａ３は、図９で示される表示画像ＨＰ１と同様に、車両２０を模擬した画像とすることができる。
また、例えば、車両２０の前方を走行する前方車両５０（図１２参照）の左側方に人が二人歩いているとする。この二人が、車両２０側の車両制御装置２６における自動運転システムの通知情報や車両２０に搭載されたセンサ（図示省略）によるセンシングにて異常と判断する対象として検出された場合には、車両２０側の通信部２８により、これらの情報すなわち歩いている二人の位置情報や大きさ情報等が、表示装置３０に送信され、表示装置３０側の通信部３６が受信する。
表示画像生成部３４Ｂは、表示装置３０の通信部３６が受信した情報に基づいて、合成画像ＣＰから上記二人が映り込む範囲を公知の技術により特定し、図１２に示されるように、この二人５２が映り込む画角で切り取った表示画像ＨＰ４を生成する。表示画像ＨＰ４には、車両２０から前方側を見た際の画像が表されている。表示画像生成部３４Ｂは、通信部３６が受信した情報に基づいて、車両２０から見て二人が位置する方向を一例として矢印で示した画像Ａ４を、表示画像ＨＰ４に重ねて合成する。生成された画像Ａ４を含む表示画像ＨＰ４は、表示制御装置３４によって表示部３２に表示される。
なお、表示画像生成部３４Ｂは、合成画像ＣＰから上記二人が映り込む範囲を公知の技術により特定した際に、図１３に示されるように、球体の全天球画像を表す合成画像ＲＰにおいて車両２０を見下ろす視点で生成された３６０度俯瞰画像である表示画像ＨＰ５において、車両２０に対して二人が位置する方向を一例として×印で示した画像Ａ５を、表示画像ＨＰ５に重ねて合成する。本実施形態においては、画像Ａ５は他の画像領域と比較して強調される態様で構成されている。
なお、図１３で示される表示画像ＨＰ５は、図９で示される表示画像ＨＰ１と同様に、車両２０の車体の下側を表す画像が黒色で表されているが、実際には車両２０の車体の下側を表す実際の画像が表されている。また、車両２０を模擬した画像Ａ１を表示画像ＨＰ１に重ねて合成してもよい。また、表示画像ＨＰ５において、画像Ａ１の周囲の３６０度俯瞰画像は白色で表されているが、実際には、図８で示される表示画像ＨＰ１と同様に構成されている。生成された画像Ａ１、Ａ５を含む表示画像ＨＰ５は、表示制御装置３４によって表示部３２に表示される。
また、本実施形態において、表示画像生成部３４Ｂは、車両制御装置２６から送信された車両２０の走行状況、すなわち現在選択されているモードに応じて表示画像ＨＰを生成する。具体的には、車両２０が正常時走行モードである場合には、表示画像生成部３４Ｂは、図９で示される表示画像ＨＰ１を生成し、表示制御装置３４は生成された表示画像ＨＰ１を表示部３２に表示する。その後、表示画像生成部３４Ｂは、上述したように乗員による画像Ａ２の移動操作に応じて、図１０で示される表示画像ＨＰ２又は図１１で示される表示画像ＨＰ３を生成し、表示制御装置３４は生成された表示画像ＨＰを表示部３２に表示する。
また、車両２０が異常時走行モードである場合には、表示画像生成部３４Ｂは、上述したように、車両２０側の車両制御装置２６における自動運転システムの通知情報や車両２０に搭載されたセンサ（図示省略）によるセンシングにて検出された情報に基づいて、図１２で示される生成された画像Ａ４を含む表示画像ＨＰ４、又は図１３で示される生成された画像Ａ１、Ａ５を含む表示画像ＨＰ５を生成し、表示制御装置３４は生成された表示画像を表示部３２に表示する。
また、車両２０が復帰時走行モードである場合には、表示画像生成部３４Ｂは、車両２０の車体下側が視認可能な図９で示される表示画像ＨＰ１を生成し、表示制御装置３４は生成された表示画像ＨＰ１を表示部３２に表示する。その後、表示画像生成部３４Ｂは、上述したように乗員による画像Ａ２の移動操作に応じて、図１０で示される表示画像ＨＰ２又は図１１で示される表示画像ＨＰ３を生成し、表示制御装置３４は生成された表示画像ＨＰを表示部３２に表示する。
次に、本実施形態の作用及び効果について説明する。
本実施形態の表示システム１０によれば、車両２０に含まれる合成画像生成部２４Ｂは、車両周囲画像Ｐ１～Ｐ８と車両底面画像Ｐ９とを合成して合成画像ＣＰを生成する。そのため、表示装置３０の受信部として機能する通信部３６が受信した合成画像ＣＰは、リアルタイムで周囲撮影部２２により取得された車両周囲画像Ｐ１～Ｐ８及びリアルタイムで下方カメラ２３により取得された車両底面画像Ｐ９を含んでいるので、リアルタイムの車両周囲の視界及び車両底面の視界を確保することができる。
また、本実施形態の表示システム１０によれば、車両２０において合成画像ＣＰを生成し、生成した合成画像ＣＰを送信部として機能する通信部２８によって表示装置３０に送信している。また、表示装置３０側では受信部として機能する通信部３６によって合成画像ＣＰを受信している。そのため、合成画像ＣＰにおいて、車両周囲画像Ｐ１～Ｐ８と車両底面画像Ｐ９とを合わせた総データ量よりも小さいデータ量となるように車両周囲画像Ｐ１～Ｐ８と車両底面画像Ｐ９とを合成することにより、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９をそのまま送受信する場合と比較して送信するデータ量を削減することができる。
また、本実施形態の表示システム１０によれば、合成画像ＣＰは全ての隣接する車両周囲画像Ｐ１～Ｐ８（車両周辺画像Ｐ１～Ｐ８）及び車両底面画像Ｐ９（車両底面画像Ｐ９）を各々オーバラップさせて合成されるので、隣接する画像の境界部においても被写体が連続して映り込む。そのため、合成画像ＣＰには車両周囲及び車両底面の全方位において画像情報が存在するので、車両周囲の視界及び車両底面の視界を途切れることなく連続して確保することができる。
また、本実施形態の表示システム１０によれば、車両底面画像Ｐ９が１枚の場合、合成画像ＣＰは車両底面画像Ｐ９（車両底面画像Ｐ９）を全ての車両周囲画像Ｐ１～Ｐ８（車両周辺画像Ｐ１～Ｐ８）に各々オーバラップさせて合成されるので、車両底面と車両周囲との水平方向の全周囲の境界部においても被写体が連続して映り込む。そのため、合成画像ＣＰには車両周囲と車両底面の境界部において画像情報が存在するので、車両周囲と車両底面との境界部における視界を途切れることなく連続して確保することができる。
また、本実施形態の表示システム１０によれば、表示装置３０は、表示部３２と、受信部として機能する通信部３６により受信された合成画像ＣＰから表示部３２に表示する表示画像ＨＰを生成する表示画像生成部３４Ｂとを含んでいる。そのため、表示装置３０側において、表示画像生成部３４Ｂにより合成画像ＣＰから表示部３２に表示する表示画像ＨＰを生成できるので、表示装置３０の操作者である乗員の所望する視点や表示態様での表示画像ＨＰを表示部３２に表示することができる。
また、本実施形態の表示システム１０によれば、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９には、車両２０の一部が含まれているので、合成画像ＣＰにおいて車両２０の周囲及び底面における死角の発生を防止することができる。
また、本実施形態の表示システム１０によれば、表示装置３０が車両２０に設けられているので、車両２０側でリアルタイムの車両周囲の視界及び車両底面の視界を確保することができる。
また、本実施形態の表示システム１０によれば、合成画像ＣＰが、全天球画像であるため、合成画像ＣＰには、車両２０の水平方向及び垂直方向の３６０度すなわち車両２０を中心とした全方位が映り込んでいる。すなわち、合成画像ＣＰにおいて、各カメラの撮影方向が関連付けられている。そのため、乗員が表示部３２で車両２０を監視する際に、車両２０の周辺において死角が発生するのを防止することができる。
また、近年、開発段階である自動運転システムにおいては、車両２０が自動運転を行う際に何らかの異常が発生した場合、車両２０を一時停止させる必要がある。本実施形態の表示システム１０によれば、車両２０が、車両２０の車体の下側が撮影領域となるように撮影範囲が設定された下側用の下方カメラ２３を含み、合成画像生成部２４Ｂが、下方カメラ２３により取得された車両底面画像Ｐ９も合成画像ＣＰに合成している。そのため、監視者は、遠隔監視にて、車体の下側を含めた車両２０の周囲を合成画像ＣＰに基づいて確認することができるので、一時停止した車両２０の復帰（再走行）を安全に行うことができる。
また、本実施形態の表示システム１０によれば、表示画像生成部３４Ｂが、車両２０において設定されたモードに合わせた表示画像ＨＰを生成するので、車両２０の状況に応じた表示画像ＨＰを表示部３２に表示することができる。
また、車両２０が例えば正常時走行モードや遠隔操縦モードである場合に、一例として、図９で示される表示画像ＨＰ１のように球体の全天球画像を表す合成画像ＲＰにおいて車両２０を見下ろす視点で生成された３６０度俯瞰画像が表示される。そして、乗員による画像Ａ２の移動操作が行われると、この移動操作に応じた視点から見た画像として、例えば図１０で示される表示画像ＨＰ２又は図１１で示される表示画像ＨＰ３が表示部３２に表示される。これにより、乗員は所望する視点から見た画像を視認することができる。
また、車両２０が例えば異常時走行モードとなった際、一例として図１２又は図１３に示される表示画像ＨＰ４、ＨＰ５のように、異常と判断する対象が二人５２である場合に、車両２０に対してこの二人５２が位置する方向が矢印で示した画像Ａ４や×印で示した画像Ａ５によって呈示される。これにより、乗員は車両２０に対してどの方向で異常が発生しているのかを視認することができる。
また、車両２０が例えば復帰時走行モードである場合に、図９で示される表示画像ＨＰ１のように車両２０の車体下側が視認可能な画像が表示される。そのため、異常時走行モードにより停止された車両２０を復帰（再走行）させる際に、乗員は車両２０の車体下側も確認することができるので、乗員により車両２０を安全に再走行させることができる。
また、本実施形態の表示システム１０によれば、合成画像ＣＰは、縦方向と横方向との比率が１：２であるため、合成画像ＣＰをエクイレクタングラー形式すなわち正距円筒図法により構成することができる。
（変形例）
図１４は車両周囲画像Ｐ１～Ｐ８と２枚の車両底面画像Ｐ９、Ｐ１０の合成方法を説明するための説明図である。変形例においては、下方カメラ２３が車両２０の前部と後部に各々設置されており、これら２つの下方カメラ２３によって各々車両底面画像Ｐ９及び車両底面画像Ｐ１０が取得される。なお取得される２枚の車両底面画像Ｐ９、Ｐ１０には、各々共通する被写体が映り込んでいる。
この場合、２枚の車両底面画像Ｐ９、Ｐ１０において共通する被写体が映り込んでいる範囲が、隣接する撮影領域が重なる重複部分となる。図１４に示されるように、２枚の車両底面画像Ｐ９、Ｐ１０の重複部分は斜線で示される第４領域ＯＶ４で示される。すなわち、車両底面画像Ｐ９の左右両側に各々車両底面画像Ｐ１０が位置し、各々が重複部分を有している。合成画像生成部２４Ｂは、この重複部分を画素単位でオーバラップさせることにより、２枚の車両底面画像Ｐ９、Ｐ１０を合成する。なお、オーバラップの方法については、公知の技術を使用することができる。なお、３枚以上の車両底面画像が取得された場合も同様にして、隣接する車両底面画像の重複部分を画素単位でオーバラップさせることにより、３枚以上の車両底面画像を合成する。
また、合成された車両周辺画像Ｐ１～Ｐ８に合成された２枚の車両底面画像Ｐ９、Ｐ１０がさらに合成されて１枚の合成画像ＣＰが生成される。この際に、合成された車両周辺画像Ｐ１～Ｐ８は、少なくとも一方の車両底面画像Ｐ９、Ｐ１０とオーバラップして合成される。なお、図１４で示される第４領域ＯＶ４を含む領域においては、合成された車両周辺画像Ｐ１～Ｐ８は両方の車両底面画像Ｐ９、Ｐ１０とオーバラップして合成される。
なお、変形例においては、車両底面画像Ｐ９が２枚の場合、合成画像ＣＰは複数の車両周囲画像Ｐ１～Ｐ８を少なくとも一方の車両底面画像Ｐ９、Ｐ１０に各々オーバラップさせて合成されるので、車両底面と車両周囲との水平方向の全周囲の境界部において被写体が連続して映り込む。そのため、合成画像ＣＰには車両周囲と車両底面との水平方向の全周囲の境界部において画像情報が存在するので、車両周囲と車両底面との境界部における視界を途切れることなく連続して確保することができる。
また、変形例においては、車両底面画像Ｐ９が複数枚である場合、合成画像ＣＰは隣接する車両底面画像をオーバラップさせて合成されているので、車両底面において隣接する車両底面画像の境界部では被写体が連続して映り込む。そのため、合成画像ＣＰには車両底面の全方位において画像情報が存在するので車両底面画像を途切れることなく連続して確認することができる。
次に、図１５を用いて本発明の第２実施形態に係る表示システム１０－２について説明する。図１５は本発明の第２実施形態に係る表示システム１０－２のハードウェア構成を示すブロック図である。なお、本実施形態において図１に示される上記第１実施形態の構成と同様の箇所については同符号で示して詳細な説明は省略する。
図１５に示されるように、本実施形態の表示システム１０－２においては、車両２０－２の画像処理装置２４－２が合成画像生成部２４Ｂを備えておらず、表示装置３０－２の表示制御装置３４－２が合成画像生成部３４Ｄを備えている。すなわち、合成画像ＣＰの生成は、車両２０－２側ではなく、表示装置３０－２側で行われる。そのため、車両２０－２の通信部２８－２は、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を送信する送信部としての機能を有している。また、表示装置３０－２の通信部３６－２は、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を受信する受信部としての機能を有している。
表示制御装置３４－２は、上記実施形態の合成画像取得部３４Ａに替えて画像取得部３４Ｃを有している。画像取得部３４Ｃは、通信部３６－２が受信した車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を取得して、記録部３８に記憶させる。
次に、本実施形態の作用及び効果について説明する。
本実施形態の表示システム１０－２によれば、表示装置３０－２に含まれる合成画像生成部３４Ｄは、車両周囲画像Ｐ１～Ｐ８と車両底面画像Ｐ９とを合成して合成画像ＣＰを生成する。また、表示画像生成部３４Ｂは、合成画像生成部３４Ｄにより生成された合成画像ＣＰに基づいて表示画像ＨＰを生成する。そのため、表示部３２に表示される表示画像ＨＰは、リアルタイムで周囲撮影部２２により取得された車両周囲画像Ｐ１～Ｐ８及びリアルタイムで下方カメラ２３により取得された車両底面画像Ｐ９を含んでいるので、リアルタイムの車両周囲の視界及び車両底面の視界を確保することができる。
また、本実施形態の表示システム１０－２によれば、車両２０－２が車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を送信し、表示装置３０－２が送信された車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を受信している。また、表示装置３０－２において受信した車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を合成して合成画像ＣＰを生成している。そのため、車両２０－２側において合成処理をしないので、その分速く表示装置３０－２側で車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を受信することができる。これにより、例えば車両２０－２よりも表示装置３０－２の方がより処理能力が高い場合には、より速く表示部３２に表示画像ＨＰを表示させることができる。
［実施形態の補足説明］
上記実施形態においては、周囲撮影部２２を構成するカメラ２２Ａ～２２Ｈ及び下方カメラ２３は、各々１８０度よりも大きい画角を有する円周魚眼レンズが使用されているが、本発明はこれに限られない。隣接する撮影領域が重なる重複部分が形成されるように撮影範囲が設定可能であれば、例えば１４０度の画角を有する円周魚眼レンズであってもよいし、画角は限定されない。また、円周魚眼レンズではなく、対角線魚眼レンズや他の広角レンズ、超広角レンズ等を使用してもよい。
また、上記実施形態においては、下方カメラ２３を車両２０の前部下側に１つ備えているが、本発明はこれに限られない。例えば、車両２０の後部下側にも下方カメラ２３を備えていてもよい。すなわち下側用のカメラは２つ以上であってもよいし、車両２０の車体の大きさに応じて適宜変更することができる。
また、上記実施形態においては、周囲撮影部２２を構成する車両２０の水平方向のカメラ２２Ａ～２２Ｈは、８つとしたが、本発明はこれに限られない。隣接する撮影領域が重なる重複部分が形成されるように撮影範囲が設定可能であれば、前方カメラ２２Ａ、右側方カメラ２２Ｃ、後方カメラ２２Ｅ、及び左側方カメラ２２Ｇの４つのカメラであってもよいし、各カメラの画角に応じて適宜変更することができる。また、周囲撮影部２２は、車両全周囲を撮影する全周囲カメラで構成されていてもよい。
また、上記実施形態においては、下方カメラ２３で撮影された車両底面画像Ｐ９は、周縁部において車両周囲画像Ｐ１～Ｐ８の各々と共通する被写体がそれぞれ映り込んでいるとしたが、本発明はこれに限られない。例えば、車両２０の車体の底面２０Ａを撮影するカメラが車両２０の前部下側に１つだけ備えられている場合には、車両底面画像Ｐ９は、後方カメラ２２Ｅにより撮影された車両周囲画像Ｐ５と共通する被写体のみが映り込んでいてもよい。すなわち、車両２０の水平方向を撮影範囲とした撮影画像Ｐ１～Ｐ８のうち１つ以上の撮影画像と共通の被写体が映り込んでいればよい。
車両底面画像Ｐ９に車両周囲画像Ｐ５と共通する被写体のみが映り込んでいる場合、生成された合成画像ＣＰにおいて、下方カメラ２３で撮影された車両底面画像Ｐ９に対応する車両底面画像Ｐ９は、車両周囲画像Ｐ５に対応する車両周辺画像Ｐ５の下端で合成され、車両底面画像Ｐ９の右側はブランク画像ＢＰとされる。
また、上記実施形態においては、合成画像ＣＰは平面状態の全天球画像としたが、本発明はこれに限られない。合成画像ＣＰは、全天周画像や、上部が欠けているパノラマ画像であってもよいし、下部のみが欠けているパノラマ画像、すなわち車両水平方向のみ３６０度を撮影した３６０度パノラマ画像に車両底面画像Ｐ９を合成した画像であってもよい。
また、上記実施形態においては、全天球画像としてエクイレクタングラー形式（正距円筒図法）を使用したが、本発明はこれに限られない。例えば、サイコロを分解したように正六面体のスクリーン６面に平面画像を貼り付けて、その中央から画像を見た際に３６０度が正しく見えるキューブマップ形式を使用してもよいし、プラネタリウム等において使用されるドームマスター形式等を使用してもよい。使用する形式は公知の技術を使用することができる。
また、上記実施形態においては、表示画像生成部３４Ｂは、平面状態の全天球画像を球体の全天球画像に変換する処理を行っているが本発明はこれに限られない。例えば、合成画像生成部２４Ｂが、平面状態の全天球画像を球体の全天球画像に変換する処理を行い、球体の全天球画像で表される合成画像ＲＰを表示装置３０に送信してもよい。
また、上記実施形態においては、合成画像生成部２４Ｂが、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９から合成画像ＣＰに投影変換する処理を行っているが、本発明はこれに限られない。例えば、合成画像生成部２４Ｂは、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９から直接俯瞰画像を生成し、この俯瞰画像を合成画像として使用してもよい。
また、上記実施形態においては、表示装置３０は１つの表示部３２を備えているが、本発明はこれに限られず複数の表示部３２を備えていてもよい。
また、上記実施形態においては、図９に示されるように、画像Ａ２を時計回り又は反時計回りの回転方向に移動させることにより、乗員が見たい方向を変更しているが本発明はこれに限られない。例えば、表示部３２に図１０で示される表示画像ＨＰ２が表示されている場合には、合成画像生成部２４Ｂは、例えば乗員のタッチパネル等の入力手段によって移動されるポインタ（図示省略）を表示画像ＨＰ２上に合成する。表示画像生成部３４Ｂは、このポインタの表示画像ＨＰ２の移動距離及び移動方向を検出し、この検出した移動距離及び移動方向に応じて合成画像ＣＰにおける切り出し範囲を決定してもよい。
また、上記第１実施形態においては、通信部２８は、合成画像ＣＰを送信する送信部としての機能と、その他の情報を送信する送信部としての機能の両方を備えているが、本発明はこれに限られない。合成画像ＣＰを送信する送信部は通信部２８とは別に設けられていてもよい。このように、合成画像ＣＰの送信に特化した送信部を設けることにより、合成画像ＣＰの通信処理速度をより速くすることが可能となる。
また、上記第１実施形態においては、通信部３６は、合成画像ＣＰを受信する受信部としての機能と、その他の情報を送受信する送受信部としての機能の両方を備えているが、本発明はこれに限られない。合成画像ＣＰを受信する受信部は通信部３６とは別に設けられていてもよい。このように、合成画像ＣＰの受信に特化した受信部を設けることにより、合成画像ＣＰの通信処理速度をより速くすることが可能となる。
また、上記第２実施形態においては、通信部２８－２は、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を送信する送信部としての機能と、その他の情報を送信する送信部としての機能の両方を備えているが、本発明はこれに限られない。車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を送信する送信部は通信部２８－２とは別に設けられていてもよい。このように、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９の送信に特化した送信部を設けることにより、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９の通信処理速度をより速くすることが可能となる。
また、上記第２実施形態においては、通信部３６－２は、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を受信する受信部としての機能と、その他の情報を送受信する送受信部としての機能の両方を備えているが、本発明はこれに限られない。車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を受信する受信部は通信部３６－２とは別に設けられていてもよい。このように、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９の受信に特化した受信部を設けることにより、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９の通信処理速度をより速くすることが可能となる。
また、上記実施形態においては、表示装置３０は、車両２０に搭載されているが本発明はこれに限られない。例えば、外部に設けられた遠隔監視装置（図示省略）に搭載されていてもよい。この場合、車両２０の通信部２８と遠隔監視装置側すなわち表示装置３０側の通信部３６は、上述したネットワークを経由して互いに通信される。なお、ネットワークによる通信はクラウドサーバ（図示省略）介して行うこともできる。
このように、表示装置３０が、外部に設けられた遠隔監視装置に搭載される場合には、遠隔監視装置側でリアルタイムの車両周囲の視界及び車両底面の視界を確保することができる。なおこの場合、移動体は車両２０でなくてもよい。移動体は例えば荷物や配送物等を運ぶモビリティであってもよいし、自立走行可能なロボットであってもよいし、自立走行可能であれば何れの態様であってもよい。
また、上記実施形態においては、車両２０、２０－２の構成と、車両２０、２０－２に搭載された表示装置３０、３０－２の構成とが各々別のバスで繋がっているが、本発明はこれに限られず、同じバスで繋がっていてもよい。この場合、バスが車両側の通信部２８、２８－２及び表示装置側の通信部３６、３６－２としての機能を有する。すなわち、バスが画像データを送信又は受信する通信部として機能する。
以上、本発明の一例について説明したが、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
１０、１０－２ 表示システム
２０、２０－２ 車両（移動体）
３０、３０－２ 表示装置
２２ 周囲撮影部
２３ 下方カメラ（下側撮影部）
２４Ｂ 合成画像生成部
２８、２８－２ 通信部（送信部）
３０ 表示装置
３４Ｂ 表示画像生成部
３４Ｄ 合成画像生成部
３６、３６－２ 通信部（受信部）
Ｐ 撮影画像
Ｐ１～Ｐ８ 車両周囲画像（移動体周囲画像）
Ｐ９、Ｐ１０ 車両底面画像（移動体底面画像）
ＣＰ 合成画像（エクイレクタングラー形式の全天球画像）
ＲＰ 合成画像（球体形式）
ＨＰ 表示画像
ＨＰ１～ＨＰ５ 表示画像

Claims (9)

  1. 移動体の周囲を撮影して移動体周囲画像を取得する周囲撮影部と、
    前記移動体の下側を撮影して移動体底面画像を取得する下側撮影部と、を含む移動体と、
    表示部を含む表示装置と、
    前記移動体又は前記表示装置に含まれ、前記周囲撮影部により取得された移動体周囲画像と前記下側撮影部により取得された移動体底面画像とを合成して合成画像を生成する合成画像生成部と、
    前記移動体及び前記表示装置に各々含まれ、画像データを送信又は受信する通信部と、
    を備える表示システム。
  2. 前記移動体は、前記合成画像生成部を含み、
    前記移動体側の前記通信部は、前記合成画像生成部により生成された前記合成画像を送信する送信部を含んで、
    前記表示装置側の前記通信部は、前記送信部から送信された前記合成画像を受信する受信部を含む請求項１に記載の表示システム。
  3. 前記移動体側の前記通信部は、前記周囲撮影部により取得された前記移動体周囲画像及び前記下側撮影部により取得された前記移動体底面画像を送信する送信部を含み、
    前記表示装置側の前記通信部は、前記送信部から送信された前記移動体周囲画像及び前記移動体底面画像を受信する受信部を含んで、
    前記表示装置は、前記合成画像生成部を含む請求項１に記載の表示システム。
  4. 前記周囲撮影部が複数の前記移動体周囲画像を取得する場合、
    前記合成画像生成部は、全ての隣接する前記移動体周囲画像及び前記移動体底面画像を各々オーバラップさせて合成する請求項１に記載の表示システム。
  5. 前記周囲撮影部が複数の前記移動体周囲画像を取得し、前記下側撮影部が１枚の前記移動体底面画像を取得する場合、
    前記合成画像生成部は、前記移動体底面画像を全ての前記移動体周囲画像と各々オーバラップさせて合成する請求項１に記載の表示システム。
  6. 前記周囲撮影部が複数の前記移動体周囲画像を取得し、前記下側撮影部が２枚の前記移動体底面画像を取得する場合、
    前記合成画像生成部は、複数の前記移動体周囲画像を少なくとも一方の前記移動体底面画像と各々オーバラップさせて合成する請求項１に記載の表示システム。
  7. 前記下側撮影部が複数の前記移動体底面画像を取得する場合、
    前記合成画像生成部は、隣接する前記移動体底面画像をオーバラップさせて合成する請求項１に記載の表示システム。
  8. 前記表示装置は、
    前記合成画像から前記表示部に表示する表示画像を生成する表示画像生成部を含む請求項１に記載の表示システム。
  9. 前記移動体周囲画像及び前記移動体底面画像には、前記移動体の一部が含まれている請求項１に記載の表示システム。
JP2022159054A 2022-09-30 2022-09-30 表示システム Pending JP2024052375A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022159054A JP2024052375A (ja) 2022-09-30 2022-09-30 表示システム
PCT/JP2023/028192 WO2024070202A1 (ja) 2022-09-30 2023-08-01 表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022159054A JP2024052375A (ja) 2022-09-30 2022-09-30 表示システム

Publications (1)

Publication Number Publication Date
JP2024052375A true JP2024052375A (ja) 2024-04-11

Family

ID=90477149

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022159054A Pending JP2024052375A (ja) 2022-09-30 2022-09-30 表示システム

Country Status (2)

Country Link
JP (1) JP2024052375A (ja)
WO (1) WO2024070202A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005138720A (ja) * 2003-11-07 2005-06-02 Denso Corp 障害物検出装置、障害物検出プログラム、及び記憶媒体
JP2006285440A (ja) * 2005-03-31 2006-10-19 Denso It Laboratory Inc 走行可否判定装置及び走行可否判定方法
JP5872764B2 (ja) * 2010-12-06 2016-03-01 富士通テン株式会社 画像表示システム
JP6347934B2 (ja) * 2013-10-11 2018-06-27 株式会社デンソーテン 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
KR101622622B1 (ko) * 2014-10-13 2016-05-31 엘지전자 주식회사 차량 하부 이미지 제공 장치 및 이를 구비한 차량
JP7096662B2 (ja) * 2017-12-06 2022-07-06 フォルシアクラリオン・エレクトロニクス株式会社 画像表示装置及び駐車支援システム

Also Published As

Publication number Publication date
WO2024070202A1 (ja) 2024-04-04

Similar Documents

Publication Publication Date Title
CN110341597B (zh) 一种车载全景视频显示系统、方法及车载控制器
US8576285B2 (en) In-vehicle image processing method and image processing apparatus
JP6029306B2 (ja) 作業機械用周辺監視装置
JP4643860B2 (ja) 車両用視覚支援装置及び支援方法
JP4207941B2 (ja) 画像表示装置及び画像生成装置
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
WO2011121741A1 (ja) 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム
US20180170258A1 (en) Work vehicle and image displaying method for work vehicle
US10930070B2 (en) Periphery monitoring device
JP2010128951A (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP2019057903A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP6324665B2 (ja) 作業機械用周辺監視装置
JP2019057264A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
KR20120066194A (ko) 휴대 단말을 이용한 차량 주변 영상 제공 시스템 및 그 방법
JP2011049735A (ja) 車両周辺画像提供装置
JP2006054662A (ja) 運転支援装置
JP2018110384A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP2024063155A (ja) 移動体、画像処理方法、およびコンピュータプログラム
CN111815752B (zh) 图像处理方法、装置和电子设备
WO2024070202A1 (ja) 表示システム
JP2019080174A (ja) 画像処理装置、撮像システム、通信システム、画像処理方法、およびプログラム
WO2024070203A1 (ja) 遠隔監視システム
US20230096414A1 (en) Camera unit installing method, moving device, image processing system, image processing method, and storage medium
JP2019185757A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP2004235986A (ja) 監視システム