JP6597415B2 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP6597415B2
JP6597415B2 JP2016043469A JP2016043469A JP6597415B2 JP 6597415 B2 JP6597415 B2 JP 6597415B2 JP 2016043469 A JP2016043469 A JP 2016043469A JP 2016043469 A JP2016043469 A JP 2016043469A JP 6597415 B2 JP6597415 B2 JP 6597415B2
Authority
JP
Japan
Prior art keywords
vehicle
image
speed
state
displays
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016043469A
Other languages
English (en)
Other versions
JP2017163206A5 (ja
JP2017163206A (ja
Inventor
昇幸 横田
博彦 柳川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2016043469A priority Critical patent/JP6597415B2/ja
Priority to DE112017001178.7T priority patent/DE112017001178T5/de
Priority to US16/082,395 priority patent/US10706292B2/en
Priority to CN201780015616.8A priority patent/CN108702491A/zh
Priority to PCT/JP2017/008771 priority patent/WO2017154833A1/ja
Publication of JP2017163206A publication Critical patent/JP2017163206A/ja
Publication of JP2017163206A5 publication Critical patent/JP2017163206A5/ja
Application granted granted Critical
Publication of JP6597415B2 publication Critical patent/JP6597415B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、車両の周辺を撮影して表示する技術に関する。
車両の周辺を、仮想的な視点の画像で表示する技術が知られている。例えば、特許文献1では、車両を斜め上から見た画像を表示する技術が提案されている。
特開2000−563072号公報
車両の走行状態の変化に伴って、車両の搭乗者が視認を望む車両周辺の領域も変化することとなる。
本発明は、車両周辺の適切な範囲を示す画像を表示する技術を提供することを目的とする。
本開示の第1の局面は、状態判定部(25)と、速度検出部(26)と、表示制御部(28)と、を備える情報処理装置である(7)。
状態判定部は、車両の走行駆動源による駆動力の出力方向を制御する制御ユニットによる制御状態を判定する。速度検出部は、車両の走行速度を検出する。また表示制御部は、車両の周囲を撮影する1つ以上のカメラ(3a、3b、3c、3d)により撮影された画像に基づく上記車両の周辺を示す画像であって、それぞれ少なくとも視点及び表示範囲のいずれか一方が異なる画像である複数の周辺画像(103、105、107、109)の中から、1つ以上の周辺画像を表示装置(5)に表示させる。
また表示制御部は、上記複数の周辺画像のうち、状態判定部により判定された制御状態と、速度検出部により検出された走行速度と、に応じて定まる周辺画像を、表示装置に表示させる。
このような構成によれば、車両の走行駆動源による駆動力の出力方向と、車両の走行速度と、に基づいて、車両の走行状態に適した範囲を示す周辺画像を表示装置に表示させることができる。よって、車両の搭乗者は、その状況に応じた画像を視認することができるようになる。
本開示の第2の局面は、コンピュータを、状態判定部(25)、速度検出部(26)、表示制御部(28)、として機能させるプログラムである。状態判定部、速度検出部、表示制御部の構成は、上述した第1の局面と同様の構成である。
このような構成によれば、コンピュータに、上述した第1の局面の情報処理装置と同様の機能を発揮させることができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
画像表示システム1の構成を示すブロック図である。 仮想的な視点の位置を説明する図である。 周辺画像の一例である後方視点画像を説明する図である。 周辺画像の一例である上方視点画像を説明する図である。 周辺画像の一例である前方視点画像を説明する図である。 周辺画像の一例である前方俯瞰視点画像を説明する図である。 画像表示処理のフローチャートである。
以下、図面を参照しながら、発明を実施するための形態を説明する。
[1.実施形態]
[1−1.構成]
画像表示システム1は自動車等の車両に搭載されて用いられるシステムであって、図1に示すように、車両に搭載される4つのカメラである前カメラ3a,後カメラ3b,左カメラ3c,及び右カメラ3dと、表示装置5と、Electronic Control Unit(以下、ECU)7と、を備えている。以下の説明において、上記4つのカメラ全てを指すときには単にカメラ3と記載する。なおECU7が、情報処理装置に相当する。
カメラ3は、車両に設けられた撮像装置であって、例えば公知のCCDイメージセンサやCMOSイメージセンサなどを用いることができる。各カメラは所定の時間間隔(一例として1/15s)で車両周辺を撮影し、撮影した撮影画像をECU7に出力する。前カメラ3a,後カメラ3b,左カメラ3c,右カメラ3dは、それぞれ、車両の前方、後方、左方、右方を撮影するように配置されている。
表示装置5は、画像を表示可能な液晶や有機ELなどの表示画面を有する装置である。表示装置5は、ECU7から入力される信号に従って画像を表示する。
ECU7は、カメラ入力信号処理部11、記憶装置13、車両情報入力信号処理部15、出力信号処理部17、画像処理部19を有する。
カメラ入力信号処理部11は、カメラ3から入力される撮影画像のアナログ信号をデジタル信号に変換して画像処理部19に出力する。
記憶装置13は、情報を記憶可能な記憶領域を構成する装置である。記憶装置13が構成する記憶領域には、カメラ3それぞれの設置される位置や角度などのパラメータが記憶されており、画像処理部19によって必要なときに読み出される。
車両情報入力信号処理部15は、車内ネットワーク9に接続されており、車内ネットワーク9と接続するシフトセンサ9a及び車速センサ9bの出力する信号を取得して画像処理部19に出力する。
シフトセンサ9aは、運転席近傍に設けられたセレクタ31の操作された位置、つまり運転者の操作により設定されたシフトレンジに応じた出力を行うセンサである。本実施形態において、車両のトランスミッション33の種別はオートマチックトランスミッションである。
セレクタ31は、車両のトランスミッション33を操作するレバー等などの操作部品である。運転者はセレクタ31を操作することによって、シフトレンジを、パーキングレンジ(以下、Pレンジ)、リバースレンジ(以下、Rレンジ)、ニュートラルレンジ(以下、Nレンジ)、ドライブレンジ(以下、Dレンジ)の何れかに設定することができる。なお、トランスミッション33が出力制御装置に相当する。
また車速センサ9bは、車両の走行速度に応じた信号を出力するセンサである。
出力信号処理部17は、画像処理部19から出力された画像データのデジタル信号をアナログ信号に変換し、表示装置5に出力する。表示装置5は、受信した信号に基づいて画像を表示する。
画像処理部19は、CPU21と、RAM、ROM、フラッシュメモリ等の半導体メモリ(以下、メモリ23)と、を有する周知のマイクロコンピュータを中心に構成される。画像処理部19の各種機能は、CPU21が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ23が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、画像処理部19を構成するマイクロコンピュータの数は1つでも複数でもよい。
画像処理部19は、CPU21がプログラムを実行することで実現される機能の構成として、図1に示すように、状態判定部25と、速度検出部26と、画像生成部27と、表示制御部28と、を備える。画像処理部19を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。
状態判定部25は、シフトセンサ9aから出力された信号に基づいて、トランスミッション33の制御状態を判定する。
トランスミッション33の制御状態とは、車両の走行駆動源であるエンジンによる駆動力の出力方向の制御の状態である。
上述した駆動力の出力方向とは、エンジンの駆動力を受けて車両を進行させることができる方向であり、前方および後方のいずれかである。この出力方向は、現在走行している方向と同義ではない。例えば、車両の走行速度が0km/hであったとしても、トランスミッション33の状態が、運転者によりアクセルが踏みこまれた場合に前進する状態であれば、出力方向は前方となる。
また、上述したトランスミッション33の制御状態は、(i)車両を前方に進行させるように駆動力を伝える状態、(ii)駆動力の伝達を行わない状態、(iii)車両を後方に進行させるように駆動力を伝える状態、の3つに大別することができる。もちろん、さらに詳細に分類してもよい。これらの状態は、トランスミッション33を構成する歯車の接続状態などによって変化する。
具体的には、シフトレンジがDレンジに設定されている場合、トランスミッション33は、車両を前方に進行させるように動力を伝える制御状態である。また、シフトレンジがPレンジ又はNレンジに設定されている場合、トランスミッション33は、動力伝達を行わない制御状態である。また、シフトレンジがRレンジに設定されている場合、トランスミッション33は、車両を後方に進行させるように動力を伝える制御状態である。
速度検出部26は、車速センサ9bから出力された信号に基づいて、車両の走行速度を検出する。
画像生成部27は、1つ以上のカメラ3により撮影された画像に基づいて、1つ以上のカメラ3それぞれにより撮影された撮影画像の視点とは異なる視点の1つ以上の画像を生成する。なお、その際には記憶装置13に記憶されているカメラ3のパラメータが用いられる。
表示制御部28は、表示装置5に周辺画像を表示させる。周辺画像については以下に説明する。
[1−2.周辺画像]
周辺画像は、車両の周辺を示す画像であり、車両の周囲を撮影するカメラ3により撮影された画像に基づいて画像生成部27により生成された画像である。画像生成部27は、上述したように、4つのカメラ3の視点とは異なる視点の画像を生成する。画像生成部27にて生成された画像は、それぞれ周辺画像である。
なお、ここで言う視点とは、撮影された対象物を見るときの立脚点となる位置である。異なる複数の視点により撮影された画像に基づいて、それらの視点とは異なる視点の画像を生成する技術は公知の技術であるため、説明を割愛する。
図2に示すように、画像生成部27により生成される周辺画像の視点の位置は、車両101を基準として4箇所に設定される。第1仮想視点41は、画像表示システム1が搭載された車両101の後方から車両101を斜め前方に見下ろす視点である。第2仮想視点43は、車両101の前端の上方から下方を見下ろす視点である。第3仮想視点45は、車両101の前方から、車両101を後方に見る視点である。第4仮想視点47は、車両101の前方の上方から車両101を斜め後方に見下ろす視点である。
図3は、第1仮想視点から見た周辺画像である後方視点画像103を示す図である。この後方視点画像103は、4つのカメラ3の撮影画像を合成して生成される。車両101自体はカメラ3によって撮影されないため、予め準備された画像が合成に用いられる。この点については後述する画像も同様である。
この後方視点画像103では、搭乗者は車両101の前方を広く視認することができ、また、撮影画像に示される障害物等と車両101との位置関係を容易に理解することができる。即ち後方視点画像103は、運転開始時や停車時など、車両が止まっている状態において、前方を中心として比較的広い範囲の周辺を確認するときに好適な画像である。
図4は、第2仮想視点から見た周辺画像である上方視点画像105を示す図である。この上方視点画像105は、前カメラ3aの撮影画像の視点を変換して生成される。この上方視点画像105では、車両101の前方の路面であって、運転者の死角となる領域を含む領域が表示される。
この上方視点画像105では、搭乗者は車両101の前端周辺の情報を取得することができる。即ち、上方視点画像105は、車両が前進を開始するとき、又は障害物との接触を回避するためにゆっくりと走行しているときなどに好適な画像である。
図5は、第3仮想視点から見た周辺画像である前方視点画像107を示す図である。この前方視点画像107は、後カメラ3b、左カメラ3c、及び右カメラ3dの撮影画像を合成して生成される。
この前方視点画像107では、搭乗者はルームミラー及びサイドミラーを合わせたような、車両の後方や側方を表示する画像を視認することができ、車両101の後方や側方に位置する他車両を容易に確認することができる。即ち前方視点画像107は、例えば車線変更を行う場合に好適な画像である。
図6は、第4仮想視点から見た周辺画像である前方俯瞰視点画像109を示す図である。この前方俯瞰視点画像109は、4つのカメラ3の撮影画像を合成して生成される。
この前方俯瞰視点画像109では、搭乗者は車両の後方を中心として車両の周辺を広く確認することができ、また障害物や路面に表示された白線などと車両101との位置関係も容易に理解することができる。即ち前方俯瞰視点画像109は、例えば障害物や駐車枠の確認が必要となる後進時に好適な画像である。
[1−3.処理]
次に、ECU7のCPU21が実行する画像表示処理について、図7のフローチャートを用いて説明する。本処理は、自車両のアクセサリスイッチがオンである間、繰り返し実行される。
まずS1では、CPU21は、セレクタ31により設定されたシフトレンジがPレンジ又はNレンジであるか否かを判定する。このS1にてシフトレンジがPレンジ又はNレンジであると判定されれば、処理がS2に移行する。一方、Pレンジ又はNレンジであると判定されなければ、処理がS3に移行する。
S2では、CPU21は、車両後方に仮想視点を設定する。つまり、車両が停止している場合には、表示装置5に表示される周辺画像は、車両後方が仮想視点である上述した後方視点画像103となる。その後、本処理を終了する。
なお仮想視点が設定された後は、他の仮想視点に設定が変更されるまでは後方視点画像103が表示される。ここで、表示装置5に表示される後方視点画像103は、カメラ3により撮影された新たな撮影画像に基づいて更新される。即ち表示装置5には、車両後方の仮想視点から見た現在の状況を示す動画が表示されることとなる。このことは、後述するS5、S6、S7にて他の仮想視点に設定された場合も同様である。
S3では、CPU21は、シフトレンジがDレンジであるか否かを判定する。このS3にてシフトレンジがDレンジであると判定されれば、処理がS4に移行する。一方、Dレンジであると判定されなければ、つまりRレンジであれば、処理がS7に移行する。
S4では、CPU21は、車速が予め定められた一定値以下であるか否かを判定する。一定値以下の車速とは、例えば、15km/h〜0km/hとすることができる。このS4にて車速が一定値以下であると判定されれば、処理がS5移行する。一方、車速が一定値以下であると判定されなければ、即ち車速が一定値を超えていれば、処理がS6に移行する。なお、この一定値の車速が、所定の速度に相当する。
S5では、CPU21は、車両前端上方に仮想視点を設定する。つまり、車両がゆっくりと前進している場合には、表示装置5に表示される周辺画像は、車両前端上方が仮想視点である上述した上方視点画像105となる。その後、本処理を終了する。
S6では、CPU21は、車両前方に仮想視点を設定する。つまり、車両が高速で前進している場合には、表示装置5に表示される周辺画像は、車両前方が仮想視点である上述した前方視点画像107となる。その後、本処理を終了する。
S7では、CPU21は、車両前方かつ上方に仮想視点を設定する。つまり、車両が後進している場合には、表示装置5に表示される周辺画像が、車両前方かつ上方が仮想視点である上述した前方俯瞰視点画像109となる。その後、本処理を終了する。
[1−4.効果]
以上詳述した実施形態によれば、以下の効果が得られる。
(1a)本実施形態の画像表示システム1では、セレクタ31の操作により設定されたシフトレンジと、車両の走行速度と、に基づいて、車両の走行状態に適した範囲を示す周辺画像が表示装置5に表示される。よって、車両の搭乗者は、その状況に応じた適切な画像を視認することができる。
(1b)上述した周辺画像は、カメラ3それぞれとは異なる視点の画像である。そのため、単に複数のカメラ3の撮影画像から選択された画像が表示されるだけでなく、搭乗者が確認しやすい態様として表示させることができる。
(1c)上述した周辺画像には、複数のカメラ3にて撮影された画像を合成して生成された画像が含まれる。このような周辺画像は、1つのカメラの撮影画像と比較して広い範囲を視認できるため、1つの周辺画像で多くの情報を搭乗者に与えることができる。
(1d)本実施形態では、Pレンジ又はNレンジである場合と、Dレンジ又はRレンジの場合と、において、異なる視点の周辺画像が表示装置5に表示される。そのため運転者は、原動機の駆動力がタイヤに伝わる状態であるか否かを周辺画像から認識することができる。
また本実施形態では、Rレンジである場合と、それ以外の場合と、において、異なる視点の周辺画像が表示装置5に表示される。そのため、車両が後進する状態であることを運転者に認識させることができる。
[2.他の実施形態]
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。
(2a)上記実施形態では、トランスミッション33の制御状態の判定を、車両の搭乗者によるセレクタ31の操作に基づいて行う構成を例示したが、これ以外の構成により判定を行う構成であってもよい。例えば、トランスミッションを制御する制御装置からトランスミッションの状態を示す信号を受信して判定してもよいし、車両が備えるトランスミッションがマニュアルトランスミッションである場合には、シフトレバーの位置に基づいて制御状態を判定してもよい。
また、搭乗者に代わって自動運転制御装置が一部又は全部の運転操作を実行する自動運転制御が行われる車両においては、自動運転制御装置から出力されるトランスミッションの制御状態を示す信号に基づいて、トランスミッションの制御状態を判定するように構成されていてもよい。
トランスミッションの制御状態は、そのときのギヤ比によって区分されるものであってもよい。
(2b)上記実施形態では、状態判定部25が、エンジンを走行駆動源とする車両について、その駆動力の出力方向を制御する出力制御装置であるトランスミッションの状態を判定する構成を例示した。しかしながら、走行駆動源及び出力制御装置は、上記実施形態の構成に限定されない。例えば走行駆動源としてモーターを用いる構成であってもよい。
走行駆動源がモーターである場合には、モーターの回転方向を制御するモーター制御装置が出力制御装置に相当する。状態判定部25は、モーター制御装置の状態を、当該モーター制御装置から出力される信号に基づいて判定してもよいし、セレクタの操作位置から判定してもよい。もちろん走行駆動源がモーターであっても、トランスミッションを備えている場合には、トランスミッションの状態を判定するように構成されていてもよい。
(2c)上記実施形態では、車両には4つのカメラが搭載される構成を例示したが、その数は特に限定されず、5つ以上のカメラが設けられていてもよいし、3つ以下のカメラが設けられていても良い。
(2d)上記実施形態では、トランスミッションの制御状態と走行速度に応じて、視点の異なる周辺画像が表示される構成を例示したが、視点に限らず、表示範囲が異なる画像が表示される構成であってもよい。例えば、シフトレンジがPレンジのときには車両を真下に見下ろす鳥瞰画像が表示され、シフトレンジがDレンジであり走行速度が一定値以下の場合には、その鳥瞰画像のうち車両前端周辺が拡大して表示される構成とすることが考えられる。
(2e)上記実施形態では、周辺画像としてカメラ3それぞれとは異なる視点の画像が生成されて表示装置5に表示される構成を例示したが、少なくとも1つの周辺画像がカメラ3のいずれかと同じ視点の画像であってもよい。その画像は、カメラ3により撮影された画像そのものであってもよいし、撮影された画像を画像処理することにより生成された画像であってもよい。
(2f)上記実施形態では、シフトレンジがDレンジの場合のみ、速度に応じて周辺画像が変化する構成を例示したが、Rレンジの場合においても速度に応じて周辺画像が変化する構成としてもよい。例えば、セレクタがRレンジとなっており、速度が3km/h以下の場合には後方視点画像103が表示されるが、速度が3km/hを超えた場合には前方俯瞰視点画像109が表示される構成とすることが考えられる。
また前進するためのシフトレンジとしてDレンジ以外のレンジが存在する場合は、それぞれのレンジ及び走行速度に応じた周辺画像を表示する構成としてもよい。
また、トランスミッションにおいて設定されているギヤ比と走行速度に応じた周辺画像を表示する構成としてもよい。
また、PレンジとNレンジとの場合で、異なる周辺画像を表示する構成としてもよい。
(2g)周辺画像の種類は上記実施形態に示したものに限定されず、また5種類以上であってもよい。例えば走行速度に応じて段階的に表示される周辺画像の視点や表示範囲が変化する構成であってもよい。
また、セレクタの操作や速度の変化に応じて表示される周辺画像が切り替わる場合において、切り替わる前の視点と切り替わった後の視点との間に位置する視点の画像を1つ以上表示することにより、表示装置5に表示される画像の視点が徐々に変化するように構成されていてもよい。
(2h)表示装置5には、複数の周辺画像が同時に表示される構成であってもよいし、1つ以上の周辺画像と、その他の画像と、が同時に表示される構成であってもよい。
(2i)上記各実施形態における1つの構成要素が有する機能を複数の構成要素に分担させたり、複数の構成要素が有する機能を1つの構成要素に発揮させたりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
(2j)上述した画像処理部19を備えるECU7に加え、当該ECU7を構成要素とする画像表示システム1、当該画像処理部19としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像表示方法など、種々の形態で本発明を実現することもできる。
3…カメラ、3a…前カメラ、3b…後カメラ、3c…左カメラ、3d…右カメラ、5…表示装置、7…ECU、25…状態判定部、26…速度検出部、27…画像生成部、28…表示制御部、33…トランスミッション、103…後方視点画像、105…上方視点画像、107…前方視点画像、109…前方俯瞰視点画像

Claims (8)

  1. 車両の駆動力の出力方向を制御する出力制御装置(33)による制御状態を判定する状態判定部(25)と、
    前記車両の走行速度を検出する速度検出部(26)と、
    前記車両の周囲を撮影する1つ以上のカメラ(3a、3b、3c、3d)により撮影された画像に基づく前記車両の周辺を示す画像であって、それぞれ少なくとも視点及び表示範囲のいずれか一方が異なる画像である複数の周辺画像(103、105、107、109)の中から、1つ以上の前記周辺画像を表示装置(5)に表示させる表示制御部(28)と、を備え、
    前記表示制御部は、前記状態判定部により判定される前記制御状態が、前記車両を前方に進行させるように駆動力を伝える状態である場合において、前記速度検出部が検出する速度が所定の速度以下であるときは、前記車両の前端の上方の視点から下方を見下ろしたときに視認される領域を表示する前記周辺画像を前記表示装置に表示させ、前記速度検出部が検出する速度が前記所定の速度を超えるときは、前記車両の後方及び側方を表示する前記周辺画像を前記表示装置に表示させ、さらに、前記状態判定部により判定される前記制御状態が、前記車両を後方に進行させるように駆動力を伝える状態である場合には、前記車両の前方から後方を見たときに視認される領域を表示する画像であって、前記車両の後方と共に前記車両を表示する前記周辺画像を前記表示装置に表示させる、情報処理装置(7)。
  2. 車両の駆動力の出力方向を制御する出力制御装置(33)による制御状態を判定する状態判定部(25)と、
    前記車両の走行速度を検出する速度検出部(26)と、
    前記車両の周囲を撮影する1つ以上のカメラ(3a、3b、3c、3d)により撮影された画像に基づく前記車両の周辺を示す画像であって、それぞれ少なくとも視点及び表示範囲のいずれか一方が異なる画像である複数の周辺画像(103、105、107、109)の中から、1つ以上の前記周辺画像を表示装置(5)に表示させる表示制御部(28)と、を備え、
    前記表示制御部は、前記状態判定部により判定される前記制御状態が、前記車両を前方に進行させるように駆動力を伝える状態である場合において、前記速度検出部が検出する速度が所定の速度以下であるときは、前記車両の前方の路面であって前記車両の運転者から死角となる領域を表示する前記周辺画像を前記表示装置に表示させ、前記速度検出部が検出する速度が前記所定の速度を超えるときは、前記車両の前方から後方を見たときに視認される領域を表示する画像であって、前記車両の後方及び側方と共に前記車両を表示する前記周辺画像を前記表示装置に表示させる、情報処理装置(7)。
  3. 請求項1又は請求項2に記載の情報処理装置であって、
    前記状態判定部は、前記車両の備えるセレクタ(31)により選択されるシフトレンジに基づいて前記制御状態を判定する、情報処理装置。
  4. 請求項1から請求項3のいずれか1項に記載の情報処理装置であって、
    さらに、前記1つ以上のカメラにより撮影された画像に基づいて、該画像とは少なくとも視点及び表示範囲のいずれか一方が異なる1つ以上の画像を生成する画像生成部(27)を備え、
    前記複数の周辺画像は、前記画像生成部により生成された画像を含む、情報処理装置。
  5. 請求項1から請求項4のいずれか1項に記載の情報処理装置であって、
    前記表示制御部は、前記状態判定部により判定される前記制御状態が、前記駆動力の伝達を行わない状態である場合と、前記車両を前方又は後方に進行させるように駆動力を伝える状態である場合と、において、異なる視点の前記周辺画像を前記表示装置に表示させる、情報処理装置。
  6. 請求項1から請求項5のいずれか1項に記載の情報処理装置であって、
    前記表示制御部は、前記状態判定部により判定される前記制御状態が、前記車両を後方に進行させるように動力を伝える状態である場合と、それ以外の状態である場合と、において、異なる視点の前記周辺画像を前記表示装置に表示させる、情報処理装置。
  7. コンピュータを、
    車両の駆動力の出力方向を制御する出力制御装置(33)による制御状態を判定する状態判定部(25)と、
    前記車両の走行速度を検出する速度検出部(26)と、
    前記車両の周囲を撮影する1つ以上のカメラ(3a、3b、3c、3d)により撮影された画像に基づく前記車両の周辺を示す画像であって、それぞれ少なくとも視点及び表示範囲のいずれか一方が異なる画像である複数の周辺画像(103、105、107、109)の中から、1つ以上の前記周辺画像を表示装置(5)に表示させる表示制御部(28)として機能させるプログラムであって、
    前記表示制御部は、前記状態判定部により判定される前記制御状態が、前記車両を前方に進行させるように駆動力を伝える状態である場合において、前記速度検出部が検出する速度が所定の速度以下であるときは、前記車両の前端の上方の視点から下方を見下ろしたときに視認される領域を表示する前記周辺画像を前記表示装置に表示させ、前記速度検出部が検出する速度が前記所定の速度を超えるときは、前記車両の後方及び側方を表示する前記周辺画像を前記表示装置に表示させ、さらに、前記状態判定部により判定される前記制御状態が、前記車両を後方に進行させるように駆動力を伝える状態である場合には、前記車両の前方から後方を見たときに視認される領域を表示する画像であって、前記車両の後方と共に前記車両を表示する前記周辺画像を前記表示装置に表示させる、プログラム。
  8. コンピュータを、
    車両の駆動力の出力方向を制御する出力制御装置(33)による制御状態を判定する状態判定部(25)と、
    前記車両の走行速度を検出する速度検出部(26)と、
    前記車両の周囲を撮影する1つ以上のカメラ(3a、3b、3c、3d)により撮影された画像に基づく前記車両の周辺を示す画像であって、それぞれ少なくとも視点及び表示範囲のいずれか一方が異なる画像である複数の周辺画像(103、105、107、109)の中から、1つ以上の前記周辺画像を表示装置(5)に表示させる表示制御部(28)として機能させるプログラムであって、
    前記表示制御部は、前記状態判定部により判定される前記制御状態が、前記車両を前方に進行させるように駆動力を伝える状態である場合において、前記速度検出部が検出する速度が所定の速度以下であるときは、前記車両の前方の路面であって前記車両の運転者から死角となる領域を表示する前記周辺画像を前記表示装置に表示させ、前記速度検出部が検出する速度が前記所定の速度を超えるときは、前記車両の前方から後方を見たときに視認される領域を表示する画像であって、前記車両の後方及び側方と共に前記車両を表示する前記周辺画像を前記表示装置に表示させる、プログラム。
JP2016043469A 2016-03-07 2016-03-07 情報処理装置及びプログラム Active JP6597415B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016043469A JP6597415B2 (ja) 2016-03-07 2016-03-07 情報処理装置及びプログラム
DE112017001178.7T DE112017001178T5 (de) 2016-03-07 2017-03-06 Informationsverarbeitungsvorrichtung und -programm
US16/082,395 US10706292B2 (en) 2016-03-07 2017-03-06 Information processing apparatus and program
CN201780015616.8A CN108702491A (zh) 2016-03-07 2017-03-06 信息处理装置以及程序
PCT/JP2017/008771 WO2017154833A1 (ja) 2016-03-07 2017-03-06 情報処理装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016043469A JP6597415B2 (ja) 2016-03-07 2016-03-07 情報処理装置及びプログラム

Publications (3)

Publication Number Publication Date
JP2017163206A JP2017163206A (ja) 2017-09-14
JP2017163206A5 JP2017163206A5 (ja) 2018-06-21
JP6597415B2 true JP6597415B2 (ja) 2019-10-30

Family

ID=59790218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016043469A Active JP6597415B2 (ja) 2016-03-07 2016-03-07 情報処理装置及びプログラム

Country Status (5)

Country Link
US (1) US10706292B2 (ja)
JP (1) JP6597415B2 (ja)
CN (1) CN108702491A (ja)
DE (1) DE112017001178T5 (ja)
WO (1) WO2017154833A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3071333B1 (fr) * 2017-09-15 2021-06-11 Renault Sas Procede d’affichage sur un ecran d’un environnement d’un vehicule automobile, et vehicule automobile dans lequel un tel procede est mis en œuvre
US20200349367A1 (en) * 2018-01-19 2020-11-05 Sony Corporation Image processing device, image processing method, and program
JP6745316B2 (ja) 2018-09-28 2020-08-26 本田技研工業株式会社 車両用情報表示装置
JP7160701B2 (ja) * 2019-01-23 2022-10-25 株式会社小松製作所 作業機械のシステム及び方法
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
JP7429865B2 (ja) 2020-05-28 2024-02-09 パナソニックIpマネジメント株式会社 表示制御装置、車両及び表示制御方法
JP7398637B2 (ja) * 2020-05-28 2023-12-15 パナソニックIpマネジメント株式会社 表示制御装置、車両及び表示制御方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03286306A (ja) 1990-04-03 1991-12-17 Mitsubishi Electric Corp 数値制御装置
EP2309453A3 (en) 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus and image displaying method
JP3803021B2 (ja) * 2000-10-02 2006-08-02 松下電器産業株式会社 運転支援装置
US7995095B2 (en) * 2001-10-18 2011-08-09 Autoliv Development Ab Night vision device for a vehicle
EP1504276B1 (en) * 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
US8564079B2 (en) * 2008-04-21 2013-10-22 Qualcomm Incorporated STT MRAM magnetic tunnel junction architecture and integration
US8564657B2 (en) * 2009-05-29 2013-10-22 Honda Research Institute Europe Gmbh Object motion detection system based on combining 3D warping techniques and a proper object motion detection
JP5412979B2 (ja) * 2009-06-19 2014-02-12 コニカミノルタ株式会社 周辺表示装置
JP2011091527A (ja) * 2009-10-21 2011-05-06 Panasonic Corp 映像変換装置及び撮像装置
JP5152244B2 (ja) * 2010-04-06 2013-02-27 トヨタ自動車株式会社 追従対象車特定装置
DE112010005670B4 (de) * 2010-06-18 2015-11-12 Mitsubishi Electric Corporation Fahrunterstützungsvorrichtung, Fahrunterstützungssystem und Fahrunterstützungs-Kameraeinheit
JP5206752B2 (ja) * 2010-08-30 2013-06-12 株式会社デンソー 走行環境認識装置
JP2012195793A (ja) * 2011-03-17 2012-10-11 Clarion Co Ltd 車両周辺監視装置
JP5669791B2 (ja) * 2012-08-07 2015-02-18 本田技研工業株式会社 移動体の周辺画像表示装置

Also Published As

Publication number Publication date
US10706292B2 (en) 2020-07-07
US20190087665A1 (en) 2019-03-21
WO2017154833A1 (ja) 2017-09-14
CN108702491A (zh) 2018-10-23
DE112017001178T5 (de) 2018-11-15
JP2017163206A (ja) 2017-09-14

Similar Documents

Publication Publication Date Title
JP6597415B2 (ja) 情報処理装置及びプログラム
KR101354068B1 (ko) 차량주변화상생성장치
KR101266734B1 (ko) 표시장치
JP5277272B2 (ja) 車両後方監視装置
US9973734B2 (en) Vehicle circumference monitoring apparatus
JP6477562B2 (ja) 情報処理装置
US20200082185A1 (en) Periphery monitoring device
WO2014068856A1 (ja) 画像生成装置、および画像生成プログラム製品
JP7151293B2 (ja) 車両周辺表示装置
US20100134264A1 (en) Vehicle surrounding confirmation apparatus
US20170259831A1 (en) Driving assistance device and driving assistance system
JP6524922B2 (ja) 運転支援装置、運転支援方法
JP2018144526A (ja) 周辺監視装置
CN110997409B (zh) 周边监控装置
JP2007221200A (ja) 車両周辺監視装置
JP7091624B2 (ja) 画像処理装置
JP6876236B2 (ja) 表示制御装置
JP2005186648A (ja) 車両用周囲視認装置および表示制御装置
JP2018063294A (ja) 表示制御装置
CN111095921A (zh) 显示控制装置
JP7013751B2 (ja) 画像処理装置
JP7000383B2 (ja) 画像処理装置および画像処理方法
US11669230B2 (en) Display control device
CN110895443A (zh) 显示控制装置
CN110877574A (zh) 显示控制装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180509

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190916

R151 Written notification of patent or utility model registration

Ref document number: 6597415

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250