JP6477562B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP6477562B2
JP6477562B2 JP2016055551A JP2016055551A JP6477562B2 JP 6477562 B2 JP6477562 B2 JP 6477562B2 JP 2016055551 A JP2016055551 A JP 2016055551A JP 2016055551 A JP2016055551 A JP 2016055551A JP 6477562 B2 JP6477562 B2 JP 6477562B2
Authority
JP
Japan
Prior art keywords
image
vehicle
display
traveling direction
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016055551A
Other languages
English (en)
Other versions
JP2017175182A (ja
Inventor
後藤 宏明
宏明 後藤
浩高 鈴木
浩高 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2016055551A priority Critical patent/JP6477562B2/ja
Priority to CN201780018256.7A priority patent/CN108886602B/zh
Priority to US16/083,831 priority patent/US10638081B2/en
Priority to DE112017001410.7T priority patent/DE112017001410B4/de
Priority to PCT/JP2017/010984 priority patent/WO2017159863A1/ja
Publication of JP2017175182A publication Critical patent/JP2017175182A/ja
Application granted granted Critical
Publication of JP6477562B2 publication Critical patent/JP6477562B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Description

本発明は、車両の周辺を撮影して表示する技術に関する。
車両の周辺を複数の視点の画像で表示する技術が知られている。例えば、特許文献1では、車両が駐車する駐車枠が検出されたときに視点を切り換える技術が提案されている。
特開2013−212723号公報
画像の視点が変化すると、車両の搭乗者が認識しやすい車両周辺の領域が変化する。よって、駐車枠の検出がされなくとも、適切な視点の画像を表示装置に表示させたいという要望があった。
本発明は、適切な態様で車両周辺の画像を表示する技術を提供することを目的とする。
本開示の第1の局面は、検出部(21)と、表示制御部(27)と、判定部(23)と、を備える情報処理装置(9)である。上記検出部は、車両の進行方向が前方であること、及び、進行方向が後方であることを検出する。
上記表示制御部は、検出部により進行方向が後方であることが検出されている場合に、車両の周囲を撮影する少なくとも3つ以上のカメラ(3)により撮影された画像に基づき車両の前方よりも後方の表示される割合が大きくなるように合成された画像である合成画像、或いは、上記3つ以上のカメラのうち、少なくとも1つのカメラにより撮影された画像に基づき生成された、上記合成画像とは異なる視点で車両の後方を表示する画像である生成画像を表示装置(5)に表示させる。
上記判定部は、上記合成画像が表示されているときに少なくとも上記車両の状態に基づいて判断される条件である所定条件が満たされたか否かを判定する。
そして、上記表示制御部は、検出部により進行方向が後方であることが検出されている場合に判定部により上記所定条件が満たされたと判定されたときは、合成画像から生成画像に切り替えて表示装置に表示させる。
このような構成によれば、車両の進行方向が後方である場合において、車両の状態が所定条件を満たしていれば生成画像が表示されるため、その状況に応じた適切な態様の画像を車両の搭乗者に提示することができる。
また本開示の第2の局面は、検出部(21)と、表示制御部(27)と、判定部(23)と、を備える情報処理装置(9)である。上記検出部は、車両の進行方向が前方であること、及び、進行方向が後方であることを検出する。
上記表示制御部は、検出部により進行方向が後方であることが検出されている場合に、車両の周囲を撮影する少なくとも3つ以上のカメラ(3)により撮影された画像に基づき車両の前方よりも後方の表示される割合が大きくなるように合成された画像である合成画像、或いは、上記3つ以上のカメラのうち、少なくとも1つのカメラにより撮影された画像に基づき生成された、上記合成画像とは異なる視点で車両の後方を表示する画像である生成画像を表示装置(5)に表示させる。
上記判定部は、生成画像が表示されているときに検出部により検出される進行方向が後方から前方に切り替わるという状況が以前に発生していたことを少なくとも条件として含む表示切替条件が満たされたか否かを判定する。
そして上記表示制御部は、検出部により進行方向が前方から後方に切り替わったことが検出された場合に、判定部により表示切替条件が満たされたと判定されているときは、合成画像を表示装置に表示させる一方、判定部により表示切替条件が満たされたと判定されていないときは、生成画像を表示装置に表示させる。
このような構成によれば、車両の進行方向が後方に切り替わったときに、表示切替条件を満たしていれば合成画像が表示されるため、その状況に応じた適切な態様の画像を車両の搭乗者に提示することができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
画像表示システムの構成を示すブロック図である。 ディスプレイに表示される三次元ビュー画像を示す図である。 ディスプレイに表示されるトップ+バックビュー画像を示す図である。 ディスプレイに表示されるトップ+フロントビュー画像を示す図である。 第1実施形態の画像表示処理のフローチャートである。 第2実施形態の画像表示処理のフローチャートである。
以下、図面を参照しながら、発明を実施するための形態を説明する。
[1.第1実施形態]
[1−1.構成]
画像表示システム1は自動車等の車両に搭載されて用いられるシステムであって、図1に示すように、車両に搭載される4つのカメラである前カメラ3a,後カメラ3b,左カメラ3c,及び右カメラ3dと、ディスプレイ5と、情報取得部7と、情報処理装置9と、を備えている。以下の説明において、上記4つのカメラ全てを指すときにはカメラ3と記載する。
この画像表示システム1は、カメラ3にて撮影された車両周辺の画像を合成した合成画像を生成し、その合成画像をディスプレイ5に表示させるシステムである。
カメラ3は、車両に設けられた撮像装置であって、例えば公知のCCDイメージセンサやCMOSイメージセンサなどを用いることができる。カメラ3は所定の時間間隔(一例として1/15s)で車両周辺を撮影し、撮影した撮影画像を情報処理装置9に出力する。なお、前カメラ3a,後カメラ3b,左カメラ3c,右カメラ3dは、それぞれ、車両の前方、後方、左方、右方を撮影するように配置されている。
ディスプレイ5は、液晶や有機ELなどの表示画面を有する表示装置である。ディスプレイ5は、情報処理装置9から入力される信号に従って画像を表示する。
情報取得部7は、車両に搭載された複数のセンサなどを用いて車両の情報を取得する。具体的には、シフトレバーの操作された位置を示すシフト情報、ブレーキペダルの操作状態を示すブレーキ情報、車両の走行速度を示す車速情報、ステアリングホイールの回転角度を示す舵角情報、あるタイミングからの車両の走行距離である走行距離情報などを取得する。走行距離情報は、走行速度と走行時間に基づいて求めることができる。この情報取得部7は、取得した車両情報を情報処理装置9に出力する。
情報処理装置9はCPU11と、RAM、ROM、フラッシュメモリ等の半導体メモリ(以下、メモリ13)と、を有する周知のマイクロコンピュータを中心に構成される。情報処理装置9の各種機能は、CPU11が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ13が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、情報処理装置9を構成するマイクロコンピュータの数は1つでも複数でもよい。
情報処理装置9は、CPU11がプログラムを実行することで実現される機能の構成として、図1に示すように、検出部21と、判定部23と、画像生成部25と、表示制御部27と、を備える。情報処理装置9を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。
検出部21は、車両の進行方向が前方であること、及び、車両の進行方向が後方であることを検出する。本実施形態では、情報取得部7により取得されたシフト情報に基づいて車両の進行方向を検出する。なお、シフト情報以外の情報に基づいて進行方向を検出してもよい。例えば、進行方向に応じて異なる出力が得られる様々なセンサなどの検出値(例えば、車速情報)に基づいて進行方向を検出することができる。
判定部23は、後述する合成画像が表示されているときに所定条件を満たしたか否か、及び、後述する表示切替条件を満たしたか否かを判定する。これらの条件は車両の状態に基づく条件であるが、詳細は後述する。
画像生成部25は、カメラ3により撮影された画像に基づいて、いずれかのカメラの視点とは異なる1つ以上の視点の画像を生成する。なおここで言う視点とは、撮影された対象物を見るときの立脚点となる位置である。異なる視点により撮影された画像から異なる視点の画像を生成する技術は公知の技術であるため、説明を割愛する。
表示制御部27は、検出部21により車両の進行方向が後方であることが検出されている場合に、ディスプレイ5に車両の周辺の画像を表示させる。表示される画像としては、合成画像と、生成画像と、の2種類が含まれる。
合成画像は、車両の周囲を撮影する少なくとも3つ以上のカメラ3により撮影された画像に基づき、車両の前方よりも後方の表示される割合が大きくなるように合成された画像である。
生成画像は、上述した合成画像を構成する3つ以上のカメラ3のうち、少なくとも1つのカメラ3により撮影された画像に基づき生成された、合成画像とは異なる視点で車両の後方を表示する画像である。生成画像を構成する画像を撮影するカメラ3は、合成画像を構成する画像を撮影するカメラ3のうち、一部のカメラであってもよいし、全部のカメラであってもよい。
また表示制御部27は、検出部21により検出される進行方向が後方から前方に切り替わった場合に、ディスプレイ5に前方画像を表示させる。
ディスプレイ5に表示される画像の例を、図2及び図3を用いて説明する。
図2は、画像表示システム1が搭載された車両103の前方かつ上方の視点から、車両103を斜め後方に見下ろした画像である三次元ビュー画像101を示す図である。
この三次元ビュー画像101は、4つのカメラ3の撮影画像又は前カメラ3aを除く3つのカメラ3の撮影画像を合成して生成される。車両103自体はカメラ3によって撮影されないため、予め準備された画像が合成に用いられる。
この三次元ビュー画像101では、車両103の前方よりも後方の表示される割合が大きいため、車両103の後方を広く視認することができ、また、画像内に表示された表示物と車両103との位置関係を容易に視認することができる。即ち三次元ビュー画像101は、運転開始時や駐車開始時など、車両が止まっている状態や車両が走行を開始してすぐの状態において、比較的広い範囲の周辺を確認するときに好適な画像である。この三次元ビュー画像101が、合成画像に相当する。
図3は、車両103の上方を視点として真下に車両103を見下ろしたトップビュー画像113と、後カメラ3bにより撮影された車両103の後方を示す後方画像であるバックビュー画像115と、を合わせた複合画像であるトップ+バックビュー画像111を示す図である。
トップビュー画像113は、4つのカメラ3の撮影画像と、予め準備された車両103の画像と、を合成して生成される。具体的には、トップビュー画像113は、画像表示システム1が搭載された車両103の上方から真下に見下ろしたような鳥瞰画像である。例えば、トップビュー画像113は、4つのカメラ3の撮像画像を合成することで生成しても良いし、他に、フロントとリアの2つのカメラの撮像画像と、その履歴画像を合成することで生成しても良い。
バックビュー画像115は、車両103の後方における比較的車両103に近い範囲を中心に示している。バックビュー画像115は、後カメラ3bにより撮像された画像により生成される。バックビュー画像115は、駐車時や切り返し時など、前述した三次元ビュー画像101よりも車両周辺の比較的狭い範囲をより詳細に確認したい場合に好適な画像である。このバックビュー画像115が、生成画像に相当する。
また、上述した前方画像とは、前カメラ3aにより撮影された車両前方の下方を示す画像である。この前方画像は車両の運転者からは死角となる、車両前方の車両に近接した部分を中心に示している。
図4は、図3と同様のトップビュー画像113と、前カメラ3aにより撮影された車両103の前方を示す画像であるフロントビュー画像123と、を合わせた複合画像であるトップ+フロントビュー画像121を示す図である。フロントビュー画像123が、上述した前方画像である。
なお、ディスプレイ5に表示される画像は一定の時間間隔(一例として1/15s)で、新たにカメラ3により撮影された画像に基づく画像に更新される。
また、表示制御部27は、以下の(A)、(B)の2つの処理を実行する。
(A)検出部21により進行方向が後方であることが検出されている場合に判定部23により所定条件が満たされたと判定されたときは、合成画像から生成画像に切り替えてディスプレイ5に表示させる処理。
(B)検出部21により進行方向が前方から後方に切り替わったことが検出された場合に、判定部23により表示切替条件が満たされたと判定されているときは、合成画像をディスプレイ5に表示させる一方、判定部23により表示切替条件が満たされたと判定されていないときは、生成画像をディスプレイ5に表示させる処理。
これら(A)、(B)が実行される画像表示処理を、以下に説明する。
[1−2.処理]
次に、情報処理装置9のCPU11が実行する画像表示処理について、図5のフローチャートを用いて説明する。本処理は、自車両のアクセサリスイッチがオンである間実行される。
まずS1では、CPU11は、シフト情報に基づいてシフトレバーが「R」であることが検出されたか否かを判定する。上記「R」とは、リバースレンジであって、車両が後退する場合にシフトレバーを位置させる領域である。なお以下の説明において、シフトレバーが「R」であることを単にシフトRとも記載する。このS1にてシフトRが検出されていれば、処理がS2に移行する。一方、シフトRが検出されていなければ、処理がS1に戻る。なお、本処理ではシフトレバーの位置、即ちシフト情報に基づいて車両の進行方向を検出するが、シフト情報以外の情報に基づいて進行方向を検出してもよい。
S2では、CPU11は、上述した三次元ビュー画像101をディスプレイ5に表示させる。
S3では、CPU11は、所定条件が満たされたか否かを判定する。所定条件の具体的な要件は、車両が走行を開始したことである。所定条件を満たしたか否かは、車速が所定速度(0又は5km/h)を超えたこと、ブレーキを離したこと、などに基づいて判定することができる。
なお所定条件は、シフトレバーが「R」となってからの移動距離が所定距離を超えたことを具体的な要件としてもよい。またその場合には、条件が満たされるまでの距離を通知してもよい。また所定距離はユーザが変更できるように構成されていてもよい。また所定距離は、ステアリング角度によって動的に変化するように構成されていてもよい。例えば駐車の目的位置に近づくと、ステアリングはまっすぐに近くなることが想定されるため、ステアリングの切り角が小さくなるほど所定距離を小さくすることが考えられる。
その他に、前述したように、駐車の目的位置に近づくと、ステアリングはまっすぐに近くなることから、単にステアリングの切り角が所定角度以下であることを所定条件としても良いし、ステアリングの切り角が、所定角度を超えている状態から、所定角度以下となったことを所定条件としてもよい。また、駐車枠を検出したことを所定条件としてもよい。
このS3にて所定条件が満たされたと判定されていれば、処理がS4に移行する。一方、所定条件が満たされと判定されていなければ、処理がS2に戻る。
S4では、CPU11は、上述したトップ+バックビュー画像111をディスプレイ5に表示させる。即ち、このS1〜S4の処理が、上述した(A)の処理である。
なお、ディスプレイ5に表示される画像を切り替えるときには、モーフィングの手法を用いたり、視点が徐々に移動して車両の周囲を回るような画像表示を行ったりしてもよい。画像を切り替える他の場面においても同様の画像表示を行うことができる。
S5では、CPU11は、シフト情報に基づいてシフトレバーが「D」であることが検出されたか否かを判定する。上記「D」とは、ドライブレンジであって、車両が前進する場合にシフトレバーを位置させる領域である。なお以下の説明において、シフトレバーが「D」であることを単にシフトDとも記載する。このS5にてシフトDが検出されていれば、処理がS6に移行する。一方、シフトDが検出されていなければ、処理がS5に戻る。
S6では、CPU11は、上述したトップ+フロントビュー画像121をディスプレイ5に表示させる。即ち、検出部21により検出される進行方向が後方から前方に切り替わった場合に、前方画像がディスプレイ5に表示される。
S7では、CPU11は、シフト情報に基づいてシフトRが検出されたか否かを判定する。このS7にてシフトRが検出されていれば、処理がS8に移行する。一方、シフトRが検出されていなければ、処理がS7に戻る。
S8では、CPU11は、表示切替条件が満たされたか否かを判定する。表示切替条件の具体的な内容は、以下の(i)、(ii)の両方の条件を満たすことであり、両方の条件を満たしたときに、表示切替条件が満たされたと判定される。
(i)生成画像がディスプレイ5に表示されているときに、検出部21により検出される進行方向が後方から前方に切り替わるという状況が以前に発生していたこと。
(ii)進行方向が後方から前方に切り替わってから所定距離(例えば3m)以上前方に走行したこと。
なお上記(i)の条件において、以前とは、S8における判定が行われるタイミングより前という意味であって、上記(i)の条件は、S7にてシフトRが検出されたときに、シフトDであることを条件とするものではない。S7にてシフトRが検出されるタイミングより前の所定の期間内に条件が満たされていればよい。
このS8にて表示切替条件が満たされたと判定されていれば、処理がS2に移行する。即ち、ディスプレイ5には合成画像である三次元ビュー画像101が表示されることとなる。
一方、S8において、表示切替条件が満たされと判定されていなければ、処理がS4に移行する。即ち、ディスプレイ5には、生成画像を含むトップ+バックビュー画像111が表示されることとなる。
上述したS5〜S8、及びその後のS2、S4の処理が、上述した(B)の処理である。
[1−3.効果]
以上詳述した第1実施形態によれば、以下の効果が得られる。
(1a)本実施形態の画像表示システム1では車両の進行方向が後方である場合において、車両の状態が所定条件を満たしていれば生成画像が表示される。この所定条件は車両がある程度後進したことに起因して満たされる条件であり、生成画像は車両近傍の狭い範囲を表示する画像であるため、車両の状況に応じた適切な態様の画像を車両の搭乗者に提示することができる。
(1b)本実施形態の画像表示システム1では、トップ+バックビュー画像111やトップ+フロントビュー画像121のように、鳥瞰画像と共に車両前方や後方の画像が表示されるため、搭乗者は車両周辺の状況を高度に理解することができる。
(1c)本実施形態の画像表示システム1では、シフトレバーが操作されて、シフトRの後にシフトDとなり、その後にシフトRとなったときに、シフトDにおいて走行した距離が短ければディスプレイには例えば、後カメラの画像の一部を表示するような、比較的狭い範囲の画像が表示され、上記距離が長ければ、例えば、後方カメラとサイドカメラとの画像を合成して車両の後方を中心とした広い範囲の画像が表示される。よって、車両の搭乗者は、その状況に応じた適切な画像を視認することができる。
例えば駐車時において、車両の位置を微調整する場合には、シフトDからすぐシフトRに戻す場合があるが、その場合は近距離が視認しやすいトップ+バックビュー画像111が表示される。また、例えば駐車場内で駐車する場所を変更する場合など、シフトRからシフトDに切り替わった後に一定以上の距離を走行した場合には、広域を視認しやすい三次元ビュー画像101が表示される。
(1d)本実施形態の画像表示システム1では、シフトRの後にシフトDにシフトレバーが操作されたときには、車両の前方下方がディスプレイに表示される。よって、運転者がバック操作に集中していても、その後、前方に進行する場合には進行方向の死角となる領域を視認できるため、バック操作中に前方に移動してきた障害物を見落としてしまうことを抑制できる。
[2.第2実施形態]
[2−1.第1実施形態との相違点]
第2実施形態は、基本的な構成は第1実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
第2実施形態では、CPU11により実行される処理の内容が相違する。
[2−2.処理]
第2実施形態の情報処理装置9のCPU11が、図5に示す第1実施形態の画像表示処理に代えて実行する処理について、図6のフローチャートを用いて説明する。なお、図6におけるS11〜S16の処理は、図5におけるS1〜S6の処理と同様であるため、説明を割愛する。
S17では、CPU11は、シフト情報に基づいてシフトレバーが「R」であることが検出されたか否かを判定する。このS17にてシフトRが検出されていれば、処理がS12に移行する。一方、シフトRが検出されていなければ、処理がS17に戻る。
即ち、第2実施形態では、表示切替条件を満たしたか否かを判定することなく、シフトレバーが「R」となれば三次元ビュー画像101の表示を実行する。
[2−3.効果]
以上詳述した第2実施形態によれば、以下の効果が得られる。
(2a)本実施形態の画像表示システム1では、シフトRの後にシフトDとなり、その後にシフトRにシフトレバーが操作されたときには、ディスプレイ5には三次元ビュー画像101が表示される。よって、例えば駐車時において、車両を後進させる前に車両の周囲を車両の搭乗者に視認させることができるため、車両の周囲の障害物などを良好に認識させることができる。
(2b)シフトRからシフトDに切り換えられた後はディスプレイ5に三次元ビュー画像101が表示されるが、その後、所定条件を満たせばトップ+バックビューが表示されることとなるため、車両の近傍を表示することが望ましい状況では近傍が表示されるため都合がよい。
[3.他の実施形態]
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。
(3a)上記実施形態では、車両の搭乗者が運転を行う場合において、シフトレバーを操作したときにディスプレイ5の表示が変化する構成を例示したが、搭乗者に代わって制御装置が一部又は全部の運転操作を実行する自動運転制御が行われる車両において、自動運転制御が実行されている場合にも本発明を実施することができる。例えば、駐車のみを自動的に実行する自動運転制御が行われる場合において上記実施形態の画像表示が行われることで、搭乗者は車両の周辺をディスプレイ5にて確認することができ、安心感を得ることができる。
(3b)上記実施形態では、車両には4つのカメラが搭載される構成を例示したが、その数は特に限定されず、5つ以上のカメラが設けられていてもよいし、3つのカメラが設けられていても良い。但し、少なくとも1つのカメラは車両の後方が撮影できる位置に配置するとよい。
なお、1つのカメラで車両の後方を撮影する構成であれば、そのカメラで撮影された画像と、その画像を画像処理により画像の視点を変更した画像と、を後方画像として用いることができる。
なお、車両の後方を撮影するカメラと、車両の左右側方を撮影する2つのカメラと、を有していることで、三次元ビュー画像101のように車両の後方を広く表示する合成画像を好適に生成することができる。
(3c)上記実施形態では、後方を表示する生成画像として、後カメラ3bにて撮影された画像に基づく画像であるバックビュー画像115が表示される構成を例示した。
しかしながら、生成画像は、画像処理により視点変換等の処理がなされた画像、トリミングされた画像、複数のカメラの撮影画像を合成した画像などであってもよい。生成画像を生成するために用いるカメラは、合成画像を生成するために用いた複数のカメラのうちの1つ以上のカメラとすることができる。
また、合成画像や生成画像は、それぞれ複数の種類を有していてもよい。
(3d)上記実施形態では、表示装置としてディスプレイ5を例示したが、画像を表示可能であればその構成は特に限定されず、様々な表示装置を採用することができる。
(3e)上記第1実施形態では、判定部23は、表示切替条件として、上述した(i)および(ii)の両方の条件を満たしたことを検出する構成を例示したが、少なくとも上述した(i)を条件として含むならば、(ii)は条件として含まなくともよく、また、それ以外の条件を含むものであってもよい。
例えば、図5のS5にてシフトDが検出されてから、S7にてシフトRが検出されるまでの時間が所定の閾値以上又は以下であることを条件の1つとしてもよい。なお、この閾値はユーザが自在に設定できるように構成されていてもよい。閾値を小さく設定すれば三次元ビュー画像101が表示されやすくなり、閾値を大きく設定すればバックビュー画像115が表示されやすくなる。
(3f)シフトRからシフトDに切替られた場合に、次にシフトRとなったときに表示される画像が、三次元ビュー画像101及びトップ+バックビュー画像111のうち現状ではどれであるかを示す情報と、次にシフトRとなったときの画像が別の画像となるための条件を示す情報と、がディスプレイ5に表示されるように構成されていてもよい。
例えば、シフトDに切り換えられてすぐのときには、ディスプレイ5には、「表示予定:バックビュー」、「表示予定変更まであと3m」と表示されており、車両が走行すると後者の数値が減少し、0になると後者の表示が消え、前者の表示が「表示予定:三次元ビュー」となるように構成することが考えられる。
(3g)上記実施形態では、シフトレバーが「D」である場合には車両の前方を示す前方画像が表示される構成を例示したが、前方画像は表示されない構成であってもよい。
(3h)上記実施形態では、相対的に広い範囲を表示する合成画像の一例である三次元ビュー画像101と、相対的に狭い範囲を表示する生成画像の一例であるバックビュー画像115と、を表示可能である構成を例示した。
しかしながら表示可能である画像の態様は上記実施形態の2種類に限定されず、異なる視点で車両の後方を表示できる様々な態様を採用することができる。例えば車両の真上から車両を見た画像であっても、車両の後方が表示されているならば、合成画像や生成画像として用いることができる。
また、複数の画像が同時に表示されるように構成されていてもよい。
(3i)上記第1実施形態では、表示切替条件を満たした場合には三次元ビュー画像101が表示される構成を例示したが、表示切替条件を満たしたときに表示される画像は三次元ビュー画像101以外の画像であってもよい。例えば表示切替条件を見たしたときにバックビュー画像115が表示される構成であってもよいし、車両の周囲を広く表示したトップビュー画像が画像として表示される構成であってもよい。
(3j)上記各実施形態における1つの構成要素が有する機能を複数の構成要素に分担させたり、複数の構成要素が有する機能を1つの構成要素に発揮させたりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
(3k)上述した情報処理装置9の他、当該情報処理装置9を構成要素とするシステム、当該情報処理装置9としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像表示方法など、種々の形態で本発明を実現することもできる。
1…画像表示システム、3…カメラ、5…ディスプレイ、9…情報処理装置、21…検出部、23…判定部、25…画像生成部、27…表示制御部、101…三次元ビュー画像、115…バックビュー画像

Claims (6)

  1. 車両の進行方向が前方であること、及び、前記進行方向が後方であることを検出する検出部(21)と、
    前記検出部により前記進行方向が後方であることが検出されている場合に、前記車両の周囲を撮影する少なくとも3つ以上のカメラ(3)により撮影された画像に基づき前記車両の前方よりも後方の表示される割合が大きくなるように合成された画像である合成画像、或いは、前記3つ以上のカメラのうち、少なくとも1つのカメラにより撮影された画像に基づき生成された、前記合成画像とは異なる視点で前記車両の後方を表示する画像である生成画像を表示装置(5)に表示させる表示制御部(27)と、
    前記合成画像が表示されているときに少なくとも前記車両の状態に基づいて判断される条件である所定条件が満たされたか否かを判定する判定部(23)と、を備え、
    前記表示制御部は、前記検出部により前記進行方向が後方であることが検出されている場合に前記判定部により前記所定条件が満たされたと判定されたときは、前記合成画像から前記生成画像に切り替えて前記表示装置に表示させる、情報処理装置(9)。
  2. 請求項1に記載の情報処理装置であって、
    前記所定条件は、車両の走行速度が所定速度を超えたこと、前記検出部により前記進行方向が後方であることが検出されてから所定距離走行したこと、ステアリング角度が所定閾値以下であること、及び、駐車枠を検出したこと、のうちの少なくともいずれか1つの条件である、情報処理装置。
  3. 請求項1または請求項2に記載の情報処理装置であって、
    前記合成画像は、前記生成画像に比べ相対的に広い範囲を表示する画像である、情報処理装置。
  4. 請求項1から請求項3のいずれか1項に記載の情報処理装置であって、
    前記表示制御部は、前記表示装置に前記生成画像を表示させる際には、前記車両の周囲を撮影する少なくとも2つ以上のカメラにより撮影された画像に基づき生成された前記車両の上側から該車両を見た画像である鳥瞰画像と合わせて前記表示装置に表示させる、情報処理装置。
  5. 車両の進行方向が前方であること、及び、前記進行方向が後方であることを検出する検出部(21)と、
    前記検出部により前記進行方向が後方であることが検出されている場合に、前記車両の周囲を撮影する少なくとも3つ以上のカメラ(3)により撮影された画像に基づき前記車両の前方よりも後方の表示される割合が大きくなるように合成された画像である合成画像、或いは、前記3つ以上のカメラのうち、少なくとも1つのカメラにより撮影された画像に基づき生成された、前記合成画像とは異なる視点で前記車両の後方を表示する画像である生成画像を表示装置(5)に表示させる表示制御部(27)と、
    前記生成画像が表示されているときに前記検出部により検出される前記進行方向が後方から前方に切り替わるという状況が以前に発生していたことを少なくとも条件として含む表示切替条件が満たされたか否かを判定する判定部(23)と、を備え、
    前記表示制御部は、前記検出部により前記進行方向が前方から後方に切り替わったことが検出された場合に、前記判定部により前記表示切替条件が満たされたと判定されているときは、前記合成画像を前記表示装置に表示させる一方、前記判定部により前記表示切替条件が満たされたと判定されていないときは、前記生成画像を前記表示装置に表示させる、情報処理装置(9)。
  6. 請求項5に記載の情報処理装置であって、
    前記表示切替条件は、前記進行方向が後方から前方に切り替わってから所定距離以上前方に走行したことを、条件の1つとして含む、情報処理装置(9)。
JP2016055551A 2016-03-18 2016-03-18 情報処理装置 Active JP6477562B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016055551A JP6477562B2 (ja) 2016-03-18 2016-03-18 情報処理装置
CN201780018256.7A CN108886602B (zh) 2016-03-18 2017-03-17 信息处理装置
US16/083,831 US10638081B2 (en) 2016-03-18 2017-03-17 Information processing device
DE112017001410.7T DE112017001410B4 (de) 2016-03-18 2017-03-17 Informationsverarbeitungsvorrichtung
PCT/JP2017/010984 WO2017159863A1 (ja) 2016-03-18 2017-03-17 情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016055551A JP6477562B2 (ja) 2016-03-18 2016-03-18 情報処理装置

Publications (2)

Publication Number Publication Date
JP2017175182A JP2017175182A (ja) 2017-09-28
JP6477562B2 true JP6477562B2 (ja) 2019-03-06

Family

ID=59850755

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016055551A Active JP6477562B2 (ja) 2016-03-18 2016-03-18 情報処理装置

Country Status (5)

Country Link
US (1) US10638081B2 (ja)
JP (1) JP6477562B2 (ja)
CN (1) CN108886602B (ja)
DE (1) DE112017001410B4 (ja)
WO (1) WO2017159863A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11458981B2 (en) 2018-01-09 2022-10-04 Motherson Innovations Company Limited Autonomous vehicles and methods of using same
JP7151293B2 (ja) 2018-09-06 2022-10-12 株式会社アイシン 車両周辺表示装置
JP6745316B2 (ja) * 2018-09-28 2020-08-26 本田技研工業株式会社 車両用情報表示装置
JP7222254B2 (ja) 2019-01-25 2023-02-15 株式会社アイシン 周辺表示制御装置
JP7314514B2 (ja) 2019-01-25 2023-07-26 株式会社アイシン 表示制御装置
CN111741258B (zh) * 2020-05-29 2022-03-11 惠州华阳通用电子有限公司 一种驾驶辅助装置实现方法
CN111741260B (zh) * 2020-06-12 2021-12-21 江苏中奕和创智能科技有限公司 一种散热防沙尘监控器
JP7154256B2 (ja) 2020-07-06 2022-10-17 本田技研工業株式会社 制御装置、制御方法、およびプログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300334B2 (ja) 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
WO2000064175A1 (fr) 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP3855814B2 (ja) * 2002-03-22 2006-12-13 日産自動車株式会社 車両用画像処理装置
US7145519B2 (en) 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
JP2006256419A (ja) * 2005-03-16 2006-09-28 Clarion Co Ltd 駐車支援装置
JP4945177B2 (ja) * 2006-07-05 2012-06-06 三洋電機株式会社 車両の運転支援装置
JP4895940B2 (ja) * 2007-08-13 2012-03-14 アルパイン株式会社 車両周辺画像表示装置および表示モード情報表示方法
JP2010126059A (ja) * 2008-11-28 2010-06-10 Suzuki Motor Corp 車両用駐車支援装置
JP5195592B2 (ja) * 2009-03-31 2013-05-08 富士通株式会社 映像処理装置
JP2010274813A (ja) * 2009-05-29 2010-12-09 Fujitsu Ten Ltd 画像生成装置及び画像表示システム
JP5271154B2 (ja) 2009-05-29 2013-08-21 富士通テン株式会社 画像生成装置及び画像表示システム
JP5500369B2 (ja) * 2009-08-03 2014-05-21 アイシン精機株式会社 車両周辺画像生成装置
JP2011135253A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
JP5316550B2 (ja) 2011-01-05 2013-10-16 株式会社デンソー 後方視界支援システム
JP5850680B2 (ja) * 2011-09-09 2016-02-03 キヤノン株式会社 撮像装置及びその制御方法
JP6077210B2 (ja) * 2011-12-22 2017-02-08 トヨタ自動車株式会社 車両用後方監視装置
JP5924399B2 (ja) * 2012-02-23 2016-05-25 日産自動車株式会社 立体物検出装置
JP5914114B2 (ja) * 2012-03-30 2016-05-11 富士通テン株式会社 駐車支援装置、及び駐車支援方法
JP2014162398A (ja) * 2013-02-27 2014-09-08 Fujitsu General Ltd 駐車支援装置
JP5479639B2 (ja) * 2013-06-19 2014-04-23 富士通テン株式会社 画像処理装置、画像処理システム、および、画像処理方法
JP5872517B2 (ja) * 2013-10-04 2016-03-01 本田技研工業株式会社 車両周辺表示装置
JP6242284B2 (ja) * 2014-04-30 2017-12-06 三菱電機株式会社 駐車支援装置
JP2016013793A (ja) * 2014-07-03 2016-01-28 株式会社デンソー 画像表示装置、画像表示方法
JP6281435B2 (ja) * 2014-07-25 2018-02-21 スズキ株式会社 駐車支援システム
JP6329036B2 (ja) 2014-09-10 2018-05-23 株式会社東芝 インクジェットヘッド
JP6224029B2 (ja) * 2015-05-21 2017-11-01 富士通テン株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
US10638081B2 (en) 2020-04-28
CN108886602B (zh) 2020-09-15
DE112017001410T5 (de) 2018-12-06
JP2017175182A (ja) 2017-09-28
DE112017001410B4 (de) 2024-01-18
WO2017159863A1 (ja) 2017-09-21
CN108886602A (zh) 2018-11-23
US20190075268A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
JP6477562B2 (ja) 情報処理装置
EP2974909B1 (en) Periphery surveillance apparatus and program
JP5522492B2 (ja) 運転支援装置
JP6597415B2 (ja) 情報処理装置及びプログラム
WO2011016367A1 (ja) 車両周辺認知支援装置
JP4948115B2 (ja) 後方視認装置
JP2011055480A (ja) 車両周辺画像生成装置
JP2007036668A (ja) 俯瞰画像表示システム及び俯瞰画像の表示方法
JP2012076483A (ja) 駐車支援装置
JP2012056428A (ja) 運転支援装置
JP6876236B2 (ja) 表示制御装置
JP2009171129A (ja) 車両用駐車支援装置および画像表示方法
JP5961821B2 (ja) 運転支援装置
JP5083254B2 (ja) 駐車結果表示システム
JP7006460B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
JP2007251880A (ja) 車両用画像表示装置および画像合成方法
JP6361415B2 (ja) 車両用画像処理装置
JP2006327319A (ja) 車両用画像表示装置
JP2012166689A (ja) 運転支援装置
JP2010184606A (ja) 車両周辺表示装置
JP2011159186A (ja) 運転支援装置及び運転支援装置の制御方法
JP2008182591A (ja) 画像提供装置、車両、および画像提供方法
WO2019026246A1 (ja) 車両周辺画像表示装置および車両周辺画像表示方法
WO2017111084A1 (ja) 表示制御装置及び表示制御方法
JP2019193031A (ja) 車両周辺表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190121

R151 Written notification of patent or utility model registration

Ref document number: 6477562

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250