JP7188727B2 - 車両用視認装置 - Google Patents

車両用視認装置 Download PDF

Info

Publication number
JP7188727B2
JP7188727B2 JP2018027763A JP2018027763A JP7188727B2 JP 7188727 B2 JP7188727 B2 JP 7188727B2 JP 2018027763 A JP2018027763 A JP 2018027763A JP 2018027763 A JP2018027763 A JP 2018027763A JP 7188727 B2 JP7188727 B2 JP 7188727B2
Authority
JP
Japan
Prior art keywords
vehicle
image
width direction
display
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018027763A
Other languages
English (en)
Other versions
JP2019145982A (ja
Inventor
正則 小杉
貴史 長尾
哲也 江川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai Rika Co Ltd
Original Assignee
Tokai Rika Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai Rika Co Ltd filed Critical Tokai Rika Co Ltd
Priority to JP2018027763A priority Critical patent/JP7188727B2/ja
Priority to PCT/JP2019/004619 priority patent/WO2019163563A1/ja
Priority to US16/969,908 priority patent/US11066013B2/en
Publication of JP2019145982A publication Critical patent/JP2019145982A/ja
Application granted granted Critical
Publication of JP7188727B2 publication Critical patent/JP7188727B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、車両周辺を撮影して撮影画像を表示することにより車両周辺を視認する車両用視認装置に関する。
車両周辺の撮影画像を表示して車両周辺を視認する車両用視認装置を光学ミラーの代わりとして車両に搭載する技術が知られている。
例えば、特許文献1には、映像表示手段の横方向中央に位置する比較的広い中央表示領域に、ルームミラーのミラー反射像に対応した映像サイズで後方映像を表示している。また、中央表示領域の外側に位置する外側表示領域に、右後側方映像と左後側方映像とを後方映像よりも圧縮した映像として表示している。
また、撮影画像を表示する車両用視認装置では、モニタに映像を表示できない状況が発生すると後方視界を確保できなくなってしまうため、表示面にハーフミラー等の光学ミラーを設けたものなどがある(例えば、特許文献2)。
特開2009-81664号公報 特開2014-200018号公報
ところで、撮影画像をモニタに表示する車両用視認装置では、車幅方向を多く表示しようとしても画面の大きさに制限され表示される画像に限界がある。
そこで、特許文献1の技術を用いて、中央表示領域を狭くして双方を圧縮して表示する範囲をより広く表示することが考えられる。
しかしながら、特許文献2のように、光学ミラーに切替え可能な場合には、光学ミラーに切替えた際に、表示された画像と光学ミラーの反射像との大きさが異なり、違和感を生じる可能性がある。また、光学ミラーを備えない構成においては、光学ミラーに映る像と同じような画像が表示されることが望ましい。
本発明は、上記事実を考慮して成されたもので、光学ミラーに映る像と同じような画像を表示しつつより広い範囲を表示可能な車両用視認装置を提供することを目的とする。
上記目的を達成するために第1の態様は、車両後方の撮影画像を表示する表示部と、前記撮影画像に対して車両内側から外側へ向かって徐々に車幅方向の圧縮率が高くなるように圧縮して前記表示部に表示する表示制御を行う制御部と、を備える。
第1の態様によれば、表示部には、車両後方の撮影画像が表示されるので、表示された撮影画像により車両後方を視認できる。
そして、制御部では、撮影画像に対して車両内側から外側へ向かって徐々に車幅方向の圧縮率が高くなるように圧縮して表示部に表示する表示制御が行われる。一般的に光学ミラーの反射像に映る対象物は、車両側方ほど小さく見える。従って、制御部が、車両内川から外側へ向かって徐々に車幅方向の圧縮率が高くなるように圧縮することで、光学ミラーに映る像と同じような画像を表示しつつより広い範囲を表示できる。
第2の態様は、車両後方の撮影画像を表示する表示部と、前記撮影画像のリアガラスに対応する領域より側方の領域を車幅方向に圧縮して前記表示部に表示する表示制御を行う制御部と、を備える。
第2の態様によれば、表示部には、車両後方の撮影画像が表示されるので、表示された撮影画像により車両後方を視認できる。
そして、制御部では、撮影画像のリアガラスに対応する領域より側方の領域を車幅方向に圧縮して表示部に表示する表示制御が行われる。このように、リアガラスに対応する領域は圧縮せずに、当該領域より側方を圧縮することで、リアガラスに対応する領域については、縦横の縮尺に対して相似関係が維持されるので、光学ミラーに映る像と同じような画像を表示することが可能となる。また、リアガラスより側方の領域が圧縮されるのでより広い範囲を表示できる。従って、光学ミラーに映る像と同じような画像を表示しつつより広い範囲を表示できる。
なお、圧縮する前記側方の領域は、リアガラスに隣接するリアピラーより側方の領域としてもよい。これにより、リアピラーに対応する領域についても圧縮しないので、光学ミラーに切替えた際の違和感を抑制する領域を広くすることが可能となる。
また、第2の態様における表示制御は、圧縮する側方の領域について、車両内側から外側へ向かって徐々に圧縮率を高くなるように圧縮してもよい。この場合、表示制御は、実際の見かけの大きさの比に合わせて車両内側から外側へ向かって徐々に圧縮率を高くして圧縮してもよい。
また、第1の態様における表示制御は、実際の見かけの大きさの比に合わせて車両内側から外側へ向かって徐々に圧縮率を高くして撮影画像を圧縮して前記表示部に表示してもよい。
なお、表示制御は、撮影画像中の正面から物体の側方までの距離をL、前記表示部に表示する撮影画像を生成する際に使用する仮想スクリーンまでの距離をd、物体の車幅方向の大きさをaとした場合に、θ=arctan((a/d)/(1+L×(L+a)/d))の式を満たすように圧縮して前記表示部に表示してもよい。
以上説明したように本発明によれば、光学ミラーに切替えた際の違和感を抑制しつつより広い範囲を表示可能な車両用視認装置を提供すること可能となる、という効果がある。
(A)は車両の車室内の主要部を車両後側から見た正面図であり、(B)は車両用視認装置が設けられた車両を示す上方視の平面図である。 本実施形態に係る車両用視認装置の概略構成を示すブロック図である。 (A)には、左右のドアカメラとトランク付近に設けた後方カメラの3つのカメラで撮影した撮影画像を合成し、車室内画像と更に合成して生成した表示用画像の例を示し、(B)は撮影画像のリアガラスより側方に対応する領域の圧縮を説明するための図である。 本実施形態に係る車両用視認装置の制御装置で行われるモニタに画像を表示する際の処理の流れの一例を示すフローチャートである。 側方に行くほど車幅方向の圧縮率を上げて圧縮した例を示す模式図である。 アイポイントからの見え方を説明するための模式図である。 a=1、d=24mとして(1)式をグラフ化したグラフを示す図である。
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1(A)は、車両12の車室内の主要部を車両後側から見た正面図であり、図1(B)は、車両用視認装置10が設けられた車両12を示す上方視の平面図である。また、図2は、本実施形態に係る車両用視認装置10の概略構成を示すブロック図である。なお、各図において、矢印FRは車両前側を示し、矢印Wは車幅方向を示し、矢印UPは車両上方を示す。
車両用視認装置10には、後方カメラ14及びドアカメラ16(16L、16R)が設けられている。後方カメラ14は、例えば、トランクなどの車両後部に配置され、車両12の後方を所定の画角(撮影領域)で撮影可能とされている。また、ドアカメラ16Lは、車両12の車幅方向左端部に設けられ、ドアカメラ16Rは、車両12の車幅方向右端部に設けられている。ドアカメラ16L、16Rは、車体側方から車両後方を所定の画角(撮影領域)で撮影可能とされている。
後方カメラ14及びドアカメラ16L、16Rは、車両周辺としての車両後方を撮影する。詳細には、後方カメラ14の撮影領域の一部は、ドアカメラ16L、16Rの撮影領域の一部と重複し、後方カメラ14及びドアカメラ16L、16Rにより、車両後方を車体の右斜め後方から左斜め後方の範囲に渡って撮影可能とされている。これにより、車両12の後方側が広角に撮影される。
車両12の車室内には、インナーミラー18が設けられており、インナーミラー18は、ブラケット20の基部が車室内天井面の車両前側かつ車幅方向中央部に取付けられている。ブラケット20には、表示部としての長尺矩形状とされたモニタ22が設けられており、モニタ22は、長手方向が車幅方向とされ、かつ表示面が車両後方に向けられてブラケット20の下端部に取付けられている。これにより、モニタ22は、車両前側のフロントウインドシールドガラスの上部付近に配置されて、画像を表示する表示面が車室内の乗員に視認可能にされている。
モニタ22の表示面には、ハーフミラー(ワイドミラー)23が設けられており、モニタ22が非表示の場合に、ハーフミラー23には、車室内と共にリアガラス及びドアガラスを通した後方視界が写される。なお、ハーフミラー23は省略してもよい。
ブラケット20には、インナーカメラ24が設けられており、インナーカメラ24がモニタ22の上側(車室内天井側)においてブラケット20に固定されている。インナーカメラ24は、撮影方向が車両後方に向けられており、インナーカメラ24が車両前側から車室内及び車両後方を撮影する。
インナーカメラ24の撮影領域には、リアガラス、サイドドアのドアガラスが含まれており、リアガラス及びドアガラスを通して後方カメラ14及びドアカメラ16L、16Rの撮影領域の撮影が可能とされている。また、インナーカメラ24の撮影領域には、車室内に見えるセンターピラー、リアピラー、リアサイドドア、後席、及び車室内天井等が含まれる。なお、インナーカメラ24の撮影領域には、前席が含まれてもよい。
一方、車両用視認装置10には、制御部としての制御装置30が設けられており、制御装置30に後方カメラ14、ドアカメラ16L、16R、モニタ22及びインナーカメラ24が接続されている。制御装置30には、CPU30A、ROM30B、RAM30C、不揮発性記憶媒体(例えば、EEPROM)30D、及びI/O(入出力インタフェース)30Eがそれぞれバス30Fに接続されたマイクロコンピュータが含まれている。ROM30B等には、車両用視認表示制御プログラム等の各種のプログラムが記憶されており、CPU30AがROM30B等に記憶されるプログラムを読み出して実行することで、制御装置30がモニタ22に乗員の視認を補助する画像を表示する。
制御装置30は、後方カメラ14及びドアカメラ16L、16Rの各々により撮影された車外の撮影画像を重ねて車外画像を生成する。また、制御装置30は、インナーカメラ24により撮影された撮影画像から車室画像を生成する。さらに、制御装置30は、車外画像と車室画像とを重ねて、表示用画像を生成し、表示用画像をモニタ22に表示するように制御する。なお、モニタ22は、運転席より車両前側に設けられており、撮影画像に対してモニタ22に表示される画像が左右反転される。また、以下では、画像を左右反転する鏡像変換処理を省略して説明する場合がある。
ここで、後方カメラ14、ドアカメラ16L、16R及びインナーカメラ24の各々の間では、撮影画像の視点位置が異なっている。ここから、制御装置30は、後方カメラ14、ドアカメラ16L、16R及びインナーカメラ24の各々の撮影画像に対して視点位置を合わせる視点変換処理を行う。視点変換処理では、例えば、モニタ22の中心位置(車幅方向及び上下方向の中間位置)よりも車両前側に仮想視点が設定され、後方カメラ14、ドアカメラ16L、ドアカメラ16R、及びインナーカメラ24の各々の撮影画像が、仮想視点から見た画像に変換される。視点変換処理を行う場合、仮想視点と共に、車両後方に仮想スクリーンが設定される。仮想スクリーンは、本実施形態では説明を簡略化するために平面として説明するが、車両後方に凸状とされた湾曲面(車両12から見て凹状とされた湾曲面)としてもよい。視点変換処理は、撮影画像の各々を仮想視点から見て仮想スクリーン上に投影された画像に変換する任意の手法が適用される。
各撮影画像は、同一の仮想視点及び仮想スクリーンを用いて視点変換処理を行うことで、異なる撮影画像に映っている同一の対象物が重なって見える。すなわち、インナーカメラ24の撮影画像においてリアガラス及びドアガラス越しに映っている対象物が、後方カメラ14及びドアカメラ16L、16Rの撮影画像に映っていると仮定したときに、その対象物の画像が重なるように見える。制御装置30は、視点変換処理を行った後方カメラ14、ドアカメラ16L、及びドアカメラ16Rの各々の撮影画像に対してトリミング処理を行って、モニタ22に表示する領域の画像を抽出する。
制御装置30は、インナーカメラ24の撮影画像に対してトリミング処理を行うことで、モニタ22に車室画像として表示する領域の画像を抽出する。また、制御装置30では、車室画像に対して透過率が設定されており、車室画像が設定された透過率となるように画像変換が行われる。車室画像は、透過率が高くなることで、透明度が増して透過性が高くなり、透過率が低い場合に比べて画像が淡くなる(薄く見える)。制御装置30には、車室画像に設定される透過率として、合成画像上で車外画像が認識可能となる透過率が設定されている。また、制御装置30には、車室画像に対する透過率として、リアピラーの画像、車室内天井の画像のリアピラーの上側部分、及び後席の画像のリアピラーの下側部分において他の車体部分の画像よりも低く設定されている(画像が濃く見える)。
なお、リアガラス及びドアガラスの画像の透過率は、100%(全透過)であってもよいし、リアピラーを除く車体部分の画像と同様の透過率であってもよい。また、本実施の形態では、透過率を低く設定する車体部品の画像としてリアピラーに加え、リアピラーの上側部分の車室内天井の画像、及びリアピラーの下側部分のリアサイドドア、後席の画像が含まれる。
ところで、本実施形態に係る車両用視認装置10では、モニタ22の表示面にハーフミラー23が設けられて、ハーフミラー23による後方視界と、モニタ22による後方視界とを切替えることが可能とされている。また、モニタ22に表示する撮影画像は、表示の仕方によってはハーフミラー23に映る後方視界の範囲より広範囲の領域を表示することができるので、後方視界を切替えた場合の違和感を抑制する必要がある。また、ハーフミラー23を設けない構成においては、ハーフミラー23等の光学ミラーに映る像と同じような画像が表示されることが望ましい。
そこで、以下の本実施形態では、光学ミラーに映る像と同じような画像を表示しつつ、モニタ22に表示する後方視界の範囲をより広域にする方法を説明する。
(第1実施形態)
本実施形態では、上述してように、3つのカメラの撮影画像を合成して車外画像を生成する。この時、左右のドアカメラ16の画角を大きくしたり、カメラ自体を外側に向けると車両の側方が多く撮影される。モニタ22に表示する画像は表示面のサイズに限定されるため、何らかの工夫をしないと撮影した画像全てをモニタ22に表示できないか、全体が小さく表示されてしまう。
他方、モニタ22に表示される画像は、万一の場合に光学ミラーであるハーフミラー23と表示を切替えるため、見栄えがなるべく同じようにすることが望ましい。つまり、モニタ22に表示する時に非線形の圧縮が撮影画像に施されていたり、極端に小さく表示されるのでは望ましくない。
そこで、本実施形態では、ハーフミラー23で見えるリアガラスに対応する領域はハーフミラー23の見え方と同じにすべく、車両上下及び車幅方向に縮尺して相似な関係にし、リアガラスより側方は、車幅方向に圧縮して表示するように表示制御を行う。これにより、リアガラス部分については、ハーフミラー23に映る像と同じような画像を表示してハーフミラー23に切替えても違和感を抑制することができる。また、リアガラスより側方については、車幅方向に圧縮されるので、より多くの撮影画像を表示することが可能となる。
図3(A)には、左右のドアカメラ16L、16Rとトランク付近に設けた後方カメラ14の3つのカメラで撮影した撮影画像を合成し、車室内画像と更に合成して生成した表示用画像の例を示す。なお、図3(A)では、車室画像としてリアガラス、後席サイドガラス、及び前席サイドガラスのそれぞれのガラス越しに見えるようにシースルー重畳表示した例を示す。
本実施形態では、図3(A)に示すように、3つの撮影画像を単に合成しただけでは、モニタ22に表示しきれないので、図3(B)に示すように、撮影画像のリアガラスより側方に対応する領域を圧縮するようになっている。リアガラスより側方の画像の圧縮は、予め定めた圧縮率でリアガラスより側方の画像を圧縮してもよい。或いは、図3(B)の点線で示すように、側方ほど分割領域が狭くなるように分割して、側方ほど圧縮率が段階的に高くなるように各領域を圧縮してもよい。或いは、アスフェリカルミラーの反射像のように、側方ほど圧縮率が高くなるように線形的に圧縮してもよい。
続いて、本実施形態に係る車両用視認装置10の制御装置30で行われる具体的な処理について説明する。図4は、本実施形態に係る車両用視認装置10の制御装置30で行われるモニタ22に画像を表示する際の処理の流れの一例を示すフローチャートである。なお、図4の処理は、車両用視認表示制御プログラムを実行することにより行われ、図示しないイグニッションスイッチ(IG)がオンされた場合に開始する。また、モニタ22の表示または非表示を切り替えるスイッチが設けられて、表示が指示された場合に開始してもよい。この場合は、スイッチがオン操作されることで、モニタ22への画像表示が開始され、スイッチがオフ操作されることで、モニタ22への画像表示が終了されて、モニタ22がルームミラー(ハーフミラー23)として機能する。
ステップ100では、CPU30Aが、インナーカメラ24により車室内の撮影を行うことで、車室内の撮影画像が読み込まれてステップ102へ移行する。
ステップ102では、CPU30Aが、車室内の撮影画像に対して、視点変換処理(トリミング処理を含む)を行うと共に、予め設定された透過率に変換し、車室画像を生成してステップ104へ移行する。
ステップ104では、CPU30Aが、後方カメラ14及びドアカメラ16L、16Rの各々により撮影を行うことで、車外の撮影画像が読み込まれてステップ106へ移行する。
ステップ106では、CPU30Aが、車外の撮影画像に対して視点変換処理を行うと共に、撮画像抽出処理(トリミング処理)等を行ってステップ108へ移行する。すなわち、各撮影画像に対して視点変換処理を行って、車外画像を生成するための画像を、後方カメラ14、及びドアカメラ16L、16Rの各々の撮影画像から抽出する。
ステップ108では、CPU30Aが、トリミング処理によって抽出された画像を合成して車外画像を生成してステップ110へ移行する。すなわち、3つのカメラの撮影画像から抽出した画像を合成して車外画像を生成する。
ステップ110では、CPU30Aが、車外画像と車室画像とを合成してステップ112へ移行する。
ステップ112では、CPU30Aが、合成した画像の車幅方向を圧縮して表示用画像を生成してステップ114へ移行する。本実施形態では、上述したように、リアガラスより側方の画像を圧縮する。これにより、リアガラスに対応する領域については、ハーフミラー23に映る像と同じような画像を表示してハーフミラー23に切替えても違和感を抑制でき、リアガラスより側方について圧縮するので、側方をより多く表示することが可能となる。
ステップ114では、CPU30Aが、生成した表示用画像をモニタ22に表示してステップ116へ移行する。
ステップ116では、CPU30Aが、モニタ22への表示終了であるか否かを判定する。該判定は、イグニッションスイッチがオフされたか否か、或いは、モニタ22のスイッチにより非表示にする指示が行われたか否かを判定する。該判定が否定された場合にはステップ100に戻って上述の処理を繰り返し、判定が肯定された場合には一連の表示処理を終了する。
このように、本実施形態では、リアガラスに対応する領域は車幅方向に圧縮せずに表示し、リアガラスより側方を圧縮することで、ハーフミラー23に映る像と同じような画像を表示しつつ、より多くの画像を表示でき、後方視界を広くすることが可能となる。
なお、上記の実施形態では、リアガラスに対応する領域より側方を圧縮するようにしたが、これに限るものではない。例えば、リアガラスに隣接するリアピラーより側方を圧縮して圧縮対象外の領域を上記より増やしてもよい。
(第2実施形態)
上記の実施形態では、リアガラスに対応する部分より側方の画像を圧縮するようにしたが、本実施形態では、車両内側から外側へ向かって徐々に圧縮率を高くなるように圧縮するようにしたものである。より詳細には、より広い範囲を自然に認識可能とするため、実際の見え方と同じように、実際の見かけの大きさの比に合わせて車両内側から外側へ向かって徐々に圧縮率が高くなるように車幅方向の圧縮率を変化させて圧縮する。
例えば、図5に示す矩形部分は、本来は全て同じ大きさであるが、左右に行くほど(側方ほど)幅が狭く見えるため、図5に示すように側方に行くほど車幅方向の圧縮率を上げて圧縮する。
図6を用いてより具体的に説明する。図6は、アイポイントからの見え方を説明するための模式図である。
アイポイントPから正面の物体Aを見る場合と、正面からL分だけ側方の物体Bを見る場合とでは、物体Aの方が物体Bより大きく見える。すなわち、物体Aと物体Bの車幅方向の長さが同じ場合、物体A、Bはそれぞれアイポイントから見かけ上の角度θの大きさで見えることになるが、この角度θは、側方ほど小さい角度となり、物体Aより物体Bの方が小さく見える。
ここで、アイポイントPの正面から物体の側方までの距離をLとし、モニタ22の映像を投影する仮想スクリーンまでの距離をdとし、物体の車幅方向の大きさをaとした場合、物体の見かけ上の角度θは、以下の(1)式で表させる。
θ=arctan((a/d)/(1+L×(L+a)/d)) ・・・(1)
物体が正面、すなわち、L=0の時に見かけ上の角度θは最大になる。L=0で、ある条件の時、例えば、θ=3°で、モニタ22に表示可能な角度が60°分を移せるとすると、モニタ22の幅の1/20だけ物体が中央に表示されることなる。この条件のまま、正面から側方への距離Lを可変した結果、θ=1°だとすれば、距離L分だけ離れた点の物体はL=0の時と比べて、1/3に車幅方向に圧縮されて1/60に表示される。ここで、a=1、d=24mで(1)式をグラフ化したものを図7に示す。図7は、L=0の時のθを1として、距離Lだけ離れた時のθの割合を示している。なお、図7では仮想スクリーンまでのdを除いて示す。
そこで、本実施形態では、モニタ22に物体を表示する際に物体Aと物体Bの見え方を反映させて表示するために、正面から側方への距離Lに応じて、図7に示す物体の見かけの大きさの比となるように、圧縮率を変化させて圧縮して表示する。これにより、実際の見え方と同じような画像をモニタ22に表示することが可能となり、ハーフミラー23に切替えた際の違和感を抑制することが可能となる。
本実施形態において制御装置30で行われる具体的な処理の流れは、上記の実施形態の図4の処理と基本的には同じ処理が行われる。詳細には、上記の実施形態におけるステップ112において、画像の車幅方向の圧縮を行う際に、上述した見かけ上の大きさの比となるように、側方への圧縮率を変化して圧縮し、他の処理については上記の実施形態と同様に処理すればよい。
なお、第1実施形態の側方の圧縮する部分について、第2実施形態を適用して、実際の見かけの大きさの比に合わせた圧縮率で、リアガラスより側方の画像を圧縮してもよい。
また、上記の実施形態では、ドアカメラ16L、16R及び後方カメラ14の3つの撮影画像を合成して車外画像を生成する例を説明したが、車外画像はこれに限るものではなく、2つのカメラの撮影画像を合成したものを車外画像としてもよい。或いは、後方カメラ14のみを設けて、後方カメラ14の撮影画像を車外画像としてもよい。
また、上記の実施形態では、車室画像としてインナーカメラ24の撮影画像(動画像)を用いる例を説明したが、車室画像はこれに限るものではない。例えば、車室画像としては、工場における車両の製造時や出荷時等において予め車室内を撮影した撮影画像や、車両の走行開始前に撮影した撮影画像を用いてもよい。また、車室画像としては、カメラの撮影画像に限らず、車室内を描画したイラストなどを用いてもよい。或いは、車室画像を省略して表示してもよい。
また、上記の実施形態では、3つの撮影画像を合成して車外画像を生成してから車室画像と合成した後に、車幅方向の圧縮を行って表示用画像を生成する例を説明したが、表示用画像の生成順は、これに限るものではない。例えば、ドアカメラ16の撮影画像について側方の車幅方向の圧縮を行ってから3つの撮影画像を合成して車外画像を生成し、車外画像と車室画像とを合成して表示用画像を生成してもよい。或いは、3つの撮影画像を合成して車外画像を生成し、車外画像の側方を圧縮してから車室画像と合成して表示用画像を生成してもよい。
また、上記の実施形態における制御装置30で行われる処理は、ソフトウエアの処理として説明したが、これに限るものではない。例えば、ハードウエアで行う処理としてもよいし、ハードウエアとソフトウエアの双方を組み合わせた処理としてもよい。
また、上記の実施形態における制御装置30で行われる処理は、プログラムとして記憶媒体に記憶して流通させるようにしてもよい。
さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
10 車両用視認装置
14 後方カメラ
16 ドアカメラ
22 モニタ
23 ハーフミラー
30 制御装置

Claims (5)

  1. 車両後方の撮影画像を表示する表示部と、
    前記撮影画像に対して車両内側から外側へ向かって徐々に車幅方向の圧縮率が高くなるように圧縮して前記表示部に表示する表示制御を行う制御部と、
    を備え、
    前記表示制御は、アイポイントから車両後方に存在する物体を見た場合における、前記物体の車幅方向の見かけの大きさと、前記物体の車幅方向外側に存在し前記物体と同じ大きさの物体を前記アイポイントから見た場合の、前記物体の車幅方向の見かけの大きさの比に合わせて車両内側から外側へ向かって徐々に圧縮率を高くして前記撮影画像を圧縮して前記表示部に表示する車両用視認装置。
  2. 車両後方の撮影画像を表示する表示部と、
    前記撮影画像のリアガラスに対応する領域より側方の領域を車幅方向に圧縮して前記表示部に表示する表示制御を行う制御部と、
    を備え、
    前記表示制御は、圧縮する前記側方の領域について、アイポイントから車両後方に存在する物体を見た場合における、前記物体の車幅方向の見かけの大きさと、前記物体の車幅方向外側に存在し前記物体と同じ大きさの物体を前記アイポイントから見た場合の、前記物体の車幅方向の見かけの大きさの比に合わせて車両内側から外側へ向かって徐々に圧縮率を高くして圧縮する車両用視認装置。
  3. 圧縮する前記側方の領域は、リアガラスに隣接するリアピラーより側方の領域である請求項2に記載の車両用視認装置。
  4. 前記表示制御は、撮影画像中の正面から物体の側方までの距離をL、前記表示部に表示する撮影画像を生成する際に使用する仮想スクリーンまでの距離をd、物体の車幅方向の大きさをaとした場合に、
    θ=arctan((a/d)/(1+L×(L+a)/d ))の式を満たすように圧縮して前記表示部に表示する請求項1~3の何れか1項に記載の車両用視認装置。
  5. 車両後方の撮影画像を表示する表示部と、
    前記撮影画像に対して車両内側から外側へ向かって徐々に車幅方向の圧縮率が高くなるように圧縮して前記表示部に表示する表示制御を行う制御部と、
    を備え、
    前記表示制御は、撮影画像中の正面から物体の側方までの距離をL、前記表示部に表示する撮影画像を生成する際に使用する仮想スクリーンまでの距離をd、物体の車幅方向の大きさをaとした場合に、
    θ=arctan((a/d)/(1+L×(L+a)/d ))の式を満たすように圧縮して前記表示部に表示する車両用視認装置。
JP2018027763A 2018-02-20 2018-02-20 車両用視認装置 Active JP7188727B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018027763A JP7188727B2 (ja) 2018-02-20 2018-02-20 車両用視認装置
PCT/JP2019/004619 WO2019163563A1 (ja) 2018-02-20 2019-02-08 車両用視認装置
US16/969,908 US11066013B2 (en) 2018-02-20 2019-02-08 Viewing device for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018027763A JP7188727B2 (ja) 2018-02-20 2018-02-20 車両用視認装置

Publications (2)

Publication Number Publication Date
JP2019145982A JP2019145982A (ja) 2019-08-29
JP7188727B2 true JP7188727B2 (ja) 2022-12-13

Family

ID=67688242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018027763A Active JP7188727B2 (ja) 2018-02-20 2018-02-20 車両用視認装置

Country Status (3)

Country Link
US (1) US11066013B2 (ja)
JP (1) JP7188727B2 (ja)
WO (1) WO2019163563A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6766715B2 (ja) * 2017-03-22 2020-10-14 トヨタ自動車株式会社 車両用表示制御装置
EP4034424B1 (en) * 2019-09-27 2023-08-30 Gentex Corporation Video recording mirror
JP2021093628A (ja) * 2019-12-10 2021-06-17 トヨタ自動車株式会社 車両用周辺表示装置
JP2021145326A (ja) * 2020-03-10 2021-09-24 パナソニックIpマネジメント株式会社 画像合成装置
CN116918320A (zh) 2021-02-18 2023-10-20 松下知识产权经营株式会社 显示控制装置和显示控制方法
JP2022129153A (ja) * 2021-02-24 2022-09-05 株式会社Subaru 車両の乗員監視装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004194169A (ja) 2002-12-13 2004-07-08 Auto Network Gijutsu Kenkyusho:Kk 視覚補助装置及び視覚補助方法
JP2012170127A (ja) 2012-04-23 2012-09-06 Nissan Motor Co Ltd 車両用周辺監視装置および映像表示方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5117003B2 (ja) * 2006-07-11 2013-01-09 本田技研工業株式会社 運転支援装置
JP5194679B2 (ja) 2007-09-26 2013-05-08 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP2009101954A (ja) 2007-10-25 2009-05-14 Honda Motor Co Ltd 車両室内用ミラー
JP5320970B2 (ja) * 2008-10-15 2013-10-23 日産自動車株式会社 車両用表示装置および表示方法
JP6658642B2 (ja) * 2017-03-24 2020-03-04 トヨタ自動車株式会社 車両用視認装置
JP6649914B2 (ja) * 2017-04-20 2020-02-19 株式会社Subaru 画像表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004194169A (ja) 2002-12-13 2004-07-08 Auto Network Gijutsu Kenkyusho:Kk 視覚補助装置及び視覚補助方法
JP2012170127A (ja) 2012-04-23 2012-09-06 Nissan Motor Co Ltd 車両用周辺監視装置および映像表示方法

Also Published As

Publication number Publication date
US20210009036A1 (en) 2021-01-14
US11066013B2 (en) 2021-07-20
WO2019163563A1 (ja) 2019-08-29
JP2019145982A (ja) 2019-08-29

Similar Documents

Publication Publication Date Title
JP7188727B2 (ja) 車両用視認装置
CN108621937B (zh) 车载显示设备、车载显示设备的控制方法以及存储车载显示设备的控制程序的存储介质
JP6877115B2 (ja) 車両用視認装置
KR100936557B1 (ko) 차량용 주변 감시 장치 및 영상 표시 방법
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
JP5093611B2 (ja) 車両周辺確認装置
JP7052632B2 (ja) 車両用周辺表示装置
JPWO2017056953A1 (ja) 表示装置
US10399496B2 (en) Viewing device for vehicle and method of displaying viewed image for vehicle
WO2019039347A1 (ja) 車両用視認装置
WO2019163564A1 (ja) 車両用視認装置、及び車両用視認装置の撮影部の画角設定方法
KR20150073676A (ko) 차량용 왜곡 보정 장치 및 방법
JP2018074503A (ja) 車両用視認装置及び車両用視認画像表示方法
WO2020149008A1 (ja) カメラモニターシステム、虚像表示装置、及び虚像表示方法
WO2019155936A1 (ja) 車両用視認装置
WO2019155935A1 (ja) 車両用視認装置
JP6210080B2 (ja) 車両用表示装置
JP7331731B2 (ja) 車両用電子ミラーシステム
JP6989212B2 (ja) 車両用視認装置
JP6299122B2 (ja) 運転支援装置
JP2020124989A (ja) 電子ミラーシステム、電子ミラー制御装置、および、電子ミラーシステム制御方法
JP2004098739A (ja) 車両周辺視認装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221124

R150 Certificate of patent or registration of utility model

Ref document number: 7188727

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150