JP6730615B2 - 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム - Google Patents
車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム Download PDFInfo
- Publication number
- JP6730615B2 JP6730615B2 JP2017059082A JP2017059082A JP6730615B2 JP 6730615 B2 JP6730615 B2 JP 6730615B2 JP 2017059082 A JP2017059082 A JP 2017059082A JP 2017059082 A JP2017059082 A JP 2017059082A JP 6730615 B2 JP6730615 B2 JP 6730615B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- video data
- unit
- display
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000001514 detection method Methods 0.000 claims description 40
- 238000003384 imaging method Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 42
- 238000010586 diagram Methods 0.000 description 28
- 230000003287 optical effect Effects 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
- B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラムに関する。
車両の後方を確認するルームミラーに代わって、車両の後方周辺領域を撮影する撮像部からの映像を表示するいわゆる電子ルームミラーに関する技術が知られている(例えば、特許文献1、特許文献2参照)。
ところで、10m前後の近距離にある物体との距離は、眼の輻輳角やピント調節により認識されることが知られている。または、物体と周囲の他の物体との大きさや位置関係を比較することにより認識されることが知られている。
ところが、電子ルームミラーは、光学式ルームミラーと異なり、2次元の映像の実像であるため、眼の輻輳角やピント調節により物体との距離を認識することは困難である。また、特許文献1や特許文献2に記載の技術において、撮像部は、車両の後端や車室の後端に配置されている。このため、撮像部の設置位置が光学式ルームミラーの設置位置より後続車両に近いので、後続車両が近接すると、電子ルームミラーには、後続車両の下端および路面が映らなくなる。このように、電子ルームミラーは、後続車両が近接すると、後続車両との距離の認識が困難になるおそれがある。
本発明は、上記に鑑みてなされたものであって、後続車両との距離を容易に認識可能にすることを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る車両用表示制御装置は、車両の周辺を撮影する撮像部が撮影した撮影映像データを取得する映像データ取得部と、前記撮影映像データから他車両を検出する検出部と、前記検出部が検出した他車両の下方部位を特定する特定部と、前記特定部が特定した他車両の下方部位を含んで前記撮影映像データの切出し範囲を設定し、前記撮影映像データを切出して表示映像データを生成する表示映像データ生成部と、前記表示映像データ生成部が生成した表示映像データを前記車両で用いられる表示パネルに表示させる表示制御部と、を備えることを特徴とする。
本発明に係る車両用表示システムは、上記の車両用表示制御装置と、前記撮像部、前記表示パネルのうち少なくともいずれかをさらに備える。
本発明に係る車両用表示制御方法は、車両の周辺を撮影する撮像部が撮影した撮影映像データを取得する映像データ取得ステップと、前記撮影映像データから他車両を検出する検出ステップと、前記検出ステップで検出した他車両の下方部位を特定する特定ステップと、前記特定ステップで特定した他車両の下方部位を含んで前記撮影映像データの切出し範囲を設定し、前記撮影映像データを切出して表示映像データを生成する表示映像データ生成ステップと、前記表示映像データ生成ステップで生成した表示映像データを前記車両で用いられる表示パネルに表示させる表示制御ステップとを含む。
本発明に係るプログラムは、車両の周辺を撮影する撮像部が撮影した撮影映像データを取得する映像データ取得ステップと、前記撮影映像データから他車両を検出する検出ステップと、前記検出ステップで検出した他車両の下方部位を特定する特定ステップと、前記特定ステップで特定した他車両の下方部位を含んで前記撮影映像データの切出し範囲を設定し、前記撮影映像データを切出して表示映像データを生成する表示映像データ生成ステップと、前記表示映像データ生成ステップで生成した表示映像データを前記車両で用いられる表示パネルに表示させる表示制御ステップとを車両用表示制御装置として動作するコンピュータに実行させる。
本発明によれば、後続車両との距離を容易に認識可能にすることができるという効果を奏する。
以下に添付図面を参照して、本発明に係る車両用表示制御装置10、車両用表示システム1、車両用表示制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
[第一実施形態]
車両用表示システム1は、車両100に搭載され、車両周辺を表示する。図1は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。図2は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。図3は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。
車両用表示システム1は、車両100に搭載され、車両周辺を表示する。図1は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。図2は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。図3は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。
図1ないし図3に示すように、車両用表示システム1は、撮像部2と、リヤビューモニタ(表示パネル)3と、車両用表示制御装置10と、認識辞書記憶部200とを有する。本実施形態では、リヤビューモニタ3について説明するが、前方または左右側方を撮影した映像を表示するモニタ、さらには車両100の左右側後方を撮影した映像を表示するドアミラーの代替となるサイドビューモニタにも適用可能である。
撮像部2は、車両100の後方に配置され、車両100の後方を撮影する。撮像部2は、例えば、車両100の車室上部の後端部、または、車体の後端部に配置されている。本実施形態では、撮像部2は、車両100の車室上部の後端部である、リアウィンドウの上部に配置されている。撮像部2を車両100の車室上部の後端部に配置すると、車体の後端部に取り付けた場合に比べて、撮像部2の設置位置が、光学式ルームミラーの設置位置に数10cm〜1m程度近くなる。言い換えると、撮像部2で撮影される撮影映像データ110Aの撮影位置が、光学式ルームミラーの視点に近くなる。これにより、撮影映像データ110Aは、光学式ルームミラーで後方を確認するときとの差異が小さく感じられる。また、撮像部2を車両100の車室上部の後端部に配置すると、撮像部2を車体の後端部に取り付けた場合に比べて、撮像部2の設置位置が上側になるので、後方を遠方まで撮影しやすくなる。
撮像部2は、リヤビューモニタ3による確認範囲を含んだ範囲を撮影する。撮像部2は、水平方向の画角が例えば30〜60°、上下側向の画角が例えば5〜20°である。具体的には、撮像部2は、図4に示すような、撮影映像データ110Aを撮影している。図4は、第一実施形態に係る車両用表示システムの撮像部で撮影された撮影映像データの一例を示す図である。撮像部2は、リヤビューモニタ3に表示させる範囲より広い範囲の映像を撮影可能であるが、リヤビューモニタ3を用いて車両100の運転者が適切に後方を認識できるような範囲を切出範囲として切出してリヤビューモニタ3に表示する。撮影映像データ110Aは、リヤビューモニタ3による確認範囲である切出範囲を含む。本実施形態では、撮影映像データ110Aは、切出範囲の外側をさらに含んでいる。言い換えると、撮像部2は、通常時、リヤビューモニタ3に表示されない範囲を含んで撮影している。撮影映像データ110Aは、例えば横方向1920画素、縦方向1080画素である。撮像部2は、撮影した撮影映像データ110Aを車両用表示制御装置10の映像データ取得部31へ出力する。
リヤビューモニタ3は、一例としては電子ルームミラーである。リヤビューモニタ3を電子ルームミラーとして用いる場合、後方を光学的な反射により確認するためのハーフミラーの有無は問わない。リヤビューモニタ3は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro−Luminescence)ディスプレイなどを含むディスプレイである。
リヤビューモニタ3は、車両用表示制御装置10の表示制御部35から出力された映像信号に基づき、車両100の後方映像を表示する。具体的に、リヤビューモニタ3は、図5に示すような後方映像を表示する。図5は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。リヤビューモニタ3は、運転者から視認容易な位置に配置されている。本実施形態では、リヤビューモニタ3は、ウィンドシールドSの車幅方向の中央上部に配置されている。リヤビューモニタ3は、図6に示すように、ダッシュボードDの車幅方向の中央上部に配置されていてもよい。図6は、第一実施形態に係る車両用表示システムの構成例の他の例を示す概略図である。
リヤビューモニタ3は、電子ルームミラーのように車両100の保安部品として用いる場合は、運転者の前方に固定して設置される。リヤビューモニタ3を、保安部品としてではなく、後方確認のための補助的な装置として用いる場合は、運転者の前方に限らず、運転者がリヤビューモニタ3を利用する際に目視する適切な位置に設置されればよい。
認識辞書記憶部200は、例えば、四輪車、二輪車を含む車両の正面視などの形状、大きさ、色などのパターンを照合可能な認識辞書を記憶している。認識辞書記憶部200は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置である。
図3に戻って、車両用表示制御装置10は、記憶部20と、制御部30とを有する。
記憶部20は、車両用表示制御装置10における各種処理に要するデータおよび各種処理結果を記憶する。記憶部20は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置である。または、図示しない通信装置を介して無線接続される外部記憶装置であってもよい。
制御部30は、例えば、CPU(Central Processing Unit)などで構成された演算処理装置である。制御部30は、映像データ取得部31と、検出部32と、特定部33と、表示映像データ生成部34と、表示制御部35とを含む。制御部30は、記憶部20に記憶されているプログラムに含まれる命令を実行する。
映像データ取得部31は、車両100の後方を撮影した映像を取得する。映像データ取得部31は、撮像部2が出力した撮影映像データ110Aを取得する。映像データ取得部31が取得する映像データは、例えば、毎秒60フレームの画像が連続した映像データである。映像データ取得部31は、取得した撮影映像データ110Aを検出部32に出力する。
検出部32は、撮影映像データ110Aから他車両Vを検出する。検出部32は、撮影映像データ110Aにおいて、車両認識処理を行い、他車両Vを検出する。より詳しくは、検出部32は、撮影映像データ110Aに対して、認識辞書記憶部200が記憶している認識辞書を用いたパターンマッチングを行い、他車両Vの存在を検出する。検出部32は、検出した他車両Vを画像処理で追尾する。検出部32は、検出結果を特定部33に出力する。
特定部33は、撮影映像データ110Aにおける、検出部32が検出した他車両Vの下方部位として下端部Bを特定する。より詳しくは、特定部33は、撮影映像データ110Aにおける他車両Vの前輪の接地部、または、撮影映像データ110Aにおける他車両Vの車体の下端を特定する。本実施形態では、特定部33は、撮影映像データ110Aにおける他車両Vの前輪の接地部を特定する。本実施形態では、特定部33は、他車両Vの前輪の接地部を特定できない場合、撮影映像データ110Aにおける他車両Vの車体の下端を特定する。特定部33は、特定した他車両Vの下端部Bを画像処理で追尾する。特定部33は、処理結果を表示映像データ生成部34に出力する。
本実施形態では、下方部位として他車両Vの下端部Bを例として説明する。他車両Vの下端部Bとは、検出部32が検出した他車両Vを示す形状の下端位置である。例えば、他車両Vの下端部Bは、他車両Vの車輪下端である。他車両Vの車輪下端は、線状に検出される。例えば、他車両Vの下端部Bは、他車両Vの車輪下端や車輪が撮影映像データ110Aに映っていない場合、または、他車両Vの車輪下端や車輪が画像処理で適切に認識されない場合、他車両Vの車体の下端としてもよい。
特定部33は、検出部32で、撮影映像データ110Aから他車両Vが複数検出された場合、所定条件を満たす他車両Vについて、他車両Vの下端部Bを特定する。本実施形態では、特定部33は、撮影映像データ110Aにおいて車両100との距離が最も小さい他車両Vについて、他車両Vの下端部Bを特定する。さらに、本実施形態では、特定部33は、撮影映像データ110Aにおいて最も中央部に位置している他車両Vについて、他車両Vの下端部Bを特定する。これにより、車両用表示システム1は、複数検出された他車両Vの中から、例えば最も近接している、最も中央部に位置しているなど、より優先的に運転者が確認する必要がある他車両Vについて下端部Bを特定することができる。
特定部33は、検出部32で、撮影映像データ110Aから他車両Vが複数検出された場合、複数検出された他車両Vの各々の接地位置が撮影映像データ110Aにおいて最も下方に位置する他車両Vを、車両100との距離が最も小さい他車両Vとする。また、特定部33は、検出部32で、撮影映像データ110Aから他車両Vが複数検出された場合、複数検出された他車両Vの各々の幅方向の位置が撮影映像データ110Aにおいて最も中央に位置する他車両Vを、撮影映像データ110Aにおいて最も中央部に位置している他車両Vとする。特定部33は、より優先的に運転者が確認する必要がある他車両Vの特定を、これら複数の条件、または他車両Vの幅方向の大きさなどの条件も含めて特定してもよい。
表示映像データ生成部34は、特定部33が特定した他車両Vの下端部Bを含んで撮影映像データ110Aの切出範囲を設定し、撮影映像データ110Aを切出して表示映像データ110Bを生成する。表示映像データ生成部34は、切出した表示映像データ110Bを表示制御部35に出力する。
より詳しくは、表示映像データ生成部34は、特定部33で特定した、撮影映像データ110Aにおける他車両Vの下端部Bが第一切出範囲(あらかじめ設定された切出し範囲)A1から逸脱しているか否かを判定する。言い換えると、表示映像データ生成部34は、撮影映像データ110Aにおける他車両Vの下端部Bが第一切出範囲A1の外側であるか否かを判定する。第一切出範囲A1は、あらかじめ登録され記憶されている。本実施形態では、第一切出範囲A1は、撮影映像データ110Aの中央部とする。
表示映像データ生成部34は、撮影映像データ110Aにおける他車両Vの下端部Bが、撮影映像データ110Aにおける第一切出範囲A1内である場合、第一切出範囲A1から逸脱していないと判定する。表示映像データ生成部34は、他車両Vの下端部Bが第一切出範囲A1から逸脱していないと判定した場合、第一切出範囲A1を切出範囲として設定する。
表示映像データ生成部34は、撮影映像データ110Aにおける他車両Vの下端部Bが、撮影映像データ110Aにおける第一切出範囲A1の外側である場合、第一切出範囲A1から逸脱していると判定する。表示映像データ生成部34は、他車両Vの下端部Bが第一切出範囲A1から逸脱していると判定した場合、他車両Vの下端部Bを含む、第二切出範囲A2を切出範囲として設定する。第二切出範囲A2は、第一切出範囲A1を下側にずらした範囲である。本実施形態では、第二切出範囲A2は、他車両Vの下端部Bから下側に所定画素分を含むように設定する。第二切出範囲A2は、他車両Vの下端部Bから、例えば50画素分下側を含むように設定する。または、第二切出範囲A2は、他車両Vの下端部Bの路面を含むように設定してもよい。
このようにして、表示映像データ生成部34は、特定部33が特定した他車両Vの下端部Bを含んで撮影映像データ110Aの切出範囲を設定し、撮影映像データ110Aを切出して表示映像データ110Bを生成する。切出範囲は、第一切出範囲A1または第二切出範囲A2である。
表示映像データ生成部34は、毎フレームまたは所定フレームごとに、上記の処理を繰り返す。
表示制御部35は、表示映像データ生成部34で生成された表示映像データ110Bをリヤビューモニタ3に表示させる。
次に、図7を用いて、制御部30における処理の流れについて説明する。図7は、第一実施形態に係る車両用表示システムの車両用表示制御装置の制御部における処理の流れを示すフローチャートである。
制御部30は、撮影映像データ110Aにおいて他車両Vを検出する(ステップS11)。より詳しくは、制御部30は、検出部32で、撮影映像データ110Aにおいて他車両Vを検出させる。
制御部30は、撮影映像データ110Aの他車両Vの下端部Bを特定する(ステップS12)。より詳しくは、制御部30は、特定部33で、撮影映像データ110Aにおいて、検出部32で検出した他車両Vの下端部Bを特定させる。
制御部30は、他車両Vの下端部Bが特定できたか否かを判定する(ステップS13)。より詳しくは、制御部30は、特定部33で、撮影映像データ110Aにおいて他車両Vの下端部Bが特定できたか否かを判定させる。言い換えると、制御部30は、特定部33で、撮影映像データ110Aに他車両Vの下端部Bが含まれているか否かを判定させる。制御部30は、特定部33で、他車両Vの下端部Bが特定できていないと判定された場合(ステップS13でNo)、ステップS15に進む。制御部30は、特定部33で、他車両Vの下端部Bが特定できたと判定された場合(ステップS13でYes)、ステップS14に進む。
制御部30は、他車両Vの下端部Bが第一切出範囲A1から逸脱したか否かを判定する(ステップS14)。より詳しくは、制御部30は、表示映像データ生成部34で、撮影映像データ110Aにおいて他車両Vの下端部Bが第一切出範囲A1から逸脱したか否かを判定させる。制御部30は、表示映像データ生成部34で、他車両Vの下端部Bが第一切出範囲A1から逸脱していないと判定された場合(ステップS14でNo)、ステップS15に進む。制御部30は、表示映像データ生成部34で、他車両Vの下端部Bが第一切出範囲A1から逸脱したと判定された場合(ステップS14でYes)、ステップS16に進む。
制御部30は、第一切出範囲A1を切出範囲として設定する(ステップS15)。より詳しくは、制御部30は、表示映像データ生成部34で、あらかじめ設定された第一切出範囲A1を切出範囲として設定させる。
制御部30は、第二切出範囲A2を切出範囲として設定する(ステップS16)。より詳しくは、制御部30は、表示映像データ生成部34で、第二切出範囲A2を設定させる。第二切出範囲A2は、他車両Vの下端部Bから下側に所定画素分を含む範囲である。
制御部30は、切出範囲で切出した表示映像データ110Bを生成する(ステップS17)。より詳しくは、制御部30は、表示映像データ生成部34で、切出範囲で切出した表示映像データ110Bを生成させる。
制御部30は、表示映像データ110Bを出力する(ステップS18)。より詳しくは、制御部30は、表示制御部35で、表示映像データ110Bをリヤビューモニタ3に表示させる。
図4、図8を用いて、制御部30による処理の具体例を説明する。図8は、第一実施形態に係る車両用表示システムの撮像部で撮影された撮影映像データの他の例を示す図である。
図4に示す撮影映像データ110Aの場合、撮影映像データ110Aに映っている2台の他車両Vの下端部Bは、いずれも第一切出範囲A1内にある。図4に示す撮影映像データ110Aに映っている中央の他車両Vは、後方に約30m離れた位置にいる。制御部30は、ステップS14において、他車両Vの下端部Bが第一切出範囲A1から逸脱していないと判定する(ステップS14でNo)。そして、制御部30は、ステップS15において、第一切出範囲A1を切出範囲として設定する。そして、制御部30は、ステップS17において、第一切出範囲A1で切出した表示映像データ110Bを生成する。そして、制御部30は、ステップS18において、図5に示す表示映像データ110Bをリヤビューモニタ3に表示させる。
図8に示す撮影映像データ110Aの場合、撮影映像データ110Aに映っている2台の他車両Vのうち、中央の他車両Vの下端部Bは、第一切出範囲A1から逸脱している。図8に示す撮影映像データ110Aに映っている中央の他車両Vは、後方に約10m離れた位置にいる。制御部30は、ステップS14において、他車両Vの下端部Bが第一切出範囲A1から逸脱していると判定する(ステップS14でYes)。そして、制御部30は、ステップS16において、第二切出範囲A2を切出範囲として設定する。そして、制御部30は、ステップS17において、第二切出範囲A2で切出した表示映像データ110Bを生成する。そして、制御部30は、ステップS18において、図9に示す表示映像データ110Bをリヤビューモニタ3に表示させる。
具体的には、制御部30は、図9に示すように、リヤビューモニタ3の表示面において他車両Vの下端部Bを含むように切出して表示させる。図9は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。具体的には、表示映像データ110Bは、他車両Vの下端部Bを含むように下側にずらした範囲が切出されている。
このようにして、車両用表示システム1は、制御部30で、他車両Vの下端部Bが第一切出範囲A1から逸脱したと判定した場合、リヤビューモニタ3に、第一切出範囲A1を下側にずらした第二切出範囲A2で切出した表示映像データ110Bを表示させる。言い換えると、車両用表示システム1は、制御部30で、他車両Vの下端部Bが第一切出範囲A1から逸脱したと判定した場合、他車両Vの下端部Bを含む表示映像データ110Bを表示させる。
上述したように、本実施形態によれば、他車両Vの下端部Bが第一切出範囲A1から逸脱したと判定した場合、リヤビューモニタ3に、第一切出範囲A1を下側にずらした第二切出範囲A2で切出した表示映像データ110Bを表示させることができる。言い換えると、車両用表示システム1は、制御部30で、他車両Vの下端部Bが第一切出範囲A1から逸脱したと判定した場合、他車両Vの下端部Bを含む表示映像データ110Bを表示させることができる。
このように、本実施形態によれば、リヤビューモニタ3の表示面に他車両Vの下端部Bが表示されている。しかも、本実施形態によれば、リヤビューモニタ3の表示面に他車両Vの下端部Bと、他車両Vの下方の路面とが表示されている。このため、本実施形態は、運転者が、他車両Vの下端部Bと路面との位置関係とを総合して、他車両Vとの相対的な関係から、他車両Vとの距離を正確に認識することができる。
このように、本実施形態は、実像を表示する電子ルームミラーであっても、他車両Vとの距離を正確に認識することができる。
これに対して、図8に示す撮影映像データ110Aにおいて、第一切出範囲A1を切出範囲とした場合について説明する。この場合、撮影映像データ110Aが第一切出範囲A1で切出され、リヤビューモニタ3の表示面に、図10に示す表示映像データ110Bが表示される。図10は、リヤビューモニタに表示される映像の一例を示す図である。図10に示す表示映像データ110Bにおいて、リヤビューモニタ3の表示面に他車両Vの下端部Bが表示されていない。このため、運転者が、他車両Vの下端部Bと比較対象となる路面とを比較することができないので、他車両Vとの距離を正しく認識することが困難である。
[第二実施形態]
図11および図12を参照しながら、本実施形態に係る車両用表示システム1Aについて説明する。図11は、第二実施形態に係る車両用表示システムの構成例を示すブロック図である。図12は、第二実施形態に係る車両用表示システムの車両用表示制御装置の制御部における処理の流れを示すフローチャートである。車両用表示システム1Aは、基本的な構成は第一実施形態の車両用表示システム1と同様である。以下の説明においては、車両用表示システム1と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。
図11および図12を参照しながら、本実施形態に係る車両用表示システム1Aについて説明する。図11は、第二実施形態に係る車両用表示システムの構成例を示すブロック図である。図12は、第二実施形態に係る車両用表示システムの車両用表示制御装置の制御部における処理の流れを示すフローチャートである。車両用表示システム1Aは、基本的な構成は第一実施形態の車両用表示システム1と同様である。以下の説明においては、車両用表示システム1と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。
本実施形態の車両用表示システム1Aは、第一実施形態の車両用表示システム1の構成に加えて、近接判定部36Aを有する点が、第一実施形態の車両用表示システム1と異なる。
制御部30Aは、映像データ取得部31と、検出部32と、特定部33と、表示映像データ生成部34と、表示制御部35と、近接判定部36Aとを含む。
近接判定部36Aは、検出部32が検出した他車両Vが車両100に近接していることを判定する。近接判定部36Aは、例えば、検出した他車両Vの車幅方向のサイズが、撮影映像データ110Aの横幅方向のサイズに対して所定割合以上、または、他車両Vの車幅方向の画素数が、撮影映像データ110Aの横幅方向の画素数に対して所定割合以上である場合、他車両Vが車両100に近接していると判定する。なお、他車両Vの車種ごとに、他車両Vが車両100に近接していると判定する所定割合を変えてもよい。近接判定部36Aは、判定結果を特定部33に出力する。
または、近接判定部36Aは、例えば、車両100と他車両Vとの距離が所定距離以下である場合、他車両Vが車両100に近接していると判定してもよい。車両100と他車両Vとの距離は、検出部32で、撮影映像データ110Aから他車両Vを検出した際に、検出した他車両Vの輪郭に基づく接地位置を特定し、接地位置の撮影映像データ110Aにおける位置関係により求めることができる。または、車両100と他車両Vとの距離は、撮影映像データ110Aにおける他車両Vの映像の大きさと、認識辞書記憶部200に記憶されている他車両Vの大きさとに基づき、算出することができる。また、近接判定部36Aは、図示しないレーダ等によって測定した車両100と他車両Vとの距離を用いて、他車両Vが車両100に近接していると判定してもよい。
近接判定部36Aは、車両100と他車両Vとの距離が近接しているかの判断を行ったが、車両100に対して他車両Vが近接してきているかの判断としてもよい。近接判定部36Aは、例えば、検出した他車両Vの車幅方向のサイズが、撮影映像データ110Aの撮影フレーム毎に大きくなった結果、撮影映像データ110Aの横幅方向のサイズに対して所定割合以上、または、他車両Vの車幅方向の画素数が、撮影映像データ110Aの横幅方向の画素数に対して所定割合以上である場合、他車両Vが車両100に近接してきたと判定する。また、近接判定部36Aは、図示しないレーダ等によって測定した車両100と他車両Vとの距離を用いて、他車両Vが車両100に近接してきたことを判定してもよい。
次に、図12を用いて、制御部30Aにおける処理の流れについて説明する。ステップS21、ステップS23〜ステップS29の処理は、図7に示すフローチャートにおけるステップS11〜ステップS18の処理と同じである。
制御部30Aは、撮影映像データ110Aにおける他車両Vが近接しているか否かを判定する(ステップS22)。より詳しくは、制御部30Aは、近接判定部36Aで、検出した他車両Vの車幅方向のサイズが、撮影映像データ110Aの横幅方向のサイズに対して所定割合以上、または、他車両Vの車幅方向の画素数が、撮影映像データ110Aの横幅方向の画素数に対して所定割合以上である場合、他車両Vが車両100に近接していると判定する。または、制御部30Aは、近接判定部36Aで、例えば、車両100と他車両Vとの距離が所定距離以下である場合、他車両Vが車両100に近接していると判定してもよい。制御部30Aは、撮影映像データ110Aにおける他車両Vが近接していると判定した場合(ステップS22でYes)、ステップS23に進む。制御部30Aは、撮影映像データ110Aにおける他車両Vが近接していないと判定した場合(ステップS22でNo)、ステップS26に進む。ステップS22の処理は、他車両Vが近接しているか否かの判定に代えて、他車両Vが近接してきているかの判定としてもよい。
このような構成により、車両用表示システム1Aは、制御部30Aで、他車両Vが近接していると判定した場合、他車両Vの下端部Bが第一切出範囲A1から逸脱しているか否かを判定させる。
上述したように、本実施形態は、他車両Vが近接していると判定した場合、他車両Vの下端部Bが第一切出範囲A1から逸脱しているか否かを判定させることができる。このため、本実施形態は、制御部30Aにおける処理の負荷を軽減することができる。
[第三実施形態]
図13ないし図16を参照しながら、本実施形態に係る車両用表示システム1について説明する。図13は、第三実施形態に係る車両用表示システムの車両用表示制御装置の制御部における処理の流れを示すフローチャートである。図14は、第三実施形態に係る車両用表示システムの撮像部で撮影された撮影映像データの一例を示す図である。図15は、第三実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。図16は、第三実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。
図13ないし図16を参照しながら、本実施形態に係る車両用表示システム1について説明する。図13は、第三実施形態に係る車両用表示システムの車両用表示制御装置の制御部における処理の流れを示すフローチャートである。図14は、第三実施形態に係る車両用表示システムの撮像部で撮影された撮影映像データの一例を示す図である。図15は、第三実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。図16は、第三実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。
本実施形態の車両用表示システム1は、制御部30における処理が第一実施形態と異なる。
表示映像データ生成部34は、特定部33が特定した他車両Vの上端部Uが、撮影映像データ110Aの第二切出範囲A2から逸脱すると判定した場合、上下分割した表示映像データ110Bを生成する。上下分割した表示映像データ110Bとは、他車両Vの下端部Bを含む下側映像110B1と、他車両Vの上端部Uを含む上側映像110B2とを合成した映像である。下側映像110B1とは、他車両Vの下端部Bを含む、第二切出範囲A2で切出した映像である。上側映像110B2は、他車両Vの上端部Uから上側に所定画素分を含むように切出した映像である。表示映像データ110Bにおける下側映像110B1と上側映像110B2との割合は、予め設定されている。本実施形態では、例えば、下側映像110B1と上側映像110B2との比は、1:2である。言い換えると、本実施形態では、表示映像データ110Bの下側の三分の一が下側映像110B1であり、上側の三分の二が上側映像110B2である。
次に、図13を用いて、制御部30における処理の流れについて説明する。ステップS31〜ステップS36、ステップS38、ステップS40の処理は、図7に示すフローチャートにおけるステップS11〜ステップS18の処理と同じである。
制御部30は、他車両Vの上端部Uが第二切出範囲A2から逸脱しているか否かを判定する(ステップS37)。より詳しくは、制御部30は、表示映像データ生成部34で、撮影映像データ110Aにおいて他車両Vの上端部Uが第二切出範囲A2から逸脱したか否かを判定する。制御部30は、表示映像データ生成部34で、他車両Vの上端部Uが第二切出範囲A2から逸脱していないと判定した場合(ステップS37でNo)、ステップS38に進む。制御部30は、他車両Vの上端部Uが第二切出範囲A2から逸脱していると判定した場合(ステップS37でYes)、ステップS39に進む。
制御部30は、上下分割した表示映像データ110Bを生成する(ステップS39)。より詳しくは、制御部30は、表示映像データ生成部34で、他車両Vの下端部Bを含む下側映像110B1と、他車両Vの上端部Uを含む上側映像110B2とを合成した表示映像データ110Bを生成する。この表示映像データ110Bは、下側が下側映像110B1であり、上側が上側映像110B2である。
図14ないし図16を用いて、制御部30による処理の具体例を説明する。
図14に示す撮影映像データ110Aの場合、撮影映像データ110Aに映っている他車両Vの下端部Bは、第一切出範囲A1から逸脱している。図14に示す撮影映像データ110Aに映っている他車両Vの上端部Uは、第二切出範囲A2から逸脱している。図14に示す撮影映像データ110Aに映っている他車両Vは、後方に約5m〜10m離れた位置にいる。制御部30は、ステップS34において、他車両Vの下端部Bが第一切出範囲A1から逸脱していると判定する(ステップS34でYes)。そして、制御部30は、ステップS36において、第二切出範囲A2を切出範囲として設定する。そして、制御部30は、ステップS37において、他車両Vの上端部Uが第二切出範囲A2から逸脱していると判定する(ステップS37でYes)。そして、制御部30は、ステップS39において、上下分割した表示映像データ110Bを生成する。そして、制御部30は、ステップS40において、図15に示す表示映像データ110Bをリヤビューモニタ3に表示させる。
上述したように、本実施形態によれば、図15に示すように、特定部33が特定した他車両Vの下端部Bおよび上端部Uを含むように、上下分割した表示映像データ110Bを生成する。このようにして、本実施形態は、リヤビューモニタ3の表示面において他車両Vの下端部Bおよび上端部Uを含む上下分割した表示映像データ110Bを表示することができる。このため、本実施形態は、運転者が、他車両Vの下端部Bと、例えば、路面に引かれた白線など比較対象となる周囲の物体の大きさなどの情報とを総合して、他車両Vとの相対的な関係から、他車両Vとの距離を正確に認識することができる。さらに、本実施形態は、図15に示す表示映像データ110Bに、他車両Vの車室が映っているため、他車両Vの運転者を視認することもできる。
これに対して、第一実施形態においては、図14に示す撮影映像データ110Aの場合、図16に示す表示映像データ110Bが表示される。このため、表示映像データ110Bは、他車両Vの上端部Uが含まれておらず、運転者が、他車両Vとの距離を正しく認識することが困難である。さらに、上端部Uが含まれておらず、他車両Vの運転者を視認することもできない。
[第四実施形態]
図17ないし図19を参照しながら、本実施形態に係る車両用表示システム1について説明する。図17は、第四実施形態に係る車両用表示システムの撮像部で撮影された撮影映像データの一例を示す図である。図18は、第四実施形態に係る車両用表示システムの車両用表示制御装置の制御部における処理の流れの一例を示すフローチャートである。図19は、第四実施形態に係る車両用表示システムの車両用表示制御装置の制御部における処理の流れの他の例を示すフローチャートである。
図17ないし図19を参照しながら、本実施形態に係る車両用表示システム1について説明する。図17は、第四実施形態に係る車両用表示システムの撮像部で撮影された撮影映像データの一例を示す図である。図18は、第四実施形態に係る車両用表示システムの車両用表示制御装置の制御部における処理の流れの一例を示すフローチャートである。図19は、第四実施形態に係る車両用表示システムの車両用表示制御装置の制御部における処理の流れの他の例を示すフローチャートである。
本実施形態の車両用表示システム1は、他車両の下方部位として他車両Vの車輪部B1を特定する点が第一実施形態と異なる。
特定部33は、撮影映像データ110Aにおける、検出部32が検出した他車両Vの下方部位として他車両Vの車輪部B1を特定する。より詳しくは、特定部33は、撮影映像データ110Aにおける他車両Vの車輪部B1を特定する。車輪部B1とは、撮影映像データ110Aに対して画像認識処理を行って車輪として認識される部分である。車輪部B1は、面積を有する面状に検出される。図17においては、斜線で示している範囲である。本実施形態では、特定部33は、撮影映像データ110Aにおける他車両Vの前輪を特定する。
特定部33は、他車両Vの前輪の接地部を特定できない場合、撮影映像データ110Aにおける他車両Vの車体下端部を特定してもよい。
表示映像データ生成部34は、特定部33が特定した他車両Vの車輪部B1を含んで撮影映像データ110Aの切出し範囲を設定し、撮影映像データ110Aを切出して表示映像データ110Bを生成する。
表示映像データ生成部34は、撮影映像データ110Aにおける他車両Vの車輪部B1が、撮影映像データ110Aにおける第一切出範囲A1の外側である場合、第一切出範囲A1から逸脱していると判定する。表示映像データ生成部34は、他車両Vの車輪部B1が第一切出範囲A1から逸脱していると判定した場合、他車両Vの車輪部B1を含む、第二切出範囲A2を切出範囲として設定する。または、第二切出範囲A2は、他車両Vの車輪部B1が接地している路面を含むように設定してもよい。
次に、図18を用いて、制御部30における処理の流れについて説明する。ステップS51、ステップS55〜ステップS58の処理は、図7に示すフローチャートにおけるステップS11、ステップS15〜ステップS18の処理と同じである。
制御部30は、撮影映像データ110Aの他車両Vの車輪部B1を特定する(ステップS52)。より詳しくは、制御部30は、特定部33で、撮影映像データ110Aにおいて、検出部32で検出した他車両Vの車輪部B1を特定させる。
制御部30は、他車両Vの車輪部B1が特定できたか否かを判定する(ステップS53)。制御部30は、特定部33で、撮影映像データ110Aに他車両Vの車輪部B1が含まれているか否かを判定させる。制御部30は、特定部33で、他車両Vの車輪部B1が特定できていないと判定された場合(ステップS53でNo)、ステップS55に進む。制御部30は、特定部33で、他車両Vの車輪部B1が特定できたと判定された場合(ステップS53でYes)、ステップS54に進む。
制御部30は、他車両Vの車輪部B1が第一切出範囲A1から逸脱したか否かを判定する(ステップS54)。制御部30は、表示映像データ生成部34で、他車両Vの車輪部B1が第一切出範囲A1から逸脱していないと判定された場合(ステップS54でNo)、ステップS55に進む。制御部30は、表示映像データ生成部34で、他車両Vの車輪部B1が第一切出範囲A1から逸脱したと判定された場合(ステップS54でYes)、ステップS56に進む。
または、制御部30における処理は、図19に示すようにしてもよい。ステップS61〜ステップS63、ステップS68〜ステップS71の処理は、図18に示すフローチャートにおけるステップS51〜ステップS53、ステップS55〜ステップS58の処理と同じである。
他車両Vの車輪部B1を特定した場合(ステップS63でYes)、制御部30は、他車両Vの車輪部B1を下方部位として設定する(ステップS64)。
他車両Vの車輪部B1を特定していない場合(ステップS63でNo)、制御部30は、他車両Vの車体下端部を特定できたか否かを判定する(ステップS65)。制御部30は、特定部33で、撮影映像データ110Aに他車両Vの車体下端部が含まれているか否かを判定させる。制御部30は、特定部33で、他車両Vの車体下端部が特定できていないと判定された場合(ステップS65でNo)、ステップS68に進む。制御部30は、特定部33で、他車両Vの車体下端部が特定できたと判定された場合(ステップS65でYes)、ステップS66に進む。
他車両Vの車体下端部を特定した場合(ステップS65でYes)、制御部30は、他車両Vの車体下端部を下方部位として設定する(ステップS66)。
制御部30は、他車両Vの下方部位が第一切出範囲A1から逸脱したか否かを判定する(ステップS67)。制御部30は、表示映像データ生成部34で、他車両Vの下方部位が第一切出範囲A1から逸脱していないと判定された場合(ステップS67でNo)、ステップS68に進む。制御部30は、表示映像データ生成部34で、他車両Vの下方部位が第一切出範囲A1から逸脱したと判定された場合(ステップS67でYes)、ステップS69に進む。
図17を用いて、制御部30による処理の具体例を説明する。図17に示す撮影映像データ110Aの場合、撮影映像データ110Aに映っている2台の他車両Vのうち、中央の他車両Vの車輪部B1は、第一切出範囲A1から逸脱している。制御部30は、ステップS54において、他車両Vの車輪部B1が第一切出範囲A1から逸脱していると判定する(ステップS54でYes)。そして、制御部30は、ステップS56において、第二切出範囲A2を切出範囲として設定する。そして、制御部30は、ステップS57において、第二切出範囲A2で切出した表示映像データ110Bを生成する。そして、制御部30は、ステップS58において、表示映像データ110Bをリヤビューモニタ3に表示させる。
上述したように、本実施形態によれば、他車両Vの車輪部B1または車体下端部を他車両Vの下方部位として特定する。本実施形態によれば、リヤビューモニタ3の表示面に他車両Vの車輪部B1または車体下端部が表示される。このため、本実施形態は、運転者が、撮影映像データ110Aに含まれる他車両Vの中で、可能な限り路面に近い部分を表示させることで、他車両Vと路面との位置関係を把握しやすい表示にすることができる。このように、本実施形態によれば、実像を表示する電子ルームミラーであっても、他車両Vとの距離を正確に認識することができる。
[第五実施形態]
図20、図21を参照しながら、本実施形態に係る車両用表示システム1について説明する。図20は、第五実施形態に係る車両用表示システムの撮像部で撮影された撮影映像データの一例を示す図である。図21は、第五実施形態に係る車両用表示システムの車両用表示制御装置の制御部における処理の流れの一例を示すフローチャートである。
図20、図21を参照しながら、本実施形態に係る車両用表示システム1について説明する。図20は、第五実施形態に係る車両用表示システムの撮像部で撮影された撮影映像データの一例を示す図である。図21は、第五実施形態に係る車両用表示システムの車両用表示制御装置の制御部における処理の流れの一例を示すフローチャートである。
本実施形態の車両用表示システム1は、他車両の下方部位として他車両Vのナンバープレート部(識別標示部)B2を特定する点が第一実施形態と異なる。本実施形態では、識別標示としてナンバプレートについて説明するが、識別標示はこれに限定されず、車両を識別するための標示であればよく、例えば、ライセンスプレートを含む。
特定部33は、撮影映像データ110Aにおける、検出部32が検出した他車両Vの下方部位として他車両Vのナンバープレート部B2を特定する。より詳しくは、特定部33は、画像認識処理を行って撮影映像データ110Aにおける他車両Vのナンバープレート部B2を特定する。図20においては、斜線で示している範囲である。本実施形態では、特定部33は、撮影映像データ110Aにおける他車両Vの前側のナンバープレート部B2を特定する。
表示映像データ生成部34は、特定部33が特定した他車両Vのナンバープレート部B2を含んで撮影映像データ110Aの切出し範囲を設定し、撮影映像データ110Aを切出して表示映像データ110Bを生成する。
表示映像データ生成部34は、撮影映像データ110Aにおける他車両Vのナンバープレート部B2が、撮影映像データ110Aにおける第一切出範囲A1の外側である場合、第一切出範囲A1から逸脱していると判定する。表示映像データ生成部34は、他車両Vのナンバープレート部B2が第一切出範囲A1から逸脱していると判定した場合、他車両Vのナンバープレート部B2を含む、第二切出範囲A2を切出範囲として設定する。
次に、図21を用いて、制御部30における処理の流れについて説明する。ステップS81、ステップS86〜ステップS92の処理は、図19に示すフローチャートにおけるステップS61、ステップS65〜ステップS71の処理と同じである。
制御部30は、撮影映像データ110Aの他車両Vのナンバープレート部B2を特定する(ステップS82)。より詳しくは、制御部30は、特定部33で、撮影映像データ110Aにおいて、検出部32で検出した他車両Vのナンバープレート部B2を特定させる。
制御部30は、他車両Vのナンバープレート部B2が特定できたか否かを判定する(ステップS83)。制御部30は、特定部33で、撮影映像データ110Aに他車両Vのナンバープレート部B2が含まれているか否かを判定させる。制御部30は、特定部33で、他車両Vのナンバープレート部B2が特定できていないと判定された場合(ステップS83でNo)、ステップS86に進む。制御部30は、特定部33で、他車両Vのナンバープレート部B2が特定できたと判定された場合(ステップS83でYes)、ステップS84に進む。
制御部30は、他車両Vのナンバープレート部B2が車体の下方に位置するか否かを判定する(ステップS84)。制御部30は、撮影映像データ110Aにおいて、他車両Vのナンバープレート部B2が他車両Vの車体の下方であるか否かを判定させる。制御部30は、他車両Vのナンバープレート部B2が車体の下方に位置しないと判定された場合(ステップS84でNo)、ステップS86に進む。制御部30は、特定部33で、他車両Vのナンバープレート部B2が車体の下方に位置すると判定された場合(ステップS84でYes)、ステップS85に進む。
他車両Vのナンバープレート部B2が車体の下方に位置すると判定した場合(ステップS84でYes)、制御部30は、他車両Vのナンバープレート部B2を下方部位として設定する(ステップS85)。
図20を用いて、制御部30による処理の具体例を説明する。図20に示す撮影映像データ110Aの場合、撮影映像データ110Aに映っている2台の他車両Vのうち、中央の他車両Vのナンバープレート部B2は、第一切出範囲A1から逸脱している。制御部30は、ステップS88において、他車両Vのナンバープレート部B2が第一切出範囲A1から逸脱していると判定する(ステップS88でYes)。そして、制御部30は、ステップS89において、第二切出範囲A2を切出範囲として設定する。そして、制御部30は、ステップS91において、第二切出範囲A2で切出した表示映像データ110Bを生成する。そして、制御部30は、ステップS92において、表示映像データ110Bをリヤビューモニタ3に表示させる。
上述したように、本実施形態によれば、他車両Vのナンバープレート部B2を他車両の下方部位として特定する。本実施形態によれば、リヤビューモニタ3の表示面に他車両Vのナンバープレート部B2が表示される。このため、本実施形態は、運転者が、撮影映像データ110Aに含まれる他車両Vの中で、可能な限り路面に近い部分を表示させることで、他車両Vと路面との位置関係を把握しやすい表示にすることができる。このように、本実施形態によれば、実像を表示する電子ルームミラーであっても、他車両Vとの距離を正確に認識することができる。
図示した車両用表示システム1の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
車両用表示システム1の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
制御部30は、図7に示すフローチャートのステップS11の前に、車両100の現在位置に基づき、図7に示すフローチャートの処理を行うか否かを判定してもよい。例えば、制御部30は、車両100の現在位置を取得する現在地データ取得部と、地図情報を含む周辺状況を取得する周辺状況データ取得部とを有し、車両100が高速道路など所定道路を走行している場合、図7に示すフローチャートの処理を行わないこととしてもよい。または、制御部30は、現在地データ取得部と周辺状況データ取得部とを有し、車両100が所定速度以上で走行している場合、図7に示すフローチャートの処理を行わないこととしてもよい。このような場合は、他車両Vが車両100に対して例えば5m以内に近接して、他車両Vの下端部Bが第一切出範囲A1から逸脱するような状況になることは少ないと考えられるためである。これにより、制御部30における処理の負荷を軽減することができる。
制御部30は、図7に示すフローチャートのステップS13における判定条件が、一定時間継続されたら、ステップS16において第二切出範囲A2を切出範囲として設定するものとしてもよい。これにより、車両用表示システム1は、不用意にリヤビューモニタ3に表示する映像が切り替わることを抑制することができる。このように、車両用表示システム1は、適切な車両100周辺の確認を可能にすることができる。
制御部30は、図12に示すフローチャートのステップS22の判定に加えて、または、ステップS22の判定に替えて、他車両Vと車両100との相対速度、他車両Vの移動方向などの移動状況が所定条件を満たすか否かを判定してもよい。また、例えば、制御部30は、検出部32で他車両Vと車両100との相対速度が所定値以上であると検出した場合、移動状況が所定条件を満たしたと判定し、ステップS23以降の処理を行うようにしてもよい。ここで、他車両Vと車両100との相対速度は、フレームごとの撮影映像データ110Aにおける他車両Vの映像の大きさの変化に基づき、算出することが可能である。また、例えば、制御部30は、検出部32で他車両Vの移動方向が車両100に近づく方向であると検出した場合、移動状況が所定条件を満たしたと判定しステップS23以降の処理を行うようにしてもよい。制御部30は、上記を複数組み合わせた判定条件で判定してもよい。これらにより、車両用表示システム1は、適切な車両100周辺の確認を可能にすることができる。
制御部30は、第二切出範囲A2を切出範囲とした場合、表示映像データ110Bを所定透明度の半透明で着色して表示してもよい。これにより、車両用表示システム1は、リヤビューモニタ3の表示が第二切出範囲A2で切出された表示映像データ110Bであることを容易に確認することができる。このように、車両用表示システム1は、適切な車両100周辺の確認を可能にすることができる。
検出部32は、他車両Vを検出する際に、認識辞書記憶部200が記憶している認識辞書を用いず、他車両Vがナンバープレートを有していれば、ナンバープレートの英数字や記号を読み取り、他車両Vを検出してもよい。これにより、車両用表示システム1は、簡易な構成とすることができる。
また、上記実施形態においては、リヤビューモニタ3が電子ルームミラーである場合について説明したが、リヤビューモニタ3の形態は電子ルームミラーに限らない。例えば、車両100が前進走行中に適用する場合は、電子ルームミラーにおいて本発明が実施されることが適切である。車両100が停止または後退走行中に、車両100の後方に停止している他車両の確認を目的として本発明を適用する場合は、リヤビューモニタ3は、運転者が目視する任意の位置に設置されていたり、可搬型であってもよく、後退時は運転者が目視する運転者の後方に設置されていてもよい。
1 車両用表示システム
2 撮像部
3 リヤビューモニタ(表示パネル)
10 車両用表示制御装置
30 制御部
31 映像データ取得部
32 検出部
33 特定部
34 表示映像データ生成部
35 表示制御部
100 車両
110A 撮影映像データ
110B 表示映像データ
200 認識辞書記憶部
A1 第一切出範囲(あらかじめ設定された切出し範囲)
A2 第二切出範囲
V 他車両
2 撮像部
3 リヤビューモニタ(表示パネル)
10 車両用表示制御装置
30 制御部
31 映像データ取得部
32 検出部
33 特定部
34 表示映像データ生成部
35 表示制御部
100 車両
110A 撮影映像データ
110B 表示映像データ
200 認識辞書記憶部
A1 第一切出範囲(あらかじめ設定された切出し範囲)
A2 第二切出範囲
V 他車両
Claims (14)
- 車両の周辺を撮影する撮像部が撮影した撮影映像データを取得する映像データ取得部と、
前記撮影映像データから他車両を検出する検出部と、
前記検出部が検出した他車両の下方部位を特定する特定部と、
前記特定部が特定した他車両の下方部位を含んで前記撮影映像データの切出し範囲を設定し、前記撮影映像データを切出して表示映像データを生成する表示映像データ生成部と、
前記表示映像データ生成部が生成した表示映像データを前記車両で用いられる表示パネルに表示させる表示制御部と、
を備えることを特徴とする車両用表示制御装置。 - 前記特定部は、前記検出部が検出した他車両の下方部位として下端部を特定し、
前記表示映像データ生成部は、前記特定部が特定した他車両の下端部を含んで前記撮影映像データの切出し範囲を設定し、前記撮影映像データを切出して表示映像データを生成する、
請求項1に記載の車両用表示制御装置。 - 前記特定部は、前記検出部が検出した他車両の下方部位として車輪部を特定し、
前記表示映像データ生成部は、前記特定部が特定した他車両の車輪部を含んで前記撮影映像データの切出し範囲を設定し、前記撮影映像データを切出して表示映像データを生成する、
請求項1に記載の車両用表示制御装置。 - 前記特定部は、前記検出部が検出した他車両の下方部位として識別標示部を特定し、
前記表示映像データ生成部は、前記特定部が特定した他車両の識別標示部を含んで前記撮影映像データの切出し範囲を設定し、前記撮影映像データを切出して表示映像データを生成する、
請求項1に記載の車両用表示制御装置。 - 前記表示映像データ生成部は、前記特定部が特定した他車両の下方部位が、前記撮影映像データのあらかじめ設定された切出し範囲から逸脱すると判定した場合、前記特定部が特定した他車両の下方部位を含んで前記撮影映像データの切出し範囲を設定する、請求項1から4のいずれか1項に記載の車両用表示制御装置。
- 前記表示映像データ生成部は、前記特定部が特定した他車両の下方部位より下側の路面を含んで前記撮影映像データの切出し範囲を設定する、請求項1から5のいずれか1項に記載の車両用表示制御装置。
- 前記表示映像データ生成部は、前記検出部が検出した他車両の下方部位が、前記撮影映像データの切出し範囲の下側から逸脱しないように切出し範囲を設定する、請求項1から6のいずれか1項に記載の車両用表示制御装置。
- 前記特定部は、前記検出部が検出した他車両が複数存在する場合、前記車両の後端部に最も近接して位置する他車両の下方部位を特定し、
前記表示映像データ生成部は、前記車両の後端部に最も近接して位置する他車両の下方部位を含んで前記撮影映像データの切出し範囲を設定する、請求項1から7のいずれか1項に記載の車両用表示制御装置。 - 前記特定部は、前記検出部が検出した他車両が複数存在する場合、前記撮影映像データにおいて最も中央に位置する他車両の下方部位を特定し、
前記表示映像データ生成部は、前記撮影映像データにおいて最も中央に位置する他車両の下方部位を含んで前記撮影映像データの切出し範囲を設定する、請求項1から8のいずれか1項に記載の車両用表示制御装置。 - 前記検出部が検出した他車両が前記車両に近接していることを判定する近接判定部をさらに備え、
前記近接判定部が、前記検出部が検出した他車両が近接していると判定したとき、前記特定部は、前記検出部が検出した他車両の下方部位を特定する、請求項1から9のいずれか1項に記載の車両用表示制御装置。 - 前記近接判定部は、前記検出部が検出した他車両の幅が前記撮影映像データにおいて所定以上の割合である場合に近接していると判定する、請求項10に記載の車両用表示制御装置。
- 請求項1から請求項11のいずれか1項に記載の車両用表示制御装置と、
前記撮像部、前記表示パネルのうち少なくともいずれかをさらに備える、車両用表示システム。 - 車両の周辺を撮影する撮像部が撮影した撮影映像データを取得する映像データ取得ステップと、
前記撮影映像データから他車両を検出する検出ステップと、
前記検出ステップで検出した他車両の下方部位を特定する特定ステップと、
前記特定ステップで特定した他車両の下方部位を含んで前記撮影映像データの切出し範囲を設定し、前記撮影映像データを切出して表示映像データを生成する表示映像データ生成ステップと、
前記表示映像データ生成ステップで生成した表示映像データを前記車両で用いられる表示パネルに表示させる表示制御ステップと、
を含む車両用表示制御方法。 - 車両の周辺を撮影する撮像部が撮影した撮影映像データを取得する映像データ取得ステップと、
前記撮影映像データから他車両を検出する検出ステップと、
前記検出ステップで検出した他車両の下方部位を特定する特定ステップと、
前記特定ステップで特定した他車両の下方部位を含んで前記撮影映像データの切出し範囲を設定し、前記撮影映像データを切出して表示映像データを生成する表示映像データ生成ステップと、
前記表示映像データ生成ステップで生成した表示映像データを前記車両で用いられる表示パネルに表示させる表示制御ステップと、
を車両用表示制御装置として動作するコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/015196 WO2018012070A1 (ja) | 2016-07-12 | 2017-04-13 | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム |
US16/170,161 US10812737B2 (en) | 2016-07-12 | 2018-10-25 | On-vehicle display controller, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016137715 | 2016-07-12 | ||
JP2016137715 | 2016-07-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018012483A JP2018012483A (ja) | 2018-01-25 |
JP6730615B2 true JP6730615B2 (ja) | 2020-07-29 |
Family
ID=61021060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017059082A Active JP6730615B2 (ja) | 2016-07-12 | 2017-03-24 | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10812737B2 (ja) |
JP (1) | JP6730615B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018195301A (ja) * | 2017-05-15 | 2018-12-06 | キヤノン株式会社 | 制御装置及び制御方法 |
CN111868800A (zh) * | 2019-02-21 | 2020-10-30 | Lg电子株式会社 | 用于记录停车位置的方法以及设备 |
CN113240940A (zh) * | 2021-05-07 | 2021-08-10 | 恒大恒驰新能源汽车研究院(上海)有限公司 | 汽车提醒监控方法、电子设备及存储介质 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002308030A (ja) * | 2001-04-16 | 2002-10-23 | Yazaki Corp | 車両用周辺監視装置 |
JP5194679B2 (ja) * | 2007-09-26 | 2013-05-08 | 日産自動車株式会社 | 車両用周辺監視装置および映像表示方法 |
JP5347257B2 (ja) * | 2007-09-26 | 2013-11-20 | 日産自動車株式会社 | 車両用周辺監視装置および映像表示方法 |
JP5136071B2 (ja) | 2008-01-15 | 2013-02-06 | 日産自動車株式会社 | 車両用後方監視装置および車両後方監視方法 |
WO2011028686A1 (en) * | 2009-09-01 | 2011-03-10 | Magna Mirrors Of America, Inc. | Imaging and display system for vehicle |
JP5316550B2 (ja) * | 2011-01-05 | 2013-10-16 | 株式会社デンソー | 後方視界支援システム |
US9104939B2 (en) * | 2011-08-16 | 2015-08-11 | Xerox Corporation | Emergency rescue vehicle video based violation enforcement method and system |
JP6077210B2 (ja) * | 2011-12-22 | 2017-02-08 | トヨタ自動車株式会社 | 車両用後方監視装置 |
JP2014110604A (ja) * | 2012-12-04 | 2014-06-12 | Denso Corp | 車両周辺監視装置 |
JP2014235640A (ja) * | 2013-06-04 | 2014-12-15 | 日産自動車株式会社 | 車両表示装置 |
JP2014235639A (ja) * | 2013-06-04 | 2014-12-15 | 日産自動車株式会社 | 車両表示装置 |
WO2015008290A2 (en) * | 2013-07-18 | 2015-01-22 | Secure4Drive Communication Ltd. | Method and device for assisting in safe driving of a vehicle |
JP6142784B2 (ja) * | 2013-11-27 | 2017-06-07 | 株式会社デンソー | 運転支援装置 |
WO2015083228A1 (ja) * | 2013-12-03 | 2015-06-11 | 富士通株式会社 | 表示制御装置、表示制御方法、及びプログラム |
JP6262068B2 (ja) * | 2014-04-25 | 2018-01-17 | 日立建機株式会社 | 車体近傍障害物報知システム |
JP6447011B2 (ja) * | 2014-10-29 | 2019-01-09 | 株式会社デンソー | 運転情報表示装置および運転情報表示方法 |
JP6265179B2 (ja) * | 2015-08-03 | 2018-01-24 | トヨタ自動車株式会社 | 表示装置 |
-
2017
- 2017-03-24 JP JP2017059082A patent/JP6730615B2/ja active Active
-
2018
- 2018-10-25 US US16/170,161 patent/US10812737B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018012483A (ja) | 2018-01-25 |
US10812737B2 (en) | 2020-10-20 |
US20190068899A1 (en) | 2019-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10268908B2 (en) | Side safety assistant device and method for large vehicle | |
JP5867273B2 (ja) | 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム | |
US20190019045A1 (en) | Object recognition apparatus, object recognition method, and object recognition program | |
EP1671216B1 (en) | Moving object detection using low illumination depth capable computer vision | |
US10255813B2 (en) | Moving object collision warning system and method for large vehicle | |
US9361528B2 (en) | Vehicle-to-vehicle distance calculation apparatus and method | |
CN105787431B (zh) | 用于车辆安全驾驶的装置 | |
US10220782B2 (en) | Image analysis apparatus and image analysis method | |
US10567673B2 (en) | On-vehicle display control device, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium | |
JP6730615B2 (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム | |
US11810327B1 (en) | Systems and methods for calibrating distance estimation in image analysis | |
JP2010019589A (ja) | 車間距離検出装置、ドライブレコーダ装置 | |
US10696228B2 (en) | On-vehicle display control device, on-vehicle display system, on-vehicle display control method, and program | |
CN102713988A (zh) | 车辆周围监测装置 | |
JP2014146267A (ja) | 歩行者検出装置、運転支援装置 | |
KR20120086892A (ko) | 차량용 내비게이션의 차선 이탈 알림 시스템 및 방법 | |
US10896337B2 (en) | Method for classifying a traffic sign, or road sign, in an environment region of a motor vehicle, computational apparatus, driver assistance system and motor vehicle | |
JP6690312B2 (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム | |
KR20200024651A (ko) | 차량 및 차량의 제어방법 | |
WO2018012070A1 (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム | |
JP6690311B2 (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム | |
JP2017162198A (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム | |
JP2017200035A (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム | |
JP2008279842A (ja) | 死角領域推定装置 | |
JP6919740B2 (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6730615 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |