WO2024262467A1

WO2024262467A1 - リーン車両用画像処理装置

Info

Publication number: WO2024262467A1
Application number: PCT/JP2024/021932
Authority: WO
Inventors: 剛士黒田; 太郎尾上; 顯中澤
Original assignee: Yamaha Motor Co Ltd
Current assignee: Yamaha Motor Co Ltd
Priority date: 2023-06-19
Filing date: 2024-06-17
Publication date: 2024-12-26
Anticipated expiration: 2025-12-19
Also published as: JP7762835B2; JPWO2024262467A1

Abstract

リーン車両（１）が５車線の道路の中央車線（５３）の右サイドエリア（５０Ｒ）を走行し、並走する５台の自動車（６１～６５）とリーン車両との車間距離（Ｄ）が、画像処理時間を０．５秒、相対速度１５ｋｍ／ｈと仮定した場合にＴＴＣ（Time to Collision）が３秒の時点で画像処理が完了するために必要な距離である場合、リーン車両用画像処理装置（１０）の撮像装置（１１）は、左端車線（５１）の自動車（６１）の後面左端（６１ｂｌ）は撮像されないが、中央車線の自動車（３）の後面左端（６３ｂｌ）および中央右車線（５４）の自動車（６４）の後面右端（６４ｂｒ）が少なくとも撮像されるように左右方向の画角が構成された単眼カメラを含み、リーン車両用画像処理装置の認識装置（１２）は、中央車線の自動車および中央右車線の自動車を少なくとも認識する。

Description

リーン車両用画像処理装置

　この発明は、リーン車両に搭載されるリーン車両用画像処理装置（Image Processing Device for Leaning Vehicle）に関する。

　特許文献１において、車両に搭載された撮像装置で対象物を時系列に撮像した画像から特徴点を抽出し、これを基に車両が対象物に到達するまでの時間を推定する到達時間推定装置と、推定された到達時間を用いて運転者の車両操作を支援する制御を行う運転支援制御装置が提案されている。特許文献１には、撮像装置と到達時間推定装置と運転支援制御装置を備えたリーン車両が提案されている。リーン車両は、例えば自動二輪車などの車両である。

　特許文献１で提案されている、撮像装置と到達時間推定装置と運転支援制御装置とを合わせた装置は、画像を取得する撮像装置と取得された画像を処理して物体を認識する認識装置とを含む画像処理装置と言い換えることができる。撮像装置は、一般的に、例えばレンズのような光学装置および例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサのような撮像素子を含む。認識装置は、一般的に、例えば画像を処理するＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＣＰＵ（Central Processing Unit）、ＳｏＣ（System on Chip）のようなプロセッサおよび例えばＲＡＭ（Random Access Memory）のようなメモリを含む。なお、ＳｏＣはプロセッサとメモリが一体化された形態を有する。特許文献１には、撮像装置は単眼カメラでもステレオカメラでもよいことが記載されている。

　特許文献１に記載の到達時間は、いわゆるＴＴＣ（Time to Collision）に相当する。非特許文献１には、潜在的な衝突（Collision）を評価するためのＴＴＣの閾値は３秒が適切であることが記載されている。

　車線の幅および車両の幅は、国または地域の行政機関によって規定されている。日本では車線の幅は道路構造令第５条第４項および第５項により、道路の区分に応じて２．７５～４ｍに規定されている（非特許文献２参照）。一般的に、車線の幅は、３．５～４ｍである。また、日本では、道路運送車両の保安基準第５９条により自動二輪車の車幅は１．３ｍ以下に規定され、道路運送車両の保安基準第２条により自動車の車幅は２．５ｍ以下に規定されている（非特許文献３参照）。一般的に、リーン車両の車幅は、１ｍ未満であり、自動車の車幅は、２～２．５ｍである。

特開２０２１－１１１２４６号公報

Oumaima Barhoumi、Mohamed H. Zaki、SOFIENE TAHAR、"A Formal Approach to Road Safety Assessment Using Traffic Conflict Techniques"、"VI. SENSITIVITY STUDY"、［online］、最終更新2024年4月26日、IEEE Open Journal of Vehicular Technology、［令和6年6月4日検索］、インターネット＜URL：https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=10496854＞道路構造令、［令和6年6月4日検索］、インターネット＜URL：https://elaws.e-gov.go.jp/document?lawid=345CO0000000320＞道路運送車両の保安基準、［令和6年6月4日検索］、インターネット＜URL：https://elaws.e-gov.go.jp/document?lawid=326M50000800067＞

　リーン車両の車幅は、自動車（Automobile）の車幅と比較して非常に小さい。言い換えれば、リーン車両は、自動車と比較して車体がスリム（幅が狭い）である。
　また、リーン車両の車幅は、車線の幅と比較しても非常に小さい。そのため、リーン車両は単一の車線を走行中、車線の右サイドエリアを走行する場合もあれば左サイドエリアを走行する場合もある。よって、リーン車両は単一の車線内での左右方向の走行位置の自由度が自動車と比較して非常に高い。
　そのため、リーン車両が自動車と同一車線を走行中に、車線の右サイドエリアを走行するシーンおよび左サイドエリアを走行するシーンというリーン車両特有の利用シーンに対応した、撮像装置および認識装置を含むリーン車両用画像処理装置が望まれている。
　なお、本明細書では、単一の車線を左右方向で三等分した際、右端を含むエリアを右サイドエリアと、左端を含むエリアを左サイドエリアと定義する。

　また、リーン車両は、自動車と比較して車体がスリム（幅が狭い）であるため、リーン車両への搭載性の高いリーン車両用画像処理装置が望まれている。

　本発明の目的は、自動車と比較して車体がスリムなリーン車両が自動車と同一車線を走行中に、車線の右サイドエリアを走行するシーンおよび左サイドエリアを走行するシーンに適応でき、且つ、自動車と比較して車体がスリムなリーン車両への搭載性が高いリーン車両用画像処理装置を提供することである。

　（１）本発明の一実施形態に係るリーン車両用画像処理装置は、以下の構成を有する。
　画像を撮像する撮像装置と、前記撮像装置で取得された前記画像から物体を認識する認識装置とを含み、リーン車両に搭載されるリーン車両用画像処理装置であって、単一の車線を左右方向で三等分した際、前記単一の車線の右端を含むエリアを右サイドエリア、前記単一の車線の左端を含むエリアを左サイドエリア、前記右サイドエリアおよび前記左サイドエリアの間のエリアを中央エリアと定義し、５車線の道路の各車線を左から右に順に、左端車線、中央左車線、中央車線、中央右車線、右端車線と定義した場合、前記リーン車両が前記５車線の道路の前記中央車線の右サイドエリアまたは左サイドエリアを走行し、且つ、５台の自動車が前記リーン車両よりも前方を左右方向に一列に並んで走行し、且つ、前記５台の自動車と前記リーン車両との前後方向の距離が、撮像から画像処理の完了までの時間を０．５秒、物体が１５ｋｍ／ｈの相対速度で前記リーン車両に近づくと仮定した場合においてＴＴＣ（Time to Collision）が３秒の時点で前記画像処理が完了するように画像を撮像するために必要な距離である場合、前記撮像装置および前記認識装置は以下のように構成されている。
　前記撮像装置は、前記リーン車両が前記５車線の道路の前記中央車線の前記右サイドエリアを走行中、前記左端車線を走行している前記自動車の後面の左端は撮像されないが、前記中央車線を走行している前記自動車の後面の左端および前記中央右車線を走行している前記自動車の後面の右端が少なくとも撮像され、且つ、前記リーン車両が前記５車線の道路の前記中央車線の前記左サイドエリアを走行中、前記右端車線を走行している前記自動車の後面の右端は撮像されないが、前記中央車線を走行している前記自動車の後面の右端および前記中央左車線を走行している前記自動車の後面の左端が少なくとも撮像されるように、左右方向の画角が構成された単眼カメラを含む。
　前記認識装置は、前記リーン車両が前記５車線の道路の前記中央車線の前記右サイドエリアを走行中に撮像された前記画像から、前記中央車線を走行している前記自動車および前記中央右車線を走行している前記自動車の両方を少なくとも認識し、且つ、前記リーン車両が前記５車線の道路の前記中央車線の前記左サイドエリアを走行中に撮像された前記画像から、前記中央車線を走行している前記自動車および前記中央左車線を走行している前記自動車の両方を少なくとも認識するように構成される。

　リーン車両の車幅は、自動車の車幅と比較して非常に小さい。言い換えれば、リーン車両は、自動車と比較して車体がスリムである。リーン車両の車幅は、車線の幅と比較して非常に小さい。言い換えれば、リーン車両と自動車が同一車線を走行中に、リーン車両は車線の右サイドエリアを走行する場合と左サイドエリアを走行する場合がある。
　リーン車両が５車線の道路の中央車線の右サイドエリアを走行中の場合、中央車線および中央右車線を走行している２台の自動車がリーン車両の前方に位置することになる。リーン車両が５車線の道路の中央車線の左サイドエリアを走行中の場合、中央車線および中央左車線を走行している２台の自動車がリーン車両の前方に位置することになる。
　撮像装置は単眼カメラを含む。撮像装置の単眼カメラは、リーン車両が５車線の道路の中央車線の右サイドエリアを走行中、中央車線を走行している自動車の後面の左端および中央右車線を走行している自動車の後面の右端が少なくとも撮像されるように左右方向の画角が構成されている。撮像装置の単眼カメラは、リーン車両が５車線の道路の中央車線の左サイドエリアを走行中、中央車線を走行している自動車の後面の右端および中央左車線を走行している自動車の後面の左端が少なくとも撮像されるように左右方向の画角が構成されている。
　認識装置は、リーン車両が５車線の道路の中央車線の右サイドエリアを走行中に撮像された画像から、中央車線を走行している自動車および中央右車線を走行している自動車の両方を少なくとも認識する。認識装置は、リーン車両が５車線の道路の中央車線の左サイドエリアを走行中に撮像された画像から、中央車線を走行している自動車および中央左車線を走行している自動車の両方を少なくとも認識する。
　この構成により、リーン車両用画像処理装置は、リーン車両が右サイドエリアを走行中の場合であっても、リーン車両が左サイドエリアを走行中の場合であっても、リーン車両の前方に位置する２台の自動車を撮像および認識することができる。言い換えれば、単一の車線内での左右方向の走行位置の自由度が自動車と比較して非常に高いリーン車両に特有な利用シーンで要求される最小限の左右方向の画角を確保することができる。従って、自動車と比較して車体がスリムなリーン車両が自動車と同一車線を走行中に、車線の右サイドエリアを走行するシーンおよび左サイドエリアを走行するシーンにリーン車両用画像処理装置は適応できる。
　また、撮像装置の単眼カメラは、リーン車両が５車線の道路の中央車線の右サイドエリアを走行中、左端車線を走行している自動車の後面の左端が撮像されないように左右方向の画角が構成されている。撮像装置の単眼カメラは、リーン車両が５車線の道路の中央車線の左サイドエリアを走行中、右端車線を走行している自動車の後面の右端が撮像されないように左右方向の画角が構成されている。
　リーン車両が５車線の道路の中央車線の右サイドエリアを走行中、左端車線を走行している自動車は、リーン車両から左方向に自動車２台分より大きく離れて位置する。リーン車両が５車線の道路の中央車線の左サイドエリアを走行中、右端車線を走行している自動車は、リーン車両から右方向に自動車２台分より大きく離れて位置する。
　リーン車両の車幅は、自動車の車幅と比較して非常に小さい。言い換えれば、リーン車両は、自動車と比較して車体がスリムである。そのため、左右方向においてリーン車両から自動車２台分より離れて位置する自動車は、リーン車両の前方に位置する２台の自動車と比較して、自動車と比較して車体がスリムなリーン車両の走行への影響度は低い。
　上記の構成により、リーン車両が右サイドエリアを走行中の場合であっても、リーン車両が左サイドエリアを走行中の場合であっても、左右方向においてリーン車両から自動車２台分より大きく離れて位置するエリアの撮像を制限することができる。その結果、撮像装置で取得された画像の容量（データ量）を小さくすることができる。また、撮像するエリアを制限するので、例えば、コンパクトな光学装置および撮像素子を選択することができ、撮像装置をコンパクトにできる。加えて、撮像装置で取得された画像の容量が小さいため、認識装置で認識する対象の画像の容量を小さくできる。その結果、認識装置の処理負荷を低減することができ、例えば認識装置の放熱構造をシンプルでコンパクトにできるので、認識装置をコンパクトにできる。従って、自動車と比較して車体がスリムなリーン車両へのリーン車両用画像処理装置の搭載性を高めることができる。
　以上により、自動車と比較して車体がスリムなリーン車両が自動車と同一車線を走行中に、車線の右サイドエリアを走行するシーンおよび左サイドエリアを走行するシーンに適応でき、且つ、自動車と比較して車体がスリムなリーン車両への搭載性が高いリーン車両用画像処理装置を提供することができる。

　（２）本発明の一実施形態に係るリーン車両用画像処理装置は、上記（１）の構成に加えて以下の構成を有してもよい。
　前記リーン車両が前記５車線の道路の前記中央車線の前記右サイドエリアまたは前記左サイドエリアを走行し、且つ、前記５台の自動車が前記リーン車両よりも前方を左右方向に一列に並んで走行し、且つ、前記５台の自動車と前記リーン車両との前後方向の距離が、撮像から画像処理の完了までの時間を０．５秒、物体が１５ｋｍ／ｈの相対速度で前記リーン車両に近づくと仮定した場合において前記ＴＴＣが３秒の時点で前記画像処理が完了するように画像を撮像するために必要な距離である場合、前記撮像装置および前記認識装置は更に以下のように構成されている。
　前記撮像装置は、前記リーン車両が前記５車線の道路の前記中央車線の前記右サイドエリアを走行中、少なくとも前記中央車線を走行している前記自動車の後面、前記中央車線を走行している前記自動車の右側面、前記中央右車線を走行している前記自動車の後面および前記中央右車線を走行している前記自動車の左側面が画像に含まれるように前記単眼カメラで撮像し、且つ、前記リーン車両が前記５車線の道路の前記中央車線の左サイドエリアを走行中、少なくとも前記中央車線を走行している前記自動車の後面、前記中央車線を走行している前記自動車の左側面、前記中央左車線を走行している前記自動車の後面および前記中央左車線を走行している前記自動車の右側面が画像に含まれるように前記単眼カメラで撮像する。
　前記認識装置は、前記中央車線を走行している前記自動車の後面、前記中央車線を走行している前記自動車の右側面、前記中央右車線を走行している前記自動車の後面および前記中央右車線を走行している前記自動車の左側面が含まれる前記画像から、前記中央車線を走行している前記自動車および前記中央右車線を走行している前記自動車の両方を少なくとも認識し、且つ、前記中央車線を走行している前記自動車の後面、前記中央車線を走行している前記自動車の左側面、前記中央左車線を走行している前記自動車の後面および前記中央左車線を走行している前記自動車の右側面が含まれる前記画像から、前記中央車線を走行している前記自動車および前記中央左車線を走行している前記自動車の両方を少なくとも認識する。

　リーン車両の車幅は、自動車の車幅と比較して非常に小さい。言い換えれば、リーン車両は、自動車と比較して車体がスリムである。リーン車両の車幅は、車線の幅と比較して非常に小さい。言い換えれば、リーン車両と自動車が同一車線を走行中に、リーン車両は車線の右サイドエリアを走行する場合と左サイドエリアを走行する場合がある。
　リーン車両が５車線の道路の中央車線の右サイドエリアを走行中、リーン車両の前方において、中央車線を走行している自動車の後面と中央右車線を走行している自動車の後面の間に、中央車線を走行している自動車の右側面と中央右車線を走行している自動車の左側面が並んで存在する。リーン車両が５車線の道路の中央車線の右サイドエリアを走行中、リーン車両の前方において、中央車線を走行している自動車の後面と中央右車線を走行している自動車の後面の間に、中央車線を走行している自動車の右側面と中央右車線を走行している自動車の左側面が並んで存在する。
　撮像装置は、リーン車両が５車線の道路の中央車線の右サイドエリアを走行中、中央車線を走行している自動車の後面、中央車線を走行している自動車の右側面、中央右車線を走行している自動車の後面および中央右車線を走行している自動車の左側面が画像に含まれるように単眼カメラで撮像する。撮像装置は、リーン車両が５車線の道路の中央車線の左サイドエリアを走行中、中央車線を走行している自動車の後面、中央車線を走行している自動車の左側面、中央左車線を走行している自動車の後面および中央左車線を走行している自動車の右側面が画像に含まれるように単眼カメラで撮像する。
　認識装置は、中央車線を走行している自動車の後面、中央車線を走行している自動車の右側面、中央右車線を走行している自動車の後面および中央右車線を走行している自動車の左側面が含まれる画像から、中央車線を走行している自動車および中央右車線を走行している自動車の両方を少なくとも認識する。認識装置は、中央車線を走行している自動車の後面、中央車線を走行している自動車の左側面、中央左車線を走行している自動車の後面および中央左車線を走行している自動車の右側面が含まれる画像から、中央車線を走行している自動車および中央左車線を走行している自動車の両方を少なくとも認識する。
　この構成により、リーン車両が５車線の道路の中央車線の右サイドエリアを走行中、リーン車両の前方において、中央車線を走行している自動車の後面と中央右車線を走行している自動車の後面の間に、中央車線を走行している自動車の右側面と中央右車線を走行している自動車の左側面が並んで存在する利用シーンおよびリーン車両が５車線の道路の中央車線の右サイドエリアを走行中、リーン車両の前方において、中央車線を走行している自動車の後面と中央右車線を走行している自動車の後面の間に、中央車線を走行している自動車の右側面と中央右車線を走行している自動車の左側面が並んで存在する利用シーンに、リーン車両用画像処理装置は適応することができる。
　以上により、自動車と比較して車体がスリムなリーン車両が自動車と同一車線を走行中に、車線の右サイドエリアを走行するシーンおよび左サイドエリアを走行するシーンにより適応でき、且つ、自動車と比較して車体がスリムなリーン車両への搭載性が高いリーン車両用画像処理装置を提供することができる。

　（３）本発明の一実施形態に係るリーン車両用画像処理装置は、上記（１）または（２）の構成に加えて以下の構成を有してもよい。
　前記リーン車両用画像処理装置は、前記撮像装置で撮像された前記画像から前記認識装置で認識された自動車に対する注意を運転者に促す警報を出力する警報装置を更に含み、
　前記警報装置は、前記リーン車両の前方において左右方向に間隔をあけて並んで２台の自動車が直進しており、前記間隔の大きさが前記自動車の車幅にとっては左右方向に余裕がないが、前記リーン車両の車幅にとっては左右方向に余裕がある大きさである場合、前記リーン車両が前記２台の自動車の間の中央に向かって直進し、且つ、接近しても、前記警報を出力しないように構成され、且つ、前記リーン車両の前方において左右方向に間隔をあけて並んで２台の自動車が直進しており、前記間隔の大きさが前記リーン車両の車幅にとっては左右方向に余裕がない大きさである場合、前記リーン車両が前記２台の自動車の間の中央に向かって直進し、且つ、接近すると、前記警報を出力するよう構成され、前記リーン車両の車幅に応じた前記警報を出力する。

　この構成によると、リーン車両用画像処理装置は、撮像装置で撮像された画像から認識装置で認識された自動車に対する注意を運転者に促す警報を出力する警報装置を更に含む。
　警報装置は、リーン車両の前方で左右方向に間隔をあけて並んで２台の自動車が直進しており、その間隔の大きさが自動車の車幅にとっては左右方向に余裕がないが、リーン車両の車幅にとっては左右方向に余裕がある大きさである場合、リーン車両がこの２台の自動車の間の中央に向かって直進し、且つ、接近しても、警報を出力しないように構成される。警報装置は、リーン車両の前方で左右方向に間隔をあけて並んで２台の自動車が直進しており、その間隔の大きさがリーン車両の車幅にとっては左右方向に余裕がない大きさである場合、リーン車両がこの２台の自動車の間の中央に向かって直進し、且つ、接近すると、警報を出力するよう構成される。警報装置は、このように、リーン車両の車幅に応じた警報を出力する。
　例えば、リーン車両が５車線の道路の中央車線の右サイドエリアを走行中の場合、中央車線および中央右車線を走行している２台の自動車がリーン車両の前方に位置することになる。例えば、リーン車両が中央車線の右サイドエリアを走行中、中央車線を走行している自動車の一部分が中央車線の左サイドエリア上に位置し、且つ、中央右車線を走行している自動車の一部分が中央右車線の右サイドエリア上に位置している場合と、中央車線を走行している自動車の一部分が中央車線の右サイドエリア上に位置し、且つ、中央右車線を走行している自動車の一部分が中央右車線の左サイドエリア上に位置している場合とで、警報の有無を異ならせることができる。
　例えば、リーン車両が５車線の道路の中央車線の左サイドエリアを走行中の場合、中央車線および中央左車線を走行している２台の自動車がリーン車両の前方に位置することになる。例えば、リーン車両が中央車線の左サイドエリアを走行中、中央車線を走行している自動車の一部分が右サイドエリア上に位置し、且つ、中央左車線を走行している自動車の一部分が中央左車線の左サイドエリア上に位置している場合と、中央車線を走行している自動車の一部分が中央車線の左サイドエリア上に位置し、且つ、中央左車線を走行している自動車の一部分が中央左車線の右サイドエリア上に位置している場合とで、警報の有無を異ならせることができる。
　上記の構成により、リーン車両用画像処理装置は、リーン車両が右サイドエリアを走行中の場合であっても、リーン車両が左サイドエリアを走行中の場合であっても、リーン車両の前方に位置する２台の自動車を撮像および認識し、リーン車両の車幅に応じた警報を出力することができる。従って、自動車と比較して車体がスリムなリーン車両が自動車と同一車線を走行中、撮像、認識および警報を、車線の右サイドエリアを走行するシーンおよび左サイドエリアを走行するシーンにより適応させることができる。
　以上により、自動車と比較して車体がスリムなリーン車両が自動車と同一車線を走行中に、車線の右サイドエリアを走行するシーンおよび左サイドエリアを走行するシーンにより適応でき、且つ、自動車と比較して車体がスリムなリーン車両への搭載性が高いリーン車両用画像処理装置を提供することができる。
　なお、リーン車両用画像処理装置は、警報装置が予めリーン車両の車幅に応じて構成されたリーン車両専用画像処理装置であっても良い。リーン車両用画像処理装置は、警報装置が切換によってリーン車両の車幅または自動車の車幅に適応するように構成されたリーン車両および自動車兼用画像処理装置であっても良い。切換は、ユーザーの操作による切換でもよく、撮像された画像に基づいた自動的な切換でもよい。

　（４）本発明の一実施形態に係るリーン車両用画像処理装置は、上記（１）～（３）の少なくとも１つの構成に加えて以下の構成を有してもよい。
　前記リーン車両が前記５車線の道路の前記中央車線の前記右サイドエリアまたは前記左サイドエリアを走行し、且つ、前記５台の自動車が前記リーン車両よりも前方を左右方向に一列に並んで走行し、且つ、前記５台の自動車と前記リーン車両との前後方向の距離が、撮像から画像処理の完了までの時間を０．５秒、物体が１５ｋｍ／ｈの相対速度で前記リーン車両に近づくと仮定した場合において前記ＴＴＣが３秒の時点で前記画像処理が完了するように画像を撮像するために必要な距離である場合、前記認識装置は更に以下のように構成されている。
　前記認識装置は、前記リーン車両が前記５車線の道路の前記中央車線の前記右サイドエリアを走行中に撮像された前記画像が前記中央左車線を走行している前記自動車および前記右端車線を走行している前記自動車の少なくとも一方の画像を含む場合、前記中央車線を走行している前記自動車および前記中央右車線を走行している前記自動車を認識する際の解像度より低い解像度で、前記中央左車線を走行している前記自動車および前記右端車線を走行している前記自動車の前記少なくとも一方の画像を処理するように構成され、且つ、前記リーン車両が前記５車線の道路の前記中央車線の前記左サイドエリアを走行中に撮像された前記画像が前記中央右車線を走行している前記自動車および前記左端車線を走行している前記自動車の少なくとも一方の画像を含む場合、前記中央車線を走行している前記自動車および前記中央左車線を走行している前記自動車を認識する際の解像度より低い解像度で、前記中央右車線を走行している前記自動車および前記左端車線を走行している前記自動車の前記少なくとも一方の前記画像を処理するように構成される。

　リーン車両の車幅は、自動車の車幅と比較して非常に小さい。言い換えれば、リーン車両は、自動車と比較して車体がスリムである。リーン車両の車幅は、車線の幅と比較して非常に小さい。言い換えれば、リーン車両と自動車が同一車線を走行中に、リーン車両は車線の右サイドエリアを走行する場合と左サイドエリアを走行する場合がある。
　リーン車両が５車線の道路の中央車線の右サイドエリアを走行中、中央左車線を走行している自動車は、リーン車両から自動車１台分より左方向に位置し、右端車線を走行している自動車は、リーン車両から自動車１台分より右方向に位置する。リーン車両が５車線の道路の中央車線の左サイドエリアを走行中、中央右車線を走行している自動車は、リーン車両から自動車１台分より右方向に位置し、左端車線を走行している自動車は、リーン車両から自動車１台分より左方向に位置する。
　認識装置は、リーン車両が５車線の道路の中央車線の右サイドエリアを走行中に撮像された画像が中央左車線を走行している自動車および右端車線を走行している自動車の少なくとも一方の画像を含む場合、中央車線を走行している自動車および中央右車線を走行している自動車を認識する際の解像度より低い解像度で、中央左車線を走行している自動車および右端車線を走行している自動車の少なくとも一方の画像を処理するように構成される。認識装置は、リーン車両が５車線の道路の中央車線の左サイドエリアを走行中に撮像された画像が中央右車線を走行している自動車および左端車線を走行している自動車の少なくとも一方の画像を含む場合、中央車線を走行している自動車および中央左車線を走行している自動車を認識する際の解像度より低い解像度で、中央右車線を走行している自動車および左端車線を走行している自動車の少なくとも一方の画像を処理するように構成される。
　この構成により、リーン車両が右サイドエリアを走行中の場合であっても、リーン車両が左サイドエリアを走行中の場合であっても、左右方向においてリーン車両から自動車１台分より大きく離れて位置するエリアに存在する自動車を、より低い解像度で処理することで認識することができる。そのため、認識装置で認識する対象の画像の容量を小さくできる。その結果、認識装置の処理を低減することができ、例えば認識装置の放熱構造をシンプルでコンパクトにできるので、認識装置をコンパクトにできる。
　以上により、自動車と比較して車体がスリムなリーン車両が自動車と同一車線を走行中に、車線の右サイドエリアを走行するシーンおよび左サイドエリアを走行するシーンに適応でき、且つ、自動車と比較して車体がスリムなリーン車両への搭載性がより高いリーン車両用画像処理装置を提供することができる。

　本発明および実施形態において、リーン車両は、左旋回時に左方向に傾斜し、右旋回時に右方向に傾斜する車体フレームを有する車両でもよい。本発明および実施形態において、リーン車両は、例えば、自動二輪車または自動三輪車でもよい。自動二輪車は、スクータ、モペット、原動機付き自転車を含む。リーン車両の車幅は、例えば１ｍ未満である。一方、自動車の車幅は、例えば２～２．５ｍである。

　本発明および実施形態において、単眼カメラは、単一の撮像素子を有する。単眼カメラを含む撮像装置は、例えばレンズのような光学装置と単一の撮像素子とを有する。単眼カメラを有する撮像装置は、単一のレンズを有する撮像装置でもよい。撮像素子は、例えば、ＣＣＤ（Charge coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどのイメージセンサでもよい。本発明および実施形態において、撮像装置は、リーン車両の左右方向の中央に配置されていてもよい。但し、撮像装置の配置位置はこれに限らない。

　本発明および実施形態において、認識装置は、プロセッサおよびメモリを含む。メモリには、例えばＲＡＭ（Random Access Memory）が含まれる。メモリは、ＲＯＭ（Read Only Memory）を含んでいてもよい。プロセッサには、例えば、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＣＰＵ（Central Processing Unit）、ＳｏＣ（System on Chip）など、画像を処理できる任意の回路が含まれる。ＳｏＣはプロセッサとメモリが一体化された形態を有する。

　本発明および実施形態において、認識装置が物体（例えば自動車）を認識するとは、認識装置が物体（例えば自動車）を検知することを意味する。
　本発明および実施形態において、認識装置が自動車の画像を処理するとは、例えば、認識装置がこの画像から自動車を認識することを含む。

　本発明および実施形態において、車線は、走行レーンを意味する。車線は、車線の端を示すマーク（例えば白線）を有してもよく、有さなくてもよい。車線の車幅は、例えば３．５～４ｍである。
　本発明および実施形態において、右サイドエリア、左サイドエリア、中央エリアは、車線を左右方向で三等分した場合の３つのエリアにそれぞれ該当する。
　本発明および実施形態において、５車線の道路はストレートの道路である。

　本発明および実施形態において、リーン車両が車線の右サイドエリアを走行するとは、リーン車両の左右方向の中央が右サイドエリア内に位置するようにリーン車両が走行することを意味する。リーン車両が車線の左サイドエリアを走行するとは、リーン車両の左右方向の中央が左サイドエリア内に位置するようにリーン車両が走行することを意味する。本発明において、リーン車両が車線の右サイドエリア（左サイドエリア）を走行することは、平面視において、リーン車両全体が右サイドエリア（左サイドエリア）に収まるように走行することを含む。本発明において、リーン車両が車線の右サイドエリア（左サイドエリア）を走行することは、リーン車両の一部が右サイドエリア（左サイドエリア）の外に位置するように走行することを含んでいてもよい。

　本発明では、５台の自動車とリーン車両との前後方向の距離が、撮像から画像処理の完了までの時間を０．５秒、物体が１５ｋｍ／ｈの相対速度でリーン車両に近づくと仮定した場合においてＴＴＣが３秒の時点で画像処理が完了するように画像を撮像するために必要な距離である状況を用いて、撮像装置および認識装置の構成を定義している。「撮像から画像処理の完了までの時間を０．５秒、物体が１５ｋｍ／ｈの相対速度でリーン車両に近づくと仮定した場合においてＴＴＣが３秒の時点で画像処理が完了するように画像を撮像するために必要な距離」とは、以下のように言い換えることができる。すなわち、この距離は、リーン車両用画像処理装置が撮像から画像処理の完了までの時間が０．５秒となるように画像処理を行うように構成され、且つ、物体が１５ｋｍ／ｈの相対速度でリーン車両に近づいているという仮定の条件のもと、ＴＴＣが３秒の時点で画像処理が完了するように画像を撮像する場合に必要な距離である。ＴＴＣは、物体がリーン車両に到達するまでの時間である。この距離は、具体的には、１４．５８３３５ｍ（＝１５ｋｍ／ｈ×（３．０ｓ＋０．５ｓ）÷３６００×１０００）である。
　「物体が１５ｋｍ／ｈの相対速度でリーン車両に近づく」とは、物体およびリーン車両がともに走行しており、リーン車両が物体よりも１５ｋｍ／ｈ高い速度で走行していること、または、物体が静止しリーン車両が走行しており、リーン車両が１５ｋｍ／ｈの速度で走行していることである。
　「撮像から画像処理の完了までの時間」は、仮定の時間であって、リーン車両用画像処理装置が実際に行う画像処理に要する時間と同じでなくてよい。
　「撮像から画像処理の完了までの時間」は、例えば、撮像装置が画像を撮像した時点から、この画像から認識装置で認識された自動車に対するＴＴＣを推定した時点までの時間でもよい。一般的に、撮像からＴＴＣの推定まで０．５秒程度要する。
　「撮像から画像処理の完了までの時間」は、例えば、撮像装置が画像を撮影した時点から、この画像から認識装置で認識された自動車に対する注意を運転者に促す警報を出力する指令が警報装置に出力される時点までの時間でもよい。

　本発明および実施形態において、「自動車の後面が画像に含まれる」とは、自動車の後面全体が画像に含まれることである。
　本発明および実施形態において、「自動車の右側面が画像に含まれる」とは、仮に自動車の右側面が平坦である場合に、自動車の右側面全体が画像に含まれることである。つまり、「自動車の右側面が画像に含まれる」とは、自動車の右側面の少なくも一部が画像に含まれることである。この定義と同様の解釈により、「自動車の左側面が画像に含まれる」の意味も解釈することができる。
　本発明および実施形態において、画像に含まれるとは、画像に現れることを意味する。

　本発明および実施形態において、リーン車両よりも前方を走行する自動車とは、リーン車両の進行方向を前方向と定義した場合における、リーン車両よりも前方向に位置する自動車を意味する。本発明および実施形態において、リーン車両の前方において走行する自動車とは、リーン車両の真正面またはほぼ真正面を走行する自動車を意味する。リーン車両よりも前方を走行する自動車は、リーン車両の前方を走行する自動車に限らない。

　本発明および実施形態において、２台の自動車の間隔の大きさが自動車の車幅にとっては左右方向に余裕がないが、リーン車両の車幅にとっては左右方向に余裕がある大きさであるとは、その間隔の大きさが、通常の交通状況において、その間隔を自動車は通り抜けできないが、リーン車両は通り抜けることができるような大きさであることを意味する。言い換えると、その間隔の大きさが、リーン車両の車幅より大きく、且つ、自動車の車幅より小さいかもしくは同程度であることを意味する。従って、２台の自動車の間隔の大きさが自動車の車幅にとっては左右方向に余裕がないが、リーン車両の車幅にとっては左右方向に余裕がある大きさであるケースには、２台の自動車の間隔の大きさが自動車の車幅より小さいが、リーン車両の車幅より大きいケースが含まれる。
　本発明および実施形態において、２台の自動車の間隔の大きさがリーン車両の車幅にとっては左右方向に余裕がない大きさであるとは、その間隔の大きさが、通常の交通状況において、その間隔をリーン車両が通り抜けることができないような大きさであることを意味する。言い換えると、その間隔の大きさが、リーン車両の車幅より小さいかもしくは同程度であることを意味する。従って、２台の自動車の間隔の大きさが自動車の車幅にとっては左右方向に余裕がない大きさであるケースには、２台の自動車の間隔の大きさがリーン車両の車幅より小さいケースが含まれる。

　本発明および実施形態のリーン車両用画像処理装置は、撮像装置で撮像された画像から認識装置で認識された自動車に対する注意を運転者に促す警報を出力する警報装置を有してもよく、有さなくてもよい。
　本発明および実施形態において、リーン車両用画像処理装置が警報装置を有する場合、認識装置による認識結果の用途は警報装置に限らない。リーン車両用画像処理装置が警報装置を有するか否かに関わらず、認識装置による認識結果は、例えば、リーン車両の車速の制御に使用されてもよい。より具体的には、例えば、認識装置による認識結果に基づいて、運転者のブレーキ操作によらずにリーン車両のブレーキ装置が作動されてもよい。
　本発明および実施形態において、認識装置で認識された自動車に対する注意を運転者に促す警報を出力する警報装置は、認認識装置で認識された自動車以外の物体に対する注意を運転者に促す警報を出力してもよい。

　本発明および実施形態において、警報装置が出力する警報とは、リーン車両の運転者に注意を促すための警報である。警報は、運転者の聴覚、視覚、または触覚の少なくとも１つに対する警報である。聴覚に対する警報は、音による警報である。視覚に対する警報とは、例えば、光による警報である。触覚に対する警報とは、例えば、振動による警報である。振動は、例えば、グリップの振動、シートの振動でもよい。振動を発生させる手段は、警報装置の専用の手段であってもよく、ブレーキまたは駆動源であってもよい。

　本発明および実施形態において、解像度が低いとは、画素の密度が低いことを意味する。
　本発明および実施形態において、所定の解像度で、自動車の画像を処理するとは、所定の解像度で、自動車の画像を認識することを含む。

　本発明のリーン車両用画像処理装置が使用される状況は、リーン車両が５車線の道路の中央車線の右サイドエリアまたは左サイドエリアを走行する状況に限らない。リーン車両用画像処理装置は、例えば以下のような走行状況において使用されてもよい。その走行状況とは、例えば、例えば、リーン車両が５車線の道路以外の道路を走行する状況でもよい。５車線の道路以外の道路とは、６つ以上の車線を有する道路、２車線道路、または片側１車線道路などである。また、その走行状況とは、例えば、リーン車両がある車線の中央エリアを走行する状況でもよい。また、その走行状況とは、例えば、リーン車両が５車線道路の中央車線ではない車線の右サイドエリアまたは左サイドエリアを走行する状況でもよい。

　本発明および実施形態において、複数の選択肢のうちの少なくとも１つ（一方）とは、複数の選択肢から考えられる全ての組み合わせを含む。複数の選択肢のうちの少なくとも１つ（一方）とは、複数の選択肢のいずれか１つでもよく、複数の選択肢の全てでもよい。例えば、ＡとＢとＣの少なくとも１つとは、Ａのみでもよく、Ｂのみでもよく、Ｃのみでもよく、ＡとＢでもよく、ＡとＣでもよく、ＢとＣでもよく、ＡとＢとＣでもよい。

　本明細書において、例えば「１～１０」は、１以上１０以下を意味する。１と１０以外の数値にも、同様の定義が適用される。

　本発明および実施形態において、含む（including）、有する（comprising）、備える（having）およびこれらの派生語は、列挙されたアイテム及びその等価物に加えて追加的アイテムをも包含することが意図されて用いられている。

　他に定義されない限り、本明細書および請求範囲で使用される全ての用語（技術用語および科学用語を含む）は、本発明が属する当業者によって一般的に理解されるのと同じ意味を有する。一般的に使用される辞書に定義された用語のような用語は、関連する技術および本開示の文脈における意味と一致する意味を有すると解釈されるべきであり、理想化されたまたは過度に形式的な意味で解釈されることはない。

　本明細書において、「してもよい」という用語は非排他的なものである。「してもよい」は、「してもよいがこれに限定されるものではない」という意味である。本明細書において、「してもよい」は、「しない」場合があることを暗黙的に含む。本明細書において、「してもよい」と記載された構成は、少なくとも、請求項１の構成により得られる上記効果を奏する。

　本発明の実施形態を詳細に説明する前に、本発明は、以下の説明に記載されたまたは図面に図示された構成要素の構成および配置の詳細に制限されないことが理解されるべきである。本発明は、後述する実施形態以外の実施形態でも可能である。本発明は、後述する実施形態に様々な変更を加えた実施形態でも可能である。

　本発明によると、自動車と比較して車体がスリムなリーン車両が自動車と同一車線を走行中に、車線の右サイドエリアを走行するシーンおよび左サイドエリアを走行するシーンに適応でき、且つ、自動車と比較して車体がスリムなリーン車両への搭載性が高いリーン車両用画像処理装置を提供することができる。

本発明の第１実施形態のリーン車両用画像処理装置の構成を説明する図である。本発明の第２実施形態のリーン車両用画像処理装置の構成を説明する図である。本発明の第３実施形態のリーン車両用画像処理装置の構成を説明する図である。本発明の第４実施形態のリーン車両用画像処理装置の構成を説明する図である。本発明の第４実施形態のリーン車両用画像処理装置による認識の３つの例を説明する図である。

　各図面に示す矢印Ｆ、矢印Ｒｅ、矢印Ｌ、矢印Ｒは、それぞれ、前方向、後方向、左方向、右方向を表す。

　＜第１実施形態＞
　以下、本発明の実施形態のリーン車両用画像処理装置１０について図１を参照しつつ説明する。リーン車両用画像処理装置１０は、リーン車両１に搭載される。図１ではリーン車両１は自動二輪車であるが、リーン車両１は自動二輪車に限らない。リーン車両用画像処理装置１０は、画像を撮像する撮像装置１１と、撮像装置１１で取得された画像から物体を認識する認識装置１２とを含む。撮像装置１１は、単眼カメラを含む。

　図１は、リーン車両１と５台の自動車６１～６５が５車線の道路を走行している状況の２つの例（ＣＡＳＥ１およびＣＡＳＥ２）をそれぞれ示す平面図を含む。５車線の道路は、左端車線５１、中央左車線５２、中央車線５３、中央右車線５４、右端車線５５を含む。ＣＡＳＥ１およびＣＡＳＥ２では、リーン車両１は、中央車線５３を走行し、５台の自動車６１～６５は、リーン車両１よりも前方を左右方向に一列に並んで走行している。ＣＡＳＥ１では、リーン車両１は、中央車線５３の右サイドエリア５０Ｒを走行し、ＣＡＳＥ２では、リーン車両１は、中央車線５３の左サイドエリア５０Ｌを走行している。右サイドエリア５０Ｒは、単一の車線５０（例えば中央車線５３）を左右方向で三等分した際、単一の車線５０の右端を含むエリアであり、左サイドエリア５０Ｌは、単一の車線５０の左端を含むエリアである。右サイドエリア５０Ｒおよび左サイドエリア５０Ｌの間のエリアは、中央エリア５０Ｃである。リーン車両１の車幅は、自動車６０（例えば自動車６１～６５）の車幅と比較して非常に小さい。リーン車両１の車幅は、車線５０の幅と比較して非常に小さい。そのため、リーン車両１は中央車線５３内での左右方向の走行位置の自由度が高く、中央車線５３内において左右方向に移動することができ、中央車線５３内において、右サイドエリア５０Ｒを走行したり左サイドエリア５０Ｌを走行したりできる。

　ＣＡＳＥ１およびＣＡＳＥ２において、５台の自動車６１～６５とリーン車両１との前後方向の距離Ｄは、撮像から画像処理の完了までの時間Ｔｉを０．５秒、物体が１５ｋｍ／ｈの相対速度Ｖｒでリーン車両１に近づくと仮定した場合においてＴＴＣが３秒の時点で画像処理が完了するように画像を撮像するために必要な距離である。この距離は約１５ｍである。なお、以下では、この距離のことを「特定の距離」と称することがある。

　リーン車両１が５車線の道路の中央車線５３の右サイドエリア５０Ｒまたは左サイドエリア５０Ｌを走行し、且つ、５台の自動車６１～６５がリーン車両１よりも前方を左右方向に一列に並んで走行し、且つ、５台の自動車６１～６５とリーン車両１との前後方向の距離Ｄが上述した特定の距離である場合に、撮像装置１１および認識装置１２は以下の構成を有する。

　撮像装置１１の単眼カメラは、リーン車両１が中央車線５３の右サイドエリア５０Ｒを走行中、左端車線５１を走行している自動車６１の後面の左端６１ｂｌは撮像されないが、中央車線５３を走行している自動車６３の後面の左端６３ｂｌおよび中央右車線５４を走行している自動車６４の後面の右端６４ｂｒが少なくとも撮像されるように、左右方向の画角が構成される。
　撮像装置１１の単眼カメラは、リーン車両１が中央車線５３の左サイドエリア５０Ｌを走行中、右端車線５５を走行している自動車６５の後面の右端６５ｂｒは撮像されないが、中央車線５３を走行している自動車６３の後面の右端６３ｂｒおよび中央左車線５２を走行している自動車６２の後面の左端６３ｂｌが少なくとも撮像されるように、左右方向の画角が構成される。

　認識装置１２は、リーン車両１が中央車線５３の右サイドエリア５０Ｒを走行中に撮像された画像から、中央車線５３を走行している自動車６３および中央右車線５４を走行している自動車６４の両方を少なくとも認識するように構成される。このとき、認識装置１２は、距離Dが上述した特定の距離のときに撮像装置１１により撮像された画像から、自動車６３および自動車６４を少なくとも認識する。つまり、認識装置１２は、左端車線５１を走行している自動車６１の後面の左端６１ｂｌは含まれないが、中央車線５３を走行している自動車６３の後面の左端６３ｂｌおよび中央右車線５４を走行している自動車６４の後面の右端６４ｂｒは含まれる画像から、自動車６３および自動車６４を少なくとも認識する。
　認識装置１２は、リーン車両１が中央車線５３の左サイドエリア５０Ｌを走行中に撮像された画像から、中央車線５３を走行している自動車６３および中央左車線５２を走行している自動車６２の両方を少なくとも認識するように構成される。このとき、認識装置１２は、距離Dが上述した特定の距離のときに撮像装置１１により撮像された画像から、自動車６３および自動車６２を少なくとも認識する。つまり、認識装置１２は、右端車線５５を走行している自動車６５の後面の右端６５ｂｒは含まれないが、中央車線５３を走行している自動車６３の後面の右端６３ｂｒおよび中央左車線５２を走行している自動車６２の後面の左端６３ｂｌが含まれる画像から、自動車６３および自動車６２を少なくとも認識する。

　図１中の角度θｍｉｎは、撮像装置１１の単眼カメラの最小の左右方向の画角を、概念的に理解するために模式的に表している。図１中の角度θｍａｘは、撮像装置１１の単眼カメラの最大の左右方向の画角を、概念的に理解するために模式的に表している。

　図１において、自動車６１～６５に付された記号「〇」、「△」、「×」は、以下の意味を有する。記号「〇」は、自動車の後面全体が撮像されることを示す。記号「×」は、自動車の後面が全く撮像されないまたは自動車の後面の一部分だけ撮像されることを示す。記号「△」は、自動車の後面が全く撮像されないか、自動車の後面の一部分だけ撮像されるか、もしくは、自動車の後面全体が撮像されることを示す。

　本実施形態によると、自動車６０と比較して車体がスリムなリーン車両１が自動車６０と同一車線５０を走行中に、車線５０の右サイドエリア５０Ｒを走行するシーンおよび左サイドエリア５０Ｌを走行するシーンに適応でき、且つ、自動車６０と比較して車体がスリムなリーン車両１への搭載性の高いリーン車両用画像処理装置１０を実現できる。

　リーン車両１またはリーン車両用画像処理装置１０は、撮像装置１１で撮像された画像を表示する表示装置を有していてもよく、有さなくてもよい。画像が表示される場合に、認識装置１２が認識した物体（例えば自動車）が枠で囲まれていてもよい（後述する図４参照）。

　＜第２実施形態＞
　次に、本発明の第２実施形態のリーン車両用画像処理装置１０について図２を参照しつつ説明する。第２実施形態は、第１実施形態の構成を全て有する。図２は、リーン車両１が５車線の道路の中央車線５３の右サイドエリア５０Ｒを走行している状況の一例（ＣＡＳＥ３）と中央車線５３の左サイドエリア５０Ｌを走行している状況の一例（ＣＡＳＥ４）を模式的に示す図である。ＣＡＳＥ３は、第１実施形態のＣＡＳＥ１の一例である。ＣＡＳＥ４は、第１実施形態のＣＡＳＥ２の一例である。

　リーン車両１が５車線の道路の中央車線５３の右サイドエリア５０Ｒまたは左サイドエリア５０Ｌを走行し、且つ、５台の自動車６１～６５がリーン車両１よりも前方を左右方向に一列に並んで走行し、且つ、５台の自動車６１～６５とリーン車両１との前後方向の距離Ｄが第１実施形態で説明した特定の距離である場合に、撮像装置１１および認識装置１２は以下の構成を有してもよい。

　図２のＣＡＳＥ３に示すように、撮像装置１１の単眼カメラは、リーン車両１が中央車線５３の右サイドエリア５０Ｒを走行中、少なくとも中央車線５３を走行している自動車６３の後面６３ｂ、中央車線５３を走行している自動車６３の右側面６３ｒ、中央右車線５４を走行している自動車６４の後面６４ｂおよび中央右車線５４を走行している自動車６４の左側面６４ｌが画像に含まれるように撮像する。
　図２のＣＡＳＥ４に示すように、撮像装置１１の単眼カメラは、リーン車両１が中央車線５３の左サイドエリア５０Ｌを走行中、少なくとも中央車線５３を走行している自動車６３の後面６３ｂ、中央車線５３を走行している自動車６３の左側面６３ｌ、中央左車線５２を走行している自動車６２の後面６２ｂおよび中央左車線５２を走行している自動車６２の右側面６２ｒが画像に含まれるように撮像する。

　認識装置１２は、中央車線５３を走行している自動車６３の後面６３ｂ、中央車線５３を走行している自動車６３の右側面６３ｒ、中央右車線５４を走行している自動車６４の後面６４ｂおよび中央右車線５４を走行している自動車６４の左側面６４ｌが含まれる画像から、中央車線５３を走行している自動車６３および中央右車線５４を走行している自動車６４の両方を少なくとも認識する。
　認識装置１２は、中央車線５３を走行している自動車６３の後面６３ｂ、中央車線５３を走行している自動車６３の左側面６３ｌ、中央左車線５２を走行している自動車６２の後面６２ｂおよび中央左車線５２を走行している自動車６２の右側面６２ｒが含まれる画像から、中央車線５３を走行している自動車６３および中央左車線５２を走行している自動車６２の両方を少なくとも認識する。

　なお、リーン車両１が中央車線５３の右サイドエリア５０Ｒを走行中、中央車線５３を走行している自動車６３の右側面６３ｒが画像に含まれるか否かは、リーン車両１の中央車線５３の右サイドエリア５０Ｒにおける左右方向の位置、中央車線５３を走行している自動車６３の中央車線５３内における左右方向の位置、中央車線５３の幅、自動車６３の車幅、リーン車両１の車幅、およびリーン車両１における撮像装置１１の左右方向の位置の影響を受ける。したがって、第２実施形態の撮像装置１１は、リーン車両１が中央車線５３の右サイドエリア５０Ｒを走行し、距離Ｄが上述した特定の距離である場合に、必ずしも上述した構成を有するわけではなく、上述した構成を有しない場合もある。リーン車両１が中央車線５３の左サイドエリア５０Ｌを走行する場合についても同様である。

　＜第３実施形態＞
　次に、本発明の第３実施形態のリーン車両用画像処理装置１０について図３を参照しつつ説明する。第３実施形態は、第１実施形態の構成を全て有する。第３実施形態は、第２実施形態の構成を有してもよい。

　図３に示すように、リーン車両用画像処理装置１０は、撮像装置１１で撮像された画像から認識装置１２で認識された自動車６０に対する注意を運転者に促す警報を出力する警報装置１３を更に含む。警報装置１３は、以下に説明するように、リーン車両１の車幅に応じた警報を出力する。

　図３のＣＡＳＥ５に示すように、警報装置１３は、リーン車両１の前方において左右方向に間隔Ｇをあけて並んで２台の自動車６０が直進しており、間隔Ｇの大きさが自動車６０の車幅にとっては左右方向に余裕がないが、リーン車両１の車幅にとっては左右方向に余裕がある大きさである場合、リーン車両１が２台の自動車６０の間の中央に向かって直進し、且つ、接近しても、警報を出力しないように構成される。
　図３のＣＡＳＥ６に示すように、警報装置１３は、リーン車両１の前方において左右方向に間隔Ｇをあけて並んで２台の自動車６０が直進しており、間隔Ｇの大きさがリーン車両１の車幅にとっては左右方向に余裕がない大きさである場合、リーン車両１が２台の自動車６０の間の中央に向かって直進し、且つ、接近すると、警報を出力するよう構成される。なお、図３のＣＡＳＥ６において、間隔Ｇは、リーン車両１の車幅よりも若干大きいが、リーン車両１の車幅より小さくてもよい。

　図３の比較例に示すように、警報装置を有する自動車６６（６０）の前方において左右方向に間隔Ｇをあけて並んで２台の自動車６０が直進しており、間隔Ｇの大きさが自動車６６の車幅にとっては左右方向に余裕がないが、リーン車両１の車幅にとっては左右方向に余裕がある大きさである場合、自動車６６が２台の自動車６０の間の中央に向かって直進し、且つ、接近すると、自動車６６の警報装置は警報を出力する。
　図示は省略するが、警報装置を有する自動車６６の前方において左右方向に間隔Ｇをあけて並んで２台の自動車６０が直進しており、間隔Ｇの大きさが自動車６６の車幅とリーン車両１の車幅の両方にとって左右方向に余裕がない場合、自動車６６が２台の自動車６０の間の中央に向かって直進し、且つ、接近すると、自動車６６の警報装置は警報を出力する。

　図３のＥＸＡＭＰＬＥ１およびＥＸＡＭＰＬＥ２は、それぞれＣＡＳＥ５の具体例である。図３のＥＸＡＭＰＬＥ３およびＥＸＡＭＰＬＥ４は、それぞれＣＡＳＥ６の具体例である。

　ＥＸＡＭＰＬＥ１およびＥＸＡＭＰＬＥ３では、リーン車両１が５車線の道路の中央車線５３の右サイドエリア５０Ｒを走行しており、中央車線５３および中央右車線５４を走行する２台の自動車６３、６４がリーン車両１の前方に位置する。ＥＸＡＭＰＬＥ１では、自動車６３の一部分が中央車線５３の左サイドエリア５０Ｌ上に位置し、自動車６４の一部分が中央右車線５４の右サイドエリア５０Ｒ上に位置する。ＥＸＡＭＰＬＥ３では、自動車６３の一部分が中央車線５３の右サイドエリア５０Ｒ上に位置し、自動車６４の一部分が中央右車線５４の左サイドエリア５０Ｌ上に位置する。

　ＥＸＡＭＰＬＥ２およびＥＸＡＭＰＬＥ４では、リーン車両１は５車線の道路の中央車線５３の左サイドエリア５０Ｌを走行しており、中央車線５３および中央左車線５２を走行する２台の自動車６３、６２がリーン車両１の前方に位置する。ＥＸＡＭＰＬＥ２では、自動車６３の一部分が中央車線５３の右サイドエリア５０Ｒ上に位置し、自動車６２の一部分が中央左車線５２の左サイドエリア５０Ｌ上に位置する。ＥＸＡＭＰＬＥ４では、自動車６３の一部分が中央車線５３の左サイドエリア５０Ｌ上に位置し、自動車６２の一部分が中央左車線５２の右サイドエリア５０Ｒ上に位置する。

　第３実施形態において、リーン車両１が撮像装置１１により撮像された画像を表示する表示装置を有し、撮像装置１１により撮像された画像内の自動車を囲む枠を、撮像された画像とともに表示させる場合には、警報装置１３が警報を出力するときと警報装置１３が警報を出力しないときとで、警報の対象となる自動車を囲む枠の色を異ならせてもよい。

　＜第４実施形態＞
　次に、本発明の第４実施形態のリーン車両用画像処理装置１０について図４および図５を参照しつつ説明する。第４実施形態は、第１実施形態の構成を全て有する。第４実施形態は、第２実施形態の構成を有してもよい。第４実施形態は、第３実施形態の構成を有してもよい。

　図４は、リーン車両１と５台の自動車６１～６５が５車線の道路を走行している状況の２つの例（ＣＡＳＥ７およびＣＡＳＥ８）をそれぞれ示す平面図を含む。ＣＡＳＥ７は、第１実施形態のＣＡＳＥ１の一例である。ＣＡＳＥ８は、第１実施形態のＣＡＳＥ２の一例である。図４は、ＣＡＳＥ７において撮像装置１１で撮像された画像Ｐ１の一例と、画像Ｐ１と、ＣＡＳＥ８において撮像装置１１で撮像された画像Ｐ２の一例を含む。

　リーン車両１が５車線の道路の中央車線５３の右サイドエリア５０Ｒまたは左サイドエリア５０Ｌを走行し、且つ、５台の自動車６１～６５がリーン車両１よりも前方を左右方向に一列に並んで走行し、且つ、５台の自動車６１～６５とリーン車両１との前後方向の距離Ｄが第１実施形態で説明した特定の距離である場合に、認識装置１２は以下の構成を有する。

　認識装置１２は、リーン車両１が中央車線５３の右サイドエリア５０Ｒを走行中に撮像された画像Ｐ１が中央左車線５２を走行している自動車６２および右端車線５５を走行している自動車６５の少なくとも一方の画像を含む場合、中央車線５３を走行している自動車６３および中央右車線５４を走行している自動車６４を認識する際の解像度より低い解像度で、中央左車線５２を走行している自動車６２および右端車線５５を走行している自動車６５の上記少なくとも一方の画像を処理するように構成される。
　認識装置１２は、リーン車両１が中央車線５３の左サイドエリア５０Ｌを走行中に撮像された画像Ｐ２が中央右車線５４を走行している自動車６４および左端車線５１を走行している自動車６１の少なくとも一方の画像を含む場合、中央車線５３を走行している自動車６３および中央左車線５２を走行している自動車６２を認識する際の解像度より低い解像度で、中央右車線５４を走行している自動車６４および左端車線５１を走行している自動車６１の上記少なくとも一方の画像を処理するように構成される。

　図４において、画像Ｐ１は、自動車６２および自動車６５の両方の画像を含むが、自動車６２および自動車６５の一方のみの画像を含んでいてもよい。図４において、画像Ｐ２は、自動車６４および自動車６１の両方の画像を含むが、自動車６４および自動車６１の一方のみの画像を含んでいてもよい。図４において、画像Ｐ１および画像Ｐ２は、最大の左右方向の画角θｍａｘより若干小さい左右方向の画角を有する撮像装置１１で撮像された画像である。

　図４において、自動車６１～６５に付された記号「Ｈｉ」、「Ｌｏ」は、以下の意味を有する。記号「Ｈｉ」が付された自動車は、高い解像度で認識される自動車であることを示す。記号「Ｌｏ」が付された自動車は、低い解像度で認識される自動車であることを示す。

　次に、リーン車両１が中央車線５３の右サイドエリア５０Ｒを走行中に撮像された画像Ｐ１が中央左車線５２を走行している自動車６２および右端車線５５を走行している自動車６５の少なくとも一方の画像を含む場合における認識装置１２による処理の詳細について図５（ａ）～図５（ｃ）を参照しつつ説明する。なお、リーン車両１が中央車線５３の左サイドエリア５０Ｌを走行中に撮像された画像Ｐ２が中央右車線５４を走行している自動車６４および左端車線５１を走行している自動車６１の少なくとも一方の画像を含む場合における認識装置１２による処理は、左右が逆となる。

　認識装置１２は、図５（ａ）～（ｃ）に示すように、画像Ｐ１から、中央車線５３を走行している自動車６３および中央右車線５４を走行している自動車６４の画像が含まれる所定の領域を切り出す。切り出された画像を、中央領域画像Ｐ１Ｃと称する。中央領域画像Ｐ１Ｃは、画像Ｐ１の左右方向の中央またはほぼ中央である。中央領域画像Ｐ１Ｃは、画像Ｐ１の上下方向の中央またはほぼ中央である。切り出す領域は予め設定されていてもよく、変更可能でもよい。

　続いて、認識装置１２は、中央領域画像Ｐ１Ｃから、所定の第１解像度で、自動車６３および自動車６４を認識する。第１解像度は、撮像装置１１で撮像されたオリジナルの画像Ｐ１の解像度と同じでもよく、それより低くてもよい。

　また、認識装置１２は、画像Ｐ１から、中央領域画像Ｐ１Ｃとは異なる周辺領域画像Ｐ１Ｓを設定する。周辺領域画像Ｐ１Ｓは、図５（ａ）に示すように、画像Ｐ１全体でもよい。周辺領域画像Ｐ１Ｓは、例えば図５（ｂ）および図５（ｃ）に示すように、中央領域画像Ｐ１Ｃを含まないように、画像Ｐ１から切り出された画像でもよい。図５（ｂ）に示す周辺領域画像Ｐ１Ｓは、画像Ｐ１から中央領域画像Ｐ１Ｃだけを除いた画像である。図５（ｃ）に示す周辺領域画像Ｐ１Ｓは、画像Ｐ１から中央領域画像Ｐ１Ｃと同じ左右方向の領域の画像を除いた画像である。

　続いて、認識装置１２は、周辺領域画像Ｐ１Ｓを、第１解像度よりも低い第２解像度で処理する。具体的には、まず、認識装置１２は、周辺領域画像Ｐ１Ｓの解像度を、第１解像度よりも低い第２解像度まで低下させる。その後、認識装置１２は、周辺領域画像Ｐ１Ｓから、中央左車線５２を走行している自動車６２および右端車線５５を走行している自動車６５の少なくとも一方を認識する。図５（ａ）～（ｃ）の例では、認識装置１２は、周辺領域画像Ｐ１Ｓから、自動車６２および自動車６５の両方を認識する。

　図５（ａ）の例では、認識装置１２は、周辺領域画像Ｐ１Ｓから、自動車６２および自動車６５に加えて、中央車線５３を走行している自動車６３および中央右車線５４を走行している自動車６４も認識する。つまり、中央車線５３を走行している自動車６３および中央右車線５４を走行している自動車６４は、中央領域画像Ｐ１Ｃおよび周辺領域画像Ｐ１Ｓの両方を用いて認識される。この場合、認識装置１２は、自動車６３および自動車６４を認識する最終的なデータとして、中央領域画像Ｐ１Ｃから認識した結果を用いてもよい。

　図５（ｂ）および図５（ｃ）の例では、周辺領域画像Ｐ１Ｓが中央右車線５４を走行している自動車６４の一部を含む。この場合、認識装置１２は、周辺領域画像Ｐ１Ｓから、中央右車線５４を走行している自動車６４を認識してもよく、しなくてもよい。

　なお、本明細書中の右サイドエリアは、本願の基礎出願である特願２０２３－１００００３の明細書中の右走行領域に含まれる。本明細書中の左サイドエリアは、同出願の明細書中の左走行領域に含まれる。本明細書中の中央エリアは、同出願の明細書中の中央走行領域に含まれる。本明細書中の自動車は、同出願の明細書中の四輪車に相当する。本明細書中の中央領域画像は、同出願の明細書中の中央認識領域に相当する。本明細書中の周辺領域画像は、同出願の明細書中の周辺認識領域に相当する。

　１：リーン車両、１０：リーン車両用画像処理装置、１１：撮像装置、１２：認識装置、１３：警報装置、５０：車線、５０Ｃ：中央エリア、５０Ｌ：左サイドエリア、５０Ｒ：右サイドエリア、５１：左端車線、５２：中央左車線、５３：中央車線、５４：中央右車線、５５：右端車線、６０、６１～６５：自動車

Claims

　画像を撮像する撮像装置と、前記撮像装置で取得された前記画像から物体を認識する認識装置とを含み、リーン車両に搭載されるリーン車両用画像処理装置であって、
　単一の車線を左右方向で三等分した際、前記単一の車線の右端を含むエリアを右サイドエリア、前記単一の車線の左端を含むエリアを左サイドエリア、前記右サイドエリアおよび前記左サイドエリアの間のエリアを中央エリアと定義し、
　５車線の道路の各車線を左から右に順に、左端車線、中央左車線、中央車線、中央右車線、右端車線と定義した場合、
　前記リーン車両が前記５車線の道路の前記中央車線の右サイドエリアまたは左サイドエリアを走行し、且つ、５台の自動車が前記リーン車両よりも前方を左右方向に一列に並んで走行し、且つ、前記５台の自動車と前記リーン車両との前後方向の距離が、撮像から画像処理の完了までの時間を０．５秒、物体が１５ｋｍ／ｈの相対速度で前記リーン車両に近づくと仮定した場合においてＴＴＣ（Time to Collision）が３秒の時点で前記画像処理が完了するように画像を撮像するために必要な距離である場合、前記撮像装置および前記認識装置は以下のように構成されていることを特徴とするリーン車両用画像処理装置。
　前記撮像装置は、
　前記リーン車両が前記５車線の道路の前記中央車線の前記右サイドエリアを走行中、前記左端車線を走行している前記自動車の後面の左端は撮像されないが、前記中央車線を走行している前記自動車の後面の左端および前記中央右車線を走行している前記自動車の後面の右端が少なくとも撮像され、
　且つ、
　前記リーン車両が前記５車線の道路の前記中央車線の前記左サイドエリアを走行中、前記右端車線を走行している前記自動車の後面の右端は撮像されないが、前記中央車線を走行している前記自動車の後面の右端および前記中央左車線を走行している前記自動車の後面の左端が少なくとも撮像されるように、左右方向の画角が構成された単眼カメラを含む。
　前記認識装置は、
　前記リーン車両が前記５車線の道路の前記中央車線の前記右サイドエリアを走行中に撮像された前記画像から、前記中央車線を走行している前記自動車および前記中央右車線を走行している前記自動車の両方を少なくとも認識し、
　且つ、
　前記リーン車両が前記５車線の道路の前記中央車線の前記左サイドエリアを走行中に撮像された前記画像から、前記中央車線を走行している前記自動車および前記中央左車線を走行している前記自動車の両方を少なくとも認識するように構成される。
　前記リーン車両が前記５車線の道路の前記中央車線の前記右サイドエリアまたは前記左サイドエリアを走行し、且つ、前記５台の自動車が前記リーン車両よりも前方を左右方向に一列に並んで走行し、且つ、前記５台の自動車と前記リーン車両との前後方向の距離が、撮像から画像処理の完了までの時間を０．５秒、物体が１５ｋｍ／ｈの相対速度で前記リーン車両に近づくと仮定した場合において前記ＴＴＣが３秒の時点で前記画像処理が完了するように画像を撮像するために必要な距離である場合、前記撮像装置および前記認識装置は更に以下のように構成されている、
　請求項１に記載のリーン車両用画像処理装置。
　前記撮像装置は、
　前記リーン車両が前記５車線の道路の前記中央車線の前記右サイドエリアを走行中、少なくとも前記中央車線を走行している前記自動車の後面、前記中央車線を走行している前記自動車の右側面、前記中央右車線を走行している前記自動車の後面および前記中央右車線を走行している前記自動車の左側面が画像に含まれるように前記単眼カメラで撮像し、
　且つ、
　前記リーン車両が前記５車線の道路の前記中央車線の左サイドエリアを走行中、少なくとも前記中央車線を走行している前記自動車の後面、前記中央車線を走行している前記自動車の左側面、前記中央左車線を走行している前記自動車の後面および前記中央左車線を走行している前記自動車の右側面が画像に含まれるように前記単眼カメラで撮像する。
　前記認識装置は、
　前記中央車線を走行している前記自動車の後面、前記中央車線を走行している前記自動車の右側面、前記中央右車線を走行している前記自動車の後面および前記中央右車線を走行している前記自動車の左側面が含まれる前記画像から、前記中央車線を走行している前記自動車および前記中央右車線を走行している前記自動車の両方を少なくとも認識し、
　且つ、
　前記中央車線を走行している前記自動車の後面、前記中央車線を走行している前記自動車の左側面、前記中央左車線を走行している前記自動車の後面および前記中央左車線を走行している前記自動車の右側面が含まれる前記画像から、前記中央車線を走行している前記自動車および前記中央左車線を走行している前記自動車の両方を少なくとも認識する。
　前記リーン車両用画像処理装置は、前記撮像装置で撮像された前記画像から前記認識装置で認識された自動車に対する注意を運転者に促す警報を出力する警報装置を更に含み、
　前記警報装置は、
　前記リーン車両の前方において左右方向に間隔をあけて並んで２台の自動車が直進しており、前記間隔の大きさが前記自動車の車幅にとっては左右方向に余裕がないが、前記リーン車両の車幅にとっては左右方向に余裕がある大きさである場合、前記リーン車両が前記２台の自動車の間の中央に向かって直進し、且つ、接近しても、前記警報を出力しないように構成され、
　且つ、
　前記リーン車両の前方において左右方向に間隔をあけて並んで２台の自動車が直進しており、前記間隔の大きさが前記リーン車両の車幅にとっては左右方向に余裕がない大きさである場合、前記リーン車両が前記２台の自動車の間の中央に向かって直進し、且つ、接近すると、前記警報を出力するよう構成され、
　前記リーン車両の車幅に応じた前記警報を出力する、
　請求項１または２に記載のリーン車両用画像処理装置。
　前記リーン車両が前記５車線の道路の前記中央車線の前記右サイドエリアまたは前記左サイドエリアを走行し、且つ、前記５台の自動車が前記リーン車両よりも前方を左右方向に一列に並んで走行し、且つ、前記５台の自動車と前記リーン車両との前後方向の距離が、撮像から画像処理の完了までの時間を０．５秒、物体が１５ｋｍ／ｈの相対速度で前記リーン車両に近づくと仮定した場合において前記ＴＴＣが３秒の時点で前記画像処理が完了するように画像を撮像するために必要な距離である場合、前記認識装置は更に以下のように構成されている。
　前記認識装置は、
　前記リーン車両が前記５車線の道路の前記中央車線の前記右サイドエリアを走行中に撮像された前記画像が前記中央左車線を走行している前記自動車および前記右端車線を走行している前記自動車の少なくとも一方の画像を含む場合、前記中央車線を走行している前記自動車および前記中央右車線を走行している前記自動車を認識する際の解像度より低い解像度で、前記中央左車線を走行している前記自動車および前記右端車線を走行している前記自動車の前記少なくとも一方の画像を処理するように構成され、
　且つ、
　前記リーン車両が前記５車線の道路の前記中央車線の前記左サイドエリアを走行中に撮像された前記画像が前記中央右車線を走行している前記自動車および前記左端車線を走行している前記自動車の少なくとも一方の画像を含む場合、前記中央車線を走行している前記自動車および前記中央左車線を走行している前記自動車を認識する際の解像度より低い解像度で、前記中央右車線を走行している前記自動車および前記左端車線を走行している前記自動車の前記少なくとも一方の前記画像を処理するように構成される、
　請求項２または３に記載のリーン車両用画像処理装置。