JP7016900B2 - 制御装置、制御方法及びプログラム - Google Patents
制御装置、制御方法及びプログラム Download PDFInfo
- Publication number
- JP7016900B2 JP7016900B2 JP2020037260A JP2020037260A JP7016900B2 JP 7016900 B2 JP7016900 B2 JP 7016900B2 JP 2020037260 A JP2020037260 A JP 2020037260A JP 2020037260 A JP2020037260 A JP 2020037260A JP 7016900 B2 JP7016900 B2 JP 7016900B2
- Authority
- JP
- Japan
- Prior art keywords
- detected
- image
- camera
- industrial vehicle
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/0755—Position control; Position detectors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
- B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/0759—Details of operating station, e.g. seats, levers, operator platforms, cabin suspension
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Transportation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geology (AREA)
- Mechanical Engineering (AREA)
- Civil Engineering (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Forklifts And Lifting Vehicles (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Component Parts Of Construction Machinery (AREA)
Description
本発明は、制御装置、制御方法及びプログラムに関する。
フォークリフトやホイルローダーなどなどの産業車両は、車両本体が備える車輪の切れ角や車両の構造など、一般的な乗用車とは異なる特徴を有している。そのため、特に産業車両の運転経験の少ない運転者にとっては、産業車両の運転や荷役などの作業をしているときに実際に車両が移動する領域が予想と異なる可能性があったり、運転者が死角となる領域を認識できていなかったりする可能性がある。
特許文献１には、関連する技術として、フォークリフトの後進時に運転者に注意を喚起する技術が記載されている。
特許文献１には、関連する技術として、フォークリフトの後進時に運転者に注意を喚起する技術が記載されている。
ところで、産業車両の周囲に存在する障害物の方向を運転者に報知する場合、運転者は、その音を聞くだけでは、障害物の存在する方向を知ることができない。
本発明は、上記の課題を解決することのできる制御装置、制御方法及びプログラムを提供することを目的としている。
第１の態様によれば、制御装置は、複数のカメラを含む撮影装置の撮影画像に基づいて、産業車両の周囲で複数の検出物が検出された場合に、前記複数の検出物と前記産業車両との距離または前記産業車両の移動範囲に基づいて、複数の前記検出物の中から最も注意すべき１つの検出物を特定する特定部と、前記撮影装置の撮影画像から作成された産業車両の周囲の俯瞰画像を表示するディスプレイを備える周囲表示部と、前記ディスプレイの外縁を囲うように設けられた複数のランプを有する表示部と、前記特定部で特定した１つの検出物を撮影したカメラの情報と、当該検出物の特定に用いた撮影画像に基づいて、前記複数のランプのうち、前記ディスプレイに表示された俯瞰画像における前記特定部が特定した１つの検出物が写っている領域に対応するランプを、検出された他の検出物が写っている領域に対応するランプと異なる態様で点灯または消灯させる制御部と、を備える。
第３の態様によれば、第１または第２の態様に係る制御装置において、前記制御部は、前記特定部が特定した１つの検出物を、検出された他の検出物と異なる態様で表示部に表示させる。
第４の態様によれば、第３の態様に係る制御装置において、前記制御部は、前記１つの検出物の特定に用いた撮影画像を、前記特定部で特定した１つの検出物を撮影したカメラの情報に基づいて前記表示部に表示させる、請求項１から請求項３の何れか一項に記載の制御装置。
第５の態様によれば、第４の態様に係る制御装置において、前記制御部は、前記撮影画像における当該検出物の位置と前記カメラの情報に基づいて、前記表示部に表示する前記検出物の位置を特定する。
第６の態様によれば、第１から第５の何れかの態様に係る制御装置において、前記撮影装置の撮影画像から作成された産業車両の周囲の俯瞰画像を表示するディスプレイを備える周囲表示部と、前記ディスプレイの外縁を囲うように設けられた複数のランプを有する表示部とをさらに有し、前記制御部は、前記複数のランプのうち、前記ディスプレイに表示された俯瞰画像における前記特定部が特定した１つの検出物が写っている領域に対応するランプを、検出された他の検出物が写っている領域に対応するランプと異なる態様で点灯または消灯させる。
第７の態様によれば、第１から第５の何れかの態様に係る制御装置において、前記制御部は、前記特定部が特定した１つの検出物の位置に対応するスピーカから、前記他の検出物と異なる音を出力させる。
第８の態様によれば、制御方法は、複数のカメラを含む撮影装置の撮影画像から作成された産業車両の周囲の俯瞰画像を表示するディスプレイを備える周囲表示部と、前記ディスプレイの外縁を囲うように設けられた複数のランプを有する表示部とを備える検出物通知システムの制御方法であって、前記撮影装置の撮影画像に基づいて、産業車両の周囲で複数の検出物が検出された場合に、前記複数の検出物と前記産業車両との距離または前記産業車両の移動範囲に基づいて、複数の前記検出物の中から最も注意すべき１つの検出物を特定することと、特定した前記１つの検出物を撮影したカメラの情報と、当該検出物の特定に用いた撮影画像とに基づいて、前記複数のランプのうち、前記ディスプレイに表示された俯瞰画像における、特定した前記１つの検出物が写っている領域に対応するランプを、検出された他の検出物が写っている領域に対応するランプと異なる態様で点灯または消灯させることと、を含む。
第９の態様によれば、プログラムは、複数のカメラを含む撮影装置の撮影画像から作成された産業車両の周囲の俯瞰画像を表示するディスプレイを備える周囲表示部と、前記ディスプレイの外縁を囲うように設けられた複数のランプを有する表示部とを備える検出物通知システムのコンピュータに、前記撮影装置の撮影画像に基づいて、産業車両の周囲で複数の検出物が検出された場合に、前記複数の検出物と前記産業車両との距離または前記産業車両の移動範囲に基づいて、複数の前記検出物の中から最も注意すべき１つの検出物を特定することと、特定した前記１つの検出物を撮影したカメラの情報と、当該検出物の特定に用いた撮影画像とに基づいて、前記撮影装置の撮影画像から作成された産業車両の周囲の俯瞰画像を表示するディスプレイの外縁を囲うように設けられた複数のランプのうち、前記ディスプレイに表示された俯瞰画像における、特定した前記１つの検出物が写っている領域に対応するランプを、検出された他の検出物が写っている領域に対応するランプと異なる態様で点灯または消灯させることと、を実行させる。
上記少なくとも１つの態様によれば、運転者は、産業車両の周囲に存在する障害物の方向を直感的に知ることができる。
＜第１の実施形態＞
以下、本発明の第１の実施形態による産業車両１について説明する。
産業車両１は、例えば、図１に示すようなフォークリフトである。ただし、ホイルローダーなどの建設機械、荷役装置や後輪操舵などの同様の機構を持つ車両、もしくは同様の課題を持つ車両でもよい。
産業車両１は、図１に示すように、操作装置１０、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄ、第１スピーカ３０ａ、第２スピーカ３０ｂ、第３スピーカ３０ｃ、第４スピーカ３０ｄ、表示部４０、制御装置５０を備える。
なお、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄを総称して撮影装置２０と呼ぶ。また、第１スピーカ３０ａ、第２スピーカ３０ｂ、第３スピーカ３０ｃ、第４スピーカ３０ｄを総称して通知装置３０と呼ぶ。
以下、本発明の第１の実施形態による産業車両１について説明する。
産業車両１は、例えば、図１に示すようなフォークリフトである。ただし、ホイルローダーなどの建設機械、荷役装置や後輪操舵などの同様の機構を持つ車両、もしくは同様の課題を持つ車両でもよい。
産業車両１は、図１に示すように、操作装置１０、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄ、第１スピーカ３０ａ、第２スピーカ３０ｂ、第３スピーカ３０ｃ、第４スピーカ３０ｄ、表示部４０、制御装置５０を備える。
なお、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄを総称して撮影装置２０と呼ぶ。また、第１スピーカ３０ａ、第２スピーカ３０ｂ、第３スピーカ３０ｃ、第４スピーカ３０ｄを総称して通知装置３０と呼ぶ。
操作装置１０は、運転者が移動または荷役作業を産業車両１に対して行うときに操作を受け付ける装置である。例えば、操作装置１０は、産業車両１の前進・後退を決定するシフトレバー、産業車両１の操舵角を決定するステアリング、産業車両１の速度や加速度を調整するためのアクセル及びブレーキなどである。
撮影装置２０は、複数のカメラが各々産業車両１の外周方向を撮影するように設けられており、産業車両１の全周囲を撮影する。
例えば、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄは、図１に示すように、それぞれ産業車両１の上部前方、上部右側、上部後方、上部左側に設けられる。そして、例えば、第１カメラ２０ａは、図２に示す第１撮影領域Ａ１を撮影する。同様に、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄは、それぞれ図２に示す第２撮影領域Ａ２、第３撮影領域Ａ３、第４撮影領域Ａ４を撮影する。
なお、本開示の第１実施形態では、産業車両１の上部前方、上部右側、上部後方、上部左側のそれぞれにカメラを設けたが、他の実施形態においては、カメラが異なる向きに設けてもよい。また、他の実施形態においては、複数のカメラが魚眼レンズなどを備えることで産業車両１の全周囲を撮影しつつカメラの台数を減らすことができる。また、他の実施形態に係る撮影装置２０は、カメラが回転を繰り返すことで産業車両１の全周囲を撮影するものであってもよい。また、４つのカメラで死角ができる場合は、５台以上のカメラを設けることもできる。これらのカメラが検出する検出対象には人物が含まれる。なお、ここで死角とは、産業車両１が接触する可能性のある検出対象が撮影されない領域のことである。
例えば、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄは、図１に示すように、それぞれ産業車両１の上部前方、上部右側、上部後方、上部左側に設けられる。そして、例えば、第１カメラ２０ａは、図２に示す第１撮影領域Ａ１を撮影する。同様に、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄは、それぞれ図２に示す第２撮影領域Ａ２、第３撮影領域Ａ３、第４撮影領域Ａ４を撮影する。
なお、本開示の第１実施形態では、産業車両１の上部前方、上部右側、上部後方、上部左側のそれぞれにカメラを設けたが、他の実施形態においては、カメラが異なる向きに設けてもよい。また、他の実施形態においては、複数のカメラが魚眼レンズなどを備えることで産業車両１の全周囲を撮影しつつカメラの台数を減らすことができる。また、他の実施形態に係る撮影装置２０は、カメラが回転を繰り返すことで産業車両１の全周囲を撮影するものであってもよい。また、４つのカメラで死角ができる場合は、５台以上のカメラを設けることもできる。これらのカメラが検出する検出対象には人物が含まれる。なお、ここで死角とは、産業車両１が接触する可能性のある検出対象が撮影されない領域のことである。
（通知装置３０）
通知装置３０は、制御装置５０による制御の下、音を出力する。
例えば、第１スピーカ３０ａ、第２スピーカ３０ｂ、第３スピーカ３０ｃ、第４スピーカ３０ｄは、図１に示すように、それぞれ運転席の右前方、右後方、左後方、左前方に設けられる。そして、情報処理装置４０によって、撮影装置２０が撮影した画像において検出対象が検出された場合に、その検出対象の位置に対応する方向に設けられているスピーカは、音を出力する。
こうすることで、運転者は、検出対象がどの方向に存在するかを知ることができる。
通知装置３０は、制御装置５０による制御の下、音を出力する。
例えば、第１スピーカ３０ａ、第２スピーカ３０ｂ、第３スピーカ３０ｃ、第４スピーカ３０ｄは、図１に示すように、それぞれ運転席の右前方、右後方、左後方、左前方に設けられる。そして、情報処理装置４０によって、撮影装置２０が撮影した画像において検出対象が検出された場合に、その検出対象の位置に対応する方向に設けられているスピーカは、音を出力する。
こうすることで、運転者は、検出対象がどの方向に存在するかを知ることができる。
また、制御装置５０によって、複数の検出対象が検出された場合には、複数のスピーカのうち、産業車両１の状態に基づいて決定された１つの検出対象の位置に対応する方向に設けられているスピーカは、他のスピーカから出力される音と異なる音（音色が異なる音、音量が異なる音など）を出力する。なお、産業車両１の状態とは、産業車両１と検出対象との距離、産業車両１の操舵角、及び、産業車両１の進行方向のうちの少なくとも１つを含む状態である。また、産業車両１の状態に基づいて決定された１つの検出対象とは、産業車両１と検出対象との距離、産業車両１の操舵角から推定される産業車両１の移動範囲、及び、進行方向から推定される産業車両１の移動範囲のうちの少なくとも１つに応じて決定された最も注意すべき検出対象のことである。こうすることで、運転者は、複数の検出対象のうち、より注意すべき検出対象がどの方向に存在するかを知ることができる。
（表示部４０）
表示部４０は、制御装置５０による制御の下、撮影装置２０が撮影した画像に係る情報を表示する。図３は、第１の実施形態における表示部４０の表示例を示す図である。本実施形態において表示部４０の表示エリアは、領域表示エリアＲａ、大画像表示エリアＲｂ、小画像表示エリアＲｃに分けられる。
例えば、表示部４０の小画像表示エリアＲｃには、図３に示すように、第１カメラ２０ａが撮影した第１撮影領域Ａ１の画像、第２カメラ２０ｂが撮影した第２撮影領域Ａ２の画像、第３カメラ２０ｃが撮影した第３撮影領域Ａ３の画像、第４カメラ２０ｄが撮影した第４撮影領域Ａ４の画像が小さく表示される。
また、表示部４０の領域表示エリアＲａには、検出対象が検出された領域がわかる画像が表示される。領域表示エリアＲａは、右前方の領域である第１領域Ｒ１、左前方の領域である第２領域Ｒ２、左後方の領域である第３領域Ｒ３、および右後方の領域である第４領域Ｒ４に分けられる。また領域表示エリアＲａの中心には、産業車両１の外形を示す画像が表示され、当該画像のうちカメラが設けられる位置にカメラアイコンが表示される。具体的には、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３、第４領域Ｒ４のうち、第２領域Ｒ２で検出対象が検出された場合、表示部４０は、領域表示エリアＲａにおいて、第２領域Ｒ２を、検出対象が検出されていない第１領域Ｒ１、第３領域Ｒ３、及び、第４領域Ｒ４と異なる態様で表示する。例えば、産業車両１の左前方に検出対象が検出された場合、表示部４０の表示領域のうち第２領域Ｒ２を点灯させる（第２領域Ｒ２の明度を他の領域より高くする）。また、表示部４０は、領域表示エリアＲａに表示されたカメラアイコンのうち、検出対象を撮影したカメラに対応するアイコンを他のカメラに対応するアイコンと異なる態様で表示する。
また、検出対象が複数の領域で検出された場合、表示部４０は、領域表示エリアＲａにおいて、複数の領域のうち最も注意すべき領域を、検出対象が検出された他の領域と異なる態様で表示する。具体的には、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３、第４領域Ｒ４のうち、第２領域Ｒ２及び第４領域Ｒ４で検出対象が検出され、第２領域Ｒ２が最も注意すべき領域である場合、表示部４０は、図３に示すように、領域表示エリアＲａにおいて、第２領域Ｒ２を第４領域Ｒ４と異なる態様で表示する。例えば、表示部４０は、第２領域Ｒ２を点滅させ、第４領域Ｒ４を点灯させる。また、表示部４０は、図３に示すように、最も注意すべき検出対象を撮影したカメラ２０ａが撮影した検出対象を含む画像を大画像表示エリアＲｂに拡大して表示する。
こうすることで、運転者は、検出対象がどの方向に存在するかを知ることができる。また、運転者は、検出対象が複数の領域において存在する場合、最も注意すべき検出対象がどの検出対象であるかを、直感的に知ることができる。
なお、最も注意すべき検出対象は、制御装置５０によって特定される。最も注目すべき検出対象が制御装置５０によってどのように特定されるかについては、後述する。
表示部４０は、制御装置５０による制御の下、撮影装置２０が撮影した画像に係る情報を表示する。図３は、第１の実施形態における表示部４０の表示例を示す図である。本実施形態において表示部４０の表示エリアは、領域表示エリアＲａ、大画像表示エリアＲｂ、小画像表示エリアＲｃに分けられる。
例えば、表示部４０の小画像表示エリアＲｃには、図３に示すように、第１カメラ２０ａが撮影した第１撮影領域Ａ１の画像、第２カメラ２０ｂが撮影した第２撮影領域Ａ２の画像、第３カメラ２０ｃが撮影した第３撮影領域Ａ３の画像、第４カメラ２０ｄが撮影した第４撮影領域Ａ４の画像が小さく表示される。
また、表示部４０の領域表示エリアＲａには、検出対象が検出された領域がわかる画像が表示される。領域表示エリアＲａは、右前方の領域である第１領域Ｒ１、左前方の領域である第２領域Ｒ２、左後方の領域である第３領域Ｒ３、および右後方の領域である第４領域Ｒ４に分けられる。また領域表示エリアＲａの中心には、産業車両１の外形を示す画像が表示され、当該画像のうちカメラが設けられる位置にカメラアイコンが表示される。具体的には、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３、第４領域Ｒ４のうち、第２領域Ｒ２で検出対象が検出された場合、表示部４０は、領域表示エリアＲａにおいて、第２領域Ｒ２を、検出対象が検出されていない第１領域Ｒ１、第３領域Ｒ３、及び、第４領域Ｒ４と異なる態様で表示する。例えば、産業車両１の左前方に検出対象が検出された場合、表示部４０の表示領域のうち第２領域Ｒ２を点灯させる（第２領域Ｒ２の明度を他の領域より高くする）。また、表示部４０は、領域表示エリアＲａに表示されたカメラアイコンのうち、検出対象を撮影したカメラに対応するアイコンを他のカメラに対応するアイコンと異なる態様で表示する。
また、検出対象が複数の領域で検出された場合、表示部４０は、領域表示エリアＲａにおいて、複数の領域のうち最も注意すべき領域を、検出対象が検出された他の領域と異なる態様で表示する。具体的には、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３、第４領域Ｒ４のうち、第２領域Ｒ２及び第４領域Ｒ４で検出対象が検出され、第２領域Ｒ２が最も注意すべき領域である場合、表示部４０は、図３に示すように、領域表示エリアＲａにおいて、第２領域Ｒ２を第４領域Ｒ４と異なる態様で表示する。例えば、表示部４０は、第２領域Ｒ２を点滅させ、第４領域Ｒ４を点灯させる。また、表示部４０は、図３に示すように、最も注意すべき検出対象を撮影したカメラ２０ａが撮影した検出対象を含む画像を大画像表示エリアＲｂに拡大して表示する。
こうすることで、運転者は、検出対象がどの方向に存在するかを知ることができる。また、運転者は、検出対象が複数の領域において存在する場合、最も注意すべき検出対象がどの検出対象であるかを、直感的に知ることができる。
なお、最も注意すべき検出対象は、制御装置５０によって特定される。最も注目すべき検出対象が制御装置５０によってどのように特定されるかについては、後述する。
また、例えば、表示部４０は、図３に示すように、検出されたその検出対象の画像を拡大して表示する場合、大画像表示エリアＲｂに当該画像を撮影したカメラの情報を表示してもよい。例えば、表示部４０は、拡大表示されている画像内に、第１カメラ２０ａが撮影したことを示す「前方カメラ」、第２カメラ２０ｂが撮影したことを示す「右側カメラ」、第３カメラ２０ｃが撮影したことを示す「後方カメラ」、第４カメラ２０ｄが撮影したことを示す「左側カメラ」など、どのカメラが撮影した画像であるかがわかる情報を表示するものであってもよい。こうすることで、運転者は、複数の検出対象のうちより注意すべき検出対象がどの方向に存在するかをより明確に知ることができる。
（制御装置５０）
制御装置５０は、産業車両１の状態に基づいて、通知装置３０及び表示部４０を制御する装置である。制御装置５０は、図４に示すように、画像解析部５０１、操作判定部５０２、重要検出物特定部５０３（特定部の一例）、通知制御部５０４（制御部の一例）、表示制御部５０５（制御部の一例）、記憶部５０６を備える。
制御装置５０は、産業車両１の状態に基づいて、通知装置３０及び表示部４０を制御する装置である。制御装置５０は、図４に示すように、画像解析部５０１、操作判定部５０２、重要検出物特定部５０３（特定部の一例）、通知制御部５０４（制御部の一例）、表示制御部５０５（制御部の一例）、記憶部５０６を備える。
画像解析部５０１は、撮影装置２０が撮影した画像において検出対象を検出したか否かを判定する。
例えば、画像解析部５０１は、人物を含む検出対象についての特徴を予め記憶する。そして、画像解析部５０１は、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄの順に、撮影された画像を繰り返し取得する。画像解析部５０１は、画像を取得する度に、パターン認識の技術を用いて、取得した画像において予め記憶している人物を含む検出対象が含まれていると判定した場合、取得した画像において検出対象を検出したと判断する。
例えば、画像解析部５０１は、人物を含む検出対象についての特徴を予め記憶する。そして、画像解析部５０１は、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄの順に、撮影された画像を繰り返し取得する。画像解析部５０１は、画像を取得する度に、パターン認識の技術を用いて、取得した画像において予め記憶している人物を含む検出対象が含まれていると判定した場合、取得した画像において検出対象を検出したと判断する。
画像解析部５０１は、取得した画像において検出対象を検出した場合、その画像の左右どちら側で検出対象を検出したかを特定する。
例えば、画像解析部５０１は、画像においてパターン認識技術を用いて検出対象を検出する際に、予め記憶した検出対象についての特徴との一致度が最も高い部分が、画像の左右のどちらに含まれているかによって、画像の左右どちら側で検出対象を検出したかを特定する。
例えば、画像解析部５０１は、画像においてパターン認識技術を用いて検出対象を検出する際に、予め記憶した検出対象についての特徴との一致度が最も高い部分が、画像の左右のどちらに含まれているかによって、画像の左右どちら側で検出対象を検出したかを特定する。
また、画像解析部５０１は、取得した画像において検出対象を検出した場合、検出した画像を第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄのうちのどのカメラから取得したかを特定する。
また、画像解析部５０１は、取得した画像において検出対象を検出した場合、検出した検出対象と産業車両１との間の距離を推定する。
例えば、画像解析部５０１は、検出対象の寸法に対応する画像サイズ（画素数）を記憶しておき、記憶した画像サイズと画像内で検出した検出対象のサイズ（画素数）との比から産業車両１から検出対象までの距離を推定する。
また、例えば、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄそれぞれの撮影性能、産業車両１における設置位置、及び撮影方向は、予めわかっている。そのため、画像解析部５０１は、奥行き方向の距離及び横方向の距離によって示される撮影範囲が予めわかっており、撮影された画像が産業車両１からどの程度の距離の範囲を示す画像であるかを推定することができる。つまり、画像解析部５０１は、撮影装置２０が撮影した画像において、例えば、画像の上下左右のうちの最下部から上方向への１ピクセルが示す距離（すなわち、奥行き方向の距離）と、画像の最下部中央から左右への１ピクセルが示す距離と、を推定することができる。そのため、画像解析部５０１は、検出対象が画像内のどこで検出されたか（例えば、画像の最下部の中央を基準として、上方向に何ピクセルずれ、左右方向に何ピクセルずれた位置で検出対象が検出されたか）を特定することで、産業車両１から検出対象までの距離を推定することができる。
また、例えば、撮影装置２０はステレオカメラである場合、画像解析部５０１は、ステレオカメラが撮影した各撮影タイミングの一対の撮影画像に対して三角測量技術を用いることで、産業車両１から検出対象までの距離を推定することができる。その他、距離センサを設けることで検出対象との距離を測定してもよい。
例えば、画像解析部５０１は、検出対象の寸法に対応する画像サイズ（画素数）を記憶しておき、記憶した画像サイズと画像内で検出した検出対象のサイズ（画素数）との比から産業車両１から検出対象までの距離を推定する。
また、例えば、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄそれぞれの撮影性能、産業車両１における設置位置、及び撮影方向は、予めわかっている。そのため、画像解析部５０１は、奥行き方向の距離及び横方向の距離によって示される撮影範囲が予めわかっており、撮影された画像が産業車両１からどの程度の距離の範囲を示す画像であるかを推定することができる。つまり、画像解析部５０１は、撮影装置２０が撮影した画像において、例えば、画像の上下左右のうちの最下部から上方向への１ピクセルが示す距離（すなわち、奥行き方向の距離）と、画像の最下部中央から左右への１ピクセルが示す距離と、を推定することができる。そのため、画像解析部５０１は、検出対象が画像内のどこで検出されたか（例えば、画像の最下部の中央を基準として、上方向に何ピクセルずれ、左右方向に何ピクセルずれた位置で検出対象が検出されたか）を特定することで、産業車両１から検出対象までの距離を推定することができる。
また、例えば、撮影装置２０はステレオカメラである場合、画像解析部５０１は、ステレオカメラが撮影した各撮影タイミングの一対の撮影画像に対して三角測量技術を用いることで、産業車両１から検出対象までの距離を推定することができる。その他、距離センサを設けることで検出対象との距離を測定してもよい。
そして、画像解析部５０１は、取得した画像において検出対象を検出する度に、検出結果の画像、画像の左右どちら側で検出対象を検出したかを示す検出位置情報、検出対象が含まれる画像を撮影したカメラを示す第１検出カメラ情報、及び、産業車両１から検出対象までの距離を示す距離情報を、重要検出物特定部５０３に出力する。
操作判定部５０２は、運転者によって産業車両１に対して行われている操作の内容を産業車両１に設けられた図示していないセンサ、及び、操作装置１０の状態から特定する。
例えば、操作判定部５０２は、産業車両１に設けられた図示していないセンサから現在の産業車両１の車速を取得する。また、操作判定部５０２は、操作装置１０の変化によって出力される信号を取得する、もしくは定期的に操作装置１０の状態を示す信号を取得する。ここで、操作判定部５０２が産業車両１に設けられた図示していないセンサ及び操作装置１０から取得する産業車両１の車両状態は、車速のほかにも運転者がステアリングを回転させたときの産業車両１の操舵角、運転者がシフトレバーを前進や後退に切り替えたときの産業車両１の進行方向、運転者がアクセルやブレーキを踏み込んだ状態が含まれる。
例えば、操作判定部５０２は、産業車両１に設けられた図示していないセンサから現在の産業車両１の車速を取得する。また、操作判定部５０２は、操作装置１０の変化によって出力される信号を取得する、もしくは定期的に操作装置１０の状態を示す信号を取得する。ここで、操作判定部５０２が産業車両１に設けられた図示していないセンサ及び操作装置１０から取得する産業車両１の車両状態は、車速のほかにも運転者がステアリングを回転させたときの産業車両１の操舵角、運転者がシフトレバーを前進や後退に切り替えたときの産業車両１の進行方向、運転者がアクセルやブレーキを踏み込んだ状態が含まれる。
重要検出物特定部５０３は、操作判定部５０２から操作情報を取得する。重要検出物特定部５０３は、検出結果の画像、検出位置情報、第１検出カメラ情報、及び、距離情報を画像解析部５０１から受けた場合、操作情報及び距離情報に基づいて、産業車両１の状態を特定する。
重要検出物特定部５０３は、産業車両１の状態を特定した場合、特定した時刻と産業車両１の状態とを関連付けた産業車両状態情報、及び、検出結果の画像、検出位置情報、第1カメラ情報を、例えば記憶部５０６に保存する。
重要検出物特定部５０３は、産業車両１の状態を特定した場合、特定した時刻と産業車両１の状態とを関連付けた産業車両状態情報、及び、検出結果の画像、検出位置情報、第1カメラ情報を、例えば記憶部５０６に保存する。
重要検出物特定部５０３は、現在から撮影装置２０が産業車両１の全周囲を撮影するのに必要な時間を遡った時間内（以下、「判定時間内」と記載）に、産業車両状態情報を記憶部５０６に保存しているかを判定する。すなわち、第１の実施形態に係る産業車両１はカメラを４つ備える。そのため、所定の画像取得周期ごとに１つずつカメラを選択して撮影処理を行う場合、判定時間は画像取得周期の４倍の時間となる。
例えば、重要検出物特定部５０３は、記憶部５０６において判定時間内の産業車両状態情報がない場合、判定時間内に検出対象を検出しなかったと判定する。一方、重要検出物特定部５０３は、記憶部５０６において判定時間内に他の産業車両状態情報がある場合、検出対象を検出したと判定する。つまり、産業車両１の全周囲を撮影した間に検出対象を１度検出したことを意味する。さらに、重要検出物特定部５０３は、記憶部５０６において判定時間内に他の産業車両状態情報がある場合、検出対象を複数検出したと判定する。
重要検出物特定部５０３は、判定時間内に検出対象を複数検出したと判定した場合、産業車両状態情報が示す産業車両１の状態に基づいて、全周囲における検出対象のうち最も注意すべき検出対象を特定する。
例えば、重要検出物特定部５０３は、産業車両１の進行方向に存在する検出対象のうち産業車両１に最も近い位置に存在する検出対象を、最も注意すべき検出対象と特定する。
重要検出物特定部５０３は、最も注意すべき検出対象を特定した場合、その検出対象を撮影したカメラがどのカメラであるかを示す第２検出カメラ情報とその検出位置情報を、通知制御部５０４及び表示制御部５０５に出力する。
例えば、重要検出物特定部５０３は、産業車両１の進行方向に存在する検出対象のうち産業車両１に最も近い位置に存在する検出対象を、最も注意すべき検出対象と特定する。
重要検出物特定部５０３は、最も注意すべき検出対象を特定した場合、その検出対象を撮影したカメラがどのカメラであるかを示す第２検出カメラ情報とその検出位置情報を、通知制御部５０４及び表示制御部５０５に出力する。
重要検出物特定部５０３は、判定時間内に検出対象を１度しか検出しなかったと判定した場合、検出したカメラ情報を第２検出カメラ情報として、その検出位置情報とともに通知制御部５０４及び表示制御部５０５に出力する。
通知制御部５０４は、重要検出物特定部５０３から、第２検出カメラ情報及び検出位置情報を受けたと判定した場合、第２検出カメラ情報及び検出位置情報に基づいて、検出対象の存在する方向に設けられたスピーカから音を出力させる。
具体的には、第２検出カメラ情報が第１カメラ２０ａを示し、検出位置情報が画像の右側で検出対象を検出したことを示す場合、または、第２検出カメラ情報が第２カメラ２０ｂを示し、検出位置情報が画像の左側で検出対象を検出したことを示す場合、通知制御部５０４は、第１スピーカ３０ａから音が出力されるように、通知装置３０を制御する。
また、第２検出カメラ情報が第２カメラ２０ｂを示し、検出位置情報が画像の右側で検出対象を検出したことを示す場合、または、第２検出カメラ情報が第３カメラ２０ｃを示し、検出位置情報が画像の左側で検出対象を検出したことを示す場合、通知制御部５０４は、第２スピーカ３０ｂから音が出力されるように、通知装置３０を制御する。
同様に、第２検出カメラ情報と検出位置情報に基づき、第３スピーカ３０ｃ、第４スピーカ３０ｄから音が出力されるように、通知装置３０を制御する。
また、第２検出カメラ情報が第２カメラ２０ｂを示し、検出位置情報が画像の右側で検出対象を検出したことを示す場合、または、第２検出カメラ情報が第３カメラ２０ｃを示し、検出位置情報が画像の左側で検出対象を検出したことを示す場合、通知制御部５０４は、第２スピーカ３０ｂから音が出力されるように、通知装置３０を制御する。
同様に、第２検出カメラ情報と検出位置情報に基づき、第３スピーカ３０ｃ、第４スピーカ３０ｄから音が出力されるように、通知装置３０を制御する。
通知制御部５０４は、重要検出物特定部５０３から、第２検出カメラ情報及び検出位置情報を受けたと判定し、かつ、記憶部５０６に記録された産業車両状態情報に基づき、判定時間内に複数の検出対象が検出されていた場合は、検出対象の存在する方向に設けられた複数のスピーカから音を出力させる。
ただし、出力制御部５０４は、第２検出カメラ情報と検出位置情報に基づいて、最も注意すべき検出対象に対応するスピーカから出力される音を、他のスピーカから出力される音と異なる態様で出力させるように、通知装置３０を制御する。
ただし、出力制御部５０４は、第２検出カメラ情報と検出位置情報に基づいて、最も注意すべき検出対象に対応するスピーカから出力される音を、他のスピーカから出力される音と異なる態様で出力させるように、通知装置３０を制御する。
具体的には、第２検出カメラ情報が第１カメラ２０ａを示し、検出位置情報が画像の右側で検出対象を検出したことを示す場合、または、第２検出カメラ情報が第２カメラ２０ｂを示し、検出位置情報が画像の左側で検出対象を検出したことを示す場合、通知制御部５０４は、第１スピーカ３０ａから出力される音を、他のスピーカから出力される音と異なる態様で出力させるように、通知装置３０を制御する。
また、同様に、第２検出カメラ情報と検出位置情報に基づき、第２スピーカ３０ｂ、第３スピーカ３０ｃ、第４スピーカ３０ｄを他のスピーカから出力される音と異なる態様で出力させるように、通知装置３０を制御する。
また、同様に、第２検出カメラ情報と検出位置情報に基づき、第２スピーカ３０ｂ、第３スピーカ３０ｃ、第４スピーカ３０ｄを他のスピーカから出力される音と異なる態様で出力させるように、通知装置３０を制御する。
表示制御部５０５は、撮影装置２０が撮影した画像を取得し、取得した画像を表示部４０の小画像表示エリアＲｃに表示させる。
例えば、表示制御部５０５は、画像解析部５０１が第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄの順に撮影された画像を繰り返し取得するタイミングに同期して、画像解析部５０１が取得する画像と同一の画像を、撮影装置２０から取得する。そして、表示制御部５０５は、取得した第１カメラ２０ａが撮影した第１撮影領域Ａ１の画像、第２カメラ２０ｂが撮影した第２撮影領域Ａ２の画像、第３カメラ２０ｃが撮影した第３撮影領域Ａ３の画像、第４カメラ２０ｄが撮影した第４撮影領域Ａ４の画像を、図３に示すように、小画像表示エリアＲｃに小さく表示する。
例えば、表示制御部５０５は、画像解析部５０１が第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄの順に撮影された画像を繰り返し取得するタイミングに同期して、画像解析部５０１が取得する画像と同一の画像を、撮影装置２０から取得する。そして、表示制御部５０５は、取得した第１カメラ２０ａが撮影した第１撮影領域Ａ１の画像、第２カメラ２０ｂが撮影した第２撮影領域Ａ２の画像、第３カメラ２０ｃが撮影した第３撮影領域Ａ３の画像、第４カメラ２０ｄが撮影した第４撮影領域Ａ４の画像を、図３に示すように、小画像表示エリアＲｃに小さく表示する。
また、表示制御部５０５は、重要検出物特定部５０３から第２検出カメラ情報及び検出位置情報を取得した場合、第２検出カメラ情報及び検出位置情報に基づいて、検出対象が検出された領域を、検出対象の検出されていない領域と異なる態様で表示部４０の領域表示エリアＲａに表示させる。
例えば、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３、第４領域Ｒ４のうち、第２領域Ｒ２で検出対象が検出された場合、表示制御部５０５は、第２領域Ｒ２を点灯させる等、検出対象が検出されていない第１領域Ｒ１、第３領域Ｒ３、及び、第４領域Ｒ４と異なる態様で表示部４０の領域表示エリアＲａに表示させる。
また、表示制御部５０５は、そのカメラが撮影した検出対象を含む画像を拡大して表示部４０の大画像表示エリアＲｂに表示させる。
例えば、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３、第４領域Ｒ４のうち、第２領域Ｒ２で検出対象が検出された場合、表示制御部５０５は、第２領域Ｒ２を点灯させる等、検出対象が検出されていない第１領域Ｒ１、第３領域Ｒ３、及び、第４領域Ｒ４と異なる態様で表示部４０の領域表示エリアＲａに表示させる。
また、表示制御部５０５は、そのカメラが撮影した検出対象を含む画像を拡大して表示部４０の大画像表示エリアＲｂに表示させる。
表示制御部５０５は、重要検出物特定部５０３から第２検出カメラ情報及び検出位置情報を受けたと判定し、かつ、記憶部５０６に記録された産業車両状態情報に基づき、判定時間内に複数の検出対象が検出されていた場合は、複数の領域のうち最も注意すべき領域を、検出対象が検出された他の領域と異なる態様で表示部４０の領域表示エリアＲａに表示させる。
具体的には、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３、第４領域Ｒ４のうち、第２領域Ｒ２及び第４領域Ｒ４で検出対象が検出され、第２領域Ｒ２が最も注意すべき領域である場合、表示制御部５０５は、領域表示エリアＲａにおいて第２領域Ｒ２を点滅させ、第４領域Ｒ４を点灯させる。また、表示制御部５０５は、最も注意すべき検出対象を撮影したカメラ２０ａが撮影した検出対象を含む画像を拡大して表示部４０の大画像表示エリアＲｂに表示させる。
具体的には、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３、第４領域Ｒ４のうち、第２領域Ｒ２及び第４領域Ｒ４で検出対象が検出され、第２領域Ｒ２が最も注意すべき領域である場合、表示制御部５０５は、領域表示エリアＲａにおいて第２領域Ｒ２を点滅させ、第４領域Ｒ４を点灯させる。また、表示制御部５０５は、最も注意すべき検出対象を撮影したカメラ２０ａが撮影した検出対象を含む画像を拡大して表示部４０の大画像表示エリアＲｂに表示させる。
なお、第１スピーカ３０ａの位置は、第１領域Ｒ１と対応している。第２スピーカ３０ｂの位置は、第２領域Ｒ２と対応している。第３スピーカ３０ｃの位置は、第３領域Ｒ３と対応している。第４スピーカ３０ｄの位置は、第４領域Ｒ４と対応している。そのため、表示制御部５０５は、通知制御部５０４が検出対象の位置に対応するスピーカを特定する方法と同様の方法を用いることにより、検出対象の位置に対応する第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３、第４領域Ｒ４と特定することができる。
また、例えば、表示制御部５０５は、図３に示すように、検出されたその検出対象の画像を拡大して表示部４０の大画像表示エリアＲｂに表示させる場合、大画像表示エリアＲｂ内に、第１カメラ２０ａが撮影したことを示す「前方カメラ」、第２カメラ２０ｂが撮影したことを示す「右側カメラ」、第３カメラ２０ｃが撮影したことを示す「後方カメラ」、第４カメラ２０ｄが撮影したことを示す「左側カメラ」など、どのカメラが撮影した画像であるかがわかる情報を表示部４０に表示させるものであってもよい。
記憶部５０６は、制御装置５０が行う処理に必要な種々の情報を記憶する。
例えば、記憶部５０６は、時刻と産業車両１の状態とを関連付けた産業車両状態情報、及び、検出結果の画像、検出位置情報、第１カメラ情報を記憶する。
例えば、記憶部５０６は、時刻と産業車両１の状態とを関連付けた産業車両状態情報、及び、検出結果の画像、検出位置情報、第１カメラ情報を記憶する。
（産業車両１の動作）
次に、産業車両１が行う処理について説明する。
ここでは、図５に示す制御装置５０の処理フローについて説明する。
制御装置５０は、所定の画像取得周期ごとに図５に示す処理を実行する。なお、撮影装置２０は、産業車両１の全周囲を撮影しているものとする。制御装置５０の画像解析部５０１は、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄの順に撮影する１つのカメラを特定する（ステップＳ１）。画像解析部５０１は、特定したカメラから画像を取得する（ステップＳ２）。また、表示制御部５０５は、取得した画像を撮影したカメラに応じて表示部４０の小画像表示エリアＲｂの所定の位置に表示する（ステップＳ３）。
次に、産業車両１が行う処理について説明する。
ここでは、図５に示す制御装置５０の処理フローについて説明する。
制御装置５０は、所定の画像取得周期ごとに図５に示す処理を実行する。なお、撮影装置２０は、産業車両１の全周囲を撮影しているものとする。制御装置５０の画像解析部５０１は、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄの順に撮影する１つのカメラを特定する（ステップＳ１）。画像解析部５０１は、特定したカメラから画像を取得する（ステップＳ２）。また、表示制御部５０５は、取得した画像を撮影したカメラに応じて表示部４０の小画像表示エリアＲｂの所定の位置に表示する（ステップＳ３）。
画像解析部５０１は、予め記憶している検出対象の特徴と撮影装置２０が撮影した画像とを比較し、当該画像において検出対象を検出したか否かを判定する（ステップＳ４）。
画像解析部５０１は、取得した画像において検出対象を検出しない場合（ステップＳ１においてＮＯ）、ステップＳ１１へジャンプする。
また、画像解析部５０１は、取得した画像において検出対象を検出した場合（ステップＳ１においてＹＥＳ）、その画像の左右どちら側で検出対象を検出したかを特定する（ステップＳ５）。
例えば、画像解析部５０１は、画像においてパターン認識技術を用いて検出対象を検出する際に、予め記憶した検出対象についての特徴に一致する部分が、画像の左右のどちらに含まれているかによって、画像の左右どちら側で検出対象を検出したかを特定する。
例えば、画像解析部５０１は、画像においてパターン認識技術を用いて検出対象を検出する際に、予め記憶した検出対象についての特徴に一致する部分が、画像の左右のどちらに含まれているかによって、画像の左右どちら側で検出対象を検出したかを特定する。
次に、画像解析部５０１は、ステップＳ１で特定したカメラの情報（撮影性能、産業車両１における設置位置、及び撮影方向）を取得する（ステップＳ６）。
また、画像解析部５０１は、取得した画像において検出対象を検出した場合、ステップＳ２で取得した画像に基づいて、検出した検出対象と産業車両１との間の距離を推定する（ステップＳ７）。
例えば、画像解析部５０１は、検出対象の寸法に対応する画像サイズ（画素数）を記憶しておき、記憶した画像サイズと画像内で検出した検出対象のサイズ（画素数）との比から産業車両１から検出対象までの距離を推定することができる。
例えば、画像解析部５０１は、検出対象の寸法に対応する画像サイズ（画素数）を記憶しておき、記憶した画像サイズと画像内で検出した検出対象のサイズ（画素数）との比から産業車両１から検出対象までの距離を推定することができる。
そして、画像解析部５０１は、取得した画像において検出対象を検出する度に、検出結果の画像、画像の左右どちら側で検出対象を検出したかを示す検出位置情報、検出対象が含まれる画像を撮影したカメラを示す第１検出カメラ情報、及び、産業車両１から検出対象までの距離を示す距離情報を、重要検出物特定部５０３に出力する。
重要検出物特定部５０３は、操作判定部５０２から操作情報を取得する（ステップＳ８）。操作判定部５０２は、例えば、運転者によって産業車両１に対して行われている操作の内容を産業車両１に設けられた図示していないセンサ、及び、操作装置１０の状態から特定する。
重要検出物特定部５０３は、操作情報及び距離情報に基づいて、産業車両１の状態を特定し（ステップＳ９）、特定した時刻と産業車両状態情報、及び、検出結果の画像、検出位置情報、第１カメラ情報を記憶部５０６に保存する（ステップＳ１０）。次に、重要検出物特定部５０３は、記憶部５０６の情報を基に、判定時間内に検出対象を検出したか否かを判断する（ステップＳ１１）。判定時間は、画像取得周期の４倍の時間である。つまり、重要検出物特定部５０３は、ステップＳ２で取得した画像、およびそれ以前に取得された他の３つのカメラが撮影した画像において、検出対象を検出したか否かを判断する。
重要検出物特定部５０３は、判定時間内に検出対象を複数検出した場合（ステップＳ１１において複数）、最も注意すべき検出対象を撮影したカメラを示す第２検出カメラ情報を生成する（ステップＳ１２）。重要検出物特定部５０３は、判定時間内に検出対象を１度しか検出しなかった場合（ステップＳ１１において１つ）、検出した検出対象を撮影したカメラを第２検出カメラ情報とする（ステップＳ１３）。判定時間内に検出対象を１度も検出しなかった場合（ステップＳ１１においてなし）、通知制御部５０４による通知や表示制御部５０５による表示などの報知を停止させる（ステップＳ１４）。
重要検出物特定部５０３は、第２検出カメラ情報と検出位置情報を、通知制御部５０４及び表示制御部５０５に出力する。
通知制御部５０４は、判定時間内に検出対象を複数検出した場合（ステップＳ１１において複数）、検出対象の存在する方向に設けられた複数のスピーカから音を出力する。このとき、通知制御部５０４は、最も注意すべき検出対象に対応するスピーカから出力する音の態様を、他のスピーカから出力される音と異なる態様とする（ステップＳ１５）。通知制御部５０４は、判定時間内に検出対象を１度しか検出しなかった場合（ステップＳ１１において１つ）、検出対象の存在する方向に設けられたスピーカから音を出力する（ステップＳ１６）。
表示制御部５０５は、判定時間内に検出対象を複数検出した場合（ステップＳ１１において複数）、検出対象が検出された複数の領域を、検出対象の検出されていない領域と異なる態様で表示する。このとき、表示制御部５０５は、最も注意すべき検出対象に対応する領域を、検出対象が検出された他の領域と異なる態様で表示する（ステップＳ１７）。表示制御部５０５は、判定時間内に検出対象を１度しか検出しなかった場合（ステップＳ１１において１つ）、検出対象が検出された領域を、検出対象の検出されていない領域と異なる態様で表示する出力する（ステップＳ１８）。
表示制御部５０５は、ステップＳ１２またはステップＳ１３で生成した第２検出カメラ情報が示すカメラが撮影した画像を、表示部４０の大画像表示エリアＲｂに拡大表示させる。このとき表示制御部５０５は、拡大表示されている画像内に、どのカメラが撮影した画像であるかがわかる情報を表示する（ステップＳ１９）。
（作用・効果）
以上、本発明の一実施形態による産業車両１について説明した。
本発明の一実施形態による産業車両１の制御装置５０において、重要検出物特定部５０３は、産業車両１の周囲で複数の検出対象が検出された場合に、産業車両１の状態に基づいて、複数の検出対象の中から１つを特定する。通知制御部５０４および表示制御部５０５は、特定された１つの検出対象について、検出された他の検出対象と異なる態様で報知させる。
こうすることで、運転者が音を聞くことによって検出対象が検出されたことを知り、その後、モニタの表示を見て検出対象の存在する位置を知る場合に比べて、特定の検出対象の存在する位置を直感的に知ることができる。
具体的には、検出対象が複数検出された場合に、音出力制御部５０４が最も注意すべき検出対象を、他の検出対象と異なる態様で音波出力装置３０を用いて報知することによって、運転者は、音を聞くだけで、検出対象の存在する方向を直感的に知ることができる。また、検出対象が複数検出された場合に、表示制御部５０５が最も注意すべき検出対象を、他の検出対象と異なる態様で表示部４０を用いて報知することによって、運転者は、表示を見るだけで、検出対象の存在する方向を直感的に知ることができる。
また、この場合、運転者は、最も注意すべき検出対象を直感的に知ることもできる。
以上、本発明の一実施形態による産業車両１について説明した。
本発明の一実施形態による産業車両１の制御装置５０において、重要検出物特定部５０３は、産業車両１の周囲で複数の検出対象が検出された場合に、産業車両１の状態に基づいて、複数の検出対象の中から１つを特定する。通知制御部５０４および表示制御部５０５は、特定された１つの検出対象について、検出された他の検出対象と異なる態様で報知させる。
こうすることで、運転者が音を聞くことによって検出対象が検出されたことを知り、その後、モニタの表示を見て検出対象の存在する位置を知る場合に比べて、特定の検出対象の存在する位置を直感的に知ることができる。
具体的には、検出対象が複数検出された場合に、音出力制御部５０４が最も注意すべき検出対象を、他の検出対象と異なる態様で音波出力装置３０を用いて報知することによって、運転者は、音を聞くだけで、検出対象の存在する方向を直感的に知ることができる。また、検出対象が複数検出された場合に、表示制御部５０５が最も注意すべき検出対象を、他の検出対象と異なる態様で表示部４０を用いて報知することによって、運転者は、表示を見るだけで、検出対象の存在する方向を直感的に知ることができる。
また、この場合、運転者は、最も注意すべき検出対象を直感的に知ることもできる。
＜第２の実施形態＞
第１の実施形態に係る産業車両１は、撮影画像の表示と、検出対象が検出された領域の通知とを１つのコンポーネントによって行う。これに対し、第２の実施形態に係る産業車両は、撮影画像の表示を行うコンポーネントである周囲モニタ装置と、検出対象が検出された領域の通知を行うコンポーネントである検出物通知装置とを別個に備える。これは、ユーザによっては、周囲モニタ装置のみの装着を希望する場合があることに加えて、俯瞰画像を作成するための画像領域が検出を行うための画像領域より狭い場合は、検出した検出対象を必ずしも俯瞰画像内に表示することができないためである。また、俯瞰画像内に表示が可能な場合でも、俯瞰画像を作成する際に検出対象の形状が大きく変化してしまうなど、適切に検出ができない、もしくは適切な表示ができないことがあるためである。
第１の実施形態に係る産業車両１は、撮影画像の表示と、検出対象が検出された領域の通知とを１つのコンポーネントによって行う。これに対し、第２の実施形態に係る産業車両は、撮影画像の表示を行うコンポーネントである周囲モニタ装置と、検出対象が検出された領域の通知を行うコンポーネントである検出物通知装置とを別個に備える。これは、ユーザによっては、周囲モニタ装置のみの装着を希望する場合があることに加えて、俯瞰画像を作成するための画像領域が検出を行うための画像領域より狭い場合は、検出した検出対象を必ずしも俯瞰画像内に表示することができないためである。また、俯瞰画像内に表示が可能な場合でも、俯瞰画像を作成する際に検出対象の形状が大きく変化してしまうなど、適切に検出ができない、もしくは適切な表示ができないことがあるためである。
図６は、第２の実施形態に係る検出物通知システム２００の外観図である。第２の実施形態に係る産業車両１は、第１の実施形態に係る第１スピーカ３０ａ、第２スピーカ３０ｂ、第３スピーカ３０ｃ、第４スピーカ３０ｄ、表示部４０及び制御装置５０に代えて、図６に示す検出物通知システム２００を備える。
検出物通知システム２００は、周囲モニタ装置２１０と検出物通知装置２２０とを備える。
周囲モニタ装置２１０は、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄが撮影した画像を俯瞰画像に変換して表示する。俯瞰画像の中心には、産業車両１を表す画像が表示される。
検出物通知装置２２０は、周囲モニタ装置２１０を上から覆う筐体として構成される。検出物通知装置２２０は、産業車両１の近傍に存在する検出対象の存在を通知する。
周囲モニタ装置２１０と検出物通知装置２２０は、それぞれ別個に動作する。つまり、周囲モニタ装置２１０は検出物通知装置２２０を制御せず、検出物通知装置２２０は周囲モニタ装置２１０を制御しない。
検出物通知システム２００は、周囲モニタ装置２１０と検出物通知装置２２０とを備える。
周囲モニタ装置２１０は、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄが撮影した画像を俯瞰画像に変換して表示する。俯瞰画像の中心には、産業車両１を表す画像が表示される。
検出物通知装置２２０は、周囲モニタ装置２１０を上から覆う筐体として構成される。検出物通知装置２２０は、産業車両１の近傍に存在する検出対象の存在を通知する。
周囲モニタ装置２１０と検出物通知装置２２０は、それぞれ別個に動作する。つまり、周囲モニタ装置２１０は検出物通知装置２２０を制御せず、検出物通知装置２２０は周囲モニタ装置２１０を制御しない。
（周囲モニタ装置２１０）
図７は、第２実施形態に係る周囲モニタ装置２１０に表示される画像の例である。周囲モニタ装置２１０は、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄが撮影した画像を加工することで生成された俯瞰画像Ｐ１と、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、または第４カメラ２０ｄのいずれかが撮影した原画像Ｐ２とを表示する。原画像Ｐ２は、撮影されたカメラに応じて、回転または反転して表示されてよい。例えば、周囲モニタ装置２１０は、後方を撮影する第３カメラ２０ａが撮影した原画像Ｐ２を、上下反転させて表示することで、利用者は、当該原画像Ｐ２が後方を写していることを容易に理解することができる。
なお、本実施形態において、各カメラが撮影した画像において、検出に用いる部分と、表示に用いる部分とは異なっていてもよい。例えば、検出物通知装置２２０が画像の全領域を用いて検知するのに対し、周囲モニタ装置２１０は、画像の一部をトリミングして俯瞰画像Ｐ１を生成してもよい。
図７は、第２実施形態に係る周囲モニタ装置２１０に表示される画像の例である。周囲モニタ装置２１０は、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄが撮影した画像を加工することで生成された俯瞰画像Ｐ１と、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、または第４カメラ２０ｄのいずれかが撮影した原画像Ｐ２とを表示する。原画像Ｐ２は、撮影されたカメラに応じて、回転または反転して表示されてよい。例えば、周囲モニタ装置２１０は、後方を撮影する第３カメラ２０ａが撮影した原画像Ｐ２を、上下反転させて表示することで、利用者は、当該原画像Ｐ２が後方を写していることを容易に理解することができる。
なお、本実施形態において、各カメラが撮影した画像において、検出に用いる部分と、表示に用いる部分とは異なっていてもよい。例えば、検出物通知装置２２０が画像の全領域を用いて検知するのに対し、周囲モニタ装置２１０は、画像の一部をトリミングして俯瞰画像Ｐ１を生成してもよい。
（検出物通知装置２２０）
検出物通知装置２２０は、筐体部２２１、第１領域ランプ２２２ａ、第２領域ランプ２２２ｂ、第３領域ランプ２２２ｃ、第４領域ランプ２２２ｄ、状態通知ランプ２２３、ブザー２２４、制御装置２２５を備える。第１領域ランプ２２２ａ、第２領域ランプ２２２ｂ、第３領域ランプ２２２ｃ、第４領域ランプ２２２ｄ、および状態通知ランプ２２３は、表示部の一例である。
検出物通知装置２２０は、筐体部２２１、第１領域ランプ２２２ａ、第２領域ランプ２２２ｂ、第３領域ランプ２２２ｃ、第４領域ランプ２２２ｄ、状態通知ランプ２２３、ブザー２２４、制御装置２２５を備える。第１領域ランプ２２２ａ、第２領域ランプ２２２ｂ、第３領域ランプ２２２ｃ、第４領域ランプ２２２ｄ、および状態通知ランプ２２３は、表示部の一例である。
筐体部２２１は、直方体の筐体であって、周囲モニタ装置２１０を上から覆うように設けられる。筐体部２２１の前面のうち周囲モニタ装置２１０のディスプレイに対応する部分には、矩形の開口が設けられる。
第１領域ランプ２２２ａは、Ｌ字型のランプである。第１領域ランプ２２２ａは、筐体部２２１の開口の右上部分を囲うように設けられる。
第２領域ランプ２２２ｂは、Ｌ字型のランプである。第２領域ランプ２２２ｂは、筐体部２２１の開口の左上部分を囲うように設けられる。
第３領域ランプ２２２ｃは、Ｌ字型のランプである。第３領域ランプ２２２ｃは、筐体部２２１の開口の左下部分を囲うように設けられる。
第４領域ランプ２２２ｄは、Ｌ字型のランプである。第４領域ランプ２２２ｄは、筐体部２２１の開口の右下部分を囲うように設けられる。
状態通知ランプ２２３は、第１領域ランプ２２２ａと第２領域ランプ２２２ｂとの間に設けられる。状態通知ランプ２２３は、検出物通知装置２２０の状態を示す。例えば、検出物通知装置２２０が正常に動作している場合、状態通知ランプ２２３は緑色に点灯する。また、検出物通知装置２２０の検出対象の検出機能が正常に動作していない場合、状態通知ランプ２２３は赤色に点灯する。また、検出物通知装置２２０が動作していない場合、状態通知ランプ２２３は消灯する。
ブザー２２４は、制御装置２２５によって検出対象が検出されたときに、警告音を発する。
第１領域ランプ２２２ａ、第２領域ランプ２２２ｂ、第３領域ランプ２２２ｃ、第４領域ランプ２２２ｄ、および状態通知ランプ２２３は、例えばＬＥＤなどによって構成される。
第１領域ランプ２２２ａは、Ｌ字型のランプである。第１領域ランプ２２２ａは、筐体部２２１の開口の右上部分を囲うように設けられる。
第２領域ランプ２２２ｂは、Ｌ字型のランプである。第２領域ランプ２２２ｂは、筐体部２２１の開口の左上部分を囲うように設けられる。
第３領域ランプ２２２ｃは、Ｌ字型のランプである。第３領域ランプ２２２ｃは、筐体部２２１の開口の左下部分を囲うように設けられる。
第４領域ランプ２２２ｄは、Ｌ字型のランプである。第４領域ランプ２２２ｄは、筐体部２２１の開口の右下部分を囲うように設けられる。
状態通知ランプ２２３は、第１領域ランプ２２２ａと第２領域ランプ２２２ｂとの間に設けられる。状態通知ランプ２２３は、検出物通知装置２２０の状態を示す。例えば、検出物通知装置２２０が正常に動作している場合、状態通知ランプ２２３は緑色に点灯する。また、検出物通知装置２２０の検出対象の検出機能が正常に動作していない場合、状態通知ランプ２２３は赤色に点灯する。また、検出物通知装置２２０が動作していない場合、状態通知ランプ２２３は消灯する。
ブザー２２４は、制御装置２２５によって検出対象が検出されたときに、警告音を発する。
第１領域ランプ２２２ａ、第２領域ランプ２２２ｂ、第３領域ランプ２２２ｃ、第４領域ランプ２２２ｄ、および状態通知ランプ２２３は、例えばＬＥＤなどによって構成される。
制御装置２２５は、筐体部２２１の内部に設けられる。制御装置２２５は、第１領域ランプ２２２ａ、第２領域ランプ２２２ｂ、第３領域ランプ２２２ｃ、第４領域ランプ２２２ｄ、状態通知ランプ２２３、およびブザー２２４を制御する。
第２の実施形態に係る制御装置２２５は、第１の実施形態に係る制御装置５０と同様の構成を有する。すなわち、制御装置２２５は、画像解析部５０１、操作判定部５０２、重要検出物特定部５０３、通知制御部５０４、表示制御部５０５、記憶部５０６を備える。他方、第２の実施形態に係る制御装置２２５は、第１の実施形態の制御装置５０と挙動が異なる。
第２の実施形態に係る制御装置２２５は、第１の実施形態に係る制御装置５０と同様の構成を有する。すなわち、制御装置２２５は、画像解析部５０１、操作判定部５０２、重要検出物特定部５０３、通知制御部５０４、表示制御部５０５、記憶部５０６を備える。他方、第２の実施形態に係る制御装置２２５は、第１の実施形態の制御装置５０と挙動が異なる。
（検出物通知装置２２０の動作）
制御装置２２５が起動すると、表示制御部５０５は、状態通知ランプ２２３を緑色に点灯させる。そして、制御装置２２５は、判定時間ごとに、図８に示す処理を実行する。
まず、制御装置２２５の画像解析部５０１は、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄを画像取得周期ごとに１つずつ選択し（ステップＳ１０１）、選択したカメラについて以下のステップＳ１０２からステップＳ１０５の処理を行う。
制御装置２２５が起動すると、表示制御部５０５は、状態通知ランプ２２３を緑色に点灯させる。そして、制御装置２２５は、判定時間ごとに、図８に示す処理を実行する。
まず、制御装置２２５の画像解析部５０１は、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄを画像取得周期ごとに１つずつ選択し（ステップＳ１０１）、選択したカメラについて以下のステップＳ１０２からステップＳ１０５の処理を行う。
画像解析部５０１は、ステップＳ１０１で選択したカメラが撮影した画像を取得する（ステップＳ１０２）。画像解析部５０１は、取得した画像を解析し、当該画像に検出対象が写っているか否かを判定する（ステップＳ１０３）。すなわち画像解析部５０１は、取得した画像から検出対象が検出されたか否かを判定する。画像から検出対象が検出された場合（ステップＳ１０３：ＹＥＳ）、画像解析部５０１は、画像における検出対象が写っている位置に基づいて、検出対象が検出された領域を特定する（ステップＳ１０４）。また画像解析部５０１は、取得した画像とステップＳ１０１で選択したカメラの情報とに基づいて、産業車両１と検出対象との距離を推定する（ステップＳ１０５）。
画像解析部５０１は、各カメラの撮影画像について検出対象の検出処理を行うと、すべての撮影画像について画像解析が正常に完了したか否かを判定する（ステップＳ１０６）。少なくとも１つの撮影画像について画像解析が異常終了した場合（ステップＳ１０６においてＮＯ）、表示制御部５０５は、表示制御部５０５は、状態通知ランプ２２３を赤色に点灯させ（ステップＳ１０７）、処理を終了する。これにより、利用者は、第１領域ランプ２２２ａ、第２領域ランプ２２２ｂ、第３領域ランプ２２２ｃ、第４領域ランプ２２２ｄのいずれもが点灯していない状態であっても、これが検出対象が存在しないためではなく、検出機能が正常に働いていないためであると認識することができる。
すべての撮影画像について画像解析が正常に完了した場合（ステップＳ１０６においてＹＥＳ）、画像解析部５０１は、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３、および第４領域Ｒ４の少なくとも１つにおいて検出対象が検出されたか否かを判定する（ステップＳ１０８）。
第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３、および第４領域Ｒ４のいずれにも検出対象が検出されなかった場合（ステップＳ１０８においてＮＯ）、表示制御部５０５は、第１領域ランプ２２２ａ、第２領域ランプ２２２ｂ、第３領域ランプ２２２ｃ、第４領域ランプ２２２ｄのすべてを消灯させる。また、通知制御部５０４は、ブザー２２４の発音を停止させ（ステップＳ１０９）、処理を終了する。
第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３、および第４領域Ｒ４のいずれにも検出対象が検出されなかった場合（ステップＳ１０８においてＮＯ）、表示制御部５０５は、第１領域ランプ２２２ａ、第２領域ランプ２２２ｂ、第３領域ランプ２２２ｃ、第４領域ランプ２２２ｄのすべてを消灯させる。また、通知制御部５０４は、ブザー２２４の発音を停止させ（ステップＳ１０９）、処理を終了する。
第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３、および第４領域Ｒ４の少なくとも１つにおいて検出対象が検出された場合（ステップＳ１０８においてＹＥＳ）、重要検出物特定部５０３は、検出対象が検出された領域のうち、ステップＳ１０５で特定された距離が最も短いものを、最も注意すべき検出対象が検出された領域に特定する（ステップＳ１１０）。
表示制御部５０５は、ステップＳ１１０で特定した領域を第１の態様で点灯させ、検出対象が検出された他の領域を第２の態様で点灯させる（ステップＳ１１１）。例えば、表示制御部５０５は、ステップＳ１１０で特定した領域を相対的に高い明度で点灯させ、検出対象が検出された他の領域を相対的に低い明度で点灯させてよい。また例えば、表示制御部５０５は、ステップＳ１１０で特定した領域を赤色に点灯させ、検出対象が検出された他の領域を黄色に点灯させてよい。また例えば、表示制御部５０５は、ステップＳ１１０で特定した領域を点灯させ、検出対象が検出された他の領域を点滅させてもよい。
画像解析部５０１は、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３、および第４領域Ｒ４のうち、検出対象が検出されない状態から検出された状態に変化したものが存在するか否かを判定する（ステップＳ１１２）。検出対象が検出されない状態から検出された状態に変化した領域が少なくとも１つ存在する場合（ステップＳ１１２においてＹＥＳ）、通知制御部５０４は、ブザー２２４が既に警告音を発しているか否かを判定する（ステップＳ１１３）。
ブザー２２４が警告音を発していない場合（ステップＳ１１３においてＮＯ）、通知制御部５０４は、ブザー２２４に警告音を発音させ、ブザー鳴動時間の計測を開始し（ステップＳ１１４）、処理を終了する。
他方、ブザー２２４が既に警告音を発している場合（ステップＳ１１３においてＹＥＳ）、通知制御部５０４は、ブザー鳴動時間をリセットし、再度計測を開始し（ステップＳ１１５）、処理を終了する。
他方、ブザー２２４が既に警告音を発している場合（ステップＳ１１３においてＹＥＳ）、通知制御部５０４は、ブザー鳴動時間をリセットし、再度計測を開始し（ステップＳ１１５）、処理を終了する。
検出対象が検出されない状態から検出された状態に変化した領域が存在しない場合（ステップＳ１１２においてＮＯ）、通知制御部５０４は、ブザー２２４が既に警告音を発しているか否かを判定する（ステップＳ１１６）。
ブザー２２４が警告音を発していない場合（ステップＳ１１６においてＮＯ）、通知制御部５０４は、ブザー２２４が停止している状態を継続し、処理を終了する。
他方、ブザー２２４が既に警告音を発している場合（ステップＳ１１６においてＹＥＳ）、通知制御部５０４は、ブザー鳴動時間が所定のブザー時間以上であるか否かを判定する（ステップＳ１１７）。ブザー鳴動時間が所定のブザー時間未満である場合（ステップＳ１１７においてＮＯ）、通知制御部５０４は、ブザー２２４による警告音の発音を継続させ（ステップＳ１１８）、処理を終了する。
他方、ブザー鳴動時間が所定のブザー時間以上である場合（ステップＳ１１７においてＹＥＳ）、通知制御部５０４は、ブザー２２４を停止させ（ステップＳ１１９）、処理を終了する。これにより、通知制御部５０４は、一の領域に検出対象が検出され続けている間、ブザーが鳴りっぱなしになることを防ぎつつ、新たな検出対象が検出された場合に、再度ブザーを鳴らすことができる。
他方、ブザー２２４が既に警告音を発している場合（ステップＳ１１６においてＹＥＳ）、通知制御部５０４は、ブザー鳴動時間が所定のブザー時間以上であるか否かを判定する（ステップＳ１１７）。ブザー鳴動時間が所定のブザー時間未満である場合（ステップＳ１１７においてＮＯ）、通知制御部５０４は、ブザー２２４による警告音の発音を継続させ（ステップＳ１１８）、処理を終了する。
他方、ブザー鳴動時間が所定のブザー時間以上である場合（ステップＳ１１７においてＹＥＳ）、通知制御部５０４は、ブザー２２４を停止させ（ステップＳ１１９）、処理を終了する。これにより、通知制御部５０４は、一の領域に検出対象が検出され続けている間、ブザーが鳴りっぱなしになることを防ぎつつ、新たな検出対象が検出された場合に、再度ブザーを鳴らすことができる。
（作用・効果）
このように、第２の実施形態に係る検出物通知システム２００において、検出物通知装置２２０のランプ２２２が周囲モニタ装置２１０の外周に沿って設けられている。これにより、検出物通知装置２２０は、周囲モニタ装置２１０を制御することができない場合にも、適切に検出対象の方向を表示することができる。
このように、第２の実施形態に係る検出物通知システム２００において、検出物通知装置２２０のランプ２２２が周囲モニタ装置２１０の外周に沿って設けられている。これにより、検出物通知装置２２０は、周囲モニタ装置２１０を制御することができない場合にも、適切に検出対象の方向を表示することができる。
＜第３の実施形態＞
第１の実施形態に係る産業車両１は、４つのカメラを備える。これに対し、第３の実施形態に係る産業車両１は、８つのカメラを備える。図９は、第３の実施形態に係る産業車両のカメラ配置を示す図である。
第３の実施形態に係る産業車両１は、左斜め前方を撮影するカメラ２０ｅ、右斜め前方を撮影するカメラ２０ｆ、車体前部から左方向を撮影するカメラ２０ｇ、車体前部から右方向を撮影するカメラ２０ｈ、車体後部から左方向を撮影するカメラ２０ｉ、車体後部から右方向を撮影するカメラ２０ｊ、左斜め後方を撮影するカメラ２０ｋ、右斜め後方を撮影するカメラ２０ｌを備える。
第１の実施形態に係る産業車両１は、４つのカメラを備える。これに対し、第３の実施形態に係る産業車両１は、８つのカメラを備える。図９は、第３の実施形態に係る産業車両のカメラ配置を示す図である。
第３の実施形態に係る産業車両１は、左斜め前方を撮影するカメラ２０ｅ、右斜め前方を撮影するカメラ２０ｆ、車体前部から左方向を撮影するカメラ２０ｇ、車体前部から右方向を撮影するカメラ２０ｈ、車体後部から左方向を撮影するカメラ２０ｉ、車体後部から右方向を撮影するカメラ２０ｊ、左斜め後方を撮影するカメラ２０ｋ、右斜め後方を撮影するカメラ２０ｌを備える。
第３の実施形態に係る各カメラの撮影範囲は、複数の領域にまたがる。一方で、画像における２つの領域の境界線は、必ずしも画像の中心線ではない。そのため、第３の実施形態に係る制御装置５０は、カメラごとに領域を区切る境界線を記憶しておき、検出対象が当該境界線の左側に写っているか右側に写っているかを判定することで、検出対象が存在する領域を特定する。なお、境界線は画像のＹ軸に平行に設定されてもよいし、傾きをもって設定されてもよい。また境界線は直線で合ってもよいし曲線であってもよい。
＜他の実施形態＞
なお、本発明の一実施形態では、撮影装置２０は、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄを備えるものとして説明した。しかしながら、本発明の別の実施形態では、撮影装置２０は、産業車両１の全周囲を大きな死角を作ることなく撮影することができればよく、撮影装置２０に含まれるカメラの台数及びカメラが設けられる位置は限定されない。
また、産業車両１の大きさやカメラの撮影可能な範囲によっては、本発明の一実施形態で例示した４台のカメラでは死角が大きすぎる可能性がある。このような場合には、例えば、撮影装置２０は、５台以上のカメラを備え、死角をより小さくするものであってもよい。
なお、本発明の一実施形態では、撮影装置２０は、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄを備えるものとして説明した。しかしながら、本発明の別の実施形態では、撮影装置２０は、産業車両１の全周囲を大きな死角を作ることなく撮影することができればよく、撮影装置２０に含まれるカメラの台数及びカメラが設けられる位置は限定されない。
また、産業車両１の大きさやカメラの撮影可能な範囲によっては、本発明の一実施形態で例示した４台のカメラでは死角が大きすぎる可能性がある。このような場合には、例えば、撮影装置２０は、５台以上のカメラを備え、死角をより小さくするものであってもよい。
なお、本発明の一実施形態では、音波出力装置３０は、第１スピーカ３０ａ、第２スピーカ３０ｂ、第３スピーカ３０ｃ、第４スピーカ３０ｄを備えるものとして説明した。しかしながら、本発明の別の実施形態では、音波出力装置３０は、検出対象が検出された場合に、産業車両１を基準としたその検出対象が存在する位置に対応する方向または領域から音が出力されるスピーカであれば、スピーカの台数及びスピーカが設けられる位置は限定されない。
なお、本発明の一実施形態では、表示制御部５０５は、撮影装置２０のそれぞれが撮影した画像を小さく表示するものとして説明した。しかしながら、本発明の別の実施形態では、表示制御部５０５は、検出対象を検出した場合に、その検出対象を含む画像のみを拡大して表示させるものであってもよい。
なお、本発明の一実施形態では、表示制御部５０５は、産業車両１の後方を撮影した画像をそのまま表示部４０に表示するものとして説明した。しかしながら、本発明の別の実施形態では、表示制御部５０５は、産業車両１の後方を撮影した画像を左右反転させて表示部４０に表示させる（すなわち、バックモニタと同様に表示部に表示させる）ものであってもよい。また、本発明の別の実施形態では、表示制御部５０５は、産業車両１の周囲を撮影した画像を加工して（車両の）俯瞰映像を生成し、生成した俯瞰映像を表示部４０に表示させるものであってもよい。
なお、本発明の一実施形態では、画像解析部５０１は、取得した画像全体について検出対象を検出するものとして説明した。しかしながら、本発明の別の実施形態では、画像解析部５０１は、取得した画像の一部（例えば、画像の下半分、つまり、撮影領域のうち産業車両１に近い半分の領域）についてのみ検出対象を検出するものであってもよい。つまり、本発明の別の実施形態では、画像解析部５０１は、取得した画像の一部以外の領域に検出対象が写っていても検出対象と判断しないものであってもよい。そして、この場合、通知制御部５０４は、画像において検出対象が写っていて検出対象と判断されないため、スピーカから音を出力させる制御を行うことになる。
なお、本発明の実施形態における処理は、適切な処理が行われる範囲において、処理の順番が入れ替わってもよい。
本発明の実施形態における記憶部５０６、その他の記憶装置のそれぞれは、適切な情報の送受信が行われる範囲においてどこに備えられていてもよい。また、記憶部５０６、その他の記憶装置のそれぞれは、適切な情報の送受信が行われる範囲において複数存在しデータを分散して記憶していてもよい。
本発明の実施形態について説明したが、上述の制御装置５０、その他の制御装置は内部に、コンピュータシステムを有していてもよい。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。コンピュータの具体例を以下に示す。
図１０は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ５は、図１０に示すように、ＣＰＵ６、メインメモリ７、ストレージ８、インターフェース９を備える。
例えば、上述の制御装置５０、その他の制御装置のそれぞれは、コンピュータ５に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ８に記憶されている。ＣＰＵ６は、プログラムをストレージ８から読み出してメインメモリ７に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ６は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ７に確保する。
図１０は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ５は、図１０に示すように、ＣＰＵ６、メインメモリ７、ストレージ８、インターフェース９を備える。
例えば、上述の制御装置５０、その他の制御装置のそれぞれは、コンピュータ５に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ８に記憶されている。ＣＰＵ６は、プログラムをストレージ８から読み出してメインメモリ７に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ６は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ７に確保する。
ストレージ８の例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、半導体メモリ等が挙げられる。ストレージ８は、コンピュータ５のバスに直接接続された内部メディアであってもよいし、インターフェース９または通信回線を介してコンピュータ５に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ５に配信される場合、配信を受けたコンピュータ５が当該プログラムをメインメモリ７に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ８は、一時的でない有形の記憶媒体である。
また、上記プログラムは、前述した機能の一部を実現してもよい。さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるファイル、いわゆる差分ファイル（差分プログラム）であってもよい。
なお、他の実施形態においては、制御装置１２７は、上記構成に加えて、または上記構成に代えてＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などのカスタムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及びこれらに類する処理装置を備えてもよい。ＰＬＤの例としては、ＰＡＬ（Ｐｒｏｇｒａｍｍａｂｌｅ Ａｒｒａｙ Ｌｏｇｉｃ）、ＧＡＬ（Ｇｅｎｅｒｉｃ Ａｒｒａｙ Ｌｏｇｉｃ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。
なお、他の実施形態においては、制御装置１２７は、上記構成に加えて、または上記構成に代えてＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などのカスタムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及びこれらに類する処理装置を備えてもよい。ＰＬＤの例としては、ＰＡＬ（Ｐｒｏｇｒａｍｍａｂｌｅ Ａｒｒａｙ Ｌｏｇｉｃ）、ＧＡＬ（Ｇｅｎｅｒｉｃ Ａｒｒａｙ Ｌｏｇｉｃ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例であり、発明の範囲を限定しない。これらの実施形態は、発明の要旨を逸脱しない範囲で、種々の追加、省略、置き換え、変更を行ってよい。
１・・・産業車両
５・・・コンピュータ
６・・・ＣＰＵ
７・・・メインメモリ
８・・・ストレージ
９・・・インターフェース
１０・・・操作装置
２０・・・撮影装置
２０ａ・・・第１カメラ
２０ｂ・・・第２カメラ
２０ｃ・・・第３カメラ
２０ｄ・・・第４カメラ
３０・・・音波出力装置
３０ａ・・・第１スピーカ
３０ｂ・・・第２スピーカ
３０ｃ・・・第３スピーカ
３０ｄ・・・第４スピーカ
４０・・・表示部
５０・・・制御装置
２００・・・検出物通知システム
２１０・・・周囲モニタ装置
２２０・・・検出物通知装置
２２１・・・筐体部
２２２ａ・・・第１領域ランプ
２２２ｂ・・・第２領域ランプ
２２２ｃ・・・第３領域ランプ
２２２ｄ・・・第４領域ランプ
２２３・・・状態通知ランプ
２２４・・・ブザー
２２５・・・制御装置
５０１・・・画像解析部
５０２・・・操作判定部
５０３・・・重要検出物特定部
５０４・・・通知制御部
５０５・・・表示制御部
５０６・・・記憶部
５・・・コンピュータ
６・・・ＣＰＵ
７・・・メインメモリ
８・・・ストレージ
９・・・インターフェース
１０・・・操作装置
２０・・・撮影装置
２０ａ・・・第１カメラ
２０ｂ・・・第２カメラ
２０ｃ・・・第３カメラ
２０ｄ・・・第４カメラ
３０・・・音波出力装置
３０ａ・・・第１スピーカ
３０ｂ・・・第２スピーカ
３０ｃ・・・第３スピーカ
３０ｄ・・・第４スピーカ
４０・・・表示部
５０・・・制御装置
２００・・・検出物通知システム
２１０・・・周囲モニタ装置
２２０・・・検出物通知装置
２２１・・・筐体部
２２２ａ・・・第１領域ランプ
２２２ｂ・・・第２領域ランプ
２２２ｃ・・・第３領域ランプ
２２２ｄ・・・第４領域ランプ
２２３・・・状態通知ランプ
２２４・・・ブザー
２２５・・・制御装置
５０１・・・画像解析部
５０２・・・操作判定部
５０３・・・重要検出物特定部
５０４・・・通知制御部
５０５・・・表示制御部
５０６・・・記憶部
Claims (7)
- 複数のカメラを含む撮影装置の撮影画像に基づいて、産業車両の周囲で複数の検出物が検出された場合に、前記複数の検出物と前記産業車両との距離または前記産業車両の移動範囲に基づいて、複数の前記検出物の中から最も注意すべき１つの検出物を特定する特定部と、
前記撮影装置の撮影画像から作成された産業車両の周囲の俯瞰画像を表示するディスプレイを備える周囲表示部と、
前記ディスプレイの外縁を囲うように設けられた複数のランプを有する表示部と、
前記特定部で特定した１つの検出物を撮影したカメラの情報と、当該検出物の特定に用いた撮影画像に基づいて、前記複数のランプのうち、前記ディスプレイに表示された俯瞰画像における前記特定部が特定した１つの検出物が写っている領域に対応するランプを、検出された他の検出物が写っている領域に対応するランプと異なる態様で点灯または消灯させる制御部と、
を備える制御装置。 - 前記制御部は、
前記特定部が特定した１つの検出物を、検出された他の検出物と異なる態様で表示部に表示させる、
請求項１に記載の制御装置。 - 前記制御部は、
前記１つの検出物の特定に用いた撮影画像を、前記特定部で特定した１つの検出物を撮影したカメラの情報に基づいて表示部に表示させる、
請求項１または請求項２に記載の制御装置。 - 前記制御部は、
前記撮影画像における当該検出物の位置と前記カメラの情報に基づいて、前記表示部に表示する前記検出物の位置を特定する、
請求項３に記載の制御装置。 - 前記制御部は、
前記特定部が特定した１つの検出物の位置に対応するスピーカから、前記他の検出物と異なる音を出力させる、
請求項１から請求項４の何れか一項に記載の制御装置。 - 複数のカメラを含む撮影装置の撮影画像から作成された産業車両の周囲の俯瞰画像を表示するディスプレイを備える周囲表示部と、
前記ディスプレイの外縁を囲うように設けられた複数のランプを有する表示部と
を備える検出物通知システムの制御方法であって、
前記撮影装置の撮影画像に基づいて、産業車両の周囲で複数の検出物が検出された場合に、前記複数の検出物と前記産業車両との距離または前記産業車両の移動範囲に基づいて、複数の前記検出物の中から最も注意すべき１つの検出物を特定することと、
特定した前記１つの検出物を撮影したカメラの情報と、当該検出物の特定に用いた撮影画像とに基づいて、前記複数のランプのうち、前記ディスプレイに表示された俯瞰画像における、特定した前記１つの検出物が写っている領域に対応するランプを、検出された他の検出物が写っている領域に対応するランプと異なる態様で点灯または消灯させることと、
を含む制御方法。 - 複数のカメラを含む撮影装置の撮影画像から作成された産業車両の周囲の俯瞰画像を表示するディスプレイを備える周囲表示部と、
前記ディスプレイの外縁を囲うように設けられた複数のランプを有する表示部と
を備える検出物通知システムのコンピュータに、
前記撮影装置の撮影画像に基づいて、産業車両の周囲で複数の検出物が検出された場合に、前記複数の検出物と前記産業車両との距離または前記産業車両の移動範囲に基づいて、複数の前記検出物の中から最も注意すべき１つの検出物を特定することと、
特定した前記１つの検出物を撮影したカメラの情報と、当該検出物の特定に用いた撮影画像とに基づいて、前記撮影装置の撮影画像から作成された産業車両の周囲の俯瞰画像を表示するディスプレイの外縁を囲うように設けられた複数のランプのうち、前記ディスプレイに表示された俯瞰画像における、特定した前記１つの検出物が写っている領域に対応するランプを、検出された他の検出物が写っている領域に対応するランプと異なる態様で点灯または消灯させることと、
を実行させるプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010251651.3A CN111807272B (zh) | 2019-04-11 | 2020-04-01 | 控制装置、控制方法以及记录介质 |
| EP20168787.8A EP3722522B1 (en) | 2019-04-11 | 2020-04-08 | Control device, control method, and program |
| US16/843,935 US11544937B2 (en) | 2019-04-11 | 2020-04-09 | Control device, control method, and computer readable medium |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019075677 | 2019-04-11 | ||
| JP2019075677 | 2019-04-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020172396A JP2020172396A (ja) | 2020-10-22 |
| JP7016900B2 true JP7016900B2 (ja) | 2022-02-07 |
Family
ID=72829978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020037260A Active JP7016900B2 (ja) | 2019-04-11 | 2020-03-04 | 制御装置、制御方法及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7016900B2 (ja) |
| CN (1) | CN111807272B (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7456368B2 (ja) | 2020-12-21 | 2024-03-27 | 株式会社豊田自動織機 | フォークリフト用作業支援装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005134971A (ja) | 2003-10-28 | 2005-05-26 | Fujitsu Ten Ltd | 運転支援装置 |
| JP2010198519A (ja) | 2009-02-27 | 2010-09-09 | Hitachi Constr Mach Co Ltd | 周囲監視装置 |
| JP2015009646A (ja) | 2013-06-28 | 2015-01-19 | アルパイン株式会社 | 運転支援装置 |
| JP2018157449A (ja) | 2017-03-21 | 2018-10-04 | 株式会社フジタ | 建設機械用俯瞰画像表示装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07206396A (ja) * | 1994-01-25 | 1995-08-08 | Toyota Autom Loom Works Ltd | フォークリフトのヘッドガード |
| JP4470041B2 (ja) * | 2004-06-22 | 2010-06-02 | 株式会社エクォス・リサーチ | 障害物検知支援装置 |
| AU2012268476B2 (en) * | 2011-06-07 | 2014-05-15 | Komatsu Ltd. | Perimeter monitoring device for work vehicle |
| JP6419677B2 (ja) * | 2015-11-30 | 2018-11-07 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
| JP6727971B2 (ja) * | 2016-07-19 | 2020-07-22 | 株式会社クボタ | 作業車 |
| WO2018039559A2 (en) * | 2016-08-26 | 2018-03-01 | Crown Equipment Corporation | Materials handling vehicle obstacle scanning tools |
| EP3389026A1 (en) * | 2017-04-12 | 2018-10-17 | Volvo Car Corporation | Apparatus and method for road vehicle driver assistance |
-
2020
- 2020-03-04 JP JP2020037260A patent/JP7016900B2/ja active Active
- 2020-04-01 CN CN202010251651.3A patent/CN111807272B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005134971A (ja) | 2003-10-28 | 2005-05-26 | Fujitsu Ten Ltd | 運転支援装置 |
| JP2010198519A (ja) | 2009-02-27 | 2010-09-09 | Hitachi Constr Mach Co Ltd | 周囲監視装置 |
| JP2015009646A (ja) | 2013-06-28 | 2015-01-19 | アルパイン株式会社 | 運転支援装置 |
| JP2018157449A (ja) | 2017-03-21 | 2018-10-04 | 株式会社フジタ | 建設機械用俯瞰画像表示装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111807272A (zh) | 2020-10-23 |
| JP2020172396A (ja) | 2020-10-22 |
| CN111807272B (zh) | 2022-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3722522B1 (en) | Control device, control method, and program | |
| JP6370358B2 (ja) | 透明な電子ディスプレイ上の表示適合 | |
| WO2016147584A1 (ja) | 車両監視装置、車両監視方法、及び、車両監視プログラム | |
| JP2020067979A (ja) | 車両用障害物報知装置 | |
| JP7016900B2 (ja) | 制御装置、制御方法及びプログラム | |
| TW201623067A (zh) | 燈號警示裝置及其方法、電腦可讀取紀錄媒體、及電腦程式產品 | |
| JP2018026757A (ja) | 周辺監査装置 | |
| JP2021125021A (ja) | 死角情報取得装置、死角情報取得方法、車両及びプログラム | |
| JP6354356B2 (ja) | 前方状況判定装置 | |
| JP2019153932A (ja) | 汚れ報知装置 | |
| JP3984863B2 (ja) | 発進報知装置 | |
| JP2008128867A (ja) | タイヤ向き特定装置 | |
| JP6690312B2 (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム | |
| JP2004274538A (ja) | 車両周辺視認装置 | |
| JP5447267B2 (ja) | 車両用表示装置 | |
| JP7267222B2 (ja) | 処理装置、処理方法、報知システム及びプログラム | |
| JP2022186190A (ja) | 車両用表示装置、車両用表示システム、車両用表示方法及びプログラム | |
| CN113844363A (zh) | 车辆周边监视装置、监视方法及非瞬时性存储介质 | |
| JP2007249324A (ja) | 車両周辺監視システム、車両、車両周辺監視プログラム、および車両周辺システムの構成方法 | |
| JP2005176031A (ja) | 車載用障害物検出装置 | |
| JP2019114118A (ja) | 警告装置、自動車、警告方法、及びプログラム | |
| JP5962595B2 (ja) | 車両用表示装置 | |
| JP7253000B2 (ja) | アプリケーションプログラム、情報提供方法、および情報提供装置 | |
| CN115398506B (zh) | 安全驾驶判定装置 | |
| JP5722643B2 (ja) | 物体検出装置、および、物体検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200305 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210216 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210414 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220125 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220126 |