JP7635772B2 - 車両検査システム、及び車両検査方法 - Google Patents

車両検査システム、及び車両検査方法 Download PDF

Info

Publication number
JP7635772B2
JP7635772B2 JP2022174705A JP2022174705A JP7635772B2 JP 7635772 B2 JP7635772 B2 JP 7635772B2 JP 2022174705 A JP2022174705 A JP 2022174705A JP 2022174705 A JP2022174705 A JP 2022174705A JP 7635772 B2 JP7635772 B2 JP 7635772B2
Authority
JP
Japan
Prior art keywords
abnormality
camera
optical axis
vehicle
coordinate value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022174705A
Other languages
English (en)
Other versions
JP2024065708A (ja
Inventor
優介 立住
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2022174705A priority Critical patent/JP7635772B2/ja
Priority to US18/365,743 priority patent/US20240144752A1/en
Priority to CN202311371309.7A priority patent/CN117956136A/zh
Publication of JP2024065708A publication Critical patent/JP2024065708A/ja
Application granted granted Critical
Publication of JP7635772B2 publication Critical patent/JP7635772B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本開示は、車両を検査する検査システムに関する。
特許文献１は、カメラの光軸ズレ（光軸異常）を走行環境下においてリアルタイムに検出することができる車外監視装置を開示する。この技術では、車両の前方を撮像した画像に基づいて、白線が１次以上の近似式で近似される。そして、当該近似式の定数に基づいて、車両が設定時間走行したときの白線に対する車両の横位置の変化量（第１の横方向移動量）が算出される。また、当該近似式の１次係数に基づいて、車両が設定時間走行したときの白線に対する車両の横位置の変化量（第２の横方向移動量）が算出される。更に、第１の横方向移動量と第２の横方向移動量との差が予め設定された閾値以上である場合、水平方向におけるカメラの光軸異常が発生していると判定される。
特開２０１５－１９１５４８号公報
ところで、カメラの光軸異常が検出された場合、当該光軸異常が発生した要因として、カメラの故障や、車両に取り付けられたカメラの位置のずれ等が考えられる。この場合、販売店において当該光軸異常を生じさせている異常要因箇所を特定するのは困難であり、車両の診断に要する期間が長期化するおそれがある。また、修理を必要としない箇所にまで修理が及ぶおそれがある。
本開示の１つの目的は、カメラの光軸異常を検出した場合、当該光軸異常を生じさせている異常要因箇所を特定することができる技術を提供することにある。
本開示の第１の観点は、車両を検査する車両検査システムに関連する。車両検査システムは、車両の前方に搭載された第１カメラと車両の後方に搭載された第２カメラとに接続されたコンピュータを備える。コンピュータは、車両の走行中において第１カメラにより撮影された第１カメラ画像を取得するとともに、第１カメラによる第１カメラ画像の撮影と同時に第２カメラにより撮影された第２カメラ画像を取得する。また、コンピュータは、第１カメラ画像から第１光軸座標値と、第２カメラ画像から第２光軸座標値とを算出する。更に、コンピュータは、第１光軸座標値と第２光軸座標値のそれぞれについて異常の有無を判定する。また更に、コンピュータは、第１光軸座標値の異常の有無と、第２光軸座標値の異常の有無との組み合わせに基づいて、第１カメラ、第２カメラ、及び車両の車体の中から第１光軸座標値と第２光軸座標値の一方又は両方に異常を生じさせている異常要因箇所を特定するように構成されている。
本開示の第２の観点は、車両を検査する車両検査方法に関連する。車両検査方法は、車両の走行中において車両の前方に搭載された第１カメラにより撮影された第１カメラ画像を取得するとともに、第１カメラによる第１カメラ画像の撮影と同時に車両の後方に搭載された第２カメラにより撮影された第２カメラ画像を取得することと、第１カメラ画像から第１光軸座標値を算出することと、第２カメラ画像から第２光軸座標値を算出することと、第１光軸座標値と第２光軸座標値のそれぞれについて異常の有無を判定することと、第１光軸座標値の異常の有無と、第２光軸座標値の異常の有無との組み合わせに基づいて、第１カメラ、第２カメラ、及び車両の車体の中から第１光軸座標値と第２光軸座標値の一方又は両方に異常を生じさせている異常要因箇所を特定することと、を含む。
本開示によれば、車両検査システムは、車両の走行中に取得された第１カメラ画像及び第２カメラ画像に基づいて、第１光軸座標値及び第２光軸座標値を取得する。また、車両検査システムは、第１光軸座標値及び第２光軸座標値のそれぞれについて異常の有無を判定する。更に、車両検査システムは、第１光軸座標値の異常の有無と、第２光軸座標値の異常の有無との組み合わせに基づいて、第１カメラ、第２カメラ、及び車両の車体の中から第１光軸座標値と第２光軸座標値の一方又は両方に異常を生じさせている異常要因箇所を特定する。これにより、光軸異常が発生した場合であっても、異常要因箇所が短時間で特定され、更に、修理を必要とする箇所に限定して修理される。
実施の形態１に係る車両検査システムの概要及び具体例を示すブロック図である。 実施の形態１に係る車両検査システムの処理例を示すフローチャートである。 実施の形態２に係る車両検査システムの概要及び具体例を示すブロック図である。 実施の形態２に係る車両検査システムの処理例を示すフローチャートである。 実施の形態３に係る車両検査システムの概要及び具体例を示すブロック図である。 実施の形態３に係る車両検査システムの処理例を示すフローチャートである。
添付図面を参照して、本開示の実施の形態に係る車両検査システム、及び車両検査方法について説明する。
１．実施の形態１
１－１．概要
図１は、実施の形態１に係る車両検査システム１０の概要及び具体例を示すブロック図である。図１（Ａ）に示すように、車両検査システム１０は、車両１に搭載され、車両１を検査する。車両検査システム１０が搭載される車両１は、自動運転車両であってもよい。車両検査システム１０は、第１カメラ２０、第２カメラ３０、及びコンピュータ１００を含んでいる。
第１カメラ２０は、車両１の前方に搭載され、車両１の周囲の状況を検出する。第２カメラ３０は、車両１の後方に搭載され、車両１の周囲の状況を検出する。
コンピュータ１００は、第１カメラ２０と第２カメラ３０とに少なくとも接続されている。コンピュータ１００は、１又は複数のプロセッサ１１０（以下、単にプロセッサ１１０と呼ぶ）と１又は複数の記憶装置１２０（以下、単に記憶装置１２０と呼ぶ）を含んでいる。プロセッサ１１０は、各種処理を実行する。例えば、プロセッサ１１０は、ＣＰＵ（Central Processing Unit）を含んでいる。記憶装置１２０は、各種情報を格納する。記憶装置１２０としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、等が例示される。典型的には、コンピュータ１００は、車両１に搭載されている。
記憶装置１２０は、車両検査プログラム１２１、第１カメラ取得情報１２２、第２カメラ取得情報１２３、等が格納される。
車両検査プログラム１２１は、車両１を検査するためのコンピュータプログラムである。プロセッサ１１０が車両検査プログラム１２１を実行することにより、コンピュータ１００による各種処理が実現される。車両検査プログラム１２１は、コンピュータ１００が読み取り可能な記録媒体に記録されていてもよい。
第１カメラ取得情報１２２は、車両１の走行中において第１カメラ２０により撮影されたカメラ画像（以下、第１カメラ画像と称す）を含んでいる。また、第２カメラ取得情報１２３は、車両１の走行中において第２カメラ３０により撮影されたカメラ画像（以下、第２カメラ画像と称す）を含んでいる。尚、第２カメラ画像は、第１カメラ２０による第１カメラ画像の撮影と同時に第２カメラ３０により撮影される。
更に、第１カメラ取得情報１２２及び第２カメラ取得情報１２３は、車両１の周囲の物体に関する物体情報を含む。車両１の周囲の物体としては、歩行者、他車両、白線、道路構造物、障害物、等が例示される。他の例として、カメラによって得られた画像を解析することによって、物体を認識、識別することもできる。
１－２．具体例
１－２－１．光軸異常の有無の判定例
プロセッサ１１０は、第１カメラ２０及び第２カメラ３０の光軸異常の有無を判定する。以下、光軸異常の有無の判定例の詳細について説明する。
プロセッサ１１０は、第１カメラ取得情報１２２及び第２カメラ取得情報１２３を取得し、第１カメラ２０及び第２カメラ３０のそれぞれの光軸座標値を算出する。具体的には、プロセッサ１１０は、図１（Ｂ）に示すように、第１カメラ画像２１に基づいて第１カメラ２０の光軸座標値である第１光軸座標値ＦＯＥ１を算出する。また、プロセッサ１１０は、図１（Ｃ）に示すように、第２カメラ画像３１に基づいて第２カメラ３０の光軸座標値である第２光軸座標値ＦＯＥ２を算出する。
第１光軸座標値ＦＯＥ１及び第２光軸座標値ＦＯＥ２とは、例えば、無限遠距離の点（消失点（ＦＯＥ：Focus Optical Expansion）とも称す）を意味する。第１光軸座標値ＦＯＥ１及び第２光軸座標値ＦＯＥ２の算出例としては、参考文献（特開２０１１－０８１６１３号公報）の技術が挙げられる。この文献によれば、車両１の周囲に存在する道路構造物等の特徴点から得られるオプティカルフローの交点が光軸座標値（ＦＯＥ）とされる。
更に、プロセッサ１１０は、算出された第１光軸座標値ＦＯＥ１及び第２光軸座標値ＦＯＥ２のそれぞれについて光軸異常の有無を判定する。
まず、第１光軸座標値ＦＯＥ１における光軸異常の有無の判定について説明する。図１（Ｂ）に示すように、第１カメラ取得情報１２２は、更に、第１所定領域ＩＭＧ＿Ａ１の情報を含んでいる。第１所定領域ＩＭＧ＿Ａ１とは、第１カメラ画像２１において光軸座標値が位置すべき位置を中心に設定された所定のサイズの領域であり、光軸異常でないことを示す画像領域を意味する。従って、プロセッサ１１０は、第１光軸座標値ＦＯＥ１が第１所定領域ＩＭＧ＿Ａ１に含まれる場合、光軸異常の有無を「無し」と判定する。一方、プロセッサ１１０は、第１光軸座標値ＦＯＥ１が第１所定領域ＩＭＧ＿Ａ１に含まれない場合、光軸異常の有無を「有り」と判定する。
続いて、第２光軸座標値ＦＯＥ２における光軸異常の有無の判定について説明する。図１（Ｃ）に示すように、第２カメラ取得情報１２３は、更に、第２所定領域ＩＭＧ＿Ａ２の情報を含んでいる。第２所定領域ＩＭＧ＿Ａ２とは、第２カメラ画像３１において光軸座標値が位置すべき位置を中心に設定された所定のサイズの領域であり、光軸異常でないことを示す画像領域を意味する。従って、プロセッサ１１０は、第２光軸座標値ＦＯＥ２が第２所定領域ＩＭＧ＿Ａ２に含まれる場合、光軸異常の有無を「無し」と判定する。一方、プロセッサ１１０は、第２光軸座標値ＦＯＥ２が第２所定領域ＩＭＧ＿Ａ２に含まれない場合、光軸異常の有無を「有り」と判定する。尚、第２所定領域ＩＭＧ＿Ａ２のサイズは、第１所定領域ＩＭＧ＿Ａ１と異なるサイズであってもよいし、同じサイズであってもよい。
尚、光軸異常の有無は、光軸座標値（ＦＯＥ）が異常となる回数に基づいて判定されてもよい。例えば、第１光軸座標値ＦＯＥ１が第１所定領域ＩＭＧ＿Ａ１からはみ出た回数が設定された基準回数以上の場合、光軸異常の有無は「有り」と判定される。基準回数は、第１光軸座標値ＦＯＥ１と第２光軸座標値ＦＯＥ２のそれぞれで異なっていてもよいし、同じであってもよい。
１－２－２．異常要因箇所の判定例
プロセッサ１１０は、光軸異常の有無の判定が行われた後、当該光軸異常を生じさせている異常要因箇所を特定する。具体的には、第１光軸座標値ＦＯＥ１の異常の有無と、第２光軸座標値ＦＯＥ２の異常の有無との組み合わせに基づいて、異常要因箇所が特定される。例えば、図１（Ｄ）に示すように、第１光軸座標値ＦＯＥ１と第２光軸座標値ＦＯＥ２の一方に異常が生じている場合（パターン２及びパターン３）を考える。この場合、異常が生じている光軸座標値に対応するカメラが異常要因箇所である可能性が高い。従って、パターン２の場合、異常要因箇所は第２カメラ３０と判定され、パターン３の場合、異常要因箇所は第１カメラ２０と判定される。
一方、図１（Ｄ）のパターン４に示すように、第１光軸座標値ＦＯＥ１と第２光軸座標値ＦＯＥ２の両方に異常が生じている場合を考える。この場合、第１光軸座標値ＦＯＥ１と第２光軸座標値ＦＯＥ２の両方が異常であっても、第１カメラ２０及び第２カメラ３０の両方が異常要因箇所であることは考え難い。むしろ、第１カメラ２０及び第２カメラ３０が取り付けられている車両の車体に起因して第１光軸座標値ＦＯＥ１と第２光軸座標値ＦＯＥ２の両方が異常となっている可能性が高い。従って、パターン４の場合、異常発生箇所は車両１の車体と判定される。
このように、実施の形態１に係る車両検査システム１０では、第１光軸座標値ＦＯＥ１及び第２光軸座標値ＦＯＥ２のそれぞれについて異常の有無が判定される。更に、車両検査システム１０によれば、第１光軸座標値ＦＯＥ１の異常の有無と、第２光軸座標値ＦＯＥ２の異常の有無との組み合わせに基づいて、第１カメラ２０、第２カメラ３０、及び車両の車体の中から第１光軸座標値ＦＯＥ１と第２光軸座標値ＦＯＥ２の一方又は両方に異常を生じさせている異常要因箇所が特定される。これにより、光軸異常が発生した場合であっても、異常要因箇所を短時間で特定することができる。更に、修理を必要とする箇所に限定して修理を行うことが可能となる。
１－３．処理例
図２は、実施の形態１に係る車両検査システム１０の処理例を示すフローチャートである。
ステップＳ１００において、プロセッサ１１０は、第１カメラ取得情報１２２、第２カメラ取得情報１２３、等の各種情報を取得する。その後、処理はステップＳ１１０に進む。
ステップＳ１１０において、プロセッサ１１０は、第１カメラ取得情報１２２に基づいて第１光軸座標値ＦＯＥ１を算出し、第２カメラ取得情報１２３に基づいて第２光軸座標値ＦＯＥ２を算出する。その後、処理はステップＳ１２０に進む。
ステップＳ１２０において、プロセッサ１１０は、第１光軸座標値ＦＯＥ１の異常の有無を判定し、第２光軸座標値ＦＯＥ２の異常の有無を判定する。その後、処理はステップＳ１３０に進む。
ステップＳ１３０において、プロセッサ１１０は、第１光軸座標値ＦＯＥ１に異常が有り、且つ、第２光軸座標値ＦＯＥ２に異常が有る条件を満たすか否かを判定する。当該条件を満たすと判定された場合（ステップＳ１３０；Ｙｅｓ）、処理はステップＳ１４０に進む。それ以外の場合（ステップＳ１３０；Ｎｏ）、処理はステップＳ１５０に進む。
ステップＳ１４０において、プロセッサ１１０は、第１光軸座標値ＦＯＥ１と第２光軸座標値ＦＯＥ２の両方に異常を生じさせている異常要因箇所を車両の車体と判定する。
ステップＳ１５０において、プロセッサ１１０は、第１光軸座標値ＦＯＥ１に異常が有るか否かを判定する。第１光軸座標値ＦＯＥ１に異常が有ると判定された場合（ステップＳ１５０；Ｙｅｓ）、処理はステップＳ１６０に進む。それ以外の場合（ステップＳ１５０；Ｎｏ）、処理はステップＳ１７０に進む。
ステップＳ１６０において、プロセッサ１１０は、第１光軸座標値ＦＯＥ１にのみ異常を生じさせている異常要因箇所を第１カメラ２０と判定する。
ステップＳ１７０において、プロセッサ１１０は、第２光軸座標値ＦＯＥ２にのみ異常を生じさせている異常要因箇所を第２カメラ３０と判定する。
２．実施の形態２
２－１．概要
実施の形態１に係る車両検査システム１０では、第１光軸座標値ＦＯＥ１と第２光軸座標値ＦＯＥ２の両方に異常が有る場合、異常要因箇所は車両１の車体であると判定される。しかし、異常要因箇所と判定された車体の異常要因は様々である。従って、実施の形態２に係る車両検査システム１０によれば、異常要因箇所が車体と判定された場合、更に、車体の異常要因を推定する。これにより、実施の形態１の効果に加えて、修理を必要とする箇所を明確にすることが可能となる。以下、実施の形態１と相違する点を中心に説明する。
ここで、異常要因箇所が車体である場合に推定される異常要因について考える。車体の後方部に位置する後部座席やトランクルームの総積載量が最大積載量を超えている場合（すなわち、車両１が過積載の状態である場合）、車体を水平に維持することができず、車体の後方部が水平に対して地面側に沈むように傾くことが想定される。よって、車体の異常要因の一例としては、車体の後方部の車高が著しく低くなることが想定される。尚、車体の後方部には、典型的には、車高を計測することができるハイトセンサが設けられている。従って、実施の形態２に係る車両検査システム１０によれば、ハイトセンサから得られた車高の情報に基づいて、異常要因箇所が車体である場合の異常要因が車両１の過積載であるか否かが推定される。
図３は、実施の形態２に係る車両検査システム１０の概要及び具体例を示すブロック図である。具体的には、図３（Ａ）に示すように、車両検査システム１０は、更に、ハイトセンサ４０を含んでいる。ハイトセンサ４０は、上述したように、車体に設けられ、車体の車高を計測するセンサである。記憶装置１２０は、ハイトセンサ４０から取得された車高情報１２４が更に格納される。
２－２．具体例
上述した異常要因箇所の判定例において、異常要因箇所が車体であると判定された場合、プロセッサ１１０は、車高情報１２４に基づいて、異常要因の推定を行う。具体的には、図３（Ｂ）に示すように、プロセッサ１１０は、車体が異常要因箇所と特定され、且つ、ハイトセンサ４０から取得された車高が閾値未満である場合（パターン４（ａ））、異常要因を車両１の過積載と推定する。一方、ハイトセンサ４０から取得された車高が閾値以上である場合（パターン４（ｂ））、つまり、異常要因が車両１の過積載でない場合、車体の構造が変形していることが想定される。従って、この場合、プロセッサ１１０は、異常要因を車体の構造変形と推定する。
２－３．処理例
図４は、実施の形態２に係る車両検査システム１０の処理例を示すフローチャートである。
ステップＳ２００において、プロセッサ１１０は、上述したステップＳ１４０において異常要因箇所が車体と判定された場合、車高情報１２４を取得する。その後、処理はステップＳ２１０に進む。
ステップＳ２１０において、プロセッサ１１０は、車高が閾値未満か否かを判定する。車高が閾値未満と判定された場合（ステップＳ２１０；Ｙｅｓ）、処理はステップＳ２２０に進む。それ以外の場合（ステップＳ２１０；Ｎｏ）、処理はステップＳ２３０に進む。
ステップＳ２２０において、プロセッサ１１０は、異常要因を車両１の過積載と推定する。
ステップＳ２３０において、プロセッサ１１０は、異常要因を車体の構造変形と推定する。
３．実施の形態３
３－１．概要
実施の形態１に係る車両検査システム１０では、第１光軸座標値ＦＯＥ１と第２光軸座標値ＦＯＥ２の一方に異常が有る場合、異常要因箇所は異常を有する光軸座標値に対応するカメラ（すなわち、第１カメラ２０あるいは第２カメラ３０）であると判定される。しかし、カメラの異常要因は様々である。従って、実施の形態３に係る車両検査システム１０によれば、異常要因箇所が第１カメラ２０又は第２カメラ３０と判定された場合、更に、カメラの異常要因を推定する。これにより、実施の形態１の効果に加えて、修理を必要とする箇所を明確にすることが可能となる。以下、実施の形態１と相違する点を中心に説明する。
ここで、異常要因箇所が第１カメラ２０又は第２カメラ３０である場合の異常要因について考える。車両１に搭載されたカメラは、車体に固定して取り付けられている。このため、カメラの異常要因の一例としては、車両１の走行中における車両１の振動等により、車体に取り付けられているカメラの位置がずれることが想定される。従って、実施の形態２に係る車両検査システム１０によれば、異常要因箇所が第１カメラ２０又は第２カメラ３０である場合、カメラの位置のずれを検出した情報に基づいて、異常要因がカメラの位置のずれか否かが推定される。
図５は、実施の形態３に係る車両検査システム１０の概要及び具体例を示すブロック図である。具体的には、図５（Ａ）に示すように、車両検査システム１０は、更に、第１センサ５０、及び第２センサ６０を含んでいる。第１センサ５０は、第１カメラ２０に取り付けられ、第１カメラ２０の姿勢角を計測するセンサである。第２センサ６０は、第２カメラ３０に取り付けられ、第２カメラ３０の姿勢角を計測するセンサである。記憶装置１２０は、第１センサ５０から取得された第１姿勢角情報１２５と、第２センサ６０から取得された第２姿勢角情報１２６とが更に格納される。姿勢角を計測するセンサとしては、ジャイロセンサ、等が例示される。また、姿勢角とは、例えば、Ｙａｗ方向、Ｐｉｔｃｈ方向、及びＲｏｌｌ方向の回転角で示される。
３－２．具体例
上述した異常要因箇所の判定例において、異常要因箇所が第１カメラ２０であると判定された場合、プロセッサ１１０は、第１姿勢角情報１２５に基づいて、異常要因の推定を行う。具体的には、図５（Ｂ）に示すように、プロセッサ１１０は、第２カメラ３０が異常要因箇所と特定され、且つ、第２センサ６０から取得された第２カメラ３０の姿勢角（第２姿勢角）が許容範囲外である場合（パターン２（ａ））、異常要因を車体に取り付けられた第２カメラ３０の位置のずれと推定する。一方、第２姿勢角が許容範囲内である場合（パターン２（ｂ））、第２カメラ３０の内部が故障していることが想定される。従って、この場合、プロセッサ１１０は、異常要因を第２カメラ３０の内部の故障と推定する。尚、上述した異常要因箇所の判定例において、異常要因箇所が第１カメラ２０であると判定された場合、第２カメラ３０と同様の処理が行われるので、ここでは説明を省略する。
３－３．処理例
図６は、実施の形態３に係る車両検査システム１０の処理例を示すフローチャートである。具体的には、図６（Ａ）は、第１カメラ２０の異常要因を推定する処理例のフローチャートであり、図６（Ｂ）は、第２カメラ３０の異常要因を推定する処理例のフローチャートである。
図６（Ａ）のフローチャートによれば、ステップＳ３００において、プロセッサ１１０は、上述したステップＳ１６０において異常要因箇所が第１カメラ２０と判定された場合、第１姿勢角情報１２５を取得する。その後、処理はステップＳ３１０に進む。
ステップＳ３１０において、プロセッサ１１０は、第１姿勢角が許容範囲外か否かを判定する。第１姿勢角が許容範囲外と判定された場合（ステップＳ３１０；Ｙｅｓ）、処理はステップＳ３２０に進む。それ以外の場合（ステップＳ３１０；Ｎｏ）、処理はステップＳ３３０に進む。
ステップＳ３２０において、プロセッサ１１０は、異常要因を第１カメラ２０の位置のずれと推定する。
ステップＳ３３０において、プロセッサ１１０は、異常要因を第１カメラ２０の内部の故障と推定する。
尚、図６（Ｂ）のフローチャートに示すステップＳ４００－ステップＳ４３０では、上述したステップＳ３００－ステップＳ３３０と同様の処理が行われるので、ここでは説明を省略する。
４．その他の実施形態
４－１．第１の例
その他の実施形態に係る車両検査システム１０によれば、上述した異常要因の推定が行われた後、修理を必要とする箇所の修理を促す警報が乗員に通知される。これにより、販売店等による診断及び修理を早期に行うことが可能となる。修理を必要とする箇所とは、異常要因が第１カメラ２０の内部の故障あるいは位置のずれであることと、異常要因が第２カメラ３０の内部の故障あるいは位置のずれであることと、異常要因が車体の構造変形であることと、のうちいずれかを含むことを意味する。
４－２．第２の例
その他の実施形態に係る車両検査システム１０によれば、異常要因箇所の判定結果と異常要因の推定結果の少なくとも一方の結果がエンジンを再起動させても保持される。これにより、エンジンの再起動により異常要因箇所が正常に復帰した場合であっても、一度異常と判定された結果の情報が乗員に通知され続ける。従って、販売店等による診断及び修理を早期に行うことが可能となる。
１…車両， １０…車両検査システム， ２０…第１カメラ， ２１…第１カメラ画像， ３０…第２カメラ， ３１…第２カメラ画像， ４０…ハイトセンサ， ５０…第１センサ， ６０…第２センサ， １００…コンピュータ， １１０…プロセッサ， １２０…記憶装置， １２１…車両検査プログラム， １２２…第１カメラ取得情報， １２３…第２カメラ取得情報， １２４…車高情報， １２５…第１姿勢角情報， １２６…第２姿勢角情報， ＦＯＥ１…第１光軸座標値， ＦＯＥ２…第２光軸座標値， ＩＭＧ＿Ａ１…第１所定領域， ＩＭＧ＿Ａ２…第２所定領域

Claims (5)

  1. 車両を検査する車両検査システムであって、
    前記車両の前方に搭載された第１カメラと前記車両の後方に搭載された第２カメラとに接続されたコンピュータを備え、
    前記コンピュータは、
    前記車両の走行中において前記第１カメラにより撮影された第１カメラ画像を取得するとともに、前記第１カメラによる前記第１カメラ画像の撮影と同時に前記第２カメラにより撮影された第２カメラ画像を取得し、
    前記第１カメラ画像から第１光軸座標値を算出し、
    前記第２カメラ画像から第２光軸座標値を算出し、
    前記第１光軸座標値と前記第２光軸座標値のそれぞれについて異常の有無を判定し、
    前記第１光軸座標値の異常の有無と、前記第２光軸座標値の異常の有無との組み合わせに基づいて、前記第１カメラ、前記第２カメラ、及び前記車両の車体の中から前記第１光軸座標値と前記第２光軸座標値の一方又は両方に異常を生じさせている異常要因箇所を特定するように構成されている
    ことを特徴とする車両検査システム。
  2. 請求項１に記載の車両検査システムであって、
    前記コンピュータは、
    前記第１光軸座標値に異常が有り前記第２光軸座標値に異常が無い場合、前記異常要因箇所を前記第１カメラと特定し、
    前記第２光軸座標値に異常が有り前記第１光軸座標値に異常が無い場合、前記異常要因箇所を前記第２カメラと判定し、
    前記第１光軸座標値と前記第２光軸座標値の両方に異常が有る場合、前記異常要因箇所を前記車体と特定するように構成されている
    ことを特徴とする車両検査システム。
  3. 請求項２に記載の車両検査システムであって、
    更に、前記車体に設けられたハイトセンサを含み、
    前記コンピュータは、
    前記車体が前記異常要因箇所と特定され、且つ、前記ハイトセンサから取得された車高が閾値以上である場合、異常要因を前記車体の構造変形と推定し、
    前記車体が前記異常要因箇所と特定され、且つ、前記車高が前記閾値未満である場合、前記異常要因を前記車両の過積載と推定するように構成されている
    ことを特徴とする車両検査システム。
  4. 請求項２に記載の車両検査システムであって、
    更に、前記第１カメラの姿勢角を計測する第１センサと、前記第２カメラの姿勢角を計測する第２センサと、を備え、
    前記コンピュータは、
    前記第１カメラが前記異常要因箇所と特定され、且つ、前記第１センサから取得された第１姿勢角が許容範囲内である場合、異常要因を前記第１カメラの内部の故障と推定し、
    前記第１カメラが前記異常要因箇所と特定され、且つ、前記第１姿勢角が前記許容範囲外である場合、前記異常要因を前記車体に取り付けられた前記第１カメラの位置のずれと推定し、
    前記第２カメラが前記異常要因箇所と特定され、且つ、前記第２センサから取得された第２姿勢角が前記許容範囲内である場合、前記異常要因を前記第２カメラの内部の故障と推定し、
    前記第２カメラが前記異常要因箇所と特定され、且つ、前記第２姿勢角が前記許容範囲外である場合、前記異常要因を前記車体に取り付けられた前記第２カメラの位置のずれと推定するように構成されている
    ことを特徴とする車両検査システム。
  5. 車両を検査する車両検査方法であって、
    前記車両の走行中において前記車両の前方に搭載された第１カメラにより撮影された第１カメラ画像を取得するとともに、前記第１カメラによる前記第１カメラ画像の撮影と同時に前記車両の後方に搭載された第２カメラにより撮影された第２カメラ画像を取得することと、
    前記第１カメラ画像から第１光軸座標値を算出することと、
    前記第２カメラ画像から第２光軸座標値を算出することと、
    前記第１光軸座標値と前記第２光軸座標値のそれぞれについて異常の有無を判定することと、
    前記第１光軸座標値の異常の有無と、前記第２光軸座標値の異常の有無との組み合わせに基づいて、前記第１カメラ、前記第２カメラ、及び前記車両の車体の中から前記第１光軸座標値と前記第２光軸座標値の一方又は両方に異常を生じさせている異常要因箇所を特定することと、
    を含む
    ことを特徴とする車両検査方法。
JP2022174705A 2022-10-31 2022-10-31 車両検査システム、及び車両検査方法 Active JP7635772B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022174705A JP7635772B2 (ja) 2022-10-31 2022-10-31 車両検査システム、及び車両検査方法
US18/365,743 US20240144752A1 (en) 2022-10-31 2023-08-04 Vehicle inspection system and vehicle inspection method
CN202311371309.7A CN117956136A (zh) 2022-10-31 2023-10-23 车辆检查系统以及车辆检查方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022174705A JP7635772B2 (ja) 2022-10-31 2022-10-31 車両検査システム、及び車両検査方法

Publications (2)

Publication Number Publication Date
JP2024065708A JP2024065708A (ja) 2024-05-15
JP7635772B2 true JP7635772B2 (ja) 2025-02-26

Family

ID=90793369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022174705A Active JP7635772B2 (ja) 2022-10-31 2022-10-31 車両検査システム、及び車両検査方法

Country Status (3)

Country Link
US (1) US20240144752A1 (ja)
JP (1) JP7635772B2 (ja)
CN (1) CN117956136A (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004247979A (ja) 2003-02-14 2004-09-02 Hitachi Ltd 車載用カメラ装置
JP2013107439A (ja) 2011-11-18 2013-06-06 Toshiba Alpine Automotive Technology Corp 車載カメラのキャリブレーション装置
JP2014195170A (ja) 2013-03-28 2014-10-09 Honda Motor Co Ltd 運転支援装置
CN206961189U (zh) 2017-06-07 2018-02-02 德尔福电子(苏州)有限公司 一种车载摄像头的光轴偏转测量装置
JP2019191807A (ja) 2018-04-23 2019-10-31 株式会社デンソーテン 異常検出装置および異常検出方法
US20220103730A1 (en) 2020-09-28 2022-03-31 Argo AI, LLC Enhanced pointing angle validation

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022042167A (ja) * 2020-09-02 2022-03-14 トヨタ自動車株式会社 車載カメラのキャリブレーション装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004247979A (ja) 2003-02-14 2004-09-02 Hitachi Ltd 車載用カメラ装置
JP2013107439A (ja) 2011-11-18 2013-06-06 Toshiba Alpine Automotive Technology Corp 車載カメラのキャリブレーション装置
JP2014195170A (ja) 2013-03-28 2014-10-09 Honda Motor Co Ltd 運転支援装置
CN206961189U (zh) 2017-06-07 2018-02-02 德尔福电子(苏州)有限公司 一种车载摄像头的光轴偏转测量装置
JP2019191807A (ja) 2018-04-23 2019-10-31 株式会社デンソーテン 異常検出装置および異常検出方法
US20220103730A1 (en) 2020-09-28 2022-03-31 Argo AI, LLC Enhanced pointing angle validation

Also Published As

Publication number Publication date
US20240144752A1 (en) 2024-05-02
JP2024065708A (ja) 2024-05-15
CN117956136A (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
US7580548B2 (en) Abnormality detecting apparatus for imaging apparatus
KR20190039648A (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
CN112041886B (zh) 根据一周围环境传感器的测量数据识别一车辆轮廓
US12112506B2 (en) System for calibrating extrinsic parameters for a camera in an autonomous vehicle
JP2006240453A (ja) センサ異常検出装置及びセンサ異常検出方法
WO2019181591A1 (ja) 車載ステレオカメラ
US11390218B2 (en) Vehicle periphery monitoring device, vehicle periphery monitoring method and non-transitory storage medium
JP6350113B2 (ja) 画像処理装置、及び画像処理装置の故障診断方法
WO2019068699A1 (en) METHOD FOR CLASSIFYING AN OBJECT POINT AS STATIC OR DYNAMIC, DRIVER ASSISTANCE SYSTEM, AND MOTOR VEHICLE
CN112740302A (zh) 车辆用监视装置
CN111989541A (zh) 立体摄像机装置
CN117429440A (zh) 粗心驾驶判定装置以及粗心驾驶判定方法
JP7635772B2 (ja) 車両検査システム、及び車両検査方法
JP2011159214A (ja) 行動検出装置
KR20210060779A (ko) 차량센서의 이상 진단 장치 및 그 방법
CN113168701A (zh) 用于相机失准检测的方法、相机系统、计算机程序产品和计算机可读介质
JP7207163B2 (ja) 異常検出装置、異常検出方法、異常検出プログラム
JP4601376B2 (ja) 画像異常判定装置
JP7206938B2 (ja) 移動量算出装置
US11993274B2 (en) Monitoring of on-board vehicle image capturing device functionality compliance
CN118019957A (zh) 倾斜检测装置、倾斜检测系统、倾斜检测方法及倾斜检测程序
JP2022072304A (ja) ドライブレコーダ、ドライブレコーダの制御方法、及びドライブレコーダの制御プログラム
US20230351631A1 (en) Information processing apparatus, information processing method, and computer-readable recording medium
JP2024047398A (ja) 情報処理装置、情報処理方法およびプログラム
JP2010030521A (ja) 動作量特定装置，レベリング制御装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20241225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250127

R150 Certificate of patent or registration of utility model

Ref document number: 7635772

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150