JP6855331B2 - 画像転送装置、画像診断装置、および画像診断システム - Google Patents

画像転送装置、画像診断装置、および画像診断システム Download PDF

Info

Publication number
JP6855331B2
JP6855331B2 JP2017114593A JP2017114593A JP6855331B2 JP 6855331 B2 JP6855331 B2 JP 6855331B2 JP 2017114593 A JP2017114593 A JP 2017114593A JP 2017114593 A JP2017114593 A JP 2017114593A JP 6855331 B2 JP6855331 B2 JP 6855331B2
Authority
JP
Japan
Prior art keywords
image
vehicle
diagnostic
unit
transfer device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017114593A
Other languages
English (en)
Other versions
JP2018207458A (ja
Inventor
友裕 岩佐
友裕 岩佐
禎康 伊藤
禎康 伊藤
純平 森田
純平 森田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Aisin Corp
Original Assignee
Honda Motor Co Ltd
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd, Aisin Seiki Co Ltd, Aisin Corp filed Critical Honda Motor Co Ltd
Priority to JP2017114593A priority Critical patent/JP6855331B2/ja
Priority to CN201810569394.0A priority patent/CN109068091A/zh
Publication of JP2018207458A publication Critical patent/JP2018207458A/ja
Application granted granted Critical
Publication of JP6855331B2 publication Critical patent/JP6855331B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本発明の実施形態は、画像転送装置、画像診断装置、および画像診断システムに関する。
従来、車載ネットワークを利用した技術が種々検討されている。車載ネットワークは、伝送速度が比較的遅いことが知られている。
ところで、一般に、車両の製造工程においては、各種の部品の組付工程の後に、当該各種の部品の検査工程が行われる。検査工程では、たとえば、車載カメラの撮像画像などを用いた画像診断により、車載カメラが正常に動作しているか否かの検査が行われる。
従来では、車載カメラの撮像画像などを車両の内部の表示装置に表示させることで画像診断を行うことが一般的であった。しかしながら、このような画像診断の手法は、表示装置が無い車両には適用不可能である。
そこで、画像を表示可能な外部機器を接続するための外部インターフェースを車載ネットワーク上に設け、画像診断に用いる画像を車両から外部機器に車載ネットワークを介して転送することで、外部機器を用いて画像診断を行うことが検討されている。
特開2010−54293号公報
しかしながら、上述したように、車載ネットワークは、伝送速度が比較的遅いことが知られている。このため、たとえば画像診断に用いられる画像をそのままの形で転送すると、転送が完了するまでに時間がかかり、外部機器を用いた画像診断の効率性が低下するおそれがある。
そこで、実施形態の課題の一つは、外部機器を用いた画像診断の効率性が低下するのを抑制することである。
実施形態による画像転送装置は、車両の周辺を撮像する車載カメラの撮像結果に基づく所定の画像を取得する画像取得部と、車載カメラの異常を画像に基づいて診断する画像診断装置が、車載ネットワーク上に設けられる車両の外部インターフェースに接続された場合に、画像診断装置からの指示に応じて、所定の画像から部分的に抽出された診断画像を、車載ネットワークを介して画像診断装置に転送する画像転送部と、を備える。これにより、画像診断のために転送される診断画像のサイズが小さくなり、転送量が少なくなるので、伝送速度が比較的遅い車載ネットワークであっても、より迅速に診断画像を転送することができる。その結果、外部機器としての画像診断装置を用いた画像診断の効率性が低下するのを抑制することができる。
上述した画像転送装置において、画像取得部は、車載カメラが複数設けられている場合に当該複数の車載カメラの撮像結果に基づいて生成される、車両の周辺を上方から見た俯瞰画像を、所定の画像として取得し、画像転送部は、俯瞰画像のうち、複数の車載カメラによる複数の撮像領域の境界に対応した境界領域の画像を、診断画像として転送する。これにより、俯瞰画像のうち、画像診断を行う必要がある境界領域の画像のみを、診断画像として転送することができるので、画像診断装置を用いた画像診断の効率性を向上させることができる。
この場合、画像転送装置は、複数の車載カメラに異常がない状態での境界領域を表す比較画像を記憶する記憶部をさらに備え、画像転送部は、比較画像と一致しない診断画像を、車載ネットワークを介して画像診断装置に転送する。これにより、比較画像と一致しない診断画像、つまり画像診断を行う必要がある診断画像のみを画像診断装置に転送することができるので、画像診断装置を用いた画像診断の効率性を向上させることができる。
また、上述した画像転送装置において、画像取得部は、車載カメラが複数設けられている場合に当該複数の車載カメラにより撮像される、車両の周辺の所定の位置に設置されたマーカの撮像画像を、所定の画像として取得し、画像転送装置は、撮像画像からマーカが正常に検出されるか否かを判定する判定部をさらに備え、画像転送部は、判定部の判定結果に応じて、マーカが正常に検出されなかった撮像画像のうち、マーカの設置位置を含む所定の範囲に対応した所定の領域の画像を、診断画像として転送する。これにより、マーカの撮像画像のうち、画像診断を行う必要がある所定の領域の画像のみを、診断画像として転送することができる。
また、上述した画像転送装置において、画像転送部は、画像診断装置からの指示に応じて、診断画像を転送するか、または所定の画像の全体を転送するか、を切り替える。これにより、診断画像を用いた画像診断と、所定の画像の全体を用いた画像診断と、を必要に応じて使い分けることができる。
また、実施形態による画像診断装置は、車載ネットワーク上に設けられる車両の外部インターフェースに接続可能に構成され、車両の周辺を撮像する車載カメラの異常を画像に基づいて診断する画像診断装置であって、操作入力を受け付ける入力受付部と、画像診断装置が外部インターフェースに接続された状態で、車両の画像転送装置であって、車載カメラの撮像結果に基づく所定の画像を取得する画像取得部と、画像診断装置が外部インターフェースに接続された場合に、指示に応じて、所定の画像から部分的に抽出された診断画像を、車載ネットワークを介して画像診断装置に転送する画像転送部と、を備えた画像転送装置に、操作入力に対応した指示を出力する指示出力部と、画像診断装置からの指示に応じて画像転送装置から転送された診断画像を受信する画像受信部と、画像受信部により受信された診断画像を表示部に表示する表示処理部と、を備える。これにより、画像診断のために転送される診断画像のサイズが小さくなり、転送量が少なくなるので、伝送速度が比較的遅い車載ネットワークであっても、より迅速に診断画像を転送することができる。その結果、外部機器としての画像診断装置を用いた画像診断の効率性が低下するのを抑制することができる。
上述した画像診断装置において、所定の画像は、車載カメラが複数設けられている場合に当該複数の車載カメラの撮像結果に基づいて生成される、車両の周辺を上方から見た俯瞰画像であり、診断画像は、俯瞰画像のうち、複数の車載カメラによる複数の撮像領域の境界に対応した境界領域の画像であり、画像診断装置は、複数の車載カメラに異常がない状態での境界領域を表す比較画像を記憶する記憶部をさらに備え、表示処理部は、画像受信部が受信した診断画像のうち、比較画像と一致しない診断画像を表示部に表示する。これにより、比較画像と一致しない診断画像、つまり画像診断を行う必要がある診断画像のみを、表示部に表示することができるので、画像診断の効率性を向上させることができる。
また、実施形態による画像診断システムは、車両に設けられる画像転送装置と、車載ネットワーク上に設けられる車両の外部インターフェースに接続可能に構成され、車両の周辺を撮像する車載カメラの異常を画像に基づいて診断する画像診断装置と、を備え、画像転送装置は、車載カメラの撮像結果に基づく所定の画像を取得する画像取得部と、画像診断装置が外部インターフェースに接続された場合に、画像診断装置からの指示に応じて、所定の画像から部分的に抽出された診断画像を、車載ネットワークを介して画像診断装置に転送する画像転送部と、を含み、画像診断装置は、操作入力を受け付ける入力受付部と、画像診断装置が外部インターフェースに接続された状態で、操作入力に対応した指示を、画像転送装置に出力する指示出力部と、指示に応じて画像転送装置から転送された診断画像を表示部に表示する表示処理部と、を含む。これにより、画像診断のために転送される診断画像のサイズが小さくなり、転送量が少なくなるので、伝送速度が比較的遅い車載ネットワークであっても、より迅速に診断画像を転送することができる。その結果、外部機器としての画像診断装置を用いた画像診断の効率性が低下するのを抑制することができる。
図1は、第1実施形態による車両の車室の一部が透視された状態を示した例示的な斜視図である。 図2は、第1実施形態による車両を示した例示的な平面図(鳥瞰図)である。 図3は、第1実施形態による車両の内部の概略的なハードウェア構成を示した例示的なブロック図である。 図4は、第1実施形態による画像診断で用いられる端末装置の概略的なハードウェア構成を示した例示的なブロック図である。 図5は、第1実施形態による画像転送装置および画像診断装置の機能的構成を示した例示的なブロック図である。 図6は、第1実施形態による画像診断に用いられる俯瞰画像の一例を示した例示的な図である。 図7は、第1実施形態において俯瞰画像から部分的に抽出される診断画像の一例を示した例示的な図である。 図8は、第1実施形態による画像転送装置および画像診断装置の画像診断時における動作の流れを示した例示的なシーケンス図である。 図9は、第2実施形態による画像転送装置および画像診断装置の機能的構成を示した例示的なブロック図である。 図10は、第2実施形態による画像転送装置および画像診断装置の画像診断時における動作の流れを示した例示的なシーケンス図である。 図11は、第2実施形態の変形例による画像転送装置および画像診断装置の機能的構成を示した例示的なブロック図である。 図12は、第2実施形態の変形例による画像転送装置および画像診断装置の画像診断時における動作の流れを示した例示的なシーケンス図である。 図13は、第3実施形態による画像転送装置および画像診断装置において実現される機能的構成を示した例示的なブロック図である。 図14は、第3実施形態による画像診断で用いられるマーカを示した模式的かつ例示的な図である。 図15は、第3実施形態においてマーカ画像から部分的に抽出される診断画像の一例を示した例示的な図である。 図16は、第3実施形態による画像転送装置および画像診断装置の画像診断時における動作の流れを示した例示的なシーケンス図である。
以下、実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および結果(効果)は、あくまで一例であって、以下の記載内容に限られるものではない。
<第1実施形態>
まず、図1および図2を用いて、第1実施形態による車両1の概略的な構成について説明する。図1は、第1実施形態による車両1の車室2aの一部が透視された状態を示した例示的な斜視図である。また、図2は、第1実施形態による車両1を示した例示的な平面図(鳥瞰図)である。
図1に示されるように、第1実施形態による車両1は、図示しない乗員(ユーザ)が乗車する車室2aを有している。車室2a内には、ユーザとしての運転者が座席2bから操作可能な状態で、操舵部4や、加速操作部5、制動操作部6、変速操作部7などが設けられている。
操舵部4は、ダッシュボード(インストルメントパネル)から突出したステアリングホイールである。加速操作部5は、運転者の足下に設けられたアクセルペダルである。制動操作部6は、運転者の足下に設けられたブレーキペダルである。変速操作部7は、センターコンソールから突出したシフトレバーである。
車室2a内には、各種の画像を出力可能な表示装置(ディスプレイ)8と、各種の音を出力可能な音声出力装置9と、を有するモニタ装置11が設けられている。モニタ装置11は、車室2a内のダッシュボードの車幅方向(左右方向)の中央部に設けられている。表示装置8は、LCD(液晶ディスプレイ)やOELD(有機エレクトロルミネセンスディスプレイ)などで構成され、たとえば、車両1の周辺を撮像して得られた画像や、車両1を上から俯瞰で見たような画像などを表示可能に構成されている。車両1の周辺を撮像して得られた画像は、周辺画像などと称され、車両1を上から俯瞰で見たような画像は、俯瞰画像や鳥瞰画像などと称される。
ここで、第1実施形態による表示装置8における画像が表示される領域、すなわち表示画面には、当該表示画面内において指やスタイラスなどの指示体が近接(接触を含む)した位置の座標を検出可能なタッチパネル10が設けられている。これにより、ユーザは、表示装置8の表示画面に表示される画像を視認することができるとともに、タッチパネル10上で指示体を用いた入力操作(たとえばタッチ操作)を行うことで、各種の操作を入力することができる。
なお、第1実施形態では、モニタ装置11が、スイッチや、ダイヤル、ジョイスティック、押しボタンなどといった、各種の物理的な操作入力部を有していてもよい。また、第1実施形態では、車室2a内におけるモニタ装置11の位置とは異なる位置に、他の音声出力装置が設けられていてもよい。この場合、音声出力装置9および他の音声出力装置の両方から、各種の音情報を出力することができる。また、第1実施形態では、モニタ装置11が、ナビゲーションシステムやオーディオシステムなどの各種システムに関する情報を表示可能に構成されていてもよい。
また、図1および図2に示されるように、第1実施形態による車両1は、左右2つの前輪3Fと、左右2つの後輪3Rと、を有した四輪の自動車である。前輪3Fの横滑り角は、操舵部4(ステアリングホイール)の操舵に応じて変化(転舵)する。なお、後述するように、第1実施形態による車両1には、前輪3Fの操舵を制御する操舵システム12(図3参照)が設けられている。操舵システム12は、電動パワーステアリングシステムや、SBW(ステアバイワイヤ)システムなどであり、不図示のアクチュエータによって操舵部4にトルク(アシストトルク)を付加して操舵力を補うことで、前輪3Fを操舵するシステムである。
図2に示されるように、車両1(車体2)は、当該車両1の周囲の複数の領域を撮像可能に設けられた複数(図2の例では4つ)の車載カメラ16a、16b、16c、および16dを有している。車載カメラ16aは、車両1の前方の位置に設けられ、車載カメラ16bは、車両1の後方の位置に設けられ、車載カメラ16cは、車両1の車幅方向の左側の位置に設けられ、車載カメラ16dは、車両1の車幅方向の右側の位置に設けられている。これらの車載カメラ16a〜16dは、たとえば、CCD(電荷結合素子)やCIS(CMOS(相補性金属酸化膜半導体)イメージセンサ)などの撮像素子を有した、いわゆるデジタルカメラである。なお、以下では、簡単化のため、車載カメラ16a〜16dを総称して車載カメラ16と記載することがある。
車載カメラ16は、所定のフレームレートで車両1の周囲の領域を撮像し、当該撮像により得られた画像データを出力する。この画像データは、フレーム画像として動画像を構成することが可能である。また、車載カメラ16は、たとえば、水平方向に180〜220°の視野角の範囲を撮像可能な広角レンズを有する。
また、車載カメラ16a〜16dは、それぞれの光軸が車両1の下方に向くように設けられている。これにより、車載カメラ16a〜16dは、車両1が移動可能な路面と、当該路面から上方の領域(外部の環境)と、を撮像することが可能である。
より具体的に、車載カメラ16aは、車体2の前側の端部2c(たとえばフロントグリル)に設けられ、車両1の前方の領域を撮像することが可能である。また、車載カメラ16bは、車体2の後側の端部2e(たとえばリアトランクのドア2h)に設けられ、車両1の後方の領域を撮像することが可能である。また、車載カメラ16cは、車体2の車幅方向の左側の端部2d(たとえば左側のドアミラー2g)に設けられ、車両1の左側の領域を撮像することが可能である。また、車載カメラ16dは、車体2の車幅方向の右側の端部2f(たとえば右側のドアミラー2g)に設けられ、車両1の右側の領域を撮像することが可能である。
次に、図3を用いて、第1実施形態による車両1の内部の概略的なハードウェア構成について説明する。図3は、第1実施形態による車両1の内部の概略的なハードウェア構成を示した例示的なブロック図である。
図3に示されるように、第1実施形態による車両1の内部には、モニタ装置11と、操舵システム12と、外部インターフェース(I/F)13と、ECU(エレクトロニックコントロールユニット)14と、ブレーキシステム18と、舵角センサ19と、アクセルセンサ20と、シフトセンサ21と、車輪速センサ22と、が設けられている。モニタ装置11と、操舵システム12と、外部インターフェース13と、ECU14と、ブレーキシステム18と、アクセルセンサ20と、シフトセンサ21と、車輪速センサ22とは、CAN(コントローラエリアネットワーク)などの電気通信回線(以下、車載ネットワーク23と記載する)を介して互いに通信可能に接続されている。
ECU14は、車載カメラ16から得られた画像データに対して画像処理を実行し、当該画像処理によって得られた画像データを表示装置8に表示する。また、ECU14は、車載ネットワーク23を介して、車両1の各部へ制御信号を送信することで、操舵システム12やブレーキシステム18などの各部を制御する。この際、ECU14は、車載ネットワーク23を介して取得されるセンサデータ、すなわち、舵角センサ19、アクセルセンサ20、シフトセンサ21、車輪速センサ22などの検出結果(出力値)を、制御に利用することが可能である。また、ECU14は、車載ネットワーク23を介して取得される、タッチパネル10を用いた入力操作に関する情報も、制御に利用することが可能である。
ECU14は、CPU(中央演算処理装置)14aや、ROM(リードオンリーメモリ)14b、RAM(ランダムアクセスメモリ)14c、表示制御部14d、音声制御部14e、SSD(ソリッドステートドライブ)14fなどといったハードウェア構成を有している。
CPU14aは、車両1全体を制御する制御部である。CPU14aは、ROM14bやSSD14fなどの記憶装置に記憶されたプログラムを読み出し、当該プログラムに含まれる指令に従って動作することで、各種の処理を実行する。RAM14cは、たとえば、CPU14aが各種の処理を実行する際の作業領域として用いられる。
表示制御部14dは、表示装置8を介した画像出力を制御する。また、音声制御部14eは、音声出力装置9を介した音声出力を制御する。
なお、第1実施形態によるECU14において、CPU14a、ROM14bおよびRAM14cは、1つの集積回路に搭載されていてもよい。また、第1実施形態によるECU14では、車両1全体を制御する制御部として、CPU14aに替えて、DSP(デジタルシグナルプロセッサ)などのプロセッサや論理回路が設けられていてもよい。また、第1実施形態では、CPU14aにより実行されるプログラムなどを記憶する主記憶装置として、SSD14fに替えて(またはSSD14fに加えて)、HDD(ハードディスクドライブ)が設けられていてもよい。さらに、第1実施形態では、ECU14に接続される外部装置が、主記憶装置としてのSSD14fを有していてもよい。
ところで、一般に、車両1の製造工程においては、各種の部品の組付工程の後に、当該各種の部品の検査工程が行われる。検査工程では、たとえば、車載カメラ16の撮像画像および当該撮像画像に基づいて生成される画像を用いた画像診断により、車載カメラ16が正常に動作しているか否かの検査が行われる。
上記のような画像診断には、たとえば、車載カメラ16a〜16dによる4枚の撮像画像に基づいて生成される、車両1を上方から見た俯瞰画像が用いられる。車載カメラ16a〜16dのうちの少なくとも1つに異常が存在する場合、俯瞰画像のうちの、車載カメラ16a〜16dによる4つの撮像領域の境界に対応した境界領域に写る対象物の表示ズレなどといった異常が表れる。このため、俯瞰画像を用いた画像診断では、検査員が俯瞰画像を目視で確認する必要がある。
従来では、上記の俯瞰画像などを車両1の内部の表示装置8に表示させることで画像診断を行うことが一般的であった。しかしながら、このような画像診断の手法は、表示装置8が無い車両1には適用不可能である。
そこで、第1実施形態では、画像を表示可能な外部機器を接続するための外部インターフェース13を車載ネットワーク23上に設け、画像診断に用いる画像を車両から外部機器に車載ネットワーク23を介して転送することで、外部機器を用いて画像診断を行うことが可能な構成が適用される。
以下、図4を参照して、画像診断に用いられる外部機器としての端末装置50についてより具体的に説明する。図4は、第1実施形態による画像診断に用いられる端末装置50の概略的なハードウェア構成を示した例示的なブロック図である。
図4に示されるように、端末装置50は、ハードウェア構成として、接続インターフェース(I/F)51と、表示部52と、操作入力部53と、制御部54と、を有している。接続インターフェース51と、表示部52と、操作入力部53と、制御部54とは、バス55などを介して接続されている。
接続インターフェース51は、車両1の外部インターフェース13に接続するためのインターフェースである。たとえば、接続インターフェース51と外部インターフェース13とは、通信ケーブルなどを介して接続される。表示部52は、画像を表示するためのデバイスである。表示部52は、車両1の表示装置8と同様に、LCDやOELDなどにより構成される。
操作入力部53は、端末装置50に対する操作を入力するためのデバイスである。操作入力部53は、たとえば、表示部52に重ねて設けられるタッチパネルなどにより構成される。制御部54は、端末装置50の各部の動作を統括的に制御するデバイスである。制御部54は、プロセッサやメモリ(およびストレージ)などといった、通常のコンピュータと同様のハードウェア構成を有する。
ここで、端末装置50を用いた画像診断を行うためには、当該画像診断に用いられる画像、たとえば上述した俯瞰画像のような画像を、車両1(ECU14)から端末装置50に転送して表示部52に表示する必要がある。このような画像の転送は、車載ネットワーク23を介して行われる。
しかしながら、車載ネットワーク23は、伝送速度が比較的遅いことが知られている。このため、たとえば画像診断に用いられる画像をそのままの形で転送すると、転送が完了するまでに時間がかかり、端末装置50を用いた画像診断の効率性が低下するおそれがある。
そこで、第1実施形態は、画像診断に用いる画像を転送するための車両1側の機能モジュール群である画像転送装置100と、画像診断に用いる画像を受信して表示するための端末装置50側の機能モジュール群である画像診断装置200と、を以下のように構成することで、画像診断の効率性が低下するのを抑制する。
図5は、第1実施形態による画像転送装置100および画像診断装置200の機能的構成を示した例示的なブロック図である。第1実施形態では、図5に示された画像転送装置100および画像診断装置200により、車載カメラ16の異常を画像に基づいて診断する画像診断を行うための画像診断システムが構成される。以下では、車両1の外部インターフェース13と端末装置50の接続インターフェース51とが接続されることで、画像転送装置100と画像診断装置200とが互いに通信可能な状態になっているものとする。また、以下では、車両1を上方から見た俯瞰画像または当該俯瞰画像に基づく画像が、画像診断に用いられるものとする(詳細は後述する)。
図5に示されるように、画像転送装置100は、ECU14のCPU14aが所定のソフトウェア(コンピュータプログラム)を実行した結果としてECU14内に実現される機能モジュール群であり、画像診断装置200は、制御部54のプロセッサが所定のソフトウェアを実行した結果として制御部54内に実現される機能モジュール群である。なお、第1実施形態では、これらの機能モジュール群の一部または全部が専用のハードウェア(回路)によって実現されてもよい。
より具体的に、画像転送装置100は、指示受信部101と、俯瞰画像取得部102と、診断画像抽出部103と、画像転送部104と、を有している。また、画像診断装置200は、入力受付部201と、指示出力部202と、画像受信部203と、表示処理部204と、を有している。
画像診断装置200の入力受付部201は、操作入力部53を介して入力される検査員の操作入力を受け付ける。操作入力の例としては、画像診断に用いる画像の準備を画像転送装置100に指示する操作や、画像診断に用いる画像の転送を画像転送装置100に指示する操作などが挙げられる。画像診断装置200の指示出力部202は、入力受付部201が受け付けた操作入力に応じた指示を、車載ネットワーク23を介して画像転送装置100に出力する。
画像転送装置100の指示受信部101は、画像診断装置200の指示出力部202から出力された指示を受信する。画像転送装置100の俯瞰画像取得部102は、画像診断に用いる画像の準備を指示するために画像診断装置200から出力される画像準備指示が指示受信部101により受信されると、当該画像準備指示に従い、車載カメラ16a〜16dによる4枚の撮像画像に基づいて生成される俯瞰画像を取得する。このとき、俯瞰画像取得部102は、カラーの俯瞰画像をグレースケール化することで、データ量を削減してもよい。
ここで、第1実施形態において用いられる俯瞰画像について簡単に説明する。図6は、第1実施形態において用いられる俯瞰画像の一例を示した例示的な図である。
図6に示されるように、俯瞰画像とは、車両1および当該車両1の周辺の領域を上方から見た画像である。俯瞰画像は、車両1の前後左右に設けられる車載カメラ16による4枚の撮像画像に視点変換や合成などといった種々の画像処理が施されることで生成される。
ここで、前述したように、車載カメラ16a〜16dのうちの少なくとも1つに異常が存在する場合、俯瞰画像のうちの、車載カメラ16a〜16dによる4つの撮像領域の境界に対応した境界領域に写る対象物の表示ズレなどといった異常が表れる。たとえば、図6の例では、車載カメラ16a〜16dのうちの少なくとも1つに異常が存在する場合、車両1の四隅から斜めに延びるラインL1〜L4を含む境界領域R1〜R4に写る対象物の表示ズレが発生する。
図6の例において、俯瞰画像の全体を目視で確認すれば、境界領域R1〜R4に写る対象物の表示ズレの有無を判定し、車載カメラ16a〜16dの異常の有無の診断ができることは言うまでもない。しかしながら、境界領域R1〜R4に写る対象物の表示ズレの有無は、俯瞰画像の全体を確認しなくても、境界領域R1〜R4のみを確認すれば、判定可能である。
そこで、図5に戻り、第1実施形態による画像転送装置100の診断画像抽出部103は、画像診断に用いる画像の転送を指示する画像転送指示が指示受信部101により受信されると、当該画像転送指示に応じて、俯瞰画像取得部102により取得された俯瞰画像の一部、つまり図6の例における境界領域R1〜R4の画像を、画像診断のための診断画像として抽出する(切り出す)。
そして、画像転送装置100の画像転送部104は、診断画像抽出部103により抽出された診断画像を、車載ネットワーク23を介して画像診断装置200に転送する。これにより、画像診断のために画像転送装置100から画像診断装置200に転送される画像のサイズが小さくなるので、転送が完了するまでにかかる時間を短縮し、画像診断の効率性を向上させることが可能になる。
図7は、第1実施形態において俯瞰画像から部分的に抽出される診断画像の一例を示した例示的な図である。図7において、(a)の診断画像は、図6において車両1の左前方に位置する境界領域R1の画像であり、(b)の診断画像は、図6において車両1の右前方に位置する境界領域R2の画像である。また、図7において、(c)の診断画像は、図6において車両1の左後方に位置する境界領域R3の画像であり、(d)の診断画像は、図6において車両1の右後方に位置する境界領域R4の画像である。
なお、第1実施形態は、画像転送装置100に転送させる画像を、俯瞰画像の一部の診断画像(図7参照)とするか、または全体の俯瞰画像(図6参照)とするかを、検査員が任意に選択可能な構成になっている。この選択は、たとえば、画像診断に用いる画像の転送を指示するために画像診断装置200から画像転送装置100に出力される画像転送指示に含められる。
したがって、図5に戻り、第1実施形態による画像転送装置100の画像転送部104は、画像転送指示が指示受信部101により受信されると、その画像転送指示に含まれる検査員の選択に応じて、俯瞰画像の一部の診断画像(図7参照)を転送するか、全体の俯瞰画像(図6参照)を転送するか、を切り替える。つまり、第1実施形態では、画像転送指示において、全体の俯瞰画像の転送が要求されている場合、画像転送装置100の診断画像抽出部103は、診断画像の抽出を実行せず、画像転送装置100の画像転送部104は、全体の俯瞰画像の転送を実行する。これにより、俯瞰画像の一部の診断画像を用いた画像診断と、全体の俯瞰画像を用いた画像診断と、を必要に応じて使い分けることができる。
なお、画像診断装置200の画像受信部203は、画像転送装置100から転送された画像、つまり俯瞰画像の一部の診断画像(図7参照)または全体の俯瞰画像(図6参照)を受信する。また、画像診断装置200の表示処理部204は、画像受信部203により受信された画像を表示部52に表示する。これにより、検査員は、画像診断装置200の表示部52の表示画面を確認することで、境界領域R1〜R4に写る対象物の表示ズレの有無に基づいて、車載カメラ16の異常の有無を診断することができる。
以上の構成により、第1実施形態における画像診断時では、画像転送装置100および画像診断装置200が、以下のような流れで動作する。図8は、第1実施形態による画像転送装置100および画像診断装置200の画像診断時における動作の流れを示した例示的なシーケンス図である。
図8に示されるように、第1実施形態における画像診断時では、まず、画像診断装置200が、画像診断に用いる画像の準備を画像転送装置100に指示する画像準備指示を、画像転送装置100に出力する(S1)。画像転送装置100は、画像準備指示を受信すると、当該画像準備指示に従い、俯瞰画像を取得する(S2)。そして、画像転送装置100は、俯瞰画像の取得が完了すると、準備完了の通知を画像診断装置200に出力する(S3)。
画像診断装置200は、準備完了の通知を受信すると、画像診断に用いる画像の転送を画像転送装置100に指示する画像転送指示を、画像転送装置100に出力する(S4)。上述したように、画像転送指示には、転送対象の画像が俯瞰画像の一部の診断画像(図7参照)であるか、または全体の俯瞰画像(図6参照)であるかに関する検査員の選択が含まれる。
画像転送装置100は、画像転送指示を受信すると、当該画像転送指示に含まれる検査員の選択に基づき、必要に応じて、全体の俯瞰画像(図6参照)から、当該俯瞰画像の一部の診断画像(図7参照)を抽出する(S5)。つまり、画像転送装置100は、画像転送指示で俯瞰画像の一部の診断画像の転送が要求されている場合は、診断画像の抽出を実行する一方、画像転送指示で全体の俯瞰画像の転送が要求されている場合は、診断画像の抽出を実行せずに、次の動作を実行する。
画像転送装置100は、診断画像の抽出を実行した場合、抽出した診断画像を画像診断装置200に転送し、診断画像の抽出を実行しなかった場合、全体の俯瞰画像を画像診断装置200に転送する(S6)。そして、画像診断装置200は、俯瞰画像の一部の診断画像または全体の俯瞰画像を受信すると、受信した画像を表示部52に表示する(S7)。
以上説明したように、第1実施形態による画像転送装置100は、車載カメラ16の撮像結果に基づく(画像診断のための)所定の画像としての俯瞰画像を取得する俯瞰画像取得部102と、車載ネットワーク23上に設けられる外部インターフェース13に画像診断装置200が接続された場合に、当該画像診断装置200からの指示に応じて、俯瞰画像から部分的に抽出された診断画像を画像診断装置200に車載ネットワーク23を介して転送する画像転送部104と、を有している。これにより、画像診断のために転送される診断画像のサイズが小さくなり、転送量が少なくなるので、伝送速度が比較的遅い車載ネットワークであっても、より迅速に診断画像を転送することができる。その結果、外部機器としての画像診断装置200を用いた画像診断の効率性が低下するのを抑制することができる。
また、第1実施形態による画像転送装置100において、画像転送部104は、俯瞰画像のうち、車載カメラ16a〜16dによる複数の撮像領域の境界に対応した境界領域の画像を、診断画像として転送する。これにより、俯瞰画像のうち、画像診断を行う必要がある境界領域の画像のみを、診断画像として転送することができるので、画像診断装置200を用いた画像診断の効率性を向上させることができる。
<第2実施形態>
上述した第1実施形態では、俯瞰画像から複数の診断画像が抽出された場合、抽出された全ての診断画像の転送が実行される。しかしながら、診断画像に異常が存在するか否かを転送前に判定し、異常が存在すると判定された診断画像のみを実際に転送するようにすれば、転送量をさらに削減することが可能になるとともに、検査員による確認の手間も低減することが可能になるので、画像診断の効率性が向上し、有意義である。
そこで、以下では、第2実施形態として、診断画像が抽出された時点で当該診断画像に異常が存在するか否かを画像転送装置100a側で判定する画像診断システムについて説明する。
まず、第2実施形態による画像診断システムの構成について説明する。図9は、第2実施形態による画像転送装置100aおよび画像診断装置200の機能的構成を示した例示的なブロック図である。
図9に示されるように、第2実施形態による画像転送装置100aは、指示受信部101と、俯瞰画像取得部102と、診断画像抽出部103と、画像転送部104aと、比較画像記憶部105aと、を有している。指示受信部101、俯瞰画像取得部102、および診断画像抽出部103については、上述した第1実施形態(図5参照)と同様であるため、以下では画像転送部104aおよび比較画像記憶部105aについてのみ説明する。また、画像診断装置200についても、上述した第1実施形態と同様であるため、以下では、画像診断装置200についての詳細な説明を省略する。
第2実施形態による画像転送装置100aの画像転送部104aは、画像診断装置200からの画像転送指示に応じて俯瞰画像の一部の複数の診断画像(図7参照)を転送する場合、それら複数の診断画像のうち、比較画像記憶部105aに記憶された比較画像と一致しない診断画像のみを、画像診断装置200に転送する。なお、比較画像とは、車載カメラ16に異常がない状態での境界領域を表す画像、つまり対象物の表示ズレがない診断画像のことである。このような比較画像は、比較画像記憶部105aに予め記憶されているものとする。
より具体的に、第2実施形態による画像転送部104aは、診断画像抽出部103により複数の診断画像(図7参照)が抽出された場合、まず、それら複数の診断画像と比較画像とが一致するか否かを判定することで、比較画像と一致しない診断画像を特定する。
ここで、比較画像と一致しない診断画像は、異常な診断画像、つまり異常を含む車載カメラ16の撮像結果に基づいて生成された診断画像であると言えるため、画像診断の対象とする必要がある。一方、比較画像と一致する診断画像は、異常がない診断画像、つまり異常を含まない車載カメラ16の撮像結果に基づいて生成された診断画像であると言えるため、画像診断の対象とする必要はない。
したがって、第2実施形態による画像転送部104aは、上記の判定結果に基づいて、比較画像と一致しない診断画像のみを、画像診断装置200に転送する。これにより、第2実施形態によれば、転送量をさらに削減することが可能になるとともに、検査員による確認の手間も低減することが可能になるので、画像診断の効率性が向上する。
なお、第2実施形態のその他の構成は、上述した第1実施形態と同様であるため、ここでは説明を省略する。
次に、第2実施形態において実行される動作の流れについて説明する。図10は、第2実施形態による画像転送装置100aおよび画像診断装置200の画像診断時における動作の流れを示した例示的なシーケンス図である。
図10に示されるように、第2実施形態における画像診断時には、画像診断装置200による画像準備指示の出力(S11)と、画像転送装置100aによる俯瞰画像の取得(S12)と、画像転送装置100aによる準備完了の通知の出力(S13)と、画像診断装置200による画像転送指示の出力(S14)と、画像転送装置100aによる診断画像の抽出(S15)と、がこの順番で実行される。なお、S11〜S15までの動作の流れは、図8に示された第1実施形態におけるS1〜S5までの動作の流れと同様であるため、ここではこれ以上の説明を省略する。また、以下では、簡単化のため、S14の画像転送指示において、全体の俯瞰画像の転送が要求されていないものとする。
画像転送装置100aは、診断画像の抽出を実行した場合、抽出した診断画像と、比較画像記憶部105aに記憶された比較画像と、を比較し、比較結果に基づいて、比較画像と一致しない診断画像を、異常な診断画像として特定する(S16)。そして、画像転送装置100aは、特定した異常な診断画像のみを、画像診断装置200に転送する(S17)。そして、画像診断装置200は、異常な画像を受信すると、受信した異常な画像を表示部52に表示する(S18)。
以上説明したように、第2実施形態において、画像転送装置100aは、車載カメラ16a〜16dに異常がない状態での境界領域を表す比較画像を記憶する比較画像記憶部105aを有しており、画像転送部104aは、比較画像と一致しない診断画像を、車載ネットワーク23を介して画像診断装置200に転送する。これにより、比較画像と一致しない診断画像、つまり画像診断を行う必要がある診断画像のみを画像診断装置200に転送することができるので、画像診断装置200を用いた画像診断の効率性を向上させることができる。
なお、第2実施形態のその他の効果は、上述した第1実施形態と同様である。
<第2実施形態の変形例>
上述した第2実施形態では、診断画像に異常が存在するか否かの判定を、画像の転送前に、画像を転送する側で実行する例について説明した。しかしながら、診断画像に異常が存在するか否かの判定は、診断画像の転送後に、診断画像を受信した側で実行することも可能である。
そこで、以下では、第2実施形態の変形例として、診断画像に異常が存在するか否かの判定を、診断画像の転送後に、診断画像を受信した画像診断装置200a側で実行する例について説明する。
まず、第2実施形態の変形例による画像診断システムの構成について説明する。図11は、第2実施形態の変形例による画像転送装置100および画像診断装置200aの機能的構成を示した例示的なブロック図である。
図11に示されるように、第2実施形態の変形例による画像診断装置200aは、入力受付部201と、指示出力部202と、画像受信部203と、表示処理部204aと、比較画像記憶部205aと、を有している。入力受付部201、指示出力部202、および画像受信部203については、上述した第2実施形態(図9参照)と同様であるため、以下では表示処理部204aおよび比較画像記憶部205aについてのみ説明する。また、画像転送装置100については、上述した第1実施形態(図5参照)と同様であるため、以下では、画像転送装置100についての詳細な説明を省略する。
第2実施形態の変形例による画像診断装置200aの表示処理部204aは、画像受信部203により複数の診断画像(図7参照)が受信された場合、それら複数の診断画像のうち、比較画像記憶部205aに記憶された比較画像と一致しない診断画像のみを、表示部52(図4参照)に表示する。ここで言及している比較画像とは、上述した第2実施形態と同様の、車載カメラ16に異常がない状態での境界領域を表す画像、つまり対象物の表示ズレがない診断画像のことである。このような比較画像は、比較画像記憶部205aに予め記憶されているものとする。
より具体的に、第2実施形態の変形例による表示処理部204aは、画像受信部203により複数の診断画像(図7参照)が受信された場合、まず、それら複数の診断画像と比較画像とが一致するか否かを判定することで、比較画像と一致しない診断画像を特定する。
上述した第2実施形態と同様に、比較画像と一致しない診断画像は、異常な診断画像、つまり異常を含む車載カメラ16の撮像結果に基づいて生成された診断画像であると言えるため、画像診断の対象とする必要がある。一方、比較画像と一致する診断画像は、異常がない診断画像、つまり異常を含まない車載カメラ16の撮像結果に基づいて生成された診断画像であると言えるため、画像診断の対象とする必要はない。
したがって、第2実施形態の変形例による表示処理部204aは、上述した判定結果に基づいて、比較画像と一致しない診断画像のみを、表示部52(図4参照)に表示する。これにより、第2実施形態の変形例によれば、検査員に異常な診断画像のみを確認させることができるので、画像診断の効率性を向上させることができる。
なお、第2実施形態の変形例のその他の構成は、上述した第2実施形態と同様であるため、ここでは説明を省略する。
次に、第2実施形態の変形例において実行される動作の流れについて説明する。図12は、第2実施形態の変形例による画像転送装置100および画像診断装置200aの画像診断時における動作の流れを示した例示的なシーケンス図である。
図12に示されるように、第2実施形態の変形例における画像診断時には、画像診断装置200aによる画像準備指示の出力(S21)と、画像転送装置100による俯瞰画像の取得(S22)と、画像転送装置100による準備完了の通知の出力(S23)と、画像診断装置200aによる画像転送指示の出力(S24)と、画像転送装置100による診断画像の抽出(S25)と、がこの順番で実行される。なお、S21〜S25までの動作の流れは、図10に示された第2実施形態におけるS11〜S15までの動作の流れと同様であるため、ここではこれ以上の説明を省略する。
画像転送装置100は、診断画像の抽出を実行した場合、抽出した全ての診断画像を、画像診断装置200aに転送する(S26)。そして、画像診断装置200aは、受信した診断画像と、比較画像記憶部205aに記憶された比較画像と、を比較し、比較結果に基づいて、比較画像と一致しない診断画像を、異常な診断画像として特定する(S27)。そして、画像診断装置200aは、特定した異常な診断画像のみを、表示部52に表示する(S28)。
以上説明したように、第2実施形態の変形例において、画像診断装置200aは、車載カメラ16a〜16dに異常がない状態での境界領域を表す比較画像を記憶する比較画像記憶部205aを有しており、表示処理部204aは、画像受信部203が受信した診断画像のうち、比較画像と一致しない診断画像を表示部52に表示する。これにより、比較画像と一致しない診断画像、つまり画像診断を行う必要がある診断画像のみを、表示部52に表示することができるので、画像診断の効率性を向上させることができる。
<第3実施形態>
上述した第1実施形態、第2実施形態およびその変形例では、車両1を上方から見た俯瞰画像から診断画像を抽出する例について説明した。しかしながら、診断画像は、俯瞰画像から抽出される画像に限られるものではない。
そこで、以下では、第3実施形態として、光軸調整などといった車載カメラ16の校正の指標として設けられるマーカM(後述の図14参照)の撮像画像であるマーカ画像から診断画像を抽出する画像診断システムについて説明する。
まず、第3実施形態による画像診断システムの構成について説明する。図13は、第3実施形態による画像転送装置100bおよび画像診断装置200において実現される機能的構成を示した例示的なブロック図である。
図13に示されるように、第3実施形態による画像転送装置100bは、指示受信部101と、マーカ画像取得部102bと、マーカ異常判定部106bと、診断画像抽出部103bと、画像転送部104bと、を有している。指示受信部101については、上述した第1実施形態(図5参照)と同様であるため、以下では、マーカ画像取得部102b、マーカ異常判定部106b、診断画像抽出部103b、および画像転送部104bについてのみ説明する。また、画像診断装置200については、上述した第1実施形態(図5参照)と同様であるため、以下では、画像診断装置200についての詳細な説明を省略する。
マーカ画像取得部102bは、画像診断装置200からの画像準備指示が指示受信部101により受信された場合に、マーカ画像を取得する。このとき、マーカ画像取得部102bは、マーカ画像に2値化処理などを施すことで、マーカ画像のデータ量を削減してもよい。ここで、マーカ画像とは、検査のために停車中の車両1の周囲に設けられるマーカMを車載カメラ16で撮像した画像のことである。詳細は後述するが、第3実施形態では、マーカ画像に基づいて生成される画像が、画像診断の対象となる。
図14は、第3実施形態による画像診断で用いられるマーカMを示した模式的かつ例示的な図である。図14に示されるように、マーカMは、車両1の周囲に、各車載カメラ16に対して2つずつ対応するように設置される。図14の例において、マーカMは、複数の円形の印Sを含んでいる。なお、図14に示されたマーカMの個数および配置は、あくまで一例であって、マーカMの個数および配置は、図14に示された例に限られるものではない。
図13に戻り、マーカ異常判定部106bは、マーカ画像取得部102bにより取得されたマーカ画像から、マーカMが正常に検出されるか否かを判定する。たとえば、マーカ画像に写っているマーカM内の円形の印Sの個数が実際のものと異なる状態である場合、マーカ異常判定部106bは、当該マーカ画像からマーカMが正常に検出されない、つまりマーカ画像が何らかの異常を含んでいると判断する。このようなマーカ画像の異常は、車載カメラ16の光軸などに異常がある場合に発生しうる。
ところで、上記のようなマーカ画像の異常は、画像処理などによって検出することが可能である。しかしながら、検出された異常が、具体的にどのような要因で発生したものなのかは、画像処理では分からない。たとえば、検出された異常が、マーカMの周辺の照度が原因で発生したものなのか、よごれが原因で発生したものなのか、障害物が原因で発生したものなのかなどは、マーカ画像における異常に該当する部分を検査員に目視で確認させる画像診断を行わなければ分からない。
一方、前述したように、車載ネットワーク23は、伝送速度が比較的遅いことが知られている。このため、検査員による画像診断の効率性を考慮すると、マーカ画像の全体を画像転送装置100bから画像診断装置200に転送するのではなく、マーカ画像における異常に該当する部分のみを画像転送装置100bから画像診断装置200に転送することが望ましい。
そこで、第3実施形態による診断画像抽出部103bは、マーカ異常判定部106bの判定結果に応じて、マーカMが正常に検出されなかったマーカ画像から、画像診断のための診断画像を部分的に抽出する。より具体的に、診断画像抽出部103bは、マーカMが正常に検出されなかったマーカ画像のうち、マーカMの設置位置を含む所定の範囲に対応した所定の領域の画像を、診断画像として抽出する。
図15は、第3実施形態においてマーカ画像から部分的に抽出される診断画像の一例を示した例示的な図である。図15に示されるように、第3実施形態による診断画像は、車両1の周辺に設置されたマーカMを車載カメラ16で撮像することで得られたマーカ画像のうち、マーカMが写った部分を、その周辺の領域とともに切り出したものである。マーカMの設置位置は、予め決まっているため、マーカ画像を切り出す範囲は、マーカMの設置位置に応じて予め決まっている。したがって、第3実施形態では、マーカ画像を切り出す範囲が、ROI(Region Of Interest)として予め記憶されているものとする。
図13に戻り、画像転送部104bは、診断画像抽出部103bにより診断画像が抽出された場合、抽出された診断画像を、画像診断装置200に転送する。このとき、画像転送部104bは、診断画像にデータ圧縮を施してもよい。これにより、診断画像のデータ量が削減されるので、伝送速度が比較的遅い車載ネットワーク23であっても、より迅速に診断画像を転送することができ、画像診断の効率性が低下するのを抑制することができる。
なお、第3実施形態のその他の構成は、上述した第1実施形態と同様であるため、ここでは説明を省略する。
次に、第3実施形態において実行される動作の流れについて説明する。図16は、第3実施形態による画像転送装置100bおよび画像診断装置200の画像診断時における動作の流れを示した例示的なシーケンス図である。
図16に示されるように、第3実施形態における画像診断時では、まず、画像診断装置200が、画像診断に用いる画像の準備を画像転送装置100bに指示する画像準備指示を、画像転送装置100bに出力する(S31)。画像転送装置100bは、画像準備指示を受信すると、当該画像準備指示に従い、マーカ画像を取得する(S32)。そして、画像転送装置100bは、マーカ画像からマーカMが正常に検出されるか否かを、画像処理などによって判定する(S33)。判定が終了すると、画像転送装置100bは、準備完了の通知を画像診断装置200に出力する(S34)。
画像診断装置200は、準備完了の通知を受信すると、画像診断に用いる画像の転送を画像転送装置100bに要求する画像転送指示を、画像転送装置100bに出力する(S35)。そして、画像転送装置100bは、画像転送指示を受信すると、マーカ画像から、ROIとして予め設定された領域を切り出すことで、マーカ画像の一部の、マーカMが写った診断画像を抽出する(S36)。
そして、画像転送装置100bは、抽出した診断画像を、車載ネットワーク23を介して画像診断装置200に転送する(S37)。そして、画像診断装置200は、診断画像を受信すると、受信した診断画像を、表示部52に表示する(S38)。
以上説明したように、第3実施形態による画像転送装置100bにおいて、マーカ画像取得部102bは、車両1の周辺の所定の位置に設置されたマーカMの車載カメラ16による撮像画像であるマーカ画像を、画像診断を行うための所定の画像として取得する。そして、画像転送装置100bの画像転送部104bは、マーカ異常判定部106bの判定結果に応じて、マーカMが正常に検出されなかったマーカ画像のうち、マーカMの設置位置を含む所定の範囲に対応した所定の領域の画像を、診断画像として転送する。これにより、マーカ画像のうち、画像診断を行う必要がある所定の領域の画像のみを、診断画像として転送することができる。
なお、第3実施形態のその他の効果は、上述した第1実施形態と同様である。
以上、本発明のいくつかの実施形態および変形例を説明したが、上述した実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態および変形例は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態および変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 車両
13 外部インターフェース
16、16a〜16d 車載カメラ
23 車載ネットワーク
100、100a、100b 画像転送装置
102 俯瞰画像取得部(画像取得部)
102b マーカ画像取得部(画像取得部)
104、104a、104b 画像転送部
105a 比較画像記憶部(記憶部)
106b マーカ異常判定部(判定部)
200、200a 画像診断装置
201 入力受付部
202 指示出力部
203 画像受信部
204、204a 表示処理部
205a 比較画像記憶部(記憶部)

Claims (8)

  1. 車両の周辺を撮像する車載カメラの撮像結果に基づく所定の画像を取得する画像取得部と、
    前記車載カメラの異常を画像に基づいて診断する画像診断装置が、車載ネットワーク上に設けられる前記車両の外部インターフェースに接続された場合に、前記画像診断装置からの指示に応じて、前記所定の画像から部分的に抽出された診断画像を、前記車載ネットワークを介して前記画像診断装置に転送する画像転送部と、
    を備える、画像転送装置。
  2. 前記画像取得部は、前記車載カメラが複数設けられている場合に当該複数の車載カメラの撮像結果に基づいて生成される、前記車両の周辺を上方から見た俯瞰画像を、前記所定の画像として取得し、
    前記画像転送部は、前記俯瞰画像のうち、前記複数の車載カメラによる複数の撮像領域の境界に対応した境界領域の画像を、前記診断画像として転送する、
    請求項1に記載の画像転送装置。
  3. 前記複数の車載カメラに異常がない状態での前記境界領域を表す比較画像を記憶する記憶部をさらに備え、
    前記画像転送部は、前記比較画像と一致しない前記診断画像を、前記車載ネットワークを介して前記画像診断装置に転送する、
    請求項2に記載の画像転送装置。
  4. 前記画像取得部は、前記車載カメラが複数設けられている場合に当該複数の車載カメラにより撮像される、前記車両の周辺の所定の位置に設置されたマーカの撮像画像を、前記所定の画像として取得し、
    前記撮像画像から前記マーカが正常に検出されるか否かを判定する判定部をさらに備え、
    前記画像転送部は、前記判定部の判定結果に応じて、前記マーカが正常に検出されなかった前記撮像画像のうち、前記マーカの設置位置を含む所定の範囲に対応した所定の領域の画像を、前記診断画像として転送する、
    請求項1に記載の画像転送装置。
  5. 前記画像転送部は、前記画像診断装置からの前記指示に応じて、前記診断画像を転送するか、または前記所定の画像の全体を転送するか、を切り替える、
    請求項1〜4のいずれか1項に記載の画像転送装置。
  6. 車載ネットワーク上に設けられる車両の外部インターフェースに接続可能に構成され、前記車両の周辺を撮像する車載カメラの異常を画像に基づいて診断する画像診断装置であって、
    操作入力を受け付ける入力受付部と、
    前記画像診断装置が前記外部インターフェースに接続された状態で、前記車両の画像転送装置であって、前記車載カメラの撮像結果に基づく所定の画像を取得する画像取得部と、前記画像診断装置が前記外部インターフェースに接続された場合に、前記画像診断装置からの指示に応じて、前記所定の画像から部分的に抽出された診断画像を、前記車載ネットワークを介して前記画像診断装置に転送する画像転送部と、を備えた画像転送装置に、前記操作入力に対応した指示を出力する指示出力部と、
    前記指示に応じて前記画像転送装置から転送された前記診断画像を受信する画像受信部と、
    前記画像受信部により受信された前記診断画像を表示部に表示する表示処理部と、
    を備える、画像診断装置。
  7. 前記所定の画像は、前記車載カメラが複数設けられている場合に当該複数の車載カメラの撮像結果に基づいて生成される、前記車両の周辺を上方から見た俯瞰画像であり、
    前記診断画像は、前記俯瞰画像のうち、前記複数の車載カメラによる複数の撮像領域の境界に対応した境界領域の画像であり、
    前記複数の車載カメラに異常がない状態での前記境界領域を表す比較画像を記憶する記憶部をさらに備え、
    前記表示処理部は、前記画像受信部が受信した前記診断画像のうち、前記比較画像と一致しない前記診断画像を前記表示部に表示する、
    請求項6に記載の画像診断装置。
  8. 車両に設けられる画像転送装置と、
    車載ネットワーク上に設けられる前記車両の外部インターフェースに接続可能に構成され、前記車両の周辺を撮像する車載カメラの異常を画像に基づいて診断する画像診断装置と、
    を備え、
    前記画像転送装置は、
    前記車載カメラの撮像結果に基づく所定の画像を取得する画像取得部と、
    前記画像診断装置が前記外部インターフェースに接続された場合に、前記画像診断装置からの指示に応じて、前記所定の画像から部分的に抽出された診断画像を、前記車載ネットワークを介して前記画像診断装置に転送する画像転送部と、
    を含み、
    前記画像診断装置は、
    操作入力を受け付ける入力受付部と、
    前記画像診断装置が前記外部インターフェースに接続された状態で、前記操作入力に対応した前記指示を、前記画像転送装置に出力する指示出力部と、
    前記指示に応じて前記画像転送装置から転送された前記診断画像を表示部に表示する表示処理部と、
    を含む、画像診断システム。
JP2017114593A 2017-06-09 2017-06-09 画像転送装置、画像診断装置、および画像診断システム Active JP6855331B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017114593A JP6855331B2 (ja) 2017-06-09 2017-06-09 画像転送装置、画像診断装置、および画像診断システム
CN201810569394.0A CN109068091A (zh) 2017-06-09 2018-06-05 图像传送装置、图像诊断装置以及图像诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017114593A JP6855331B2 (ja) 2017-06-09 2017-06-09 画像転送装置、画像診断装置、および画像診断システム

Publications (2)

Publication Number Publication Date
JP2018207458A JP2018207458A (ja) 2018-12-27
JP6855331B2 true JP6855331B2 (ja) 2021-04-07

Family

ID=64820371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017114593A Active JP6855331B2 (ja) 2017-06-09 2017-06-09 画像転送装置、画像診断装置、および画像診断システム

Country Status (2)

Country Link
JP (1) JP6855331B2 (ja)
CN (1) CN109068091A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7202195B2 (ja) * 2019-01-23 2023-01-11 本田技研工業株式会社 表示システム、走行制御装置、表示制御方法およびプログラム
US20220130185A1 (en) * 2020-10-23 2022-04-28 Argo AI, LLC Enhanced sensor health and regression testing for vehicles

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112008004279A5 (de) * 2007-02-16 2015-04-23 Autonetworks Technologies, Ltd. In ein Fahrzeug eingebautes Videokommunikationssystem und in ein Fahrzeug eingebautes Bildaufnahmesystem
JP5592138B2 (ja) * 2010-03-31 2014-09-17 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
DE102011077143A1 (de) * 2011-06-07 2012-12-13 Robert Bosch Gmbh Fahrzeugkamerasystem und Verfahren zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung
WO2012172923A1 (ja) * 2011-06-16 2012-12-20 アイシン精機株式会社 車両周辺監視装置
CN102387349B (zh) * 2011-10-31 2014-12-10 深圳市长宇电器有限公司 车载摄像头取得图像的显示方法及装置
US9387813B1 (en) * 2012-03-21 2016-07-12 Road-Iq, Llc Device, system and method for aggregating networks and serving data from those networks to computers
JP2014011785A (ja) * 2012-07-03 2014-01-20 Clarion Co Ltd 車載カメラ汚れ除去装置の診断装置、診断方法及び車両システム
CN103676922B (zh) * 2012-09-07 2016-12-21 博世汽车服务技术(苏州)有限公司 一种远程诊断的方法
JP6422077B2 (ja) * 2014-09-30 2018-11-14 株式会社日本総合研究所 俯瞰画像表示システム、端末装置、及びそのプログラム
JP6453645B2 (ja) * 2014-12-25 2019-01-16 京セラ株式会社 ステレオカメラ装置、移動体、ステレオカメラシステム、サーバ装置及び制御方法

Also Published As

Publication number Publication date
JP2018207458A (ja) 2018-12-27
CN109068091A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
EP2990265B1 (en) Vehicle control apparatus
JP6555348B2 (ja) 画像表示制御装置
JP7180144B2 (ja) 運転支援装置
WO2018159017A1 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
CN109070801B (zh) 使用后置相机的拖车角度检测
CN107791951B (zh) 显示控制装置
WO2018003193A1 (ja) 周辺監視装置
JP2018133712A (ja) 周辺監視装置
JP6855331B2 (ja) 画像転送装置、画像診断装置、および画像診断システム
JP2008195268A (ja) 車両周辺監視装置
US20200317267A1 (en) Parking assistance device
US8581984B2 (en) Vehicle circumference monitor apparatus
CN112118417A (zh) 车辆侧后方影像显示装置及方法
JP6054738B2 (ja) カメラモジュール、カメラシステムおよび画像表示方法
JP2019069718A (ja) 運転支援装置
JP2018076019A (ja) 画像処理装置
JP7130923B2 (ja) 表示制御装置
JP2017143482A (ja) 車両用画像表示装置
JP2001045470A (ja) 車両用確認装置
US11833973B2 (en) Vehicle display device, vehicle display method, and non-transitory computer-readable medium storing vehicle display program
WO2024000333A1 (zh) 电子后视镜系统和车辆
JP6699462B2 (ja) 周辺監視装置
JP2006325068A (ja) 画像処理用電子制御装置、画像処理システム、画像撮像処理システム、画像表示システム、画像撮像表示システム
JP6742423B2 (ja) 画像処理装置
JP2019068326A (ja) 周辺監視装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20170629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170629

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210317

R150 Certificate of patent or registration of utility model

Ref document number: 6855331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250