JP6903925B2 - 撮像表示システム、乗用装置 - Google Patents

撮像表示システム、乗用装置 Download PDF

Info

Publication number
JP6903925B2
JP6903925B2 JP2017020133A JP2017020133A JP6903925B2 JP 6903925 B2 JP6903925 B2 JP 6903925B2 JP 2017020133 A JP2017020133 A JP 2017020133A JP 2017020133 A JP2017020133 A JP 2017020133A JP 6903925 B2 JP6903925 B2 JP 6903925B2
Authority
JP
Japan
Prior art keywords
video signal
unit
display
processing unit
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017020133A
Other languages
English (en)
Other versions
JP2018129602A (ja
Inventor
塩原 隆一
隆一 塩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2017020133A priority Critical patent/JP6903925B2/ja
Priority to US15/886,224 priority patent/US10672276B2/en
Priority to EP18155536.8A priority patent/EP3358842A1/en
Publication of JP2018129602A publication Critical patent/JP2018129602A/ja
Priority to US16/857,411 priority patent/US11475771B2/en
Application granted granted Critical
Publication of JP6903925B2 publication Critical patent/JP6903925B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像表示システム、乗用装置に関する。
従来、車両に設けられてきたミラーに変わって、車外を撮像した画像を表示部に表示する構成を備えた所謂ミラーレスカーが知られている。ミラーレスカーにおいて、撮像から表示までに要する時間である表示遅延はなるべく短いことが望ましい。特許文献1には複数の撮像装置で車外を撮影し一つの表示部の別の領域にそれぞれ撮影した画像を表示する構成において表示遅延を短くする技術が記載されている。特許文献2には、複数の撮像装置で撮影した画像を用いて生成したトップビュー画像を一つの表示部に表示することが記載されている。
特開2016−40904号公報 特開2007−129290号公報
複数の撮像装置で撮像した画像を表示遅延が可能な限り短い状態で各撮像装置に対応する表示部に表示したり、複数の撮像装置で撮像した画像を用いた高度な処理を実施したりすることができれば、乗用装置の利便性はさらに向上する。
本発明は、乗用装置の利便性を向上させることを目的とする。
上記目的を達成するための撮像表示システムは、乗用装置の外の像を撮像し、像を示す映像信号を出力する撮像部と、撮像部から映像信号を受信し、受信した映像信号に基づいたデジタル映像信号を出力する映像信号処理部と、デジタル映像信号を映像信号処理部から乗用装置内伝送路を経由して受信する中央信号処理部と、デジタル映像信号を映像信号処理部から受信し、受信したデジタル映像信号から表示用信号を生成し出力する表示制御部と、表示制御部から受信した表示用信号が示す画像を表示する表示部と、を備える。
この構成によれば、撮像された画像を単に表示部に表示する以外に、撮像した画像を中央信号処理部に送信することができる。そのため、送信された画像を用いた画像認識処理などの高度な処理を中央信号処理部に実行させることができる。したがって本構成の映像信号処理部および表示制御部は、撮像から表示までの表示遅延を、画像認識処理等の高負荷な処理の影響で長期化することなく表示部に画像を表示させることが可能である。
上記目的を達成するための撮像表示システムにおいて、映像信号処理部が出力するデジタル映像信号は、表示制御部に送信される第一デジタル映像信号と、中央信号処理部に送信される第二デジタル映像信号とを含み、第一デジタル映像信号と第二デジタル映像信号とは異なる構成であってもよい。
この構成によれば、表示制御部は第一デジタル信号を用いて表示制御処理を行うことができ、中央信号処理部は第二デジタル信号を用いて既定の信号処理を行うことができる。
上記目的を達成するための撮像表示システムにおいて、第一デジタル映像信号が示す像の範囲は、第二デジタル映像信号が示す像の範囲と一部が異なる構成であってもよい。
この構成によれば、映像信号処理部は表示制御部には表示部に表示する画角に相当する画像を送信し、中央信号処理部には表示部に表示する画角と一部異なる画角の画像を送信することができる。その結果、中央信号処理部は当該画像を用いて処理を行うことができる。
上記目的を達成するための撮像表示システムにおいて、映像信号処理部は、映像信号を撮像部から乗用装置内伝送路を経由せずに受信する構成であってもよい。
この構成によれば、撮像部から映像信号処理部への映像信号の伝送は、乗用装置内伝送路を経由しないため、経由する場合と比較すると撮像から表示までに要する時間である表示遅延を低減できる。
上記目的を達成するための撮像表示システムにおいて、表示制御部は、デジタル映像信号を映像信号処理部から乗用装置内伝送路を経由せずに受信する構成であってもよい。
この構成によれば、映像信号処理部から表示制御部へのデジタル映像信号の伝送は、乗用装置内伝送路を経由しないため、経由する場合と比較すると撮像から表示までの時間である表示遅延を低減できる。
上記目的を達成するための撮像表示システムにおいて、表示部は、表示用信号を表示制御部から乗用装置内伝送路を経由せずに受信する構成であってもよい。
この構成によれば、表示制御部から表示部への表示用信号の伝送は、乗用装置内伝送路を経由しないため、経由する場合と比較すると撮像から表示までに要する時間である表示遅延を低減できる。
上記目的を達成するための撮像表示システムにおいて、中央信号処理部は、映像信号処理部から受信したデジタル映像信号に関連する第三デジタル映像信号を生成して乗用装置内伝送路経由で表示制御部に出力し、表示制御部は、映像信号処理部から受信したデジタル映像信号と第三デジタル映像信号とに基づいて表示用信号を生成し表示部に出力する構成であってもよい。
この構成によれば、表示制御部は、中央信号処理部の処理の結果生成された第三デジタル映像信号に基づく表示用信号を表示部に表示させることができる。
上記目的を達成するための撮像表示システムにおいて、表示制御部は、映像信号処理部から受信したデジタル映像信号に第三デジタル映像信号を重畳して表示用信号を生成する構成であってもよい。
この構成によれば、表示制御部は、中央信号処理部の処理の結果生成された第三デジタル映像信号を表示部に表示させることができる。
上記目的を達成するための撮像表示システムにおいて、映像信号処理部と表示制御部と表示部とは一体に構成され、映像信号処理部と中央信号処理部とは乗用装置内伝送路を構成するケーブルで接続されていてもよい。
この構成によれば、映像信号処理部・表示制御部・表示部の各部間の伝送路の長さによる伝送遅延を生じにくくすることができる。
上記目的を達成するための撮像表示システムにおいて、映像信号処理部と表示制御部と表示部の各部間の距離は、映像信号処理部と表示制御部と表示部の各部と中央信号処理部との距離よりも短い構成であってもよい。
この構成によれば、映像信号処理部・表示制御部・表示部の各部は互いに近くに配置されているため、各部間の伝送路の長さによる伝送遅延を生じにくくすることができる。
上記目的を達成するための撮像表示システムは、少なくとも撮像部と映像信号処理部とを有する撮像装置部を複数備えてもよい。その場合に、中央信号処理部は、複数の撮像装置部の映像信号処理部からそれぞれ出力されたデジタル映像信号を乗用装置内伝送路経由で受信し、受信した複数のデジタル映像信号に関連する関連信号を生成し、関連信号を乗用装置内伝送路経由で出力する構成であってもよい。
この構成によれば、複数のデジタル映像信号を用いて様々な処理を行うための関連信号を生成し出力することができる。
上記目的を達成するための乗用装置は、上記した少なくともいずれかの撮像表示システムを備えている。この構成によれば、撮像部で撮像した画像を表示遅延を長期化させることなく表示部に表示することができる。また、撮像部で撮像した画像を用いた画像認識処理などの高度な処理を実施することもできる。そのため、利便性の高い乗用装置を提供することができる。
撮像表示システムの構成を示すブロック図。 撮像表示システムを搭載する自動車を示す模式図。 第一デジタル映像信号と第二デジタル映像信号を示す模式図。 デジタルミラーユニットの配置を示す模式図。 映像信号処理を示すフローチャート。 中央信号処理を示すフローチャート。 表示制御処理を示すフローチャート。 アラート画像の重畳表示例を示す図。
以下、本発明の実施の形態を添付図面を参照しながら説明する。尚、各図において対応する構成要素には同一の符号が付され、重複する説明は省略される。
1.第一実施形態:
1−1.撮像表示システムの構成:
図1は、第一実施形態における撮像表示システム1の概略構成を示すブロック図である。撮像表示システム1は、運転者が乗用装置としての自動車を運転する際に、運転を補助するための画像を表示するシステムであり、当該自動車に搭載されている。図2は、撮像表示システム1を搭載する自動車AM1を示す模式図である。
図1に示すように、撮像表示システム1は、左撮像表示部Lと中央信号処理部C10と右撮像表示部Rを備えている。左撮像表示部L、中央信号処理部C10、右撮像表示部Rは、それぞれバスBに接続されており、各部間の信号の授受はバスBを介して行われる。バスBは、本実施形態における乗用装置内伝送路に相当する。バスBを介した通信は、例えばCAN(Controller Area Network)やEthernet AVB等の車載ネットワークのプロトコルに従って行われる。本実施形態においては、バスBには後述する運転支援制御部(不図示)も接続されている。バスBにはその他にも様々な機能を有する制御部(ECU(Electronic Control Unit))が接続されていてもよい。バスBには、当該バスBに接続されている複数のECU間で授受される様々な信号が様々なタイミングで伝送される。そのため、例えば複数のECUから同時に信号が送出された場合、予め設定された優先度が高いECUから順に送信権を付与する等の調停がなされる。したがってバスBに接続されているECUにおいては、信号の送信準備が整ってから実際に送信を開始できるまで待機時間が生じる可能性がある。
左撮像表示部Lおよび右撮像表示部Rはそれぞれ、撮像部10と映像信号処理部20と表示制御部30と表示部40と通信部50を備えている。左撮像表示部Lおよび右撮像表示部Rがそれぞれ備える撮像部10と映像信号処理部と表示制御部30と表示部40と通信部50は同一の構成である。本実施形態においては、撮像部10から映像信号処理部20、映像信号処理部20から表示制御部30、表示制御部30から表示部40への各信号の伝送は、バスBとは異なる専用の伝送路によって行われる。専用の伝送路は、既定の電子部品間(本実施形態においては1対1の電子部品間)で信号の伝送が行われる。そのため、上述のような衝突回避のための待機時間が生じることがない。
1−2.撮像部:
撮像部10は、自動車AM1の外の像を撮像し、当該像を示す映像信号を出力するため、光学系11とセンサー12を備える。光学系は、被写体の像を結像させるレンズ、絞り、シャッター、赤外カットフィルターを備える。センサー12(エリアイメージセンサー)としては、ベイヤー配列されたカラーフィルターと、光量に応じた電荷を光電変換によって画素ごとに蓄積する複数のフォトダイオードとを備えるCMOS(Complementary Metal Oxide Semiconductor)イメージセンサー、CCD(Charge Coupled Device)イメージセンサー等の固体撮像素子が用いられる。
センサー12の画素の位置は直交座標系における座標で規定され、一方の座標軸に平行な方向に並ぶ複数の画素によってラインが構成され、複数のラインが他方の座標軸に平行な方向に並ぶように構成されている。本明細書では、ラインに平行な方向を水平方向、ラインに垂直な方向を垂直方向と呼ぶ。センサー12の全画素によって構成される1画面を1フレームと呼ぶ。
1−3.映像信号処理部:
映像信号処理部20は、撮像部10のセンサー12から出力された映像信号をバスBではない専用の伝送路を経由して受信し、当該映像信号に基づいた第一デジタル映像信号を生成し、バスBではない専用の伝送路を経由して表示制御部30に出力する。また、映像信号処理部20は、当該映像信号に基づいた第二デジタル映像信号を生成し、バスBを経由して中央信号処理部C10に出力する。そのために映像信号処理部20は、画素補間部21、色再現処理部22、フィルター処理部23、ガンマ補正部24、歪曲収差補正部25、出力部26、トリミング処理部27を備えている。映像信号処理部20は、予め確保された複数ライン分の図示しないラインバッファーを適宜利用しながらパイプライン処理によって各工程における処理を実施する。
センサー12から出力された映像信号は図示しない第一ラインバッファーに一時記録される。画素補間部21は第一ラインバッファーからベイヤー配列において各画素で欠落している2チャネルの色を生成するために必要な画素数のデータを取り込みながら補間処理によって当該2チャネルの色を生成する。この結果、各画素において3チャネルのデータが生成される。次に、色再現処理部22は、生成されたデータに基づいて3×3の行列演算を行うことによって色を再現するための色変換処理を行う。色変換処理によって生成されたデータは図示しない第二ラインバッファーに一時記録される。
次に、フィルター処理部23は、シャープネス調整やノイズ除去処理等をフィルター処理によって実行する。次にガンマ補正部24はセンサー12の出力データの階調値が示す色と表示部40で扱うデータの階調値が示す色との特性差を補償するガンマ補正を実行する。ガンマ補正によって生成されたデータは図示しない第三ラインバッファーに一時記録される。歪曲収差補正部25は、第三ラインバッファーに記録されたデータに対して光学系11のレンズの特性に起因する歪曲収差の補正処理を実行し、図示しない第四ラインバッファーに一時記録する。トリミング処理部27は、第四ラインバッファーに記録されたデータに基づいてトリミング処理を行い、トリミング処理後のデータを表示制御部30に出力する。表示制御部30に出力されるデータが第一デジタル映像信号に相当する。
出力部26は、第四ラインバッファーに線順次で記録されていく歪曲収差補正部25の処理後のデータであってトリミング処理部27によってトリミングされる前のデータを、通信部50によって中央信号処理部C10に送信させる。通信部50は、バスBに接続されている他の電子部品とバスBを介して通信するためのインターフェース回路を備える。第四ラインバッファーに記録されている歪曲収差補正処理後であってトリミング処理前のデータは、出力部26および通信部50によってバスBを介した通信に適した形式に変換された状態でバスBに送出される。例えば、第四ラインバッファーに記録されているデータは圧縮され、バスBを介した通信のプロトコルに従った形式のパケットに変換される。当該変換された状態のデータが第二デジタル映像信号に相当する。中央信号処理部C10に送信される第二デジタル映像信号が示す像は、表示制御部30に送信される第一デジタル映像信号が示す像を含み第一デジタル映像信号よりも広い範囲に対応する。
表示制御部30は、リサイズ処理部31、取得部32、アラート画像重畳部33、出力部34を備えている。トリミング処理部27から出力されたデータは図示しない第五ラインバッファーに一時記録される。リサイズ処理部31は、第五ラインバッファーに記録されたデータ(第一デジタル映像信号)に基づいて表示部40の液晶パネル42のサイズに合わせて縮小処理を行う。リサイズ処理部31による縮小処理の結果生成されたデータは図示しない第六ラインバッファーに線順次で一時記録される。
通信部50は、中央信号処理部C10からバスBを経由してアラート画像(第三デジタル映像信号)を含むデータを受信する。通信部50および取得部32は、受信したデータからアラートフラグを取得する。左撮像表示部Lが取得したアラートフラグは、中央信号処理部C10による処理の結果、左撮像表示部Lの表示部40にアラート画像を表示する必要があるか否かを示すフラグである。右撮像表示部Rが取得したアラートフラグは、中央信号処理部C10による処理の結果、右撮像表示部Rの表示部40にアラート画像を表示する必要があるか否かを示すフラグである。アラートフラグは、アラート画像を表示する必要がある場合はオンに設定され、必要がない場合はオフに設定されている。また、通信部50および取得部32は、アラートフラグがオンの場合に、受信したデータからアラート画像を取得し(圧縮データの伸長処理を含む)、図示しないフレームバッファーに一時記録する。アラートフラグはフレーム単位で定期的に中央信号処理部C10から送信される。アラート画像はアラートフラグがオンの場合にアラートフラグと同期して中央信号処理部C10から送信される。
アラート画像重畳部33は、中央信号処理部C10からオンが設定されたアラートフラグを取得するとアラート画像重畳部33におけるアラート状態をオンに更新する。また、アラート画像重畳部33は中央信号処理部C10からオフが設定されたアラートフラグを取得するとアラート状態をオフに更新する。アラート状態がオンである場合、アラート画像重畳部33は、リサイズ処理部31によって生成され第六ラインバッファーに一時記録されている1ライン分のデータにフレームバッファーに記録されたアラート画像における当該ラインのデータを重畳し、図示しない第七ラインバッファーに一時記録する。なお、アラート画像重畳部33は、アラート状態がオフの場合は、第六ラインバッファーに記録されているリサイズ処理部31による処理後のデータを、アラート画像を重畳することなく第七ラインバッファーに出力する。出力部34は第七ラインバッファーに記録されているライン単位のデータを、左右反転させた状態で、バスBを経由せずに(バスBではない専用の伝送路を経由して)表示部40に出力する。左右反転させたデータを表示部40に出力することにより、従来のサイドミラーと同様に鏡像を表示部40において表示させることができる。なお出力部34から表示部40に出力されるデータが表示用信号に相当する。
1−4.表示部:
表示部40は、液晶パネルドライバー41と液晶パネル42を備えている。液晶パネルドライバー41は、出力部34から取得した表示用信号に基づいて、各サブピクセルに電圧を印加して液晶を駆動するための信号を液晶パネル42に対して出力する。液晶パネル42は、図示しないゲートドライバーおよびソースドライバーを備えており、液晶パネルドライバー41から出力される信号に応じてゲートドライバーが各ラインの各画素における表示タイミングを制御し、ソースドライバーが表示タイミングとされているラインの各画素に対して各画素の画像データに対応した電圧を印加することによって表示を行う。なお、表示部40は液晶パネルに限定されず、OLED(Organic Light Emitting Diode)などの他の形式の表示パネルを採用してもよい。
本実施形態の撮像部10、映像信号処理部20、表示制御部30および表示部40においては、撮像から表示用信号の生成までを線順次にパイプライン処理される。アラート画像重畳部33が液晶パネル42の垂直方向のNライン目(Nは自然数)の画像データを第七ラインバッファーに出力し終えたタイミングに同期して、Nライン目の表示を行うように構成されている。具体的にはデジタルミラーユニットDMが備える図示しないタイミングジェネレーターは、アラート画像重畳部33から当該アラート画像重畳部33におけるデータの生成が終了したラインを示す進捗情報を取得する。当該進捗情報によれば、液晶パネル42における表示が可能になったラインを特定することが可能である。タイミングジェネレーターが各ラインのデータの生成が終了したタイミングに同期して水平同期信号を出力することにより、液晶パネル42において当該データの生成が終了したラインの表示が開始される。このように各ラインの表示タイミングが制御されていることにより、表示用のデータの準備が整う前に各ラインの表示を開始することはなく、各ラインの表示準備が整うと即座に各ラインの表示をすることが可能になる。本実施形態においてはこのようにして、撮像部10による撮像から表示部40による表示までに要する時間(表示遅延)の短期化を実現している。
1−5.中央信号処理部:
中央信号処理部C10は、左右の撮像表示部からそれぞれ受信した第二デジタル映像信号が示す画像を解析し、アラート対象の事象を第二デジタル映像信号から検出した場合に、液晶パネル42において重畳表示させるアラート画像を生成して撮像表示部に送信する機能を実現する。また中央信号処理部C10は、左右の撮像表示部からそれぞれ受信した第二デジタル映像信号に基づいて、運転支援に関連する関連信号を生成し、図示しない運転支援制御部に対して出力する機能を実現する。これらの機能を実現するため、中央信号処理部C10は、通信部C11、取得部C12、解析部C13(アラート画像生成部C131、関連信号生成部C132を含む)、出力部C14を備えている。
通信部C11はバスBを経由して他の電子部品と通信するためのインターフェース回路を備えている。取得部C12は、通信部C11が左撮像表示部Lから受信したデータから第二デジタル映像信号を取得し図示しないフレームバッファーに一時記録する。また取得部C12は、通信部C11が右撮像表示部Rから受信したデータから第二デジタル映像信号を取得し図示しないフレームバッファーに一時記録する。
解析部C13は、取得部C12が取得しフレームバッファーに一時記録されている第二デジタル映像信号が示す画像を解析し、アラート対象の事象が検出されたか否かを判定する。また、解析部C13は、取得部C12が取得しフレームバッファーに一時記録されている第二デジタル映像信号が示す画像を解析し、アラート対象の事象が検出されたか否かを判定する。例えば、アラート対象のオブジェクトの特徴が予め定義されており、画像処理によって当該特徴を検出するための処理が行われ、当該特徴に適合するオブジェクトが検出されると、解析部C13はアラート対象の事象が検出されたと判定する。解析部C13は例えば1フレーム分の画像(第二デジタル映像信号)の取得周期に同期してアラート対象の事象が検出されたか否かの判定を行う。アラート対象の事象が検出されなかった場合、解析部C13は、アラートフラグをオフに設定し、出力部C14に、左撮像表示部Lまたは右撮像表示部Rに対してアラートフラグを送信させる。出力部C14はバスBを介した通信に適した形式に送信対象のデータを変換して通信部C11に出力する。通信部C11はバスBの通信プロトコルに従ってアラートフラグを示すデータを、バスBを経由して左または右の撮像表示部に送信する。
アラート対象の事象が検出された場合、解析部C13はアラートフラグをオンに設定する。また、アラート画像生成部C131がアラート画像を生成する。具体的には例えば、連続する複数フレーム分の画像に基づいて自動車AM1の右側後方から接近中の他車両(アラート対象車両AM2)が検出された場合、アラート画像生成部C131は、例えば「後方注意!」等の文字列を示すアラート画像を生成する。表示部40においては撮像部10が撮像した画像を左右反転させて表示するため、アラート画像生成部C131は、表示部40に表示された場合に文字が正しく表示されるように当該文字列の左右反転した状態の画像をアラート画像として生成し、出力部C14に出力する。出力部C14はオンに設定されたアラートフラグとアラート画像とを通信部C11に出力し、右撮像表示部Rに送信させる。なお、解析部C13はアラートフラグをオンするとともに、図示しない車内のスピーカーから警告音を発生させてもよい。この際、アラート対象の事象が左後方で検出された場合と右後方で検出された場合とで音の種類などを変更させる事で、運転者が左右を識別できるようにしてもよい。また、警告音の代わりに音声(言葉)がスピーカーから出力されてもよい。このようにすることにより、音と表示の両方で運転者にアラートを伝達することがきるので、乗用装置の利便性や安全性をより向上させることができる。
また、解析部C13は、運転支援制御に必要となる情報を画像から取得する機能を有する。例えば解析部C13は、画像内のオブジェクトと自動車AM1との画像内における距離を算出し、画像内における距離に対応する実世界での距離を特定する。当該オブジェクトとしては例えば、車線の境界を規定する路面上の線、路面上の停止線、他の車両、歩行者、施設等を想定してよい。関連信号生成部C132では、当該オブジェクトと自動車AM1との実世界での距離を示す関連信号を生成し、出力部C14、通信部C11を介して図示しない運転支援制御部に送信する。運転支援制御部では、受信した関連情報に基づいて支援内容を決定し、支援内容に応じて自動車AM1の走行を制御することができる。
なお本実施形態では、運転支援として走行車線維持機能を実現するために、走行車線の延びる方向と直交する方向における自動車AM1の位置を、第二デジタル映像信号を解析して導出する。解析部C13は、走行車線の左端を示す路面上の線から自動車AM1の車体の左端までの実世界での距離である第一距離と、走行車線の右端を示す路面上の線から自動車AM1の車体の右端までの実世界での距離である第二距離と、を第二映像信号が示す画像に基づいて特定する。関連信号生成部C132は、第一距離と第二距離とを含む関連信号を生成し出力部C14および通信部C11を介して図示しない運転支援制御部に送信する。運転支援制御部は、当該関連信号に基づいて自動車AM1が走行車線を逸脱しないようにステアリングの角度を制御する。
1−6.撮像部の配置およびデジタルミラーユニットの配置:
図2は、撮像部10の配置とその撮像範囲を示している。図2に示すように、撮像表示システム1を搭載する自動車AM1において、左撮像表示部Lの撮像部10は、自動車AM1の左側後方を撮像範囲として少なくとも含む位置であって左側Aピラー近傍の車外に設けられている。また、右撮像表示部Rの撮像部10は、自動車AM1の右側後方を撮像範囲として少なくとも含む位置であって右側Aピラー近傍の車外に設けられている。画角a2は第二デジタル映像信号が示す像の範囲を示している。画角a1は第一デジタル映像信号が示す像の範囲を示している。図3は、左撮像表示部Lにおける1フレーム分の第二デジタル映像信号が示す画像i2と1フレーム分の第一デジタル映像信号が示す画像i1を示している。すなわち、左撮像表示部Lのトリミング処理部27では画像i2に対して画像i1がトリミングされる。このように中央信号処理部C10には、表示部40に表示される範囲よりも広い範囲の画像に対して画像解析処理を行うことができる。したがって例えば、液晶パネル42の撮像範囲にはまだ含まれない範囲におけるアラート事象を早い段階で検出し、運転者にアラートすること等も可能である。
なお、中央信号処理部C10は、画像i1の大きさや形状、画像i2に対する位置を示す表示対象領域情報を予め取得している。例えば、撮像表示システム1が搭載される車種に合わせて予め設計および設定されている表示対象領域情報を中央信号処理部C10は中央信号処理部C10起動時に取得する。また、運転者が画像i1の画像i2に対する範囲を調整可能であってもよい。例えば運転席側のドアやインストルメントパネル等に設けられた図示しない4方向ボタンやスティックを操作することによって調整することができてもよい。また、自動車出荷時の調整工程にて左右の画角を調整するための調整部が設けられていてもよい。
図4は、自動車AM1の車内側から見たフロントウィンドウFW周辺を示す模式図である。左撮像表示部Lの映像信号処理部20と表示制御部30と表示部40とはデジタルミラーユニットDMとして一体に構成され、図4に示すように、自動車AM1の左側のAピラーAPに設けられている。また、右撮像表示部Rの映像信号処理部20と表示制御部30と表示部40とはデジタルミラーユニットDMとして一体に構成され、図4に示すように自動車AM1の右側のAピラーAPに設けられている。メイン表示部C20は、インストルメントパネル中央に設けられている。中央信号処理部C10は、メイン表示部C20の近傍であってダッシュボード内部に設けられている。中央信号処理部C10と、デジタルミラーユニットDMが備える映像信号処理部20とは、バスBを構成するケーブルで接続されている。映像信号処理部20と表示制御部30と表示部40とはデジタルミラーユニットDMとして一体に構成されているため、映像信号処理部20と表示制御部30と表示部40の各部は互いに近くに配置されている。すなわち、当該各部間の距離は、当該各部と中央信号処理部C10との距離よりも短い。このため、映像信号処理部20と表示制御部30と表示部40の各部間においては伝送路の長さによる伝送遅延を生じにくい構成である。運転者は運転席に着座した状態で左撮像表示部Lの液晶パネル42と右撮像表示部Rの液晶パネル42とメイン表示部C20の表示パネルとを視認することができる。
1−7:撮像表示システムの動作:
次に、図5〜図7を用いて撮像表示システム1における各部の処理の流れを説明する。図5は映像信号処理部20による映像信号処理を示すフローチャートである。図5に示す処理は、左撮像表示部Lと右撮像表示部Rにおいてそれぞれ繰り返し実行される。
映像信号処理部20は、撮像部10から映像信号を取得し(ステップS100)、映像信号に基づいて第二デジタル映像信号を生成して中央信号処理部C10に送信する(ステップS105)。具体的には、映像信号処理部20は、上述したように、画素補間部21、色再現処理部22、フィルター処理部23、ガンマ補正部24、歪曲収差補正部25、トリミング処理部27の各工程をパイプライン処理にて実施する。映像信号処理部20は、歪曲収差補正部25の処理後であってトリミング処理部27の処理前のデータを第二デジタル映像信号として中央信号処理部C10にバスBを介して出力する。続いて映像信号処理部20は、映像信号に基づいて第一デジタル映像信号を生成して表示制御部30に出力する(ステップS110)。具体的には、映像信号処理部20は、トリミング処理部27による処理後のデータを第一デジタル映像信号として表示制御部30に出力する。
図6は、中央信号処理部C10による中央信号処理を示すフローチャートである。図6に示す処理は、繰り返し実行される。取得部C12は、通信部C11が左撮像表示部Lの映像信号処理部20から1フレーム分の第二デジタル映像信号を含むデータを受信したか否かを判定し(ステップS200)、N判定の場合はステップS240に進む。ステップS200においてY判定の場合、解析部C13が受信したデータに含まれる第二デジタル映像信号が示す画像を解析する(ステップS205)。例えば解析部C13は、左撮像表示部Lから取得した連続する1以上のフレームの画像においてアラート対象の事象が含まれるか否かを解析する。解析の結果、アラートの必要があると判定された場合(ステップS210)、解析部C13はアラートフラグをオンに設定し(ステップS215)、アラート画像生成部C131は、アラート画像を生成する(ステップS220)。出力部C14および通信部C11は、アラートフラグとアラート画像を左撮像表示部Lの表示制御部30へ送信する(ステップS225)。
アラート画像は、本実施形態においては液晶パネル42の画素数と同じ画素数の画像として生成される。そしてアラート画像に、例えば上述した「後方注意!」のような文字や記号を含む矩形画像が含まれている。アラート画像において当該矩形画像を構成する画素以外は第一デジタル映像信号が示す画素値を表示することを示す値が設定されている。第二デジタル映像信号が示す画像の明るさ等に応じて、当該画像に対して上述の矩形画像が識別可能に表示されるように当該矩形画像を構成する画素の色を変化させても良い。例えば矩形画像を重畳表示する予定の領域周辺の画像の明度の中央値が閾値より暗い場合は、予め決められた基準よりも明るい色を矩形画像の色として採用し、当該中央値が閾値以上に明るい画像の場合は、予め決められた基準より暗い色を採用してもよい。なお、アラート画像の画素数と液晶パネル42の画素数が異なっていてもよい。その場合、アラート画像重畳部33においてアラート画像の画素数を液晶パネル42の画素数に変換してから重畳を行う。
また、アラート画像生成部C131は、「後方注意!」等の文字や記号を含む矩形画像を、液晶パネル42の画面における予め固定的な位置に重畳表示するように、アラート画像内に矩形画像を配置してもよいし、第一デジタル映像信号が示す画像の内容に応じて矩形画像の重畳表示位置を変動させる構成であってもよい。後者の例としては例えば、アラート対象車両AM2の像の近傍に配置するようにしてもよい。
ステップS210においてアラートの必要がないと判定された場合、解析部C13はアラートフラグをオフに設定し(ステップS230)、出力部C14および通信部C11は、アラートフラグを左撮像表示部Lの表示制御部30へ送信する(ステップS235)。ステップS200〜S235の処理S2Lは、左撮像表示部Lに対応する処理である。ステップS240〜S275の処理S2Rは、右撮像表示部Rに対応する処理である。処理S2Rでは処理S2Lと同様の処理が行われる。なお例えば中央信号処理部C10の処理能力が十分高く、リアルタイムでマルチタスクを実現することが可能であったり、中央信号処理部C10が複数の解析部C13を備えている場合、S205〜S220およびS230と、S245〜S260およびS270とは、並行して実施されてもよい。並行して実施することにより、左右のアラート検出の時間差が少なくなり、好適である。
続いて解析部C13は、車線維持機能がオンであるか否かを判定し(ステップS280)、車線維持機能がオンであると判定された場合、関連信号生成部C132は関連信号を生成し(ステップS290)、出力部C14および通信部C11は図示しない運転支援制御部にバスBを介して関連信号を送信する(ステップS295)。ステップS280においてN判定の場合、図6に示す処理を終了する。
ステップS285では解析部C13は例えば、走行車線を規定する右側の線(路面上の線)から車体の右端までの距離と、走行車線を規定する左側の線から車体の左端までの距離を導出し、関連信号として運転支援制御部に出力する。運転支援制御部は、これらの距離に基づいて車線維持機能を実現することができる。
図7は、表示制御部30による表示制御処理を示すフローチャートである。左撮像表示部Lにおいても右撮像表示部Rにおいても図7に示す処理が繰り返し行われる。図7に示す処理ではまず、取得部32は通信部50を介して中央信号処理部C10からアラートフラグ(および、アラートが必要な場合はアラート画像)を受信したか否かを判定する(ステップS300)。アラートフラグ(およびアラート画像)は、中央信号処理部C10が1フレーム分の画像を解析する毎に送信される。受信したアラート画像はフレームバッファーに一時記録される。
ステップS300においてアラートフラグ(およびアラート画像)を受信したと判定された場合、アラート画像重畳部33は、受信したアラートフラグがオンに設定されているか否かを判定する(ステップS305)。ステップS305においてアラートフラグがオンに設定されていると判定された場合は、アラート画像重畳部33はアラート状態をオンに設定する(ステップS310)。ステップS305においてアラートフラグがオンに設定されていると判定されない場合(すなわちオフに設定されている場合)は、アラート画像重畳部33はアラート状態をオフに設定する(ステップS315)。
ステップS300においてN判定の場合、または、ステップS300においてY判定の場合であってステップS310またはS315を実行後、リサイズ処理部31は映像信号処理部20から第一デジタル映像信号を取得したか否かを判定する(ステップS320)。すなわちステップS320ではリサイズ後の1ラインを生成するために必要なラインのデータを取得済みであるか否かが判定される。ステップS320においてN判定の場合は、Y判定になるまで待機し、Y判定となった場合に、リサイズ処理部31は第一デジタル映像信号に基づいてリサイズ処理を行う(ステップS325)。
続いてアラート画像重畳部33は、アラート状態はオンであるか否かを判定する(ステップS330)。ステップS330においてアラート状態がオンであると判定された場合、アラート画像重畳部33はリサイズ後の1ライン分のデータにアラート画像の該当ラインのデータを重畳する(ステップS335)。出力部34はアラート画像重畳後のデータを左右反転した状態の1ライン分の表示用信号を生成し表示部40に出力する(ステップS340)。この結果、例えば図8に示すように液晶パネル42にアラート画像AL1を重畳表示することができる。ステップS330においてアラート状態がオンであると判定されない場合、出力部34は、リサイズ後の1ライン分のデータを左右反転した状態の表示用信号を生成し表示部40に出力する(ステップS345)。
以上のように、撮像表示システム1においては、撮像部10で撮像された画像を解析し第三デジタル映像信号(アラート画像)を生成する処理は、中央信号処理部C10が担当する。左撮像表示部Lおよび右撮像表示部Rにおいては、撮像部10にて撮像された車外の像を短い表示遅延にてそれぞれの表示部40に表示させる処理を担当する。左右の撮像表示部は、中央信号処理部C10が担当する第三デジタル映像信号生成処理を行わない。そのため映像信号処理部20および表示制御部30は、画像認識処理等の高負荷な処理の影響で表示遅延が長期化してしまうことなく、撮像から表示までの短い表示遅延にて実施可能である。
また、左右の撮像表示部はそれぞれ、アラート画像を中央信号処理部C10から受信し、表示用信号にアラート画像を重畳表示することができる。なお、アラート画像重畳部33によって重畳されるアラート画像は、表示部40に表示しようとするフレームより過去に撮像されたフレームの画像に基づいて生成された画像である。すなわち、第二デジタル映像信号の伝送時間、中央信号処理部C10における処理時間、第三デジタル映像信号の伝送時間を含む分、アラート画像の表示には遅延が生じうる。アラート画像の表示に至るまでには遅延が生じうるが、撮像表示システム1においては、左右の撮像部10による撮像から表示部40での表示までに要する表示遅延を長期化することのないデジタルミラーを実現できる。
2.他の実施形態:
尚、本発明の技術的範囲は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、乗用装置は人が乗り込んで運転・操縦する装置であればよく、例えば、自動車・二輪車・鉄道車両等の車両、船舶、航空機等を想定してよい。また、乗用装置内伝送路は、乗用装置に搭載された電子部品間で通信するための伝送路であればよく、有線であってもよいし、無線であってもよい。また、撮像表示システムに含まれる一部の要素は、乗用装置に搭載されていなくてもよい(遠隔地に設けられていても良い)。また、乗用装置内伝送路は、上記実施形態のように複数の電子部品が接続して様々な信号の通信が行われるバスであってもよいし、2つの電子部品が1対1で接続される専用の伝送路であってもよい。
映像信号処理部20における各工程は、上記実施形態のようにラインバッファーを用いたパイプライン処理にて実施されてもよいが、フレームバッファーを用いて1フレーム分のデータを蓄積してから各工程が実施されてもよい。また、映像信号処理部20において実施される処理の内容や順序は、上記実施形態に限定されない。いずれかの工程が省略されてもよいし、他の工程が追加されてもよい。例えば、歪曲収差補正部25は省略されてもよい。また例えば、トリミング処理部27によるトリミング後の水平方向および垂直方向の画素数が、液晶パネル42の水平方向および垂直方向の画素数と同一または略同一であれば、リサイズ処理部31は省略されてもよい。また例えば、下記の第一処理と第二処理のうちの少なくとも一方を行う処理部が追加されてもよい。第一処理は、映像信号に基づく画像の左右方向において車体に近い領域を車体から遠い領域と比較して相対的に拡大する処理である。第二処理は、映像信号に基づく画像の上下方向において中央の領域を当該中央の領域より上又は下の領域と比較して相対的に拡大する処理である。
第一デジタル映像信号と第二デジタル映像信号は同一であってもよい。すなわち、第一デジタル映像信号が示す像の範囲と第二デジタル映像信号が示す像の範囲が同じという意味で同一であってもよい。あるいは、映像信号処理部から表示制御部への第一デジタル映像信号の送信も乗用装置内伝送路を経由して通信する場合は、像の範囲が同じことに加えて、送出されるデータの形式も同じという意味で同一であってもよい。
第一デジタル映像信号が示す像の範囲と第二デジタル映像信号が示す像の範囲とは、上記実施形態のように一部が異なっていてもよいし、あるいは全て異なっていても良いし、全て同一であってもよい。また、撮像部が撮像した像に対して、表示部に表示される範囲や、中央信号処理部に処理させる範囲を、可変に設定することができてもよい。
映像信号処理部は、映像信号を撮像部から乗用装置内伝送路を経由して受信する構成であってもよい。また、表示制御部は、デジタル映像信号を映像信号処理部から乗用装置内伝送路を経由して受信する構成であってもよい。また、表示部は、表示用信号を表示制御部から乗用装置内伝送路を経由して受信する構成であってもよい。
また、中央信号処理部は、映像信号処理部から受信したデジタル映像信号に関連する第三デジタル映像信号を生成して乗用装置内伝送路経由で表示制御部に出力し、表示制御部は、映像信号処理部から受信したデジタル映像信号と第三デジタル映像信号とに基づいて表示用信号を生成し表示部に出力する構成であればよく種々の構成を採用可能である。例えば、表示制御部は、表示部の表示領域内の第一領域に映像信号処理部から受信したデジタル映像信号が示す画像を表示し、当該表示領域内の第一領域とは異なる第二領域に中央信号処理部から受信した第三デジタル映像信号が示す画像を表示するように表示用信号を生成してもよい。
表示制御部は、映像信号処理部から受信したデジタル映像信号に中央信号処理部から受信した第三デジタル映像信号を重畳して表示用信号を生成することができればよく、種々の構成を採用可能である。上記実施形態のように文字や記号を示すアラート画像を重畳する以外にも、例えば第二デジタル映像信号に含まれるアラート対象車両を囲む枠をアラート画像として重畳してもよい。例えば、中央信号処理部は、アラート対象車両AM2の自動車AM1を基準とした移動ベクトルの大きさや向き、撮像表示部と中央信号処理部C10との間の伝送時間や中央信号処理部C10の処理時間等に基づいて、枠を重畳表示しようとするフレームにおけるアラート対象車両AM2の画像内での位置を推定し、当該位置を含む位置および大きさの枠をアラート画像として生成するようにしてもよい。当該枠を指定の位置に指定の大きさで重畳表示できる限りにおいて、アラート画像はどのような形式であってもよい。アラート画像はビットマップ形式のデータであってもよいし、ベクトル形式のデータであってもよい。なお、アラート画像は液晶パネル42の画素数と同じ画素数の画像である構成に限定されない。アラート画像は、例えば「後方注意!」のような文字列を含む矩形画像や、上述の枠を示す画像の部分のみを指していても良い。その場合、アラート画像の重畳表示位置を示す情報は、アラート画像と合わせてアラート画像生成部C131から送信されてよい。
また例えば、画像i1には含まれないが画像i2にアラート対象車両が含まれる場合、中央信号処理部は、アラート対象車両の画像をトリミングした画像を含むアラート画像を生成し、撮像表示部の表示制御部に送信してもよい。
なお、表示制御部は予めメモリにアラート画像を保持しておき、中央信号処理部からアラート画像の表示を指示された場合に、メモリに保持されているアラート画像を映像信号処理部から受信したデジタル映像信号に重畳して表示する構成であってもよい。
また、撮像表示システムが少なくとも撮像部と映像信号処理部とを有する撮像装置部を複数備えている場合に、中央信号処理部は、複数の撮像装置部の映像信号処理部からそれぞれ出力されたデジタル映像信号を乗用装置内伝送路経由で受信し、受信した複数のデジタル映像信号に関連する関連信号を生成し、関連信号を乗用装置内伝送路経由で出力する構成であってもよい。例えば、上記実施形態のように車線維持機能に関連する情報を関連信号として出力する構成であってもよいし、アラウンドビュー画像(トップビュー画像)を生成し当該画像を関連信号として例えばメイン表示部C20に出力する構成であってもよい。アラウンドビュー画像を生成するために、撮像表示システム1は、自動車AM1の左側や自動車AM1の右側を撮像する撮像部の他にも、自動車AM1の周囲を死角なく撮像するための複数の撮像部(例えば自動車AM1の前方や自動車AM1の後方を撮像する撮像部)を備えていても良い。
なお、自動車AM1の後方を撮像する撮像部に対応するデジタルミラーユニット(映像信号処理部、表示制御部、表示部)がさらに備えられていてもよい。自動車AM1の後方を撮像する撮像部に対応するデジタルミラーユニットは、フロントウィンドウFWの中央上部や中央下部に従来のバックミラーに代わって配置されてもよい。自動車AM1の前方を撮像する撮像部を含む撮像表示部は、当該撮像部に対応する映像信号処理部を備えていればよく、自動車AM1の前方を表示するための専用の表示制御部や表示部は備えていなくてもよい。
なお、中央信号処理部によって生成された関連信号は、第二デジタル映像信号や第三デジタル映像信号の送受信に用いた乗用装置内伝送路を経由せずに出力される構成であってもよい。例えば、中央信号処理部によって生成された関連信号は、第二デジタル映像信号や第三デジタル映像信号の送受信に用いたバスとは別のバスを介して他の電子部品に出力されてもよいし、中央信号処理部と1対1で接続する他の電子部品に対して専用の伝送路を介して出力されてもよい。例えば図1に示すように中央信号処理部C10とメイン表示部C20とは専用の伝送路で接続されていてもよい。
また請求項に記載された各部の機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら各部の機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。
1…撮像表示システム、10…撮像部、11…光学系、12…センサー、20…映像信号処理部、21…画素補間部、22…色再現処理部、23…フィルター処理部、24…ガンマ補正部、25…歪曲収差補正部、26…出力部、27…トリミング処理部、30…表示制御部、31…リサイズ処理部、32…取得部、33…アラート画像重畳部、34…出力部、40…表示部、41…液晶パネルドライバー、42…液晶パネル、50…通信部、AL1…アラート画像、B…バス、C10…中央信号処理部、C11…通信部、C12…取得部、C13…解析部、C131…アラート画像生成部、C132…関連信号生成部、C14…出力部、DM…デジタルミラーユニット、L…左撮像表示部、R…右撮像表示部

Claims (11)

  1. 乗用装置の外の像を撮像し、前記像を示す映像信号を出力する撮像部と、
    前記撮像部から前記映像信号を受信し、受信した前記映像信号に基づいたデジタル映像信号を出力する映像信号処理部と、
    前記デジタル映像信号を前記映像信号処理部から乗用装置内伝送路を経由して受信する中央信号処理部と、
    前記デジタル映像信号を前記映像信号処理部から受信し、受信した前記デジタル映像信号から表示用信号を生成し出力する表示制御部と、
    前記表示制御部から受信した前記表示用信号が示す画像を表示する表示部と、を備え、
    前記中央信号処理部は、前記映像信号処理部から受信した前記デジタル映像信号に関連する第三デジタル映像信号を生成して前記表示制御部に出力し、
    前記表示制御部は、前記映像信号処理部から受信した前記デジタル映像信号と前記第三デジタル映像信号とに基づいて前記表示用信号を生成し前記表示部に出力する、
    撮像表示システム。
  2. 前記映像信号処理部が出力する前記デジタル映像信号は、前記表示制御部に送信される第一デジタル映像信号と、前記中央信号処理部に送信される第二デジタル映像信号とを含み、
    前記第一デジタル映像信号と前記第二デジタル映像信号とは異なる、
    請求項1に記載の撮像表示システム。
  3. 前記第一デジタル映像信号が示す前記像の範囲は、前記第二デジタル映像信号が示す前記像の範囲と一部が異なる、
    請求項2に記載の撮像表示システム。
  4. 前記映像信号処理部は、前記映像信号を前記撮像部から前記乗用装置内伝送路を経由せずに受信する、
    請求項1から請求項3のいずれか一項に記載の撮像表示システム。
  5. 前記表示制御部は、前記デジタル映像信号を前記映像信号処理部から前記乗用装置内伝送路を経由せずに受信する、
    請求項1から請求項4のいずれか一項に記載の撮像表示システム。
  6. 前記表示部は、前記表示用信号を前記表示制御部から前記乗用装置内伝送路を経由せずに受信する、
    請求項1から請求項5のいずれか一項に記載の撮像表示システム。
  7. 前記表示制御部は、前記映像信号処理部から受信した前記デジタル映像信号に前記第三デジタル映像信号を重畳して前記表示用信号を生成する、
    請求項1〜請求項6に記載の撮像表示システム。
  8. 前記映像信号処理部と前記表示制御部と前記表示部とは一体に構成され、前記映像信号処理部と前記中央信号処理部とは前記乗用装置内伝送路を構成するケーブルで接続されている、
    請求項1〜請求項7のいずれか一項に記載の撮像表示システム。
  9. 前記映像信号処理部と前記表示制御部と前記表示部の各部間の距離は、前記映像信号処理部と前記表示制御部と前記表示部の各部と前記中央信号処理部との距離よりも短い、
    請求項1〜請求項8のいずれか一項に記載の撮像表示システム。
  10. 少なくとも前記撮像部と前記映像信号処理部とを有する撮像装置部を複数備え、
    前記中央信号処理部は、複数の前記撮像装置部の前記映像信号処理部からそれぞれ出力された前記デジタル映像信号を前記乗用装置内伝送路経由で受信し、受信した複数の前記デジタル映像信号に関連する関連信号を生成し、出力する、
    請求項1〜請求項9のいずれか一項に記載の撮像表示システム。
  11. 請求項1〜請求項10のいずれか一項に記載の撮像表示システムを搭載した乗用装置。
JP2017020133A 2017-02-07 2017-02-07 撮像表示システム、乗用装置 Active JP6903925B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017020133A JP6903925B2 (ja) 2017-02-07 2017-02-07 撮像表示システム、乗用装置
US15/886,224 US10672276B2 (en) 2017-02-07 2018-02-01 Image display system and riding device
EP18155536.8A EP3358842A1 (en) 2017-02-07 2018-02-07 Imaging display system and riding device
US16/857,411 US11475771B2 (en) 2017-02-07 2020-04-24 Image display system and riding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017020133A JP6903925B2 (ja) 2017-02-07 2017-02-07 撮像表示システム、乗用装置

Publications (2)

Publication Number Publication Date
JP2018129602A JP2018129602A (ja) 2018-08-16
JP6903925B2 true JP6903925B2 (ja) 2021-07-14

Family

ID=61189226

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017020133A Active JP6903925B2 (ja) 2017-02-07 2017-02-07 撮像表示システム、乗用装置

Country Status (3)

Country Link
US (2) US10672276B2 (ja)
EP (1) EP3358842A1 (ja)
JP (1) JP6903925B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11124116B2 (en) 2014-12-12 2021-09-21 Serge B. HOYDA System and process for viewing in blind spots
WO2016094801A1 (en) 2014-12-12 2016-06-16 Hoyda Serge B System and process for viewing in blind spots
US11518309B2 (en) 2014-12-12 2022-12-06 Serge Hoyda LLC System and process for viewing in blind spots
DE102021120037A1 (de) * 2020-08-21 2022-02-24 Panasonic Intellectual Property Management Co., Ltd. Videoverarbeitungsvorrichtung und Videoverarbeitungssystem

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4579132B2 (ja) 2005-11-01 2010-11-10 アルパイン株式会社 車両/周囲画像提供装置
JP5064201B2 (ja) 2007-12-21 2012-10-31 アルパイン株式会社 画像表示システム及びカメラ出力制御方法
JP6343189B2 (ja) * 2014-07-01 2018-06-13 株式会社タダノ クレーン車の障害物報知システム
JP6582644B2 (ja) 2014-08-11 2019-10-02 セイコーエプソン株式会社 撮像装置、撮像表示装置、及び、車両
JP6582642B2 (ja) 2014-08-11 2019-10-02 セイコーエプソン株式会社 車両用撮像装置、車両用撮像表示システム、及び車両
JP2018022932A (ja) * 2014-12-08 2018-02-08 株式会社ジャパンディスプレイ 表示システム及び表示装置
WO2016179303A1 (en) * 2015-05-04 2016-11-10 Kamama, Inc. System and method of vehicle sensor management
JP2016225849A (ja) * 2015-05-29 2016-12-28 株式会社ジャパンディスプレイ 表示システム及び表示方法
JP6690311B2 (ja) * 2016-03-09 2020-04-28 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム

Also Published As

Publication number Publication date
US20200250985A1 (en) 2020-08-06
US10672276B2 (en) 2020-06-02
US11475771B2 (en) 2022-10-18
EP3358842A1 (en) 2018-08-08
US20180225972A1 (en) 2018-08-09
JP2018129602A (ja) 2018-08-16

Similar Documents

Publication Publication Date Title
US20200363534A1 (en) Imaging device and electronic device
US11475771B2 (en) Image display system and riding device
EP3203725B1 (en) Vehicle-mounted image recognition device
JP5003395B2 (ja) 車両周辺画像処理装置及び車両周辺状況提示方法
JPWO2020116046A1 (ja) センサ装置、電子機器、センサシステム及び制御方法
WO2018179671A1 (ja) 画像処理装置と画像処理方法および撮像装置
TW202101959A (zh) 圖像辨識裝置及圖像辨識方法
US11025828B2 (en) Imaging control apparatus, imaging control method, and electronic device
US20170171444A1 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
US10878221B2 (en) Imaging device capable of performing high-speed image recognition processing
WO2022019026A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
US20230098424A1 (en) Image processing system, mobile object, image processing method, and storage medium
JP7467402B2 (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
US20170364765A1 (en) Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method
US20180315175A1 (en) Imaging apparatus, imaging system, movable body, and chip
CN113661700A (zh) 成像装置与成像方法
US10873732B2 (en) Imaging device, imaging system, and method of controlling imaging device
KR101030210B1 (ko) 자동차용 장애물 인식 시스템 및 그 방법
JP4747670B2 (ja) 画像処理装置
JP2004320642A (ja) 動体通知方法、動体検出方法、撮像装置及び動体検出システム
EP4258653A1 (en) Image processing device that can measure distance to object, movable apparatus, image processing method, and storage medium
JP2024005791A (ja) カメラモニタシステムおよびその制御方法、プログラム
JP2008079174A (ja) カメラ視野制御装置
JP2023046511A (ja) 画像処理システム、画像処理方法、およびコンピュータプログラム

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20180910

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190402

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191213

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20200803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210607

R150 Certificate of patent or registration of utility model

Ref document number: 6903925

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150