JPWO2016157873A1 - 撮像装置、撮像システム、および車両 - Google Patents

撮像装置、撮像システム、および車両 Download PDF

Info

Publication number
JPWO2016157873A1
JPWO2016157873A1 JP2017509286A JP2017509286A JPWO2016157873A1 JP WO2016157873 A1 JPWO2016157873 A1 JP WO2016157873A1 JP 2017509286 A JP2017509286 A JP 2017509286A JP 2017509286 A JP2017509286 A JP 2017509286A JP WO2016157873 A1 JPWO2016157873 A1 JP WO2016157873A1
Authority
JP
Japan
Prior art keywords
image
digital image
quality characteristic
control unit
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017509286A
Other languages
English (en)
Inventor
圭俊 中田
圭俊 中田
秀弥 関
秀弥 関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of JPWO2016157873A1 publication Critical patent/JPWO2016157873A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

デジタル画像信号のＤ／Ａ変換による影響およびアナログ画像信号の送信過程における影響を低減する撮像装置、撮像システム、および車両を提供する。撮像装置１３は、第１のデジタル画像を生成する画像処理部２２と、第１のデジタル画像をアナログ画像に変換して出力するＤＡ変換部２３と、アナログ画像に基づいて生成される第２のデジタル画像の画質特性値を示す参照情報を受信する入出力部１４と、画像処理部２２の動作を制御して、第２のデジタル画像の画質特性値が所定の目標値に近づくように第１のデジタル画像の画質特性の調整を行う制御部２５と、を備える。

Description

関連出願の相互参照
本出願は、２０１５年３月２７日に日本国に特許出願された特願２０１５−０６７４６７、および２０１５年４月２４日に日本国に特許出願された特願２０１５−０８９７６２の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
本発明は、撮像装置、撮像システム、および車両に関する。
従来、例えば車両に搭載された車載カメラにおいて、露出やホワイトバランスの制御が行われている。例えば特許文献１には、外環境に応じて車載カメラの露出やホワイトバランスの制御を行って画像の視認性を向上させるために、車両の光源の点灯に応じてホワイトバランスの補正や入射光量制御を行う技術が開示されている。
また、従来、ＣＣＤカメラからの画像データが所定回数変化しなかったときにカメラの受光素子が故障していると判断して信号を出力する手法が知られている（例えば、特許文献２）。
特開２００５−１５９９１８号公報 特開平１１−２８７５４９号公報
本発明の実施形態に係る撮像装置は、第１のデジタル画像を生成する画像処理部と、前記第１のデジタル画像をアナログ画像に変換して出力するＤＡ変換部と、前記アナログ画像に基づいて生成される第２のデジタル画像の画質特性値を示す参照情報を受信する入出力部と、前記画像処理部の動作を制御して、前記第２のデジタル画像の画質特性値が所定の目標値に近づくように前記第１のデジタル画像の画質特性の調整を行う制御部と、を備える。
また、本発明の実施形態に係る撮像システムは、第１のデジタル画像を生成し、前記第１のデジタル画像をアナログ画像に変換して出力する撮像装置と、前記アナログ画像を受信し、前記アナログ画像を第２のデジタル画像に変換し、該第２のデジタル画像の画質特性値を示す参照情報を前記撮像装置に出力する表示装置と、を備え、前記撮像装置は、前記第２のデジタル画像の画質特性値が所定の目標値に近づくように前記第１のデジタル画像の画質特性の調整を行う。
また、本発明の実施形態に係る車両は、第１のデジタル画像を生成し、前記第１のデジタル画像をアナログ画像に変換して出力する撮像装置と、前記アナログ画像を受信し、前記アナログ画像を第２のデジタル画像に変換し、該第２のデジタル画像の画質特性値を示す情報を前記撮像装置に出力する表示装置と、を有する撮像システムを備え、前記撮像装置は、前記第２のデジタル画像の画質特性値が所定の目標値に近づくように前記第１のデジタル画像の画質特性の調整を行う。
第１の実施形態に係るカメラシステムを備える車両を上方から見た図である。 図１の撮像装置の撮像範囲の例を示す図である。 図１のカメラシステムの概略構成を示すブロック図である。 図１のカメラシステムの動作を説明するフローチャートである。 第２の実施形態に係るカメラシステムの動作を説明する第１のフローチャートである。 第２の実施形態に係るカメラシステムの動作を説明する第２のフローチャートである。 第２の実施形態に係るカメラシステムの動作を説明する第３のフローチャートである。 第２の実施形態に係る表示装置の動作を説明するフローチャートである。 第３の実施形態に係る撮像装置および表示装置の機能ブロック図である。 図９の撮像装置が出力するテストパターン画像を示す図である。 図９の撮像装置の動作フローを示す図である。 図９の撮像装置が行う比較と異常箇所との関係を説明する表である。
以下、本発明の実施形態について、図面を参照して説明する。
（第１の実施形態）
はじめに、図１を参照して、本発明の第１の実施形態に係る移動体である車両１０が備えるカメラシステム（「撮像システム」ともいう。）１１について説明する。カメラシステム１１は、表示装置１２と、少なくとも１つの撮像装置１３と、を備える。本実施形態においてカメラシステム１１は、４つの撮像装置１３を備える。以下、４つの撮像装置１３を特に区別する場合には、それぞれフロントカメラ１３ａ、リアカメラ１３ｂ、左サイドカメラ１３ｃ、および右サイドカメラ１３ｄという。
フロントカメラ１３ａは、車両１０の前方の周辺領域を撮像可能となるように車両１０に配置される。またリアカメラ１３ｂは、車両１０の後方の周辺領域を撮像可能となるように車両１０に配置される。また左サイドカメラ１３ｃは、車両１０の左側方の周辺領域を撮像可能となるように、例えば左ドアミラーにおいて鉛直下向きに配置される。また右サイドカメラ１３ｄは、車両１０の右側方の周辺領域を撮像可能となるように、例えば右ドアミラーにおいて鉛直下向きに配置される。また表示装置１２は、運転席から視認可能な位置に配置される。
撮像装置１３は、例えば魚眼レンズなどの画角の広いレンズを備えており、車両１０の周辺領域を広角撮影可能である。例えば図２に示すように、フロントカメラ１３ａの撮像範囲は、車両１０の前方領域ＦＡ、左前方領域ＦＬＡ、および右前方領域ＦＲＡを含む。またリアカメラ１３ｂの撮像範囲は、車両１０の後方領域ＲｅＡ、左後方領域ＲｅＬＡ、および右後方領域ＲｅＲＡを含む。また左サイドカメラ１３ｃの撮像範囲は、車両１０の左側方領域ＬＡ、左前方領域ＦＬＡ、および左後方領域ＲｅＬＡを含む。また右サイドカメラ１３ｄの撮像範囲は、車両１０の右側方領域ＲＡ、右前方領域ＦＲＡ、および右後方領域ＲｅＲＡを含む。
次に、図３を参照して、カメラシステム１１の各構成要素について具体的に説明する。図３においては説明の簡便のため、撮像装置１３を１つのみ図示している。
表示装置１２は、入出力部１４と、ＡＤ変換部１５と、表示部１６と、表示装置制御部１７と、を備える。
入出力部１４は、アナログビデオ信号線等の専用線１８、およびＣＡＮ（Controller Area Network）等のネットワーク１９を介して情報の入出力を行うインターフェースである。
ＡＤ変換部１５は、例えばＡＤＣ（Analog-to-Digital Converter）であって、専用線１８および入出力部１４を介して撮像装置１３から入力されたアナログ画像信号をＡ／Ｄ変換してデジタル画像信号（第２のデジタル画像信号）を生成する。
表示部１６は、例えばＬＣＤ（Liquid Crystal Display）を含んで構成され、リアルタイムの動画像を表示可能である。また表示部１６は、例えばタッチパネルとして構成され、ユーザ操作を受け付けるインターフェースとして機能してもよい。
表示装置制御部１７は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の処理を実行する汎用のＣＰＵ（Central Processing Unit）である。表示装置制御部１７は、表示装置１２全体の動作を制御する。
例えば表示装置制御部１７は、ＡＤ変換部１５による第２のデジタル画像信号の生成に応じて、当該第２のデジタル画像信号の画質特性値を示す情報（参照情報）を、入出力部１４およびネットワーク１９を介して撮像装置１３に出力する。ここで画質特性値は、画像信号の画質特性を調整するための任意の画像処理（以下、画質調整処理ともいう。）における制御対象のパラメータであって、画質調整処理に応じて任意に定められる。本実施形態において、画質特性の調整は、例えば露出調整またはホワイトバランス調整であるものとして説明するが、例えば色補正等、任意の画質調整処理を含んでもよい。また画質特性値は、例えばデジタル画像信号に基づく画像の全部領域または一部領域における、色信号成分のゲインの平均値、輝度信号成分のゲインの平均値、または色温度等を含むが、これに限られない。
また表示装置制御部１７は、撮像装置１３から後述する調整終了通知を受信すると、第２のデジタル画像信号に対して例えばガンマ補正、歪み補正、切出処理、および視点変換処理等の所定の画像調整を施し、画像調整が施された第２のデジタル画像信号に基づく画像を表示部１６に表示させる。
撮像装置１３は、光学系２０と、撮像素子２１と、画像処理部２２と、ＤＡ変換部２３と、入出力部２４と、カメラ制御部２５とを備える。
光学系２０は、絞りおよび複数のレンズを含んで構成され、被写体像を結像させる。本実施形態において、光学系２０は広い画角を有しており、車両１０の周辺領域の被写体像を結像可能である。
撮像素子２１は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子であって、光学系２０によって結像される被写体像を撮像して、アナログ画像信号を生成する。
画像処理部２２は、例えばＡＦＥ（Analog Front End）およびＤＳＰ（Digital Signal Processor）等の画像処理専用のプロセッサを含む。画像処理部２２は、撮像素子２１によって生成されたアナログ画像信号に対して、ＣＤＳ（Correlated Double Sampling）、ゲイン調整（ＡＧＣ：Auto Gain Control）、およびＡ／Ｄ変換等の前段画像処理を施し、デジタル画像信号（第１のデジタル画像信号）を生成する。また画像処理部２２は、第１のデジタル画像信号に対して、露出調整、ホワイトバランス調整、色補間、色補正、およびガンマ補正等の所定の後段画像処理を施す。
また画像処理部２２は、表示装置１２からネットワーク１９および入出力部２４を介して受信した参照信号に応じて、後段画像処理が施された第１のデジタル画像信号に対してさらに露出調整またはホワイトバランス調整等、画質特性の調整を行なう。第１のデジタル画像信号の画質特性の調整の詳細については後述する。
また画像処理部２２は、例えばテストパターン画像等、所定の画質特性値を有するデジタル画像信号を第１のデジタル画像に定めてもよい。
ＤＡ変換部２３は、例えばＤＡＣ（Digital-to-Analog Converter）であって、第１のデジタル画像信号を出力用のアナログ画像信号に変換する。そして画像処理部２２は、入出力部２４および専用線１８を介して、当該アナログ画像信号を表示装置１２に出力する。
入出力部２４は、専用線１８、およびＣＡＮ等のネットワーク１９を介して情報の入出力を行うインターフェースである。
カメラ制御部２５は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の処理を実行する汎用のＣＰＵである。カメラ制御部２５は、撮像装置１３全体の動作を制御する。
例えばカメラ制御部２５は、撮像素子２１の動作を制御して、周期的に、例えば３０ｆｐｓでアナログ画像信号を生成する。またカメラ制御部２５は、画像処理部２２の動作を制御して、撮像素子２１によって生成されたアナログ信号に前段画像処理を施して第１のデジタル画像を生成する。またカメラ制御部２５は、画像処理部２２の動作を制御して、第１のデジタル画像に対して後段画像処理を施す。
そしてカメラ制御部２５は、画像処理部２２およびＤＡ変換部２３の動作を制御して、第１のデジタル画像信号の画質特性の調整、本実施形態では露出調整またはホワイトバランス調整を行う。以下、具体的に説明する。
はじめにカメラ制御部２５は、後段画像処理が施された第１のデジタル画像信号の画質特性値を、例えば次フレームのアナログ画像信号を生成するまで、一時的に保持する。本実施形態において、一時的に保持された画質特性値が、後述する目標値に定められる。続いてカメラ制御部２５は、ＤＡ変換部２３の動作を制御して、後段画像処理が施された第１のデジタル画像信号をＤ／Ａ変換したアナログ画像信号を、入出力部２４および専用線１８を介して表示装置１２に出力する。続いてカメラ制御部２５は、ＤＡ変換部２３によって生成したアナログ画像信号の出力に応じて、ネットワーク１９および入出力部２４を介して表示装置１２から参照情報を受信する。上述したように、参照情報は、表示装置１２によって生成された第２のデジタル画像信号の画質特性値を示す情報である。
続いてカメラ制御部２５は、参照情報に示される第２のデジタル画像信号の画質特性値が所定の目標値と略一致しているか否かを判定する。画質特性値が目標値と略一致するとは、例えば画質特性値が目標値と実質的に一致しているとみなせる数値範囲内に収まっていることをいう。また、本実施形態において目標値は、一時的に保持された第１のデジタル画像信号の画質特性値である。ここで第１のデジタル画像信号の画質特性値は、第１のデジタル画像信号に基づく画像の全部領域または参照情報に対応する一部領域における画質特性値であってもよい。
画質特性値が目標値と略一致していないときには、カメラ制御部２５は、第２のデジタル画像信号の画質特性値が目標値に近づくように、第１のデジタル画像信号に対してさらに露出調整またはホワイトバランス調整を行う。続いてカメラ制御部２５は、ＤＡ変換部２３の動作を制御して、露出調整またはホワイトバランス調整が行われた第１のデジタル画像信号をＤ／Ａ変換したアナログ画像信号を、入出力部２４および専用線１８を介して表示装置１２に出力する。そしてカメラ制御部２５は、当該アナログ画像信号の出力に応じて表示装置１２から参照情報を受信し、第１のデジタル画像信号の画質特性の調整を繰り返し実行してフィードバック制御を行う。
一方、第２のデジタル画像信号の画質特性値が目標値と略一致しているときには、カメラ制御部２５は、第１のデジタル画像信号の画質特性の調整を終了して、調整終了通知を表示装置１２に出力する。
このように第１のデジタル画像信号の画質特性の調整によって、参照情報に示される第２のデジタル画像信号の画質特性値が、一時的に保持された目標値、すなわち後段画像処理が施された第１のデジタル画像信号の画質特性値と略一致するようにフィードバック制御される。フィードバック制御は、上述のように第２のデジタル画像信号の画質特性値が目標値に略一致するまで繰り返し行われてもよく、あるいはフィードバックの繰り返し回数に上限（例えば、１回）を設けて行われてもよい。
次に図４に示すフローチャートを参照して、本実施形態に係るカメラシステム１１の動作の例について説明する。本動作は、例えば撮像装置１３がアナログ画像信号を生成する各フレームにおいて実行される。
ステップＳ１００：撮像装置１３は、被写体像を撮像してアナログ画像信号を生成する。
ステップＳ１０１：撮像装置１３は、アナログ画像信号に対して前段画像処理を施し、第１のデジタル画像信号を生成する。
ステップＳ１０２：撮像装置１３は、第１のデジタル画像信号に対して後段画像処理を施す。ここで撮像装置１３は、後段画像処理が施された第１のデジタル画像信号の画質特性値を一時的に保持する。
ステップＳ１０３：撮像装置１３は、第１のデジタル画像信号を出力用のアナログ画像信号に変換する。
ステップＳ１０４：撮像装置１３は、ステップＳ１０３のアナログ画像信号を、専用線１８を介して表示装置１２に出力する。
ステップＳ１０５：表示装置１２は、ステップＳ１０４のアナログ画像信号をＡ／Ｄ変換して第２のデジタル画像信号を生成する。
ステップＳ１０６：表示装置１２は、第２のデジタル画像信号の画質特性値を示す参照情報を、ネットワーク１９を介して撮像装置１３に出力する。
ステップＳ１０７：撮像装置１３は、受信された参照情報に示される第２のデジタル画像信号の画質特性値が所定の目標値と略一致しているか否かを判定する。ここで目標値は、ステップＳ１０２で一時的に保持された画質特性値である。画質特性値が目標値と略一致していないときには（ステップＳ１０７−Ｎｏ）、ステップＳ１０８に進む。一方、画質特性値が目標値と略一致しているときには（ステップＳ１０７−Ｙｅｓ）、ステップＳ１０９に進む。
ステップＳ１０８：ステップＳ１０７において画質特性値が目標値と略一致していないときには（ステップＳ１０７−Ｎｏ）、撮像装置１３は、参照情報に示される第２のデジタル画像信号の画質特性値が目標値に近づくように、第１のデジタル画像信号の画質特性の調整、本実施形態では露出調整またはホワイトバランス調整を行う。そして撮像装置１３は、ステップＳ１０３に戻って第１のデジタル画像信号の画質特性の調整を繰り返し実行する。
ステップＳ１０９：ステップＳ１０７において画質特性値が目標値と略一致しているときには（ステップＳ１０７−Ｙｅｓ）、撮像装置１３は、調整終了通知を表示装置１２に出力する。
ステップＳ１１０：表示装置１２は、調整終了通知を受信すると、ステップＳ１０５で生成された第２のデジタル画像信号に対してガンマ補正等の画像調整を施す。
ステップＳ１１１：表示装置１２は、ステップＳ１１０で画像調整が施された第２のデジタル画像信号に基づく画像を表示する。
車載カメラを用いる一般的な撮像システムにおいて、車載カメラが生成するデジタル画像信号は、例えばビデオ信号などのアナログ画像信号に変換されて、表示装置などの出力先に出力される。このため、例えば車載カメラが生成するデジタル画像信号は、車載カメラのＤ／Ａ変換誤差の影響、およびアナログ画像信号の送信過程における外乱などの影響を受ける可能性がある。このように、車載カメラにおけるＤ／Ａ変換前のデジタル画像信号と、出力先におけるＡ／Ｄ変換後のデジタル画像信号とは、必ずしも一致しない。したがって、デジタル画像信号をアナログ画像信号に変換して出力する撮像システムにおいて、Ｄ／Ａ変換誤差や送信過程における外乱などの影響に関し改善の余地があった。
一方、第１の実施形態に係る撮像装置１３は、撮像装置１３のＤ／Ａ変換による影響およびアナログ画像信号の送信過程における影響を受けている第２のデジタル画像信号の画質特性値を示す参照情報を受信する。このため撮像装置１３は、参照情報を用いることによって、撮像装置１３の外部、例えば表示装置１２で生成される第２のデジタル画像信号の画質特性値を目標値に近づけるように制御可能となり、撮像装置１３のＤ／Ａ変換による影響およびアナログ画像信号の送信過程における影響を低減可能である。
また、撮像装置１３のＤ／Ａ変換による影響およびアナログ画像信号の送信過程における影響を受けていない第１のデジタル画像信号の画質特性値が、一時的に保持される。一時的に保持された当該画質特性値を目標値に定めることによって、撮像装置１３のＤ／Ａ変換による影響およびアナログ画像信号の送信過程における影響がさらに低減される。
（第２の実施形態）
概略として、第２の実施形態に係る撮像装置は、車両に備えられる他の撮像装置を基準として、自装置が生成する第１のデジタル画像信号の画質特性の調整を行う点が第１の実施形態と相違する。以下、具体的に説明する。
第２の実施形態に係るカメラシステム１１は、表示装置と、複数の撮像装置１３と、を備える。本実施形態においてカメラシステム１１は、４つの撮像装置１３を備える。以下、４つの撮像装置１３を特に区別する場合には、それぞれフロントカメラ１３ａ、リアカメラ１３ｂ、左サイドカメラ１３ｃ、および右サイドカメラ１３ｄという。
表示装置１２は、入出力部１４と、ＡＤ変換部１５と、表示部１６と、表示装置制御部１７と、を備える。入出力部１４、ＡＤ変換部１５、および表示部１６は第１の実施形態と同一である。
表示装置制御部１７は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の処理を実行する汎用のＣＰＵである。表示装置制御部１７は、表示装置１２全体の動作を制御する。
例えば表示装置制御部１７は、ＡＤ変換部１５による第２のデジタル画像信号の生成に応じて、当該第２のデジタル画像信号の画質特性値を示す参照情報を、入出力部１４およびネットワーク１９を介して撮像装置１３に出力する。ここで参照情報に示される第２のデジタル画像信号の画質特性値は、例えば第２のデジタル画像信号に基づく画像の全部領域または一部領域における画質特性値を含んでもよい。参照情報は、第２のデジタル画像信号に基づく画像の、各撮像装置１３が互いに重複して撮像可能な車両１０の周辺領域における画質特性値を示してもよい。ここで周辺領域は、例えば図２に示す左前方領域ＦＬＡ、右前方領域ＦＲＡ、左後方領域ＲｅＬＡ、および右後方領域ＲｅＲＡである。
また表示装置制御部１７は、何れかの撮像装置１３から後述する調整終了通知を受信すると、当該撮像装置１３の参照情報を、当該当該調整終了通知が示す他の撮像装置１３に出力する。撮像装置１３の参照情報を他の撮像装置１３に出力する処理の詳細については後述する。
また表示装置制御部１７は、全ての撮像装置１３から後述する調整終了通知を受信すると、各撮像装置１３の第２のデジタル画像信号に対して、例えばガンマ補正、歪み補正、切出処理、および視点変換処理等の所定の画像調整を施す。そして表示装置制御部１７は、画像調整によって俯瞰画像に変換された複数の第２のデジタル画像信号に基づく画像を結合して、結合画像を生成する。結合画像は、例えば車両１０の全周囲の俯瞰画像である。全周囲の俯瞰画像において、例えば前方領域ＦＡ、左前方領域ＦＬＡ、および右前方領域ＦＲＡにはフロントカメラ１３ａの画像、後方領域ＲｅＡ、左後方領域ＲｅＬＡ、および右後方領域ＲｅＲＡにはリアカメラ１３ｂの画像、左側方領域ＬＡには左サイドカメラ１３ｃの画像、ならびに右側方領域ＲＡには右サイドカメラ１３ｄの画像がそれぞれ用いられる。そして表示装置制御部１７は、結合画像を表示部１６に表示させる。
撮像装置１３は、光学系２０と、撮像素子２１と、画像処理部２２と、ＤＡ変換部２３と、入出力部２４と、カメラ制御部２５とを備える。光学系２０、撮像素子２１、画像処理部２２、ＤＡ変換部２３、および入出力部２４は、第１の実施形態と同一である。
カメラ制御部２５は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の処理を実行する汎用のＣＰＵである。カメラ制御部２５は、撮像装置１３全体の動作を制御する。
例えばカメラ制御部２５は、撮像素子２１の動作を制御して、周期的に、例えば３０ｆｐｓでアナログ画像信号を生成する。またカメラ制御部２５は、画像処理部２２の動作を制御して、撮像素子２１によって生成されたアナログ画像信号に前段画像処理を施して第１のデジタル画像を生成する。またカメラ制御部２５は、画像処理部２２の動作を制御して、第１のデジタル画像に対して後段画像処理を施す。またカメラ制御部２５は、後段画像処理が施された第１のデジタル画像信号の画質特性値を、例えば次フレームのアナログ画像信号を生成するまで、一時的に保持する。
またカメラ制御部２５は、撮像素子２１によってアナログ画像信号が生成された時刻における車両１０の制御情報を取得する。制御情報は、時刻情報および車両１０の状態に関する多様な情報が含まれる。車両１０の状態に関する多様な情報には、例えば、車両１０の進行方向（前進または後進）を示す情報、ステアリング舵角を示す情報、ウインカスイッチの状態を示す情報、照明（例えば、ヘッドランプ、テールランプ、およびブレーキランプ）の状態を示す情報、および車両１０の速度を示す情報等が含まれる。カメラ制御部２５は、任意の方法によって制御情報を取得可能である。例えばカメラ制御部２５は、ネットワーク１９および入出力部２４を介して車両１０から取得してもよい。あるいは、カメラ制御部２５は、車両１０に備えられる各種センサ等の他の構成要素が出力する制御情報を有線または無線によって取得してもよい。
またカメラ制御部２５は、車両１０の制御情報に基づいて各撮像装置１３の従属関係を決定する。従属関係は、後述するように各撮像装置１３が第１のデジタル画像信号の画質特性の調整を行う際に基準とする上位の他の撮像装置１３、および上位に対する下位の他の撮像装置１３を定める関係である。従属関係の具体例については後述する。従属関係において、各撮像装置１３は、例えば上位から順に一次装置、二次装置、および三次装置のいずれかに定められる。また従属関係は、車両１０の制御情報に基づいて任意に定められる。本実施形態においてカメラ制御部２５は、車両１０の状態に応じて運転者が注目する蓋然性が高い結合画像上の領域に対応する１つの撮像装置１３を一次装置に定める。またカメラ制御部２５は、一次装置の撮像範囲と重複する領域を撮像可能な他の撮像装置１３を二次装置に定める。またカメラ制御部２５は、二次装置の撮像範囲と重複する領域を撮像可能な他の撮像装置１３を三次装置に定める。例えば表示装置制御部１７は、車両１０の進行方向が前方であること、左折のウインカスイッチがＯＮであること、および速度がゼロ（停車中）であることを示す情報が制御情報に含まれるときに、車両１０が左折しようとしていると判定可能である。このとき、車両１０の運転者は結合画像において車両１０の左前方領域ＦＬＡに注目すると考えられる。このためカメラ制御部２５は、結合画像において左前方領域ＦＬＡに対応するフロントカメラ１３ａを一次装置に定める。またカメラ制御部２５は、フロントカメラ１３ａの撮像範囲と重複する領域を撮像可能な左サイドカメラ１３ｃおよび右サイドカメラ１３ｄを二次装置に定める。またカメラ制御部２５は、左サイドカメラ１３ｃの撮像範囲または右サイドカメラ１３ｄの撮像範囲と重複する領域を撮像可能なリアカメラ１３ｂを三次装置に定める。複数の撮像装置１３のうち１つの撮像装置１３が、従属関係を決定し、決定された従属関係を例えば入出力部２４およびネットワーク１９を介して他の撮像装置１３に通知してもよい。
そしてカメラ制御部２５は、画像処理部２２およびＤＡ変換部２３の動作を制御して、第１のデジタル画像信号の画質特性の調整、本実施形態では露出調整またはホワイトバランス調整を行う。露出調整またはホワイトバランス調整における画質特性値の目標値は、は、従属関係に応じて各撮像装置１３で相違する。以下、例えばフロントカメラ１３ａが一次装置、左サイドカメラ１３ｃおよび右サイドカメラ１３ｄが二次装置、およびリアカメラ１３ｂが三次装置であるものとして説明する。
一次装置（フロントカメラ１３ａ）のカメラ制御部２５は、第１の実施形態と同様に、後段画像処理が施された第１のデジタル画像信号の画質特性値を、目標値に定めて一時的に保持する。続いてカメラ制御部２５は、自装置の参照情報に基づいて、第２のデジタル画像信号の画質特性値が目標値に近づくように、第１のデジタル画像信号の露出調整またはホワイトバランス調整を行う。
またカメラ制御部２５は、第１のデジタル画像信号の調整が終了すると、調整終了通知を表示装置１２に出力する。ここで調整終了通知には、一次装置の下位である二次装置（左サイドカメラ１３ｃおよび右サイドカメラ１３ｄ）を示す情報が含まれる。そして当該調整終了通知を受信した表示装置１２は、入出力部１４およびネットワーク１９を介して、一次装置の下位である二次装置に、一次装置の参照信号を送信する。当該参照信号には、画質特性の調整が終了した一次装置の第１のデジタル画像信号に基づいて生成された第２のデジタル画像信号の画質特性値を示す情報が含まれる。
二次装置（例えば、左サイドカメラ１３ｃ）のカメラ制御部２５は、上位である一次装置（フロントカメラ１３ａ）の参照情報を待ち受ける。続いてカメラ制御部２５は、一次装置の参照情報を受信すると、当該参照情報に示される一次装置の第２のデジタル画像信号の画質特性値を、目標値に定めて一時的に保持する。続いてカメラ制御部２５は、ＤＡ変換部２３の動作を制御して、後段画像処理が施された第１のデジタル画像信号をＤ／Ａ変換したアナログ画像信号を表示装置１２に出力する。続いてカメラ制御部２５は、表示装置１２から自装置の参照情報を受信する。続いてカメラ制御部２５は、自装置の参照情報に示される第２のデジタル画像信号の画質特性値が目標値と略一致しているか否かを判定する。
画質特性値が目標値と略一致していないときには、カメラ制御部２５は、自装置の参照情報に示される第２のデジタル画像信号の画質特性値が目標値に近づくように、後段画像処理が施された第１のデジタル画像信号の画質特性の調整を行う。具体的には、カメラ制御部２５は、露出調整またはホワイトバランス調整を行う。そしてカメラ制御部２５は、ＤＡ変換部２３の動作を制御して、調整された第１のデジタル画像信号をＤ／Ａ変換したアナログ画像信号を表示装置１２に出力し、第１のデジタル画像信号の画質特性の調整を繰り返し実行する。
一方、画質特性値が目標値と略一致しているときには、カメラ制御部２５は、第１のデジタル画像信号の画質特性の調整を終了して、調整終了通知を表示装置１２に出力する。調整終了通知には、二次装置の下位である三次装置（リアカメラ１３ｂ）示す情報が含まれる。
このように二次装置は、自装置の参照情報に示される第２のデジタル画像信号の画質特性値が、一次装置の参照情報に示される他の第２のデジタル画像信号の画質特性値に近づくように、自装置の第１のデジタル画像信号の画質特性の調整を行う。
また二次装置である右サイドカメラ１３ｄの動作については、左サイドカメラ１３ｃと同様である。
そして当該調整終了通知を受信した表示装置１２は、入出力部１４およびネットワーク１９を介して、二次装置の下位である三次装置に、二次装置の参照信号を送信する。当該参照信号には、画質特性の調整が終了した二次装置の第１のデジタル画像信号に基づいて生成された第２のデジタル画像信号の画質特性値を示す情報が含まれる。
三次装置（リアカメラ１３ｂ）のカメラ制御部２５は、上位である二次装置（左サイドカメラ１３ｃおよび右サイドカメラ１３ｄの少なくとも一方）の参照情報を待ち受ける。続いてカメラ制御部２５は、二次装置の参照情報を受信すると、当該参照情報に示される二次装置の第２のデジタル画像信号の画質特性値を、目標値に定めて一時的に保持する。続いてカメラ制御部２５は、ＤＡ変換部２３の動作を制御して、後段画像処理が施された第１のデジタル画像信号をＤ／Ａ変換したアナログ画像信号を表示装置１２に出力する。続いてカメラ制御部２５は、表示装置１２から自装置の参照情報を受信する。続いてカメラ制御部２５は、自装置の参照情報に示される第２のデジタル画像信号の画質特性値が目標値と略一致しているか否かを判定する。
画質特性値が目標値と略一致していないときには、カメラ制御部２５は、自装置の参照情報に示される第２のデジタル画像信号の画質特性値が目標値に近づくように、後段画像処理が施された第１のデジタル画像信号の画質特性の調整を行う。具体的には、カメラ制御部２５は、露出調整またはホワイトバランス調整を行う。そしてカメラ制御部２５は、ＤＡ変換部２３の動作を制御して、調整された第１のデジタル画像信号をＤ／Ａ変換したアナログ画像信号を表示装置１２に出力し、第１のデジタル画像信号の画質特性の調整を繰り返し実行する。
一方、画質特性値が目標値と略一致しているときには、カメラ制御部２５は、第１のデジタル画像信号の画質特性の調整を終了して、調整終了通知を表示装置１２に出力する。
このように三次装置は、自装置の参照情報に示される第２のデジタル画像信号の画質特性値が、二次装置の参照情報に示される他の第２のデジタル画像信号の画質特性値に近づくように、自装置の第１のデジタル画像信号の画質特性の調整を行う。
そして全ての撮像装置１３から調整終了通知を受信した表示装置１２は、上述したように、俯瞰画像に変換された複数の第２のデジタル画像信号に基づく画像を結合した結合画像を表示部１６に表示させる。
次に図５に示すフローチャートを参照して、本実施形態に係る撮像装置１３の動作の例について説明する。本動作は、例えば撮像装置１３がアナログ画像信号を生成する各フレームにおいて実行される。
ステップＳ２００：撮像装置１３は、被写体像を撮像してアナログ画像信号を生成する。
ステップＳ２０１：撮像装置１３は、アナログ画像信号に対して前段画像処理を施し、第１のデジタル画像信号を生成する。
ステップＳ２０２：撮像装置１３は、第１のデジタル画像信号に対して後段画像処理を施す。
ステップＳ２０３：撮像装置１３は、ステップＳ２００でアナログ画像信号が生成された時刻における車両１０の制御情報を取得する。
ステップＳ２０４：撮像装置１３は、車両１０の制御情報に基づいて各撮像装置１３の従属関係を決定する。ここでは、フロントカメラ１３ａが一次装置、左サイドカメラ１３ｃおよび右サイドカメラ１３ｄが二次装置、およびリアカメラ１３ｂが三次装置に定められるものとする。ステップＳ２０４の処理は、複数の撮像装置１３のうちの１つが実行し、決定された従属関係を他の撮像装置１３に通知してもよい。また一次装置に定められたフロントカメラ１３ａは、後段画像処理が施された第１のデジタル画像信号の画質特性値を目標値に定めて一時的に保持する。
ステップＳ２０５：撮像装置１３は、表示装置１２と共に、第１のデジタル画像信号の画質特性の調整処理を行う。画質特性の調整処理の内容は、上述したように従属関係に応じて各撮像装置１３で相違する。
次に図６に示すフローチャートを参照して、表示装置１２および一次装置に定められた撮像装置１３（例えば、フロントカメラ１３ａ）の動作の例について説明する。本動作は、図５のステップＳ２０５に示す第１のデジタル画像信号の画質特性の調整処理に相当する。
ステップＳ３００：フロントカメラ１３ａは、第１のデジタル画像信号を出力用のアナログ画像信号に変換する。
ステップＳ３０１：フロントカメラ１３ａは、ステップＳ３００のアナログ画像信号を、専用線１８を介して表示装置１２に出力する。
ステップＳ３０２：表示装置１２は、ステップＳ３０１のアナログ画像信号をＡ／Ｄ変換して第２のデジタル画像信号を生成する。
ステップＳ３０３：表示装置１２は、フロントカメラ１３ａの第２のデジタル画像信号の画質特性値を示す参照情報を、ネットワーク１９を介してフロントカメラ１３ａに出力する。
ステップＳ３０４：フロントカメラ１３ａは、受信された参照情報に示される第２のデジタル画像信号の画質特性値が所定の目標値と略一致しているか否かを判定する。ここで目標値は、図５に示すステップＳ２０４で一時的に保持された、後段画像処理が施された第１のデジタル画像信号の画質特性値である。画質特性値が目標値と略一致していないときには（ステップＳ３０４−Ｎｏ）、ステップＳ３０５に進む。一方、画質特性値が目標値と略一致しているときには（ステップＳ３０４−Ｙｅｓ）、ステップＳ３０６に進む。
ステップＳ３０５：ステップＳ３０４において画質特性値が目標値と略一致していないときには（ステップＳ３０４−Ｎｏ）、フロントカメラ１３ａは、参照情報に示される第２のデジタル画像信号の画質特性値が目標値に近づくように、第１のデジタル画像信号の画質特性の調整、ここでは露出調整またはホワイトバランス調整を行う。そしてフロントカメラ１３ａは、ステップＳ３００に戻って第１のデジタル画像信号の画質特性の調整を繰り返し実行する。
ステップＳ３０６：ステップＳ３０４において画質特性値が目標値と略一致しているときには（ステップＳ３０４−Ｙｅｓ）、フロントカメラ１３ａは、調整終了通知を表示装置１２に出力する。調整終了通知には、一次装置の下位である二次装置（左サイドカメラ１３ｃおよび右サイドカメラ１３ｄ）を示す情報が含まれる。
次に図７に示すフローチャートを参照して、表示装置１２および二次装置または三次装置に定められた撮像装置１３（例えば、左サイドカメラ１３ｃ）の動作の例について説明する。本動作は、図５のステップＳ２０５に示す第１のデジタル画像信号の画質特性の調整処理に相当する。
ステップＳ４００：二次装置である左サイドカメラ１３ｃは、上位の一次装置である他の撮像装置１３の他の参照情報、ここではフロントカメラ１３ａの参照情報を待ち受ける。左サイドカメラ１３ｃが表示装置１２からフロントカメラ１３ａの参照情報を取得すると、当該参照情報に示されるフロントカメラ１３ａの第２のデジタル画像信号の画質特性値を目標値に定めて一時的に保持し、ステップＳ４０１に進む。
ステップＳ４０１：左サイドカメラ１３ｃは、第１のデジタル画像信号を出力用のアナログ画像信号に変換する。
ステップＳ４０２：左サイドカメラ１３ｃは、ステップＳ４０１のアナログ画像信号を、専用線１８を介して表示装置１２に出力する。
ステップＳ４０３：表示装置１２は、ステップＳ４０２のアナログ画像信号をＡ／Ｄ変換して第２のデジタル画像信号を生成する。
ステップＳ４０４：表示装置１２は、左サイドカメラ１３ｃの第２のデジタル画像信号の画質特性値を示す参照情報を、ネットワーク１９を介して左サイドカメラ１３ｃに出力する。
ステップＳ４０５：左サイドカメラ１３ｃは、ステップＳ４０４で受信された参照情報に示される第２のデジタル画像信号の画質特性値が所定の目標値と略一致しているか否かを判定する。ここで目標値は、ステップＳ４００で一時的に保持された、一次装置（フロントカメラ１３ａの第２のデジタル画像信号の画質特性値である。画質特性値が目標値と略一致していないときには（ステップＳ４０５−Ｎｏ）、ステップＳ４０６に進む。一方、画質特性値が目標値と略一致しているときには（ステップＳ４０５−Ｙｅｓ）、ステップＳ４０７に進む。
ステップＳ４０６：ステップＳ４０５において画質特性値が目標値と略一致していないときには（ステップＳ４０５−Ｎｏ）、左サイドカメラ１３ｃは、左サイドカメラ１３ｃの参照情報に示される第２のデジタル画像信号の画質特性値が目標値に近づくように、第１のデジタル画像信号の画質特性の調整、ここでは露出調整またはホワイトバランス調整が行われる。そして左サイドカメラ１３ｃは、ステップＳ４０１に戻って第１のデジタル画像信号の画質特性の調整を繰り返し実行する。
ステップＳ４０７：ステップＳ４０５において画質特性値が目標値と略一致しているときには（ステップＳ４０５−Ｙｅｓ）、撮像装置１３は、調整終了通知を表示装置１２に出力する。調整終了通知には、二次装置の下位である三次装置（リアカメラ１３ｂ）示す情報が含まれる。
次に図８に示すフローチャートを参照して、表示装置１２が結合画像を表示する動作の例について説明する。
ステップＳ５００：表示装置１２は、全ての撮像装置１３からの調整終了通知を待ち受ける。表示装置１２が全ての撮像装置１３から調整終了通知を取得すると、ステップＳ５０１に進む。
ステップＳ５０１：表示装置１２は、各撮像装置１３の第２のデジタル画像信号に対して所定の画像調整を施した画像を結合して、結合画像を生成する。
ステップＳ５０２：表示装置１２は、結合画像を表示する。
このように、第２の実施形態に係る撮像装置１３は、他の撮像装置１３の他の参照情報を受信し、当該他の参照情報に示される他の第２のデジタル画像信号の画質特性値を目標値に定める。撮像装置１３は、他の参照情報を用いることによって、撮像装置１３の外部、例えば表示装置１２で生成される自装置の第２のデジタル画像信号の画質特性値を他の撮像装置１３の第２のデジタル画像信号の画質特性値に近づけるように制御可能となる。このため、撮像装置１３のＤ／Ａ変換による影響およびアナログ画像信号の送信過程における影響が低減されるとともに、撮像装置１３と他の撮像装置１３との間で第２のデジタル画像信号の色または明るさ等の画質特性が略一致する。色または明るさが略一致した複数の画像は、例えば複数の画像を結合して生成される結合画像の視認性向上に好適である。
（第３の実施形態）
図９は、第３の実施形態に係る撮像装置を備える異常判定システム（「撮像システム」ともいう。）の機能ブロック図の一例を示す図である。異常判定システムは、撮像装置１００、表示装置２００、第１の伝送路３００、第２の伝送路４００および第３の伝送路５００を含んで、構成される。撮像装置１００が撮像する撮像画像を表示装置２００は表示する。また、撮像装置１００は、撮像画像の出力経路上に異常が発生しているか否かを判定する。
次に、撮像装置１００および表示装置２００の各機能を説明するが、撮像装置１００および表示装置２００が備える他の機能を排除することを意図したものではないことに留意されたい。本実施形態に係る撮像装置１００および表示装置２００は例えば車両に設置される。撮像装置１００は車両以外の移動体に設置されてもよい。撮像装置１００は電子機器関連の要素と通信するが、以下の説明においては、他の機能部を構成する要素の図示および説明は省略する。
撮像装置１００は、制御部１１００、撮像部１２００、第１の出力部１３００、第２の出力部１４００および取得部１５００を備える。
制御部１１００は、撮像装置１００の各種動作を制御するコンピュータである。例えば制御部１１００は、撮像部１２００から取得した画像に対して任意の画像処理（Ａ／Ｄ変換、Ｄ／Ａ変換等）を行う。また、制御部１１００は、画像を符号化する。また、制御部１１００は、後述する取得部１５００が取得した画像を、後述する第１の出力部１３００が出力したテストパターン画像の対応領域と比較する。テストパターン画像の画像信号は、例えば所定のカラーバー信号であるが、これに限定されない。テストパターン画像はカラー画像であってもモノクロ画像であってもよい。
撮像部１２００は、光学系および撮像素子を有する。光学系はレンズなどの光学素子によって構成され、撮像装置１が設置される車両の周辺の画像を結像する。撮像素子は、例えばＣＭＯＳまたはＣＣＤ撮像素子であり、光学系が結像する画像を、カラー画像またはモノクロ画像として撮像する。
第１の出力部１３００は例えば、コネクタである。第１の出力部１３００は、撮像部１２００が撮像した撮像画像と所定のテストパターン画像とを切替えて、第１の伝送路３００を介して表示装置２００へ出力可能である。
第２の出力部１４００は例えば、コネクタである。第２の出力部１４００は、テストパターン画像の少なくとも一部の領域を指定する情報を第２の伝送路４００を介して表示装置２００に出力する。
取得部１５００は例えば、コネクタである。取得部１５００は、表示装置２００から、テストパターン画像の少なくとも一部の領域の画像を取得する。取得部１５００は、取得した画像を制御部１１００に出力する。
表示装置２００は、制御部２１００、取得部２２００、復号部２３００、駆動部２４００、表示部２５００および通信制御部２６００を備える。
制御部２１００は、表示装置２００の各種動作を制御するコンピュータである。例えば制御部２１００は、後述する取得部２２００が取得したテストパターン画像から、その少なくとも一部の領域の画像を、後述する通信制御部２６００に抽出させる。
取得部２２００は例えば、コネクタである。取得部２２００は、第１の出力部１３００から、撮像画像またはテストパターン画像の少なくとも一方を取得する。取得部２２００はまた、第２の出力部１４００から、テストパターン画像の少なくとも一部の領域を指定する情報を取得する。取得部２２００は、取得した情報を復号部２３００へ出力する。後述する第４の実施形態では、取得部２２００は、取得した画像を通信制御部２６００へ出力する。
復号部２３００は、取得部２２００が取得した撮像画像またはテストパターン画像の少なくとも一方の画像信号を復号する。復号部２３００は例えば、画像処理を行うＤＳＰである。復号部２３００は、復号した画像を駆動部２４００に出力する。
駆動部２４００は、例えば、ＬＣＤドライバである。駆動部２４００は、復号部２３００から取得した画像に基づいて、表示部２５００を駆動する。
表示部２５００は、例えば、液晶ディスプレイであり、駆動部２４００の駆動によって撮像画像を表示する。表示部２５００は、テストパターン画像を表示してもよい。表示部２５００は、例えばタッチパネルで構成され、ユーザから入力を受付けるインターフェースとして機能してもよい。
通信制御部２６００は、例えば、ゲートアレイのＣＡＮコントローラである。通信制御部２６００は、復号部２３００が復号した後のテストパターン画像を取得する。通信制御部２６００は、取得したテストパターン画像から、取得部２２００が取得した、テストパターン画像の少なくとも一部の領域を指定する情報に対応する領域の画像を抽出する。通信制御部２６００は、抽出した画像を、第３の伝送路５００を介して撮像装置１００に出力する。
第１の伝送路３００は例えば専用線である。第１の伝送路３００は、第１の出力部１３００が出力した画像を表示装置２００へ伝送する。第２の伝送路４００は例えば専用線であるが、バスであってもよい。第２の伝送路４００は、第２の出力部１４００が出力した情報を表示装置２００へ伝送する。後述する第３の伝送路５００が、第２の伝送路４００の代わりに、第２の出力部１４００が出力した情報を表示装置２００へ伝送してもよい。
第３の伝送路５００は例えばバスである。第３の伝送路５００は、通信制御部２６００が出力した画像をＣＡＮ通信によって撮像装置１００へ伝送する。第３の伝送路５００の本数は２本以上であってもよい。
［異常判定システムが行う処理］
制御部１１００は、撮像装置１００が設置される車両のエンジンが起動し撮像装置１００が起動したことを検出する。制御部１１００は、撮像装置１００が起動したことを検出すると、所定のテストパターン画像を表示装置２００へ出力する。制御部１１００は、撮像装置１００が起動したことを検出した時点ではなく、車両に対して任意の運転操作がなされた時点でテストパターン画像を表示装置２００へ出力してもよい。運転操作には、例えば車両の運転者がギアをリバースに入れる操作が含まれてもよい。表示装置２００において取得部２２００はテストパターン画像を取得し、復号部２３００へ出力する。
復号部２３００はテストパターン画像を復号する。次いで、復号部２３００は、復号したテストパターン画像を通信制御部２６００へ出力する。
通信制御部２６００は、取得したテストパターン画像のうち少なくとも一部の領域の画像を抽出する。例えば、通信制御部２６００は、図１０に示すテストパターン画像３０００全体から、少なくとも一部の領域の画像３１００または３２００等を抽出する。図１０に示す通り、少なくとも一部の領域は例えば、テストパターン画像内に予め定められた境界３３００、すなわち変位に伴い画素値が変わる境界部分を含む領域である。
通信制御部２６００は、抽出した画像を、第３の伝送路５００を介して撮像装置１００へ出力する。
通信制御部２６００がテストパターン画像内で抽出する領域は、例えば、撮像装置１００の制御部１１００によって指定される。具体的には制御部１１００は、抽出する領域を、例えば、その領域の画像を構成する１以上の画素の座標によって指定する。制御部１１００は、テストパターン画像を表示装置２００に出力する時またはその前後に、テストパターン画像の少なくとも一部の領域を指定する情報を、第２の伝送路４００を介して表示装置２００に出力する。
取得部１５００は、表示装置２における通信制御部２６００から出力される、テストパターン画像の少なくとも一部の領域の画像を取得する。撮像装置１００の制御部１１００は、取得部１５００が取得した画像を、第１の出力部１３００が出力したテストパターン画像の、取得した画像が示す領域に対応する領域の画像と比較（照合）する。すなわち、撮像装置１００の制御部１１００は、２つの画像の画素情報を比較する。対応する領域とは、比較する２つの画像における、撮像装置１００が指定した領域である。
比較した２つの画像の画素情報が同一でないと制御部１１００が判定した場合、撮像装置１００と表示装置２００との間または表示装置２００内に異常があると推定される。この場合、制御部１１００は、異常がある旨の報知を、例えば第３の伝送路５００を介して表示装置２００に行わせる。この場合、制御部１１００は、車両の特定の機能を停止させ得る情報を、表示装置２００を含む車載機器に出力してもよい。
一方、比較した２つの画像が同一であると制御部１１００が判定した場合、撮像装置１００と表示装置２００との間や表示装置２００内は正常であると推定される。
［動作フロー］
図１１に示すように、撮像装置１００は、撮像装置１００が設置される車両のエンジンが起動したことを検出する（ステップＳ６０１）。撮像装置１００は、テストパターン画像を表示装置２００に出力する（ステップＳ６０２）。撮像装置１００は、ステップＳ６０２で出力したテストパターン画像の少なくとも一部の領域を指定する情報を表示装置２００へ出力する（ステップＳ６０３）。ステップＳ６０３は、ステップＳ６０２と同時に行ってもよいし、ステップＳ６０２の前後で行ってもよい。撮像装置１００は、表示装置２００から出力される、テストパターン画像の少なくとも一部の領域の画像を取得する（ステップＳ６０４）。撮像装置１００は、ステップＳ６０４で取得した画像を、ステップＳ６０２で出力したテストパターン画像の、ステップＳ６０４で取得した画像が示す領域に対応する領域の画像と比較する（ステップＳ６０５）。撮像装置１００は、比較結果から、異常あるか否かを判定する（ステップＳ６０６）。撮像装置１００は、異常があると判定した場合（ステップＳ６０６のＹＥＳ）、異常がある旨の報知を表示装置２００に行わせる（ステップＳ６０７）。また、撮像装置１００は、車両の特定の機能を停止させ得る情報を車載機器に出力してもよい。撮像装置１００は、正常であると判定した場合（ステップＳ６０６のＮＯ）、ステップＳ６０７を行わない。
上記実施形態の通り、制御部１１００は、取得部１５００が取得した画像を、第１の出力部１３００が出力したテストパターン画像の、取得した画像が示す領域に対応する領域の画像と比較する。これによって、撮像装置１００と表示装置２００との間または表示装置２００内に異常があるか否かを判定することが可能となる。
また、少なくとも一部の領域は例えば、テストパターン画像として予め定められた境界部分の領域である。境界部分の領域においては、例えば、進行波と反射波とによって発生する定在波等の影響による同期信号の位相ずれが生じているときに、画像の乱れが発生しやすい。それゆえ、このような構成によって、カメラと表示装置との間または表示装置内に異常があるか否かを判定することが容易となる。
更に、テストパターン画像は、色情報を有するカラー画像であってもよい。異常によって、画像からまず色情報から失われることがある。従って、このような構成によって、異常があるか否かの判定をすることが容易となる。
（第４の実施形態）
上記の第３の実施形態では、通信制御部２６００が、復号部２３００が復号した後のテストパターン画像を取得する。他方、第４の実施形態では、通信制御部２６００が、復号部２３００が復号する前のテストパターン画像を取得する。この点以外の、異常判定システムが行う処理は上記の実施形態の処理と同様である。
本実施形態の場合、通信制御部２６００が取得し撮像装置１００に出力する画像は、復号部２３００が復号を行っていない画像である。従って、比較した２つの画像が同一でないと制御部１１００が判定した場合、撮像装置１００と表示装置２００との間に異常があると推定される。
本実施形態では、このような構成によって、撮像装置１００と表示装置２００との間に異常があるか否かを判定することができる。
（第５の実施形態）
第５の実施形態は、第３の実施形態と第４の実施形態とを組み合わせる。すなわち、通信制御部２６００は、復号部２３００が復号する前のテストパターン画像および復号した後のテストパターン画像の両方を取得する。更に、通信制御部２６００は、両方のテストパターン画像を撮像装置１００に出力し、取得部１５００はそれらを取得して制御部１１００に出力する。制御部１１００は、復号部２３００が復号する前のテストパターン画像を、第１の出力部１３００が出力したテストパターン画像の、取得した画像が示す領域に対応する領域の画像と比較する。更に、制御部１１００は、復号部２３００が復号した後のテストパターン画像を、第１の出力部１３００が出力したテストパターン画像の、取得した画像が示す領域に対応する領域の画像と比較する。
このように２回の比較を行ったときの、異常箇所の判定結果を図１２に示す。「○」は比較した画像が同一であることを示し、「Ｘ」は比較した画像が異なることを示す。
本実施形態においては、このような構成によって、制御部１１００が異常箇所を詳細に判定することができる。
（第６の実施形態）
上記第３の実施形態では、通信制御部２６００がテストパターン画像内で抽出する領域を、撮像装置１００の制御部１１００が指定する。他方、第６の実施形態では、通信制御部２６００がテストパターン画像内で抽出する領域を、通信制御部２６００が任意に決定する。従って、本実施形態では、異常判定システムは第２の出力部１４００を備える必要がない。
本実施形態では、通信制御部２６００は、どの領域の画像を抽出したかを、例えば、その領域の画像を構成する１以上の画素の座標によって示す。通信制御部２６００は、どの領域の画像を抽出したかを示す情報を、撮像装置１００に出力する。制御部１１００が比較する対応する領域は、比較する２つの画像における、通信制御部２６００が決定した領域である。
（第７の実施形態）
上記第３の実施形態では、通信制御部２６００がテストパターン画像内で抽出する領域を、制御部１１００が指定する。他方、第７の実施形態では、通信制御部２６００がテストパターン画像内で抽出する領域は、予め定められている。従って、本実施形態では、異常判定システムは第２の出力部１４００を備える必要がない。
本実施形態では、通信制御部２６００は、予め定められた所定の領域を抽出し、撮像装置１００へ出力する。予め定められた所定の領域は、テストパターン画像の一部の領域であってもよいし、全部の領域であってもよい。
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。
例えば、上述した第１の実施形態および第２の実施形態において、撮像装置１３（第２の実施形態においては一次装置）は後段画像処理が施された現在フレームの第１のデジタル画像信号の画質特性値を目標値に定める構成について説明したが、実施形態の構成はこれに限られない。例えば後段画像処理が施された過去フレームの第１のデジタル画像信号の画質特性値を目標値に定めてもよい。同様に、上述した第２の実施形態において、例えば二次装置に定められた撮像装置１３は、過去のフレームの他の参照信号に示される第２のデジタル画像信号の画質特性値を目標値に定めてもよい。
また、上述した第１の実施形態または第２の実施形態と、第３の実施形態と、が組み合わされてもよい。例えば、第１の実施形態または第２の実施形態に係る第１のデジタル画像信号として、第３の実施形態に係るテストパターン画像が採用されてもよい。また例えば、第１の実施形態または第２の実施形態において、第１のデジタル画像信号の少なくとも一部の領域の画質特性値と、第２のデジタル画像信号の少なくとも一部の領域の画質特性値と、の比較に基づいて、撮像装置１３と表示装置１２との間に、または、表示装置１２内に、異常があるか否かを判定してもよい。
また、上述の実施形態に係るシステムの構成要素の一部は、車両の外部に設けられてもよい。例えば、表示装置１２、２００、および撮像装置１３、１００等は、携帯電話等の通信機器として実現され、システムの他の構成要素と有線または無線によって接続されてもよい。
また、撮像装置１３、１００または表示装置１２、２００の少なくとも一方をコンピュータで構成した場合、各機能を実現する処理内容を記述したプログラムを、そのコンピュータの内部または外部の記憶部に格納しておき、そのコンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。また、このようなプログラムは、例えばＤＶＤまたはＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等によって流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することによって、流通させることができる。また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
１０ 車両
１１ カメラシステム
１２ 表示装置
１３ 撮像装置
１３ａ フロントカメラ
１３ｂ リアカメラ
１３ｃ 左サイドカメラ
１３ｄ 右サイドカメラ
１４ 入出力部
１５ ＡＤ変換部
１６ 表示部
１７ 表示装置制御部
１８ 専用線
１９ ネットワーク
２０ 光学系
２１ 撮像素子
２２ 画像処理部
２３ ＤＡ変換部
２４ 入出力部
２５ カメラ制御部
１００ 撮像装置
２００ 表示装置
３００ 第１の伝送路
４００ 第２の伝送路
５００ 第３の伝送路
１１００ 制御部
１２００ 撮像部
１３００ 第１の出力部
１４００ 第２の出力部
１５００ 取得部
２１００ 制御部
２２００ 取得部
２３００ 復号部
２４００ 駆動部
２５００ 表示部
２６００ 通信制御部

Claims (10)

  1. 第１のデジタル画像を生成する画像処理部と、
    前記第１のデジタル画像をアナログ画像に変換して出力するＤＡ変換部と、
    前記アナログ画像に基づいて生成される第２のデジタル画像の画質特性値を示す参照情報を受信する入出力部と、
    前記画像処理部の動作を制御して、前記第２のデジタル画像の画質特性値が所定の目標値に近づくように前記第１のデジタル画像の画質特性の調整を行う制御部と、
    を備える撮像装置。
  2. 請求項１に記載の撮像装置であって、
    前記目標値は、前記第１のデジタル画像の画質特性値である、撮像装置。
  3. 請求項１に記載の撮像装置であって、
    前記制御部は、さらに他の撮像装置が出力した他のアナログ画像に基づいて生成される他の第２のデジタル画像の画質特性値を示す他の参照情報を受信し、
    前記目標値は、前記他の第２のデジタル画像の画質特性値である、撮像装置。
  4. 請求項１乃至３の何れか一項に記載の撮像装置であって、
    前記第１のデジタル画像の画質特性の調整は、露出調整またはホワイトバランス調整を含む、撮像装置。
  5. 請求項１乃至４の何れか一項に記載の撮像装置であって、
    前記第１のデジタル画像は、テストパターン画像であり、
    前記制御部は、前記第１のデジタル画像上の特定領域と、前記第２のデジタル画像上の前記特定領域と、を比較する、撮像装置。
  6. 請求項５に記載の撮像装置であって、
    前記特定領域は、前記テストパターン画像内に予め定められた境界部分を含む領域である、撮像装置。
  7. 請求項５または６に記載の撮像装置であって、
    前記入出力部は、前記特定領域を指定する情報を出力する、撮像装置。
  8. 請求項５乃至７の何れか一項に記載の撮像装置であって、
    前記制御部は、前記前記第１のデジタル画像上の前記特定領域の色情報と、前記第２のデジタル画像上の前記特定領域の色情報と、を比較する、撮像装置。
  9. 第１のデジタル画像を生成し、前記第１のデジタル画像をアナログ画像に変換して出力する撮像装置と、
    前記アナログ画像を受信し、前記アナログ画像を第２のデジタル画像に変換し、該第２のデジタル画像の画質特性値を示す参照情報を前記撮像装置に出力する表示装置と、を備え、
    前記撮像装置は、前記第２のデジタル画像の画質特性値が所定の目標値に近づくように前記第１のデジタル画像の画質特性の調整を行う、撮像システム。
  10. 第１のデジタル画像を生成し、前記第１のデジタル画像をアナログ画像に変換して出力する撮像装置と、前記アナログ画像を受信し、前記アナログ画像を第２のデジタル画像に変換し、該第２のデジタル画像の画質特性値を示す情報を前記撮像装置に出力する表示装置と、を有する撮像システムを備え、
    前記撮像装置は、前記第２のデジタル画像の画質特性値が所定の目標値に近づくように前記第１のデジタル画像の画質特性の調整を行う、車両。
JP2017509286A 2015-03-27 2016-03-25 撮像装置、撮像システム、および車両 Pending JPWO2016157873A1 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015067467 2015-03-27
JP2015067467 2015-03-27
JP2015089762 2015-04-24
JP2015089762 2015-04-24
PCT/JP2016/001768 WO2016157873A1 (ja) 2015-03-27 2016-03-25 撮像装置、撮像システム、および車両

Publications (1)

Publication Number Publication Date
JPWO2016157873A1 true JPWO2016157873A1 (ja) 2017-08-24

Family

ID=57004126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017509286A Pending JPWO2016157873A1 (ja) 2015-03-27 2016-03-25 撮像装置、撮像システム、および車両

Country Status (4)

Country Link
US (1) US20180069998A1 (ja)
EP (1) EP3276939A4 (ja)
JP (1) JPWO2016157873A1 (ja)
WO (1) WO2016157873A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082653A1 (ja) * 2017-10-25 2019-05-02 富士フイルム株式会社 情報処理装置、撮影装置、撮影システム、情報処理方法、撮影方法、情報処理プログラム、及び撮影プログラム
JP6933955B2 (ja) * 2017-10-27 2021-09-08 京セラ株式会社 サイドミラー装置、サイドミラーシステム、および車両
JP6632750B1 (ja) * 2019-03-11 2020-01-22 マレリ株式会社 画像表示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0979003A2 (en) * 1998-08-03 2000-02-09 Sony Corporation Image-pickup and display apparatus
JP2001177798A (ja) * 1999-12-17 2001-06-29 Minolta Co Ltd 画像処理装置、画像処理システム、画像処理プログラムを記録した記録媒体および画像処理方法
JP2008175915A (ja) * 2007-01-16 2008-07-31 Konica Minolta Medical & Graphic Inc 表示画像検査方法、表示画像検査システム及び表示画像検査プログラム
JP2009147977A (ja) * 2009-03-23 2009-07-02 Sony Corp カメラシステムおよび移動体カメラシステム
JP2010288199A (ja) * 2009-06-15 2010-12-24 Aisin Seiki Co Ltd 車載モニタシステム、その車載モニタシステムを用いた駐車支援装置、および車載モニタシステムの色調整方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6680745B2 (en) * 2000-11-10 2004-01-20 Perceptive Network Technologies, Inc. Videoconferencing method with tracking of face and dynamic bandwidth allocation
JP2011044965A (ja) * 2009-08-21 2011-03-03 Samsung Yokohama Research Institute Co Ltd 撮像装置、撮像方法及びコンピュータプログラム
US8964056B2 (en) * 2011-06-30 2015-02-24 Cisco Technology, Inc. Encoder-supervised imaging for video cameras

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0979003A2 (en) * 1998-08-03 2000-02-09 Sony Corporation Image-pickup and display apparatus
JP2000050131A (ja) * 1998-08-03 2000-02-18 Sony Corp 撮像表示装置
JP2001177798A (ja) * 1999-12-17 2001-06-29 Minolta Co Ltd 画像処理装置、画像処理システム、画像処理プログラムを記録した記録媒体および画像処理方法
JP2008175915A (ja) * 2007-01-16 2008-07-31 Konica Minolta Medical & Graphic Inc 表示画像検査方法、表示画像検査システム及び表示画像検査プログラム
JP2009147977A (ja) * 2009-03-23 2009-07-02 Sony Corp カメラシステムおよび移動体カメラシステム
JP2010288199A (ja) * 2009-06-15 2010-12-24 Aisin Seiki Co Ltd 車載モニタシステム、その車載モニタシステムを用いた駐車支援装置、および車載モニタシステムの色調整方法

Also Published As

Publication number Publication date
EP3276939A4 (en) 2018-12-05
US20180069998A1 (en) 2018-03-08
EP3276939A1 (en) 2018-01-31
WO2016157873A1 (ja) 2016-10-06

Similar Documents

Publication Publication Date Title
US9681056B2 (en) Imaging system, display system, and optical device including plurality of optical systems that have a plurality of optical axes
US10110820B2 (en) Imaging device, imaging system, and imaging method
JP2007282158A (ja) 撮像装置
JP2006245793A (ja) 撮像システム
JP2017147577A (ja) 動画撮像装置
JP2019033917A (ja) 内視鏡システム
JP2010283567A (ja) 撮像装置及び車両周囲画像提供装置
WO2016157873A1 (ja) 撮像装置、撮像システム、および車両
JP5505764B2 (ja) 車載カメラ装置のキャリブレーション支援方法及びキャリブレーション支援装置、並びに車載カメラ装置
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
US8970735B2 (en) Capturing device, capturing system, and capturing method
JP4791222B2 (ja) 表示制御装置
JP2007266703A5 (ja)
WO2016121406A1 (ja) 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法
JP2007189361A (ja) イメージセンサおよびこれを用いたカメラ
JP6266022B2 (ja) 画像処理装置、警報装置、および画像処理方法
JP2022188888A (ja) 画像処理装置および画像処理方法
JP4611898B2 (ja) 画像表示システム
JP6413830B2 (ja) 車載カメラ
JP6142005B2 (ja) 撮像装置、カメラシステム、および信号出力方法
JP6618575B2 (ja) 画像処理装置、撮像装置、レンズ装置、および、画像処理方法
JP2011061588A (ja) 画像処理装置、画像処理方法及び車載カメラ装置
JP2009159404A (ja) 画像処理方法、画像処理装置及び画像形成装置
JP2023161848A (ja) 画像処理装置、制御方法、及びプログラム
JP2022154264A (ja) 撮像装置、画像処理装置、移動装置、制御方法およびコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180710