JP6507518B2 - 画像処理装置及び撮像表示システム - Google Patents

画像処理装置及び撮像表示システム Download PDF

Info

Publication number
JP6507518B2
JP6507518B2 JP2014163408A JP2014163408A JP6507518B2 JP 6507518 B2 JP6507518 B2 JP 6507518B2 JP 2014163408 A JP2014163408 A JP 2014163408A JP 2014163408 A JP2014163408 A JP 2014163408A JP 6507518 B2 JP6507518 B2 JP 6507518B2
Authority
JP
Japan
Prior art keywords
image
signal
image signal
unit
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014163408A
Other languages
English (en)
Other versions
JP2016039587A (ja
Inventor
塩原 隆一
隆一 塩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2014163408A priority Critical patent/JP6507518B2/ja
Publication of JP2016039587A publication Critical patent/JP2016039587A/ja
Application granted granted Critical
Publication of JP6507518B2 publication Critical patent/JP6507518B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、画像処理装置及び撮像表示システムに関する。
従来から、液晶プロジェクター等の投射型表示装置からの照射光を筐体に形成された開口部から射出させ、照射光に応じた画像を投影する表示システムが知られている(例えば特許文献1)。
特開2012−240467号公報
ところで、投射型の表示システムでは一般に、光源からの光を液晶パネルを介して照射光として射出するため、液晶パネルの形状と同じ矩形の画像が投影される。一方、筐体の内部に投射型表示装置を設置し、その照射光を筐体に形成された開口部から射出する場合には、デザイン性を高める観点から、開口部の形状を矩形ではない自由な形状にしたいという要望がある。
しかしながら、開口部の形状を液晶パネルの形状と相違させると、照射光の全てが開口部を通過するのではなく、筐体の内部の開口部の周辺部分で照射光が反射して迷光が生じ、それが乱射することで本来投影する画像に乱射光が漏れこみ、表示に悪影響を及ぼすおそれがある。
本発明は、上述した事情に鑑みてなされたものであり、迷光を抑制しつつ、投影型表示装置から投影される画像を自由な形状で表示可能とすることを解決課題の一つとする。
以上の課題を解決するために、本発明に係る画像処理装置の一態様は、投射型表示装置からの照射光を所定形状の開口部より射出する表示システムに用いることが可能な画像処理装置であって、前記開口部の外側に至る前記照射光の輝度が、前記開口部の内側に至る前記照射光の輝度より低くなるように、入力信号に基づく表示画像に前記所定形状に応じた画像処理を施して画像信号を生成し、当該画像信号を前記投射型表示装置に出力する、ことを特徴とする。この発明によれば、開口部の外側に至る照射光の輝度が開口部の内側に至る照射光の輝度よりも低く設定されるので、開口部の外側に至る照射光が反射することで生じる迷光を抑制しつつ、所定形状に応じた画像を投影することが可能となる。なお、液晶プロジェクターやレーザープロジェクター等のプロジェクター(ピコプロジェクターを含む)は、投射型表示装置の一例である。また、上記表示システムとしては、各種の形態のヘッドアップディスプレイ(HUD)や、背面投射型のプロジェクター方式による表示システムが例示される。
また、上述した画像処理装置の一態様において、前記所定形状に応じたマスク画像を取得するマスク画像取得部と、入力信号に基づく表示画像と前記マスク画像を合成して、前記画像信号を生成する画像合成部とを、備えるようにしてもよい。この発明によれば、入力信号に基づく表示画像に所定形状に応じたマスク画像を合成した画像信号を生成するので、画像信号が示す画像のうち開口部の外側に至る領域をマスク画像で覆うことが可能となる。なお、マスク画像取得部においては、あらかじめ記憶部に記憶されたマスク画像を読み出すことにより取得してもよいし、所定形状の座標などマスク画像の生成に必要な情報に基づいて生成されたマスク画像を取得してもよい。
この場合において、好ましくは、前記マスク画像の位置を示す制御情報に基づいて前記マスク画像の位置を調整して調整済マスク画像を生成する位置調整部を備え、前記画像合成部は、前記マスク画像の代わりに前記調整済マスク画像を用いて前記画像信号を生成するようにしてもよい。この発明によれば、表示システムにおいて、マスク画像の所定形状の位置が開口部の所定形状の位置とずれる場合に、マスク画像の位置を調整することが可能となる。
さらに好ましくは、前記制御情報を記憶する制御情報記憶部を備え、前記位置調整部は、前記制御情報記憶部から読み出した前記制御情報を用いて前記マスク画像の位置を調整するようにしてもよい。この発明によれば、例えば、表示システムの製造時に、マスク画像の位置を示す制御情報を生成して記憶部にあらかじめ記憶しておくことで、マスク画像の位置を開口部の所定形状の位置に近づけるように制御することができる。この結果、投射型表示装置の位置決めの精度を低くすることができ、表示システムを簡易に製造することが可能となる。
また、上述した画像処理装置の一態様において、前記所定形状は、複数種類の形状を含み、前記複数種類の形状に応じた前記マスク画像を記憶したマスク画像記憶部を備え、前記マスク画像取得部は、前記所定形状の種別を指定する指定情報に応じて前記マスク画像記憶部から前記マスク画像を読み出すことによって、前記所定形状に応じた前記マスク画像を取得する、ようにしてもよい。この発明によれば、複数種類の形状に応じたマスク画像のうち、開口部の形状に応じたマスク画像を取得することが可能となる。このため、複数種類の形状の開口部のいずれにも対応可能な共通の表示システムが製造可能となり、開口部の形状ごとに表示システムを製造する場合と比較して、製造コストが低減される。
さらに、本発明に係る撮像表示システムの一態様は、上述したいずれかの態様に係る画像処理装置と、前記投射型表示装置と、被写体を撮像して得た撮像信号を前記入力信号として前記画像処理装置に出力する撮像装置とを、備えたことを特徴とする。この発明によれば、上記画像処理装置と同様の効果を得ることができる。
さらに、上述した撮像表示システムの一態様において、前記画像処理装置は、前記撮像信号に基づいて、前記投射型表示装置の各ラインで表示すべき画像を示す前記画像信号を生成する生成処理の後、当該画像信号を前記投射型表示装置に出力する画像信号生成部と、前記画像信号生成部が前記画像信号を前記投射型表示装置に出力するタイミングを制御するタイミング制御部とを備え、前記撮像信号のフレームの開始から、前記投射型表示装置に出力する前記画像信号のフレームの開始までの時間を位相差とし、前記撮像装置のフレームレートを第1フレームレートとし、前記投射型表示装置で表示可能な最高のフレームレートを第2フレームレートとしたとき、前記タイミング制御部は、前記位相差が所定時間より長い場合において、前記投射型表示装置のフレームレートが前記第2フレームレートとなるように前記画像信号生成部に前記画像信号を出力させることにより、前記位相差を次第に小さくする第1のタイミング制御と、前記位相差が、前記所定時間以下となった後において、前記投射型表示装置のフレームレートが前記第1フレームレートとなるように前記画像信号生成部に前記画像信号を出力させる第2のタイミング制御と、を実行可能である。
この発明によれば、撮像信号のフレームの開始から画像信号のフレームの開始までの時間である位相差が、所定時間よりも長い場合には、撮像装置よりも高いフレームレートである第2フレームレートで画像信号を出力することで、投射型表示装置のフレーム期間と撮像装置のフレーム期間との差分に相当する期間ずつ位相差を縮小する。そして、位相差が所定時間以下となった後は、投射型表示装置のフレームレートが撮像装置のフレームレートである第1フレームレートとなるようにすることで、画像信号を撮像信号に同期するように出力する。この結果、位相差が所定時間よりも大きい場合において、位相差が所定時間以下となるまでは、位相差を段階的に短くすることができ、位相差が所定時間以下に収束した後は当該位相差を維持することができる。よって、撮像から表示までの遅延時間を短縮することが可能となる。
なお、撮像装置が撮像信号を出力してから、画像信号を生成するまでの時間を画像処理時間としたとき、所定時間は画像処理時間であることが好ましい。
本発明の第1実施形態に係る撮像表示システム1の概略構成を示すブロック図である。 各左側後方領域撮像部10−1、中央後方領域撮像部10−2、及び右側後方領域撮像部10−3について、車両Aにおける配置例を示す図である。 車両Aの車内における表示領域の配置例を示す図である。 左側表示部40−1の構成例を示す図である。 中央表示部40−2の構成例を示す図である。 撮像表示システム1の詳細な構成を示すブロック図である。 撮像信号DSと表示領域ADとの関係を説明するための説明図である。 撮像表示システム1の動作を説明するためのタイミングチャートである。 画像処理部21の構成を示すブロック図である。 歪曲補正処理を説明するための説明図である。 トリミング領域の一例を示す図である。 トリミング処理後の画像の一例を示す図である。 左右反転処理によって生成された画像の一例を示す図である。 撮像信号DSLに基づく画像に対して施す拡大・縮小処理の概念図である。 水平方向縮小・拡大処理を説明するための概念図である。 垂直方向縮小・拡大処理を説明するための概念図である。 撮像信号DSLに基づく画像に対して施す拡大・縮小処理の概念図である。 水平方向縮小・拡大処理を説明するための概念図である。 垂直方向縮小・拡大処理を説明するための概念図である。 撮像信号DSLに基づく画像に対して施す拡大・縮小処理の概念図である。 水平方向縮小・拡大処理を説明するための概念図である。 垂直方向縮小・拡大処理を説明するための概念図である。 変倍率変更処理を説明するための概念図である。 画像生成処理後の画像信号DH2が示す画像の一例である。 マスク画像MDについて説明するための図である。 マスク処理の第2態様に係る画像処理部21Aの主要部の構成例を示すブロック図である。 位置調整部231による処理を説明するための説明図である。 撮像表示システム1の動作を説明するためのタイミングチャートである。 表示領域ADを説明するための説明図である。 左側表示部40−1の構成を示すブロック図である。 左側フロントAピラー部FPにおける画像信号DLの示す画像の表示例を示す図である。 撮像信号DSRに基づく画像に対して施す拡大・縮小処理の概念図である。 撮像信号DSRに基づく画像に対して施す拡大・縮小処理の概念図である。 撮像信号DSRに基づく画像に対して施す拡大・縮小処理の概念図である。 画像信号DH2の示す画像の一例を示す図である。 撮像信号DSCに基づく画像に対して施す拡大・縮小処理の概念図である。 撮像表示システム1の動作を説明するためのタイミングチャートである。 撮像表示システム1の動作を説明するためのタイミングチャートである。 撮像表示システム1の動作を説明するためのタイミングチャートである。 撮像表示システム1の動作を説明するためのタイミングチャートである。 撮像表示システム1の動作を説明するためのタイミングチャートである。 撮像表示システム1の動作を説明するためのタイミングチャートである。 従来例に係る撮像表示システムの動作を説明するためのタイミングチャートである。 本発明の第2実施形態に係る撮像表示システムの動作を説明するためのタイミングチャートである。 第2実施形態に係る撮像表示システムの動作を説明するためのタイミングチャートである。 第2実施形態に係る撮像表示システムの動作を説明するためのタイミングチャートである。
本発明を実施するための形態について図面を参照して説明する。ただし、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
<A.第1実施形態>
以下、本発明の第1実施形態に係る撮像表示システム1について説明する。
<1.撮像表示システムの全体構成>
図1は、撮像表示システム1の概略構成を示すブロック図である。この例の撮像表示システム1は、運転者が自動車や電車などの車両を運転する際に、車両の運行を補助するための画像を表示するシステムである。なお、撮像表示システム1の適用は、車両に限定されるものではないことは勿論であり、例えば、デザイン性が要求される商業施設における画像の表示に好適である。
図1に示すように、撮像表示システム1は、左側後方領域撮像部10−1と中央後方領域撮像部10−2と右側後方領域撮像部10−3と、これら各撮像部から出力された各撮像信号DSL,DSC,DSRに対して画像処理を施して画像信号DL,DC,DRをそれぞれ生成する画像処理回路100−1,100−2,100−3と、画像信号DL,DC,DRが示す画像を表示する左側表示部40−1と中央表示部40−2と右側表示部40−3と、を備える。
さらに、撮像表示システム1は、その設定の変更や撮像信号DSの画像処理に関する指示等を入力するための操作部60と、撮像信号DSL,DSC,DSRに基づく画像と合成されるマスク画像を記憶するフラッシュROM(Read Only Memory)(マスク画像記憶部)70と、外部装置とのインターフェース(I/F)90と、撮像表示システム1全体の動作を制御する制御部50と、を備える。操作部60は表示装置と一体に構成されたタッチパネルである。運転者は、操作部60から、例えば撮像信号DSに基づく画像をトリミングする処理について、トリミングの位置を指定する指示を入力することができる。また、撮像信号DSに基づく画像を複数の領域に分割した後に各領域を縮小又は拡大する処理について、縮小率及び拡大率を入力することができる。
なお、マスク画像を記憶する記憶装置としては、工場出荷時に書き換え可能なように、フラッシュROM70を採用する。
撮像表示システム1のうち、画像処理回路100−1,100−2,100−3、フラッシュROM70、及び制御部50の一部又は全部は「画像処理装置」の一例である。
なお、以下の説明において、左側後方領域撮像部10−1と中央後方領域撮像部10−2と右側後方領域撮像部10−3を「撮像部10」と総称する場合がある。同様に、左側表示部40−1と中央表示部40−2と右側表示部40−3を「表示部40」と総称し、画像処理回路100−1,100−2,100−3を「画像処理回路100」と総称する場合がある。
左側後方領域撮像部10−1は車両の左側後方領域にある被写体を撮像し、中央後方領域撮像部10−2は車両の後方領域にある被写体を撮像し、右側後方領域撮像部10−3は車両の右側後方領域にある被写体を撮像することが可能である。
各左側後方領域撮像部10−1、中央後方領域撮像部10−2、及び右側後方領域撮像部10−3について、車両における配置例を図2に示す。図2に示されるように、左側後方領域撮像部10−1は車両Aの左側フロントAピラー部の外側表面付近(図示の例では従来の左サイドミラーが設けられる位置)に配置され、車両Aの左側後方領域LRを撮像する。右側後方領域撮像部10−3は車両Aの右側フロントAピラー部の外側表面付近(図示の例では従来の右サイドミラーが設けられた位置)に配置され、車両Aの右側後方領域RRを撮像する。中央後方領域撮像部10−2は車両Aの後方端の車両幅方向における中点位置付近(図示の例ではバックウィンドウの下側)に配置され、車両の後方領域BRを撮像する。なお、図示の配置例は一例であり、本発明の趣旨を損なわない範囲で適宜変更され得る。例えば、左側後方領域撮像部10−1及び右側後方領域撮像部10−3を、車両Aの前方の例えばヘッドライト脇に配置する構成を採用してもよい。この場合には、図示の例と比較してより広範囲の後方確認が可能となるため、より安全性が高まる。
左側表示部40−1は従来の左サイドミラーの代わりに左側後方領域LRの画像を表示し、中央表示部40−2は従来のバックミラーの代わりに後方領域BRの画像を表示するものである。また、右側表示部40−3は従来の右サイドミラーの代わりに右側後方領域RRの画像を表示する。すなわち、各左側表示部40−1、中央表示部40−2、及び右側表示部40−3は、各左側後方領域撮像部10−1、中央後方領域撮像部10−2、及び右側後方領域撮像部10−3から出力される各撮像信号DSLに応じた画像、撮像信号DSCに応じた画像、撮像信号DSRに応じた画像(正確には、画像処理回路100による画像処理を経た画像信号DLに応じた画像、画像信号DCに応じた画像、画像信号DRに応じた画像)をそれぞれ表示する。
図3に、車両Aの車内における各左側表示部40−1、中央表示部40−2、及び右側表示部40−3によって表示される画像の表示領域の配置例を示す。いずれの例においても、各左側表示部40−1、中央表示部40−2、及び右側表示部40−3は、各表示部によって表示される画像が運転者によって視認されやすいように、運転席の前方に配置されている。また、左側表示部40−1は、左側後方領域LRについて表示する画像が運転者に視認される領域が、後方領域BRについて表示される画像が視認される領域よりも左側となるように配置される。また、右側表示部40−3は、右側後方領域RRの画像について表示する画像が、後方領域BRについて表示される画像が視認される領域より右側となるように配置される。すなわち、中央表示部40−2は、後方領域BRについて表示する画像が運転者に視認される領域が、左側後方領域LRについて表示する画像が視認される領域と、右側後方領域RRについて表示する画像が視認される領域との間となるように配置される。このように、左側表示部40−1、中央表示部40−2、及び右側表示部40−3を配置することによって、従来の右サイドミラー、バックミラー、左サイドミラーに慣れた運転者にとって、違和感のない画像を視認させることが可能となる。
つまり、左右後方及び中央後方の画像は運転手が直感的に理解出来るように配置するのが望ましい。このため、左後方の画像(左側後方領域LRについて表示する画像)を運転手正面に対して相対的に左側に配置し、右後方の画像(右側後方領域RRの画像について表示する画像)を運転手正面に対して相対的に右側に配置し、中央後方の画像(後方領域BRについて表示される画像)を左後方の画像と右後方の画像の中間(中点付近)、あるいは中点の上側又は下側に配置する構成が好適である。
図3において、ダッシュボードの中央(運転席正面と助手席正面の中間領域)の液晶パネルは、本実施形態の操作部60である。
図3に示す例では、左フロントAピラー部の内部に左側表示部40−1と右フロントAピラー部の内部に右側表示部40−3とがそれぞれ配置され、撮像信号DSLに応じた画像と撮像信号DSRに応じた画像が左右の各フロントAピラー部付近の領域A−1とA−3においてそれぞれ視認されるように表示される。また、中央表示部40−2は運転席前方のフロントウィンドウ下のダッシュボード内に配置され、撮像信号DSCに応じた画像がフロントガラス下部の帯状の領域A−2にて視認されるように表示される。
本実施形態では、各表示部40は、いわゆるヘッドアップディスプレイ(HUD)で構成される。図4に、左側フロントAピラー部FPに配置される左側表示部40−1の構成例を示す。図4は、左側表示部40−1を運転者の視線方向からみた縦断面図である。図4に示すように、左側表示部40−1は、ピコプロジェクター401Lと透過型スクリーン402Lとフィールドレンズ403Lとコンバイナー(凹面ハーフミラー)404Lを備える。ピコプロジェクター401Lは、入力された画像信号Dに応じた画像を透過型スクリーン402Lに投影して実像を描画する。透過型スクリーン402Lを透過した光はフィールドレンズ403Lで像の方向が調整され、コンバイナー404Lで反射される。このとき、コンバイナー404Lによって反射された光が左側フロントAピラー部の開口部OpLを介して運転者の目に入射すると、運転者からは、左側フロントAピラー部の領域A−1に画像が拡大されて表示されているように見える(すなわち、左側フロントAピラー部の先に拡大画像の虚像が形成される)。右側表示部40−3は、左側表示部40−1と同様の構成を有する。すなわち、右側表示部40−3は、ピコプロジェクター401Cと透過型スクリーン402Cとフィールドレンズ403Cとコンバイナー404Cを備える(いずれも図示略)。ただし、運転者の視線等に応じて、コンバイナー404C等の向きを適宜調整した構成が採用される。
ここで、図示のように、ピコプロジェクター401Lはその投射方向が下方であるため、実像が描画される透過型スクリーン402Lの投影面(フィールドレンズ403Lとの対向面)は下方に向いている。すなわち、ピコプロジェクター401Lと透過型スクリーン402Lとフィールドレンズ403Lは開口部OpLより上側に設けられている。このため、透過型スクリーン402Lの投影面が上向きとなるように配置された構成と比較して透過型スクリーン402Lの投影面及びフィールドレンズ403Lに塵や埃が付着しづらいという利点がある。また、コンバイナー404Lの表面を容易にクリーニング可能である(例えば、付着物等を容易に除去可能である)。
なお、コンバイナー404Lを利用して運転者に虚像を見せる構成の代わりに、開口部OpLに半透明のスクリーンに投影した実像を運転手に見せる構成も採用し得る。好適には、開口部OpLのスクリーンに対して背面(すなわち、開口部OpLの内部)からプロジェクターで実像を投影する構成を採用し得る。
図5は、ダッシュボード内に配置される中央表示部40−2の構成例を示す。中央表示部40−2も左側表示部40−1と同様に、ピコプロジェクター401Cと透過型スクリーン402Cとフィールドレンズ403Cとコンバイナー404Cを備える。ただし、図示のように、ピコプロジェクター401Cは斜め下方向から透過型スクリーン402C及びフィールドレンズ403Cを介してコンバイナー404Cに投影光を反射させる。ダッシュボードの開口部OpCからコンバイナー404Cに反射された光が運転者の目に映り、運転者からは、領域A−2に画像が拡大されて表示されているように見える。なお、開口部OpCを透明な板で塞ぎ、塵や埃が内部に入らないようにしてもよい。また、左側表示部40−1の場合と同様に、開口部OpCに半透明なスクリーンを設けて、プロジェクターからの実像をスクリーンに投影する構成も採用し得る。
図6は、撮像表示システム1の詳細な機能構成を示すブロック図である。
図6に示すように、撮像表示システム1の制御部50は、撮像表示システム1全体の動作を制御する。例えば、制御部50は、例えば電源制御信号を各撮像部10、各画像処理回路100、及び各表示部40に対して与える。また、制御部50はトリミングの位置を指定する運転者からの指示に応じた制御信号C1を画像処理回路100に対して出力するとともに、フラッシュROM70からマスク画像MDを読み出して、画像処理回路100に対して出力する。
左側後方領域撮像部10−1は、被写体の像を結像させる撮像光学系11と、マトリックス状に配列された受光素子(撮像素子)からの信号を線順次に走査して被写体の像に応じた撮像信号DSを出力するイメージセンサー12と、イメージセンサー12に対して各種のタイミング信号を出力するタイミングジェネレーター13と、を備える。中央後方領域撮像部10−2及び右側後方領域撮像部10−3も、左側後方領域撮像部10−1と同様の構成を有する。
なお、以降の説明においては、簡易のため、左側後方領域撮像部10−1から出力される撮像信号DSLを撮像信号DSとする。また、各撮像信号DSL,DSC,DSRを特に区別する必要がない限り単に撮像信号DSとして記載する。同様に、画像処理回路100−1から出力される画像信号DLを画像信号Dとし、各画像信号DL,DC,DRを特に区別する必要がない限り単に画像信号Dとして記載する。
イメージセンサー12は、図7に示すようにP行×Q列の画素に対応する撮像信号DSとして出力する。画像処理回路100は、撮像信号DSに画像処理を施してM行×N列(Mは、2≦M≦Pを満たす自然数。Nは、2≦N≦Qを満たす自然数)の画素に対応する画像信号Dを出力する。
タイミングジェネレーター13は、図8に示す撮像垂直同期信号SVsync、撮像水平同期信号SHsync、及び、撮像ドットクロック信号SCLKを生成し、これら生成した信号をイメージセンサー12に対して出力する。撮像垂直同期信号SVsyncは、イメージセンサー12の受光素子から検出信号を読み出すための垂直走査期間Fs(すなわち、撮像部10のフレーム期間)を規定する信号である。なお、撮像部10のフレームレート、すなわち、「1/Fs」を、「第1フレームレート」と称する場合がある。撮像水平同期信号SHsyncは、1ライン分の受光素子から検出信号を読み出すための水平走査期間Hsを規定する信号である。撮像ドットクロック信号SCLKは、1画素分の受光素子から検出信号を読み出すためのタイミングを規定する信号である。
垂直走査期間Fsの時間長は一定(固定長)であり、水平走査期間Hsの時間長も一定(固定長)である。また、垂直走査期間Fsは、複数の水平走査期間Hsから構成される。
なお、タイミングジェネレーター13は、撮像垂直同期信号SVsync、撮像水平同期信号SHsync、及び、撮像ドットクロック信号SCLKを、画像処理回路100に対して出力するものであってもよい。
説明を図6に戻す。
左側表示部40−1は、左側後方領域撮像部10−1が撮像する左側後方領域LRにおける被写体を示す画像を表示して車両Aの運転者に車両外部の様子を把握させるための装置であり、その構造は図4を参照して既に説明したとおりである。そのうち、ピコプロジェクター401Lは、光源(図示略)と液晶パネル42と投射光学系(図示略)と、液晶パネル42の動作を制御するコントローラー41と、を備える。光源は例えばLED(Light Emitting Diode)やレーザーダイオードを備え、液晶パネル42に向けて白色光を照射する。投射光学系は液晶パネル42を透過した光を投射する、例えば凸型レンズ等である。なお、図6では、左側表示部40−1の主要な機能としてコントローラー41と液晶パネル42を表示している。
中央表示部40−2及び右側表示部40−3も左側表示部40−1と同様の構成を有する。
図7に示すように、液晶パネル42には、表示領域ADにおいて、複数の画素がX軸方向にN列、Y軸方向にM行(Mライン)となるようにマトリックス状に配列されている。換言すれば、表示領域ADは、X軸方向に配列されたN個の画素からなるラインが、Y軸方向にM行並ぶように構成されている。当該表示領域ADには、画像処理回路100が生成する画像信号Dに応じた画像が表示される。
<2.画像処理回路>
図6に示すように、画像処理回路100−1は、撮像信号DSに基づいて画像信号Dを生成し、生成した画像信号Dを左側表示部40−1に対して出力する画像信号生成部20と、画像信号生成部20が画像信号Dを出力するタイミングを制御するタイミング制御部30と、を備える。画像処理回路100−2及び100−3の構成は、画像処理回路100−1と同様であるので、以下においては、画像処理回路100−1を、画像処理回路100として説明する。
画像信号生成部20は、撮像信号DSに対して画像処理を施して画像信号Dを生成する画像処理部21と、画像処理部21が生成した画像信号Dを一時的に記憶するVRAM/ラインバッファ22(以下、「ラインバッファ22」と称する)と、ラインバッファ22から画像信号Dを取得して、取得した画像信号Dを表示部40に対して出力する画像信号出力部23と、を備える。
画像信号Dは、液晶パネル42の表示領域ADに設けられるM行×N列の画素のそれぞれが表示すべき画像(階調)を規定する信号である。以下では、表示領域ADで表示すべき画像を示す画像信号Dのうち、表示領域ADの第m行のラインで表示すべき画像を示す1ライン分の画像信号Dを、画像信号D[m]と表記する(mは、1≦m≦Mを満たす自然数)。
画像処理部21は、液晶パネル42の表示領域ADで表示すべき画像を示す画像信号Dを、1ライン分の画素で表示すべき画像毎に生成する。より具体的には、画像処理部21は、画像信号D[1]、画像信号D[2]、…、画像信号D[M]の順番で、画像信号Dを生成する。
図9は、画像処理部21の構成を示すブロック図である。
この図に示すように、画像処理部21は、イメージセンサー12から出力される撮像信号DSを一時的に格納するラインバッファ211と、ラインバッファ211に格納された撮像信号DSに対して補間処理を行う画素補間処理部212と、補間された撮像信号DSに対して色再現処理を行う色再現処理部213と、色再現された撮像信号DSに対してフィルタ処理を行うフィルタ処理部214と、フィルタ処理された撮像信号DSに対してガンマ補正を施すガンマ補正部215と、ガンマ補正された撮像信号DSを一時的に格納するラインバッファ216とを備える。さらに、画像処理部21は、ラインバッファ216に格納された撮像信号DSが示す画像を表示領域ADの備える画素数の画像信号DRSに変換する歪曲収差補正部217と、歪曲補正処理後の画像信号DRSのうち運転者が指定した位置に応じた領域をトリミングするトリミング処理を画像信号DRSに対して施すトリミング処理部218と、トリミング処理後の画像を表示領域ADの備える画素数に応じた画像に拡大するリサイズ処理部219とを備える。
また、画像処理部21は、さらに、画像信号Dの左右を反転する鏡像生成部220と、トリミング処理が施された後の画像信号Dをラインごとに水平方向に縮小及び拡大する水平方向縮小・拡大処理部221と、水平方向縮小・拡大処理が施された画像信号Dをラインごとに垂直方向に縮小又は拡大する垂直方向縮小・拡大処理部222とを備える。
<2−1.歪曲補正処理>
上述のとおり、撮像信号DSの示す画像の画素数と、画像信号Dの示す画像の画素数(表示領域ADの画素数)とは異なる。このため、歪曲収差補正部217では、撮像信号DSを、表示領域ADの画素数に対応した画像信号DRSに変換する歪曲補正処理を実行する。
ところで、撮像信号DSの示す画像は、撮像光学系11が備えるレンズの光学特性に起因する歪曲収差を有する場合がある。具体的には、被写体を撮像した際の撮像結果を示す画像が、表示領域ADにおいて本来表示すべき画像に比べて外側に向かって膨張する樽型収差や、又は、本来表示すべき画像に比べて内側に向かって収縮する糸巻形収差を有することがある。このため、歪曲収差補正部217では、樽型収差や糸巻型収差等の歪曲収差を補正する歪曲補正処理を実行する。
図10は、歪曲収差補正部217が実行する歪曲補正処理を説明するための説明図である。
以下、図10を参照しつつ、歪曲補正処理について説明する。なお、図10では、撮像信号DSの示す画像のライン数が16ライン(P=16)であり、画像信号DRSの示す画像のライン数が12ライン(M=12)である場合を想定している。
図10(C)及び(D)は、被写体を撮像した際に表示領域ADに表示されるべき画素数の、画像信号DRSの示す画像を表し、図10(A)は、樽型収差が生じている場合に撮像信号DSの示す画像を表し、図10(B)は、糸巻型収差が生じている場合に撮像信号DSの示す画像を表している。
すなわち、図10(A)は、表示領域ADに表示すべき画像が四角形SQであるのにもかかわらず、撮像信号DSが、樽型収差によって四角形SQが膨張した閉曲線CV1を示す場合を表す。また、図10(B)は、表示領域ADに表示すべき画像が四角形SQであるのにもかかわらず、撮像信号DSが、糸巻型収差によって四角形SQが収縮した閉曲線CV2を示す場合を表す。
歪曲収差補正部217は、図10(A)に示すような樽型収差が生じた場合、歪曲補正処理において、図10(A)に示すような閉曲線CV1で示される画像を、図10(C)に示すような四角形SQで示される画像へと補正する。同様に、歪曲収差補正部217は、図10(B)に示すような樽型収差が生じた場合、歪曲補正処理において、図10(B)に示すような閉曲線CV2で示される画像を、図10(D)に示すような四角形SQで示される画像へと補正する。
これらの場合、歪曲収差補正部217は、補正前の画像における画素と補正後の画像における画素とを対応付け、補正後の画素に対応する補正前の画素を中心画素とし、中心画素とその周辺の画素である周辺画素とを含む参照領域内の画素の各々で表示する階調に基づいて、補正後の画素の表示すべき階調を決定する。
例えば、歪曲収差補正部217は、図10(C)又は(D)に示す、補正後の画素PxS1の階調を決定する場合、図10(A)又は(B)に示す、補正前の画素PxC1を中心画素と定める。そして、歪曲収差補正部217は、中心画素である画素PxC1を含む参照領域Area1内の各画素で表示すべき階調に基づいて、画素PxS1で表示すべき階調を定める。
同様に、歪曲収差補正部217は、図10(C)又は(D)に示す、補正後の画素PxS2の階調を決定する場合、図10(A)又は(B)に示す、補正前の画素PxC2を中心画素と定める。そして、歪曲収差補正部217は、中心画素である画素PxC2を含む参照領域Area2内の各画素で表示すべき階調に基づいて、画素PxS2で表示すべき階調を定める。
なお、図10(C)及び(D)において濃いハッチングを付した画素は、画像信号DRSにおける第1行、第7行、及び、第12行に位置する補正後の画素を示し、図10(A)及び(B)において濃いハッチングを付した画素は、補正後の画素のそれぞれに対応する補正前の画素(中心画素)を示し、図10(A)及び(B)において淡いハッチングを付した画素は、中心画素のそれぞれに対応する周辺画素を示す。
図10に示す例からも明らかなように、樽型収差が生じている場合の画像の膨張の程度は、画面のラインの位置によって変動し、垂直方向(Y軸方向)の位置が端部に近づくにつれて、画像の膨張の程度は大きくなる。また、糸巻型収差が生じる場合における画像の収縮の程度は、画面のラインの位置によって変動し、垂直方向(Y軸方向)の位置が端部に近づくにつれて、画像の収縮の程度は大きくなる。
よって、歪曲収差補正部217が画像信号D[m]を生成する場合に必要となる撮像信号DSのライン数は、画像信号D[m]に対応するラインの位置(mの値)により変動する。このため、歪曲収差補正部217が歪曲補正処理に要する時間長は、ラインの位置により変動することになる。
ここで、第p行のラインに対応する撮像信号DSを、撮像信号DS[p]と表す(pは、1≦p≦Pを満たす自然数)。
このとき、例えば、図10に示す例では、歪曲収差補正部217が、第1行のラインに対応する画像信号D[1]を生成するためには、第1行〜第5行のラインに対応する撮像信号DS[1]〜DS[5]が必要となる。これに対して、歪曲収差補正部217が、第7行のラインに対応する画像信号D[7]を生成するためには、第8行〜第10行のラインに対応する撮像信号DS[8]〜DS[10]が必要となる。つまり、歪曲収差補正部217が、画像信号D[1]を生成するために要する時間長は、画像信号D[7]を生成するために要する時間長よりも長くなる。
以下では、画像信号D[m]を生成するために必要となる、1又は複数ラインの撮像信号DS[p]を、撮像信号DGS[m]と総称する。
例えば、図10に示す例では、画像信号D[1]を生成するために必要となる撮像信号DGS[1]は、撮像信号DS[1]〜DS[5]の5ライン分の撮像信号DS[p]であり、画像信号D[7]を生成するために必要となる撮像信号DGS[7]は、撮像信号DS[8]〜DS[10]の3ライン分の撮像信号DS[p]であり、画像信号D[12]を生成するために必要となる撮像信号DGS[12]は、撮像信号DS[12]〜DS[16]の5ライン分の撮像信号DS[p]である。
<2−2.トリミング処理>
従来のサイドミラーでは、運転者が運転席脇に設けられた操作レバーやボタン等により鏡の上下左右の向きを任意の方向に設定して鏡に映る領域を変更できる。同様の領域変更を可能とするために、本実施形態では、車両Aの運転者が、タッチパネル(操作部60)から、歪曲補正処理が施された画像信号DRSの示す画像の一部の領域をトリミングする処理について、トリミングの位置を指定する指示を入力することができるように構成している。
図11Aに、運転者によって指定されたトリミング領域の一例を示す。図11Aに示すように、トリミング領域Tareaは、画像信号DRSの示す画像の一部である矩形の領域である。運転者は、例えば、車両の非運転時に、トリミング領域設定モードにおいて左側表示部40−1に表示された画像信号DRSの示す画像(すなわち、左側フロントAピラー部の領域A−1で視認される画像)を視認しながら、タッチパネル(操作部60)を用いてトリミング領域Tareaを指定する。この指定は、トリミング領域Tareaの左上頂点TRの位置の指定と、右上頂点TLの位置の指定とによって実現される。表示領域ADの縦横比が例えば4:3であればトリミング領域Tareaの縦横比も4:3である必要がある。このため、左上頂点TRと右上頂点TLの位置の指定(すなわち矩形の一長辺の指定)によりトリミング領域Tareaの大きさが一意に決定される。すなわち、左上頂点TRと右上頂点TLの位置の指定により、トリミング領域Tareaの大小及び左右上下位置が定まる。
表示領域ADの縦横比は表示部40の大きさに応じて定まる。このため、縦横比が例えば3:2の場合には、トリミング領域Tareaの縦横比が3:2となるようにその大小及び左右上下位置が定まる。また、縦横比が例えば16:9の場合には、トリミング領域Tareaの縦横比が16:9となるようにその大小及び左右上下位置が定まる。
制御部50は、運転者によって左上頂点TRと右上頂点TLの位置が確定入力されると、これらの位置を指定する制御信号C1を生成して画像処理部21に供給する。トリミング処理部218は、制御信号C1で指定される左上頂点TRの位置と右上頂点TLの位置をそれぞれ左上頂点及び右上頂点とし、且つ、表示領域ADの縦横比に応じたトリミング領域Tareaを決定し、画像信号DRSの示す画像のうち、トリミング領域Tareaをトリミングするトリミング処理を実行する。
トリミング領域Tareaの指定の方法は任意である。例えば、左上頂点及び右上頂点を指定する代わりに左下頂点と右下頂点の位置を指定する構成であってもよい。また、1つの短辺(すなわち、左上頂点と左下頂点の位置、又は右上頂点と右下頂点の位置)を指定する構成であってもよい。また、表示領域ADの縦横比に応じた矩形枠を表示部40に表示し、矩形枠の位置や大きさをタッチ操作により自由に変更できる構成も採用し得る。なお、運転者が左側フロントAピラー部の領域A−1を視認する代わりに、タッチパネルに表示された、画像信号DRSの示す画像信号DRSの示す画像を視認しながら上記トリミング領域Tareaの指定を行う構成としてもよい。また、タッチ操作をする代わりに、従来と同様の操作レバー等を運転者が手で動かして所定の大きさの矩形枠Tgを左右上下方向に移動させることでトリミング領域Tareaを指定可能な構成としてもよい。
この例では、画像信号DRSは表示領域ADの備える画素数と一致するから、その一部であるトリミング領域Tareaの画素数は表示領域ADの備える画素数よりも少なくなる。このため、トリミング領域Tareaの画素数を表示領域ADの備える画素数に一致させる必要がある。リサイズ処理部219では、トリミング領域Tareaが指定された後に補間処理を行うことによりトリミング領域Tareaに表示される画像が表示領域ADの全体に表示されるように画像を変換するリサイズ処理を実行する。ここで、トリミング領域Tareaが拡大縮小された場合は、拡大縮小に応じた補完処理が実行される。図11Bにリサイズ処理後の画像の一例を示す。図11A及び図11Bから理解されるように、リサイズ処理により、図11Aに示すトリミング領域Tareaの示す画像が拡大されて、表示領域ADの備える画素数の画像信号DTが生成される。
なお、リサイズ処理部219は任意の構成である。すなわち、歪曲補正処理によって、W行×Z列(WはM<W<Pとなる自然数、ZはN<Z<Qとなる自然数)の画像を生成し、当該画像からM行×N列の画像を切り出すトリミング処理を施してもよい。この場合は、トリミング領域TareaがM行×N列となるのでリサイズ処理が不要となり、画像の品質を向上させることができる。
このようなトリミング処理によれば、例えば撮像部においてカメラ自体の撮影する向きを可動とすることで撮影範囲を変更する構成と比較して、カメラの向きを可動にするための機構を不要とするためコストが抑制されるという利点がある。さらには、トリミング処理においては、トリミング領域Tareaが指定された後に表示領域ADのサイズに合わせて拡大されるため、運転者が見たい領域が拡大されて表示されるという利点もある。
<2−3.鏡像生成処理>
図11Cは、鏡像生成部220が実行する左右反転処理によって生成された画像の一例を示す。車両の運転者は、従来型のサイドミラーやバックミラーに映る鏡像を見て車両の後方及び後側方の安全確認を行う。ところが、左側後方領域撮像部10−1から出力される撮像信号DSはカメラを後ろ向きにして被写体を撮影したものであるので、イメージセンサー12によって出力される画像の向きは従来型のサイドミラーやバックミラーに映る鏡像とは左右が逆である。このため、鏡像生成部220では、トリミング処理部218から出力された画像信号DTの示す画像(図11B)を左右反転させて、鏡面画像である画像信号DF(図11C)を生成する左右反転処理を行う。この左右反転処理によれば、従来のサイドミラーやフェンダーミラー等に映る鏡像と左右が同じ方向の画像による安全確認が可能となるので、従来とは左右が逆の画像が映ることで運転者を混乱させてしまうおそれがなくなる。
<2−4.拡大・縮小処理>
次に、本実施形態に係る画像の拡大・縮小処理について説明する。概略すると、拡大・縮小処理は、左側表示部40−1に表示される画像(左側フロントAピラー部の領域A−1で視認される画像)については車両Aに近い画像右側を拡大し、車両Aよりも遠方の画像左側は縮小する処理を行う(例えば、図12K)。右側表示部40−3に表示される画像(右側フロントAピラー部の領域A−3で視認される画像)については車両Aに近い画像左側を拡大し、車両Aよりも遠方の画像右側は縮小する処理を行う(図20D)。中央表示部40−2に表示される画像(フロントガラス下部の帯状の領域A−2で視認される画像)については、画像の中央を拡大し、車両Aよりも遠方の画像左側及び右側については縮小する処理を行う(図21)。
図12Aは、本実施形態に係る画像の拡大・縮小処理の概念図である。図示の例は、左側後方領域撮像部10−1から出力された撮像信号DSに基づく画像である。図示のように、拡大・縮小処理においては、鏡像生成部220から出力された画像信号DFの画像を左上領域LR1、左中央領域LR2、左下領域LR3、中央上領域LR4、中央領域LR5、中央下領域LR6の6つの領域に区分(分割)する。左右方向において、左の領域(車体から遠い領域)と中央の領域(車体に近い領域)との長さの比は、「2:3」(すなわち「40%:60%」)であり、上下方向において、上の領域と、中央の領域と、下の領域との長さの比は「1:3:1」(すなわち「20%:60%:20%」)である。以下、この比率を「分割比率」と称する場合がある。
また、各領域には、所定の水平方向変倍率(左右方向における拡大率又は縮小率)と所定の垂直方向変倍率(上下方向における拡大率又は縮小率)が予め設定される。サイドミラーに映る像のうち、車体に近い領域LRC(図2)にあるものは車両と接触する危険性が高いため車両の安全な運転に必要な情報である。逆に車体から遠い領域LRLにある画像、例えば沿道の建物等の画像は安全確認における重要度は低い。このため、本実施形態では、左右方向における拡大率又は縮小率は、左右方向について車体に近い領域LRCが車体に遠い領域LRLと比較して相対的に拡大されるように設定される。また、撮像信号DSに基づく画像のうち他の車両や歩行者などの画像は車両の安全な運転にとって必要な情報であるが、画像の上の領域における空や山などの景色の画像や、画像の下の領域における路面の画像の重要度は低い。このため、本実施形態では、上下方向における拡大率又は縮小率は、上下方向における中央の領域が、上又は下の領域と比較して相対的に拡大されるように設定される。
具体的には、図12Aに示すように、車体から遠く、且つ、上又は下の領域である左上領域LR1と左下領域LR3については、左右方向の縮小率H2及び上下方向の縮小率V2,V3がともに25%に設定される。また、車体からは遠いが上下方向において中央の領域である左中央領域LR2については、左右方向の縮小率H2が25%且つ上下方向の拡大率V1が150%に設定される。また、車体には近いが上又は下の領域である中央上領域LR4と中央下領域LR6については、左右方向の拡大率H1は150%に設定され、上下方向の縮小率V2,V3がともに25%に設定される。そして、車体から近く、上下方向においても中央の領域である中央領域LR5については、左右方向の拡大率H1及び上下方向の拡大率V1がともに150%に設定される。このように設定することにより、撮像信号DSに基づく画像のうち、車両の運転時の安全確認により必要な領域の視認性を向上することが可能となる。また、例えばサイドミラーの鏡面に平面鏡部と凸面鏡部を設けて凸面鏡部に映る鏡像が圧縮されるようにする構成と比較して、物理的な加工処理を不要としつつ、車体により近く、上下方向においてはより中央の領域の視認性を向上することが可能となる。
また、左右方向における拡大率H1及び縮小率H2は、車体に近い領域について、左右方向の長さをX1とし、車体から遠い領域について左右方向の長さをX2としたとき、X1+X2=X1・H1+X2・H2となるように定められ、上下方向において、中央の領域の拡大率V1、上の領域の縮小率V2、及び下の領域の縮小率V3は、中央の領域について上下方向の長さをY1、上の領域について上下方向の長さをY2、下の領域について上下方向の長さをY3としたとき、Y1+Y2+Y3=Y1・V1+Y2・V2+Y3・V3となるように定められる。このように拡大率及び縮小率を設定することにより、撮像信号DSに基づく画像自体の大きさ(画素数)を変更することなく、各領域間の大きさの比率が変更された画像信号DH1を生成することができる。換言すれば、画像信号DH1を表示領域ADの備える画素数に一致せることができる。
図12Bは、水平方向縮小・拡大処理部221が実行する水平方向縮小・拡大処理を説明するための概念図であり、図12Cは、垂直方向縮小・拡大処理部222が実行する垂直方向縮小・拡大処理を説明するための概念図である。
水平方向縮小・拡大処理部221では、鏡像生成部220から出力された画像信号DFに対して、左右方向について車体に近い領域を車体から遠い領域と比較して相対的に拡大する処理(第1処理)を実行する。具体的には、各領域LR1〜LR6の画像に対して、設定された拡大率H1又は縮小率H2に応じた変倍処理を実行する。この変倍処理はラインごとに実行される処理である。例えば1ラインにおける画素数を800個(すなわち800列)とした場合、左上領域LR1、左中央領域LR2、左下領域LR3に属する第1列から第320列までの画素を縮小率H2(25%)で縮小する処理を行う。すなわち、画素数を320個から80個に縮小する処理を行う。この縮小処理には、例えば隣接する所定数の画素ついて受光素子が出力する検出信号の示す値を相加平均するなど周知の方法が任意に採用される。また、中央上領域LR4、中央領域LR5、中央下領域LR6に属する第321列から第800列までの画素を拡大率H1(150%)で拡大する処理を行う。すなわち、画素数を480個から720個に増加する処理を行う。この拡大処理には最近傍補間など周知の方法が任意に採用される。すべてのラインについて第1処理が施されると、各領域LR1〜LR6の画像の大きさの比率が図12Bに示すように変更された画像(画像信号DH1が示す画像)が生成される。
垂直方向縮小・拡大処理部222は、水平方向縮小・拡大処理部221からラインごとに出力された画像信号DH1に対して、上下方向について中央の領域を上又は下の領域と比較して相対的に拡大する処理(第2処理)を実行する。具体的には、各領域LR1〜LR6の画像に対して、設定された拡大率V1又は縮小率V2又はV3に応じた変倍処理を実行する。この変倍処理は複数のラインごとに実行される処理である。例えば画像信号DH1のライン数を600行とした場合、左上領域LR1及び中央上領域LR4に属する第1行から第120行のうち、縮小率V2(25%)に応じた本数のラインを間引く処理を行う。すなち、4本に1本のラインを間引く処理を行う。また、左中央領域LR2及び中央領域LR5に属する第21行から第480行の画素に対して、拡大率V1(150%)に応じた補間処理を行う。左下領域LR3と中央下領域LR6に属する第481行から第600行のうち、縮小率V3(25%)に応じた本数のラインを間引く処理を行う。すべてのラインについて第2処理が施されると、各領域LR1〜LR6の画像の大きさの比率が図12Cに示すように変更された画像(画像信号DH2が示す画像)が生成される。
図12Dは、第1処理及び第2処理を経た画像信号DH2が示す画像の一例である。図示のように、左右方向において車体に近く上下方向において中央の領域が他の領域と比較して相対的に拡大された画像が生成される。
図12Aに示す分割比率、水平方向変倍率、及び垂直方向変倍率は適宜設定され得る。図12D〜図12Fに、水平方向変倍率及び垂直方向変倍率を図12Aの例とは異なる値に設定した例を示す。この例では、分割比率の値は図12Aの例と同様である。図12Dに示すように、車体から遠く、且つ、上又は下の領域である左上領域LR1と左下領域LR3については、左右方向の縮小率H2及び上下方向の縮小率V2,V3がともに50%に設定される。また、車体からは遠いが上下方向において中央の領域である左中央領域LR2については、左右方向の縮小率H2が50%且つ上下方向の拡大率V1が133%に設定される。また、車体には近いが上又は下の領域である中央上領域LR4と中央下領域LR6については、左右方向の拡大率H1は133%に設定され、上下方向の縮小率V2,V3がともに50%に設定される。そして、車体から近く、上下方向においても中央の領域である中央領域LR5については、左右方向の拡大率H1及び上下方向の拡大率V1がともに133%に設定される。
この例によれば、水平方向縮小・拡大処理部221が実行した水平方向縮小・拡大処理後の画像(画像信号DH1が示す画像)は図12Eに示すようなものとなる。また、垂直方向縮小・拡大処理部222が実行した垂直方向縮小・拡大処理後の画像(画像信号DH2が示す画像)は図12Fに示すようなものとなる。
図12G〜図12Iに別の設定例を示す。図12Gに示すように、この例では、左右方向の分割比率が「40%:60%」ではなく「30%:70%」に設定される。上下方向の分割比率は図12Aの例と同様である。車体から遠く、且つ、上又は下の領域である左上領域LR1と左下領域LR3については、左右方向の縮小率H2及び上下方向の縮小率V2,V3がともに50%に設定される。また、車体からは遠いが上下方向において中央の領域である左中央領域LR2については、左右方向の縮小率H2が50%且つ上下方向の拡大率V1が121%に設定される。また、車体には近いが上又は下の領域である中央上領域LR4と中央下領域LR6については、左右方向の拡大率H1は121%に設定され、上下方向の縮小率V2,V3がともに50%に設定される。そして、車体から近く、上下方向においても中央の領域である中央領域LR5については、左右方向の拡大率H1及び上下方向の拡大率V1がともに121%に設定される。
この例によれば、水平方向縮小・拡大処理部221が実行した水平方向縮小・拡大処理後の画像(画像信号DH1が示す画像)は図12Hに示すようなものとなる。また、垂直方向縮小・拡大処理部222が実行した垂直方向縮小・拡大処理後の画像(画像信号DH1が示す画像)は図12Iに示すようなものとなる。
ところで、表示部40に表示される画像(画像信号Dが示す画像)の水平方向及び垂直方向における変倍率を運転者が自由に設定できると便利である。
図12Jは、変倍率変更処理を説明するための概念図である。図示の例では、運転者が、左上領域LR1の右下頂点である点P1又は左上領域LR1の右上頂点である点P2を移動させることにより、水平方向変倍率(H1,H2)及び垂直方向変倍率(V1,V2,V3)を変更(入力)可能である。移動させる方法は公知の方法を任意に採用可能であるが、本実施例では、タッチパネル(操作部60)上において、運転者が点P1又は点P2にタッチした状態で表示領域ADの内側方向又は外側方向に向けて点P1又は点P2を移動させる操作(いわゆる「ドラッグ操作」)によって、水平方向変倍率(H1,H2)及び垂直方向変倍率(V1,V2,V3)を変更する。
点P1は左中央領域LR2の右上頂点でもあり、中央上領域LR4の左下頂点でもあり、中央領域LR5の左上頂点でもあるから、中央領域LR5の拡大率をより小さくする方向(すなわち、表示領域ADの内側方向)に点P1を移動させると、左中央領域LR2と中央上領域LR4と中央領域LR5について拡大率(V1及びH2)が小さくなる(拡大率の値(%)が減少する)だけでなく、左上領域LR1、左中央領域LR2及び中央上領域LR4の縮小率(V2,H2)が逆に大きくなる(縮小率の値(%)が増加する)。また、表示領域ADの縦横比が例えば4:3であれば拡大・縮小後の各領域の画像の縦横比も4:3となる必要があるから、点P1を移動させると点P2も連動して移動する。よって、点P1の内側方向への移動により、左下領域LR3と中央下領域LR6についても、縮小率(V3,H2)は大きくなり(縮小率の値(%)が増加する)、拡大率(H1)は小さくなる(拡大率の値(%)が減少する)。同様に、点P2をドラッグ操作により移動させた場合には点P1が移動する。この態様によれば、運転者は好みに合わせて各領域の拡大率及び縮小率を変更することが可能となる。
なお、縮小率が過度に小さいと、車両Aの安全な運転に必要な画像の視認性が低下する。このため、安全性の観点から縮小率に下限を設けることが望ましい。縮小率の下限値は任意に設定可能であるが、例えば、図示の例のように、垂直方向縮小率V1,V3と水平方向縮小率H2については、25%以上100%未満の範囲で縮小率を変更可能とし、垂直方向拡大率V1と水平方向拡大率H1については、100%より大きく150%以下の範囲で拡大率を変更可能とする構成とするのが好適である。
ドラッグ操作によらず、他の公知の入力手段により変倍率を数値で入力する方法を採用する場合には、例えば、タッチパネルに表示されたテンキーから拡大率又は縮小率を入力する構成が例示される。
<2−5−1.マスク処理の第1態様>
以下、マスク処理の第1態様について説明する。図9に示されるように、画像処理部21は、さらに、フラッシュROM70からマスク画像MDを取得するマスク画像取得部232と、取得したマスク画像MDを画像信号DH2に合成して画像信号Dを生成する画像合成部230とを有する。
図13は、マスク画像MDについて説明する説明図である。マスク画像MDは、液晶パネル42の表示領域ADと同じ画素数を有し、矩形の画像のうち楕円形(所定形状)の内側の領域(以下、「透過領域AT」)で「1」となり、その外側の領域(以下、「非透過領域ANT」)で「0」となる。画像合成部230は、画像信号DH2の示す画像とマスク画像MDとを合成する。具体的には、マスク画像MDが「1」を示す透過領域ATでは、画像信号DH2の示す輝度値をそのまま出力し、マスク画像MDが「0」を示す非透過領域ANTでは、画像信号DH2の示す輝度値を「0」にして、画像信号Dを生成する。すなわち、画像信号DH2とマスク画像MDとのいずれかを選択するマスク処理によって、画像信号Dを生成することができる。なお、上記マスク処理は、画像信号DH2とマスク画像MDとを乗算する乗算処理であってもよい。この場合、マスク画像MDは、マスク処理において画像信号DH2の示す表示画像に対して各画素で乗算する係数を表すものと捉えることができる。
なお、図示の例では、所定形状(透過領域ATの形状)が楕円形であるが、これに限られず自由に設計可能である。例えば、ハート形やひし形等の形状も採用し得る。
ところで、図4及び図5について説明したように、表示部40は、ピコプロジェクター401(401L,401C,401R)からの照射光が透過型スクリーン402(402L,402C,402R)及びフィールドレンズ403(403L,403C,403R)を通過してコンバイナー404(404L,404C,404R)に達し、コンバイナー404で反射された光が開口部Op(OpL,OpC,OpR)から射出されるように構成されている。この構成において、仮にマスク画像MDを画像信号DH2に合成しない場合には、画像信号DH2に相当する照射光が開口部Opに向けて射出される。
一方、本実施形態ではデザイン性を高める観点から、左右サイドミラー用の画像を表示する各開口部OpL,OpRは左右の各フロントAピラー部FPに楕円状に形成されている(図19)。しかしながら、各開口部OpL,OpRを楕円状(所定形状)に形成した場合、ピコプロジェクター401L,401Rからの照射光は矩形の画像である画像信号DH2に相当するため、各開口部OpL,OpRの外側に至った照射光が反射して迷光が生じ、それが乱射することで本来投影する画像に乱射光が漏れこんで表示に悪影響を及ぼすという問題がある。
そこで、本実施形態では、開口部OpL,OpRの形状に合わせた透過領域ATのマスク画像MDをあらかじめ画像信号DH2に合成することで、ピコプロジェクター401から開口部OpL,OpRの外側に至る照射光の輝度を、開口部OpL,OpRの内側に至る照射光の輝度よりも低くなる(あるいは遮断する)ような画像信号Dを生成する。この態様によれば、開口部OpL,OpRの外側に至る照射光の輝度が低いため、迷光の発生が抑制され、ひいては、開口部OpL,OpRの内側に至る照射光に応じた画像の表示への影響も低減される。
なお、この例のマスク画像MDは、非透過領域ANTにおいて「0」としたが、開口部OpL,OpRの外側に至る照射光の輝度を、開口部OpL,OpRの内側に至る照射光の輝度よりも低くできるのであれば、どのように設定してもよいが、開口部OpL,OpRの外側に照射光が至ったときに迷光が生じない程度に設定されることが好ましい。このため、黒色に近い輝度であることが好ましい。例えば、開口部OpL,OpRの外側に至る照射光の輝度をLD1、開口部OpL,OpRの内側に至る照射光の輝度をLD2としたとき、LD1/LD2の上限値は、10%であってもよいが、視認性向上の観点から5%であることが好ましい。
<2−5−2.マスク処理の第2態様>
上述したように、開口部OpL,OpRの形状に合わせた透過領域ATのマスク画像MDがフラッシュROM70にあらかじめ記憶されている。ところが、車両Aに表示部40を設置する製造過程においてピコプロジェクター401や各種光学系の物理的な位置にズレが生じると、フロントAピラー部FPの開口部OpL,OpRの形状にマスク画像MDの透過領域ATが一致しない場合がある。
マスク処理の第2態様は、そのような場合に、マスク画像MDの位置を調整可能とするものである。
図14に、マスク処理の第2態様に係る画像処理部21Aの主要部の構成例を示すブロック図である。なお、ラインバッファ211から水平方向縮小・拡大処理部221までの構成は、図9に示す画像処理部21と同様である。
図14に示すように、画像処理部21Aは、マスク画像MDの位置を指定する制御情報CRIを記憶する書き換え可能な不揮発性のメモリ(制御情報記憶部)80と、制御情報CRIに基づいてマスク画像MDの位置を調整して調整済みマスク画像MD’を生成する位置調整部231とを備える。なお、メモリ80は画像処理部21の外部に配置されてもよい。
この場合、画像合成部230は、マスク画像MDの代わりに調整済みマスク画像MD’を用いて画像信号DH2にマスク処理を施して画像信号Dを生成する。
制御情報CRIは、マスク画像MDにおける透過領域ATの位置を指定する情報であり、例えば、X方向にずらす画素数と、Y方向にずらす画素数との組からなる。図15は、位置調整部231による処理を説明するための説明図である。制御情報CRIが(x1、y1)である場合、位置調整部231は、図15に示すように、透過領域ATをX方向にx1画素だけずらし、Y方向にy1画素だけずらして調整済みマスク画像MD’を生成する。
本実施形態の撮像表示システムは、インターフェース90を介してスマートフォンなどの機器を接続可能となっている。製造過程の最終段階(例えば工場検査時)では、インターフェース90を介してスマートフォンなどの機器を接続すると、その画面上にマスク画像MDが表示され、利用者が画面上の透過領域ATをドラッグ操作することによって、透過領域ATの位置が調整できるようになっている。利用者は開口部OpL,OpRに表示される画像を見ながら、透過領域ATの位置を調整する。スマートフォンからは、制御情報CRIが出力され、これがメモリ80に記憶される。なお、撮像表示システムに接続可能な機器はスマートフォンに限られない。例えば、他のタブレット端末やパーソナルコンピューター等であってもよい。
この構成によれば、物理的なアライメント調整が不要となるため、例えば開口部OpL,OpRの外側の領域に暗色マスク等を物理的に配置して照射光の反射による迷光を抑制する構成と比較して、製造過程における手間が軽減される。
<3.画像信号の出力>
マスク処理の第1態様又は第2態様が終了すると、画像処理部21は、ラインごとの画像信号D[m]を出力する。生成した画像信号D[m]をラインバッファ22に格納するとともに、画像信号D[m]のラインバッファ22への格納が完了したことを示す書込完了信号PtAを、タイミング制御部30に対して出力する。
表示部40の表示領域ADが1画面分の画像を表示可能な時間長は、撮像部10が1画面分の画像を撮像可能な時間長よりも短い。このため、液晶パネル42が表示可能な周期で画像を表示しようとする場合、撮像部10からの撮像信号DSの出力が追いつかない。そこで、本実施形態に係る撮像表示システム1では、画像処理回路100により、画像処理回路100からの画像信号Dの出力タイミングを調整することで、表示部40の表示速度を、撮像部10からの撮像信号DSの出力周期に追従させる。
本実施形態において、書込完了信号PtAは、画像処理部21によるラインバッファ22への書込が完了した画像信号Dに対応するラインの番号maを示す信号である(maは、1≦ma≦Mを満たす自然数)。書込完了信号PtAの示す値であるライン番号maは、画像処理が完了したラインを表す「画像処理ライン情報」の一例である。
なお、書込完了信号PtAは、ラインの番号を示す信号に限定されるものではなく、画像処理部21による画像信号D[m]の生成が完了した場合にハイレベルに立ち上がるようなパルス波形を含む2値の信号であってもよい。書込完了信号PtAが2値の信号である場合、タイミング制御部30は、例えば、一の画面の表示が開始された後に書込完了信号PtAに含まれるパルスの個数をカウントすることで、画像処理部21により生成が完了した画像信号D[m]のライン番号を演算すればよい。この場合は、書込完了信号PtAに含まれるパルス波形(又は、パルス波形の個数)が、「画像処理ライン情報」に該当することになる。
画像信号出力部23は、タイミング制御部30の制御に応じて、ラインバッファ22から1ライン毎に画像信号Dを読み出し、読み出した1ライン分の画像信号D[m]を表示部40に対して出力する。
なお、以下では、説明の都合上区別が必要な場合には、画像処理部21が生成してラインバッファ22に格納する画像信号Dを画像信号DGAと称し、画像信号出力部23がラインバッファ22から取得して表示部40に出力する画像信号Dを画像信号DGBと称する。また、画像処理部21がラインバッファ22に格納する画像信号DGAのうち、表示領域ADの第m行のラインで表示すべき画像を示す画像信号DGAを画像信号DGA[m]と称し、画像信号出力部23が表示部40に出力する画像信号DGBのうち、表示領域ADの第m行のラインで表示すべき画像を示す画像信号DGBを画像信号DGB[m]と称する。
画像信号出力部23は、ラインバッファ22から画像信号DGB[m]を読み出して当該画像信号DGB[m]を表示部40に出力する処理が完了した場合、画像信号DGB[m]の表示部40への出力が完了したことを示す出力完了信号PtBを、タイミング制御部30に対して出力する。本実施形態において、出力完了信号PtBは、画像信号出力部23による表示部40への出力が完了した画像信号Dに対応するラインの番号mを示す信号である。以下では、出力完了信号PtBの示すラインの番号mを、特に「ライン番号mb」と称する(mbは、1≦mb≦Mを満たす自然数)。出力完了信号PtBの示す値であるライン番号mbは、表示部40に対する出力が完了した画像信号D[m]のラインを示す「表示出力ライン情報」の一例である。
詳細は後述するが、画像信号出力部23は、表示部40に対して、画像信号DGB[m]を出力する代わりに、無効信号Dmyを出力する場合がある(図16参照)。この場合は、画像信号出力部23は、出力完了信号PtBを出力しない。
なお、出力完了信号PtBは、ラインの番号を示す信号に限定されるものではなく、画像信号出力部23による画像信号D[m]の出力が完了した場合にハイレベルに立ち上がるようなパルス波形を含む2値の信号であってもよい。
図6に示すように、タイミング制御部30は、書込完了信号PtA及び出力完了信号PtBに基づいて出力制御信号CTRを生成する出力制御部31と、各種のタイミング信号を生成して画像信号出力部23が画像信号DGB[m]を出力するタイミングを制御するタイミングジェネレーター32と、コントローラー41の動作を規定する設定パラメーターPRMをコントローラー41に対して送信するパラメーター送信部33と、を備える。
出力制御部31は、書込完了信号PtA及び出力完了信号PtBに基づいて、画像信号出力部23が表示部40に対して表示領域ADの第m行で表示すべき画像を示す画像信号D[m](画像信号DGB[m])を出力する準備が完了したか否かを判定し、判定結果を示す出力制御信号CTRを生成する。
ここで、「画像信号D[m](画像信号DGB[m])を出力する準備が完了した」とは、以下の第1条件及び第2条件を充足したことをいう。
(第1条件) 画像処理部21が、第m行の画像信号D[m](画像信号DGB[m])の画像処理を完了していること。
(第2条件) 画像信号出力部23が、第m-1行の画像信号D[m-1](画像信号DGB[m-1])の出力を完了したこと。
第1条件は、書込完了信号PtAの示すライン番号maがライン番号m以上である場合、つまり、「m≦ma」を満たす場合に充足される。第2条件は、出力完了信号PtBの示すライン番号mbが「mb=m-1」を満たす場合に充足される(厳密には、「m=1」の場合には、「mb=M」を満たす場合に充足される)。
本明細書では、出力制御部31が判定の対象とする画像信号D[m]が示す画像を表示する表示領域ADのラインを、「表示対象ライン」と称する場合がある。
なお、厳密には、画像信号出力部23が画像信号D[m](画像信号DGB[m])を出力するためには、以下の第3条件が充足される必要がある。
(第3条件) 画像信号出力部23が第m行の画像信号D[m](画像信号DGB[m])を出力するタイミングが、表示領域ADが画像を表示可能な期間(図16で後述する水平有効データ期間DHI)に含まれること。
しかし、上述した第1条件及び第2条件が充足されている場合、画像信号出力部23からの画像信号D[m](画像信号DGB[m])の出力タイミングをタイミングジェネレーター32が制御することにより第3条件は必然的に充足される。このため、本実施形態では、出力制御部31における判定において第3条件を考慮しない。
出力制御部31は、「画像信号D[m](画像信号DGB[m])を出力する準備が完了した」か否かの判定を、例えば、以下の2つの態様により実行することができる。
「画像信号D[m](画像信号DGB[m])を出力する準備が完了した」か否かの判定の第1の態様としては、第1条件が充足されているか否かの判定(第1の判定)と、第2条件が充足されているか否かの判定(第2の判定)の2つの判定を、出力制御部31が直接に実行する態様である。
具体的には、出力制御部31は、画像処理部21が書込完了信号PtAを出力すると、書込完了信号PtAの示すライン番号maが「m≦ma」を満たすか否かを判定し(第1の判定を実行し)、画像信号出力部23が出力完了信号PtBを出力すると、出力完了信号PtBの示すライン番号mbが「mb=m-1」を満たすか否かを判定し(第2の判定を実行し)、第1の判定の判定結果と、第2の判定の判定結果の両方が肯定である場合に、「画像信号D[m]を出力する準備が完了した」と判定する。
この場合、出力制御部31は、第1の判定を実行することにより、表示対象ラインで表示すべき画像に対応する画像信号を生成したか否かを判定する「処理状況判定部」として機能し、第2の判定を実行することにより、表示対象ラインにおける画像の表示が可能であるか否かを判定する「表示判定部」として機能する。
なお、出力制御部31は、第1の判定の判定結果、又は、第2の判定の判定結果が否定である場合、第1の判定の判定結果と、第2の判定の判定結果の両方が肯定となるまで、第1の判定及び第2の判定を繰り返す。具体的には、出力制御部31は、例えば、第1の判定及び第2の判定の両方の判定結果が肯定となるまで、画像処理部21から書込完了信号PtAが出力される毎に第1の判定を実行し、また、画像信号出力部23から出力完了信号PtBが出力される毎に第2の判定を実行すればよい。また、例えば、出力制御部31は、第1の判定及び第2の判定の両方の判定結果が肯定となるまで、後述する水平走査期間Hdの周期で、第1の判定及び第2の判定を繰り返してもよい。そして、第1の判定の判定結果と、第2の判定の判定結果の両方が肯定となったときに、出力制御信号CTRを、判定結果が肯定であることを示す値に設定する。
次に、「画像信号D[m](画像信号DGB[m])を出力する準備が完了した」か否かの判定の第2の態様としては、出力制御部31が前回の判定(画像信号D[m-1]を出力する準備が完了したか否かの判定)の結果が肯定となった後であって、画像信号出力部23が出力完了信号PtBを出力したタイミングで、第1条件が充足されているか否かの判定(第1の判定)を実行する態様である。
この態様において、出力制御部31は、第1の判定の判定結果が否定である場合、第1の判定の判定結果が肯定となるまで第1の判定を繰り返し、第1の判定の判定結果が肯定となったときに、出力制御信号CTRを、判定結果が肯定であることを示す値に設定する。具体的には、出力制御部31は、例えば、出力完了信号PtBが出力されたタイミングで第1の判定の判定結果が否定である場合には、その後、画像処理部21が書込完了信号PtAを出力する毎に、当該書込完了信号PtAの示すライン番号maが「m≦ma」を満たすか否かを判定し、「m≦ma」を満たしたときに、第1条件が充足されたと判定すればよい。
上述のとおり、画像処理部21は、ライン番号順に画像信号D[m](画像信号DGA[m])を生成し、画像信号出力部23は、ライン番号順に画像信号D[m](画像信号DGB[m])を出力する。そして、本実施形態では、第m-2行の画像信号D[m-2]の出力が完了し、出力制御部31が「画像信号D[m-1]を出力する準備が完了した」と判定した後に、画像信号出力部23が画像信号D[m-1]を出力する。よって、出力制御部31が「画像信号D[m](画像信号DGB[m])を出力する準備が完了した」か否かの判定を行うタイミングは、画像信号出力部23から画像信号D[m-2](画像信号DGB[m-2])が出力された後のタイミングであって、且つ、出力制御部31が「画像信号D[m-1](画像信号DGB[m-1])を出力する準備が完了した」と判定した後のタイミングである。つまり、出力制御部31が、「画像信号D[m]を出力する準備が完了した」か否かの判定を行うタイミングにおいて、画像信号出力部23が出力する出力完了信号PtBの示すライン番号mbは「m-1」となる。
このため、第2の態様において、出力制御部31は、画像信号出力部23からの出力完了信号PtBの出力をもって第2条件が充足されたと見做す。そして、出力制御部31は、画像信号出力部23から出力完了信号PtBが出力されたタイミングにおいて第1条件が充足されているか否かの判定(第1の判定)を実行することで、「画像信号D[m](画像信号DGB[m])の出力準備が完了した」か否かの判定を行う。
本実施形態では、上述した2つの態様のうち、第2の態様を採用することを前提として、以下の説明を行う。
タイミングジェネレーター32は、表示垂直同期信号DVsync、垂直有効データ信号DVactive、表示水平同期信号DHsync、表示ドットクロック信号DCLK、及び、イネーブル信号DEnbを生成し、生成したこれらの信号を、画像信号出力部23及び表示部40に対して出力する。
図16は、タイミングジェネレーター32が生成する、表示垂直同期信号DVsync、垂直有効データ信号DVactive、表示水平同期信号DHsync、表示ドットクロック信号DCLK、及び、イネーブル信号DEnbを説明するためのタイミングチャートである。
図16(A)及び(B)に示すように、表示垂直同期信号DVsyncは、液晶パネル42の表示領域AD全体(Mライン分)の画素で画像を表示するための垂直走査期間Fd(すなわち、表示部40のフレーム期間)を規定する信号である。表示水平同期信号DHsyncは、表示領域ADの1ライン分の画素で画像を表示すための水平走査期間Hdを規定する信号である。表示ドットクロック信号DCLKは、表示領域ADの各画素で画像を表示するためのタイミングを規定する信号である。
本実施形態において、水平走査期間Hdは、予め定められた一定の時間長を有している。また、本実施形態において、垂直走査期間Fdは、複数の水平走査期間Hdから構成されており、垂直走査期間Fsの時間長以下の可変な時間長を有する。すなわち、各垂直走査期間Fdに含まれる水平走査期間Hdの個数は可変である。図16(A)に示す例では、図16(A)に示す複数の垂直走査期間Fdのうち、最初の垂直走査期間Fdである垂直走査期間Fd1は、垂直走査期間Fd1に後続する垂直走査期間Fd2よりも短く、垂直走査期間Fd2は、垂直走査期間Fd2に後続する垂直走査期間Fd3よりも短い場合を例示している。
なお、表示垂直同期信号DVsyncの有する波形のうち、垂直走査期間Fdの開始及び終了のタイミングを規定するパルス状の波形を、垂直同期パルスPlsVと称する。また、表示水平同期信号DHsyncの有する波形のうち、水平走査期間Hdの開始及び終了のタイミングを規定するパルス状の波形を、水平同期パルスPlsHと称する。
図16(B)に示すように、垂直走査期間Fdは、垂直同期期間DVpと、垂直バックポーチ期間DVbと、垂直有効データ期間DVIと、垂直フロントポーチ期間DVfと、からなる。
垂直同期期間DVpは、表示垂直同期信号DVsyncがアクティブ(この図の例ではローレベル)である期間であり、垂直走査期間Fdが開始されるのと同時に開始される、予め定められた時間長を有する期間である。垂直バックポーチ期間DVbは、垂直同期期間DVpに後続する期間であり、予め定められた時間長を有する期間である。垂直有効データ期間DVIは、垂直バックポーチ期間DVbに後続する、可変な時間長の期間である。当該垂直有効データ期間DVIにおいて、画像信号出力部23から画像信号DGB(画像信号DGB[1]〜DGB[M])が出力される。垂直フロントポーチ期間DVfは、垂直有効データ期間DVIに後続する期間であり、垂直走査期間Fdの終了と同時に終了する、予め定められた時間長を有する期間である。
垂直有効データ期間DVIは、各垂直走査期間Fdにおいてイネーブル信号DEnbが最初にアクティブとなる水平走査期間Hdの開始からイネーブル信号DEnbがM回目にアクティブとなる水平走査期間Hdの終了までの期間である(イネーブル信号DEnbがアクティブとなる場合については、後述する)。
当該垂直有効データ期間DVIは、例えば、イネーブル信号DEnbがアクティブとなる回数をカウントするカウンタ(図示省略)が出力するカウント値に基づいて定めればよい。但し、本実施形態では、説明の便宜上、各垂直走査期間Fdにおいてイネーブル信号DEnbが最初にアクティブとなる水平走査期間Hdの開始からイネーブル信号DEnbがM回目にアクティブとなる水平走査期間Hdの終了までの期間においてアクティブ(この図の例ではハイレベル)となる垂直有効データ信号DVactiveを導入する。すなわち、本実施形態では、垂直有効データ信号DVactiveがアクティブである期間を垂直有効データ期間DVIとして説明する。なお、この垂直有効データ信号DVactiveは、説明の便宜上導入した信号であり、出力制御部31は、この垂直有効データ信号DVactiveを出力しないものであってもよい。
図16(C)及び(D)に示すように、水平走査期間Hdは、水平同期期間DHpと、水平バックポーチ期間DHbと、水平有効データ期間DHIと、水平フロントポーチ期間DHfと、からなる。
水平同期期間DHpは、表示水平同期信号DHsyncがアクティブ(この図の例ではローレベル)である期間であり、水平走査期間Hdが開始されるのと同時に開始される、予め定められた時間長を有する期間である。水平バックポーチ期間DHbは、水平同期期間DHpに後続する期間であり、予め定められた時間長を有する期間である。水平有効データ期間DHIは、水平バックポーチ期間DHbに後続する、予め定められた時間長を有する期間である。水平フロントポーチ期間DHfは、水平有効データ期間DHIに後続する期間であり、水平走査期間Hdの終了と同時に終了する、予め定められた時間長を有する期間である。
本実施形態では、水平走査期間Hdには、画像信号出力部23が画像信号D[m]を出力するための有効水平走査期間Hd-A(図16(C)参照)と、画像信号D[m]を出力する代わりに無効信号Dmy[m]を出力する無効水平走査期間Hd-D(図16(D)参照)と、が存在する。
図16(C)は、水平走査期間Hdが有効水平走査期間Hd-Aである場合を例示している。この図に示すように、イネーブル信号DEnbは、水平走査期間Hdが有効水平走査期間Hd-Aである場合には、水平有効データ期間DHIにおいてアクティブ(この図の例ではハイレベル)となる。そして、イネーブル信号DEnbがアクティブとなる水平有効データ期間DHIにおいて、画像信号出力部23から画像信号D[m](画像信号DGB[m])が出力される。一方、イネーブル信号DEnbは、有効水平走査期間Hd-Aのうち、水平有効データ期間DHI以外の期間(水平同期期間DHp、水平バックポーチ期間DHb、水平フロントポーチ期間DHf)において、非アクティブとなる。画像信号出力部23は、有効水平走査期間Hd-Aのうち、イネーブル信号DEnbが非アクティブとなる、水平有効データ期間DHI以外の期間において、画像信号D[m](画像信号DGB[m])の出力を停止して、無効ライン信号DGB-dmyを出力する。
上述した第3条件は、タイミングジェネレーター32が水平有効データ期間DHIにおいてイネーブル信号DEnbをアクティブとすることで充足される。すなわち、出力制御部31及びタイミングジェネレーター32を備えるタイミング制御部30は、上述した第1条件〜第3条件の全てが充足されたタイミングで、表示対象ラインに対応する画像信号D[m](画像信号DGB[m])を画像信号出力部23から出力させる。
一方、図16(D)は、水平走査期間Hdが無効水平走査期間Hd-Dである場合を例示している。この図に示すように、イネーブル信号DEnbは、水平走査期間Hdが無効水平走査期間Hd-Dである場合には、水平有効データ期間DHIにおいて非アクティブ(すなわち、DEnbはローレベル)となる。そして、画像信号出力部23は、無効水平走査期間Hd-Dのうち、水平有効データ期間DHIにおいて、画像信号D[m](画像信号DGB[m])の代わりに、無効信号Dmyを出力する。一方、イネーブル信号DEnbは、無効水平走査期間Hd-Dのうち、水平有効データ期間DHI以外の期間(水平同期期間DHp、水平バックポーチ期間DHb、水平フロントポーチ期間DHf)においても非アクティブとなる。画像信号出力部23は、無効水平走査期間Hd-Dのうち、水平有効データ期間DHI以外の期間において、画像信号D[m](画像信号DGB[m])の出力を停止して、無効ライン信号DGB-dmyを出力する。
なお、タイミングジェネレーター32は、出力制御部31が出力する出力制御信号CTRに基づいて、水平走査期間Hdを有効水平走査期間Hd-A又は無効水平走査期間Hd-Dのいずれにするか、換言すれば、水平有効データ期間DHIにおいてイネーブル信号DEnbをアクティブとするか否かを決定する。この、出力制御信号CTR、イネーブル信号DEnb、及び、水平走査期間Hdの種類の関係については、後述する。
図17は、タイミングジェネレーター32が生成する各種信号と、液晶パネル42の表示領域ADにおける画像の表示タイミングとの関係を説明するための説明図である。
この図に示すように、表示領域ADの有する第1行のラインから第M行のラインに至るM行×N列の画素は、垂直走査期間Fdのうち、垂直有効データ信号DVactiveがアクティブとなる垂直有効データ期間DVIにおいて、画像信号D[1]〜D[M]の示す1画面分の画像を表示する。
また、表示領域ADのうち第m行のラインを構成するN個の画素は、水平走査期間Hd(有効水平走査期間Hd-A)のうち、イネーブル信号DEnbがアクティブとなる水平有効データ期間DHIにおいて、画像信号D[m]の示す画像を表示する。
なお、垂直有効データ期間DVIは、当該垂直有効データ期間DVIに含まれる無効水平走査期間Hd-Dの個数によって延長されるが、この図では、垂直有効データ期間DVIに含まれる水平走査期間Hdは全て有効水平走査期間Hd-Aである場合を想定している。
次に、図18を参照しつつ、左側表示部40−1について説明する。
図18は、左側表示部40−1の構成を示すブロック図である。上述のとおり、左側表示部40−1は、液晶パネル42の動作を制御するコントローラー41と、画像信号Dに応じた画像を表示するための液晶パネル42と、を備える。
液晶パネル42には、上述のとおり、画像信号Dに応じた画像を表示するための表示領域ADが設けられている。表示領域ADは、図17においてX軸方向に延在するM行の走査線と、Y軸方向に延在するN列のデータ線と、走査線及びデータ線の交差に対応しても受けられるM行×N列の画素と、を含んで構成されている。また、液晶パネル42は、走査線を選択するための走査線駆動回路421と、データ線を駆動するためのデータ線駆動回路422と、を備える。
コントローラー41は、画像信号出力部23から画像信号D(画像信号DGB)が入力されるデータ入力部411と、各垂直有効データ期間DVIにおいて有効水平走査期間Hd-Aの個数(イネーブル信号DEnbがアクティブとなる回数)をカウントするカウンター412と、液晶パネル42の駆動タイミングを規定する各種タイミング信号を生成するタイミング生成部413と、液晶パネル42に対して画像信号D(画像信号DGC)を出力するデータ出力部414と、コントローラー41の動作を規定する設定パラメーターPRMを格納するためのレジスタ415と、を備える。
なお、本実施形態において、各画像処理回路100(画像信号生成部20、及び、タイミング制御部30)とコントローラー41との間のデータ伝送は、パラレルインタフェース(図示省略)又は高速シリアルインターフェースによって行う。
レジスタ415に設定される設定パラメーターPRMは、液晶パネル42の仕様に応じてコントローラー41を動作させるための、コントローラー41の動作を規定する値である。
設定パラメーターPRMとしては、例えば、水平走査期間Hdの時間長(又は、水平走査期間Hdに含まれる表示ドットクロック信号DCLKのクロック数。以下、表示ドットクロック信号DCLKのクロック数を、単に「クロック数」と称する)、水平有効データ期間DHIの時間長(又は、表示領域ADにおけるX軸方向の画素数(N))、水平同期期間DHpの時間長(又は、クロック数)、水平バックポーチ期間DHbの時間長(又は、クロック数)、水平フロントポーチ期間DHfの時間長(又は、クロック数)、垂直有効データ期間DVIに無効水平走査期間Hd-Dが含まれない場合の垂直有効データ期間DVIの時間長(又は、表示領域ADにおけるY軸方向のライン数(M)。すなわち、垂直有効データ期間DVIに含まれる有効水平走査期間Hd-Aの個数)、垂直同期期間DVpの時間長(又は、クロック数)、垂直バックポーチ期間DVbの時間長(又は、クロック数)、垂直フロントポーチ期間DVfの時間長(又は、クロック数)、等を含むものであればよい。
本実施形態に係る撮像表示システム1では、画像処理回路100から、液晶パネル42の仕様に応じたコントローラー41の動作タイミングを設定できるので、液晶パネル42のサイズを変更する場合や、フレームレート等の液晶パネル42の仕様を変更する場合であっても、コントローラー41を変更する必要がない。このため、システムの汎用性を向上させることが可能となる。
データ入力部411には、画像処理回路100から、表示ドットクロック信号DCLKと、画像信号D(画像信号DGB)、無効ライン信号DGB-dmy、及び無効信号Dmyを含む画像信号出力部23からの出力信号と、イネーブル信号DEnbと、が供給される。
データ入力部411は、イネーブル信号DEnbがアクティブとなると、当該イネーブル信号DEnbがアクティブの間に表示ドットクロック信号DCLKに同期して画像信号出力部23から供給される1ライン分の画像信号D[m]を取り込み、取り込んだ画像信号D[m]をデータ出力部414に対して出力する。一方、データ入力部411は、イネーブル信号DEnbが非アクティブの場合、画像信号出力部23から供給される無効信号Dmyを取り込まずに破棄する。
カウンター412には、画像処理回路100から、イネーブル信号DEnbと、表示垂直同期信号DVsyncとが供給される。
カウンター412は、イネーブル信号DEnbの立ち上がりエッジをカウントし、カウント結果を示すカウント値Cntを、タイミング生成部413に対して出力する。また、カウンター412は、表示垂直同期信号DVsyncがアクティブになり、表示垂直同期信号DVsyncとして垂直同期パルスPlsVが供給されると、カウント値Cntを「0」にリセットする。このため、カウンター412は、各垂直走査期間Fdに含まれる有効水平走査期間Hd-Aの個数をカウントすることができる。すなわち、カウント値Cntは、データ入力部411が第m行のラインで表示すべき画像を指定する画像信号D[m]を取り込む場合には、当該画像信号D[m]に対応するライン番号(m)を示す。
タイミング生成部413には、画像処理回路100から、表示垂直同期信号DVsyncと、表示水平同期信号DHsyncと、設定パラメーターPRMと、が供給され、また、カウンター412から、カウント値Cntが供給される。
上述のとおり、タイミング生成部413は、画像処理回路100から設定パラメーターPRMが供給されると、供給された設定パラメーターPRMをレジスタ415に設定する。
タイミング生成部413は、カウント値Cntが「m」を示す場合には、走査線駆動回路421に対して、カウント値Cntに対応する第m行のライン(走査線)の選択を行わせる。また、タイミング生成部413は、カウント値Cntが「m」を示す場合には、データ出力部414に対して、データ入力部411が取り込んだ1ライン分の画像信号D[m]を画像信号DGC[m]としてデータ線駆動回路422に供給させる。この場合、データ線駆動回路422は、走査線駆動回路421が選択している第m行の走査線に対応して設けられるN個の画素(第m行のライン)に対し、データ出力部414から供給された画像信号DGC[m]を、データ線を介して書き込む。これにより、選択されたラインの画像が表示領域ADに表示される。なお、本実施形態では、画像信号DGA及びDGBはデジタルの信号であるが、画像信号DGCは、デジタルの信号であってもアナログの信号であってもよい。
このように、コントローラー41は、画像信号出力部23から供給された画像信号Dの示す画像(すなわち画像信号DLの示す画像)を、液晶パネル42の表示領域ADに表示させる。
図19に、左側フロントAピラー部FPにおける画像信号DLの示す画像の表示例を示す。図示のように、画像信号DLの示す画像は、車両Aのフロントガラスの左側にある左側フロントAピラー部FPにおいて室内側表面付近の領域A−1において運転者に視認されるように表示される。左側表示部40−1において、矩形の表示領域ADに表示された、画像信号DLの示す画像(マスク画像MD又は調整済みマスク画像MD’が合成された画像)がピコプロジェクター401Lから透過型スクリーン402Lに向けて照射されると、透過型スクリーン402L上に実像が形成され、その照射光がコンバイナー404Lから反射される。コンバイナー404Lから反射された照射光のうち、楕円形の開口部OpLの内側に至る部分だけが左側フロントAピラー部FPの外部に出力される結果、図示の例のように、楕円形の像が運転者に視認されることになる。一方、楕円形の開口部OpLの外側に至る照射光はマスク画像MD又は調整済みマスク画像MD’のうち輝度値が「0」の非透過領域ANTに相当するから、この照射光が開口部OpLの外側に達しても迷光が生じることはない。
右側後方領域撮像部10−3、画像処理回路100−3、及び右側表示部40−3の構成は、左右の相違がある点を除いて、左側後方領域撮像部10−1、画像処理回路100−1、及び左側表示部40−1の構成と同様である。具体的には、左側表示部40−1における縮小・拡大処理が図12A、図12D、及び図12Gに示すものである場合には、右側表示部40−3における縮小・拡大処理は図20A、図20B、及び図20Cにそれぞれ示すものとなる。
図20Dに例示するように、右側後方領域撮像部10−3が撮像した撮像信号DSに基づく画像(画像信号DH2の示す画像)は、左右方向において車体に近い領域RRC(図2)が車体から遠い領域RRRよりも拡大され、上下方向においては中央の領域が拡大されている。画像信号DH2は、画像合成部230においてマスク画像MD又は調整済みマスク画像MD’と合成された後に、画像信号DRとして出力される。画像信号DRの示す画像は右側表示部40−3のピコプロジェクター401Rから透過型スクリーン402Rに向けて投射され、コンバイナー404Rによって反射されて、車両Aのフロントガラスの右側にある右側フロントAピラー部において室内側表面付近の領域A−3において運転者に視認されるように表示される。
左側表示部40−1について上述したように、水平方向縮小・拡大処理及び垂直方向縮小・拡大処理において用いる画面の分割比率、垂直方向変倍率、及び水平方向変倍率は任意に設定され得る。
次に、中央後方領域撮像部10−2、画像処理回路100−2、及び中央表示部40−2の構成は、左側後方領域撮像部10−1、画像処理回路100−1、及び左側表示部40−1の構成と同様である。ただし、画像処理回路100−2の画像処理部21では、水平方向縮小・拡大処理部221による処理と拡大する垂直方向縮小・拡大処理部222による処理において、拡大及び縮小の比率が相違する。
図21は、中央後方領域撮像部10−2が撮像した撮像信号DSCに基づく画像に対して施す拡大・縮小処理の概念図である。図示の例は、撮像信号DSCに対してトリミング処理及び左右反転処理を施した画像信号DFを示す。図示のように、拡大・縮小処理においては、鏡像生成部220から出力された画像信号DIの画像を左上領域BR1、左中央領域BR2、左下領域BR3、中央上領域BR4、中央領域BR5、中央下領域BR6、右上領域BR7、右中央領域BR8、右下領域BR9の9つの領域に区分する。左右方向における左の領域BRL(図2)と中央の領域BRCと右の領域BRRとの長さの比、及び上下方向において、上の領域と、中央の領域と、下の領域との長さの比は任意に定めることができる。図21に示す例では、左右方向を20%、60%、及び20%に分割し、上下方向に20%、60%、及び20%に分割してある。
また、各領域には、所定の水平方向変倍率(左右方向における拡大率又は縮小率)と所定の垂直方向変倍率(上下方向における拡大率又は縮小率)が予め設定される。具体的には、図21に示すように、左右方向及び上下方向のいずれにおいても端の領域である左上領域BR1、左下領域BR3、右上領域BR7、及び右下領域BR9については、左右方向の縮小率及び上下方向の縮小率がともに50%に設定される。また、左右方向において端の領域ではあるが上下方向において中央の領域である左中央領域BR2と右中央領域BR8については、左右方向の縮小率が50%且つ上下方向の拡大率が133%に設定される。また、左右方向において中央の領域ではあるが上又は下の領域である中央上領域BR4と中央下領域BR6については、左右方向の拡大率が133%、上下方向の縮小率が50%に設定される。そして、左右方向及び上下方向のいずれにおいても中央の領域である中央領域BR5については、左右方向の拡大率及び上下方向の拡大率がともに133%に設定される。このように設定することにより、撮像信号DSに基づく画像のうち、車両の運転時の安全確認により必要な領域の視認性を向上することが可能となる。また、例えばバックミラーの鏡面に平面鏡部と凸面鏡部を設けて凸面鏡部に映る鏡像が圧縮されるようにする構成と比較して、物理的な加工処理を不要としつつ、左右及び上下方向における中央の領域の視認性を向上することが可能となる。
このようにして生成された画像信号DCの示す画像は中央表示部40−2のピコプロジェクター401Cから透過型スクリーン402Cに向けて投射され、コンバイナー404Cによって反射されて、車両Aのフロントガラス下部における領域A−2において運転者に視認されるように表示される。
図22は、出力制御信号CTRと、イネーブル信号DEnbとを説明するための説明図である。
上述のとおり、出力制御部31は、画像信号D[m]の出力準備が完了したと判定したとき、つまり、第1条件及び第2条件が充足されたときに、出力制御信号CTRに判定結果が肯定であることを示す値を設定する。具体的には、本実施形態では、出力制御部31は、画像信号D[m]の出力準備が完了したと判定したときに、出力制御信号CTRに一時的にハイレベルに立ち上がるパルス状の波形を設定する。図22に示すように、出力制御信号CTRに設定される画像信号D[m]を出力する準備が完了した旨の判定結果を示す波形を、出力許可パルスPL[m]と称する。
上述のとおり、本実施形態に係る出力制御部31は、画像信号出力部23から出力完了信号PtBが出力されたことをもって、第2の条件が充足されたと看做す。そして、出力制御部31は、出力完了信号PtBが出力されたときに画像信号D[m]の画像処理が完了しているか(第1条件が充足されているか)否かの判定(第1の判定)を実行することで、画像信号D[m]の出力準備が完了したか否かを判定する。
図22に示すように、出力制御部31が画像信号D[m]の出力準備が完了したか否かの判定を行う場合において、出力制御部31が画像信号D[m]の画像処理が完了したと判定(第1条件が充足されたと判定)するタイミング、つまり、第1の判定の結果が肯定となるタイミングを、画像処理判定時刻TA[m]と称する。また、出力制御部31に出力完了信号PtBが供給された(第2条件が充足されたと看做す)タイミングを、表示準備判定時刻TB[m]と称する。また、以下では、説明の便宜上、画像処理部21による画像信号D[m]の生成が実際に完了した時刻を、画像信号生成時刻TC[m]と定義する。つまり、画像信号生成時刻TC[m]は、画像処理部21が書込完了信号PtAを出力する時刻と略同じ時刻である。
表示準備判定時刻TB[m]は、出力制御部31からの画像信号D[m-1]の出力が完了した時刻と略同じ時刻であり、画像信号D[m-1]が出力される有効水平走査期間Hd-A(有効水平走査期間Hd-A[m-1]と称する)の水平有効データ期間DHIが終了する時刻と略同じ時刻である。なお、表示準備判定時刻TB[m]の後に最初の水平走査期間Hd[m]の水平有効データ期間DHIが開始される時刻は、「表示可能時刻」の一例である。
なお、本明細書において「略同じ時刻」とは、信号の送受信に起因するタイムラグや、各種処理に起因するタイムラグがある場合において、これらのタイムラグを無視した場合に同一の時刻であると看做すことができる場合を含む概念である。
画像処理判定時刻TA[m]は、表示準備判定時刻TB[m]までに画像信号D[m](画像信号DGA[m])の生成が完了している場合、すなわち、表示準備判定時刻TB[m]までに画像信号生成時刻TC[m]が経過している場合(Case-1と称する)には、表示準備判定時刻TB[m]と略同じ時刻となる。
なお、Case-1の場合、表示準備判定時刻TB[m]の経過後に、出力制御部31が、当該表示準備判定時刻TB[m]までに出力制御部31に供給されている書込完了信号PtAの示すライン番号maが「m≦ma」を満たす旨の判定をし、当該判定をしたタイミングが画像処理判定時刻TA[m]であるため、画像処理判定時刻TA[m]及び表示準備判定時刻TB[m]の間にはタイムラグが存在するが、以下では、簡単のために両時刻を略同じと看做す。
一方、画像処理判定時刻TA[m]は、表示準備判定時刻TB[m]までに画像信号D[m](画像信号DGA[m])の生成が完了していない場合、すなわち、表示準備判定時刻TB[m]までに画像信号生成時刻TC[m]が到来していない場合(Case-2と称する)には、画像処理部21が画像信号D[m]の生成を完了させた時刻、すなわち、画像信号生成時刻TC[m]と略同じ時刻となる。
なお、Case-2の場合、画像処理部21が画像信号生成時刻TC[m]に画像信号D[m]の生成を完了させた後に、画像処理部21が書込完了信号PtAを出力し、当該書込完了信号PtAの供給を受けた出力制御部31が「m≦ma」を満たす旨の判定をしたタイミングが画像処理判定時刻TA[m]であるため、画像処理判定時刻TA[m]及び画像信号生成時刻TC[m]の間にはタイムラグが存在するが、以下では、簡単のために両時刻を略同じと看做す。
出力制御部31は、画像処理判定時刻TA[m]及び表示準備判定時刻TB[m]のうち遅い方の時刻、すなわち、画像処理判定時刻TA[m]において、出力制御信号CTRに出力許可パルスPL[m]を設定する。つまり、この出力許可パルスPL[m]は、画像信号D[m]についての第1条件及び第2条件が充足されたときに出力される。そして、タイミングジェネレーター32は、出力許可パルスPL[m]が出力された後であって第3条件が充足されたとき、換言すれば、出力許可パルスPL[m]が出力された後に最初にイネーブル信号DEnbがアクティブになるときに、画像信号出力部23から画像信号D[m]が出力されるように制御する。
以下、説明の都合上、画像信号D[m]について、第1条件〜第3条件の全てが充足された時刻を、出力条件充足時刻TJ[m]と称する。
本実施形態では、タイミングジェネレーター32は、出力制御信号CTRに基づいて、タイミングジェネレーター32の内部処理で用いるための内部処理信号ISのレベルを決定する。そして、タイミングジェネレーター32は、内部処理信号ISに基づいて、イネーブル信号DEnbをアクティブにするタイミング、及び、水平走査期間Hdの種別(有効水平走査期間Hd-A又は無効水平走査期間Hd-D)を決定する。
具体的には、タイミングジェネレーター32は、図22に示すように、出力制御信号CTRに出力許可パルスPL[m]が設定されると、内部処理信号ISをアクティブ(この図の例ではハイレベル)とする。
次に、タイミングジェネレーター32は、水平走査期間Hdが開始されるタイミングにおいて内部処理信号ISがアクティブである場合、当該水平走査期間Hdの種別を有効水平走査期間Hd-A[m]に決定(分類)し、当該有効水平走査期間Hd-A[m]の水平有効データ期間DHIが開始されるタイミングでイネーブル信号DEnbをアクティブにする。このイネーブル信号DEnbがアクティブとなるタイミングが、出力条件充足時刻TJ[m]に該当する。
そして、タイミングジェネレーター32は、当該有効水平走査期間Hd-A[m]の水平有効データ期間DHIが開始されてイネーブル信号DEnbがアクティブとなるタイミング、つまり、出力条件充足時刻TJ[m]において、内部処理信号ISを非アクティブとする。
一方、タイミングジェネレーター32は、水平走査期間Hdが開始されるタイミングにおいて内部処理信号ISが非アクティブである場合、当該水平走査期間Hdの種別を無効水平走査期間Hd-Dに決定(分類)し、当該無効水平走査期間Hd-Dの間はイネーブル信号DEnbを非アクティブとする。
以下、図22に示す例において、出力制御部31が、画像信号D[2]の出力準備が完了したか否かの判定を行い、出力制御信号CTRに出力許可パルスPL[2]を設定する場合(Case-1に相当)を説明する。
図22に示す例では、表示準備判定時刻TB[2]は、画像信号D[1]の出力が完了する水平走査期間Hd[1](有効水平走査期間Hd-A[1])の水平有効データ期間DHIの終了時である。また、この例では、画像信号D[2]の画像処理が完了する画像信号生成時刻TC[2]が、表示準備判定時刻TB[2]よりも前に到来する場合を想定している。よって、この例では、画像処理判定時刻TA[2]は、表示準備判定時刻TB[2]と略同じ時刻となる。このため、出力制御部31は、水平走査期間Hd[1]の水平有効データ期間DHIの終了時、つまり、表示準備判定時刻TB[2]に、出力制御信号CTRとして出力許可パルスPL[2]を出力する。
タイミングジェネレーター32は、出力制御信号CTRとして出力許可パルスPL[2]が出力されタイミング、つまり、水平走査期間Hd[1]の水平有効データ期間DHIの終了するタイミングにおいて、内部処理信号ISをアクティブにする。この場合、内部処理信号ISは、水平走査期間Hd[2]の開始時においてもアクティブとなっている。このため、タイミングジェネレーター32は、水平走査期間Hd[2]を有効水平走査期間Hd-A[2]とし、水平走査期間Hd[2]の水平有効データ期間DHIにおいて、イネーブル信号DEnbをアクティブにする。
すなわち、水平走査期間Hd[2]の水平有効データ期間DHIの開始時刻が、画像信号D[2]についての第1条件〜第3条件の全てが充足された出力条件充足時刻TJ[2]となる。このため、水平走査期間Hd[2]において、画像信号D[2]が出力されることになる。また、タイミングジェネレーター32は、水平走査期間Hd[2]の水平有効データ期間DHIが開始されるタイミングにおいて、内部処理信号ISを非アクティブとする。
次に、図22に示す例において、出力制御部31が、画像信号D[3]の出力準備が完了したか否かの判定を行い、出力制御信号CTRに出力許可パルスPL[3]を設定する場合(Case-2に相当)を説明する。
図22に示す例では、表示準備判定時刻TB[3]は、画像信号D[2]の出力が完了する水平走査期間Hd[2](有効水平走査期間Hd-A[2])の水平有効データ期間DHIの終了時である。この例では、画像信号D[3]の画像処理が完了する画像信号生成時刻TC[3]が、表示準備判定時刻TB[3]よりも後となる場合を想定している。よって、画像処理判定時刻TA[3]は、表示準備判定時刻TB[3]よりも後の時刻となる。また、この例では、画像信号生成時刻TC[3]が、水平走査期間Hd[3]の開始時よりも後となる場合を想定している。このため、出力制御部31は、水平走査期間Hd[3]の開始時よりも後の時刻に、出力許可パルスPL[3]を出力する。
上述のとおり、タイミングジェネレーター32は、内部処理信号ISを、水平走査期間Hd[2]の水平有効データ期間DHIの開始時に非アクティブとする。このため、内部処理信号ISは、水平走査期間Hd[3]の開始時に非アクティブとなっている。よって、タイミングジェネレーター32は、水平走査期間Hd[3]を無効水平走査期間Hd-Dとして分類し、水平走査期間Hd[3]の水平有効データ期間DHIにおいて、イネーブル信号DEnbを非アクティブにする。この場合、画像信号出力部23は、水平走査期間Hd[3]の水平有効データ期間DHIにおいて、画像信号D[3]を出力せずに、無効信号Dmyを出力する。
その後、タイミングジェネレーター32は、出力制御信号CTRとして出力許可パルスPL[3]が出力されるタイミングにおいて、内部処理信号ISをアクティブにする。この例では、出力許可パルスPL[3]が出力されるタイミングは、水平走査期間Hd[4]の開始前である。この場合、内部処理信号ISは、水平走査期間Hd[4]の開始時においてもアクティブとなっている。このため、タイミングジェネレーター32は、水平走査期間Hd[4]を有効水平走査期間Hd-A[3]とし、水平走査期間Hd[4]の水平有効データ期間DHIにおいて、イネーブル信号DEnbをアクティブにする。
すなわち、水平走査期間Hd[4]の水平有効データ期間DHIの開始時刻が、画像信号D[3]についての第1条件〜第3条件の全てが充足された出力条件充足時刻TJ[3]となる。このため、水平走査期間Hd[4]において、画像信号D[3]が出力されることになる。
なお、この図に示す例では、出力制御部31が、画像信号D[1]の出力準備が完了したか否かの判定を行い出力制御信号CTRに出力許可パルスPL[1]を設定する場合、及び、画像信号D[1]の出力準備が完了したか否かの判定を行い出力制御信号CTRに出力許可パルスPL[1]を設定する場合は、Case-1である場合を想定している。
このように本実施形態では、出力制御部31は、第1条件及び第2条件が充足されときに、出力許可パルスPL[m]を出力する。そして、画像信号出力部23は、出力許可パルスPL[m]が出力された後の最初の水平走査期間Hdにおいて、画像信号D[m]を出力する。このため、画像処理部21による画像処理等により、ある水平走査期間Hdにおいて画像信号出力部23から画像信号D[m]を出力できない場合において、画像信号出力部23からの画像信号D[m]の出力タイミングを、水平走査期間Hdの精度で調整することができる。
なお、図22に示す例では、タイミングジェネレーター32は、水平走査期間Hdの種別を、水平走査期間Hdが開始されるタイミングで決定しているが、これは一例に過ぎず、例えば、出力許可パルスPL[m]が出力される水平走査期間Hdの水平フロントポーチ期間DHfの開始から、出力許可パルスPL[m]が出力された後の最初の水平走査期間Hdの水平バックポーチ期間DHbの終了までの間に決定すればよい。
また、図22に示す例では、内部処理信号ISを非アクティブとするタイミングを、イネーブル信号DEnbがアクティブとなるタイミングとしているが、これは一例に過ぎず、タイミングジェネレーター32が内部処理信号ISを非アクティブとするタイミングは、イネーブル信号DEnbがアクティブとなってから非アクティブとなるまでの水平有効データ期間DHIの間であればいつでもよい。
また、本実施形態において、タイミングジェネレーター32は、内部処理信号ISを用いて、イネーブル信号DEnbの波形と、水平走査期間Hdの種別とを決定しているが、これは一例に過ぎず、内部処理信号ISを用いずに、出力制御信号CTRに基づいて、これらを決定してもよい。
また、本実施形態において、出力制御信号CTRは、出力許可パルスPL[m]を含む波形となっているが、これは一例であり、出力制御信号CTRは、例えば、図22に示す内部処理信号ISの波形を有していてもよい。この場合、タイミングジェネレーター32は、出力制御部31が出力制御信号CTRの波形の決定をするために必要なイネーブル信号DEnb等の各種信号を、出力制御部31に供給すればよい。
図23は、有効水平走査期間Hd-A及び無効水平走査期間Hd-Dと、垂直走査期間Fdとの関係を説明するための説明図である。
垂直走査期間Fdは、M行のラインに対応する画像信号D[1]〜D[M]を出力する期間である。このため、タイミングジェネレーター32は、各垂直走査期間Fdの垂直有効データ期間DVIに、M個の有効水平走査期間Hd-Aを設ける。
一方、本実施形態に係るタイミングジェネレーター32は、水平走査期間Hdを、有効水平走査期間Hd-A又は無効水平走査期間Hd-Dの何れかに分類する。そして、水平走査期間Hdが有効水平走査期間Hd-Aである場合にのみ、当該水平走査期間Hdにおいて画像信号D[m]が出力される。
このため、本実施形態に係るタイミングジェネレーター32は、垂直走査期間Fdの垂直有効データ期間DVIに無効水平走査期間Hd-Dを設ける場合には、当該無効水平走査期間Hd-Dに相当する時間長だけ垂直有効データ期間DVIを延長し、各垂直走査期間Fdの垂直有効データ期間DVIにM個の有効水平走査期間Hd-Aを設けるように、表示垂直同期信号DVsync及び垂直有効データ信号DVactiveを出力する。
例えば、タイミングジェネレーター32は、図23(A)に示す垂直走査期間Fd1のように、垂直有効データ期間DVIの全ての水平走査期間Hdを有効水平走査期間Hd-Aとする場合には、垂直有効データ期間DVIの時間長を、水平走査期間HdのM倍の時間長とする。
一方、タイミングジェネレーター32は、図23(B)に示す垂直走査期間Fd2のように、垂直有効データ期間DVIに1又は複数の無効水平走査期間Hd-Dを設ける場合には、垂直有効データ期間DVIの時間長が、水平走査期間HdのM倍の時間長と、垂直有効データ期間DVIに存在する1又は複数の無効水平走査期間Hd-Dの合計の時間長と、を加算した時間長とする。
つまり、タイミングジェネレーター32は、垂直走査期間Fdの時間長を、水平走査期間Hdの単位で調整することで、各垂直走査期間Fdにおいて画像信号出力部23が画像信号D[1]〜D[M]を出力することを可能としている。
なお、図23(A)に示す垂直走査期間Fd1のように、垂直有効データ期間DVIの全ての水平走査期間Hdが有効水平走査期間Hd-Aである場合における、垂直走査期間Fdの時間長を、標準垂直走査時間Tdと称する。また、表示部40で表示可能な最高のフレームレート、すなわち、垂直走査期間Fdの時間長が標準垂直走査時間Tdである場合のフレームレートである「1/Td」を、「第2フレームレート」と称する場合がある。また、タイミング制御部30が実行するタイミングの制御のうち、第2フレームレートにより画像信号Dが出力されるようにタイミングを制御することを、「第1のタイミング制御」と称する場合がある。
また、図23(B)に示す垂直走査期間Fd2のように、垂直有効データ期間DVIに1又は複数の無効水平走査期間Hd-Dが設けられる場合における、当該1又は複数の無効水平走査期間Hd-Dの時間長の合計値を、延長垂直走査時間Texと称する。つまり、垂直有効データ期間DVIに1又は複数の無効水平走査期間Hd-Dが設けられる場合の垂直走査期間Fdの時間長は、標準垂直走査時間Tdと延長垂直走査時間Texとの合計である。なお、タイミング制御部30が実行するタイミングの制御のうち、1又は複数の無効水平走査期間Hd-Dが設けられる垂直有効データ期間DVIにおいて画像信号Dが出力されるようにタイミングを制御することを、「第2のタイミング制御」と称する場合がある。詳細は後述するが、第2のタイミング制御において、タイミング制御部30は、第1フレームレートにより画像信号Dが出力されるようにタイミングを制御する。
なお、コントローラー41は、カウント値Cntが、レジスタ415に設定された表示領域ADのライン数「M」と等しくなったことを検出した場合、検出後に最初に表示水平同期信号DHsyncが供給されるタイミング、つまり、垂直フロントポーチ期間DVfが開始されるタイミングで、データ入力部411及びデータ出力部414に対して、改フレーム処理の準備に入る。そして、垂直フロントポーチ期間DVfが開始された後、タイミング生成部413は、データ入力部411及びデータ出力部414に対して、改フレーム処理の実行を指令するための改フレーム処理開始信号Cngを出力する。
ここで、改フレーム処理とは、次の垂直走査期間Fdにおいて画像を表示する準備のための処理であり、例えば、データ入力部411及びデータ出力部414が備えるバッファに記憶されたデータの消去を実行する処理等が含まれる。改フレーム処理は、垂直フロントポーチ期間DVfの開始以後に開始される。また、改フレーム処理は、垂直フロントポーチ期間DVfの終了までに終了することが好ましい。
次に、撮像部10からの撮像信号DS[p]の出力タイミングと、画像信号生成部20からの画像信号D[m]の出力タイミングとの関係について説明する。
図24は、連続する複数の垂直走査期間Fs(Fs0〜Fs3)のうち、垂直走査期間Fs1〜Fs3のそれぞれにおいて、撮像部10が撮像信号DS(DS[1]〜DS[P])を出力するタイミングと、当該撮像信号DSに基づいて、画像処理部21が画像信号D(D[1]〜D[M])つまり画像信号DGA(DGA[1]〜DGA[M])を生成し、生成した画像信号DGAをラインバッファ22に格納するタイミングと、連続する複数の垂直走査期間Fd(Fd0〜Fd3)のうち、垂直走査期間Fd1〜Fd3のそれぞれにおいて、画像信号出力部23が、ラインバッファ22から画像信号Dつまり画像信号DGB(DGB[1]〜DGB[M])を取得してこれを表示部40に対して出力するタイミングと、の関係を、概略的に示すタイミングチャートである。なお、垂直走査期間Fsのうち、撮像信号DSが出力される期間を、「撮像信号DSのフレーム」と称する。また、垂直走査期間Fdのうち、画像信号Dが出力されうる期間である垂直有効データ期間DVIを「画像信号Dのフレーム」と称する。そして、図24に示すように、撮像信号DSのフレームの開始から、画像信号Dの開始までの時間を、位相差PDと称する。
図24では、説明の都合上、垂直走査期間Fs0〜Fs3において出力される撮像信号DS[p]を、それぞれ、撮像信号DS0[p]〜DS3[p]と区別して表現することがある。
また、図10において説明したとおり、画像処理部21における画像信号D[1]〜D[M]の生成という視点から見れば、撮像部10から出力される撮像信号DS[1]〜DS[P]は、撮像信号DGS[1]〜DGS[M]である。以下では、説明の都合上、垂直走査期間Fs0〜Fs3において出力される撮像信号DGS[m]を、それぞれ、撮像信号DGS0[m]〜DGS3[m]として区別して表現することがある。
同様に、撮像信号DGS0[m]〜DGS3[m]に基づいて生成される画像信号D[m](DGA[m]、DGA[m])を、それぞれ、画像信号D0[m]〜D3[m](DGA0[m]〜DGA3[m]、DGB0[m]〜DGB3[m])として区別して表現することがある。
上述のとおり、撮像部10は、撮像水平同期信号SHsync毎に撮像信号DS[1]〜DS[P]を順番に出力する。また、画像処理部21は、撮像信号DGS[m]に対応する撮像信号DS[p]の供給が開始されると、画像信号DGA[m]を生成するための画像処理を開始する。つまり、画像処理部21が、画像信号DGA[m]を生成するための画像処理を開始するタイミングは、ラインによって異なる。
図24では、撮像部10が撮像信号DGS[1]〜DGS[M]を画像処理部21に供給するタイミングを線L1で表す。つまり、線L1は、画像処理部21が、画像信号DGA[1]〜DGA[M]のそれぞれを生成するための画像処理をライン毎に順番に開始する様子(タイミング)を、線L1で表す。
また、画像処理部21による画像信号DGA[1]〜DGA[M]の生成が完了し、これらがライン毎に順番にラインバッファ22に格納される様子(タイミング)を、線L2で表す。画像信号出力部23は、画像信号DGA[m]の生成が完了した後に画像信号DGB[m]を出力する。よって、画像信号DGB[m]が、線L2の示す時刻よりも前の時刻に出力されることはない。なお、線L2は、図22で説明した画像信号生成時刻TC[1]〜TC[M]を結んだ線である。
また、画像信号出力部23が、表示部40にとって理想的なタイミングで画像信号DGB[1]〜DGB[M]を供給する場合、すなわち、表示部40が表示可能な最高のフレームレート(垂直走査期間Fdの時間長が標準垂直走査時間Tdである場合のフレームレート)で表示するように画像信号DGB[1]〜DGB[M]を供給する場合の、画像信号出力部23が画像信号DGB[1]〜DGB[M]をライン毎に順番に出力するタイミングを、線L3で表す。つまり、線L3は、表示部40が1ライン分の画像を表示可能な水平走査期間Hd毎に、画像信号出力部23が1ライン分の画像信号DGB[m]を出力すると仮定した場合(つまり、表示部40のフレームレートが第2フレームレートである場合)に、表示部40が画像信号DGB[1]〜DGB[M]の示す画像を水平走査期間Hd毎にライン順に表示するタイミングを示す線であり、水平走査期間Hd毎に1ライン増加するような傾きを有する。すなわち、線L3は、垂直有効データ期間DVIに含まれる水平走査期間Hdの全てが有効水平走査期間Hd-Aである場合を想定したものであり、垂直有効データ期間DVIに無効水平走査期間Hd-Dが含まれる場合も想定したうえで、第m-1行の画像信号D[m-1]の出力の完了(第2条件の充足)を前提とした画像信号D[m]の出力時刻を示す表示準備判定時刻TB[m]とは、必ずしも一致しない。
画像信号出力部23は、表示部40が表示可能であるときに画像信号DGB[m]を出力する。よって、画像信号DGB[m]が、線L3の示す時刻よりも前の時刻に出力されることはない。
また、図24では、ライン毎の画像信号DGA[m]を生成するための画像処理に要する時間を、画像処理時間UAとしている。以下では、説明の都合上、画像信号DGA0[m]〜DGA3[m]のそれぞれに対応する画像処理時間UAを、画像処理時間UA0〜UA3として区別して表現することがある。
また、図24では、画像信号DGA[m]がラインバッファ22に格納されてから、画像信号出力部23により表示部40に対して出力されるまでの時間を待機時間UBとしている。以下では、説明の都合上、画像信号DGB0[m]〜DGB3[m]のそれぞれに対応する待機時間UBを、待機時間UB0〜UB3として区別して表現することがある。
上述のとおり、撮像信号DS[1]〜DS[P]と、撮像信号DGS[1]〜DGS[M]とは1対1に対応するものではなく、各ラインに対応する画像信号D[m]を生成する画像処理の開始間隔は変動することがある。このため、線L1は通常は直線とはならずに折れ線となるが、図24では、図示の都合上直線として描いている。なお、線L1を直線とした場合(例えば、線L1の始点と終点とを直線とつないだ場合)、線L1の傾きは、撮像部10のフレームレートである第1フレームレートに応じて定められる。
また、上述のとおり、撮像信号DGS[1]〜DGS[M]のそれぞれに含まれる撮像信号DS[p]のライン数は、ラインの位置によって異なる場合がある。つまり、画像処理部21は、図10で説明したように、3ライン分の撮像信号DS[p]からなる撮像信号DGS[m]に基づいて画像信号DGA[m]を生成する場合もあれば、5ライン分の撮像信号DS[p]からなる撮像信号DGS[m]に基づいて画像信号DGA[m]を生成する場合もあり、後者の場合は前者の場合と比較して画像処理時間UAは長くなる。すなわち、画像処理部21が、画像信号DGA[1]〜DGA[M]を生成するための画像処理時間UAは、通常、ラインの位置に応じて変動する。このため、線L2は通常は直線とはならずに折れ線となるが、図24では、図示の都合上直線として描いている。
図24に示すように、垂直走査期間Fs1において撮像部10から出力される撮像信号DS1[p](DGS1[m])に基づいて画像処理部21が画像信号D1[m](DGA1[m])を生成する時刻を示す線L2は、垂直走査期間Fd1において表示部40が画像信号D1[m](DGA1[m])の示す画像を表示可能となる最早の時刻を示す線L3よりも時間的に先行している。このような、線L2が線L3よりも時間的に先行している状態を「第1の状態」と称する。
すなわち、第1の状態とは、画像処理部21が撮像信号DS[p]に基づいて画像信号D[m]を生成したときに、表示部40において当該画像信号D[m]の示す画像を表示する準備ができていない、という状態である。ここで、表示部40において画像信号D[m]を表示する準備ができていない場合とは、例えば、画像信号D1[m]が生成されたときに、表示部40が画像信号D1の前に表示すべき画像信号D0の示す画像を表示中であり、表示部40が画像信号D1[m]の示す画像を表示できない場合等である。
つまり、第1の状態においては、画像処理部21が画像信号D[m]を生成しても、画像信号D[m]を表示するための表示部40側の準備が間に合っていないため、表示部40における画像の表示が、表示部40側の表示準備がボトルネックとなって、遅延する状態である。換言すれば、第1の状態は、表示部40が画像信号D[m]を表示可能となったタイミングにおいて、遅延することなく速やかに画像信号D[m]を表示することができる、という状態である。
ところで、表示部40で1つの画面を表示するために必要な時間(周期)は、撮像部10で1つの画面を撮像するために必要な時間(周期)よりも短いため、表示部40側における表示準備がボトルネックとなる表示の遅延は、徐々に縮小されて解消されるに至る。
図24では、図示の都合上、第1の状態として、1つの垂直走査期間Fs(Fs1)及び1つの垂直走査期間Fd(Fd1)の1組の垂直走査期間しか記載していないが、実際には複数の組の垂直走査期間が存在する場合がある。この場合、第1の状態における、位相差PD1(第1の状態における位相差PDとして、図24に示すように符号PD1を付する)は、垂直走査期間Fdと垂直走査期間Fsの差分に相当する時間ずつ短くなる。換言すれば、垂直走査期間の組毎に線L3と線L2との距離は、概ね、垂直走査期間Fdと垂直走査期間Fsの差分に相当する時間ずつ短くなる。
表示部40側における表示準備がボトルネックとなる表示の遅延が解消される前は、線L2が線L3よりも時間的に先行する。一方、表示準備がボトルネックとなる表示の遅延が解消された後は、線L3が線L2よりも時間的に先行する。すなわち、表示準備がボトルネックとなる表示の遅延が解消されるタイミングにおいて、線L2と線L3がクロスする。なお、上述のとおり、線L2は直線とはならず、折れ線となる場合が存在する。この場合、線L2及び線L3のクロスは、複数回生じることがある。
図24に示す例では、垂直走査期間Fs2において撮像部10が出力する撮像信号DS2[p](DGS2[m])に基づいて、画像処理部21が画像信号D2[m](DGA2[m])を生成する時刻を示す線L2は、垂直走査期間Fd2において表示部40が画像信号D2[m](DGA2[m])の示す画像を表示可能となる最早の時刻を示す線L3とクロスしている。このような、線L2と線L3がクロスする状態を、「第2の状態」と称する。なお、線L2及び線L3のクロスが複数回生じる場合には、このようなクロスが最初に生じる状態を、「第2の状態」と称する。また、線L2と線L3がクロスする時刻を、時刻Tthと称する。なお、線L2及び線L3のクロスが複数回生じる場合には、最初にクロスが生じる時刻を時刻Tthとする。
すなわち、第2の状態とは、画像処理部21が撮像信号DS[p]に基づいて画像信号D[m]を生成したときに表示部40において当該画像信号D[m]の示す画像を表示する準備ができていないという状態(常に線L2が線L3よりも時間的に先行する状態)から、表示部40において画像信号D[m]の示す画像を表示可能となったときに画像処理部21が画像信号D[m]を生成するための画像処理を完了していない場合が存在するという状態(線L3が線L2よりも時間的に先行する場合が存在するという状態)へと遷移することをいう。
つまり、第2の状態は、時刻Tth以前においては、表示部40が画像信号D[m]の示す画像を表示することが可能となるタイミングにおいて、遅延することなく画像信号D[m]の示す画像を表示されるという状態であり、一方、時刻Tth以後においては、表示部40側において画像信号D[m]を表示することが可能となる時刻に至っても、画像信号D[m]を生成するための画像処理部21における画像処理が間に合っていないため、表示部40における画像の表示が、画像処理部21の画像処理がボトルネックとなって遅延する場合が存在する、という状態である。この、第2の状態における、位相差PD2(第2の状態における位相差PDとして、図24に示すように符号PD2を付する)は、図24に示すように位相差PD1よりも短くなる。
なお、時刻Tth以降においては、タイミングジェネレーター32が、垂直有効データ期間DVIに無効水平走査期間Hd-Dを挿入して、画像信号出力部23からの画像信号D[m]の出力タイミング(表示部40における画像信号D[m]の示す画像の表示タイミング)を調整する。これにより、表示部40は、画像信号D[m]を生成するための画像処理の完了を待って、画像信号D[m]が生成されると、ただちに(水平走査期間Hd以下の時間内に)、当該画像信号D[m]の示す画像を表示することができる。すなわち、時刻Tth以降は、無効水平走査期間Hd-Dの挿入により、画像信号出力部23からの画像信号D[m](DGB[m])の出力タイミングを調整することで、表示部40側の表示タイミングを、画像処理部21における画像処理の完了タイミングに、水平走査期間Hdの精度で追従させる。
図24に示すように、垂直走査期間Fd3において表示部40が画像信号D3[m](DGA3[m])の示す画像を表示可能となる最早の時刻を示す線L3は、垂直走査期間Fs3において出力される撮像信号DS3[p](DGS3[m])に基づいて画像処理部21が画像信号D3[m](DGA3[m])を生成する時刻を示す線L2よりも時間的に先行している。このような、線L3が線L2よりも時間的に先行している状態を、「第3の状態」と称する。換言すれば、時刻Tth以降に開始される垂直走査期間Fs及び垂直走査期間Fdにおける状態が、第3の状態である。
すなわち、第3の状態とは、表示部40において画像信号D[m]の示す画像を表示する準備が完了したときに、画像処理部21が画像信号D[m]を生成するための画像処理を完了していない場合が恒常的に生じているという、状態である。
つまり、第3の状態においては、画像信号D[m]を表示するための表示部40側の準備が完了しても、画像信号D[m]を生成するための画像処理部21における画像処理が間に合っていないという状況が恒常的に生じているため、表示部40における画像の表示が、画像処理部21の画像処理がボトルネックとなって、遅延する状態である。
この、第3の状態における、位相差PD3(第3の状態における位相差PDとして、図24に示すように符号PD3を付する)は、図24に示すように、位相差PD2よりも短くなる。なお、第1の状態における位相差PD1は、画像処理時間UA(より具体的には、画像処理時間UA[1]〜UA[M]の最大値)よりも大きく、第3の状態における位相差PD3は、画像処理時間UA(より具体的には、画像処理時間UA[1]〜UA[M]の最大値)よりも小さい。
なお、第3の状態においても、タイミングジェネレーター32が、垂直有効データ期間DVIに無効水平走査期間Hd-Dを挿入して、表示部40における画像信号D[m]の示す画像の表示タイミングを調整する。これにより、表示部40側の表示タイミングを、画像処理部21における画像処理の完了タイミングに、水平走査期間Hdの精度で追従させることが可能となる。
上述のとおり、画像処理時間UAはライン毎に変動する。しかし、その変動幅は、垂直走査期間Fsに比べれば十分に小さい。このため、画像信号D[m]の出力のタイミング(表示部40側の表示タイミング)を、画像処理部21における画像処理の完了タイミングに追従させている状態においては、撮像部10が撮像信号DS3を出力している期間の時間長と、画像信号出力部23が画像信号DGB3を出力している期間の時間長とは、略同じとなる。換言すれば、第3の状態においては、タイミング制御部30は、表示部40のフレームレートを撮像部10のフレームレートである第1フレームレートとなるように、画像信号D[m]が出力されるタイミングを調整していることになる(第2のタイミング制御)。
なお、図24では、図示の都合上、第3の状態として、1つの垂直走査期間Fs(Fs3)及び1つの垂直走査期間Fd(Fd3)の1組の垂直走査期間しか記載していないが、実際には複数の組の垂直走査期間が存在する。第3の状態では、複数の組の垂直走査期間のそれぞれにおいて、撮像部10が撮像信号DS3を出力している期間の時間長と、画像信号出力部23が画像信号DGB3を出力している期間の時間長とが、略同じととなるように、画像信号D[m]が出力されるタイミングが調整される。すなわち、第3の状態では、複数の組の垂直走査期間のそれぞれにおいて、表示部40のフレームレートが撮像部10のフレームレートである第1フレームレートとなるように、画像信号D[m]が出力されるタイミングが調整される。このため、第3の状態では、複数の組の垂直走査期間のそれぞれにおいて、位相差PD3が略同じ時間長となる。
以下、図24及び図25を参照しつつ、垂直走査期間Fs1において撮像部10が出力する撮像信号DS1(DGS1)と、垂直走査期間Fd1において画像信号生成部20が表示部40に出力する画像信号D1(DGB1)との関係を例にとって、第1の状態について説明する。
図25は、撮像信号DS1[p](撮像信号DGS1[m])と、画像信号D1[m](画像信号DGA1[m]及び画像信号DGB1[m])との関係を説明するためのタイミングチャートである。
なお、図25と、後述する図26及び図27では、簡単のために、撮像信号DSの示す画像のライン数が5ライン(P=5)であり、画像信号Dの示す画像のライン数が4ライン(M=4)である場合を想定する。また、図25乃至図27に示す例では、撮像信号DGS[1]が、撮像信号DS[1]及びDS[2]を含み、撮像信号DGS[2]が、撮像信号DS[2]及びDS[3]を含み、撮像信号DGS[3]が、撮像信号DS[3]及びDS[4]を含み、撮像信号DGS[4]が、撮像信号DS[4]及びDS[5]を含む場合を想定する。すなわち、図25乃至図27に示す例では、画像信号D[1]が、撮像信号DS[1]及びDS[2]に基づいて生成され、画像信号D[2]が、撮像信号DS[2]及びDS[3]に基づいて生成され、画像信号D[3]が、撮像信号DS[3]及びDS[4]に基づいて生成され、画像信号D[4]が、撮像信号DS[4]及びDS[5]に基づいて生成される場合を想定する。また、図25乃至図27に示す例では、線L2及び線L3のクロスは、1回のみ生じる場合を想定する。
図25に示すように、撮像部10から、撮像信号DS1[m]及びDS1[m+1]からなる撮像信号DGS1[m]の出力が開始されると、画像処理部21は、当該撮像信号DGS1[m]に基づいて画像信号DGA1[m]の生成を開始する。そして、画像処理部21は、画像処理の開始から画像処理時間UA1[m]の経過後に画像信号DGA1[m]の生成を完了し、これをラインバッファ22に格納する。
一方、図25に示す例は、上述した第1の状態を例示するものであり、線L2が線L3よりも時間的に先行する。つまり、図25に示す例では、画像処理部21による画像信号DGA1[m]の生成が完了したタイミングでは、表示部40において画像信号DGB1[m]の示す画像を表示する準備ができていない。換言すれば、画像処理部21による画像信号DGA1[m]の生成が完了したタイミングでは、出力制御部31から出力許可パルスPL[m]が出力されていない。
このため、画像信号出力部23は、出力許可パルスPL[m]が出力された後の最初の水平走査期間Hd1[m]まで、待機時間UB1[m]だけ画像信号DGB1[m]の出力を待ち、その後、水平走査期間Hd1[m]において画像信号DGB1[m]を出力する。
また、図25に例示する第1の状態は、画像処理部21による画像処理の完了までに表示部40による表示準備が間に合わない場合である。換言すれば、水平走査期間Hd1[m]が開始されるまでに、画像処理部21による画像信号DGA1[m]の生成が完了し、画像信号出力部23から画像信号DGB1[m]を出力可能な状態となっている。このため、図25に例示する第1の状態では、垂直走査期間Fd1の垂直有効データ期間DVIに含まれる全ての水平走査期間Hdが、有効水平走査期間Hd-Aとなる。すなわち、第1の状態において、垂直走査期間Fdの時間長は、標準垂直走査時間Tdとなる。
このように、図25に例示する第1の状態では、画像信号D1を生成するための画像処理は十分に余裕を持って完了しているものの、表示部40側の表示準備がボトルネックとなって、表示部40における表示が遅延する。
このため、撮像部10が撮像信号DS1を出力してから、表示部40が画像信号D1の示す画像を表示するまでの遅延時間ΔT1は、画像信号生成部20における画像処理に要する時間(画像処理時間UA)と、画像処理の完了後に表示部40における表示準備を待つための時間(待機時間UB)との合計時間となる。
次に、図24及び図26を参照しつつ、垂直走査期間Fs2において撮像部10が出力する撮像信号DS2(DGS2)と、垂直走査期間Fd2において画像信号生成部20が表示部40に出力する画像信号D2(DGB2)との関係を例にとって、第2の状態について説明する。
図26は、撮像信号DS2[p](撮像信号DGS2[m])と、画像信号D2[m](画像信号DGA2[m]及び画像信号DGB2[m])との関係を説明するためのタイミングチャートである。
図26に示すように、撮像部10から、撮像信号DS2[m]及びDS2[m+1]からなる撮像信号DGS2[m]の出力が開始されると、画像処理部21は、当該撮像信号DGS2[m]に基づいて画像信号DGA2[m]の生成を開始する。そして、画像処理部21は、画像処理の開始から画像処理時間UA2[m]の経過後に画像信号DGA2[m]の生成を完了し、これをラインバッファ22に格納する。
なお、図26に示す例では、画像信号D2[1]及びD2[2]が、時刻Tth以前に画像信号出力部23が出力する画像信号D[m]であり、画像信号D2[3]及びD2[4]が、時刻Tth以後に画像信号出力部23が出力する画像信号D[m]である場合を想定している。
時刻Tth以前においては、線L2が線L3よりも時間的に先行する。つまり、時刻Tth以前においては、画像処理部21による画像信号DGA2[m]の生成が完了したタイミングでは、出力制御部31から出力許可パルスPL[m]が出力されていない。
このため、画像信号出力部23は、時刻Tth以前においては、出力許可パルスPL[m]が出力された後の最初の水平走査期間Hd2[m]まで、待機時間UB2[m]だけ画像信号DGB2[m]の出力を待ち、その後、水平走査期間Hd2[m]において画像信号DGB2[m]を出力する。
図26に示す例では、画像信号出力部23は、画像信号DGA2[1]が生成された後、待機時間UB2[1]だけ画像信号DGB2[1]の出力を待ち、その後、水平走査期間Hd2[1]において、画像信号DGB2[1]を出力する。同様に、画像信号出力部23は、画像信号DGA2[2]が生成された後、待機時間UB2[2]だけ画像信号DGB2[2]の出力を待ち、その後、水平走査期間Hd2[2]において、画像信号DGB2[2]を出力する。
一方、時刻Tth以後においては、通常、線L3が線L2よりも時間的に先行する。線L3が線L2よりも時間的に先行する場合、画像処理部21が画像信号DGA2[m]を生成すると、表示部40は、すぐに(直後の水平走査期間Hdにおいて)、当該画像信号DGB2[m]の示す画像を表示することができる。よって、線L3が線L2よりも時間的に先行する場合、画像処理部21による画像信号DGA2[m]の生成が完了したタイミングに、出力制御部31から出力許可パルスPL[m]が出力される。
図26に示す例では、画像信号出力部23は、画像信号DGA2[3]が生成され、出力許可パルスPL[3]が出力された後の最初の水平走査期間Hd2[3]において、画像信号DGB2[3]を出力する。
また、この図に示す例では、画像信号DGA2[4]が生成されるのは、水平走査期間Hd2[4]の開始後である。このため、画像信号出力部23は、画像信号DGA2[4]が生成され、出力許可パルスPL[4]が出力された後の最初の水平走査期間Hd2[5]において、画像信号DGB2[4]を出力する。そして、タイミングジェネレーター32は、水平走査期間Hd2[4]を無効水平走査期間Hd-Dとする。
このように、図26に例示する第2の状態では、時刻Tth以降において、画像処理に起因する表示の遅延が生じるため、垂直走査期間Fd2の垂直有効データ期間DVIには、無効水平走査期間Hd-Dが挿入される。つまり、第2の状態において、垂直走査期間Fdの時間長は、標準垂直走査時間Td及び延長垂直走査時間Texの合計となる。
また、撮像部10が撮像信号DS2を出力してから、表示部40が画像信号D2の示す画像を表示するまでの遅延時間ΔT2は、時刻Tth以前は、画像信号生成部20における画像処理に要する時間(画像処理時間UA)と、表示部40における表示準備を待つための時間(待機時間UB)との合計時間であるが、時刻Tth以後において、線L3が線L2よりも時間的に先行する場合には、画像信号生成部20における画像処理に要する時間(画像処理時間UA)のみとなる。このため、第2の状態に係る遅延時間ΔT2は、第1の状態に係る遅延時間ΔT1よりも短くなる。
次に、図24及び図27を参照しつつ、垂直走査期間Fs3において撮像部10が出力する撮像信号DS3(DGS3)と、垂直走査期間Fd3において画像信号生成部20が表示部40に出力する画像信号D3(DGB3)との関係を例にとって、第3の状態について説明する。
図27は、撮像信号DS3[p](撮像信号DGS3[m])と、画像信号D3[m](画像信号DGA3[m]及び画像信号DGB3[m])との関係を説明するためのタイミングチャートである。
図27に示すように、撮像部10から、撮像信号DS3[m]及びDS3[m+1]からなる撮像信号DGS3[m]の出力が開始されると、画像処理部21は、当該撮像信号DGS3[m]に基づいて画像信号DGA3[m]の生成を開始する。そして、画像処理部21は、画像処理の開始から画像処理時間UA3[m]の経過後に画像信号DGA3[m]の生成を完了し、これをラインバッファ22に格納する。
第3の状態においては、通常、線L3が線L2よりも時間的に先行する。線L3が線L2よりも時間的に先行する場合、画像処理部21が画像信号DGA3[m]を生成すると、表示部40は、すぐに(直後の水平走査期間Hdにおいて)、当該画像信号DGB3[m]の示す画像を表示することができる。よって、この場合、画像処理部21による画像信号DGA3[m]の生成が完了したタイミングに、出力制御部31から出力許可パルスPL[m]が出力される。
具体的には、図27に示す例では、画像信号出力部23は、画像信号DGA3[1]が生成され、出力許可パルスPL[1]が出力された後の最初の水平走査期間Hd3[3]において、画像信号DGB3[1]を出力し、画像信号DGA3[2]が生成され、出力許可パルスPL[2]が出力された後の最初の水平走査期間Hd3[5]において、画像信号DGB3[2]を出力し、画像信号DGA3[3]が生成され、出力許可パルスPL[3]が出力された後の最初の水平走査期間Hd3[7]において、画像信号DGB3[3]を出力し、画像信号DGA3[4]が生成され、出力許可パルスPL[4]が出力された後の最初の水平走査期間Hd3[9]において、画像信号DGB3[4]を出力する。なお、この場合、タイミングジェネレーター32は、水平走査期間Hd3[1]、Hd3[2]、Hd3[4]、Hd3[6]、及び、Hd3[8]を、無効水平走査期間Hd-Dとする。
このように、図27に例示する第3の状態では、画像処理に起因する表示の遅延が生じているため、垂直走査期間Fd3の垂直有効データ期間DVIには、無効水平走査期間Hd-Dが挿入される。この結果、第3の状態では、表示部40が、垂直走査期間Fsに出力される撮像信号DSに同期した表示を行うことができるように、垂直走査期間Fdの時間長が水平走査期間Hdの精度で調整される。つまり、第3の状態では、概略的に見れば、垂直走査期間Fdは、垂直走査期間Fsと略同じ時間となるように調整される。
また、第3の状態では、線L3が線L2よりも時間的に先行する場合、画像処理部21が画像信号D[m]を生成した後の最初の水平走査期間Hdにおいて、表示部40が画像信号D[m]の示す画像を表示する。このため、撮像部10が撮像信号DS3を出力してから、表示部40が画像信号D3の示す画像を表示するまでの遅延時間ΔT3は、画像信号生成部20における画像処理に要する時間(画像処理時間UA)と略同じになる。具体的には、第3の状態では、撮像部10が撮像信号DS[p]の出力を開始してから表示部40が画像信号D[m]の示す画像の表示を開始するまでの遅延時間ΔT3と、画像処理部21が画像信号D[m]の生成に要する画像処理時間UAと、を水平走査期間Hdの精度で等しくする。
このため、第3の状態では、撮像部10による撮像から表示部40による表示までの遅延を、水平走査期間Hdの精度で最小化することができる。この場合、遅延時間ΔT3は、第1の状態に係る遅延時間ΔT1よりも短くなり、且つ、第2の状態に係る遅延時間ΔT2以下となる。
また、上述のとおり、表示部40で1つの画面を表示するために必要な時間(周期)は、撮像部10で1つの画面を撮像するために必要な時間(周期)よりも短い。このため、撮像表示システム1が第1の状態で動作して、表示部40側における表示準備がボトルネックとなる表示の遅延が生じている場合であっても、垂直走査期間Fs毎に当該表示の遅延は縮小する。
つまり、撮像表示システム1は、当初、第1の状態で動作する場合であっても、最終的には第3の状態での動作に移行し、第3の状態での動作が開始された後は、第3の状態での動作を維持することができる。この結果、表示部40側の表示タイミングを、画像処理部21における画像処理の完了タイミングに、水平走査期間Hdの精度で追従させることができる。
このため、撮像表示システム1が動作を開始すると、動作を開始した直後を除き、撮像部10による撮像から表示部40での画像表示までの遅延時間を最小化した状態を維持することができる。
<4.第1実施形態の効果>
以上において説明したように、本実施形態に係る撮像表示システム1では、画像信号D[m]の出力タイミングを調整することで、表示部40側の表示タイミングを、画像処理部21における画像処理の完了タイミングに、水平走査期間Hdの精度で追従させる。
以下、このような撮像表示システム1の利点をより明確化するために、図28に示す、従来例に係る撮像表示システムについて説明する。
図28は、従来の一般的な非同期式表示方式(以下、「従来例」と称する)に係る撮像表示システムにおける、画像信号D[m]の出力タイミングを説明するためのタイミングチャートである。この図に示すように、従来例に係る車両用撮像表示システムでは、垂直走査期間Fdの時間長を固定長として(標準垂直走査時間Tdに固定して)、動作を実行する。
図示のように、従来例では、例えば、垂直走査期間Fsの終了後に開始される垂直走査期間Fdにおいて、垂直走査期間Fsにおいて出力される撮像信号DSに基づいて生成された画像信号DGBの示す画像を表示させる場合を想定している。具体的には、従来例に係る撮像表示装置は、垂直走査期間Fs1に出力される撮像信号DS1に応じた画像を垂直走査期間Fs1よりも後に開始される垂直走査期間Fd2において表示し、垂直走査期間Fs2に出力される撮像信号DS2に応じた画像を垂直走査期間Fs2よりも後に開始される垂直走査期間Fd4において表示し、また、垂直走査期間Fs3に出力される撮像信号DS3に応じた画像を垂直走査期間Fs3よりも後に開始される垂直走査期間Fd5において表示する。また、この図に示す例では、垂直走査期間Fd3は、垂直走査期間Fs2の終了前に開始される。このため、この図に示す例では、垂直走査期間Fd3において、垂直走査期間Fd2で表示した撮像信号DS1に応じた画像(画像信号DGB1の示す画像)を表示することとしている。
このように、図28に例示する従来例に係る車両用撮像表示システムでは、撮像部10が撮像信号DSを出力してから、表示部40が画像信号DGBの示す画像を表示するまでの遅延時間が、垂直走査期間Fd以上の時間長となる。このため、車両Aの外部の危険を瞬間的に察知できないという致命的な問題がある。
さらに、図28に示す例の場合には、垂直走査期間Fd2で表示した画像(画像信号DGB1の示す画像)を、垂直走査期間Fd3で再度表示させている。この場合、各画像の表示時間が、垂直走査期間Fdの単位で変動するため、画面のちらつきとして視認される可能性が生じる。この結果、表示部40の表示品位が大きく劣化することとなる。また、仮に、垂直走査期間Fd3においていかなる画像も表示しない場合には、画像が表示される垂直走査期間Fdと、画像が表示されない垂直走査期間Fdとが存在することとなるため、これが画面のちらつきとして車両Aの運転者に視認される惧れがある。また、図26に示す例では、撮像信号のフレームの開始から画像信号のフレームの開始までの時間である位相差がばらつくため表示遅れが一定とならない。このため、運転者は表示の遅れを習得して予測する事ができない。
これに対して、本実施形態に係る撮像表示システム1では、第1条件及び第2条件が充足された場合に画像信号出力部23から画像信号D[m]を出力し、第1条件又は第2条件が充足されない場合には、無効水平走査期間Hd-Dを挿入することで、画像信号出力部23からの画像信号D[m]の出力タイミングを水平走査期間Hdの精度で調整する。すなわち、本実施形態に係る撮像表示システム1では、画像処理部21が画像信号D[m]を生成した後の最初の水平走査期間Hdにおいて、表示部40が画像信号D[m]の示す画像を表示することができる。これにより、撮像部10による撮像から表示部40による表示までの遅延を、水平走査期間Hdの精度で最小化することができる。よって、撮像から表示までの遅延時間を短縮することにより、車両の安全な運転に有用な車両外部の画像を表示させることが可能となる。
また、本実施形態に係る撮像表示システム1では、垂直有効データ期間DVIに無効水平走査期間Hd-Dを挿入することで、垂直走査期間Fdの時間長を可変とするとともに、垂直走査期間Fsの時間長と略同じとなる状態を維持することができる。このため、表示のちらつき等を抑えた、高品位な表示を実現できる。また、位相差が所定時間よりも大きい場合において、位相差が所定時間以下となるまでは、位相差を段階的に短くすることができ、位相差が所定時間以下に収束した後は当該位相差を維持するため、運転者が予測不可能な遅れが生ずる可能性が低減される。
また、本実施形態によれば、例えば、画像処理の手法の変更等に伴う画像処理時間の変更がある場合や、ライン毎に画像処理時間UAが変動する場合、撮像部10をフレームレートが異なるものに交換する場合、又は、表示部40をフレームレートが異なるものに交換する場合等、撮像部10及び表示部40の位相差、撮像部10のフレームレート、並びに、表示部40で表示可能な最高のフレームレートのうち、一部又は全部が変化する場合であっても、位相差PDを画像処理時間UA以下の長さに自動的に収束させることが可能となる。
<B.第2実施形態>
上述した第1実施形態では、図22に示すように、垂直有効データ期間DVIに無効水平走査期間Hd-Dを挿入することにより、画像信号D[m]の出力タイミングを、水平走査期間Hdの精度で調整し、水平走査期間Hdの時間長は固定長としていた。
これに対して、第2実施形態に係る撮像表示システムでは、水平走査期間Hdの時間長を可変長として、画像信号D[m]の出力タイミングを、例えば表示ドットクロック信号DCLKの周期で調整する点において、第1実施形態に係る撮像表示システム1と相違する。
以下、図29乃至図31を参照しつつ、第2実施形態に係る撮像表示システムについて説明する。なお、以下に例示する第2実施形態において作用や機能が第1実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する(以下で説明する変形例についても同様)。
図29は、第2実施形態に係る撮像表示システムが備えるタイミング制御部30(出力制御部31及びタイミングジェネレーター32)が生成する、出力制御信号CTRと、イネーブル信号DEnbと、表示水平同期信号DHsync2との関係を説明するための説明図である。
第2実施形態に係る撮像表示システムが備えるタイミング制御部30は、タイミングジェネレーター32が、表示水平同期信号DHsyncの代わりに、可変な周期の水平同期パルスPlsHを有する表示水平同期信号DHsync2を生成し、表示垂直同期信号DVsyncの変わりに、可変な周期の垂直同期パルスPlsVを有する表示垂直同期信号DVsync2を生成する点を除き、第1実施形態に係る撮像表示システム1(図22参照)と同様に構成されている。
図29に示すように、第2実施形態に係る出力制御部31は、第1実施形態と同様に、画像処理判定時刻TA[m]及び表示準備判定時刻TB[m]のうち遅い方の時刻(この図では、上述した第2の態様を採用しているため、画像処理判定時刻TA[m])において、出力制御信号CTRに出力許可パルスPL[m]を設定する。
また、図29に示すように、第2実施形態に係るタイミングジェネレーター32は、出力制御部31が出力する出力制御信号CTRに出力許可パルスPL[m]が設定されたタイミングから、固定の時間長である基準フロントポーチ時間TPの経過後に、表示水平同期信号DHsync2として水平同期パルスPlsHを出力する。
このため、表示準備判定時刻TB[m]までに画像信号D[m]の生成が完了し、画像信号生成時刻TC[m]が経過している場合(Case-1)には、水平フロントポーチ期間DHfの時間長は、基準フロントポーチ時間TPとなる。
一方、表示準備判定時刻TB[m]までに画像信号D[m]の生成が完了していない場合、すなわち、表示準備判定時刻TB[m]よりも後に画像信号生成時刻TC[m]が到来する場合(Case-2)には、水平フロントポーチ期間DHfの時間長は、基準フロントポーチ時間TPと、表示準備判定時刻TB[m]から画像信号生成時刻TC[m](画像処理判定時刻TA[m])までの時間長である延長フロントポーチ時間TPXとの合計となる。
このように、第2実施形態に係るタイミングジェネレーター32は、出力制御部31が、画像信号D[m]の出力準備が完了したと判定し、出力制御信号CTRとして出力許可パルスPL[m]を出力するのを待ち、出力許可パルスPL[m]が出力されてから基準フロントポーチ時間TPだけ後に、水平走査期間Hd[m]を開始させる。換言すれば、第2実施形態に係るタイミングジェネレーター32は、画像信号D[m]の出力準備が完了するまで、水平フロントポーチ期間DHfを延長する。
このため、画像信号出力部23は、たとえ画像処理部21における画像信号D[m]の画像処理が遅延した場合であっても、水平走査期間Hd[m]において画像信号D[m]を出力することが可能となる。この場合、撮像部10が撮像信号DGS[m]を出力してから、表示部40が画像信号D[m]に基づく画像を表示するまでの遅延時間は、表示ドットクロック信号DCLKの精度で最小化されることになる。
図30は、表示部40における表示準備がボトルネックとなる表示の遅延が解消されるに至る状態(すなわち、図26で説明した第2の状態)における、第2実施形態に係る撮像表示システムの動作を説明するためのタイミングチャートである。また、図31は、画像処理部21の画像処理がボトルネックとなって表示に遅延が生じている状態(すなわち、図27で説明した第3の状態)における、第2実施形態に係る撮像表示システムの動作を説明するためのタイミングチャートである。なお、図30及び図31では、図24乃至図27で説明した符号を流用する。
図30では、例えば、水平走査期間Hd2[2]におけるイネーブル信号DEnbの立下りのタイミングまでに、画像信号DGA2[3]が生成される。このため、水平走査期間Hd2[2]におけるイネーブル信号DEnbの立下りのタイミングにおいて、出力許可パルスPL[3]が出力される。この場合、水平走査期間Hd2[2]の水平フロントポーチ期間DHfの時間長は、基準フロントポーチ時間TPとなる。
一方、この図に示す例では、画像信号DGA2[4]が生成されるタイミングは、水平走査期間Hd2[3]におけるイネーブル信号DEnbの立下りのタイミングよりも後である。このため、画像信号DGA2[4]が生成されるタイミングにおいて、出力許可パルスPL[4]が出力される。この場合、水平走査期間Hd2[3]の水平フロントポーチ期間DHfの時間長は、基準フロントポーチ時間TPと、延長フロントポーチ時間TPX(水平走査期間Hd2[3]におけるイネーブル信号DEnbの立下りのタイミングから、出力許可パルスPL[4]が出力されまでの時間)との、合計の時間長となる。すなわち、表示部40における表示準備がボトルネックとなる表示の遅延が解消される時刻Tth以降は、画像処理の状況に応じて水平走査期間Hdが延長されることになる。
また、図31では、画像信号DGA3[m]が生成されるタイミングは、水平走査期間Hd3[m-1]におけるイネーブル信号DEnbの立下りのタイミングよりも後である。このため、画像信号DGA3[m]が生成されるタイミングにおいて、出力許可パルスPL[m]が出力される。この場合、水平走査期間Hd3[m]の水平フロントポーチ期間DHfの時間長は、基準フロントポーチ時間TPと、延長フロントポーチ時間TPX(水平走査期間Hd3[m]におけるイネーブル信号DEnbの立下りのタイミングから、出力許可パルスPL[m]が出力されまでの時間)との、合計の時間長となる。すなわち、画像処理部21の画像処理がボトルネックとなって表示に遅延が生じている状態(第3の状態)においては、画像処理の状況に応じて水平走査期間Hdが延長されることになる。
なお、図30及び図31からも明らかなように、第2実施形態においては、無効水平走査期間Hd-Dは存在せず、全ての水平走査期間Hdは有効水平走査期間Hd-Aとなる。
また、第2実施形態では、水平走査期間Hdが例えば表示ドットクロック信号DCLKの単位で可変となるため、垂直走査期間Fdも可変の時間長を有することとなる。
<C.変形例>
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は、相互に矛盾しない範囲内で適宜に併合され得る。なお、以下において説明する変形例では、説明の重複を避けるため、上述した本発明の実施形態との共通点については説明を省略する。
<変形例1>
上述した実施形態では、各表示部40としてHUDを例示したが、本発明はこのような態様に限定されるものではなく、背面投射型のプロジェクターであってもよい。
また、上述した実施形態では、液晶パネル42を備えたピコプロジェクター(本発明の「投射型表示装置」)401と透過型スクリーン402とフィールドレンズ403とコンバイナー404とを備えたHUDを表示部(本発明の「表示システム」)40とするが、これに限られない。投射型表示装置として、液晶プロジェクターの代わりに例えばレーザープロジェクターその他のプロジェクターが採用され得る。また、透過型スクリーン402とフィールドレンズ403とコンバイナー404はHUDに任意の構成であり、周知の代替手段が必要に応じて採用され得る。
<変形例2>
上述した実施形態では、フラッシュROM70に記憶されるマスク画像MDは1種類であるが、例えば車種によって開口部OpL,OpRの形状を別物とする場合等に複数種類の形状に応じたマスク画像を記憶するようにしてもよい。この場合に、マスク画像取得部232は、所定形状の種別を指定する指定情報に応じてフラッシュROM70からマスク画像MDを読み出すことによって、指定された所定形状に応じたマスク画像MDを取得するようにしてもよい。この態様によれば、撮像表示システム1が設置される車両の車種に適したマスク画像を適宜選択し、撮像信号DSに応じた表示画像と合成することが可能となる。なお、この指定情報は、撮像表示システムの製造工程において、インターフェース90を介してメモリ80に記憶させる態様が好適である。
<変形例3>
上述した実施形態及び変形例では、画像処理回路100と表示部40との間のデータ伝送をパラレルインタフェースによって行うが、低電圧差動(LVDS)のシリアルインターフェースやEthernet(登録商標)のリアルインターフェース等によって行うようにしてもよい。
<変形例4>
上述した実施形態及び変形例では、撮像垂直同期信号SVsyncにより規定される垂直走査期間Fsが、表示垂直同期信号DVsync(又はDVsync2)により規定される垂直走査期間Fd以上の時間長を有しているが、本発明はこのような態様に限定されるものではなく、垂直走査期間Fsは、垂直走査期間Fdよりも短い時間長を有していてもよい。
<変形例5>
上述した実施形態及び変形例では、出力制御部31は、画像処理部21が出力する書込完了信号PtAと、画像信号出力部23が出力する出力完了信号PtBと、に基づいて、画像信号D[m]を出力する準備が完了したか否かを判定するが、本発明はこのような態様に限定されるものではなく、出力制御部31がラインバッファ22を周期的に参照することで、ラインバッファ22に画像信号D[m]が記録されていること、及び、ラインバッファ22から画像信号D[m-1]が読み出されたことを判定することにより、画像信号D[m]を出力する準備が完了したか否かを判定してもよい。
<変形例6>
上述した実施形態及び変形例では、ライン毎に画像処理時間UA[m]が変動する場合を例示して説明したが、本発明はこのような態様に限定されるものではなく、画像処理時間UA[m]はライン間で同一であってもよい。
<変形例7>
上述した実施形態では、画像処理部21において、左右方向について車体に近い領域を車体に遠い領域と比較して相対的に拡大する処理(第1処理)と、上下方向について中央の領域を上又は下の領域と比較して相対的に拡大する処理(第2処理)との両方を実行する態様について説明したが、そのいずれか一方を実行してもよい。
また、左右方向について車体に近い領域を車体から遠い領域と比較して相対的に拡大する処理(第1処理)は、車体から遠い領域を縮小する処理又は車体に近い領域を拡大する処理の少なくともいずれかによって実現可能な処理である。すなわち、車体に近い領域を拡大した場合には車体から遠い領域を縮小する処理は必須ではなく、車体から遠い領域を縮小した場合には車体に近い領域を拡大する処理は必須ではない。同様に、上下方向について中央の領域を上又は下の領域と比較して相対的に拡大する処理(第2処理)は、中央の領域を拡大する処理、上の領域を縮小する処理、又は下の領域を縮小する処理のいずれかによって実現可能な処理である。すなわち、中央の領域を拡大した場合には上又は下の領域を拡大する処理は必須ではなく、上又は下の領域を縮小した場合には中央の領域を拡大する処理は必須ではない。
なお、拡大・縮小処理において、各領域LR1〜LR6(図12)や各領域BR1〜BR9(図21)間の比率、区分する領域の個数、さらには、その拡大率や縮小率は適宜変更され得る。
<変形例8>
上述した実施形態では、トリミング処理の後に鏡像生成処理を実行し、その後に水平方向縮小・拡大処理及び垂直方向縮小・拡大処理を実行するが、これに限られず、その実行順は適宜変更され得る。また、上述した実施形態では、トリミング処理においてトリミングしたトリミング領域Tareaの画像を表示領域ADの大きさに合わせていったん拡大した後に、鏡像生成処理、水平方向縮小・拡大処理及び垂直方向縮小・拡大処理を実行するが、トリミングした画像の拡大処理を行うことなく、鏡像生成処理を実行し、その後、水平方向縮小・拡大処理及び垂直方向縮小・拡大処理において、表示領域ADの大きさに合わせるための拡大処理を実行するようにしてもよい。このように構成することにより、画像処理時間を短縮することが可能となる。
<変形例9>
上述した実施形態では、図3において、左側後方領域LRを示す画像が視認される領域、後方領域BRを示す画像が視認される領域、右側後方領域RRを示す画像が視認される領域の例を示したが、これらの領域は本発明の趣旨を損なわない範囲で適宜変更され得る。
1……撮像表示システム、10−1……左側後方領域撮像部(撮像装置)、10−2……中央後方領域撮像部(撮像装置)、10−3……右側後方領域撮像部(撮像装置)、11……撮像光学系、12……イメージセンサー、13……タイミングジェネレーター、20……画像信号生成部、21……画像処理部、218……トリミング処理部、219……リサイズ処理部、220……鏡像生成部、221……水平方向縮小・拡大処理部、222……垂直方向縮小・拡大処理部、230……画像合成部、231……位置調整部、232……マスク画像取得部、22……ラインバッファ、23……画像信号出力部、30……タイミング制御部、31……出力制御部、32……タイミングジェネレーター、33……パラメーター送信部、40−1……左側表示部、40−2……中央表示部、40−3……右側表示部、41……コントローラー、42……液晶パネル、50……制御部、60……操作部、70……フラッシュROM(マスク画像記憶部)、80……メモリ(制御情報記憶部)、90……インターフェース、100−1,100−2,100−3……画像処理回路、MD……マスク画像、MD’……調整済みマスク画像。

Claims (7)

  1. 投射型表示装置から筐体内で出射された表示光を前記筐体に形成された所定形状の開口部より射出する表示システムに用いることが可能な画像処理装置であって、
    前記開口部に至る前記表示光の輝度より、前記開口部の外側に至る前記表示光の輝度が低くなるように、入力信号に基づく表示画像に前記所定形状に応じた画像処理を施して画像信号を生成し、当該画像信号を前記投射型表示装置に出力することによって、前記開口部の外側での前記筐体内部の反射による迷光を抑制する
    ことを特徴とする画像処理装置。
  2. 前記所定形状に応じたマスク画像を取得するマスク画像取得部と、
    入力信号に基づく表示画像と前記マスク画像を合成して、前記画像信号を生成する画像合成部とを、
    備えることを特徴とする請求項1に記載の画像処理装置。
  3. 前記マスク画像の位置を示す制御情報に基づいて前記マスク画像の位置を調整して調整済マスク画像を生成する位置調整部を備え、
    前記画像合成部は、前記マスク画像の代わりに前記調整済マスク画像を用いて前記画像信号を生成する、
    ことを特徴とする請求項2に記載の画像処理装置。
  4. 前記制御情報を記憶する制御情報記憶部を備え、
    前記位置調整部は、前記制御情報記憶部から読み出した前記制御情報を用いて前記マスク画像の位置を調整する、
    ことを特徴とする請求項3に記載の画像処理装置。
  5. 前記所定形状は、複数種類の形状を含み、
    前記複数種類の形状に応じた前記マスク画像を記憶したマスク画像記憶部を備え、
    前記マスク画像取得部は、前記所定形状の種別を指定する指定情報に応じて前記マスク画像記憶部から前記マスク画像を読み出すことによって、前記所定形状に応じた前記マスク画像を取得する、
    ことを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。
  6. 請求項1乃至5のいずれか1項に記載の画像処理装置と、
    前記投射型表示装置と、
    被写体を撮像して得た撮像信号を前記入力信号として前記画像処理装置に出力する撮像装置とを、
    備えたことを特徴とする撮像表示システム。
  7. 前記画像処理装置は、
    前記撮像信号に基づいて、前記投射型表示装置の各ラインで表示すべき画像を示す前記画像信号を生成する生成処理の後、当該画像信号を前記投射型表示装置に出力する画像信号生成部と、
    前記画像信号生成部が前記画像信号を前記投射型表示装置に出力するタイミングを制御するタイミング制御部とを備え、
    前記画像信号生成部に入力される前記撮像信号のフレームの開始から、前記投射型表示装置に出力する前記画像信号のフレームの開始までの時間を位相差とし、前記撮像装置のフレームレートを第1フレームレートとし、前記投射型表示装置で表示可能な最高のフレームレートを第2フレームレートとしたとき、
    前記タイミング制御部は、
    前記位相差が所定時間より長い場合において、前記投射型表示装置のフレームレートが前記第2フレームレートとなるように前記画像信号生成部に前記画像信号を出力させることにより、前記位相差を次第に小さくする第1のタイミング制御と、
    前記位相差が、前記所定時間以下となった後において、前記投射型表示装置のフレームレートが前記第1フレームレートとなるように前記画像信号生成部に前記画像信号を出力させる第2のタイミング制御と、を実行可能である、
    ことを特徴とする請求項6に記載の撮像表示システム。
JP2014163408A 2014-08-11 2014-08-11 画像処理装置及び撮像表示システム Active JP6507518B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014163408A JP6507518B2 (ja) 2014-08-11 2014-08-11 画像処理装置及び撮像表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014163408A JP6507518B2 (ja) 2014-08-11 2014-08-11 画像処理装置及び撮像表示システム

Publications (2)

Publication Number Publication Date
JP2016039587A JP2016039587A (ja) 2016-03-22
JP6507518B2 true JP6507518B2 (ja) 2019-05-08

Family

ID=55530318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014163408A Active JP6507518B2 (ja) 2014-08-11 2014-08-11 画像処理装置及び撮像表示システム

Country Status (1)

Country Link
JP (1) JP6507518B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019123470A (ja) * 2018-01-19 2019-07-25 凸版印刷株式会社 画像表示システム
JP7073817B2 (ja) 2018-03-19 2022-05-24 セイコーエプソン株式会社 投写装置および投写方法
JP2020061646A (ja) * 2018-10-10 2020-04-16 市光工業株式会社 車両用表示装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07281293A (ja) * 1994-04-07 1995-10-27 Mitsubishi Electric Corp プロジェクタ装置
JP2003015215A (ja) * 2001-06-29 2003-01-15 Canon Inc 投射型表示装置、該投射型表示装置を有する画像処理装置
JP3972934B2 (ja) * 2004-01-30 2007-09-05 セイコーエプソン株式会社 照明装置、表示装置および投射型表示装置
JP2006091057A (ja) * 2004-09-21 2006-04-06 Seiko Epson Corp 投射型表示装置
JP2007272113A (ja) * 2006-03-31 2007-10-18 Fujinon Corp 絞り機構、投映型画像表示装置
JP2009116238A (ja) * 2007-11-09 2009-05-28 Seiko Epson Corp 画像表示装置
JP4341723B2 (ja) * 2008-02-22 2009-10-07 パナソニック電工株式会社 光投影装置、照明装置
JP5508788B2 (ja) * 2009-08-28 2014-06-04 日立コンシューマエレクトロニクス株式会社 傾斜投写光学系及びそれを用いた投写型映像表示装置
JP2011015221A (ja) * 2009-07-02 2011-01-20 Olympus Imaging Corp 撮像装置
JP5273087B2 (ja) * 2010-04-14 2013-08-28 株式会社Jvcケンウッド 映像処理装置および映像処理方法
JP5854832B2 (ja) * 2011-12-28 2016-02-09 キヤノン株式会社 撮像装置及び撮像方法
JP6072817B2 (ja) * 2012-11-01 2017-02-01 日立マクセル株式会社 光源装置及び投写型映像表示装置
JP2015060162A (ja) * 2013-09-20 2015-03-30 カシオ計算機株式会社 投影装置及び投影方法と投影処理プログラム
JP6269462B2 (ja) * 2014-03-28 2018-01-31 株式会社Jvcケンウッド 画像表示装置および画像表示調整方法

Also Published As

Publication number Publication date
JP2016039587A (ja) 2016-03-22

Similar Documents

Publication Publication Date Title
JP6582642B2 (ja) 車両用撮像装置、車両用撮像表示システム、及び車両
JP6582644B2 (ja) 撮像装置、撮像表示装置、及び、車両
JP6826174B2 (ja) 表示システムおよび方法
JP3300334B2 (ja) 画像処理装置および監視システム
US20150002642A1 (en) Vehicle visibility improvement system
JP4652947B2 (ja) 画像表示プログラム、画像表示装置および画像表示方法
JP2007171228A (ja) 画像表示システム
WO2014130049A1 (en) Systems and methods for augmented rear-view displays
JP6507518B2 (ja) 画像処理装置及び撮像表示システム
JP5214060B1 (ja) 虚像表示装置
JP6482975B2 (ja) 画像生成装置および画像生成方法
JP5195592B2 (ja) 映像処理装置
KR101964864B1 (ko) 차량의 어라운드 뷰 영상의 왜곡 보정 방법
JP2010137697A (ja) 車両の運転支援装置
EP2983160A1 (en) Projection device, head-up display, control method, program, and storage medium
JP2004007315A (ja) ヘッドマウントディスプレイ装置
JP2019161346A (ja) ヘッドアップディスプレイ装置および表示映像補正方法
WO2018180857A1 (ja) ヘッドアップディスプレイ装置
US10154217B2 (en) Imaging apparatus, image processing apparatus, and imaging display apparatus
JP6365097B2 (ja) 画像処理方法、撮像装置、画像処理装置、及び、撮像表示装置
TWM506429U (zh) 側視行車影像系統
WO2014162504A1 (ja) 投影装置、制御方法及びプログラム、並びに記録媒体
JP5949519B2 (ja) 撮像装置及び画像処理方法
JPWO2019093500A1 (ja) 表示装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180717

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180824

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180912

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20180919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190318

R150 Certificate of patent or registration of utility model

Ref document number: 6507518

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150