JP6507518B2 - 画像処理装置及び撮像表示システム - Google Patents
画像処理装置及び撮像表示システム Download PDFInfo
- Publication number
- JP6507518B2 JP6507518B2 JP2014163408A JP2014163408A JP6507518B2 JP 6507518 B2 JP6507518 B2 JP 6507518B2 JP 2014163408 A JP2014163408 A JP 2014163408A JP 2014163408 A JP2014163408 A JP 2014163408A JP 6507518 B2 JP6507518 B2 JP 6507518B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- image signal
- unit
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Projection Apparatus (AREA)
- Closed-Circuit Television Systems (AREA)
Description
しかしながら、開口部の形状を液晶パネルの形状と相違させると、照射光の全てが開口部を通過するのではなく、筐体の内部の開口部の周辺部分で照射光が反射して迷光が生じ、それが乱射することで本来投影する画像に乱射光が漏れこみ、表示に悪影響を及ぼすおそれがある。
この発明によれば、撮像信号のフレームの開始から画像信号のフレームの開始までの時間である位相差が、所定時間よりも長い場合には、撮像装置よりも高いフレームレートである第2フレームレートで画像信号を出力することで、投射型表示装置のフレーム期間と撮像装置のフレーム期間との差分に相当する期間ずつ位相差を縮小する。そして、位相差が所定時間以下となった後は、投射型表示装置のフレームレートが撮像装置のフレームレートである第1フレームレートとなるようにすることで、画像信号を撮像信号に同期するように出力する。この結果、位相差が所定時間よりも大きい場合において、位相差が所定時間以下となるまでは、位相差を段階的に短くすることができ、位相差が所定時間以下に収束した後は当該位相差を維持することができる。よって、撮像から表示までの遅延時間を短縮することが可能となる。
なお、撮像装置が撮像信号を出力してから、画像信号を生成するまでの時間を画像処理時間としたとき、所定時間は画像処理時間であることが好ましい。
以下、本発明の第1実施形態に係る撮像表示システム1について説明する。
図1は、撮像表示システム1の概略構成を示すブロック図である。この例の撮像表示システム1は、運転者が自動車や電車などの車両を運転する際に、車両の運行を補助するための画像を表示するシステムである。なお、撮像表示システム1の適用は、車両に限定されるものではないことは勿論であり、例えば、デザイン性が要求される商業施設における画像の表示に好適である。
図1に示すように、撮像表示システム1は、左側後方領域撮像部10−1と中央後方領域撮像部10−2と右側後方領域撮像部10−3と、これら各撮像部から出力された各撮像信号DSL,DSC,DSRに対して画像処理を施して画像信号DL,DC,DRをそれぞれ生成する画像処理回路100−1,100−2,100−3と、画像信号DL,DC,DRが示す画像を表示する左側表示部40−1と中央表示部40−2と右側表示部40−3と、を備える。
なお、マスク画像を記憶する記憶装置としては、工場出荷時に書き換え可能なように、フラッシュROM70を採用する。
なお、以下の説明において、左側後方領域撮像部10−1と中央後方領域撮像部10−2と右側後方領域撮像部10−3を「撮像部10」と総称する場合がある。同様に、左側表示部40−1と中央表示部40−2と右側表示部40−3を「表示部40」と総称し、画像処理回路100−1,100−2,100−3を「画像処理回路100」と総称する場合がある。
各左側後方領域撮像部10−1、中央後方領域撮像部10−2、及び右側後方領域撮像部10−3について、車両における配置例を図2に示す。図2に示されるように、左側後方領域撮像部10−1は車両Aの左側フロントAピラー部の外側表面付近(図示の例では従来の左サイドミラーが設けられる位置)に配置され、車両Aの左側後方領域LRを撮像する。右側後方領域撮像部10−3は車両Aの右側フロントAピラー部の外側表面付近(図示の例では従来の右サイドミラーが設けられた位置)に配置され、車両Aの右側後方領域RRを撮像する。中央後方領域撮像部10−2は車両Aの後方端の車両幅方向における中点位置付近(図示の例ではバックウィンドウの下側)に配置され、車両の後方領域BRを撮像する。なお、図示の配置例は一例であり、本発明の趣旨を損なわない範囲で適宜変更され得る。例えば、左側後方領域撮像部10−1及び右側後方領域撮像部10−3を、車両Aの前方の例えばヘッドライト脇に配置する構成を採用してもよい。この場合には、図示の例と比較してより広範囲の後方確認が可能となるため、より安全性が高まる。
つまり、左右後方及び中央後方の画像は運転手が直感的に理解出来るように配置するのが望ましい。このため、左後方の画像(左側後方領域LRについて表示する画像)を運転手正面に対して相対的に左側に配置し、右後方の画像(右側後方領域RRの画像について表示する画像)を運転手正面に対して相対的に右側に配置し、中央後方の画像(後方領域BRについて表示される画像)を左後方の画像と右後方の画像の中間(中点付近)、あるいは中点の上側又は下側に配置する構成が好適である。
図3において、ダッシュボードの中央(運転席正面と助手席正面の中間領域)の液晶パネルは、本実施形態の操作部60である。
本実施形態では、各表示部40は、いわゆるヘッドアップディスプレイ(HUD)で構成される。図4に、左側フロントAピラー部FPに配置される左側表示部40−1の構成例を示す。図4は、左側表示部40−1を運転者の視線方向からみた縦断面図である。図4に示すように、左側表示部40−1は、ピコプロジェクター401Lと透過型スクリーン402Lとフィールドレンズ403Lとコンバイナー(凹面ハーフミラー)404Lを備える。ピコプロジェクター401Lは、入力された画像信号Dに応じた画像を透過型スクリーン402Lに投影して実像を描画する。透過型スクリーン402Lを透過した光はフィールドレンズ403Lで像の方向が調整され、コンバイナー404Lで反射される。このとき、コンバイナー404Lによって反射された光が左側フロントAピラー部の開口部OpLを介して運転者の目に入射すると、運転者からは、左側フロントAピラー部の領域A−1に画像が拡大されて表示されているように見える(すなわち、左側フロントAピラー部の先に拡大画像の虚像が形成される)。右側表示部40−3は、左側表示部40−1と同様の構成を有する。すなわち、右側表示部40−3は、ピコプロジェクター401Cと透過型スクリーン402Cとフィールドレンズ403Cとコンバイナー404Cを備える(いずれも図示略)。ただし、運転者の視線等に応じて、コンバイナー404C等の向きを適宜調整した構成が採用される。
なお、コンバイナー404Lを利用して運転者に虚像を見せる構成の代わりに、開口部OpLに半透明のスクリーンに投影した実像を運転手に見せる構成も採用し得る。好適には、開口部OpLのスクリーンに対して背面(すなわち、開口部OpLの内部)からプロジェクターで実像を投影する構成を採用し得る。
図6に示すように、撮像表示システム1の制御部50は、撮像表示システム1全体の動作を制御する。例えば、制御部50は、例えば電源制御信号を各撮像部10、各画像処理回路100、及び各表示部40に対して与える。また、制御部50はトリミングの位置を指定する運転者からの指示に応じた制御信号C1を画像処理回路100に対して出力するとともに、フラッシュROM70からマスク画像MDを読み出して、画像処理回路100に対して出力する。
左側後方領域撮像部10−1は、被写体の像を結像させる撮像光学系11と、マトリックス状に配列された受光素子(撮像素子)からの信号を線順次に走査して被写体の像に応じた撮像信号DSを出力するイメージセンサー12と、イメージセンサー12に対して各種のタイミング信号を出力するタイミングジェネレーター13と、を備える。中央後方領域撮像部10−2及び右側後方領域撮像部10−3も、左側後方領域撮像部10−1と同様の構成を有する。
なお、以降の説明においては、簡易のため、左側後方領域撮像部10−1から出力される撮像信号DSLを撮像信号DSとする。また、各撮像信号DSL,DSC,DSRを特に区別する必要がない限り単に撮像信号DSとして記載する。同様に、画像処理回路100−1から出力される画像信号DLを画像信号Dとし、各画像信号DL,DC,DRを特に区別する必要がない限り単に画像信号Dとして記載する。
垂直走査期間Fsの時間長は一定(固定長)であり、水平走査期間Hsの時間長も一定(固定長)である。また、垂直走査期間Fsは、複数の水平走査期間Hsから構成される。
なお、タイミングジェネレーター13は、撮像垂直同期信号SVsync、撮像水平同期信号SHsync、及び、撮像ドットクロック信号SCLKを、画像処理回路100に対して出力するものであってもよい。
左側表示部40−1は、左側後方領域撮像部10−1が撮像する左側後方領域LRにおける被写体を示す画像を表示して車両Aの運転者に車両外部の様子を把握させるための装置であり、その構造は図4を参照して既に説明したとおりである。そのうち、ピコプロジェクター401Lは、光源(図示略)と液晶パネル42と投射光学系(図示略)と、液晶パネル42の動作を制御するコントローラー41と、を備える。光源は例えばLED(Light Emitting Diode)やレーザーダイオードを備え、液晶パネル42に向けて白色光を照射する。投射光学系は液晶パネル42を透過した光を投射する、例えば凸型レンズ等である。なお、図6では、左側表示部40−1の主要な機能としてコントローラー41と液晶パネル42を表示している。
中央表示部40−2及び右側表示部40−3も左側表示部40−1と同様の構成を有する。
図7に示すように、液晶パネル42には、表示領域ADにおいて、複数の画素がX軸方向にN列、Y軸方向にM行(Mライン)となるようにマトリックス状に配列されている。換言すれば、表示領域ADは、X軸方向に配列されたN個の画素からなるラインが、Y軸方向にM行並ぶように構成されている。当該表示領域ADには、画像処理回路100が生成する画像信号Dに応じた画像が表示される。
図6に示すように、画像処理回路100−1は、撮像信号DSに基づいて画像信号Dを生成し、生成した画像信号Dを左側表示部40−1に対して出力する画像信号生成部20と、画像信号生成部20が画像信号Dを出力するタイミングを制御するタイミング制御部30と、を備える。画像処理回路100−2及び100−3の構成は、画像処理回路100−1と同様であるので、以下においては、画像処理回路100−1を、画像処理回路100として説明する。
画像信号生成部20は、撮像信号DSに対して画像処理を施して画像信号Dを生成する画像処理部21と、画像処理部21が生成した画像信号Dを一時的に記憶するVRAM/ラインバッファ22(以下、「ラインバッファ22」と称する)と、ラインバッファ22から画像信号Dを取得して、取得した画像信号Dを表示部40に対して出力する画像信号出力部23と、を備える。
画像処理部21は、液晶パネル42の表示領域ADで表示すべき画像を示す画像信号Dを、1ライン分の画素で表示すべき画像毎に生成する。より具体的には、画像処理部21は、画像信号D[1]、画像信号D[2]、…、画像信号D[M]の順番で、画像信号Dを生成する。
この図に示すように、画像処理部21は、イメージセンサー12から出力される撮像信号DSを一時的に格納するラインバッファ211と、ラインバッファ211に格納された撮像信号DSに対して補間処理を行う画素補間処理部212と、補間された撮像信号DSに対して色再現処理を行う色再現処理部213と、色再現された撮像信号DSに対してフィルタ処理を行うフィルタ処理部214と、フィルタ処理された撮像信号DSに対してガンマ補正を施すガンマ補正部215と、ガンマ補正された撮像信号DSを一時的に格納するラインバッファ216とを備える。さらに、画像処理部21は、ラインバッファ216に格納された撮像信号DSが示す画像を表示領域ADの備える画素数の画像信号DRSに変換する歪曲収差補正部217と、歪曲補正処理後の画像信号DRSのうち運転者が指定した位置に応じた領域をトリミングするトリミング処理を画像信号DRSに対して施すトリミング処理部218と、トリミング処理後の画像を表示領域ADの備える画素数に応じた画像に拡大するリサイズ処理部219とを備える。
また、画像処理部21は、さらに、画像信号Dの左右を反転する鏡像生成部220と、トリミング処理が施された後の画像信号Dをラインごとに水平方向に縮小及び拡大する水平方向縮小・拡大処理部221と、水平方向縮小・拡大処理が施された画像信号Dをラインごとに垂直方向に縮小又は拡大する垂直方向縮小・拡大処理部222とを備える。
上述のとおり、撮像信号DSの示す画像の画素数と、画像信号Dの示す画像の画素数(表示領域ADの画素数)とは異なる。このため、歪曲収差補正部217では、撮像信号DSを、表示領域ADの画素数に対応した画像信号DRSに変換する歪曲補正処理を実行する。
以下、図10を参照しつつ、歪曲補正処理について説明する。なお、図10では、撮像信号DSの示す画像のライン数が16ライン(P=16)であり、画像信号DRSの示す画像のライン数が12ライン(M=12)である場合を想定している。
すなわち、図10(A)は、表示領域ADに表示すべき画像が四角形SQであるのにもかかわらず、撮像信号DSが、樽型収差によって四角形SQが膨張した閉曲線CV1を示す場合を表す。また、図10(B)は、表示領域ADに表示すべき画像が四角形SQであるのにもかかわらず、撮像信号DSが、糸巻型収差によって四角形SQが収縮した閉曲線CV2を示す場合を表す。
これらの場合、歪曲収差補正部217は、補正前の画像における画素と補正後の画像における画素とを対応付け、補正後の画素に対応する補正前の画素を中心画素とし、中心画素とその周辺の画素である周辺画素とを含む参照領域内の画素の各々で表示する階調に基づいて、補正後の画素の表示すべき階調を決定する。
同様に、歪曲収差補正部217は、図10(C)又は(D)に示す、補正後の画素PxS2の階調を決定する場合、図10(A)又は(B)に示す、補正前の画素PxC2を中心画素と定める。そして、歪曲収差補正部217は、中心画素である画素PxC2を含む参照領域Area2内の各画素で表示すべき階調に基づいて、画素PxS2で表示すべき階調を定める。
よって、歪曲収差補正部217が画像信号D[m]を生成する場合に必要となる撮像信号DSのライン数は、画像信号D[m]に対応するラインの位置(mの値)により変動する。このため、歪曲収差補正部217が歪曲補正処理に要する時間長は、ラインの位置により変動することになる。
このとき、例えば、図10に示す例では、歪曲収差補正部217が、第1行のラインに対応する画像信号D[1]を生成するためには、第1行〜第5行のラインに対応する撮像信号DS[1]〜DS[5]が必要となる。これに対して、歪曲収差補正部217が、第7行のラインに対応する画像信号D[7]を生成するためには、第8行〜第10行のラインに対応する撮像信号DS[8]〜DS[10]が必要となる。つまり、歪曲収差補正部217が、画像信号D[1]を生成するために要する時間長は、画像信号D[7]を生成するために要する時間長よりも長くなる。
例えば、図10に示す例では、画像信号D[1]を生成するために必要となる撮像信号DGS[1]は、撮像信号DS[1]〜DS[5]の5ライン分の撮像信号DS[p]であり、画像信号D[7]を生成するために必要となる撮像信号DGS[7]は、撮像信号DS[8]〜DS[10]の3ライン分の撮像信号DS[p]であり、画像信号D[12]を生成するために必要となる撮像信号DGS[12]は、撮像信号DS[12]〜DS[16]の5ライン分の撮像信号DS[p]である。
従来のサイドミラーでは、運転者が運転席脇に設けられた操作レバーやボタン等により鏡の上下左右の向きを任意の方向に設定して鏡に映る領域を変更できる。同様の領域変更を可能とするために、本実施形態では、車両Aの運転者が、タッチパネル(操作部60)から、歪曲補正処理が施された画像信号DRSの示す画像の一部の領域をトリミングする処理について、トリミングの位置を指定する指示を入力することができるように構成している。
制御部50は、運転者によって左上頂点TRと右上頂点TLの位置が確定入力されると、これらの位置を指定する制御信号C1を生成して画像処理部21に供給する。トリミング処理部218は、制御信号C1で指定される左上頂点TRの位置と右上頂点TLの位置をそれぞれ左上頂点及び右上頂点とし、且つ、表示領域ADの縦横比に応じたトリミング領域Tareaを決定し、画像信号DRSの示す画像のうち、トリミング領域Tareaをトリミングするトリミング処理を実行する。
なお、リサイズ処理部219は任意の構成である。すなわち、歪曲補正処理によって、W行×Z列(WはM<W<Pとなる自然数、ZはN<Z<Qとなる自然数)の画像を生成し、当該画像からM行×N列の画像を切り出すトリミング処理を施してもよい。この場合は、トリミング領域TareaがM行×N列となるのでリサイズ処理が不要となり、画像の品質を向上させることができる。
図11Cは、鏡像生成部220が実行する左右反転処理によって生成された画像の一例を示す。車両の運転者は、従来型のサイドミラーやバックミラーに映る鏡像を見て車両の後方及び後側方の安全確認を行う。ところが、左側後方領域撮像部10−1から出力される撮像信号DSはカメラを後ろ向きにして被写体を撮影したものであるので、イメージセンサー12によって出力される画像の向きは従来型のサイドミラーやバックミラーに映る鏡像とは左右が逆である。このため、鏡像生成部220では、トリミング処理部218から出力された画像信号DTの示す画像(図11B)を左右反転させて、鏡面画像である画像信号DF(図11C)を生成する左右反転処理を行う。この左右反転処理によれば、従来のサイドミラーやフェンダーミラー等に映る鏡像と左右が同じ方向の画像による安全確認が可能となるので、従来とは左右が逆の画像が映ることで運転者を混乱させてしまうおそれがなくなる。
次に、本実施形態に係る画像の拡大・縮小処理について説明する。概略すると、拡大・縮小処理は、左側表示部40−1に表示される画像(左側フロントAピラー部の領域A−1で視認される画像)については車両Aに近い画像右側を拡大し、車両Aよりも遠方の画像左側は縮小する処理を行う(例えば、図12K)。右側表示部40−3に表示される画像(右側フロントAピラー部の領域A−3で視認される画像)については車両Aに近い画像左側を拡大し、車両Aよりも遠方の画像右側は縮小する処理を行う(図20D)。中央表示部40−2に表示される画像(フロントガラス下部の帯状の領域A−2で視認される画像)については、画像の中央を拡大し、車両Aよりも遠方の画像左側及び右側については縮小する処理を行う(図21)。
水平方向縮小・拡大処理部221では、鏡像生成部220から出力された画像信号DFに対して、左右方向について車体に近い領域を車体から遠い領域と比較して相対的に拡大する処理(第1処理)を実行する。具体的には、各領域LR1〜LR6の画像に対して、設定された拡大率H1又は縮小率H2に応じた変倍処理を実行する。この変倍処理はラインごとに実行される処理である。例えば1ラインにおける画素数を800個(すなわち800列)とした場合、左上領域LR1、左中央領域LR2、左下領域LR3に属する第1列から第320列までの画素を縮小率H2(25%)で縮小する処理を行う。すなわち、画素数を320個から80個に縮小する処理を行う。この縮小処理には、例えば隣接する所定数の画素ついて受光素子が出力する検出信号の示す値を相加平均するなど周知の方法が任意に採用される。また、中央上領域LR4、中央領域LR5、中央下領域LR6に属する第321列から第800列までの画素を拡大率H1(150%)で拡大する処理を行う。すなわち、画素数を480個から720個に増加する処理を行う。この拡大処理には最近傍補間など周知の方法が任意に採用される。すべてのラインについて第1処理が施されると、各領域LR1〜LR6の画像の大きさの比率が図12Bに示すように変更された画像(画像信号DH1が示す画像)が生成される。
図12Dは、第1処理及び第2処理を経た画像信号DH2が示す画像の一例である。図示のように、左右方向において車体に近く上下方向において中央の領域が他の領域と比較して相対的に拡大された画像が生成される。
この例によれば、水平方向縮小・拡大処理部221が実行した水平方向縮小・拡大処理後の画像(画像信号DH1が示す画像)は図12Eに示すようなものとなる。また、垂直方向縮小・拡大処理部222が実行した垂直方向縮小・拡大処理後の画像(画像信号DH2が示す画像)は図12Fに示すようなものとなる。
この例によれば、水平方向縮小・拡大処理部221が実行した水平方向縮小・拡大処理後の画像(画像信号DH1が示す画像)は図12Hに示すようなものとなる。また、垂直方向縮小・拡大処理部222が実行した垂直方向縮小・拡大処理後の画像(画像信号DH1が示す画像)は図12Iに示すようなものとなる。
図12Jは、変倍率変更処理を説明するための概念図である。図示の例では、運転者が、左上領域LR1の右下頂点である点P1又は左上領域LR1の右上頂点である点P2を移動させることにより、水平方向変倍率(H1,H2)及び垂直方向変倍率(V1,V2,V3)を変更(入力)可能である。移動させる方法は公知の方法を任意に採用可能であるが、本実施例では、タッチパネル(操作部60)上において、運転者が点P1又は点P2にタッチした状態で表示領域ADの内側方向又は外側方向に向けて点P1又は点P2を移動させる操作(いわゆる「ドラッグ操作」)によって、水平方向変倍率(H1,H2)及び垂直方向変倍率(V1,V2,V3)を変更する。
ドラッグ操作によらず、他の公知の入力手段により変倍率を数値で入力する方法を採用する場合には、例えば、タッチパネルに表示されたテンキーから拡大率又は縮小率を入力する構成が例示される。
以下、マスク処理の第1態様について説明する。図9に示されるように、画像処理部21は、さらに、フラッシュROM70からマスク画像MDを取得するマスク画像取得部232と、取得したマスク画像MDを画像信号DH2に合成して画像信号Dを生成する画像合成部230とを有する。
なお、図示の例では、所定形状(透過領域ATの形状)が楕円形であるが、これに限られず自由に設計可能である。例えば、ハート形やひし形等の形状も採用し得る。
一方、本実施形態ではデザイン性を高める観点から、左右サイドミラー用の画像を表示する各開口部OpL,OpRは左右の各フロントAピラー部FPに楕円状に形成されている(図19)。しかしながら、各開口部OpL,OpRを楕円状(所定形状)に形成した場合、ピコプロジェクター401L,401Rからの照射光は矩形の画像である画像信号DH2に相当するため、各開口部OpL,OpRの外側に至った照射光が反射して迷光が生じ、それが乱射することで本来投影する画像に乱射光が漏れこんで表示に悪影響を及ぼすという問題がある。
なお、この例のマスク画像MDは、非透過領域ANTにおいて「0」としたが、開口部OpL,OpRの外側に至る照射光の輝度を、開口部OpL,OpRの内側に至る照射光の輝度よりも低くできるのであれば、どのように設定してもよいが、開口部OpL,OpRの外側に照射光が至ったときに迷光が生じない程度に設定されることが好ましい。このため、黒色に近い輝度であることが好ましい。例えば、開口部OpL,OpRの外側に至る照射光の輝度をLD1、開口部OpL,OpRの内側に至る照射光の輝度をLD2としたとき、LD1/LD2の上限値は、10%であってもよいが、視認性向上の観点から5%であることが好ましい。
上述したように、開口部OpL,OpRの形状に合わせた透過領域ATのマスク画像MDがフラッシュROM70にあらかじめ記憶されている。ところが、車両Aに表示部40を設置する製造過程においてピコプロジェクター401や各種光学系の物理的な位置にズレが生じると、フロントAピラー部FPの開口部OpL,OpRの形状にマスク画像MDの透過領域ATが一致しない場合がある。
マスク処理の第2態様は、そのような場合に、マスク画像MDの位置を調整可能とするものである。
図14に示すように、画像処理部21Aは、マスク画像MDの位置を指定する制御情報CRIを記憶する書き換え可能な不揮発性のメモリ(制御情報記憶部)80と、制御情報CRIに基づいてマスク画像MDの位置を調整して調整済みマスク画像MD’を生成する位置調整部231とを備える。なお、メモリ80は画像処理部21の外部に配置されてもよい。
この場合、画像合成部230は、マスク画像MDの代わりに調整済みマスク画像MD’を用いて画像信号DH2にマスク処理を施して画像信号Dを生成する。
制御情報CRIは、マスク画像MDにおける透過領域ATの位置を指定する情報であり、例えば、X方向にずらす画素数と、Y方向にずらす画素数との組からなる。図15は、位置調整部231による処理を説明するための説明図である。制御情報CRIが(x1、y1)である場合、位置調整部231は、図15に示すように、透過領域ATをX方向にx1画素だけずらし、Y方向にy1画素だけずらして調整済みマスク画像MD’を生成する。
この構成によれば、物理的なアライメント調整が不要となるため、例えば開口部OpL,OpRの外側の領域に暗色マスク等を物理的に配置して照射光の反射による迷光を抑制する構成と比較して、製造過程における手間が軽減される。
<3.画像信号の出力>
なお、以下では、説明の都合上区別が必要な場合には、画像処理部21が生成してラインバッファ22に格納する画像信号Dを画像信号DGAと称し、画像信号出力部23がラインバッファ22から取得して表示部40に出力する画像信号Dを画像信号DGBと称する。また、画像処理部21がラインバッファ22に格納する画像信号DGAのうち、表示領域ADの第m行のラインで表示すべき画像を示す画像信号DGAを画像信号DGA[m]と称し、画像信号出力部23が表示部40に出力する画像信号DGBのうち、表示領域ADの第m行のラインで表示すべき画像を示す画像信号DGBを画像信号DGB[m]と称する。
詳細は後述するが、画像信号出力部23は、表示部40に対して、画像信号DGB[m]を出力する代わりに、無効信号Dmyを出力する場合がある(図16参照)。この場合は、画像信号出力部23は、出力完了信号PtBを出力しない。
ここで、「画像信号D[m](画像信号DGB[m])を出力する準備が完了した」とは、以下の第1条件及び第2条件を充足したことをいう。
(第1条件) 画像処理部21が、第m行の画像信号D[m](画像信号DGB[m])の画像処理を完了していること。
(第2条件) 画像信号出力部23が、第m-1行の画像信号D[m-1](画像信号DGB[m-1])の出力を完了したこと。
本明細書では、出力制御部31が判定の対象とする画像信号D[m]が示す画像を表示する表示領域ADのラインを、「表示対象ライン」と称する場合がある。
(第3条件) 画像信号出力部23が第m行の画像信号D[m](画像信号DGB[m])を出力するタイミングが、表示領域ADが画像を表示可能な期間(図16で後述する水平有効データ期間DHI)に含まれること。
しかし、上述した第1条件及び第2条件が充足されている場合、画像信号出力部23からの画像信号D[m](画像信号DGB[m])の出力タイミングをタイミングジェネレーター32が制御することにより第3条件は必然的に充足される。このため、本実施形態では、出力制御部31における判定において第3条件を考慮しない。
具体的には、出力制御部31は、画像処理部21が書込完了信号PtAを出力すると、書込完了信号PtAの示すライン番号maが「m≦ma」を満たすか否かを判定し(第1の判定を実行し)、画像信号出力部23が出力完了信号PtBを出力すると、出力完了信号PtBの示すライン番号mbが「mb=m-1」を満たすか否かを判定し(第2の判定を実行し)、第1の判定の判定結果と、第2の判定の判定結果の両方が肯定である場合に、「画像信号D[m]を出力する準備が完了した」と判定する。
この場合、出力制御部31は、第1の判定を実行することにより、表示対象ラインで表示すべき画像に対応する画像信号を生成したか否かを判定する「処理状況判定部」として機能し、第2の判定を実行することにより、表示対象ラインにおける画像の表示が可能であるか否かを判定する「表示判定部」として機能する。
なお、出力制御部31は、第1の判定の判定結果、又は、第2の判定の判定結果が否定である場合、第1の判定の判定結果と、第2の判定の判定結果の両方が肯定となるまで、第1の判定及び第2の判定を繰り返す。具体的には、出力制御部31は、例えば、第1の判定及び第2の判定の両方の判定結果が肯定となるまで、画像処理部21から書込完了信号PtAが出力される毎に第1の判定を実行し、また、画像信号出力部23から出力完了信号PtBが出力される毎に第2の判定を実行すればよい。また、例えば、出力制御部31は、第1の判定及び第2の判定の両方の判定結果が肯定となるまで、後述する水平走査期間Hdの周期で、第1の判定及び第2の判定を繰り返してもよい。そして、第1の判定の判定結果と、第2の判定の判定結果の両方が肯定となったときに、出力制御信号CTRを、判定結果が肯定であることを示す値に設定する。
この態様において、出力制御部31は、第1の判定の判定結果が否定である場合、第1の判定の判定結果が肯定となるまで第1の判定を繰り返し、第1の判定の判定結果が肯定となったときに、出力制御信号CTRを、判定結果が肯定であることを示す値に設定する。具体的には、出力制御部31は、例えば、出力完了信号PtBが出力されたタイミングで第1の判定の判定結果が否定である場合には、その後、画像処理部21が書込完了信号PtAを出力する毎に、当該書込完了信号PtAの示すライン番号maが「m≦ma」を満たすか否かを判定し、「m≦ma」を満たしたときに、第1条件が充足されたと判定すればよい。
このため、第2の態様において、出力制御部31は、画像信号出力部23からの出力完了信号PtBの出力をもって第2条件が充足されたと見做す。そして、出力制御部31は、画像信号出力部23から出力完了信号PtBが出力されたタイミングにおいて第1条件が充足されているか否かの判定(第1の判定)を実行することで、「画像信号D[m](画像信号DGB[m])の出力準備が完了した」か否かの判定を行う。
なお、表示垂直同期信号DVsyncの有する波形のうち、垂直走査期間Fdの開始及び終了のタイミングを規定するパルス状の波形を、垂直同期パルスPlsVと称する。また、表示水平同期信号DHsyncの有する波形のうち、水平走査期間Hdの開始及び終了のタイミングを規定するパルス状の波形を、水平同期パルスPlsHと称する。
垂直同期期間DVpは、表示垂直同期信号DVsyncがアクティブ(この図の例ではローレベル)である期間であり、垂直走査期間Fdが開始されるのと同時に開始される、予め定められた時間長を有する期間である。垂直バックポーチ期間DVbは、垂直同期期間DVpに後続する期間であり、予め定められた時間長を有する期間である。垂直有効データ期間DVIは、垂直バックポーチ期間DVbに後続する、可変な時間長の期間である。当該垂直有効データ期間DVIにおいて、画像信号出力部23から画像信号DGB(画像信号DGB[1]〜DGB[M])が出力される。垂直フロントポーチ期間DVfは、垂直有効データ期間DVIに後続する期間であり、垂直走査期間Fdの終了と同時に終了する、予め定められた時間長を有する期間である。
垂直有効データ期間DVIは、各垂直走査期間Fdにおいてイネーブル信号DEnbが最初にアクティブとなる水平走査期間Hdの開始からイネーブル信号DEnbがM回目にアクティブとなる水平走査期間Hdの終了までの期間である(イネーブル信号DEnbがアクティブとなる場合については、後述する)。
当該垂直有効データ期間DVIは、例えば、イネーブル信号DEnbがアクティブとなる回数をカウントするカウンタ(図示省略)が出力するカウント値に基づいて定めればよい。但し、本実施形態では、説明の便宜上、各垂直走査期間Fdにおいてイネーブル信号DEnbが最初にアクティブとなる水平走査期間Hdの開始からイネーブル信号DEnbがM回目にアクティブとなる水平走査期間Hdの終了までの期間においてアクティブ(この図の例ではハイレベル)となる垂直有効データ信号DVactiveを導入する。すなわち、本実施形態では、垂直有効データ信号DVactiveがアクティブである期間を垂直有効データ期間DVIとして説明する。なお、この垂直有効データ信号DVactiveは、説明の便宜上導入した信号であり、出力制御部31は、この垂直有効データ信号DVactiveを出力しないものであってもよい。
水平同期期間DHpは、表示水平同期信号DHsyncがアクティブ(この図の例ではローレベル)である期間であり、水平走査期間Hdが開始されるのと同時に開始される、予め定められた時間長を有する期間である。水平バックポーチ期間DHbは、水平同期期間DHpに後続する期間であり、予め定められた時間長を有する期間である。水平有効データ期間DHIは、水平バックポーチ期間DHbに後続する、予め定められた時間長を有する期間である。水平フロントポーチ期間DHfは、水平有効データ期間DHIに後続する期間であり、水平走査期間Hdの終了と同時に終了する、予め定められた時間長を有する期間である。
図16(C)は、水平走査期間Hdが有効水平走査期間Hd-Aである場合を例示している。この図に示すように、イネーブル信号DEnbは、水平走査期間Hdが有効水平走査期間Hd-Aである場合には、水平有効データ期間DHIにおいてアクティブ(この図の例ではハイレベル)となる。そして、イネーブル信号DEnbがアクティブとなる水平有効データ期間DHIにおいて、画像信号出力部23から画像信号D[m](画像信号DGB[m])が出力される。一方、イネーブル信号DEnbは、有効水平走査期間Hd-Aのうち、水平有効データ期間DHI以外の期間(水平同期期間DHp、水平バックポーチ期間DHb、水平フロントポーチ期間DHf)において、非アクティブとなる。画像信号出力部23は、有効水平走査期間Hd-Aのうち、イネーブル信号DEnbが非アクティブとなる、水平有効データ期間DHI以外の期間において、画像信号D[m](画像信号DGB[m])の出力を停止して、無効ライン信号DGB-dmyを出力する。
上述した第3条件は、タイミングジェネレーター32が水平有効データ期間DHIにおいてイネーブル信号DEnbをアクティブとすることで充足される。すなわち、出力制御部31及びタイミングジェネレーター32を備えるタイミング制御部30は、上述した第1条件〜第3条件の全てが充足されたタイミングで、表示対象ラインに対応する画像信号D[m](画像信号DGB[m])を画像信号出力部23から出力させる。
なお、タイミングジェネレーター32は、出力制御部31が出力する出力制御信号CTRに基づいて、水平走査期間Hdを有効水平走査期間Hd-A又は無効水平走査期間Hd-Dのいずれにするか、換言すれば、水平有効データ期間DHIにおいてイネーブル信号DEnbをアクティブとするか否かを決定する。この、出力制御信号CTR、イネーブル信号DEnb、及び、水平走査期間Hdの種類の関係については、後述する。
この図に示すように、表示領域ADの有する第1行のラインから第M行のラインに至るM行×N列の画素は、垂直走査期間Fdのうち、垂直有効データ信号DVactiveがアクティブとなる垂直有効データ期間DVIにおいて、画像信号D[1]〜D[M]の示す1画面分の画像を表示する。
また、表示領域ADのうち第m行のラインを構成するN個の画素は、水平走査期間Hd(有効水平走査期間Hd-A)のうち、イネーブル信号DEnbがアクティブとなる水平有効データ期間DHIにおいて、画像信号D[m]の示す画像を表示する。
なお、垂直有効データ期間DVIは、当該垂直有効データ期間DVIに含まれる無効水平走査期間Hd-Dの個数によって延長されるが、この図では、垂直有効データ期間DVIに含まれる水平走査期間Hdは全て有効水平走査期間Hd-Aである場合を想定している。
図18は、左側表示部40−1の構成を示すブロック図である。上述のとおり、左側表示部40−1は、液晶パネル42の動作を制御するコントローラー41と、画像信号Dに応じた画像を表示するための液晶パネル42と、を備える。
液晶パネル42には、上述のとおり、画像信号Dに応じた画像を表示するための表示領域ADが設けられている。表示領域ADは、図17においてX軸方向に延在するM行の走査線と、Y軸方向に延在するN列のデータ線と、走査線及びデータ線の交差に対応しても受けられるM行×N列の画素と、を含んで構成されている。また、液晶パネル42は、走査線を選択するための走査線駆動回路421と、データ線を駆動するためのデータ線駆動回路422と、を備える。
なお、本実施形態において、各画像処理回路100(画像信号生成部20、及び、タイミング制御部30)とコントローラー41との間のデータ伝送は、パラレルインタフェース(図示省略)又は高速シリアルインターフェースによって行う。
設定パラメーターPRMとしては、例えば、水平走査期間Hdの時間長(又は、水平走査期間Hdに含まれる表示ドットクロック信号DCLKのクロック数。以下、表示ドットクロック信号DCLKのクロック数を、単に「クロック数」と称する)、水平有効データ期間DHIの時間長(又は、表示領域ADにおけるX軸方向の画素数(N))、水平同期期間DHpの時間長(又は、クロック数)、水平バックポーチ期間DHbの時間長(又は、クロック数)、水平フロントポーチ期間DHfの時間長(又は、クロック数)、垂直有効データ期間DVIに無効水平走査期間Hd-Dが含まれない場合の垂直有効データ期間DVIの時間長(又は、表示領域ADにおけるY軸方向のライン数(M)。すなわち、垂直有効データ期間DVIに含まれる有効水平走査期間Hd-Aの個数)、垂直同期期間DVpの時間長(又は、クロック数)、垂直バックポーチ期間DVbの時間長(又は、クロック数)、垂直フロントポーチ期間DVfの時間長(又は、クロック数)、等を含むものであればよい。
本実施形態に係る撮像表示システム1では、画像処理回路100から、液晶パネル42の仕様に応じたコントローラー41の動作タイミングを設定できるので、液晶パネル42のサイズを変更する場合や、フレームレート等の液晶パネル42の仕様を変更する場合であっても、コントローラー41を変更する必要がない。このため、システムの汎用性を向上させることが可能となる。
データ入力部411は、イネーブル信号DEnbがアクティブとなると、当該イネーブル信号DEnbがアクティブの間に表示ドットクロック信号DCLKに同期して画像信号出力部23から供給される1ライン分の画像信号D[m]を取り込み、取り込んだ画像信号D[m]をデータ出力部414に対して出力する。一方、データ入力部411は、イネーブル信号DEnbが非アクティブの場合、画像信号出力部23から供給される無効信号Dmyを取り込まずに破棄する。
カウンター412は、イネーブル信号DEnbの立ち上がりエッジをカウントし、カウント結果を示すカウント値Cntを、タイミング生成部413に対して出力する。また、カウンター412は、表示垂直同期信号DVsyncがアクティブになり、表示垂直同期信号DVsyncとして垂直同期パルスPlsVが供給されると、カウント値Cntを「0」にリセットする。このため、カウンター412は、各垂直走査期間Fdに含まれる有効水平走査期間Hd-Aの個数をカウントすることができる。すなわち、カウント値Cntは、データ入力部411が第m行のラインで表示すべき画像を指定する画像信号D[m]を取り込む場合には、当該画像信号D[m]に対応するライン番号(m)を示す。
上述のとおり、タイミング生成部413は、画像処理回路100から設定パラメーターPRMが供給されると、供給された設定パラメーターPRMをレジスタ415に設定する。
このように、コントローラー41は、画像信号出力部23から供給された画像信号Dの示す画像(すなわち画像信号DLの示す画像)を、液晶パネル42の表示領域ADに表示させる。
図20Dに例示するように、右側後方領域撮像部10−3が撮像した撮像信号DSに基づく画像(画像信号DH2の示す画像)は、左右方向において車体に近い領域RRC(図2)が車体から遠い領域RRRよりも拡大され、上下方向においては中央の領域が拡大されている。画像信号DH2は、画像合成部230においてマスク画像MD又は調整済みマスク画像MD’と合成された後に、画像信号DRとして出力される。画像信号DRの示す画像は右側表示部40−3のピコプロジェクター401Rから透過型スクリーン402Rに向けて投射され、コンバイナー404Rによって反射されて、車両Aのフロントガラスの右側にある右側フロントAピラー部において室内側表面付近の領域A−3において運転者に視認されるように表示される。
左側表示部40−1について上述したように、水平方向縮小・拡大処理及び垂直方向縮小・拡大処理において用いる画面の分割比率、垂直方向変倍率、及び水平方向変倍率は任意に設定され得る。
図21は、中央後方領域撮像部10−2が撮像した撮像信号DSCに基づく画像に対して施す拡大・縮小処理の概念図である。図示の例は、撮像信号DSCに対してトリミング処理及び左右反転処理を施した画像信号DFを示す。図示のように、拡大・縮小処理においては、鏡像生成部220から出力された画像信号DIの画像を左上領域BR1、左中央領域BR2、左下領域BR3、中央上領域BR4、中央領域BR5、中央下領域BR6、右上領域BR7、右中央領域BR8、右下領域BR9の9つの領域に区分する。左右方向における左の領域BRL(図2)と中央の領域BRCと右の領域BRRとの長さの比、及び上下方向において、上の領域と、中央の領域と、下の領域との長さの比は任意に定めることができる。図21に示す例では、左右方向を20%、60%、及び20%に分割し、上下方向に20%、60%、及び20%に分割してある。
このようにして生成された画像信号DCの示す画像は中央表示部40−2のピコプロジェクター401Cから透過型スクリーン402Cに向けて投射され、コンバイナー404Cによって反射されて、車両Aのフロントガラス下部における領域A−2において運転者に視認されるように表示される。
上述のとおり、出力制御部31は、画像信号D[m]の出力準備が完了したと判定したとき、つまり、第1条件及び第2条件が充足されたときに、出力制御信号CTRに判定結果が肯定であることを示す値を設定する。具体的には、本実施形態では、出力制御部31は、画像信号D[m]の出力準備が完了したと判定したときに、出力制御信号CTRに一時的にハイレベルに立ち上がるパルス状の波形を設定する。図22に示すように、出力制御信号CTRに設定される画像信号D[m]を出力する準備が完了した旨の判定結果を示す波形を、出力許可パルスPL[m]と称する。
図22に示すように、出力制御部31が画像信号D[m]の出力準備が完了したか否かの判定を行う場合において、出力制御部31が画像信号D[m]の画像処理が完了したと判定(第1条件が充足されたと判定)するタイミング、つまり、第1の判定の結果が肯定となるタイミングを、画像処理判定時刻TA[m]と称する。また、出力制御部31に出力完了信号PtBが供給された(第2条件が充足されたと看做す)タイミングを、表示準備判定時刻TB[m]と称する。また、以下では、説明の便宜上、画像処理部21による画像信号D[m]の生成が実際に完了した時刻を、画像信号生成時刻TC[m]と定義する。つまり、画像信号生成時刻TC[m]は、画像処理部21が書込完了信号PtAを出力する時刻と略同じ時刻である。
なお、本明細書において「略同じ時刻」とは、信号の送受信に起因するタイムラグや、各種処理に起因するタイムラグがある場合において、これらのタイムラグを無視した場合に同一の時刻であると看做すことができる場合を含む概念である。
なお、Case-1の場合、表示準備判定時刻TB[m]の経過後に、出力制御部31が、当該表示準備判定時刻TB[m]までに出力制御部31に供給されている書込完了信号PtAの示すライン番号maが「m≦ma」を満たす旨の判定をし、当該判定をしたタイミングが画像処理判定時刻TA[m]であるため、画像処理判定時刻TA[m]及び表示準備判定時刻TB[m]の間にはタイムラグが存在するが、以下では、簡単のために両時刻を略同じと看做す。
なお、Case-2の場合、画像処理部21が画像信号生成時刻TC[m]に画像信号D[m]の生成を完了させた後に、画像処理部21が書込完了信号PtAを出力し、当該書込完了信号PtAの供給を受けた出力制御部31が「m≦ma」を満たす旨の判定をしたタイミングが画像処理判定時刻TA[m]であるため、画像処理判定時刻TA[m]及び画像信号生成時刻TC[m]の間にはタイムラグが存在するが、以下では、簡単のために両時刻を略同じと看做す。
以下、説明の都合上、画像信号D[m]について、第1条件〜第3条件の全てが充足された時刻を、出力条件充足時刻TJ[m]と称する。
次に、タイミングジェネレーター32は、水平走査期間Hdが開始されるタイミングにおいて内部処理信号ISがアクティブである場合、当該水平走査期間Hdの種別を有効水平走査期間Hd-A[m]に決定(分類)し、当該有効水平走査期間Hd-A[m]の水平有効データ期間DHIが開始されるタイミングでイネーブル信号DEnbをアクティブにする。このイネーブル信号DEnbがアクティブとなるタイミングが、出力条件充足時刻TJ[m]に該当する。
そして、タイミングジェネレーター32は、当該有効水平走査期間Hd-A[m]の水平有効データ期間DHIが開始されてイネーブル信号DEnbがアクティブとなるタイミング、つまり、出力条件充足時刻TJ[m]において、内部処理信号ISを非アクティブとする。
図22に示す例では、表示準備判定時刻TB[2]は、画像信号D[1]の出力が完了する水平走査期間Hd[1](有効水平走査期間Hd-A[1])の水平有効データ期間DHIの終了時である。また、この例では、画像信号D[2]の画像処理が完了する画像信号生成時刻TC[2]が、表示準備判定時刻TB[2]よりも前に到来する場合を想定している。よって、この例では、画像処理判定時刻TA[2]は、表示準備判定時刻TB[2]と略同じ時刻となる。このため、出力制御部31は、水平走査期間Hd[1]の水平有効データ期間DHIの終了時、つまり、表示準備判定時刻TB[2]に、出力制御信号CTRとして出力許可パルスPL[2]を出力する。
すなわち、水平走査期間Hd[2]の水平有効データ期間DHIの開始時刻が、画像信号D[2]についての第1条件〜第3条件の全てが充足された出力条件充足時刻TJ[2]となる。このため、水平走査期間Hd[2]において、画像信号D[2]が出力されることになる。また、タイミングジェネレーター32は、水平走査期間Hd[2]の水平有効データ期間DHIが開始されるタイミングにおいて、内部処理信号ISを非アクティブとする。
図22に示す例では、表示準備判定時刻TB[3]は、画像信号D[2]の出力が完了する水平走査期間Hd[2](有効水平走査期間Hd-A[2])の水平有効データ期間DHIの終了時である。この例では、画像信号D[3]の画像処理が完了する画像信号生成時刻TC[3]が、表示準備判定時刻TB[3]よりも後となる場合を想定している。よって、画像処理判定時刻TA[3]は、表示準備判定時刻TB[3]よりも後の時刻となる。また、この例では、画像信号生成時刻TC[3]が、水平走査期間Hd[3]の開始時よりも後となる場合を想定している。このため、出力制御部31は、水平走査期間Hd[3]の開始時よりも後の時刻に、出力許可パルスPL[3]を出力する。
なお、この図に示す例では、出力制御部31が、画像信号D[1]の出力準備が完了したか否かの判定を行い出力制御信号CTRに出力許可パルスPL[1]を設定する場合、及び、画像信号D[1]の出力準備が完了したか否かの判定を行い出力制御信号CTRに出力許可パルスPL[1]を設定する場合は、Case-1である場合を想定している。
また、図22に示す例では、内部処理信号ISを非アクティブとするタイミングを、イネーブル信号DEnbがアクティブとなるタイミングとしているが、これは一例に過ぎず、タイミングジェネレーター32が内部処理信号ISを非アクティブとするタイミングは、イネーブル信号DEnbがアクティブとなってから非アクティブとなるまでの水平有効データ期間DHIの間であればいつでもよい。
また、本実施形態において、出力制御信号CTRは、出力許可パルスPL[m]を含む波形となっているが、これは一例であり、出力制御信号CTRは、例えば、図22に示す内部処理信号ISの波形を有していてもよい。この場合、タイミングジェネレーター32は、出力制御部31が出力制御信号CTRの波形の決定をするために必要なイネーブル信号DEnb等の各種信号を、出力制御部31に供給すればよい。
垂直走査期間Fdは、M行のラインに対応する画像信号D[1]〜D[M]を出力する期間である。このため、タイミングジェネレーター32は、各垂直走査期間Fdの垂直有効データ期間DVIに、M個の有効水平走査期間Hd-Aを設ける。
このため、本実施形態に係るタイミングジェネレーター32は、垂直走査期間Fdの垂直有効データ期間DVIに無効水平走査期間Hd-Dを設ける場合には、当該無効水平走査期間Hd-Dに相当する時間長だけ垂直有効データ期間DVIを延長し、各垂直走査期間Fdの垂直有効データ期間DVIにM個の有効水平走査期間Hd-Aを設けるように、表示垂直同期信号DVsync及び垂直有効データ信号DVactiveを出力する。
一方、タイミングジェネレーター32は、図23(B)に示す垂直走査期間Fd2のように、垂直有効データ期間DVIに1又は複数の無効水平走査期間Hd-Dを設ける場合には、垂直有効データ期間DVIの時間長が、水平走査期間HdのM倍の時間長と、垂直有効データ期間DVIに存在する1又は複数の無効水平走査期間Hd-Dの合計の時間長と、を加算した時間長とする。
つまり、タイミングジェネレーター32は、垂直走査期間Fdの時間長を、水平走査期間Hdの単位で調整することで、各垂直走査期間Fdにおいて画像信号出力部23が画像信号D[1]〜D[M]を出力することを可能としている。
ここで、改フレーム処理とは、次の垂直走査期間Fdにおいて画像を表示する準備のための処理であり、例えば、データ入力部411及びデータ出力部414が備えるバッファに記憶されたデータの消去を実行する処理等が含まれる。改フレーム処理は、垂直フロントポーチ期間DVfの開始以後に開始される。また、改フレーム処理は、垂直フロントポーチ期間DVfの終了までに終了することが好ましい。
図24は、連続する複数の垂直走査期間Fs(Fs0〜Fs3)のうち、垂直走査期間Fs1〜Fs3のそれぞれにおいて、撮像部10が撮像信号DS(DS[1]〜DS[P])を出力するタイミングと、当該撮像信号DSに基づいて、画像処理部21が画像信号D(D[1]〜D[M])つまり画像信号DGA(DGA[1]〜DGA[M])を生成し、生成した画像信号DGAをラインバッファ22に格納するタイミングと、連続する複数の垂直走査期間Fd(Fd0〜Fd3)のうち、垂直走査期間Fd1〜Fd3のそれぞれにおいて、画像信号出力部23が、ラインバッファ22から画像信号Dつまり画像信号DGB(DGB[1]〜DGB[M])を取得してこれを表示部40に対して出力するタイミングと、の関係を、概略的に示すタイミングチャートである。なお、垂直走査期間Fsのうち、撮像信号DSが出力される期間を、「撮像信号DSのフレーム」と称する。また、垂直走査期間Fdのうち、画像信号Dが出力されうる期間である垂直有効データ期間DVIを「画像信号Dのフレーム」と称する。そして、図24に示すように、撮像信号DSのフレームの開始から、画像信号Dの開始までの時間を、位相差PDと称する。
また、図10において説明したとおり、画像処理部21における画像信号D[1]〜D[M]の生成という視点から見れば、撮像部10から出力される撮像信号DS[1]〜DS[P]は、撮像信号DGS[1]〜DGS[M]である。以下では、説明の都合上、垂直走査期間Fs0〜Fs3において出力される撮像信号DGS[m]を、それぞれ、撮像信号DGS0[m]〜DGS3[m]として区別して表現することがある。
同様に、撮像信号DGS0[m]〜DGS3[m]に基づいて生成される画像信号D[m](DGA[m]、DGA[m])を、それぞれ、画像信号D0[m]〜D3[m](DGA0[m]〜DGA3[m]、DGB0[m]〜DGB3[m])として区別して表現することがある。
また、画像処理部21による画像信号DGA[1]〜DGA[M]の生成が完了し、これらがライン毎に順番にラインバッファ22に格納される様子(タイミング)を、線L2で表す。画像信号出力部23は、画像信号DGA[m]の生成が完了した後に画像信号DGB[m]を出力する。よって、画像信号DGB[m]が、線L2の示す時刻よりも前の時刻に出力されることはない。なお、線L2は、図22で説明した画像信号生成時刻TC[1]〜TC[M]を結んだ線である。
画像信号出力部23は、表示部40が表示可能であるときに画像信号DGB[m]を出力する。よって、画像信号DGB[m]が、線L3の示す時刻よりも前の時刻に出力されることはない。
また、図24では、画像信号DGA[m]がラインバッファ22に格納されてから、画像信号出力部23により表示部40に対して出力されるまでの時間を待機時間UBとしている。以下では、説明の都合上、画像信号DGB0[m]〜DGB3[m]のそれぞれに対応する待機時間UBを、待機時間UB0〜UB3として区別して表現することがある。
また、上述のとおり、撮像信号DGS[1]〜DGS[M]のそれぞれに含まれる撮像信号DS[p]のライン数は、ラインの位置によって異なる場合がある。つまり、画像処理部21は、図10で説明したように、3ライン分の撮像信号DS[p]からなる撮像信号DGS[m]に基づいて画像信号DGA[m]を生成する場合もあれば、5ライン分の撮像信号DS[p]からなる撮像信号DGS[m]に基づいて画像信号DGA[m]を生成する場合もあり、後者の場合は前者の場合と比較して画像処理時間UAは長くなる。すなわち、画像処理部21が、画像信号DGA[1]〜DGA[M]を生成するための画像処理時間UAは、通常、ラインの位置に応じて変動する。このため、線L2は通常は直線とはならずに折れ線となるが、図24では、図示の都合上直線として描いている。
つまり、第1の状態においては、画像処理部21が画像信号D[m]を生成しても、画像信号D[m]を表示するための表示部40側の準備が間に合っていないため、表示部40における画像の表示が、表示部40側の表示準備がボトルネックとなって、遅延する状態である。換言すれば、第1の状態は、表示部40が画像信号D[m]を表示可能となったタイミングにおいて、遅延することなく速やかに画像信号D[m]を表示することができる、という状態である。
図24では、図示の都合上、第1の状態として、1つの垂直走査期間Fs(Fs1)及び1つの垂直走査期間Fd(Fd1)の1組の垂直走査期間しか記載していないが、実際には複数の組の垂直走査期間が存在する場合がある。この場合、第1の状態における、位相差PD1(第1の状態における位相差PDとして、図24に示すように符号PD1を付する)は、垂直走査期間Fdと垂直走査期間Fsの差分に相当する時間ずつ短くなる。換言すれば、垂直走査期間の組毎に線L3と線L2との距離は、概ね、垂直走査期間Fdと垂直走査期間Fsの差分に相当する時間ずつ短くなる。
表示部40側における表示準備がボトルネックとなる表示の遅延が解消される前は、線L2が線L3よりも時間的に先行する。一方、表示準備がボトルネックとなる表示の遅延が解消された後は、線L3が線L2よりも時間的に先行する。すなわち、表示準備がボトルネックとなる表示の遅延が解消されるタイミングにおいて、線L2と線L3がクロスする。なお、上述のとおり、線L2は直線とはならず、折れ線となる場合が存在する。この場合、線L2及び線L3のクロスは、複数回生じることがある。
つまり、第2の状態は、時刻Tth以前においては、表示部40が画像信号D[m]の示す画像を表示することが可能となるタイミングにおいて、遅延することなく画像信号D[m]の示す画像を表示されるという状態であり、一方、時刻Tth以後においては、表示部40側において画像信号D[m]を表示することが可能となる時刻に至っても、画像信号D[m]を生成するための画像処理部21における画像処理が間に合っていないため、表示部40における画像の表示が、画像処理部21の画像処理がボトルネックとなって遅延する場合が存在する、という状態である。この、第2の状態における、位相差PD2(第2の状態における位相差PDとして、図24に示すように符号PD2を付する)は、図24に示すように位相差PD1よりも短くなる。
つまり、第3の状態においては、画像信号D[m]を表示するための表示部40側の準備が完了しても、画像信号D[m]を生成するための画像処理部21における画像処理が間に合っていないという状況が恒常的に生じているため、表示部40における画像の表示が、画像処理部21の画像処理がボトルネックとなって、遅延する状態である。
この、第3の状態における、位相差PD3(第3の状態における位相差PDとして、図24に示すように符号PD3を付する)は、図24に示すように、位相差PD2よりも短くなる。なお、第1の状態における位相差PD1は、画像処理時間UA(より具体的には、画像処理時間UA[1]〜UA[M]の最大値)よりも大きく、第3の状態における位相差PD3は、画像処理時間UA(より具体的には、画像処理時間UA[1]〜UA[M]の最大値)よりも小さい。
上述のとおり、画像処理時間UAはライン毎に変動する。しかし、その変動幅は、垂直走査期間Fsに比べれば十分に小さい。このため、画像信号D[m]の出力のタイミング(表示部40側の表示タイミング)を、画像処理部21における画像処理の完了タイミングに追従させている状態においては、撮像部10が撮像信号DS3を出力している期間の時間長と、画像信号出力部23が画像信号DGB3を出力している期間の時間長とは、略同じとなる。換言すれば、第3の状態においては、タイミング制御部30は、表示部40のフレームレートを撮像部10のフレームレートである第1フレームレートとなるように、画像信号D[m]が出力されるタイミングを調整していることになる(第2のタイミング制御)。
なお、図25と、後述する図26及び図27では、簡単のために、撮像信号DSの示す画像のライン数が5ライン(P=5)であり、画像信号Dの示す画像のライン数が4ライン(M=4)である場合を想定する。また、図25乃至図27に示す例では、撮像信号DGS[1]が、撮像信号DS[1]及びDS[2]を含み、撮像信号DGS[2]が、撮像信号DS[2]及びDS[3]を含み、撮像信号DGS[3]が、撮像信号DS[3]及びDS[4]を含み、撮像信号DGS[4]が、撮像信号DS[4]及びDS[5]を含む場合を想定する。すなわち、図25乃至図27に示す例では、画像信号D[1]が、撮像信号DS[1]及びDS[2]に基づいて生成され、画像信号D[2]が、撮像信号DS[2]及びDS[3]に基づいて生成され、画像信号D[3]が、撮像信号DS[3]及びDS[4]に基づいて生成され、画像信号D[4]が、撮像信号DS[4]及びDS[5]に基づいて生成される場合を想定する。また、図25乃至図27に示す例では、線L2及び線L3のクロスは、1回のみ生じる場合を想定する。
一方、図25に示す例は、上述した第1の状態を例示するものであり、線L2が線L3よりも時間的に先行する。つまり、図25に示す例では、画像処理部21による画像信号DGA1[m]の生成が完了したタイミングでは、表示部40において画像信号DGB1[m]の示す画像を表示する準備ができていない。換言すれば、画像処理部21による画像信号DGA1[m]の生成が完了したタイミングでは、出力制御部31から出力許可パルスPL[m]が出力されていない。
このため、画像信号出力部23は、出力許可パルスPL[m]が出力された後の最初の水平走査期間Hd1[m]まで、待機時間UB1[m]だけ画像信号DGB1[m]の出力を待ち、その後、水平走査期間Hd1[m]において画像信号DGB1[m]を出力する。
このため、撮像部10が撮像信号DS1を出力してから、表示部40が画像信号D1の示す画像を表示するまでの遅延時間ΔT1は、画像信号生成部20における画像処理に要する時間(画像処理時間UA)と、画像処理の完了後に表示部40における表示準備を待つための時間(待機時間UB)との合計時間となる。
図26は、撮像信号DS2[p](撮像信号DGS2[m])と、画像信号D2[m](画像信号DGA2[m]及び画像信号DGB2[m])との関係を説明するためのタイミングチャートである。
このため、画像信号出力部23は、時刻Tth以前においては、出力許可パルスPL[m]が出力された後の最初の水平走査期間Hd2[m]まで、待機時間UB2[m]だけ画像信号DGB2[m]の出力を待ち、その後、水平走査期間Hd2[m]において画像信号DGB2[m]を出力する。
図26に示す例では、画像信号出力部23は、画像信号DGA2[1]が生成された後、待機時間UB2[1]だけ画像信号DGB2[1]の出力を待ち、その後、水平走査期間Hd2[1]において、画像信号DGB2[1]を出力する。同様に、画像信号出力部23は、画像信号DGA2[2]が生成された後、待機時間UB2[2]だけ画像信号DGB2[2]の出力を待ち、その後、水平走査期間Hd2[2]において、画像信号DGB2[2]を出力する。
図26に示す例では、画像信号出力部23は、画像信号DGA2[3]が生成され、出力許可パルスPL[3]が出力された後の最初の水平走査期間Hd2[3]において、画像信号DGB2[3]を出力する。
また、この図に示す例では、画像信号DGA2[4]が生成されるのは、水平走査期間Hd2[4]の開始後である。このため、画像信号出力部23は、画像信号DGA2[4]が生成され、出力許可パルスPL[4]が出力された後の最初の水平走査期間Hd2[5]において、画像信号DGB2[4]を出力する。そして、タイミングジェネレーター32は、水平走査期間Hd2[4]を無効水平走査期間Hd-Dとする。
また、撮像部10が撮像信号DS2を出力してから、表示部40が画像信号D2の示す画像を表示するまでの遅延時間ΔT2は、時刻Tth以前は、画像信号生成部20における画像処理に要する時間(画像処理時間UA)と、表示部40における表示準備を待つための時間(待機時間UB)との合計時間であるが、時刻Tth以後において、線L3が線L2よりも時間的に先行する場合には、画像信号生成部20における画像処理に要する時間(画像処理時間UA)のみとなる。このため、第2の状態に係る遅延時間ΔT2は、第1の状態に係る遅延時間ΔT1よりも短くなる。
図27は、撮像信号DS3[p](撮像信号DGS3[m])と、画像信号D3[m](画像信号DGA3[m]及び画像信号DGB3[m])との関係を説明するためのタイミングチャートである。
具体的には、図27に示す例では、画像信号出力部23は、画像信号DGA3[1]が生成され、出力許可パルスPL[1]が出力された後の最初の水平走査期間Hd3[3]において、画像信号DGB3[1]を出力し、画像信号DGA3[2]が生成され、出力許可パルスPL[2]が出力された後の最初の水平走査期間Hd3[5]において、画像信号DGB3[2]を出力し、画像信号DGA3[3]が生成され、出力許可パルスPL[3]が出力された後の最初の水平走査期間Hd3[7]において、画像信号DGB3[3]を出力し、画像信号DGA3[4]が生成され、出力許可パルスPL[4]が出力された後の最初の水平走査期間Hd3[9]において、画像信号DGB3[4]を出力する。なお、この場合、タイミングジェネレーター32は、水平走査期間Hd3[1]、Hd3[2]、Hd3[4]、Hd3[6]、及び、Hd3[8]を、無効水平走査期間Hd-Dとする。
このため、第3の状態では、撮像部10による撮像から表示部40による表示までの遅延を、水平走査期間Hdの精度で最小化することができる。この場合、遅延時間ΔT3は、第1の状態に係る遅延時間ΔT1よりも短くなり、且つ、第2の状態に係る遅延時間ΔT2以下となる。
つまり、撮像表示システム1は、当初、第1の状態で動作する場合であっても、最終的には第3の状態での動作に移行し、第3の状態での動作が開始された後は、第3の状態での動作を維持することができる。この結果、表示部40側の表示タイミングを、画像処理部21における画像処理の完了タイミングに、水平走査期間Hdの精度で追従させることができる。
このため、撮像表示システム1が動作を開始すると、動作を開始した直後を除き、撮像部10による撮像から表示部40での画像表示までの遅延時間を最小化した状態を維持することができる。
以上において説明したように、本実施形態に係る撮像表示システム1では、画像信号D[m]の出力タイミングを調整することで、表示部40側の表示タイミングを、画像処理部21における画像処理の完了タイミングに、水平走査期間Hdの精度で追従させる。
以下、このような撮像表示システム1の利点をより明確化するために、図28に示す、従来例に係る撮像表示システムについて説明する。
さらに、図28に示す例の場合には、垂直走査期間Fd2で表示した画像(画像信号DGB1の示す画像)を、垂直走査期間Fd3で再度表示させている。この場合、各画像の表示時間が、垂直走査期間Fdの単位で変動するため、画面のちらつきとして視認される可能性が生じる。この結果、表示部40の表示品位が大きく劣化することとなる。また、仮に、垂直走査期間Fd3においていかなる画像も表示しない場合には、画像が表示される垂直走査期間Fdと、画像が表示されない垂直走査期間Fdとが存在することとなるため、これが画面のちらつきとして車両Aの運転者に視認される惧れがある。また、図26に示す例では、撮像信号のフレームの開始から画像信号のフレームの開始までの時間である位相差がばらつくため表示遅れが一定とならない。このため、運転者は表示の遅れを習得して予測する事ができない。
また、本実施形態によれば、例えば、画像処理の手法の変更等に伴う画像処理時間の変更がある場合や、ライン毎に画像処理時間UAが変動する場合、撮像部10をフレームレートが異なるものに交換する場合、又は、表示部40をフレームレートが異なるものに交換する場合等、撮像部10及び表示部40の位相差、撮像部10のフレームレート、並びに、表示部40で表示可能な最高のフレームレートのうち、一部又は全部が変化する場合であっても、位相差PDを画像処理時間UA以下の長さに自動的に収束させることが可能となる。
<B.第2実施形態>
これに対して、第2実施形態に係る撮像表示システムでは、水平走査期間Hdの時間長を可変長として、画像信号D[m]の出力タイミングを、例えば表示ドットクロック信号DCLKの周期で調整する点において、第1実施形態に係る撮像表示システム1と相違する。
以下、図29乃至図31を参照しつつ、第2実施形態に係る撮像表示システムについて説明する。なお、以下に例示する第2実施形態において作用や機能が第1実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する(以下で説明する変形例についても同様)。
第2実施形態に係る撮像表示システムが備えるタイミング制御部30は、タイミングジェネレーター32が、表示水平同期信号DHsyncの代わりに、可変な周期の水平同期パルスPlsHを有する表示水平同期信号DHsync2を生成し、表示垂直同期信号DVsyncの変わりに、可変な周期の垂直同期パルスPlsVを有する表示垂直同期信号DVsync2を生成する点を除き、第1実施形態に係る撮像表示システム1(図22参照)と同様に構成されている。
また、図29に示すように、第2実施形態に係るタイミングジェネレーター32は、出力制御部31が出力する出力制御信号CTRに出力許可パルスPL[m]が設定されたタイミングから、固定の時間長である基準フロントポーチ時間TPの経過後に、表示水平同期信号DHsync2として水平同期パルスPlsHを出力する。
一方、表示準備判定時刻TB[m]までに画像信号D[m]の生成が完了していない場合、すなわち、表示準備判定時刻TB[m]よりも後に画像信号生成時刻TC[m]が到来する場合(Case-2)には、水平フロントポーチ期間DHfの時間長は、基準フロントポーチ時間TPと、表示準備判定時刻TB[m]から画像信号生成時刻TC[m](画像処理判定時刻TA[m])までの時間長である延長フロントポーチ時間TPXとの合計となる。
このため、画像信号出力部23は、たとえ画像処理部21における画像信号D[m]の画像処理が遅延した場合であっても、水平走査期間Hd[m]において画像信号D[m]を出力することが可能となる。この場合、撮像部10が撮像信号DGS[m]を出力してから、表示部40が画像信号D[m]に基づく画像を表示するまでの遅延時間は、表示ドットクロック信号DCLKの精度で最小化されることになる。
一方、この図に示す例では、画像信号DGA2[4]が生成されるタイミングは、水平走査期間Hd2[3]におけるイネーブル信号DEnbの立下りのタイミングよりも後である。このため、画像信号DGA2[4]が生成されるタイミングにおいて、出力許可パルスPL[4]が出力される。この場合、水平走査期間Hd2[3]の水平フロントポーチ期間DHfの時間長は、基準フロントポーチ時間TPと、延長フロントポーチ時間TPX(水平走査期間Hd2[3]におけるイネーブル信号DEnbの立下りのタイミングから、出力許可パルスPL[4]が出力されまでの時間)との、合計の時間長となる。すなわち、表示部40における表示準備がボトルネックとなる表示の遅延が解消される時刻Tth以降は、画像処理の状況に応じて水平走査期間Hdが延長されることになる。
また、第2実施形態では、水平走査期間Hdが例えば表示ドットクロック信号DCLKの単位で可変となるため、垂直走査期間Fdも可変の時間長を有することとなる。
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は、相互に矛盾しない範囲内で適宜に併合され得る。なお、以下において説明する変形例では、説明の重複を避けるため、上述した本発明の実施形態との共通点については説明を省略する。
上述した実施形態では、各表示部40としてHUDを例示したが、本発明はこのような態様に限定されるものではなく、背面投射型のプロジェクターであってもよい。
また、上述した実施形態では、液晶パネル42を備えたピコプロジェクター(本発明の「投射型表示装置」)401と透過型スクリーン402とフィールドレンズ403とコンバイナー404とを備えたHUDを表示部(本発明の「表示システム」)40とするが、これに限られない。投射型表示装置として、液晶プロジェクターの代わりに例えばレーザープロジェクターその他のプロジェクターが採用され得る。また、透過型スクリーン402とフィールドレンズ403とコンバイナー404はHUDに任意の構成であり、周知の代替手段が必要に応じて採用され得る。
上述した実施形態では、フラッシュROM70に記憶されるマスク画像MDは1種類であるが、例えば車種によって開口部OpL,OpRの形状を別物とする場合等に複数種類の形状に応じたマスク画像を記憶するようにしてもよい。この場合に、マスク画像取得部232は、所定形状の種別を指定する指定情報に応じてフラッシュROM70からマスク画像MDを読み出すことによって、指定された所定形状に応じたマスク画像MDを取得するようにしてもよい。この態様によれば、撮像表示システム1が設置される車両の車種に適したマスク画像を適宜選択し、撮像信号DSに応じた表示画像と合成することが可能となる。なお、この指定情報は、撮像表示システムの製造工程において、インターフェース90を介してメモリ80に記憶させる態様が好適である。
上述した実施形態及び変形例では、画像処理回路100と表示部40との間のデータ伝送をパラレルインタフェースによって行うが、低電圧差動(LVDS)のシリアルインターフェースやEthernet(登録商標)のリアルインターフェース等によって行うようにしてもよい。
上述した実施形態及び変形例では、撮像垂直同期信号SVsyncにより規定される垂直走査期間Fsが、表示垂直同期信号DVsync(又はDVsync2)により規定される垂直走査期間Fd以上の時間長を有しているが、本発明はこのような態様に限定されるものではなく、垂直走査期間Fsは、垂直走査期間Fdよりも短い時間長を有していてもよい。
上述した実施形態及び変形例では、出力制御部31は、画像処理部21が出力する書込完了信号PtAと、画像信号出力部23が出力する出力完了信号PtBと、に基づいて、画像信号D[m]を出力する準備が完了したか否かを判定するが、本発明はこのような態様に限定されるものではなく、出力制御部31がラインバッファ22を周期的に参照することで、ラインバッファ22に画像信号D[m]が記録されていること、及び、ラインバッファ22から画像信号D[m-1]が読み出されたことを判定することにより、画像信号D[m]を出力する準備が完了したか否かを判定してもよい。
上述した実施形態及び変形例では、ライン毎に画像処理時間UA[m]が変動する場合を例示して説明したが、本発明はこのような態様に限定されるものではなく、画像処理時間UA[m]はライン間で同一であってもよい。
上述した実施形態では、画像処理部21において、左右方向について車体に近い領域を車体に遠い領域と比較して相対的に拡大する処理(第1処理)と、上下方向について中央の領域を上又は下の領域と比較して相対的に拡大する処理(第2処理)との両方を実行する態様について説明したが、そのいずれか一方を実行してもよい。
また、左右方向について車体に近い領域を車体から遠い領域と比較して相対的に拡大する処理(第1処理)は、車体から遠い領域を縮小する処理又は車体に近い領域を拡大する処理の少なくともいずれかによって実現可能な処理である。すなわち、車体に近い領域を拡大した場合には車体から遠い領域を縮小する処理は必須ではなく、車体から遠い領域を縮小した場合には車体に近い領域を拡大する処理は必須ではない。同様に、上下方向について中央の領域を上又は下の領域と比較して相対的に拡大する処理(第2処理)は、中央の領域を拡大する処理、上の領域を縮小する処理、又は下の領域を縮小する処理のいずれかによって実現可能な処理である。すなわち、中央の領域を拡大した場合には上又は下の領域を拡大する処理は必須ではなく、上又は下の領域を縮小した場合には中央の領域を拡大する処理は必須ではない。
なお、拡大・縮小処理において、各領域LR1〜LR6(図12)や各領域BR1〜BR9(図21)間の比率、区分する領域の個数、さらには、その拡大率や縮小率は適宜変更され得る。
上述した実施形態では、トリミング処理の後に鏡像生成処理を実行し、その後に水平方向縮小・拡大処理及び垂直方向縮小・拡大処理を実行するが、これに限られず、その実行順は適宜変更され得る。また、上述した実施形態では、トリミング処理においてトリミングしたトリミング領域Tareaの画像を表示領域ADの大きさに合わせていったん拡大した後に、鏡像生成処理、水平方向縮小・拡大処理及び垂直方向縮小・拡大処理を実行するが、トリミングした画像の拡大処理を行うことなく、鏡像生成処理を実行し、その後、水平方向縮小・拡大処理及び垂直方向縮小・拡大処理において、表示領域ADの大きさに合わせるための拡大処理を実行するようにしてもよい。このように構成することにより、画像処理時間を短縮することが可能となる。
上述した実施形態では、図3において、左側後方領域LRを示す画像が視認される領域、後方領域BRを示す画像が視認される領域、右側後方領域RRを示す画像が視認される領域の例を示したが、これらの領域は本発明の趣旨を損なわない範囲で適宜変更され得る。
Claims (7)
- 投射型表示装置から筐体内で出射された表示光を前記筐体に形成された所定形状の開口部より射出する表示システムに用いることが可能な画像処理装置であって、
前記開口部に至る前記表示光の輝度より、前記開口部の外側に至る前記表示光の輝度が低くなるように、入力信号に基づく表示画像に前記所定形状に応じた画像処理を施して画像信号を生成し、当該画像信号を前記投射型表示装置に出力することによって、前記開口部の外側での前記筐体内部の反射による迷光を抑制する、
ことを特徴とする画像処理装置。 - 前記所定形状に応じたマスク画像を取得するマスク画像取得部と、
入力信号に基づく表示画像と前記マスク画像を合成して、前記画像信号を生成する画像合成部とを、
備えることを特徴とする請求項1に記載の画像処理装置。 - 前記マスク画像の位置を示す制御情報に基づいて前記マスク画像の位置を調整して調整済マスク画像を生成する位置調整部を備え、
前記画像合成部は、前記マスク画像の代わりに前記調整済マスク画像を用いて前記画像信号を生成する、
ことを特徴とする請求項2に記載の画像処理装置。 - 前記制御情報を記憶する制御情報記憶部を備え、
前記位置調整部は、前記制御情報記憶部から読み出した前記制御情報を用いて前記マスク画像の位置を調整する、
ことを特徴とする請求項3に記載の画像処理装置。 - 前記所定形状は、複数種類の形状を含み、
前記複数種類の形状に応じた前記マスク画像を記憶したマスク画像記憶部を備え、
前記マスク画像取得部は、前記所定形状の種別を指定する指定情報に応じて前記マスク画像記憶部から前記マスク画像を読み出すことによって、前記所定形状に応じた前記マスク画像を取得する、
ことを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。 - 請求項1乃至5のいずれか1項に記載の画像処理装置と、
前記投射型表示装置と、
被写体を撮像して得た撮像信号を前記入力信号として前記画像処理装置に出力する撮像装置とを、
備えたことを特徴とする撮像表示システム。 - 前記画像処理装置は、
前記撮像信号に基づいて、前記投射型表示装置の各ラインで表示すべき画像を示す前記画像信号を生成する生成処理の後、当該画像信号を前記投射型表示装置に出力する画像信号生成部と、
前記画像信号生成部が前記画像信号を前記投射型表示装置に出力するタイミングを制御するタイミング制御部とを備え、
前記画像信号生成部に入力される前記撮像信号のフレームの開始から、前記投射型表示装置に出力する前記画像信号のフレームの開始までの時間を位相差とし、前記撮像装置のフレームレートを第1フレームレートとし、前記投射型表示装置で表示可能な最高のフレームレートを第2フレームレートとしたとき、
前記タイミング制御部は、
前記位相差が所定時間より長い場合において、前記投射型表示装置のフレームレートが前記第2フレームレートとなるように前記画像信号生成部に前記画像信号を出力させることにより、前記位相差を次第に小さくする第1のタイミング制御と、
前記位相差が、前記所定時間以下となった後において、前記投射型表示装置のフレームレートが前記第1フレームレートとなるように前記画像信号生成部に前記画像信号を出力させる第2のタイミング制御と、を実行可能である、
ことを特徴とする請求項6に記載の撮像表示システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014163408A JP6507518B2 (ja) | 2014-08-11 | 2014-08-11 | 画像処理装置及び撮像表示システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014163408A JP6507518B2 (ja) | 2014-08-11 | 2014-08-11 | 画像処理装置及び撮像表示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016039587A JP2016039587A (ja) | 2016-03-22 |
JP6507518B2 true JP6507518B2 (ja) | 2019-05-08 |
Family
ID=55530318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014163408A Active JP6507518B2 (ja) | 2014-08-11 | 2014-08-11 | 画像処理装置及び撮像表示システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6507518B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019123470A (ja) * | 2018-01-19 | 2019-07-25 | 凸版印刷株式会社 | 画像表示システム |
JP7073817B2 (ja) | 2018-03-19 | 2022-05-24 | セイコーエプソン株式会社 | 投写装置および投写方法 |
JP2020061646A (ja) * | 2018-10-10 | 2020-04-16 | 市光工業株式会社 | 車両用表示装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07281293A (ja) * | 1994-04-07 | 1995-10-27 | Mitsubishi Electric Corp | プロジェクタ装置 |
JP2003015215A (ja) * | 2001-06-29 | 2003-01-15 | Canon Inc | 投射型表示装置、該投射型表示装置を有する画像処理装置 |
JP3972934B2 (ja) * | 2004-01-30 | 2007-09-05 | セイコーエプソン株式会社 | 照明装置、表示装置および投射型表示装置 |
JP2006091057A (ja) * | 2004-09-21 | 2006-04-06 | Seiko Epson Corp | 投射型表示装置 |
JP2007272113A (ja) * | 2006-03-31 | 2007-10-18 | Fujinon Corp | 絞り機構、投映型画像表示装置 |
JP2009116238A (ja) * | 2007-11-09 | 2009-05-28 | Seiko Epson Corp | 画像表示装置 |
JP4341723B2 (ja) * | 2008-02-22 | 2009-10-07 | パナソニック電工株式会社 | 光投影装置、照明装置 |
JP5508788B2 (ja) * | 2009-08-28 | 2014-06-04 | 日立コンシューマエレクトロニクス株式会社 | 傾斜投写光学系及びそれを用いた投写型映像表示装置 |
JP2011015221A (ja) * | 2009-07-02 | 2011-01-20 | Olympus Imaging Corp | 撮像装置 |
JP5273087B2 (ja) * | 2010-04-14 | 2013-08-28 | 株式会社Jvcケンウッド | 映像処理装置および映像処理方法 |
JP5854832B2 (ja) * | 2011-12-28 | 2016-02-09 | キヤノン株式会社 | 撮像装置及び撮像方法 |
JP6072817B2 (ja) * | 2012-11-01 | 2017-02-01 | 日立マクセル株式会社 | 光源装置及び投写型映像表示装置 |
JP2015060162A (ja) * | 2013-09-20 | 2015-03-30 | カシオ計算機株式会社 | 投影装置及び投影方法と投影処理プログラム |
JP6269462B2 (ja) * | 2014-03-28 | 2018-01-31 | 株式会社Jvcケンウッド | 画像表示装置および画像表示調整方法 |
-
2014
- 2014-08-11 JP JP2014163408A patent/JP6507518B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016039587A (ja) | 2016-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6582642B2 (ja) | 車両用撮像装置、車両用撮像表示システム、及び車両 | |
JP6582644B2 (ja) | 撮像装置、撮像表示装置、及び、車両 | |
JP6826174B2 (ja) | 表示システムおよび方法 | |
JP3300334B2 (ja) | 画像処理装置および監視システム | |
US20150002642A1 (en) | Vehicle visibility improvement system | |
JP4652947B2 (ja) | 画像表示プログラム、画像表示装置および画像表示方法 | |
JP2007171228A (ja) | 画像表示システム | |
WO2014130049A1 (en) | Systems and methods for augmented rear-view displays | |
JP6507518B2 (ja) | 画像処理装置及び撮像表示システム | |
JP5214060B1 (ja) | 虚像表示装置 | |
JP6482975B2 (ja) | 画像生成装置および画像生成方法 | |
JP5195592B2 (ja) | 映像処理装置 | |
KR101964864B1 (ko) | 차량의 어라운드 뷰 영상의 왜곡 보정 방법 | |
JP2010137697A (ja) | 車両の運転支援装置 | |
EP2983160A1 (en) | Projection device, head-up display, control method, program, and storage medium | |
JP2004007315A (ja) | ヘッドマウントディスプレイ装置 | |
JP2019161346A (ja) | ヘッドアップディスプレイ装置および表示映像補正方法 | |
WO2018180857A1 (ja) | ヘッドアップディスプレイ装置 | |
US10154217B2 (en) | Imaging apparatus, image processing apparatus, and imaging display apparatus | |
JP6365097B2 (ja) | 画像処理方法、撮像装置、画像処理装置、及び、撮像表示装置 | |
TWM506429U (zh) | 側視行車影像系統 | |
WO2014162504A1 (ja) | 投影装置、制御方法及びプログラム、並びに記録媒体 | |
JP5949519B2 (ja) | 撮像装置及び画像処理方法 | |
JPWO2019093500A1 (ja) | 表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20160623 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170721 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180717 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20180824 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180912 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20180919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190318 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6507518 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |