JP7488085B2

JP7488085B2 - 画像歪補正回路及び表示装置

Info

Publication number: JP7488085B2
Application number: JP2020062224A
Authority: JP
Inventors: 祐基今任
Original assignee: Lapis Semiconductor Co Ltd
Current assignee: Lapis Semiconductor Co Ltd
Priority date: 2020-03-31
Filing date: 2020-03-31
Publication date: 2024-05-21
Anticipated expiration: 2040-03-31
Also published as: US11587211B2; US20210304372A1; JP2021163011A; CN113467083A

Description

本発明は、画像の歪を補正する画像歪補正回路、及びこの画像歪補正回路を含む表示装置に関する。

近年、自動車等の車両に搭載するディスプレイとして、ナビゲーション情報や車両の状態等の各種の運転支援情報をフロントガラスに投影するヘッドアップディスプレイ（ＨＵＤとも称する）が製品化されている。

投影スクリーンとなる車両のフロントガラスは一般的に傾斜しており、且つ非平面形状を有している。そこで、ＨＵＤ装置では、このようなフロントガラスに画像を投影した際に歪の無い画像を運転者側に提供するために、フロントガラスの傾斜及び非平面形状に起因して生じる投影画像の歪を補正する画像歪補正を、運転支援情報を表す画像信号に施すようにしている。

また、近年、画像歪補正として、車両のフロントガラスの形状及び傾斜に対応させて、画像信号に基づく画像内での各画素の座標位置を移動させるマッピング処理を行う画像処理回路が提案されている（例えば特許文献１参照）。

しかしながら、画像処理回路のマッピング処理に故障が生じると、運転支援情報等の運転に必要な情報が視認できなくなる、或いは、フロントガラスの前方の視界を遮る等の支障が生じる。

そこで、この画像処理回路では、上記したマッピング処理を行う回路と同様なマッピング処理を行う回路を更に設け、これらマッピング処理回路各々の出力、すなわち歪補正の施された画像信号同士が一致しているか否かの比較を行っている。この際、画像処理回路では、かかる比較結果が一致しなかった場合に、マッピング処理回路に故障が生じていると判断し、その旨をユーザ側に知らせる。

特開２０１９－１４９７６０号公報

ところで、上記したようなマッピング処理による歪補正には比較的大容量のメモリが必要となる。よって、故障検知の為にこのようなマッピング処理回路を２系統設ける必要がある画像処理回路には、回路規模及び消費電力が大きくなるという問題があった。

そこで、本発明は、回路規模及び消費電力の増大を招くことなく故障検知を行うことが可能な画像歪補正回路及び表示装置を提供することを目的とする。

本発明に係る画像歪補正回路は、入力画像信号に対して、当該入力画像信号にて表される１フレームの画像に生じている歪を補正するマッピング処理を施して歪補正画像信号を生成する第１の歪補正回路と、前記１フレームの画像のサイズよりも小さい画像領域を故障検査用の検査画像領域として設定する検査領域設定回路と、前記歪補正画像信号中から、前記検査画像領域の表示を担う部分を抽出しこれを第１の検査画像信号として出力する検査領域抽出回路と、前記入力画像信号中における前記検査画像領域の表示を担う部分に対して前記マッピング処理を施したものを第２の検査画像信号として出力する第２の歪補正回路と、前記第１の検査画像信号と前記第２の検査画像信号とが互いに異なる場合に、故障が生じていると判定して故障検知信号を出力する故障判定回路と、を有し、前記検査領域設定回路は、前記１フレームの画像内での前記検査画像領域の座標位置を、前記入力画像信号におけるフレーム毎に変更する。

本発明に係る表示装置は、入力画像信号に対して、当該入力画像信号にて表される１フレームの画像に生じている歪を補正するマッピング処理を施して歪補正画像信号を生成する第１の歪補正回路と、前記歪補正画像信号にて示される画像を投影させるための表示光を照射する画像照射部と、前記１フレームの画像のサイズよりも小さい画像領域を故障検査用の検査画像領域として設定する検査領域設定回路と、前記歪補正画像信号中から、前記検査画像領域の表示を担う部分を抽出しこれを第１の検査画像信号として出力する検査領域抽出回路と、前記入力画像信号中における前記検査画像領域の表示を担う部分に対して前記マッピング処理を施したものを第２の検査画像信号として出力する第２の歪補正回路と、前記第１の検査画像信号と前記第２の検査画像信号とが互いに異なる場合に、故障が生じていると判定して故障検知信号を出力する故障判定回路と、を有し、前記検査領域設定回路は、前記１フレームの画像内での前記検査画像領域の座標位置を、前記入力画像信号におけるフレーム毎に変更する。

本発明においては、故障検査用に別途設けた歪補正回路は、１フレーム分の画像信号中において、１フレームの画像のサイズよりも小さい検査画像領域に対応した部分だけにマッピング処理を施す。よって、故障検査用に別途設けた歪補正回路として、１フレーム分の画像信号に対してマッピング処理を施すものを採用した場合に比べて、回路規模及び電力消費量を小さくすることが可能となる。

本発明に係る画像歪補正回路を含む表示装置としてのヘッドアップディスプレイ装置１００の構成を示すブロック図である。検査画像領域Ｃａの一例、及びフレーム毎に１フレーム画像ＦＲＡ内での座標位置を変更する検査画像領域Ｃａの移動形態の一例を示す図である。検査画像領域Ｃａの他の一例、及びフレーム毎に１フレーム画像ＦＲＡ内での座標位置を変更する検査画像領域Ｃａの移動形態の他の一例を示す図である。ヘッドアップディスプレイ装置１００の内部動作を表すタイムチャートである。

図１は、本発明に係る画像歪補正回路を含む表示装置としてのヘッドアップディスプレイ（ＨＵＤ）装置１００の構成を示すブロック図である。

図１に示すように、ＨＵＤ装置１００は、コントローラ１１、第１歪補正回路１２、第２歪補正回路１３、歪補正データメモリ１４、画像照射部１５、検査領域設定回路２０、検査領域抽出回路２１、故障判定回路２２及び通信回路２４を含む。

コントローラ１１は、車両の挙動、瞬間燃費、バッテリの状態、走行速度、運転者の運転を支援する運転支援情報を文字又は図形等で表す画像信号を生成する。

尚、コントローラ１１は、上記した第１歪補正回路１２、第２歪補正回路１３、又は歪補正データメモリ１４に故障が生じていることを示す故障検知信号ＢＣを受けた場合には、故障発生を知らせる画像を表す画像信号を生成する。ところで、第１歪補正回路１２、第２歪補正回路１３、又は歪補正データメモリ１４に故障が生じると、車両のフロントガラスに投影された投影画像が前方の視界を遮る場合がある。そこで、コントローラ１１は、当該障検知信号ＢＣを受けた場合には、上記した運転支援情報としての文字又は図形の透過性を高めた画像信号を生成するようにしても良い。

そして、コントローラ１１は、上記したように生成した画像信号を入力画像信号ＶＳとして第１歪補正回路１２及び第２歪補正回路１３に供給する。

検査領域設定回路２０は、１フレームの画像よりもサイズが小さい画像領域を故障検査用の検査画像領域Ｃａとして設定する。そして、検査領域設定回路２０は、かかる検査画像領域Ｃａ及び１フレーム画像内での検査画像領域Ｃａの座標位置を示す検査画像領域指定信号ＪＡを、第２歪補正回路１３及び検査領域抽出回路２１に供給する。尚、検査領域設定回路２０は、検査画像領域Ｃａの座標位置を各フレーム毎にランダムに変更する。この際、検査領域設定回路２０は、所定数のフレームの表示期間内で必ず１フレーム画像の全領域が検査画像領域Ｃａによって検査対象となるように、当該検査画像領域Ｃａの座標位置を変更するようにしても良い。

図２は、検査画像領域Ｃａの一例、及びフレーム毎に１フレーム画像ＦＲＡ内での座標位置を変更する検査画像領域Ｃａの移動形態の一例を示す図である。

図３は、検査画像領域Ｃａの他の一例、及びフレーム毎に１フレーム画像ＦＲＡ内での座標位置を変更する検査画像領域Ｃａの移動形態の他の一例を示す図である。

尚、図３に示す検査画像領域Ｃａは、１フレーム画像ＦＲＡの上端から下端に亘り垂直方向に伸張する帯状の領域を有する。よって、図３に示す形態の検査画像領域Ｃａを採用する場合、検査領域設定回路２０は、フレーム毎に、検査画像領域Ｃａの座標位置を水平方向に移動させる検査画像領域指定信号ＪＡを、第２歪補正回路１３及び検査領域抽出回路２１に供給する。

第１歪補正回路１２及び第２歪補正回路１３は、歪補正データメモリ１４から、歪補正データを読み出す。尚、歪補正データメモリ１４には、車両のフロントガラスに投影された投影画像に生じる歪を補正するように各画素の座標位置を移動させる方向及び移動量を示すデータが上記した歪補正データとして予め記憶されている。

第１歪補正回路１２は、当該歪補正データに基づき、入力画像信号ＶＳに対して各画素を移動させるマッピング処理を施すことで、歪補正が施された歪補正画像信号ＣＶを生成し、これを画像照射部１５及び検査領域抽出回路２１に供給する。

画像照射部１５は、歪補正画像信号ＣＶにて示される画像を車両のフロントガラス等に投影させる為の表示光を照射する。尚、画像照射部１５としては、当該画像が投影された際の歪を光学的に補正する光学系を含んでいても良い。

検査領域抽出回路２１は、歪補正画像信号ＣＶ中から、検査画像領域指定信号ＪＡにて示される１フレーム画像内の座標位置にある検査画像領域Ｃａの表示を担う画像信号を抽出し、これを検査画像信号ＣＨ１として故障判定回路２２に供給する。

第２歪補正回路１３は、上記した検査画像領域指定信号ＪＡを受け、入力画像信号ＶＳ中から、検査画像領域指定信号ＪＡにて示される１フレーム画像内の座標位置にある検査画像領域Ｃａの表示を担う画像信号を抽出画像信号として抽出する。そして、第２歪補正回路１３は、歪補正データメモリ１４から読み出した歪補正データに基づき、抽出画像信号に対して各画素を移動させるマッピング処理を施して、歪補正が施された検査画像信号を生成する。そして、第２歪補正回路１３は、生成した検査画像信号を検査画像信号ＣＨ２として故障判定回路２２に供給する。

故障判定回路２２は、検査画像信号ＣＨ１及びＣＨ２各々の画素同士で両者が一致している一致率を求める。そして、故障判定回路２２は、当該一致率が所定の閾値未満である場合に、検査画像信号ＣＨ１及びＣＨ２が互いに異なると判定し、故障が生じている旨を表す信号を上記した故障検知信号ＢＣとして生成する。故障判定回路２２は、かかる故障検知信号ＢＣをコントローラ１１及び通知回路２４に供給する。

故障判定回路２２は、上記したような閾値を用いた故障判定により、例えばビット不良のような運転者の視認に影響を与えない程度の故障に対しては、これを故障と判断しないようにしている。

通知回路２４は、故障検知信号ＢＣに応じて、故障が生じている旨を音声、表示又はＬＥＤ等の発光素子の点滅又は点灯等により、ユーザ（例えば車両の運転者又は同乗者等）に通知する。

以下に、ＨＵＤ装置１００の内部動作について、図４に示すタイムチャートに沿って説明する。

尚、第２歪補正回路１３は、入力画像信号ＶＳにおける奇数フレームに対応した画像信号を保持する第１のメモリ、偶数フレームに対応した画像信号を保持する第２のメモリ、及びバッファを有するものとする。

図４に示すように、第１のフレームでは画像Ａ１、第２のフレームでは画像Ａ２、第３のフレームでは画像Ａ３を夫々表す入力画像信号ＶＳが第１歪補正回路１２及び第２歪補正回路１３に順に供給される。

第１歪補正回路１２は、画像Ａ１に対応した入力画像信号ＶＳにマッピング処理を施して得られた歪補正画像信号ＣＶを図４に示すように第２のフレームのタイミングで出力する。引き続き、第１歪補正回路１２は、画像Ａ２に対応した入力画像信号ＶＳにマッピング処理を施して得られた歪補正画像信号ＣＶを図４に示すように第３のフレームのタイミングで出力する。

ここで、第２のフレームでは、検査領域抽出回路２１は、第１のフレームで設定された検査画像領域Ｃａに対応した検査画像信号ＣＨ１として、図４に示すように、検査画像信号ａ１～ａ（ｎ）（ｎは２以上の整数）を順に出力する。つまり、検査領域抽出回路２１は、検査画像領域Ｃａの表示を担う検査画像信号を、検査画像信号ａ１～ａ（ｎ）のように分割して出力する。引き続き、第３のフレームでは、検査領域抽出回路２１は、第２のフレームで設定された検査画像領域Ｃａに対応した検査画像信号ＣＨ１として、図４に示すように、検査画像信号ｂ１～ｂ（ｎ）を順に出力する。

この間、第２歪補正回路１３の第１のメモリには、図４に示すように、第１のフレーム期間において、画像Ａ１に対応した入力画像信号ＶＳが各表示ライン毎に順に保持され、夫々が第２のフレーム期間に亘り保持される。そして、引き続き第３のフレーム期間において、当該第１のメモリには、図４に示すように、画像Ａ３に対応した入力画像信号ＶＳが各表示ライン毎に順に保持される。また、第２歪補正回路１３の第２のメモリには、図４に示すように、第２のフレーム期間において、画像Ａ２に対応した入力画像信号ＶＳが各表示ライン毎に順に保持され、夫々が第３のフレーム期間に亘り保持される。

第２歪補正回路１３は、第１のフレーム期間において、第１のメモリに保持されている画像Ａ１に対応した画像信号中から、例えば図３の第１のフレームでの検査画像領域Ｃａに対応した画像信号を順に抽出する。次に、第２歪補正回路１３は、かかる検査画像領域Ｃａに対応した画像信号の各々にマッピング処理を施す。これにより、第２歪補正回路１３は、図４に示すように第１のフレーム期間に亘り、当該検査画像領域Ｃａに対応した検査画像信号ｒ１～ｒ（ｎ）を順に生成し、バッファに保持させる。

また、第２歪補正回路１３は、第２のフレーム期間において、第２のメモリに保持されている画像Ａ２に対応した画像信号中から、例えば図３の第１のフレームでの検査画像領域Ｃａに対応した画像信号を順に抽出する。次に、第２歪補正回路１３は、かかる検査画像領域Ｃａに対応した画像信号の各々にマッピング処理を施す。これにより、第２歪補正回路１３は、図４に示すように第２のフレーム期間に亘り、当該検査画像領域Ｃａに対応した検査画像信号ｔ１～ｔ（ｎ）を順に生成し、バッファに保持させる。

更に、当該第２のフレーム期間において、第２歪補正回路１３は、バッファに保持されている検査画像信号ｒ１～ｒ（ｎ）を、図４に示すように検査画像信号ＣＨ２として順に故障判定回路２２に供給する。よって、故障判定回路２２は、第２のフレーム期間に亘り、検査画像信号ＣＨ１としてのａ１～ａ（ｎ）と、検査画像信号ＣＨ２としてのｒ１～ｒ（ｎ）とを比較する。すなわち、故障判定回路２２は、先ず、検査画像信号ａ１及びｒ１における画素同士で一致しているかの判定を行い、各画素同士による一致率が所定値未満である場合にだけ故障検知信号ＢＣを生成し、これをコントローラ１１及び通知回路２４に供給する。次に、故障判定回路２２は、検査画像信号ａ２及びｒ２における画素同士で一致しているかの判定を行い、各画素同士による一致率が所定値未満である場合にだけ故障検知信号ＢＣを生成し、これをコントローラ１１及び通知回路２４に供給する。同様に、故障判定回路２２は、検査画像信号ａ３～ａ（ｎ）の各々と検査画像信号ｒ３～ｒ（ｎ）の各々とを画素同士で比較し、各画素同士による一致率が所定値未満である場合に故障検知信号ＢＣを生成し、これをコントローラ１１及び通知回路２４に供給する。

引き続き第３のフレーム期間において、第２歪補正回路１３は、バッファに保持されている検査画像信号ｔ１～ｔ（ｎ）を、図４に示すように検査画像信号ＣＨ２として順に故障判定回路２２に供給する。よって、故障判定回路２２は、第３のフレーム期間に亘り、検査画像信号ＣＨ１としてのｂ１～ｂ（ｎ）と、検査画像信号ＣＨ２としてのｔ１～ｔ（ｎ）との比較を、上記した第２のフレーム期間での動作と同様に行う。

以上詳述したように、ＨＵＤ装置１００では、第１歪補正回路１２及び第２歪補正回路１３の出力結果（ＣＨ１、ＣＨ２）を故障検知の検査対象とするにあたり、１フレーム画像よりもサイズが小さい検査画像領域Ｃａに対応した部分を検査対象としている。

よって、故障検知用に設ける第２歪補正回路１３としては、１フレーム分の画像信号に対してマッピング処理を施すものに比べて、回路規模及び電力消費量を小さくすることが可能となる。

尚、ＨＵＤ装置１００としては、コントローラ１１、画像照射部１５、及び通知回路２４を含むものでなくても良い。

要するに、ＨＵＤ装置１００における画像歪補正回路としては、以下の第１及び第２の歪補正回路、検査領域設定回路、検査領域抽出回路、及び故障判定回路を含むものであれば良い。

すなわち、第１の歪補正回路（１２）は、入力画像信号（ＶＳ）に対して、当該入力画像信号にて表される１フレームの画像に生じている歪を補正するマッピング処理を施して歪補正画像信号（ＣＶ）を生成する。検査領域設定回路（２０）は、１フレームの画像のサイズよりも小さい画像領域を故障検査用の検査画像領域（Ｃａ）として設定する。検査領域抽出回路（２１）は、歪補正画像信号（ＣＶ）中から、検査画像領域の表示を担う部分を抽出しこれを第１の検査画像信号（ＣＨ１）として出力する。第２の歪補正回路（１３）は、入力画像信号中における検査画像領域の表示を担う部分に対してマッピング処理を施したものを第２の検査画像信号（ＣＨ２）として出力する。故障判定回路（２２）は、第１の検査画像信号と第２の検査画像信号とが互いに異なる場合に、故障が生じていると判定して故障検知信号（ＢＣ）を出力する。

１２第１歪補正回路
１３第２歪補正回路
２０検査領域設定回路
２１検査領域抽出回路
２２故障判定回路

Claims

入力画像信号に対して、当該入力画像信号にて表される１フレームの画像に生じている歪を補正するマッピング処理を施して歪補正画像信号を生成する第１の歪補正回路と、
前記１フレームの画像のサイズよりも小さい画像領域を故障検査用の検査画像領域として設定する検査領域設定回路と、
前記歪補正画像信号中から、前記検査画像領域の表示を担う部分を抽出しこれを第１の検査画像信号として出力する検査領域抽出回路と、
前記入力画像信号中における前記検査画像領域の表示を担う部分に対して前記マッピング処理を施したものを第２の検査画像信号として出力する第２の歪補正回路と、
前記第１の検査画像信号と前記第２の検査画像信号とが互いに異なる場合に、故障が生じていると判定して故障検知信号を出力する故障判定回路と、を有し、
前記検査領域設定回路は、前記１フレームの画像内での前記検査画像領域の座標位置を、前記入力画像信号におけるフレーム毎に変更することを特徴とする画像歪補正回路。
前記故障判定回路は、前記第１の検査画像信号及び前記第２の検査画像信号の各画素同士が一致しているか否かを判定しその一致率が所定閾値未満である場合に、前記第１の検査画像信号と前記第２の検査画像信号とが互いに異なると判定することを特徴とする請求項１に記載の画像歪補正回路。
入力画像信号に対して、当該入力画像信号にて表される１フレームの画像に生じている歪を補正するマッピング処理を施して歪補正画像信号を生成する第１の歪補正回路と、
前記歪補正画像信号にて示される画像を投影させるための表示光を照射する画像照射部と、
前記１フレームの画像のサイズよりも小さい画像領域を故障検査用の検査画像領域として設定する検査領域設定回路と、
前記歪補正画像信号中から、前記検査画像領域の表示を担う部分を抽出しこれを第１の検査画像信号として出力する検査領域抽出回路と、
前記入力画像信号中における前記検査画像領域の表示を担う部分に対して前記マッピング処理を施したものを第２の検査画像信号として出力する第２の歪補正回路と、
前記第１の検査画像信号と前記第２の検査画像信号とが互いに異なる場合に、故障が生じていると判定して故障検知信号を出力する故障判定回路と、を有し、
前記検査領域設定回路は、前記１フレームの画像内での前記検査画像領域の座標位置を、前記入力画像信号におけるフレーム毎に変更することを特徴とする表示装置。
各種の情報を文字又は図形で表す画像信号を前記入力画像信号として生成するコントローラと、
前記故障検知信号に応じて故障が生じている旨をユーザに通知する通知回路と、を含み、
前記コントローラは、前記故障検知信号に応じて、前記文字又は図形の透過性を高めた画像信号を前記入力画像信号として生成することを特徴とする請求項３に記載の表示装置。