JPWO2016067529A1 - 画像処理装置、画像表示システム及びそれを備える車両並びに画像処理方法及びそれを実行させるプログラム - Google Patents

Abstract

画像処理装置は、第１の動きベクトル検出部と、第２の動きベクトル検出部と、第１の移動画像生成部と、第２の移動画像生成部と、補正画像生成部と、を備える。第１の動きベクトル検出部は、後フレームの画像から対象フレームの画像への動きを示す第１の動きベクトルを検出し、第２の動きベクトル検出部は、前フレームの画像から対象フレームの画像への動きを示す第２の動きベクトルを検出する。第１の移動画像生成部は、後フレームの画像のデータと第１の動きベクトルに基づいて第１の移動画像のデータを生成し、第２の移動画像生成部は、前フレームの画像のデータと第２の動きベクトルに基づいて第２の移動画像のデータを生成する。補正画像生成部は、対象フレームの画像、第１の移動画像及び第２の移動画像のデータに基づいて、対象フレームの画像が補正された補正画像のデータを生成する。

Description

本開示は、撮像装置により撮像され生成された動画データを処理する画像処理技術に関する。

車両に搭載され、その車両の前方または後方の交通状況を撮影し、表示画面に表示する装置が開発されている。例えば、特許文献１は、車両に搭載される装置であって、撮像した画像から雪や雨等の視界を妨げる物体を除去できる画像処理装置を開示している。特許文献１の画像処理装置は、撮影手段から出力される画像のデータについて補正を行うか否かを判定し、画像のデータ中で、空中を浮遊または落下する所定の物体である妨害物体に対応する画素を検出し、検出した妨害物体の画素を他の画素と置き換え、画素が置き換えられた画像のデータを出力する。

国際公開第２００６／１０９３９８号

近年、車両のヘッドライトや信号機の発光素子として、ＬＥＤ（発光ダイオード）素子が普及してきている。一般にＬＥＤ素子は所定の駆動周期で駆動される。一方、車両に搭載されて画像を撮像するカメラは、通常６０Ｈｚ程度の撮像周期を有する。

ＬＥＤ素子の駆動周期とカメラ（撮像装置）の撮像周期が異なっている場合、周期の差異に起因して、ＬＥＤ素子が点灯と消灯を繰り返している状態すなわちＬＥＤ素子のフリッカが撮像されてしまう。

本開示は、撮像された動画データにおいてフリッカ等を低減できる画像処理装置を提供する。

本開示の第１の態様において、画像処理装置が提供される。画像処理装置は、第１の動きベクトル検出部と、第２の動きベクトル検出部と、第１の移動画像生成部と、第２の移動画像生成部と、補正画像生成部と、を備える。第１の動きベクトル検出部は、対象フレームの後のフレームである後フレームの画像から対象フレームの画像への動きを示す第１の動きベクトルを検出し、第２の動きベクトル検出部は、対象フレームの前のフレームである前フレームの画像から対象フレームの画像への動きを示す第２の動きベクトルを検出する。第１の移動画像生成部は、後フレームの画像のデータと第１の動きベクトルに基づいて、第１の移動画像のデータを生成し、第２の移動画像生成部は、前フレームの画像のデータと第２の動きベクトルに基づいて、第２の移動画像のデータを生成する。補正画像生成部は、対象フレームの画像のデータと第１の移動画像のデータと第２の移動画像のデータとに基づいて、対象フレームの画像が補正された補正画像のデータを生成する。

本開示の第２の態様において、画像表示システムが提供される。画像表示システムは、フレーム単位で画像を撮像し、画像データを生成する撮像装置と、撮像装置から、画像データを入力する上記の画像処理装置と、画像処理装置が生成した補正画像のデータが示す画像を表示する表示装置と、を備える。

本開示の第３の態様において、画像処理方法が提供される。画像処理方法は、第１の動きベクトルを検出するステップと、第２の動きベクトルを検出するステップと、第１の移動画像のデータを生成するステップと、第２の移動画像のデータを生成するステップと、補正画像のデータを生成し、出力するステップと、を含む。第１の動きベクトルは、対象フレームの後のフレームである後フレームの画像から対象フレームの画像への動きを示し、第２の動きベクトルは、対象フレームの前のフレームである前フレームの画像から対象フレームの画像への動きを示す。第１の移動画像のデータは、後フレームの画像のデータと第１の動きベクトルに基づいて、生成され、第２の移動画像のデータは、前フレームの画像のデータと第２の動きベクトルに基づいて、生成される。補正画像のデータは、対象フレームの画像のデータと第１の移動画像のデータと第２の移動画像のデータとに基づいて、対象フレームの画像が補正されて生成される。

本開示の画像処理装置によれば、撮像された動画データにおいてフリッカ等を低減できる。例えば、被写体である発光素子（ＬＥＤ素子）の駆動周期と撮像装置の撮像周期が異なる場合であっても、発光素子のフリッカを低減した動画データを生成できる。

画像表示システムの構成を示す図 画像表示システムにおける画像処理装置の構成を示す図 画像表示システムにおける画像処理装置の他の構成（信頼性信号有り）を示す図 画像処理装置の動きベクトル検出部が検出する動きベクトルを説明するための図 画像処理装置によって実行される画像補正処理の考え方を説明するための図 画像処理装置の処理を示すフローチャート 画像補正処理を示すフローチャート 補正画像の生成を説明するための図 撮像画像（補正前）及び補正画像を示す図 雪が降っている状況を撮像した撮像画像を示す図 降っている雪が消去された補正画像を示す図 画像表示システムを搭載した車両を示す図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態）
１．構成
図１は、本開示にかかる画像表示システムの構成を示した図である。図１に示すように、画像表示システム１００は、撮像装置１０と、画像処理装置２０と、表示装置３０とを備える。

撮像装置１０は、被写体像を形成する光学系と、所定の撮像周期で被写体の光学情報を電気信号に変換する画像センサと、画像センサにより生成されたアナログ信号をデジタル信号に変換するＡＤ変換器とを含む。すなわち、撮像装置１０は、光学系を介して入力した被写体の光学情報から映像信号（デジタル信号）を生成して出力する。撮像装置１０は、所定の撮像周期のフレーム単位で映像信号（動画データ）を出力する。撮像装置１０は、例えばデジタルビデオカメラであり、画像センサは、例えばＣＣＤやＣＭＯＳイメージセンサで構成される。

画像処理装置２０は、撮像装置１０から受信した映像信号に対して画像補正処理を実施する電子回路を含む。画像処理装置２０の全部または一部は、画像補正処理を実行するように設計された１つまたは複数の集積回路（ＬＳＩ、ＶＬＳＩ等）で構成されてもよい。または、画像処理装置２０は、ＣＰＵまたはＭＰＵとＲＡＭを含み、所定のプログラムをＣＰＵ等が実行することで画像補正処理を実現するようにしてもよい。画像補正処理の詳細は後述する。

表示装置３０は、画像処理装置２０からの映像信号を表示する装置である。表示装置３０は、液晶表示（ＬＣＤ）パネルや有機ＥＬディスプレイパネルのような表示素子と、それを駆動する回路とを含む。

１．１ 画像処理装置
図２Ａは、画像処理装置２０の構成を示す図である。画像処理装置２０は、フレーム保持部２１と、動きベクトル検出部２３ａ、２３ｂと、移動画像生成部２５ａ、２５ｂと、補正画像生成部２７とを含む。フレーム保持部２１はフレームメモリ２１ａとフレームメモリ２１ｂを含む。

画像処理装置２０は撮像装置１０からフレーム単位で映像信号を入力する。画像処理装置２０に入力された映像信号は、まずフレーム保持部２１におけるフレームメモリ２１ａ、２１ｂに順次格納される。フレームメモリ２１ａは、入力された映像信号よりも１フレーム分だけ前に撮像された映像信号を格納し、フレームメモリ２１ｂは、フレームメモリ２１ａに格納された映像信号よりも１フレーム分だけ前に撮像された映像信号を格納する。すなわち、画像処理装置２０に対してｎ番目のフレームの映像信号が入力されたタイミングにおいて、フレームメモリ２１ａはｎ−１番目のフレームの映像信号を格納し、フレームメモリ２１ｂはｎ−２番目のフレームの映像信号を格納している。なお、以下の説明では、ｔ−１、ｔ、ｔ＋１番目のフレームをそれぞれ「フレームｔ−１」、「フレームｔ」、「フレームｔ＋１」と称す。

動きベクトル検出部２３ａは、入力映像信号が示すフレームの画像から、入力映像信号が示すフレームよりも１フレーム分前の画像への動きを示す動きベクトルを検出し、その検出結果を示す動きベクトル信号１を出力する。動きベクトル検出部２３ｂは、入力映像信号が示すフレームよりも２フレーム分前の画像から入力映像信号が示すフレームよりも１フレーム分前の画像への動きを示す動きベクトルを検出し、その検出結果を示す動きベクトル信号２を出力する。動きベクトルは、画像の全領域において、分割された所定サイズ（例えば１６×１６画素）のブロック領域毎に検出される。

図２Ａに示すように、動きベクトル検出部２３ａには、フレームメモリ２１ａからフレームｔの映像信号が入力され、撮像装置１０からフレームｔ＋１の映像信号が入力される。そして、動きベクトル検出部２３ａは、フレームｔ＋１の画像からフレームｔの画像への動きを示す動きベクトル１を検出し、その検出結果を示す動きベクトル信号１を出力する。また、動きベクトル検出部２３ｂには、フレームメモリ２１ｂからフレームｔ−１の映像信号が入力され、フレームメモリ２１ａからフレームｔの映像信号が入力される。そして、動きベクトル検出部２３ｂは、フレームｔ―１の画像からフレームｔの画像への動きを示す動きベクトル２を検出し、その検出結果を示す動きベクトル信号２を出力する。

図３は、画像処理装置２０の動きベクトル検出部２３ａ、２３ｂが検出する動きベクトル１、２を説明するための図である。例えば、撮像装置１０から画像処理装置２０には、図３に示すように、フレームｔ−１、フレームｔ、フレームｔ＋１の時間順で撮像画像５０、５１、５２が入力される。図３では、フレームｔの撮像画像５１において、ヘッドライトの駆動周期と撮像装置１０の撮像周期の違いから、車両の右側ヘッドライトが消灯している画像が撮像される場合を示している。そして、画像処理装置２０にフレームｔ＋１の画像の映像信号が入力されたときに、動きベクトル検出部２３ａは、フレームｔ＋１の画像からフレームｔの画像への動きを示す動きベクトルを検出し、その検出結果を示す動きベクトル信号１を出力する。動きベクトル検出部２３ｂは、フレームｔ−１の画像からフレームｔの画像への動きを示す動きベクトルを検出し、その検出結果を示す動きベクトル信号２を出力する。

なお、動きベクトルの検出技術は公知の方法が使用できる。例えば、一方のフレーム画像において所定サイズ（例えば、１６×１６画素）の元ブロック領域を定義し、他方のフレーム画像において、その元ブロック領域の画像と類似する画像の領域を移動先のブロック領域として求める。具体的には、２つのフレーム画像間での画素値の差分の合計値を求め、他方のフレーム画像において画素値の差分の合計値が最も小さくなるブロック領域を移動先のブロック領域として求める。この移動先のブロック領域に基づき、元ブロック領域が示す画像領域の動きの方向（ベクトル）を検出することができる。

また、図２Ｂに示す画像処理装置２０の他の構成のように、動きベクトル検出部２３ａ、２３ｂはそれぞれ、動きベクトル信号１、２に加えて、動きベクトル信号１、２の信頼性を示す信頼性信号１、２を出力することもできる。例えば、動きベクトルを検出する際に算出した２つのフレーム間の画素値の差分の合計値が大きい場合には，動きベクトルの信頼性は低いと考えられる。このため、動きベクトル検出部２３ａ、２３ｂはそれぞれ、動きベクトル信号１、２の信頼性の程度を示す信頼性信号１、２を出力する。信頼性信号１、２もブロック領域毎に出力される。

図２Ａに示すように、移動画像生成部２５ａには、動きベクトル検出部２３ａから動きベクトル信号１が入力され、撮像装置１０からフレームｔ＋１の映像信号が入力される。また、移動画像生成部２５ｂには、動きベクトル検出部２３ｂから動きベクトル信号２が入力され、フレームメモリ２１ｂからフレームｔ−１の映像信号が入力される。そして、画像処理装置２０にフレームｔ＋１の映像信号が入力されたとき、移動画像生成部２５ａは、フレームｔ＋１の映像信号と動きベクトル信号１とに基づき第１の移動画像を生成し、生成した第１の移動画像を示す移動映像信号１を出力する。また、このとき、移動画像生成部２５ｂは、フレームｔ−１の映像信号と動きベクトル信号２とに基づき第２の移動画像を生成し、生成した第２の移動画像を示す移動映像信号２を出力する。

図４は、画像処理装置２０によって実行される画像補正処理の考え方を説明するための図である。図４では、図３で示したように、撮像装置１０から画像処理装置２０に、フレームｔ−１の撮像画像５０、フレームｔの撮像画像５１、フレームｔ＋１の撮像画像５２がこの順で入力される場合を示している。図４に示すように、移動画像生成部２５ａは、フレームｔ＋１の撮像画像５２の各領域（ブロック）を動きベクトル１に基づいて移動させ、これにより第１の移動画像である移動画像５２ｂを生成する。すなわち、移動画像５２ｂは、フレームｔ＋１の撮像画像５２からフレームｔの撮像画像５１への動きに基づいて、撮像画像５２から生成された画像である。移動画像５２ｂは、フレームｔ＋１の撮像画像５２に基づいて生成されたフレームｔにおける画像であると言える。

また、図４に示すように、移動画像生成部２５ｂは、フレームｔ−１の撮像画像５０の各領域（ブロック）を動きベクトル２に基づいて移動させ、これにより第２の移動画像である移動画像５０ｂを生成する。すなわち、移動画像５０ｂは、フレームｔ−１の撮像画像５０からフレームｔの撮像画像５１への動きに基づいて、撮像画像５０から生成された画像である。移動画像５０ｂは、フレームｔ−１の撮像画像５０に基づいて生成されたフレームｔにおける画像であると言える。

図２Ａに戻り、補正画像生成部２７は、あるフレームの画像をその前後のフレームの画像を用いて補正し、補正した画像を示す出力映像信号を出力する。具体的には、補正画像生成部２７は、フレームｔの画像を、その前のフレームｔ−１の画像とその後のフレームｔ＋１の画像に基づいて補正し、補正したフレームｔの画像を示す出力映像信号を出力する。より詳細には、図２Ａに示すように、補正画像生成部２７には、フレームｔの映像信号、移動画像信号１、２が入力される。そして、図４に示すように、補正画像生成部２７は、移動画像信号１の移動画像５０ｂと移動画像信号２の移動画像５２ｂとに基づいて、フレームｔの撮像画像５１から補正画像５１ａを生成し、補正画像を示す出力映像信号を出力する。補正画像生成部２７の処理の詳細は後述する。

２．動作
以上のように構成される画像表示システム１００の動作を説明する。撮像装置１０は、所定の撮像周期で被写体の画像（動画）を撮像し、映像信号を生成して出力する。画像処理装置２０は、撮像装置１０から入力した映像信号に基づき補正処理（画像処理）を行う。表示装置３０は画像処理装置２０から入力した映像信号を表示する。特に、本実施の形態の画像表示システム１００では、画像処理装置２０は、補正対象のフレーム（以下「対象フレーム」と称す）の画像に対して、その前後のフレームの画像を用いて補正処理を行う。

以下、図５のフローチャートを参照して画像処理装置２０における処理について説明する。なお、以下の説明では、図３及び図４に示したように、フレームｔ＋１の撮像画像５２を示す映像信号を入力した状態において、フレームｔを対象フレームとした動作を説明する。

画像処理装置２０は、撮像装置１０から映像信号（フレームｔ−１、ｔ、ｔ＋１）を入力する（ステップＳ１１）。入力した映像信号はフレーム単位でフレームメモリ２１ａ、２１ｂに順次格納される。すなわち、フレームメモリ２１ａは、入力した撮像画像５２の映像信号（フレームｔ＋１）よりも１フレーム前の撮像画像５１に対する映像信号（フレームｔ）を格納し、フレームメモリ２１ｂは、入力した映像信号（フレームｔ＋１）よりも２フレーム前の撮像画像５０に対する映像信号（フレームｔ−１）を格納する。これにより遅延画像のデータが生成される（ステップＳ１２）。

次に、動きベクトル検出部２３ａ、２３ｂが、処理対象であるフレームｔの撮像画像５１の前後のフレームｔ−１、ｔ＋１の撮像画像５０、５２について、フレームｔの撮像画像５１に対する動きベクトル１、２の検出を行う（ステップＳ１３）。

具体的には、動きベクトル検出部２３ａは、図３に示すように、フレームｔ＋１の撮像画像５２からフレームｔの撮像画像５１への動きを示す動きベクトル１を検出し、その検出結果を示す動きベクトル信号１を出力する。また、動きベクトル検出部２３ｂは、フレームｔ−１の撮像画像５０からフレームｔの撮像画像５１への動きを示す動きベクトル２を検出し、その検出結果を示す動きベクトル信号２を出力する。

その際、図２Ｂに示す画像処理装置２０の他の構成のように、動きベクトル検出部２３ａ、２３ｂはそれぞれ、動きベクトル信号１、２に加えて、動きベクトル信号の信頼性を示す信頼性信号１、２を出力することもできる。

次に、移動画像生成部２５ａ、２５ｂは、フレームｔ＋１、フレームｔ−１の画像データから、それぞれの動きベクトル１、２に基づいて移動画像５０ｂ、５２ｂのデータを生成する（ステップＳ１４）。

具体的には、移動画像生成部２５ａは、フレームｔ＋１の撮像画像５２のデータと動きベクトル信号１とに基づき移動画像５２ｂのデータを生成し、生成した移動画像５２ｂのデータを含む移動映像信号１を出力する。移動画像生成部２５ｂは、フレームｔ−１の撮像画像５０のデータと動きベクトル信号２とに基づき移動画像５０ｂのデータを生成し、生成した移動画像５０ｂのデータを含む移動映像信号２を出力する（図２Ａ〜４参照）。

次に、補正画像生成部２７は、補正対象であるフレームｔの撮像画像５１のデータと、移動画像５０ｂ、５２ｂのデータとを用いてフレームｔの撮像画像５１に対する補正画像５１ａのデータを生成し（ステップＳ１５）、生成した補正画像５１ａのデータを含む出力映像信号を表示装置３０に出力する（ステップＳ１６）。

図６は、補正画像５１ａの生成処理（ステップＳ１５）の詳細を示すフローチャートである。図６は、図２Ｂに示すように、画像処理装置２０が、動きベクトル検出部２３ａ、２３ｂから補正画像生成部２７に信頼性信号１、２が入力される構成を有する場合のフローチャートである。

補正画像生成部２７は、まず、第１番目の画素（画像領域の左上端の画素）を、処理対象の画素として設定する（ステップＳ３０）。以下に説明する一連の処理（ステップＳ３１〜Ｓ３８）は、画素毎に実施される。なお、本実施の形態では、画像領域の左上端の画素から右下の画素に向かって、左から右へかつ上から下へ向かう順に処理対対象の画素を設定するものとする。

補正画像生成部２７は、フレームｔ−１の撮像画像５０について、信頼性信号２に基づき、処理対象の画素に対する動きベクトル２（すなわち、当該画素を含むブロック領域に関する動きベクトル信号２）が信頼性を有するか否かを判断する（ステップＳ３１）。信頼性の有無の判断では、信頼性信号２が示す値が所定値以上である場合に、動きベクトル２が信頼性を有すると判断される。動きベクトル２が信頼性を有する場合（ステップＳ３１でＹＥＳ）、処理対象の画素に対して、フレームｔ−１に基づく移動画像５０ｂを第１の出力候補Ｃ１に設定する（ステップＳ３２）。

一方、動きベクトル２が信頼性を有していない場合（ステップＳ３１でＮＯ）、フレームｔの撮像画像５１を第１の出力候補Ｃ１に設定する（ステップＳ３３）。信頼性のない動きベクトル２に基づいて生成された移動画像５０ｂは信頼性がない（有効でない）と考えられるため、この場合は、第１の出力候補Ｃ１としてフレームｔの撮像画像５１を使用する。

なお、図２Ａに示す画像処理装置２０のように、補正画像生成部２７に信頼性信号２が入力されない場合は、ステップＳ３１での判断をすることなく無条件にステップＳ３２に進み、フレームｔ−１に基づく移動画像５０ｂを第１の出力候補Ｃ１に設定する。

次に、処理対象の画素に対して、フレームｔの撮像画像５１を第２の出力候補Ｃ２に設定する（ステップＳ３４）。

次に、補正画像生成部２７は、フレームｔ＋１の撮像画像５２について、信頼性信号１に基づき、処理対象の画素に対する動きベクトル１（すなわち、当該画素を含むブロック領域に関する動きベクトル信号１）が信頼性を有するか否かを判断する（ステップＳ３５）。信頼性の有無の判断では、信頼性信号１が示す値が所定値以上である場合に、動きベクトル１が信頼性を有すると判断される。動きベクトル１が信頼性を有する場合（ステップＳ３５でＹＥＳ）、処理対象の画素に対して、フレームｔ＋１に基づく移動画像５２ｂを第３の出力候補Ｃ３に設定する（ステップＳ３６）。

一方、動きベクトル１が信頼性を有していない場合（ステップＳ３５でＮＯ）、フレームｔの撮像画像５１を第３の出力候補Ｃ３に設定する（ステップＳ３７）。信頼性のない動きベクトルに基づいて生成された移動画像５２ｂは信頼性がない（有効でない）と考えられるため、この場合は、第３の出力候補Ｃ３としてフレームｔの撮像画像５１を使用する。

なお、図２Ａに示す画像処理装置２０のように、補正画像生成部２７に信頼性信号１が入力されない場合は、ステップＳ３５での判断をすることなく無条件にステップＳ３６に進み、フレームｔ＋１に基づく移動画像５２ｂを第３の出力候補Ｃ３に設定する。

以上のように、基本的には、第１の出力候補Ｃ１として、フレームｔ−１に基づく移動画像５０ｂを使用し、第３の出力候補Ｃ３として、フレームｔ＋１に基づく移動画像５２ｂを使用する。しかし、移動画像５０ｂまたは５２ｂの信頼性がない場合には、第１の出力候補Ｃ１または第３の出力候補Ｃ３として、フレームｔの撮像画像５１を使用する。

その後、補正画像生成部２７は、第１〜第３の出力候補Ｃ１〜Ｃ３の画像データ（すなわち、フレームｔの撮像画像５１及び移動画像５０ｂ、５２ｂ）を参照しながら、補正画像５１ａの処理対象の画素の画素値を決定する（ステップＳ３８）。具体的には、補正画像生成部２７は、図７に示すように、第１〜第３の出力候補Ｃ１〜Ｃ３の３つの画像間において、画素単位で輝度値を比較し、２番目に明るい（又は暗い）輝度を有する画素の画素値を、補正画像５１ａにおける当該画素の画素値として採用する。このようにして、補正画像における各画素の画素値が決定される。まとめると、第１〜第３の出力候補Ｃ１〜Ｃ３間における画素の輝度値と、画素値として採用される出力候補Ｃ１〜Ｃ３との関係は、下記表１のとおりとなる。

上記処理を画像の全ての画素について行うことで（ステップＳ３９、Ｓ４０）、補正画像５１ａを生成する。

以上のように、本実施の形態では、処理対象であるフレームｔの撮像画像５１に対して、フレームｔの撮像画像５１（第２の出力候補）と、その前後のフレームｔ−１、ｔ＋１から動きベクトルを考慮して生成した移動画像５０ｂ、５２ｂ（第１、第３の出力候補Ｃ１、Ｃ３）とから補正画像５１ａを生成する。これにより、連続する３つのフレームにおいて、処理対象のフレームｔにおけるある画素の輝度が、その前後のフレームｔ−１、ｔ＋１における対応する画素の輝度と大きく異なる画像が撮像された場合に、処理対象のフレームｔのその画素の画素値をその前後のフレームの画素値で置換し補正することができる。

ここで、本実施の形態では、図６のステップＳ３８、表１に示したように、第１〜第３の出力候補Ｃ１〜Ｃ３の３つの画像において中間（最小値と最大値の間）の輝度値を有する画素の画素値を補正画像５１ａの画素値として採用している。このように中間（最小値と最大値の間）の輝度値を有する画素の画素値を補正画像５１ａの画素値として採用した場合、元の撮像画像５１が正しく本画像処理による補正が誤っている場合であっても、誤った補正による画像への影響の程度を小さくできるという利点がある。しかし、そのような点が問題とならないのであれば、第１〜第３の出力候補Ｃ１〜Ｃ３の３つの画像において最大の輝度値を有する画素の画素値を補正画像５１ａの画素値として採用してもよい。

以上の構成により、例えば、フレームｔのある画素の輝度が低く、その前後のフレームｔ−１、ｔ＋１の対応する画素の輝度が高い場合、フレームｔのその画素の輝度は高い輝度に補正される。逆に、フレームｔのある画素の輝度が高く、その前後のフレームｔ−１、ｔ＋１の対応する画素の輝度が低い場合、フレームｔのその画素の輝度は低い輝度に補正される。これにより、フレーム間での輝度の変化を平滑化できる。

例えば、ＬＥＤ素子を含むヘッドライトを撮像した場合、ＬＥＤ素子の駆動周期と撮像装置の撮像周期の違いから、図８の撮像画像（補正前）に示すように、一部のフレーム（フレームｔ）のみ、ヘッドライトが消灯した状態（図８のＡ部）の画像が撮像される場合がある。このような場合であっても、本実施の形態の画像表示システム１００によれば、図８の補正画像に示すように、フレームｔの撮像画像５１が、その前後のフレームｔ−１、ｔ＋１の撮像画像５０、５２に基づいて、ヘッドライトが点灯した状態（図８のＢ部）の画像に補正される。これにより、連続した３つのフレームｔ−１、ｔ、ｔ＋１の画像全てにおいて、ヘッドライトが点灯し、フリッカを低減することができる。

なお、上記の実施の形態では、フレームｔ−１，ｔ，ｔ＋１の３つのフレームを用いて補正処理を行ったが、補正処理に用いるフレームの数は３つに限定されない。例えば、処理対象のフレームｔの前後２フレームずつを用いて補正処理を行っても良い。すなわち、フレームｔ−２，ｔ−１，ｔ，ｔ＋１，ｔ＋２の５つのフレームを用いて補正処理を行ってもよいし、より多くの数のフレーム数を用いてもよい。

また、補正処理において対象フレームとともに用いるフレームは、必ずしも、対象フレームと連続したフレームすなわち処理対象であるフレームｔの直前及び直後のフレームｔ−１、ｔ＋１である必要はない。例えば、処理対象であるフレームｔの２つ前のフレームｔ−２と、２つ後のフレームｔ＋２とを用いて補正処理を行ってもよい。すなわち、補正処理において、対象フレームとともに、対象フレームより前の少なくとも１つのフレームと、対象フレームより後の少なくとも１つのフレームとを用いればよい。撮像対象である発光素子等の駆動周期によっては、対象フレームの直前及び直後のフレームではなく、より時間的に離れたフレーム（例えば、フレームｔ−２、ｔ＋２）を用いた方が補正処理の効果が奏される場合がある。ただし、動きベクトル検出部２３ａ、２３ｂが検出する動きベクトル１、２の信頼性は、直前及び直後のフレームを用いた場合の方が高い傾向にある。また、補正処理に用いる前後フレームが対象フレームから時間的に離れるにつれ、図２Ａに示すフレーム保持部２１が保持する必要があるフレームの数が多くなるため、直前及び直後のフレームを用いた場合の方が、画像処理装置２０における回路の負荷は小さくなる傾向にある。

また、本実施の形態の画像処理装置２０の処理を適用することで、図９Ａに示すような雪が降っている状況を撮像した画像から、図９Ｂに示すような降っている雪を消去した補正画像を生成することができる。すなわち、撮像画像において雪などの視認性を低下させる物体を消去することもできる。この場合、動きベクトルを検出するブロック領域は、降っている雪の粒子の動きベクトルを検出しないように、雪の粒子に比して十分に大きなサイズに設定される。また、この場合は、図６のフローチャートのステップＳ３８、表１において、第１〜第３の出力候補Ｃ１〜Ｃ３のうち、中間（２番目）の輝度値を有する画素の画素値に代えて最小の輝度値を有する画素の画素値を、補正画像の画素値として採用してもよい。

３．効果、等
本実施の形態の画像処理装置２０は、動きベクトル検出部２３ａと、動きベクトル検出部２３ｂと、移動画像生成部２５ａと、移動画像生成部２５ｂと、補正画像生成部２７と、を備える。動きベクトル検出部２３ａは、フレームｔの後のフレームであるフレームｔ＋１の撮像画像５２からフレームｔの撮像画像５１への動きを示す動きベクトル１を検出し、動きベクトル検出部２３ｂは、フレームｔの前のフレームであるフレームｔ−１の撮像画像５０からフレームｔの撮像画像５１への動きを示す動きベクトル２を検出する。移動画像生成部２５ａは、フレームｔ＋１の撮像画像５２のデータと動きベクトル１に基づいて、移動画像５２ｂのデータを生成し、移動画像生成部２５ｂは、フレームｔ−１の撮像画像５０のデータと動きベクトル２に基づいて、移動画像５０ｂのデータを生成する。補正画像生成部２７は、フレームｔの撮像画像５１のデータと移動画像５２ｂのデータと移動画像５０ｂのデータとに基づいて、フレームｔの撮像画像５１が補正された補正画像５１ａのデータを生成する。

本実施の形態の画像表示システム１００は、フレーム単位で画像を撮像し、画像データを生成する撮像装置１０と、撮像装置１０から、画像データを入力する画像処理装置２０と、画像処理装置２０が生成した補正画像５１ａのデータが示す画像を表示する表示装置３０と、を備える。

本実施の形態で開示される画像処理方法は、動きベクトル１を検出するステップと、動きベクトル２を検出するステップと、移動画像５２ｂのデータを生成するステップと、移動画像５０ｂのデータを生成するステップと、補正画像５１ａのデータを生成し、出力するステップと、を含む。動きベクトル１は、フレームｔの後のフレームであるフレームｔ＋１の撮像画像５２からフレームｔの撮像画像５１への動きを示し、動きベクトル２は、フレームｔの前のフレームであるフレームｔ−１の撮像画像５０からフレームｔの撮像画像５１への動きを示す。移動画像５２ｂのデータは、フレームｔ＋１の撮像画像５２のデータと動きベクトル１に基づいて、生成され、移動画像５０ｂのデータは、フレームｔ−１の撮像画像５０のデータと動きベクトル２に基づいて、生成される。補正画像５１ａのデータは、フレームｔの撮像画像５１のデータと移動画像５２ｂのデータと移動画像５０ｂのデータとに基づいて、フレームｔの撮像画像５１が補正されて生成される。

また、本実施の形態で開示される画像処理方法は、コンピュータに実行させるために、上記各ステップを記載したプログラムとすることができる。

本実施の形態の画像処理装置２０及び画像処理方法によれば、前後のフレームの画像データを用いて対象フレームの画像データを補正することで、これらフレーム間で相関のある画素について１フレームだけ異なる輝度を有する画素を補正することができる。これにより、例えば、被写体である発光素子（ＬＥＤ素子）の駆動周期と撮像装置１０の撮像周期が異なることに起因して発生し得るフリッカを低減した映像を生成することができる。また、雪等の視認性を低下させる物体を消去した映像も生成することができる。

なお、上記の実施の形態で示した撮像装置１０、画像処理装置２０、表示装置３０はそれぞれ、本開示の撮像装置、画像処理装置および表示装置の一例である。フレーム保持部２１はフレーム保持部の一例である。動きベクトル検出部２３ａ、２３ｂは動きベクトル検出部の一例である。移動画像生成部２５ａ、２５ｂは移動画像生成部の一例である。補正画像生成部２７は補正画像生成部の一例である。また、フレームｔは対象フレームの一例であり、フレームｔ−１は前フレームの一例であり、フレームｔ＋１は後フレームの一例である。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。以下、他の実施の形態を例示する。

上記の実施の形態の画像処理装置２０による画像処理は、ＬＥＤヘッドライトのみならず、ＬＥＤ素子で構成された信号機を撮像した画像に対しても有効である。すなわち、撮像装置１０の撮像周期と異なる周期で駆動される発光素子を含む装置を撮像する場合に有効である。

上記の実施の形態では、動きベクトルを検出するブロック領域のサイズを固定としたが、補正されるオブジェクト（ＬＥＤ、信号機等）の大きさに応じて可変してもよい。補正されるオブジェクトの大きさとブロック領域の大きさの差が小さい場合は、そのオブジェクトを含むブロック領域について、動きベクトルの検出が正しくできない場合がある。よって、補正されるオブジェクトを含むブロック領域の動きベクトルを精度良く検出できるように、当該オブジェクトに対してブロック領域のサイズを十分に大きくしてもよい。例えば、撮像画像から車両のヘッドライトの領域を検出し、その検出した領域のサイズに応じてブロック領域のサイズを大きくするようにしてもよい。

上記の実施の形態では、撮像画像の全体について画像処理装置２０による画像処理を適用したが、撮像画像の一部の領域のみに適用してもよい。例えば、画像において所定のオブジェクト（例えば、車両、ヘッドライト、信号機）の領域を検出し、検出したオブジェクトの領域に対してのみ上記の画像処理を実施するようにしてもよい。これにより、本来補正する必要のない領域に対して誤って画像を補正してしまうことを低減できる。

上記の実施の形態の画像表示システム１００は例えば車両に搭載されてもよい。図１０は、画像表示システム１００を搭載した車両２００の構成を示す。この場合、撮像装置１０は車両２００の後部に取り付けられて車両後方の状況を撮像する。表示装置３０及び画像処理装置２０はルームミラー内に組み込まれてもよい。その場合、ルームミラーは、表示装置３０をオンしたときは、撮像装置１０で撮像された画像が表示装置３０に表示されるようにし、表示装置３０がオフのときは、鏡によって車両２００の後方の状況を視認できるように構成されてもよい。車両２００の運転者は、表示装置３０の画像を確認することで車両後方の状況を確認できる。

また、上記の実施の形態の画像処理装置２０は、車両に搭載されるドライブレコーダに対しても適用できる。この場合、画像処理装置２０から出力される映像信号は、ドライブレコーダの記録媒体（ハードディスク、半導体メモリデバイス等）に記録される。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、撮像装置により画像を撮像し、撮像した画像を表示装置に表示または記録媒体に記録する装置、例えば、車両に搭載されるルームミラー型表示装置やドライブレコーダ等に適用できる。

１０ 撮像装置
２０ 画像処理装置
２１ フレーム保持部
２１ａ，２１ｂ フレームメモリ
２３ａ，２３ｂ 動きベクトル検出部
２５ａ，２５ｂ 移動画像生成部
２７ 補正画像生成部
３０ 表示装置
５０，５１，５２ 撮像画像
５０ｂ，５２ｂ 移動画像
５１ａ 補正画像
１００ 画像表示システム
２００ 車両
Ｃ１〜Ｃ３ 出力候補

本開示は、撮像装置により撮像され生成された動画データを処理する画像処理技術に関する。

車両に搭載され、その車両の前方または後方の交通状況を撮影し、表示画面に表示する装置が開発されている。例えば、特許文献１は、車両に搭載される装置であって、撮像した画像から雪や雨等の視界を妨げる物体を除去できる画像処理装置を開示している。特許文献１の画像処理装置は、撮影手段から出力される画像のデータについて補正を行うか否かを判定し、画像のデータ中で、空中を浮遊または落下する所定の物体である妨害物体に対応する画素を検出し、検出した妨害物体の画素を他の画素と置き換え、画素が置き換えられた画像のデータを出力する。

国際公開第２００６／１０９３９８号

近年、車両のヘッドライトや信号機の発光素子として、ＬＥＤ（発光ダイオード）素子が普及してきている。一般にＬＥＤ素子は所定の駆動周期で駆動される。一方、車両に搭載されて画像を撮像するカメラは、通常６０Ｈｚ程度の撮像周期を有する。

ＬＥＤ素子の駆動周期とカメラ（撮像装置）の撮像周期が異なっている場合、周期の差異に起因して、ＬＥＤ素子が点灯と消灯を繰り返している状態すなわちＬＥＤ素子のフリッカが撮像されてしまう。

本開示は、撮像された動画データにおいてフリッカ等を低減できる画像処理装置を提供する。

本開示の第１の態様において、画像処理装置が提供される。画像処理装置は、第１の動きベクトル検出部と、第２の動きベクトル検出部と、第１の移動画像生成部と、第２の移動画像生成部と、補正画像生成部と、を備える。第１の動きベクトル検出部は、対象フレームの後のフレームである後フレームの画像から対象フレームの画像への動きを示す第１の動きベクトルを検出し、第２の動きベクトル検出部は、対象フレームの前のフレームである前フレームの画像から対象フレームの画像への動きを示す第２の動きベクトルを検出する。第１の移動画像生成部は、後フレームの画像のデータと第１の動きベクトルに基づいて、第１の移動画像のデータを生成し、第２の移動画像生成部は、前フレームの画像のデータと第２の動きベクトルに基づいて、第２の移動画像のデータを生成する。補正画像生成部は、対象フレームの画像のデータと第１の移動画像のデータと第２の移動画像のデータとに基づいて、対象フレームの画像が補正された補正画像のデータを生成する。

本開示の第２の態様において、画像表示システムが提供される。画像表示システムは、フレーム単位で画像を撮像し、画像データを生成する撮像装置と、撮像装置から、画像データを入力する上記の画像処理装置と、画像処理装置が生成した補正画像のデータが示す画像を表示する表示装置と、を備える。

本開示の第３の態様において、画像処理方法が提供される。画像処理方法は、第１の動きベクトルを検出するステップと、第２の動きベクトルを検出するステップと、第１の移動画像のデータを生成するステップと、第２の移動画像のデータを生成するステップと、補正画像のデータを生成し、出力するステップと、を含む。第１の動きベクトルは、対象フレームの後のフレームである後フレームの画像から対象フレームの画像への動きを示し、第２の動きベクトルは、対象フレームの前のフレームである前フレームの画像から対象フレームの画像への動きを示す。第１の移動画像のデータは、後フレームの画像のデータと第１の動きベクトルに基づいて、生成され、第２の移動画像のデータは、前フレームの画像のデータと第２の動きベクトルに基づいて、生成される。補正画像のデータは、対象フレームの画像のデータと第１の移動画像のデータと第２の移動画像のデータとに基づいて、対象フレームの画像が補正されて生成される。

本開示の画像処理装置によれば、撮像された動画データにおいてフリッカ等を低減できる。例えば、被写体である発光素子（ＬＥＤ素子）の駆動周期と撮像装置の撮像周期が異なる場合であっても、発光素子のフリッカを低減した動画データを生成できる。

画像表示システムの構成を示す図 画像表示システムにおける画像処理装置の構成を示す図 画像表示システムにおける画像処理装置の他の構成（信頼性信号有り）を示す図 画像処理装置の動きベクトル検出部が検出する動きベクトルを説明するための図 画像処理装置によって実行される画像補正処理の考え方を説明するための図 画像処理装置の処理を示すフローチャート 画像補正処理を示すフローチャート 補正画像の生成を説明するための図 撮像画像（補正前）及び補正画像を示す図 雪が降っている状況を撮像した撮像画像を示す図 降っている雪が消去された補正画像を示す図 画像表示システムを搭載した車両を示す図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態）
１．構成
図１は、本開示にかかる画像表示システムの構成を示した図である。図１に示すように、画像表示システム１００は、撮像装置１０と、画像処理装置２０と、表示装置３０とを備える。

撮像装置１０は、被写体像を形成する光学系と、所定の撮像周期で被写体の光学情報を電気信号に変換する画像センサと、画像センサにより生成されたアナログ信号をデジタル信号に変換するＡＤ変換器とを含む。すなわち、撮像装置１０は、光学系を介して入力した被写体の光学情報から映像信号（デジタル信号）を生成して出力する。撮像装置１０は、所定の撮像周期のフレーム単位で映像信号（動画データ）を出力する。撮像装置１０は、例えばデジタルビデオカメラであり、画像センサは、例えばＣＣＤやＣＭＯＳイメージセンサで構成される。

画像処理装置２０は、撮像装置１０から受信した映像信号に対して画像補正処理を実施する電子回路を含む。画像処理装置２０の全部または一部は、画像補正処理を実行するように設計された１つまたは複数の集積回路（ＬＳＩ、ＶＬＳＩ等）で構成されてもよい。または、画像処理装置２０は、ＣＰＵまたはＭＰＵとＲＡＭを含み、所定のプログラムをＣＰＵ等が実行することで画像補正処理を実現するようにしてもよい。画像補正処理の詳細は後述する。

表示装置３０は、画像処理装置２０からの映像信号を表示する装置である。表示装置３０は、液晶表示（ＬＣＤ）パネルや有機ＥＬディスプレイパネルのような表示素子と、それを駆動する回路とを含む。

１．１ 画像処理装置
図２Ａは、画像処理装置２０の構成を示す図である。画像処理装置２０は、フレーム保持部２１と、動きベクトル検出部２３ａ、２３ｂと、移動画像生成部２５ａ、２５ｂと、補正画像生成部２７とを含む。フレーム保持部２１はフレームメモリ２１ａとフレームメモリ２１ｂを含む。

画像処理装置２０は撮像装置１０からフレーム単位で映像信号を入力する。画像処理装置２０に入力された映像信号は、まずフレーム保持部２１におけるフレームメモリ２１ａ、２１ｂに順次格納される。フレームメモリ２１ａは、入力された映像信号よりも１フレーム分だけ前に撮像された映像信号を格納し、フレームメモリ２１ｂは、フレームメモリ２１ａに格納された映像信号よりも１フレーム分だけ前に撮像された映像信号を格納する。すなわち、画像処理装置２０に対してｎ番目のフレームの映像信号が入力されたタイミングにおいて、フレームメモリ２１ａはｎ−１番目のフレームの映像信号を格納し、フレームメモリ２１ｂはｎ−２番目のフレームの映像信号を格納している。なお、以下の説明では、ｔ−１、ｔ、ｔ＋１番目のフレームをそれぞれ「フレームｔ−１」、「フレームｔ」、「フレームｔ＋１」と称す。

動きベクトル検出部２３ａは、入力映像信号が示すフレームの画像から、入力映像信号が示すフレームよりも１フレーム分前の画像への動きを示す動きベクトルを検出し、その検出結果を示す動きベクトル信号１を出力する。動きベクトル検出部２３ｂは、入力映像信号が示すフレームよりも２フレーム分前の画像から入力映像信号が示すフレームよりも１フレーム分前の画像への動きを示す動きベクトルを検出し、その検出結果を示す動きベクトル信号２を出力する。動きベクトルは、画像の全領域において、分割された所定サイズ（例えば１６×１６画素）のブロック領域毎に検出される。

図２Ａに示すように、動きベクトル検出部２３ａには、フレームメモリ２１ａからフレームｔの映像信号が入力され、撮像装置１０からフレームｔ＋１の映像信号が入力される。そして、動きベクトル検出部２３ａは、フレームｔ＋１の画像からフレームｔの画像への動きを示す動きベクトル１を検出し、その検出結果を示す動きベクトル信号１を出力する。また、動きベクトル検出部２３ｂには、フレームメモリ２１ｂからフレームｔ−１の映像信号が入力され、フレームメモリ２１ａからフレームｔの映像信号が入力される。そして、動きベクトル検出部２３ｂは、フレームｔ―１の画像からフレームｔの画像への動きを示す動きベクトル２を検出し、その検出結果を示す動きベクトル信号２を出力する。

図３は、画像処理装置２０の動きベクトル検出部２３ａ、２３ｂが検出する動きベクトル１、２を説明するための図である。例えば、撮像装置１０から画像処理装置２０には、図３に示すように、フレームｔ−１、フレームｔ、フレームｔ＋１の時間順で撮像画像５０、５１、５２が入力される。図３では、フレームｔの撮像画像５１において、ヘッドライトの駆動周期と撮像装置１０の撮像周期の違いから、車両の右側ヘッドライトが消灯している画像が撮像される場合を示している。そして、画像処理装置２０にフレームｔ＋１の画像の映像信号が入力されたときに、動きベクトル検出部２３ａは、フレームｔ＋１の画像からフレームｔの画像への動きを示す動きベクトルを検出し、その検出結果を示す動きベクトル信号１を出力する。動きベクトル検出部２３ｂは、フレームｔ−１の画像からフレームｔの画像への動きを示す動きベクトルを検出し、その検出結果を示す動きベクトル信号２を出力する。

なお、動きベクトルの検出技術は公知の方法が使用できる。例えば、一方のフレーム画像において所定サイズ（例えば、１６×１６画素）の元ブロック領域を定義し、他方のフレーム画像において、その元ブロック領域の画像と類似する画像の領域を移動先のブロック領域として求める。具体的には、２つのフレーム画像間での画素値の差分の合計値を求め、他方のフレーム画像において画素値の差分の合計値が最も小さくなるブロック領域を移動先のブロック領域として求める。この移動先のブロック領域に基づき、元ブロック領域が示す画像領域の動きの方向（ベクトル）を検出することができる。

また、図２Ｂに示す画像処理装置２０の他の構成のように、動きベクトル検出部２３ａ、２３ｂはそれぞれ、動きベクトル信号１、２に加えて、動きベクトル信号１、２の信頼性を示す信頼性信号１、２を出力することもできる。例えば、動きベクトルを検出する際に算出した２つのフレーム間の画素値の差分の合計値が大きい場合には，動きベクトルの信頼性は低いと考えられる。このため、動きベクトル検出部２３ａ、２３ｂはそれぞれ、動きベクトル信号１、２の信頼性の程度を示す信頼性信号１、２を出力する。信頼性信号１、２もブロック領域毎に出力される。

図２Ａに示すように、移動画像生成部２５ａには、動きベクトル検出部２３ａから動きベクトル信号１が入力され、撮像装置１０からフレームｔ＋１の映像信号が入力される。また、移動画像生成部２５ｂには、動きベクトル検出部２３ｂから動きベクトル信号２が入力され、フレームメモリ２１ｂからフレームｔ−１の映像信号が入力される。そして、画像処理装置２０にフレームｔ＋１の映像信号が入力されたとき、移動画像生成部２５ａは、フレームｔ＋１の映像信号と動きベクトル信号１とに基づき第１の移動画像を生成し、生成した第１の移動画像を示す移動映像信号１を出力する。また、このとき、移動画像生成部２５ｂは、フレームｔ−１の映像信号と動きベクトル信号２とに基づき第２の移動画像を生成し、生成した第２の移動画像を示す移動映像信号２を出力する。

図４は、画像処理装置２０によって実行される画像補正処理の考え方を説明するための図である。図４では、図３で示したように、撮像装置１０から画像処理装置２０に、フレームｔ−１の撮像画像５０、フレームｔの撮像画像５１、フレームｔ＋１の撮像画像５２がこの順で入力される場合を示している。図４に示すように、移動画像生成部２５ａは、フレームｔ＋１の撮像画像５２の各領域（ブロック）を動きベクトル１に基づいて移動させ、これにより第１の移動画像である移動画像５２ｂを生成する。すなわち、移動画像５２ｂは、フレームｔ＋１の撮像画像５２からフレームｔの撮像画像５１への動きに基づいて、撮像画像５２から生成された画像である。移動画像５２ｂは、フレームｔ＋１の撮像画像５２に基づいて生成されたフレームｔにおける画像であると言える。

また、図４に示すように、移動画像生成部２５ｂは、フレームｔ−１の撮像画像５０の各領域（ブロック）を動きベクトル２に基づいて移動させ、これにより第２の移動画像である移動画像５０ｂを生成する。すなわち、移動画像５０ｂは、フレームｔ−１の撮像画像５０からフレームｔの撮像画像５１への動きに基づいて、撮像画像５０から生成された画像である。移動画像５０ｂは、フレームｔ−１の撮像画像５０に基づいて生成されたフレームｔにおける画像であると言える。

図２Ａに戻り、補正画像生成部２７は、あるフレームの画像をその前後のフレームの画像を用いて補正し、補正した画像を示す出力映像信号を出力する。具体的には、補正画像生成部２７は、フレームｔの画像を、その前のフレームｔ−１の画像とその後のフレームｔ＋１の画像に基づいて補正し、補正したフレームｔの画像を示す出力映像信号を出力する。より詳細には、図２Ａに示すように、補正画像生成部２７には、フレームｔの映像信号、移動画像信号１、２が入力される。そして、図４に示すように、補正画像生成部２７は、移動画像信号１の移動画像５０ｂと移動画像信号２の移動画像５２ｂとに基づいて、フレームｔの撮像画像５１から補正画像５１ａを生成し、補正画像を示す出力映像信号を出力する。補正画像生成部２７の処理の詳細は後述する。

２．動作
以上のように構成される画像表示システム１００の動作を説明する。撮像装置１０は、所定の撮像周期で被写体の画像（動画）を撮像し、映像信号を生成して出力する。画像処理装置２０は、撮像装置１０から入力した映像信号に基づき補正処理（画像処理）を行う。表示装置３０は画像処理装置２０から入力した映像信号を表示する。特に、本実施の形態の画像表示システム１００では、画像処理装置２０は、補正対象のフレーム（以下「対象フレーム」と称す）の画像に対して、その前後のフレームの画像を用いて補正処理を行う。

以下、図５のフローチャートを参照して画像処理装置２０における処理について説明する。なお、以下の説明では、図３及び図４に示したように、フレームｔ＋１の撮像画像５２を示す映像信号を入力した状態において、フレームｔを対象フレームとした動作を説明する。

画像処理装置２０は、撮像装置１０から映像信号（フレームｔ−１、ｔ、ｔ＋１）を入力する（ステップＳ１１）。入力した映像信号はフレーム単位でフレームメモリ２１ａ、２１ｂに順次格納される。すなわち、フレームメモリ２１ａは、入力した撮像画像５２の映像信号（フレームｔ＋１）よりも１フレーム前の撮像画像５１に対する映像信号（フレームｔ）を格納し、フレームメモリ２１ｂは、入力した映像信号（フレームｔ＋１）よりも２フレーム前の撮像画像５０に対する映像信号（フレームｔ−１）を格納する。これにより遅延画像のデータが生成される（ステップＳ１２）。

次に、動きベクトル検出部２３ａ、２３ｂが、処理対象であるフレームｔの撮像画像５１の前後のフレームｔ−１、ｔ＋１の撮像画像５０、５２について、フレームｔの撮像画像５１に対する動きベクトル１、２の検出を行う（ステップＳ１３）。

具体的には、動きベクトル検出部２３ａは、図３に示すように、フレームｔ＋１の撮像画像５２からフレームｔの撮像画像５１への動きを示す動きベクトル１を検出し、その検出結果を示す動きベクトル信号１を出力する。また、動きベクトル検出部２３ｂは、フレームｔ−１の撮像画像５０からフレームｔの撮像画像５１への動きを示す動きベクトル２を検出し、その検出結果を示す動きベクトル信号２を出力する。

その際、図２Ｂに示す画像処理装置２０の他の構成のように、動きベクトル検出部２３ａ、２３ｂはそれぞれ、動きベクトル信号１、２に加えて、動きベクトル信号の信頼性を示す信頼性信号１、２を出力することもできる。

次に、移動画像生成部２５ａ、２５ｂは、フレームｔ＋１、フレームｔ−１の画像データから、それぞれの動きベクトル１、２に基づいて移動画像５０ｂ、５２ｂのデータを生成する（ステップＳ１４）。

具体的には、移動画像生成部２５ａは、フレームｔ＋１の撮像画像５２のデータと動きベクトル信号１とに基づき移動画像５２ｂのデータを生成し、生成した移動画像５２ｂのデータを含む移動映像信号１を出力する。移動画像生成部２５ｂは、フレームｔ−１の撮像画像５０のデータと動きベクトル信号２とに基づき移動画像５０ｂのデータを生成し、生成した移動画像５０ｂのデータを含む移動映像信号２を出力する（図２Ａ〜４参照）。

次に、補正画像生成部２７は、補正対象であるフレームｔの撮像画像５１のデータと、移動画像５０ｂ、５２ｂのデータとを用いてフレームｔの撮像画像５１に対する補正画像５１ａのデータを生成し（ステップＳ１５）、生成した補正画像５１ａのデータを含む出力映像信号を表示装置３０に出力する（ステップＳ１６）。

図６は、補正画像５１ａの生成処理（ステップＳ１５）の詳細を示すフローチャートである。図６は、図２Ｂに示すように、画像処理装置２０が、動きベクトル検出部２３ａ、２３ｂから補正画像生成部２７に信頼性信号１、２が入力される構成を有する場合のフローチャートである。

補正画像生成部２７は、まず、第１番目の画素（画像領域の左上端の画素）を、処理対象の画素として設定する（ステップＳ３０）。以下に説明する一連の処理（ステップＳ３１〜Ｓ３８）は、画素毎に実施される。なお、本実施の形態では、画像領域の左上端の画素から右下の画素に向かって、左から右へかつ上から下へ向かう順に処理対対象の画素を設定するものとする。

補正画像生成部２７は、フレームｔ−１の撮像画像５０について、信頼性信号２に基づき、処理対象の画素に対する動きベクトル２（すなわち、当該画素を含むブロック領域に関する動きベクトル信号２）が信頼性を有するか否かを判断する（ステップＳ３１）。信頼性の有無の判断では、信頼性信号２が示す値が所定値以上である場合に、動きベクトル２が信頼性を有すると判断される。動きベクトル２が信頼性を有する場合（ステップＳ３１でＹＥＳ）、処理対象の画素に対して、フレームｔ−１に基づく移動画像５０ｂを第１の出力候補Ｃ１に設定する（ステップＳ３２）。

一方、動きベクトル２が信頼性を有していない場合（ステップＳ３１でＮＯ）、フレームｔの撮像画像５１を第１の出力候補Ｃ１に設定する（ステップＳ３３）。信頼性のない動きベクトル２に基づいて生成された移動画像５０ｂは信頼性がない（有効でない）と考えられるため、この場合は、第１の出力候補Ｃ１としてフレームｔの撮像画像５１を使用する。

なお、図２Ａに示す画像処理装置２０のように、補正画像生成部２７に信頼性信号２が入力されない場合は、ステップＳ３１での判断をすることなく無条件にステップＳ３２に進み、フレームｔ−１に基づく移動画像５０ｂを第１の出力候補Ｃ１に設定する。

次に、処理対象の画素に対して、フレームｔの撮像画像５１を第２の出力候補Ｃ２に設定する（ステップＳ３４）。

次に、補正画像生成部２７は、フレームｔ＋１の撮像画像５２について、信頼性信号１に基づき、処理対象の画素に対する動きベクトル１（すなわち、当該画素を含むブロック領域に関する動きベクトル信号１）が信頼性を有するか否かを判断する（ステップＳ３５）。信頼性の有無の判断では、信頼性信号１が示す値が所定値以上である場合に、動きベクトル１が信頼性を有すると判断される。動きベクトル１が信頼性を有する場合（ステップＳ３５でＹＥＳ）、処理対象の画素に対して、フレームｔ＋１に基づく移動画像５２ｂを第３の出力候補Ｃ３に設定する（ステップＳ３６）。

一方、動きベクトル１が信頼性を有していない場合（ステップＳ３５でＮＯ）、フレームｔの撮像画像５１を第３の出力候補Ｃ３に設定する（ステップＳ３７）。信頼性のない動きベクトルに基づいて生成された移動画像５２ｂは信頼性がない（有効でない）と考えられるため、この場合は、第３の出力候補Ｃ３としてフレームｔの撮像画像５１を使用する。

なお、図２Ａに示す画像処理装置２０のように、補正画像生成部２７に信頼性信号１が入力されない場合は、ステップＳ３５での判断をすることなく無条件にステップＳ３６に進み、フレームｔ＋１に基づく移動画像５２ｂを第３の出力候補Ｃ３に設定する。

以上のように、基本的には、第１の出力候補Ｃ１として、フレームｔ−１に基づく移動画像５０ｂを使用し、第３の出力候補Ｃ３として、フレームｔ＋１に基づく移動画像５２ｂを使用する。しかし、移動画像５０ｂまたは５２ｂの信頼性がない場合には、第１の出力候補Ｃ１または第３の出力候補Ｃ３として、フレームｔの撮像画像５１を使用する。

その後、補正画像生成部２７は、第１〜第３の出力候補Ｃ１〜Ｃ３の画像データ（すなわち、フレームｔの撮像画像５１及び移動画像５０ｂ、５２ｂ）を参照しながら、補正画像５１ａの処理対象の画素の画素値を決定する（ステップＳ３８）。具体的には、補正画像生成部２７は、図７に示すように、第１〜第３の出力候補Ｃ１〜Ｃ３の３つの画像間において、画素単位で輝度値を比較し、２番目に明るい（又は暗い）輝度を有する画素の画素値を、補正画像５１ａにおける当該画素の画素値として採用する。このようにして、補正画像における各画素の画素値が決定される。まとめると、第１〜第３の出力候補Ｃ１〜Ｃ３間における画素の輝度値と、画素値として採用される出力候補Ｃ１〜Ｃ３との関係は、下記表１のとおりとなる。

上記処理を画像の全ての画素について行うことで（ステップＳ３９、Ｓ４０）、補正画像５１ａを生成する。

以上のように、本実施の形態では、処理対象であるフレームｔの撮像画像５１に対して、フレームｔの撮像画像５１（第２の出力候補）と、その前後のフレームｔ−１、ｔ＋１から動きベクトルを考慮して生成した移動画像５０ｂ、５２ｂ（第１、第３の出力候補Ｃ１、Ｃ３）とから補正画像５１ａを生成する。これにより、連続する３つのフレームにおいて、処理対象のフレームｔにおけるある画素の輝度が、その前後のフレームｔ−１、ｔ＋１における対応する画素の輝度と大きく異なる画像が撮像された場合に、処理対象のフレームｔのその画素の画素値をその前後のフレームの画素値で置換し補正することができる。

ここで、本実施の形態では、図６のステップＳ３８、表１に示したように、第１〜第３の出力候補Ｃ１〜Ｃ３の３つの画像において中間（最小値と最大値の間）の輝度値を有する画素の画素値を補正画像５１ａの画素値として採用している。このように中間（最小値と最大値の間）の輝度値を有する画素の画素値を補正画像５１ａの画素値として採用した場合、元の撮像画像５１が正しく本画像処理による補正が誤っている場合であっても、誤った補正による画像への影響の程度を小さくできるという利点がある。しかし、そのような点が問題とならないのであれば、第１〜第３の出力候補Ｃ１〜Ｃ３の３つの画像において最大の輝度値を有する画素の画素値を補正画像５１ａの画素値として採用してもよい。

以上の構成により、例えば、フレームｔのある画素の輝度が低く、その前後のフレームｔ−１、ｔ＋１の対応する画素の輝度が高い場合、フレームｔのその画素の輝度は高い輝度に補正される。逆に、フレームｔのある画素の輝度が高く、その前後のフレームｔ−１、ｔ＋１の対応する画素の輝度が低い場合、フレームｔのその画素の輝度は低い輝度に補正される。これにより、フレーム間での輝度の変化を平滑化できる。

例えば、ＬＥＤ素子を含むヘッドライトを撮像した場合、ＬＥＤ素子の駆動周期と撮像装置の撮像周期の違いから、図８の撮像画像（補正前）に示すように、一部のフレーム（フレームｔ）のみ、ヘッドライトが消灯した状態（図８のＡ部）の画像が撮像される場合がある。このような場合であっても、本実施の形態の画像表示システム１００によれば、図８の補正画像に示すように、フレームｔの撮像画像５１が、その前後のフレームｔ−１、ｔ＋１の撮像画像５０、５２に基づいて、ヘッドライトが点灯した状態（図８のＢ部）の画像に補正される。これにより、連続した３つのフレームｔ−１、ｔ、ｔ＋１の画像全てにおいて、ヘッドライトが点灯し、フリッカを低減することができる。

なお、上記の実施の形態では、フレームｔ−１，ｔ，ｔ＋１の３つのフレームを用いて補正処理を行ったが、補正処理に用いるフレームの数は３つに限定されない。例えば、処理対象のフレームｔの前後２フレームずつを用いて補正処理を行っても良い。すなわち、フレームｔ−２，ｔ−１，ｔ，ｔ＋１，ｔ＋２の５つのフレームを用いて補正処理を行ってもよいし、より多くの数のフレーム数を用いてもよい。

また、補正処理において対象フレームとともに用いるフレームは、必ずしも、対象フレームと連続したフレームすなわち処理対象であるフレームｔの直前及び直後のフレームｔ−１、ｔ＋１である必要はない。例えば、処理対象であるフレームｔの２つ前のフレームｔ−２と、２つ後のフレームｔ＋２とを用いて補正処理を行ってもよい。すなわち、補正処理において、対象フレームとともに、対象フレームより前の少なくとも１つのフレームと、対象フレームより後の少なくとも１つのフレームとを用いればよい。撮像対象である発光素子等の駆動周期によっては、対象フレームの直前及び直後のフレームではなく、より時間的に離れたフレーム（例えば、フレームｔ−２、ｔ＋２）を用いた方が補正処理の効果が奏される場合がある。ただし、動きベクトル検出部２３ａ、２３ｂが検出する動きベクトル１、２の信頼性は、直前及び直後のフレームを用いた場合の方が高い傾向にある。また、補正処理に用いる前後フレームが対象フレームから時間的に離れるにつれ、図２Ａに示すフレーム保持部２１が保持する必要があるフレームの数が多くなるため、直前及び直後のフレームを用いた場合の方が、画像処理装置２０における回路の負荷は小さくなる傾向にある。

また、本実施の形態の画像処理装置２０の処理を適用することで、図９Ａに示すような雪が降っている状況を撮像した画像から、図９Ｂに示すような降っている雪を消去した補正画像を生成することができる。すなわち、撮像画像において雪などの視認性を低下させる物体を消去することもできる。この場合、動きベクトルを検出するブロック領域は、降っている雪の粒子の動きベクトルを検出しないように、雪の粒子に比して十分に大きなサイズに設定される。また、この場合は、図６のフローチャートのステップＳ３８、表１において、第１〜第３の出力候補Ｃ１〜Ｃ３のうち、中間（２番目）の輝度値を有する画素の画素値に代えて最小の輝度値を有する画素の画素値を、補正画像の画素値として採用してもよい。

３．効果、等
本実施の形態の画像処理装置２０は、動きベクトル検出部２３ａと、動きベクトル検出部２３ｂと、移動画像生成部２５ａと、移動画像生成部２５ｂと、補正画像生成部２７と、を備える。動きベクトル検出部２３ａは、フレームｔの後のフレームであるフレームｔ＋１の撮像画像５２からフレームｔの撮像画像５１への動きを示す動きベクトル１を検出し、動きベクトル検出部２３ｂは、フレームｔの前のフレームであるフレームｔ−１の撮像画像５０からフレームｔの撮像画像５１への動きを示す動きベクトル２を検出する。移動画像生成部２５ａは、フレームｔ＋１の撮像画像５２のデータと動きベクトル１に基づいて、移動画像５２ｂのデータを生成し、移動画像生成部２５ｂは、フレームｔ−１の撮像画像５０のデータと動きベクトル２に基づいて、移動画像５０ｂのデータを生成する。補正画像生成部２７は、フレームｔの撮像画像５１のデータと移動画像５２ｂのデータと移動画像５０ｂのデータとに基づいて、フレームｔの撮像画像５１が補正された補正画像５１ａのデータを生成する。

本実施の形態の画像表示システム１００は、フレーム単位で画像を撮像し、画像データを生成する撮像装置１０と、撮像装置１０から、画像データを入力する画像処理装置２０と、画像処理装置２０が生成した補正画像５１ａのデータが示す画像を表示する表示装置３０と、を備える。

本実施の形態で開示される画像処理方法は、動きベクトル１を検出するステップと、動きベクトル２を検出するステップと、移動画像５２ｂのデータを生成するステップと、移動画像５０ｂのデータを生成するステップと、補正画像５１ａのデータを生成し、出力するステップと、を含む。動きベクトル１は、フレームｔの後のフレームであるフレームｔ＋１の撮像画像５２からフレームｔの撮像画像５１への動きを示し、動きベクトル２は、フレームｔの前のフレームであるフレームｔ−１の撮像画像５０からフレームｔの撮像画像５１への動きを示す。移動画像５２ｂのデータは、フレームｔ＋１の撮像画像５２のデータと動きベクトル１に基づいて、生成され、移動画像５０ｂのデータは、フレームｔ−１の撮像画像５０のデータと動きベクトル２に基づいて、生成される。補正画像５１ａのデータは、フレームｔの撮像画像５１のデータと移動画像５２ｂのデータと移動画像５０ｂのデータとに基づいて、フレームｔの撮像画像５１が補正されて生成される。

また、本実施の形態で開示される画像処理方法は、コンピュータに実行させるために、上記各ステップを記載したプログラムとすることができる。

本実施の形態の画像処理装置２０及び画像処理方法によれば、前後のフレームの画像データを用いて対象フレームの画像データを補正することで、これらフレーム間で相関のある画素について１フレームだけ異なる輝度を有する画素を補正することができる。これにより、例えば、被写体である発光素子（ＬＥＤ素子）の駆動周期と撮像装置１０の撮像周期が異なることに起因して発生し得るフリッカを低減した映像を生成することができる。また、雪等の視認性を低下させる物体を消去した映像も生成することができる。

なお、上記の実施の形態で示した撮像装置１０、画像処理装置２０、表示装置３０はそれぞれ、本開示の撮像装置、画像処理装置および表示装置の一例である。フレーム保持部２１はフレーム保持部の一例である。動きベクトル検出部２３ａ、２３ｂは動きベクトル検出部の一例である。移動画像生成部２５ａ、２５ｂは移動画像生成部の一例である。補正画像生成部２７は補正画像生成部の一例である。また、フレームｔは対象フレームの一例であり、フレームｔ−１は前フレームの一例であり、フレームｔ＋１は後フレームの一例である。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。以下、他の実施の形態を例示する。

上記の実施の形態の画像処理装置２０による画像処理は、ＬＥＤヘッドライトのみならず、ＬＥＤ素子で構成された信号機を撮像した画像に対しても有効である。すなわち、撮像装置１０の撮像周期と異なる周期で駆動される発光素子を含む装置を撮像する場合に有効である。

上記の実施の形態では、動きベクトルを検出するブロック領域のサイズを固定としたが、補正されるオブジェクト（ＬＥＤ、信号機等）の大きさに応じて可変してもよい。補正されるオブジェクトの大きさとブロック領域の大きさの差が小さい場合は、そのオブジェクトを含むブロック領域について、動きベクトルの検出が正しくできない場合がある。よって、補正されるオブジェクトを含むブロック領域の動きベクトルを精度良く検出できるように、当該オブジェクトに対してブロック領域のサイズを十分に大きくしてもよい。例えば、撮像画像から車両のヘッドライトの領域を検出し、その検出した領域のサイズに応じてブロック領域のサイズを大きくするようにしてもよい。

上記の実施の形態では、撮像画像の全体について画像処理装置２０による画像処理を適用したが、撮像画像の一部の領域のみに適用してもよい。例えば、画像において所定のオブジェクト（例えば、車両、ヘッドライト、信号機）の領域を検出し、検出したオブジェクトの領域に対してのみ上記の画像処理を実施するようにしてもよい。これにより、本来補正する必要のない領域に対して誤って画像を補正してしまうことを低減できる。

上記の実施の形態の画像表示システム１００は例えば車両に搭載されてもよい。図１０は、画像表示システム１００を搭載した車両２００の構成を示す。この場合、撮像装置１０は車両２００の後部に取り付けられて車両後方の状況を撮像する。表示装置３０及び画像処理装置２０はルームミラー内に組み込まれてもよい。その場合、ルームミラーは、表示装置３０をオンしたときは、撮像装置１０で撮像された画像が表示装置３０に表示されるようにし、表示装置３０がオフのときは、鏡によって車両２００の後方の状況を視認できるように構成されてもよい。車両２００の運転者は、表示装置３０の画像を確認することで車両後方の状況を確認できる。

また、上記の実施の形態の画像処理装置２０は、車両に搭載されるドライブレコーダに対しても適用できる。この場合、画像処理装置２０から出力される映像信号は、ドライブレコーダの記録媒体（ハードディスク、半導体メモリデバイス等）に記録される。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、撮像装置により画像を撮像し、撮像した画像を表示装置に表示または記録媒体に記録する装置、例えば、車両に搭載されるルームミラー型表示装置やドライブレコーダ等に適用できる。

１０ 撮像装置
２０ 画像処理装置
２１ フレーム保持部
２１ａ，２１ｂ フレームメモリ
２３ａ，２３ｂ 動きベクトル検出部
２５ａ，２５ｂ 移動画像生成部
２７ 補正画像生成部
３０ 表示装置
５０，５１，５２ 撮像画像
５０ｂ，５２ｂ 移動画像
５１ａ 補正画像
１００ 画像表示システム
２００ 車両
Ｃ１〜Ｃ３ 出力候補

Claims (9)

1. 対象フレームの後のフレームである後フレームの画像から前記対象フレームの画像への動きを示す第１の動きベクトルを検出する第１の動きベクトル検出部と、
   前記対象フレームの前のフレームである前フレームの画像から前記対象フレームの画像への動きを示す第２の動きベクトルを検出する第２の動きベクトル検出部と、
   前記後フレームの画像のデータと前記第１の動きベクトルに基づいて、第１の移動画像のデータを生成する第１の移動画像生成部と、
   前記前フレームの画像のデータと前記第２の動きベクトルに基づいて、第２の移動画像のデータを生成する第２の移動画像生成部と、
   前記対象フレームの画像のデータと前記第１の移動画像のデータと前記第２の移動画像のデータとに基づいて、前記対象フレームの画像が補正された補正画像のデータを生成する補正画像生成部と、を備えた、
   画像処理装置。
2. 前記後フレームは、前記対象フレームの直後のフレームであり、
   前記前フレームは、前記対象フレームの直前のフレームである、
   請求項１記載の画像処理装置。
3. 前記補正画像生成部は、前記対象フレームの画像のデータ、前記第１の移動画像のデータ、及び前記第２の移動画像のデータにおいて互いに対応する画素のうち、２番目に高い輝度値を示す画素の画素値を、前記補正画像のデータにおける対応する画素の画素値に設定する、
   請求項１記載の画像処理装置。
4. 前記第１の動きベクトル検出部は、前記第１の動きベクトルの信頼性を示す第１の信頼性信号を出力し、
   前記第２の動きベクトル検出部は、前記第２の動きベクトルの信頼性を示す第２の信頼性信号を出力し、
   前記補正画像生成部は、前記補正画像のデータの生成において、
   前記第１の信頼性信号が前記第１の動きベクトルの信頼性があることを示す場合に、前記第１の移動画像のデータを使用し、
   前記第２の信頼性信号が前記第２の動きベクトルの信頼性があることを示す場合に、前記第２の移動画像のデータを使用する、
   請求項１記載の画像処理装置。
5. フレーム単位で画像を撮像し、画像データを生成する撮像装置と、
   前記撮像装置から、前記画像データを入力する請求項１記載の画像処理装置と、
   前記画像処理装置が生成した前記補正画像のデータが示す画像を表示する表示装置と、を備えた、
   画像表示システム。
6. 請求項５に記載の画像表示システムを備えた、
   車両。
7. 対象フレームの後のフレームである後フレームの画像から前記対象フレームの画像への動きを示す第１の動きベクトルを検出するステップと、
   前記対象フレームの前のフレームである前フレームの画像から前記対象フレームの画像への動きを示す第２の動きベクトルを検出するステップと、
   前記後フレームの画像のデータと前記第１の動きベクトルに基づいて、第１の移動画像のデータを生成するステップと、
   前記前フレームの画像のデータと前記第２の動きベクトルに基づいて、第２の移動画像のデータを生成するステップと、
   前記対象フレームの画像のデータと前記第１の移動画像のデータと前記第２の移動画像のデータとに基づいて、前記対象フレームの画像が補正された補正画像のデータを生成し、出力するステップと、を含む、
   画像処理方法。
8. 前記後フレームは、前記対象フレームの直後のフレームであり、
   前記前フレームは、前記対象フレームの直前のフレームである、
   請求項７に記載の画像処理方法。
9. 請求項７記載の画像処理方法をコンピュータに実行させるためのプログラム。