JP5980618B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関するものである。

ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮像素子やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子に代表される固体撮像素子のダイナミックレンジは人間の視感度に比べて非常に狭いため、露光量の異なる複数枚の画像を合成することによりダイナミックレンジを拡大する技術が知られている。
このような技術として、例えば、特許文献１には、原画像と同フレームレートで高ダイナミックレンジ映像を生成する３つの手法が開示されている。
すなわち、特許文献１には、１つ目の手法として、短時間撮像と長時間撮像を交互に繰り返し隣り合う２画像を合成することが開示されている（上記特許文献１の図１（ａ））。

２つ目の手法として、長時間撮像と直後または直前の短時間撮像の２画像より長時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ａと、短時間撮像と直後または直前の長時間撮像の２画像より短時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ｂの異なる２つの合成過程とを切り替えて実行することが開示されている（上記特許文献１の図１（ｂ））。

３つ目の手法として、長時間撮像と直前の短時間撮像と直後の短時間撮像の３画像より長時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ｅと、短時間撮像と直前の長時間撮像と直後の長時間撮像の３画像より短時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ｆの異なる２つの合成過程とを有し、各々の過程では現フレームに対して直前の画像と直後との画像から中間画像を予測し、現フレーム画像との合成を行うことが開示されている（上記特許文献１の図１（ｃ））。

特開２００３−４６８５７号公報

しかしながら、上記した特許文献１に開示された各手法では、以下のような問題がある。
すなわち上記した１つ目の手法では、２フレームの原画像から１フレームの画像を合成するために出力フレームレートが半減してしまい、滑らかな動きの動画映像が生成できないという欠点がある。

また、２つ目の手法では撮像シーンのダイナミックレンジが極めて大きい場合、すなわち、長露光画像と短露光画像との露光差が大きい場合は、短露光画像における低輝度部（図１２の領域Ｂ）は殆ど黒潰れし、長露光画像における高輝度部（図１２の領域Ａ）は殆ど白飛びしてしまう。このため、黒潰れや白飛びにより画像情報が欠損した領域の動きを推定することができず、両画像間の位置合わせ（動き補償）を行うことができない。このような２つの画像を合成して撮像フレームレートと同じフレームレートで出力しても、低輝度部の動きと高輝度部の動きが1フレーム毎に交互に動くこととなり、実質的にフレームレートが半減することになってしまう。

さらに、３つ目の手法では、動き推定は同露光画像同士で行うため、上記した２つの手法による問題を解決することはできるものの、出力フレームを生成する際に、処理対象となるフレーム画像に対して時間的に未来に撮像される画像も必要となるため、フレーム遅延を避けることができず、滑らかな画像を得ることができないという問題がある。これは、例えばデジタルカメラのライブビュー画像などリアルタイム性が重要視される画像処理装置において特に問題となる。

本発明は、上記問題に鑑みてなされたものであって、フレーム遅延等の画像処理の遅延を抑制し、滑らかな画像を取得することを目的とする。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、基準フレーム画像と、該基準フレーム画像と撮像条件の異なる参照フレーム画像とを周期的に取得する画像取得手段と、前記基準フレームより先に取得され、且つ、互いに同一の撮像条件で取得された２つの参照フレーム画像間の動きベクトルを検出する動き検出手段と、該動き検出手段により検出された動きベクトルと前記参照フレーム画像とに基づいて、前記基準フレームの撮像時刻に前記参照フレーム画像と同一の撮像条件で取得されると予測される予測フレーム画像を生成する予測フレーム画像生成手段と、該予測フレーム画像生成手段により生成された予測フレーム画像と前記基準フレーム画像とを合成して出力フレーム画像を生成する出力フレーム画像生成手段と、を備える画像処理装置を提供する。

本発明によれば、基準フレーム画像と参照フレーム画像とは、周期的に取得されているので、互いに同一の撮像条件で基準フレーム画像よりも時間的に先に取得された２つの参照フレーム画像間の動きベクトルから、例えば、参照フレーム画像に含まれる人物や物体等被写体の将来的な動きを予測することができる。従って、参照フレーム画像と動きベクトルとに基づいて、基準フレーム画像の取得と同時に、参照フレーム画像と同一の撮像条件で取得されると予測されるフレーム画像を、予測フレーム画像として生成する。そして、予測フレーム画像と基準フレーム画像とを合成して出力フレーム画像を生成するので、フレーム遅延等の画像処理の遅延を抑制し、滑らかな画像を取得することができる。

上記発明において、前記撮像条件が露光時間であることが好ましい。
このようにすることで、フレーム遅延等の画像処理の遅延を抑制し、滑らかな、且つ、ダイナミックレンジが拡大された画像を取得することができる。

上記発明において、前記撮像条件が画像取得手段への入射光量であることが好ましい。
このようにすることで、フレーム遅延等の画像処理の遅延を抑制し、滑らかな、且つ、ダイナミックレンジが拡大された画像を取得することができる。

上記発明において、前記撮像条件が分光感度特性であることが好ましい。
このようにすることで、例えば、単板イメージセンサによる色モザイク信号から補間生成された画像と比較して解像度の高い画像を取得することができる。

また、本発明は、基準フレーム画像と、該基準フレーム画像と撮像条件の異なる参照フレーム画像とを周期的に取得する画像取得ステップと、前記基準フレームより先に取得され、且つ、互いに同一の撮像条件で取得された２つの参照フレーム画像間の動きベクトルを検出する動き検出ステップと、該動き検出ステップにより検出された動きベクトルと前記参照フレーム画像とに基づいて、前記基準フレームの撮像時刻に前記参照フレーム画像と同一の撮像条件で取得されたと予測される予測フレーム画像を生成する予測フレーム画像生成ステップと、該予測フレーム画像生成ステップにより生成された予測フレーム画像と前記基準フレーム画像とを合成して出力フレーム画像を生成する出力フレーム画像生成ステップと、を備える画像処理方法を提供する。

本発明によれば、フレーム遅延等の画像処理の遅延を抑制し、滑らかな画像を取得することができるという効果を奏する。

本発明の第１の実施形態に係る画像処理装置の概略構成を示すブロック図である。 本発明の第１の実施形態に係る画像処理装置において、露光時間と１フレーム区間との関係を示す説明図である。 本発明の第１の実施形態に係る画像処理装置において、予測フレーム画像を生成する際のフレーム画像の説明図である。 本発明の第１の実施形態に係る画像処理装置において、入力されたフレーム画像に基づいて出力フレーム画像を生成する際の流れを示すフローチャートである。 本発明の第１の実施形態の変形例に係る画像処理装置の概略構成を示すブロック図である。 本発明の第１の実施形態の変形例に係る画像処理装置において、露光時間と１フレーム区間との関係を示す説明図である。 本発明の第１の実施形態の変形例に係る画像処理装置において、撮像条件とフレーム画像との関係を示す説明図である。 本発明の第２の実施形態に係る画像処理装置の概略構成を示すブロック図である。 本発明の第２の実施形態に係る画像処理装置において、露光時間と１フレーム区間との関係を示す説明図である。 本発明の第２の実施形態に係る画像処理装置において、予測フレーム画像を生成する際のフレーム画像の説明図である。 本発明の第２の実施形態に係る画像処理装置において、入力されたフレーム画像に基づいて出力フレーム画像を生成する際の流れを示すフローチャートである。 従来例に係る説明図である。

（第１の実施形態）
以下に、本発明の第１の実施形態に係る画像処理装置について図面を参照して説明する。

図１は、画像処理装置１０の概略構成を示している。図１に示すように、画像処理装置１０は、撮像条件の異なるフレーム画像を周期的に取得し、取得したフレーム画像を合成した出力フレーム画像を順次出力し、これを繰り返すことにより動画像を出力するものである。

このため、画像処理装置は、図１に示すように、フレーム画像を取得する画像取得部１１、画像取得部１１により取得したフレーム画像を一時的に記憶するメモリ１２、所定のフレーム画像間の動きを検出する動き検出部１３、予測フレーム画像を生成する予測フレーム画像生成部１４、及び出力フレーム画像を生成する出力フレーム画像生成部１５を備えている。

画像取得部１１は、基準フレーム画像と、この基準フレーム画像と撮像条件の異なる参照フレーム画像とを周期的に取得するものであり、本実施形態においては、互いに露光時間の異なる２種類のフレーム画像を交互に、且つ、連続的に取得し、取得したフレーム画像をメモリ１２に出力する。このため、画像取得部１１は、光学系１０１、撮像素子１０２、及び撮像制御部１０３を備えている。

光学系１０１は、例えばレンズ、光学ローパスフィルタ、メカニカルシャッタ等により構成され、撮像素子１０２の撮像面に光学像を結像させるものである。
撮像素子１０２は、光学系１０１により結像した光学像を光電変換して電気信号である画像信号に変換するものであり、例えば、ＣＣＤや、ＣＭＯＳ等を適用することができる。

撮像制御部１０３は、撮像素子１０２を駆動するための信号を生成するものであり、電子シャッターによる露光制御も行うことが可能である。上述したように、本実施形態では、互いに露光時間の異なる２種類のフレーム画像を交互に、且つ、連続的に取得するので、撮像制御部１０３は、図２に示すように、比較的短い露光時間である短露光Ｔ_Ｓと比較的長い露光時間である長露光Ｔ_Ｌとを１フレーム毎に交互に繰り返すように露光時間を制御する。なお、この際、１フレーム区間において短露光の重心と長露光の重心とが同じ位置となるよう制御する。

メモリ１２は、画像取得部１１から入力された時間的に連続する少なくとも４面分のフレーム画像を順次記憶することができる。つまり、メモリ１２は、例えば、基準フレーム画像としての現フレーム画像、及び、現フレーム画像よりも先に、すなわち、過去に取得された参照フレーム画像を３面分、少なくとも合計４面分のフレーム画像を保持することができる。以下、メモリ１２に４面分のフレーム画像が保持されることとして説明する。

ここで、画像取得部１１は、短露光Ｔ_Ｓのフレーム画像と長露光Ｔ_Ｌのフレーム画像とを交互に取得するので、メモリ１２に記憶される４面分のフレーム画像には、短露光Ｔ_Ｓのフレーム画像と長露光Ｔ_Ｌのフレーム画像とが夫々２面分ずつ含まれることになる。以降の説明では、説明の便宜上、メモリ１２に保持される現フレーム画像をフレームｎとし、過去に取得されたフレーム画像をフレームｎ−１、ｎ−２、ｎ−３とする。

動き検出部１３は、現フレーム画像より先（過去）に取得されたフレーム画像のうち、互いに同一の撮像条件で取得された２つの参照フレーム画像間の動きを検出する。本実施形態において、画像取得部１１は、短露光Ｔ_Ｓのフレーム画像と長露光Ｔ_Ｌのフレーム画像とを交互に取得するので、現フレーム画像であるフレームｎに対して、フレームｎ−１及びフレームｎ−３が異なる撮像条件、すなわち、異なる露光時間で撮像された２つの参照フレーム画像に相当する。従って、動き検出部１３は、フレームｎ−１とフレームｎ−３との間の動きを検出する。例えば、現フレームｎが長露光Ｔ_Ｌのフレーム画像である場合には、参照フレーム画像としてのフレームｎ−１及びフレームｎ−３は短露光Ｔ_Ｓのフレーム画像となり、現フレームｎが短露光Ｔ_Ｓのフレーム画像である場合には、参照フレーム画像としてのフレームｎ−１及びフレームｎ−３は長露光Ｔ_Ｌのフレーム画像となる。

このように、フレームｎ−１及びフレームｎ−３は、フレームｎに対しては異露光となる画像であるが、互いに同露光であるため一般的なブロックマッチング法で動きを検出することができる。検出された動きは、動きベクトルＭＶ（ｘ，ｙ）として予測フレーム画像生成部１４に出力される。なお、動きベクトルＭＶ（ｘ，ｙ）は、１画素毎、或いは、フレーム画像内の所定領域毎に生成することができる。

予測フレーム画像生成部１４は、動き検出部１３により検出された動きベクトルと参照フレーム画像とに基づいて、現フレーム画像の撮像時刻に参照フレーム画像と同一の撮像条件で取得されると予測される予測フレーム画像を生成する。より具体的には、現フレームｎが長露光Ｔ_Ｌのフレーム画像である場合には、予測フレーム画像は、短露光Ｔ_Ｓのフレーム画像であって現フレームｎと同一時刻に取得されると予測できるフレーム画像となり、現フレームｎが短露光Ｔ_Ｓのフレーム画像である場合には、予測フレーム画像は、長露光Ｔ_Ｌのフレーム画像であって現フレームｎと同一時刻に取得されると予測できるフレーム画像となる。

より具体的には、図３に示すように、動き検出部１３で算出された動きベクトルＭＶ（ｘ，ｙ）は、フレームｎ−３からフレームｎ−１への２フレーム間の動きを示すものであるため、フレームｎの取得（撮像）時刻と同時刻において、フレーム画像中の物体や人物等の被写体はフレームｎ−１からＭＶ（ｘ，ｙ）／２だけ動いた状況となっていると予測できる。このような考え方に基づいて、例えば予測フレーム画像を以下のように生成する。

フレームｎ−１の画素値をＩ_ｎ−１（ｘ，ｙ）とすると、予測フレーム画像Ｉ_Ｐ（ｘ，ｙ）は、以下の式（１）で算出できる。

ここで生成された予測フレーム画像Ｉ_Ｐは、フレームｎと同一時刻における、フレームｎと異なる露光条件の画像となる。生成された予測フレーム画像は、出力フレーム画像生成部１５に出力される。

出力フレーム画像生成部１５は、予測フレーム画像と現フレーム画像とに基づいて出力フレーム画像を生成する。つまり、現フレーム画像Ｉ_ｎと予測フレーム画像Ｉ_Ｐとを合成して出力フレーム画像を生成する。現フレーム画像Ｉ_ｎと予測フレーム画像Ｉ_Ｐとの合成は、合成画像をＩ_ＨＤＲとすると、例えば以下の式（２）又は式（３）で算出することができる。

フレームｎが長露光のフレーム画像である場合
Ｉ_ＨＤＲ＝（１−α）・Ｉ_ｎ＋α・（Ｔ_Ｌ／Ｔ_Ｓ）・Ｉ_Ｐ…（２）
ただし、α ∝ Ｉ_ｎ （０≦α≦１）

フレームｎが短露光のフレーム画像である場合
Ｉ_ＨＤＲ＝（１−α）・Ｉ_Ｐ＋α・（Ｔ_Ｌ／Ｔ_Ｓ）・Ｉ_ｎ…（３）
ただし、α ∝ Ｉ_Ｐ （０≦α≦１）

予測フレーム画像Ｉ_Ｐは、フレームｎと同時刻に撮像されると予測した画像であるため、出力フレーム画像生成部１５においては予測フレーム画像と現フレーム画像との位置合わせ等は特に行う必要はない。

以下、このように構成された画像処理装置が撮像装置（図示せず）に適用された場合において、入力されたフレーム画像に基づいて出力フレーム画像を生成する際の流れを図４のフローチャートに従って説明する。

ステップＳ１００では、画像取得部１１において取得するフレーム画像をカウントするために、画像取得部１１に備えられたフレームカウンタｎを初期化する。次のステップＳ１０１において、画像取得部１１により現フレーム画像Ｉｎを撮像し、ステップＳ１０２で撮像したフレーム画像Ｉｎをメモリ１２に格納し、フレームカウンタｎをインクリメントする。ステップＳ１０３では、メモリ１２に４枚以上のフレーム画像が格納されている場合は、次のステップＳ１０４に進み、動き検出部１３にてフレーム画像Ｉｎ−１とフレーム画像Ｉｎ−３との間の動きを検出する。メモリ１２に４枚以上のフレーム画像が格納されていない場合はステップＳ１０１に戻って、上記処理を繰り返す。

ステップＳ１０５は、予測フレーム画像生成部１４にて予測フレーム画像Ｉｐを生成し、ステップＳ１０６で、先のステップＳ１０４にて生成した予測フレーム画像Ｉｐと現フレーム画像Ｉｎとを合成して、出力フレーム画像を生成する。画像処理装置が撮像装置に適用されている場合には、出力フレーム画像は撮像装置に設けられた他の画像処理部に出力され、ステップＳ１０７において、ステップＳ１０６にて生成した出力フレーム画像に対してカメラ画像処理部（図示せず）にて所定の画像処理を行い、ステップＳ１０８において画像表示部（図示せず）に出力フレーム画像を表示しつつ、ステップＳ１０９で出力フレーム画像を記録する。ユーザー操作による撮影完了信号を得るまで上記した手順を繰り返す（ステップＳ１１０）。

上記した処理は、本実施形態に係る画像処理装置が適用される撮像装置のＣＰＵ（図示せず）等により実行・制御されるものであり、各ステップは時系列に処理されてもよく、並列に処理されてもよい。

このように、本実施形態によれば、現フレーム画像と参照フレーム画像とは、周期的に取得されているので、互いに同一の撮像条件で現フレーム画像よりも時間的に先に取得された２つの参照フレーム画像間の動きベクトルから、例えば、参照フレーム画像に含まれる人物や物体等被写体の将来的な動きを予測することができる。従って、参照フレーム画像と動きベクトルとに基づいて、現フレーム画像の取得と同時に、参照フレーム画像と同一の撮像条件で取得されると予測されるフレーム画像を、予測フレーム画像として生成する。そして、予測フレーム画像と現フレーム画像とを合成して出力フレーム画像を生成するので、フレーム遅延等の画像処理の遅延を抑制し、滑らかな画像を取得することができる。

（第１の実施形態の変形例）
上記した第１の実施形態における画像処理装置１０の画像取得部１１では、電子シャッターによる露光制御を行うことにより露光時間の異なるフレーム画像を取得していたが、これに限られるものではない。例えば、フレーム画像を撮像する際の撮像素子に対する入射光量を無段階ＮＤフィルタ等を適用して適宜減衰させることにより、撮像条件の異なる２種類のフレーム画像を周期的に、すなわち、交互に、且つ、連続的に取得することができる。

このような場合には、図５に示すように、画像取得部１１が、撮像制御部１０３に代えて、光減衰手段としてのＮＤフィルタ２１０と、ＮＤフィルタを制御する光量制御部２１１とを備える画像処理装置２０とすることができる。

光量制御部２１１は、ＮＤフィルタ２１０への制御信号を生成するものであり、図６に示すように１フレーム毎に光減衰量１と光減衰量２とを繰り返すように制御する。ここで、光減衰量１＞光減衰量２であるとすると、光減衰量１の区間に撮像された画像が比較的暗い画像となり（第１の実施形態における短露光画像に相当）、光減衰量２の区間に撮像された画像が比較的明るい画像（第１の実施形態における長露光画像に相当）となる。

なお、ここで取得されるフレーム画像は、露光量は同一で明るさが異なる画像となっているが、以下、第１の実施形態との対比を容易とするため便宜上「短露光画像」又は「長露光画像」という。

第１の実施形態では、露光量を直接制御しているので、例えば、図７に示すように被写体の動きが非常に大きい場合、長露光画像はフレームレートに応じた動きブレが生じ易いが、短露光画像は動きブレが生じ難い。更に、フレーム画像を合成する際に、被写体が比較的高輝度である場合には、短露光画像が優先的に選択されるので、被写体が大きく動いているが動きブレが無い合成画像が生成されることになる。

一般的に動画像の場合はこのようなフレームレート相当の期間に満たない露光時間で撮像することは、動きの連続性が損なわれるため望ましくないとされており、実際動画としてみると動きに飛びがあるように感じられる。これは３０ｆｐｓ以下の比較的低速なフレームレートで顕著となる。
これに対し、本変形例では撮像素子２０２への光量を減衰させることにより短露光画像を生成するため、より動きの連続性が向上し、自然な画像を得ることが可能となる。

（第２の実施形態）
上記した第１の実施形態及びその変形例では、撮像条件として露光時間や明るさを異ならせたフレーム画像を取得して、これを合成した出力フレームを生成することとしたが、これらに限られることはなく、例えば、電子内視鏡等の複数の色フィルタを順次切り換えて各色毎に被写体を撮像する画像処理装置に適用し、色毎のフレーム画像を同時化することにより出力フレーム画像を生成することもできる。

本発明の第２の実施形態に係る画像処理装置は、上述したように、例えば、電子内視鏡に適用され、複数の色フィルタを順次切り換えて色毎に被写体を撮像したフレーム画像を取得する。図８は、このような画像処理装置例として本発明の第２の実施形態に係る画像処理装置の概略構成を示している。本実施形態において、上述した第１の実施形態と同一の構成には同符号を付し、その説明を省略する。

図８に示すように、画像処理装置３０は、フレーム画像を取得する画像取得部１１、画像取得部１１により取得したフレーム画像を一時的に記憶するメモリ１２、所定のフレーム画像間の動きを検出する動き検出部１３Ａ，１３Ｂ、予測フレーム画像を生成する予測フレーム画像生成部１４Ａ，１４Ｂ、及び出力フレーム画像を生成する出力フレーム画像生成部１５を備えている。

画像取得部１１は、光学系１０１、色フィルタ選択部３０２、色フィルタ制御部３０３及び撮像素子１０２を備えている。
色フィルタ選択部３０２は、特定波長の光に対して分光感度特性のピークを有するフィルタの組み合わせにより構成され、本実施形態において、赤フィルタＲ（約７００ｎｍ前後）、緑フィルタＧ（波長５５５ｎｍ前後）、青フィルタＢ（波長４７０ｎｍ前後）の３種類のフィルタを備えている。
なお、フィルタの組み合わせは任意に選択することができ、また３種類に限定されるものでもない。

色フィルタ制御部３０３は、色フィルタ選択部３０２への制御信号を生成するものであり、図９に示すように１フレーム毎に順次赤フィルタ、緑フィルタ、青フィルタを繰り返すように制御する。

メモリ１２は、画像取得部１１から入力された時間的に連続する少なくとも６面分のフレーム画像を順次記憶することができる。つまり、メモリ１２は、例えば、基準フレーム画像としての現フレーム画像、及び、現フレーム画像よりも先に、すなわち、過去に取得された参照フレーム画像を５面分、少なくとも合計６面分のフレーム画像を保持することができる。以下、メモリ１２に６面分のフレーム画像が保持されることとし、説明の便宜上、現フレーム画像をフレームｎとし、過去に取得されたフレーム画像をフレームｎ−１、ｎ−２、…ｎ−５として説明する。

動き検出部１３Ａは、フレームｎ−１とフレームｎ−４とを参照フレーム画像とし、その間の動きを検出する。フレームｎ−１とフレームｎ−４はフレームｎに対して異なる色域に感度を有する画像であるが、互いに同色であるため一般的なブロックマッチング法で動きを検出する事ができる。検出された動きは、動きベクトルＭＶ１（ｘ，ｙ）として予測フレーム画像生成部１４Ａへ出力される。動きベクトルＭＶ１（ｘ，ｙ）は、１画素毎でも良いし、画像内の微小領域単位でも良い。
同様にして、動き検出部１３Ｂは、フレームｎ−２とフレームｎ−５とを参照フレーム画像とし、その間の動きを検出する。検出された動きは動きベクトルＭＶ２（ｘ，ｙ）として予測フレーム画像生成部１４Ｂへ出力される。

予測フレーム画像生成部１４Ａは、過去フレーム画像と動きベクトルＭＶ１（ｘ，ｙ）とから予測フレーム画像を生成する。図１０に示すように、動き検出部１３Ａで算出された動きベクトルＭＶ１（ｘ，ｙ）は、フレームｎ−４からフレームｎ−１への３フレーム間の動きを示すものであるため、フレームｎではフレームｎ−１からＭＶ１（ｘ，ｙ）／３だけ動いた状況となっていることが予測できる。この考え方に基づいて予測フレーム画像を生成する場合、例えば、フレームｎ−１の画素値をＩ_ｎ−１（ｘ，ｙ）とすると、予測フレーム画像Ｉ_Ｐ１（ｘ，ｙ）は、以下の式（４）で算出できる。

ここで生成された予測フレーム画像Ｉ_Ｐは、フレームｎと同一時刻における、フレームｎとは異なる色域に感度を有する画像となる。
同様にして予測フレーム画像生成部１４Ｂは、参照フレーム画像と動きベクトルＭＶ２（ｘ，ｙ）とから予測フレーム画像を生成する。予測画像Ｉ_Ｐ２（ｘ，ｙ）は、フレームｎ−１からＭＶ２（ｘ，ｙ）×（２／３）だけ動いた状況となっていることが予測でき、以下の式（５）で算出できる。

出力フレーム画像生成部１５は、入力された現フレーム画像Ｉ_ｎと予測フレーム画像Ｉ_Ｐ１，およびＩ_Ｐ２に基づいてＲＧＢ信号を生成する。本実施形態においては、ＲＧＢ各色の色フィルタを使用しているため、単純なセレクタ等により構成することができるが、必要に応じてカラーマトリックス等の積和演算でＲＧＢ値を再調整しても良い。ここで生成されたＲＧＢ信号は同時刻に撮像されると期待できる画像であり、例えば単板イメージセンサによる色モザイク信号から補間生成された画像と比較して解像度の高い画像となる。

以下このように構成された画像処理装置が適用された電子顕微鏡等において、入力されたフレーム画像に基づいて出力フレーム画像を生成する際の流れを図１１のフローチャートに従って説明する。

ステップＳ３００では、画像取得部１１において取得するフレーム画像をカウントするために、画像取得部１１に備えられたフレームカウンタｎを初期化する。次のステップＳ３０１では、画像取得部１１により現フレーム画像Ｉｎを撮像し、ステップＳ３０２で撮像したフレーム画像Ｉｎをメモリ１２に格納し、フレームカウンタｎをインクリメントする。ステップＳ３０３では、メモリ１２に６枚以上のフレーム画像が格納されている場合は、次のステップＳ３０４に進み、動き検出部１３Ａにてフレーム画像Ｉｎ−１とフレーム画像Ｉｎ−３との間の動きを検出する。メモリ１２に６枚以上のフレーム画像が格納されていない場合はステップＳ３０１に戻って、上記処理を繰り返す。

ステップＳ３０５では、予測フレーム画像生成部１４Ａにおいて予測フレーム画像Ｉ_Ｐ１を生成する。次のステップＳ３０６では、動き検出部１３Ｂにてフレーム画像Ｉｎ−２とフレーム画像Ｉｎ−４との間の動きを検出し、ステップＳ３０７で、予測フレーム画像生成部１４Ｂにおいて予測画像Ｉ_Ｐ２を生成する。
ステップＳ３０８において、出力フレーム画像生成部１５において、現フレーム画像Ｉｎ、予測フレーム画像Ｉ_Ｐ１、Ｉ_Ｐ２から出力フレーム画像としてのＲＧＢ画像信号を生成する。

画像処理装置が電子顕微鏡等に適用されている場合には、出力フレーム画像は電子顕微鏡に設けられた他の画像処理部（図示せず）に出力され、ステップＳ３０９で、先のステップＳ３０８において生成したＲＧＢ画像信号に対してカメラ画像処理部（図示せず）にて画像処理を行う。

ステップＳ３１０において、画像表示部（図示せず）に出力フレーム画像を表示し、ステップＳ３１１で出力フレーム画像を記録する。ユーザー操作による撮影完了信号を得るまでステップＳ３０１からの手順を繰り返す（ステップＳ３１２）。
上記した処理は、本実施形態に係る画像処理装置が適用される撮像装置のＣＰＵ（図示せず）等により実行・制御されるものであり、各ステップは時系列に処理されてもよく、並列に処理されてもよい。

このように、色毎のフレーム画像の動きベクトルを算出し、現フレーム画像の取得と同時に、色毎のフレーム画像と同一の撮像条件で取得されると予測されるフレーム画像を、予測フレーム画像として生成する。そして、予測フレーム画像と現フレーム画像とをデモザイクして出力フレーム画像としてＲＧＢ画像信号を生成するので、フレーム遅延等の画像処理の遅延を抑制し、滑らかな画像としながら、単板イメージセンサによる色モザイク信号から補間生成された画像と比較して解像度の高い画像を取得することができる。

１０ 画像処理装置
１１ 画像取得部
１２ メモリ
１３ 動き検出部
１４ 予測フレーム画像生成部
１５ 出力フレーム画像生成部
２０ 画像処理装置
３０ 画像処理装置
１０１ 光学系
１０２ 撮像素子
１０３ 撮像制御部
２１０ ＮＤフィルタ
２１１ 光量制御部
３０２ 色フィルタ選択部
３０３ 色フィルタ制御部

Claims (5)

1. 基準フレーム画像と、該基準フレーム画像と撮像条件の異なる参照フレーム画像とを周期的に取得する画像取得手段と、
   前記基準フレームより先に取得され、且つ、互いに同一の撮像条件で取得された２つの参照フレーム画像間の動きベクトルを検出する動き検出手段と、
   該動き検出手段により検出された動きベクトルと前記参照フレーム画像とに基づいて、前記基準フレームの撮像時刻に前記参照フレーム画像と同一の撮像条件で取得されると予測される予測フレーム画像を生成する予測フレーム画像生成手段と、
   該予測フレーム画像生成手段により生成された予測フレーム画像と前記基準フレーム画像とを合成して出力フレーム画像を生成する出力フレーム画像生成手段と、
   を備える画像処理装置。
2. 前記撮像条件が露光時間である請求項１に記載の画像処理装置。
3. 前記撮像条件が画像取得手段への入射光量である請求項１に記載の画像処理装置。
4. 前記撮像条件が分光感度特性である請求項１に記載の画像処理装置。
5. 基準フレーム画像と、該基準フレーム画像と撮像条件の異なる参照フレーム画像とを周期的に取得する画像取得ステップと、
   前記基準フレームより先に取得され、且つ、互いに同一の撮像条件で取得された２つの参照フレーム画像間の動きベクトルを検出する動き検出ステップと、
   該動き検出ステップにより検出された動きベクトルと前記参照フレーム画像とに基づいて、前記基準フレームの撮像時刻に前記参照フレーム画像と同一の撮像条件で取得されたと予測される予測フレーム画像を生成する予測フレーム画像生成ステップと、
   該予測フレーム画像生成ステップにより生成された予測フレーム画像と前記基準フレーム画像とを合成して出力フレーム画像を生成する出力フレーム画像生成ステップと、
   を備える画像処理方法。