WO2020012556A1 - 撮像装置、画像補正方法および画像補正プログラム - Google Patents

Abstract

撮像装置は、第１光路と、前記第１光路と視差を有する第２光路とを時系列に切り替えて、前記第１光路を通った光が形成する被写体の像に基づく第１画像と、前記第２光路を通った光が形成する被写体の像に基づく第２画像と、を撮像する撮像装置であって、複数の前記第１画像から選択された、基準第１画像と、前記基準第１画像と撮像時刻が異なる参照第１画像とから、前記基準第１画像の分割領域ごとに動きベクトルを算出する動きベクトル算出部と、前記分割領域の輝度値に基づき、前記分割領域ごとの前記動きベクトルから、前記基準第１画像の画素ごとの補間動きベクトルを補間する動きベクトル補間部と、前記補間動きベクトルを用いて前記基準第１画像または前記参照第１画像を、前記第２画像の撮像時刻に基づき、時間的に前後する前記第１画像の予測画像に補正する画像補正部と、を備える。

Description

撮像装置、画像補正方法および画像補正プログラム

　本発明は、時分割ステレオ方式の撮像装置、画像補正方法および画像補正プログラムに関する。

　従来、２つの異なる光路を有し、ステレオ計測の原理に基づいて被写体の３次元座標および被写体の大きさを計測するステレオ計測機能を備える撮像装置が用いられている。

　例えば、特許文献１に示すように、計測内視鏡装置は、視差のある２個の光学系を備える。計測内視鏡装置は、それぞれの光学系により得られる光学像を同時に撮像する。計測内視鏡装置は、生成された２つの画像を用いて、ステレオ計測の原理に基づいて被写体の３次元座標および被写体の大きさを算出する。

　特許文献２で示されるステレオ計測装置は、２つの異なる光路（第１光路および第２光路とよぶ）を通った光が形成する被写体の２つの像を撮像素子の共通の領域に結像させる光学系を備える。また、ステレオ計測装置は、２つの光路のうちのいずれか一方を通った光のみが形成する被写体像を撮像するように光路を切り替える光路切り替え手段を備える。

　特許文献２のステレオ計測装置を用いて被写体の計測を行う場合、第１光路を通った光が形成する第１被写体像に基づく撮像により画像（第１画像とよぶ）が生成される。続いて、光路が切り替えられ、かつ第２光路を通った光が形成する第２被写体像に基づく撮像により画像（第２画像とよぶ）が生成される。第１画像および第２画像が有する視差に基づき、ステレオ計測の原理を用いて被写体の形状が計測される。

　このような時分割ステレオ方式の撮像装置では、第１画像と第２画像とが異なる時刻に撮像された画像であるため、第１画像と第２画像との間に撮像時間差に起因する動きずれが生じる場合がある。特に被写体が速く動いている場合や、手ブレ等によって撮像装置が動いている場合に、第１画像と第２画像との間に撮像時間差に起因する動きずれが顕著となる。撮像時間差に起因する動きずれが生じた場合、ステレオ計測を正しく行えない場合がある。

　時分割ステレオ方式の撮像装置で発生する撮像時間差に起因する動きずれを抑制するため、第１画像と第２画像のいずれか一方の画像を、時間的に前後する予測画像に補正し、撮像時間差を解消する必要がある。

　画像を時間的に前後する予測画像に補正する方法として、動きベクトルを用いて画像の動きを予測する方法がある。例えば、特許文献３に記載の撮像装置は、二つの画像から動きベクトルを検出し、検出した動きベクトル等を用いて基準画像を像振れのない予測画像に補正している。

特開２００４－０４９６３８号公報 特開２０１０－１２８３５４号公報 特開２０１４－１２６８６１号公報

　しかしながら、撮像装置で撮像した画像が被写体距離のバラツキが多い被写体を撮像した画像である場合、被写体距離によって動きベクトルの変化の傾向が異なる場合が多く、被写体距離を考慮しない動きベクトルを用いた補正では、当該画像を時間的に前後する予測画像に正しく補正できないという課題があった。

　上記事情を踏まえ、被写体距離のバラツキが多い被写体を撮像した画像であっても、当該画像を時間的に前後する予測画像に補正することができる時分割ステレオ方式の撮像装置、画像補正方法および画像補正プログラムを提供することを目的とする。

　上記課題を解決するために、この発明は以下の手段を提案している。
　本発明の第一の態様に係る撮像装置は、第１光路と、前記第１光路と視差を有する第２光路とを時系列に切り替えて、前記第１光路を通った光が形成する被写体の像に基づく第１画像と、前記第２光路を通った光が形成する被写体の像に基づく第２画像と、を撮像する撮像装置であって、複数の前記第１画像から選択された、基準第１画像と、前記基準第１画像と撮像時刻が異なる参照第１画像とから、前記基準第１画像の分割領域ごとに動きベクトルを算出する動きベクトル算出部と、前記分割領域の輝度値に基づき、前記分割領域ごとの前記動きベクトルから、前記基準第１画像の画素ごとの補間動きベクトルを補間する動きベクトル補間部と、前記補間動きベクトルを用いて前記基準第１画像または前記参照第１画像を、前記第２画像の撮像時刻に基づき、時間的に前後する前記第１画像の予測画像に補正する画像補正部と、を備える。

　本発明の第二の態様に係る画像補正方法は、基準第１画像と、前記基準第１画像と撮像時刻が異なる参照第１画像から、前記基準第１画像の分割領域ごとに動きベクトルを算出する動きベクトル算出工程と、前記分割領域の輝度値に基づき、前記分割領域ごとの前記動きベクトルから、前記基準第１画像の画素ごとの補間動きベクトルを補間する動きベクトル補間工程と、前記補間動きベクトルを用いて前記基準第１画像または前記参照第１画像を、時間的に前後する予測画像に補正する画像補正工程と、を備える。
 

　本発明の第三の態様に係る画像補正プログラムは、第１光路と、前記第１光路と視差を有する第２光路とを時系列に切り替えて撮像された、前記第１光路を通った光が形成する被写体の像に基づく第１画像と、前記第２光路を通った光が形成する被写体の像に基づく第２画像と、を処理する画像補正プログラムであって、コンピュータに、複数の前記第１画像から選択された、基準第１画像と、前記基準第１画像と撮像時刻が異なる参照第１画像とから、前記基準第１画像の分割領域ごとに動きベクトルを算出させ、前記分割領域の輝度値に基づき、前記分割領域ごとの前記動きベクトルから、前記基準第１画像の画素ごとの補間動きベクトルを補間させ、前記補間動きベクトルを用いて前記基準第１画像または前記参照第１画像を、前記第２画像の撮像時刻に基づき、時間的に前後する前記第１画像の予測画像に補正させる。

　本発明の撮像装置、画像補正方法および画像補正プログラムによれば、被写体距離のバラツキが多い被写体を撮像した画像であっても、当該画像を時間的に前後する予測画像に補正することができる。

本発明の第一実施形態に係る撮像装置の構成図である。 同撮像装置の撮像処理部によって生成される画像信号を時系列で表した説明図である。 同撮像装置の動きベクトル算出部の構成図である。 同撮像装置の動きベクトル算出領域設定に関する説明図である。 同撮像装置の動きベクトル算出領域設定に関する説明図である。 同撮像装置が行う動きベクトル算出に関する説明図である。 同撮像装置の動きベクトル補間部の構成図である。 同撮像装置が行う動きベクトル補間に関する説明図である。 同撮像装置により被写体を撮像する様子を示す図である。 図９に示す被写体のＡ－Ａ断面における断面図である。 図９に示す被写体のＡ－Ａ断面における表面の輝度値を示すグラフである。 同撮像装置の制御部の構成図である。 同撮像装置の変形例である外部のコンピュータシステムで動作させるプログラムのフローチャートである。 本発明の第二実施形態に係る撮像装置の構成図である。 同撮像装置の動きベクトル算出領域設定に関する説明図である。 同撮像装置の動きベクトル算出領域設定に関する説明図である。 同撮像装置の変形例である外部のコンピュータシステムで動作させるプログラムのフローチャートである。

（第一実施形態）
　本発明の第一実施形態について、図１から図１２を参照して説明する

　図１は、本発明の第一実施形態に係る撮像装置１００の構成図である。以下では、撮像装置１００が内視鏡装置である例を説明する。
　撮像装置１００は、図１に示すように、挿入部１と、コントロールユニット５と、操作部６と、表示部７と、を備える。

[挿入部１]
　挿入部１は、計測対象の物体の内部に挿入される。挿入部１は、先端部２と、挿入部１の長手軸方向に沿って延設される長尺の挿入部本体３と、を有する。

　先端部２は、挿入部本体３の先端に配置されている。先端部２は、第１光学系２１と、第２光学系２２と、光路設定部２３と、結像光学系２４と、撮像素子（撮像部）２５と、照明部２６と、を有する。

　例えば、第１光学系２１および第２光学系２２は、凹レンズと凸レンズとを組み合わせた対物レンズを有する。第２光学系２２は、第１光学系２１に対して視差を有するように配置されている。つまり、第１光学系２１および第２光学系２２は、視差方向に離間している。視差方向は、第１光学系２１の光学中心（主点）と第２光学系２２の光学中心（主点）とを通る直線の方向である。第１光学系２１に入射した光は第１光路Ｌ１を通る。第２光学系２２に入射した光は第１光路Ｌ１と異なる第２光路Ｌ２を通る。第１光学系２１は被写体の第１の像を形成し、かつ第２光学系２２は被写体の第２の像を形成する。

　光路設定部２３は、第１の像および第２の像のうちのいずれか一方のみが撮像素子２５の撮像領域に結像されるように、第１光路Ｌ１と第２光路Ｌ２との間で光路を切り替える。つまり、光路設定部２３は、第１の像および第２の像のうちのいずれか一方のみが撮像素子２５の撮像領域に結像されるように、第１光路Ｌ１および第２光路Ｌ２のうちいずれか一方を撮像時の光路として設定する。光路設定部２３は、第１光路Ｌ１および第２光路Ｌ２のうちいずれか一方を通る光のみを透過させ、かつ他方を通る光を遮蔽させるように構成されている。

　例えば、光路設定部２３は、第１光路Ｌ１および第２光路Ｌ２のうちいずれか一方のみに挿入される遮光板を含む。光路設定部２３が第１光路Ｌ１の光を透過させるとき、遮光板が第２光路Ｌ２に挿入され、第２光路Ｌ２の光は遮蔽される。光路設定部２３が第２光路Ｌ２の光を透過させるとき、遮光板が第１光路Ｌ１に挿入され、第１光路Ｌ１の光は遮蔽される。光路設定部２３による光路の切替動作は、コントロールユニット５の撮像制御部５０２からの制御信号によって制御される。

　結像光学系２４は、第１光路Ｌ１を通った光と第２光路Ｌ２を通った光とのいずれか一方に基づく被写体像を撮像素子２５の撮像領域に結像させる。第１光路Ｌ１および第２光路Ｌ２のうち撮像時の光路として設定された光路のみを通った光に基づく被写体像が撮像素子２５の撮像領域に結像される。

　撮像素子２５は、第１光路Ｌ１を通った光が形成する被写体の第１の像、および第１光路Ｌ１と異なる第２光路Ｌ２を通った光が形成する被写体の第２の像が共通に結像される撮像領域を有する。撮像素子２５は、結像された被写体像を光電変換し、撮像信号を生成する。撮像素子２５は、例えば、ＲＧＢ原色系の単板ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ；電荷結合素子）イメージセンサである。なお、撮像素子２５はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）で構成されていてもよい。撮像素子２５の動作は、コントロールユニット５の撮像制御部５０２からの制御信号によって制御される。

　撮像素子２５は、第１光学系２１を介して第１の像を第１撮像タイミングで撮像する。撮像素子２５は、撮像領域に結像された第１の像に基づく「第１画像」の撮像信号を生成する。撮像素子２５は、第１画像の撮像信号をコントロールユニット５に出力する。

　撮像素子２５は、第２光学系２２を介して第２の像を第１撮像タイミングと異なる第２撮像タイミングで撮像する。撮像素子２５は、撮像領域に結像された第２の像に基づく「第２画像」の撮像信号を生成する。撮像素子２５は、第２画像の撮像信号をコントロールユニット５に出力する。

　照明部２６は、被写体に照射される照明光を発生する光源を有する。例えば、光源はＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）である。照明部２６がコントロールユニット５内に配置され、かつ照明部２６が発生した照明光がライトガイドによって先端部２に導かれてもよい。

[コントロールユニット５]
　コントロールユニット（制御装置）５は、挿入部１に接続されている。コントロールユニット５は、図１に示すように、撮像処理部５０と、動きベクトル算出部５１と、動きベクトル補間部５２と、画像補正部５３と、出力部５４と、制御部５５と、を有する。

　撮像処理部５０は、先端部２の撮像素子２５等を制御する。また、撮像処理部５０は、撮像素子２５から入力される撮像信号を処理して画像信号を生成する。撮像処理部は、Ａ／Ｄ変換部５００と、バッファ５０１と、撮像制御部５０２と、撮像信号処理部５０３と、を有する。

　Ａ／Ｄ変換部５００は、撮像素子２５から入力される第１画像の撮像信号および第２画像の撮像信号を、デジタル信号に変換してバッファ５０１に保存する。

　バッファ５０１は、ＲＡＭやレジスタファイル等で構成された揮発性の記憶媒体である。バッファ５０１は、第１画像や第２画像を、少なくとも二つ格納することができる。

　撮像制御部５０２は、制御部５５の指示に基づき、光路設定部２３による光路の切替動作や撮像素子２５の動作を制御する。また、撮像制御部５０２は、図示しないＡＦモータを制御し，第１光学系２１および第２光学系２２の焦点距離を制御する。また、撮像制御部５０２では撮像信号中の輝度レベルや図示しない輝度センサを用いて入射光量の調整のため電子シャッター速度などを制御する。

　撮像信号処理部５０３は、バッファ５０１に保存された単板状態の撮像信号を読み込み、ホワイトバランス処理、画像フォーマット変換、補間処理等が行われた画像信号、例えば、ＲＧＢの三板状態の画像信号を生成する。撮像信号処理部５０３は、式１に示す演算により、ＲＧＢ信号を輝度色差信号（ＹＣｂＣｒ信号）に変換してもよい。

　図２は、撮像処理部５０によって生成される画像信号を時系列で表した説明図である。
　撮像制御部５０２は、時刻ｔ１において、光路設定部２３を制御し、第１光路Ｌ１を通る光のみを透過させる。撮像素子２５は、第１光学系２１を介して第１の像を撮像し、撮像領域に結像された第１の像に基づく第１画像の撮像信号を撮像処理部５０に出力する。撮像処理部５０は、第１画像の撮像信号を第１画像の画像信号ｇ１１に変換する。

　次に、撮像制御部５０２は、時刻ｔ２において、光路設定部２３を制御し、第２光路Ｌ２を通る光のみを透過させる。撮像素子２５は、第２光学系２２を介して第２の像を撮像し、撮像領域に結像された第２の像に基づく第２画像の撮像信号を撮像処理部５０に出力する。撮像処理部５０は、第２画像の撮像信号を第２画像の画像信号ｇ２２に変換する。

　次に、撮像制御部５０２は、時刻ｔ３において、光路設定部２３を制御し、再度第１光路Ｌ１を通る光のみを透過させる。撮像素子２５は、第１光学系２１を介して第１の像を撮像し、撮像領域に結像された第１の像に基づく第１画像の撮像信号を撮像処理部５０に出力する。撮像処理部５０は、第１画像の撮像信号を第１画像の画像信号ｇ１３に変換する。

　図２に示すように、撮像装置１００は、時分割で第１画像および第２画像を取得する時分割ステレオ方式の撮像装置である。そのため、撮像処理部５０が生成した第１画像ｇ１１と、第２画像ｇ２２と、第１画像ｇ１３とは、異なる時刻に撮像された画像信号となる。

　第１画像および第２画像が有する視差に基づき、ステレオ計測が行われる場合、第１画像ｇ１１と第１画像ｇ１３のいずれか一方と、第２画像ｇ２２とが用いられる。しかしながら、第１画像（ｇ１１もしくはｇ１３）と第２画像（ｇ２２）とは異なる時刻に撮像された画像であるため、第１画像と第２画像との間に撮像時間差に起因する動きずれが生じる場合がある。特に被写体が速く動いている場合や、手ブレ等によって撮像装置が動いている場合に、第１画像と第２画像との間に撮像時間差に起因する動きずれが顕著となる。撮像時間差に起因する動きずれが生じた場合、ステレオ計測を正しく行えない場合がある。

　そこで、コントロールユニット５は、第１画像（ｇ１１もしくはｇ１３）のいずれか一方の画像を、時間的に前後する予測画像ｇ´１２に補正する。予測画像ｇ´１２は、図２に示すように、第２画像ｇ２２が撮像された撮像時刻ｔ２における第１画像の予測画像である。予測画像ｇ´１２と第２画像ｇ２２とをステレオ計測に使用すれば、ステレオ計測における撮像時間差に起因する動きずれを抑制することができる。予測画像ｇ´１２は、動きベクトル算出部５１と、動きベクトル補間部５２と、画像補正部５３とによって生成される。

撮像処理部５０は、第１画像ｇ１１および第１画像ｇ１３を動きベクトル算出部５１に出力する。また、撮像処理部５０は、第２画像ｇ２２、第１画像ｇ１１および第１画像ｇ１３を画像補正部５３に出力する。

　図３は、動きベクトル算出部５１の構成図である。
　動きベクトル算出部５１は、動きベクトル算出領域設定部５１０と、ベクトル算出部５１１と、を有する。動きベクトル算出部５１は、同じ画像サイズの２枚の第１画像（一方を基準フレーム、他方を参照フレームと呼ぶ）から動きベクトルを算出する。
　動きベクトル算出部５１には、複数の第１画像から選択された撮像時刻が異なる二枚の第１画像（ｇ１１およびｇ１３）が入力される。動きベクトル算出部５１は、第１画像ｇ１１を基準フレーム（基準第１画像）、第１画像ｇ１３を参照フレーム（参照第１画像）として、第１画像ｇ１１から第１画像ｇ１３に対する動きベクトルを算出する（動きベクトル算出工程）。

　図４および図５は、動きベクトル算出領域設定に関する説明図である。図４は基準フレームを示し、図５は参照フレームを示している。
　動きベクトル算出部５１は、参照フレーム内の特定の領域（探索ブロックＳ）から、基準フレーム内の特定の領域（基準ブロックＢ）と類似する領域（マッチングブロックＭ）を検出し、基準ブロックＢとマッチングブロックＭとの位置関係に基づき動きベクトルを算出する。なお、基準ブロックＢとマッチングブロックＭとは領域の大きさが等しい。

　基準ブロック（分割領域）Ｂは、基準フレームを、例えば、水平方向に５画素および垂直方向に５画素（以降、「５ｘ５」と称す）の領域に分割した領域である。基準ブロックＢの基準点（例えば、中心点、左上端の画素、重心点、等）は水平方向および垂直方向に所定の画素間隔で配列される。
　探索ブロックＳは、基準ブロックＢよりも大きな領域、例えば「９ｘ９」の領域であり、マッチングブロックＭの探索領域として用いられる。

　以降の説明において、画像の画素の位置を説明するためにＸＹ座標を用いる。水平方向をＸ軸方向、垂直方向をＹ軸方向とし、左上を原点とする。ＸＹ座標は、（Ｘ，Ｙ）＝（０，０）のように表現する。

　動きベクトル算出領域設定部５１０は、基準ブロックＢごとに探索対象となる探索ブロックＳを設定する。探索ブロックＳは、基準ブロックＢの基準点座標が探索ブロックＳの座標範囲に含まれるように設定される。例えば、図４および図５に示すように、基準ブロックＢ１の中心座標が（ｘ１，ｙ１）である場合、探索ブロックＳ１は（ｘ１，ｙ１）が中心画像となるように設定される。

　動きベクトル算出領域設定部５１０は、撮像信号処理部５０３から入力される基準フレームと参照フレームから、基準ブロックＢおよび該基準ブロックＢとペアとなる探索ブロックＳの画像データを選択してベクトル算出部５１１に出力する。

　図６は、動きベクトル算出に関する説明図である。
　ベクトル算出部５１１は、図６に示すように、探索ブロックＳ１を、基準ブロックＢ１と領域の大きさが等しい参照ブロック（Ｒ１－Ｒ２５）を設定し、基準ブロックＢ１と参照ブロック（Ｒ１－Ｒ２５）との類似度を算出する。参照ブロック（Ｒ１－Ｒ２５）は、図６に示すように、探索ブロックＳ１の領域内において、Ｘ方向もしくはＹ方向に１画素ずつ異なる複数の領域である。

　類似度として、例えば、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅｓ：差分絶対値和）、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅｓ：差分二乗和）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ　Ｃｒｏｓｓ　Ｃｏｒｒｅｌａｔｉｏｎ）、およびＺＮＣＣ（Ｚｅｒｏ　ｍｅａｎｓ　Ｎｏｒｍａｌｉｚｅｄ　Ｃｒｏｓｓ　Ｃｏｒｒｅｌａｔｉｏｎ）などの指標値が利用可能である。

　ベクトル算出部５１１は、基準ブロックＢ１の中心座標である（ｘ１，ｙ１）が中心座標となる参照ブロックＲ１３を起点として、上下左右に隣接する参照ブロックの類似度を順次演算して求めてもよい。また、ベクトル算出部５１１は、探索ブロックＳ１内に設定される複数の参照ブロックの類似度を並列に演算して求めてもよい。

　ベクトル算出部５１１は、基準ブロックＢ１と、全ての参照ブロック（Ｒ１－Ｒ２５）との類似度の算出が完了すると、最も類似度が高かった参照ブロックをマッチングブロックＭ１とする。ベクトル算出部５１１は、選択したマッチングブロックＭ１の所定の基準点（例えば、中心点、左上端の画素、重心点、等）の座標から基準ブロックＢ１の基準点の座標の差分を「動きベクトル」として定める。ただし、基準ブロックＢ１と参照ブロック（Ｒ１－Ｒ２５）との類似度がいずれも所定の類似度に達しなかった場合、動きベクトルの検出結果は「未検出」となる。

　次に、動きベクトル算出領域設定部５１０およびベクトル算出部５１１は、処理中の基準フレーム内における他の基準ブロックＢの動きベクトルの検出を順次行い、全ての基準ブロックＢに関する動きベクトルを検出する。

　ベクトル算出部５１１は、基準ブロックＢについて検出した動きベクトルを動きベクトル補間部５２に出力する。動きベクトルが未検出である基準ブロックＢに関しては、動きベクトルが未検出であることを示す動き「ベクトル未検出フラグ」を出力する。

　図７は、動きベクトル補間部５２の構成図である。
　動きベクトル補間部５２は、補間ベクトル抽出部５２０と、補間部５２１と、を有する。動きベクトル補間部５２は、動きベクトル算出部５１が基準ブロックＢごとに求めた動きベクトルから、画素ごとの動きベクトル（補間動きベクトル）を補間により生成する（動きベクトル補間工程）。

　補間ベクトル抽出部５２０は、動きベクトル算出部５１から転送された基準ブロックＢごとの動きベクトルから補間に用いる動きベクトルを抽出する。補間ベクトル抽出部５２０は、（ｉ）動きベクトルを補間により生成する対象座標に近い基準ブロックで、かつ、（ｉｉ）動きベクトルが未検出でない基準ブロックＢの動きベクトルを、公知の４近傍選択方法により４個抽出する。

　図８は、動きベクトル補間に関する説明図である。
　例えば，補間ベクトル抽出部５２０は、図８に示すように、動きベクトルを補間により生成する対象座標ｘ（ｘ、ｙ）に近い４近傍の動きベクトルｖ（ｘ_１）～ｖ（ｖ_４）を抽出する。補間ベクトル抽出部５２０は、抽出した動きベクトルｖ（ｘ_１）～ｖ（ｖ_４）を補間部５２１に出力する。

　補間部５２１は、抽出された動きベクトルｖ（ｘ_１）～ｖ（ｖ_４）を用いて、式２に示す演算により、座標ｘ（ｘ、ｙ）における動きベクトルｖ´（ｘ）を４近傍補間により生成する。

　式２におけるｗｊは、例えば式３のように画像空間にける平面距離による重み付けである。ここで、平面距離は、座標ｘ（ｘ、ｙ）と、抽出した動きベクトルに対応する基準ブロックＢの基準点ｘｊと、の距離である。

　式３におけるＷｘ（ｘ，ｘｊ）は、例えば式４により求めることができる。ここでσxは画像空間におけるガウス分布における分散を表す。

　Ｗｘ（ｘ，ｘｊ）は、式４に示すガウス関数に限らず、式５に示す重みであってもよい。式５において、ａは任意定数を表す。

　また、Ｗｘ（ｘ，ｘｊ）は、式６に示す重みであってもよい。

　補間部５２１は、座標ｘと抽出した動きベクトルｖ（ｘ_１）～ｖ（ｖ_４）のと平面距離の差が大きい場合、重みを小さくする。また、補間部５２１は、座標ｘと抽出した動きベクトルｖ（ｘ_１）～ｖ（ｖ_４）のと平面距離の差が小さい場合、重みを大きくする。

　図９は、撮像装置１００により被写体Ｓを撮像する様子を示す図である。図９に示す被写体Ｓは、撮像装置１００の先端部２からの距離（被写体距離Ｄ）にバラツキがある。図１０は、図９に示す被写体のＡ－Ａ断面における断面図である。グラフの横軸はＡ－Ａ断面に水平なｘ軸の座標を示している。図１０に示すように、被写体Ｓの高さがＺ_０の部分と、被写体Ｓの高さがＺ_０＋Ｈの部分とでは、被写体距離Ｄが異なる。

　撮像装置１００により、被写体距離Ｄのバラツキが多い被写体Ｓを撮像した場合、第１画像ｇ１１と第１画像ｇ１３とから検出した動きベクトルは、被写体距離Ｄによって動きベクトルの変化の傾向が異なる場合が多い。例えば、被写体距離Ｄが短い部分を撮像した画素は動きベクトルが大きく変化する。一方、被写体距離Ｄが長い部分を撮像した画素は動きベクトルの変化がより小さい。そのため、動きベクトルｖ´（ｘ）の補間に、式３に示す画像空間の平面距離による重み付けのみを使用すると、動きベクトルｖ´（ｘ）を正しく補間により生成できない場合がある。

　図１１は、図９に示す被写体ＳのＡ－Ａ断面における表面の輝度値を示すグラフである。グラフの横軸はＡ－Ａ断面に水平なｘ軸の座標を示している。
　被写体の反射率が概ね均一である場合、輝度分布は被写体距離に依存する。また、被写体は、撮像装置１００の先端部２の照明部２６から照明光が均一に照射される。そのため、被写体の輝度値が高い部分は被写体距離Ｄが短く、輝度値が低い部分は被写体距離Ｄが遠い部分であると概ね判定できる。そこで、補間部５２１は、被写体の輝度値を、式２におけるｗｊの計算に用いてもよい。

　補間部５２１では、式２におけるｗｊに、例えば式７のように画像空間の平面距離による重みと、輝度差による重みとの積を用いる。ここで、輝度差は、座標ｘ（ｘ、ｙ）における輝度値ｄ、抽出した動きベクトルに対応する基準ブロックＢの基準点の輝度値ｄｊと、の輝度差（勾配）である。ここで、輝度値はＹ信号もしくはＧ信号である。

　式７におけるＷｄ（ｄ，ｄｊ）は、例えば式８により求めることができる。ここでσｄは輝度信号におけるガウス分布における分散を表す。

　Ｗｄ（ｄ，ｄｊ）は、式８に示すガウス関数に限らず、式９に示す重みであってもよい。式９において、ｂは任意定数を表す。

　また、Ｗｄ（ｄ，ｄｊ）は、式１０に示す重みであってもよい。

　補間部５２１は、輝度差が大きい場合、座標ｘと抽出した動きベクトルｖ（ｘ_１）～ｖ（ｖ_４）のと奥行き距離の差が大きいとし、重みを小さくする。また、補間部５２１は、輝度差が小さい場合、座標ｘと抽出した動きベクトルｖ（ｘ_１）～ｖ（ｖ_４）のと奥行き距離の差が小さいとし、重みを大きくする。補間部５２１は、このような重みづけにより、被写体距離Ｄを考慮した動きベクトルの補正を行うことができる。

　補間部５２１は、補間により算出した画素ごとの動きベクトルｖ´（ｘ）を画像補正部５３に出力する。

　補間部５２１は、輝度値の代わりにコントラスト値を用いてもよい。この場合、Ｗｄ（ｄ，ｄｊ）は、例えば式１１に示すようにより求めることができる。

　画像補正部５３は、算出された画素ごとの動きベクトルｖ´（ｘ）に基づいて、第１画像（ｇ１１もしくはｇ１３）のいずれか一方の画像を、時間的に前後する予測画像ｇ´１２に補正する（画像補正工程）。本実施形態では、第１画像ｇ１１を予測画像ｇ´１２に補正する。第１画像ｇ１１から予測画像ｇ´１２に対する動きベクトルｖ´´（ｘ）は式１２により求めることができる。

　時刻ｔ１と時刻ｔ２との間隔と、時刻ｔ２と時刻ｔ３との間隔とが同じ場合、動きベクトルｖ´´（ｘ）の大きさは、動きベクトルｖ´（ｘ）の大きさの１／２となる。

　画像補正部５３は、第１画像ｇ１１の全画素に動きベクトルｖ´´（ｘ）を適用することで予測画像ｇ´１２を公知の方法により生成することができる。画像補正部５３は、第１画像（ｇ１１およびｇ１３）および第２画像ｇ２２、生成した予測画像ｇ´１２を出力部５４に出力する。

　出力部５４は、第１画像（ｇ１１およびｇ１３）および第２画像ｇ２２、生成した予測画像ｇ´１２を選択または合成して表示画像を生成し、表示部７に所定の転送タイミングで表示画像を転送する。
　出力部５４は、第２画像ｇ２２と予測画像ｇ´１２とを左右に並べた表示画像を作成すれば、表示部７においてユーザは撮像時刻ｔ２におけるステレオ画像を観測することができる。

　制御部５５は、撮像処理部５０と、動きベクトル算出部５１と、動きベクトル補間部５２と、画像補正部５３と、出力部５４に加え、先端部２と、操作部６と、表示部７とを制御する。制御部５５は、これらに対して、操作部からの入力に基づき、動作パラメータを設定する。

　図１２は、制御部５５の構成図である。
　制御部５５は、図１２に示すように、プロセッサ５５０と、プログラムを読み込み可能なメモリ５５１と、記憶部５５２と、入出力制御部５５３と、を有するプログラム実行可能な処理装置（コンピュータ）である。制御部５５の機能は、制御部５５に提供されたプログラムをプロセッサ５５０が実行することにより実現される。なお、制御部５５の少なくとも一部の機能を、専用の論理回路等によって構成してもよい。
　例えば、プロセッサ５５０は、ＣＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）もしくはＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）またはこれらの組合せである。

　入出力制御部５５３は、コントロールユニット５における内部通信や、先端部２、操作部６および表示部７と動作制御のための通信を実施する。

　記憶部５５２は、上述したプログラムや必要なデータを記憶する不揮発性の記録媒体である。記憶部５５２は、例えばＲＯＭやフラッシュメモリで構成される。記憶部５５２に記録されたプログラムは、メモリ５５１に読み込まれ、プロセッサ５５０によって実行される。

　上述したプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。また、上述したプログラムは、このプログラムが保存された記憶装置等を有するコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により撮像装置１００に伝送されてもよい。プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように、情報を伝送する機能を有する媒体である。さらに、上述したプログラムは、制御部５５の機能を制御部５５に既に記録されているプログラムとの組合せで実現できる差分ファイル（差分プログラム）であってもよい。

　なお、撮像処理部５０と、動きベクトル算出部５１と、動きベクトル補間部５２と、画像補正部５３と、出力部５４とは、制御部５５同様、プロセッサ等を有するプログラム実行可能な処理装置（コンピュータ）もしくは専用の電子回路（論理回路等）またはこれらの組合せで構成されてよい。
　また、撮像処理部５０と、動きベクトル算出部５１と、動きベクトル補間部５２と、画像補正部５３と、出力部５４と、制御部５５とは、それぞれ別個の処理装置や電子回路で構成されてもよいし、これらのうち少なくとも一部が共通の処理装置や電子回路で構成されてもよい。

[操作部６]
　操作部６は、ユーザから指示を受け付けるユーザインターフェースである。ユーザは、操作部６を操作することにより、撮像装置１００全体の各種動作制御に必要な指示を入力する。操作部６は、ユーザから受け付けた指示を示す信号を制御部５５に出力する。例えば、操作部６は、シャッターボタン、設定用ボタン、設定用スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つである。

[表示部７]
　表示部７は、出力部５４が出力した表示画像を表示する。また、表示部７は、操作制御内容を表示する。例えば、操作制御内容はメニューとして表示される。例えば、表示部７は、液晶ディスプレイおよび有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイの少なくとも１つである。表示部７は、タッチパネルディスプレイであってもよい。その場合、操作部６および表示部７は一体化される。

　なお、操作部６および表示部７は、撮像装置１００において必須ではない。

[撮像装置１００の動作]
　次に、第１実施形態に係る撮像装置１００の動作を説明する。
　初めに、ユーザは先端部２を被写体を撮像できる位置に移動させる。次にユーザは操作部６を操作して、撮像装置１００による撮像を開始する。

　撮像装置１００は、図２に示すように、時刻ｔ１において第１画像ｇ１１を撮像する。次に、撮像装置１００は、時刻ｔ２において、光路設定部２３を制御して光路を切り替え、第２画像ｇ２２を撮像する。次に、撮像装置１００は、時刻ｔ３において、光路設定部２３を制御して光路を切り替え、第１画像ｇ１３を撮像する。次に、撮像装置１００は、時刻ｔ４において、光路設定部２３を制御して光路を切り替え、第２画像ｇ２４を撮像する。

　撮像装置１００は、第１画像ｇ１３の撮像が完了後、第１画像ｇ１１および第１画像ｇ１３から予測画像ｇ´１２を生成する。予測画像ｇ´１２は、図２に示すように、第２画像ｇ２２が撮像された時刻ｔ２における第１画像の予測画像である。生成された予測画像ｇ´１２は、出力部５４から表示部７に出力される。

　撮像装置１００は、第２画像ｇ２４の撮像が完了後、第２画像ｇ２２および第２画像ｇ２４から予測画像ｇ´２３を生成する。予測画像ｇ´２３は、図２に示すように、第１画像ｇ１３が撮像された時刻ｔ３における第２画像の予測画像である。生成された予測画像ｇ´２３は、出力部５４から表示部７に出力される。

　撮像装置１００は、操作部６からの動作停止指示があるまで、第１画像の予測画像の生成と、第２画像の予測画像の生成と、を交互に繰り返し実施する。

　本実施形態の撮像装置１００によれば、被写体距離のバラツキが多い被写体を撮像した画像であっても、当該画像を時間的に前後する予測画像に補正することができ、同時刻に撮影されたステレオ画像（第１画像および第２画像）を提供できる。

　本実施形態の撮像装置１００によれば、予測画像の生成に動きベクトルｖ´（ｘ）を用いており、画像ごとの動きベクトルｖ´（ｘ）は、基準ブロックＢごとに求めた動きベクトルｖ（ｘ）から補間により求めている。そのため、全画素の動きベクトルｖ´（ｘ）を高速に求めることができる。また、動きベクトルｖ´（ｘ）の補間において、輝度値を重みとして補間演算に用いている。そのため、被写体距離Ｄを考慮した動きベクトルの補正を行うことができる。

　以上、本発明の第一実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の第一実施形態および以下で示す変形例において示した構成要素は適宜に組み合わせて構成することが可能である。

（変形例１）
　上記の実施形態に係る撮像装置１００の少なくとも一部の機能を、コンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。

　例えば、撮像素子２５から撮像信号がＲａｗデータとして、ＩＳＯ感度情報や画像信号サイズなどがヘッダー情報として、外部のコンピュータシステムに出力される。外部のコンピュータシステムは、プログラムを実行することで、撮像装置１００の残りの機能を実現する。図１３は、外部のコンピュータシステムで動作させるプログラムのフローチャートである。

　コンピュータシステムは、図１３に示すように、ステップＳ１において、ヘッダー情報を読み込み、ステップＳ２において、時系列の撮像信号を読み込む。
　コンピュータシステムは、ステップＳ３において、撮像信号処理部５０３の処理に相当する信号処理を行う。
　コンピュータシステムは、ステップＳ４において、動きベクトル算出部５１に相当する処理を行い、動きベクトルを算出する。
　コンピュータシステムは、ステップＳ５において、動きベクトル補間部５２に相当する処理を行い、画素ごとの動きベクトルの補間を行う。
　コンピュータシステムは、ステップＳ６において、画像補正部５３に相当する処理を行い、画像信号の補正を行う。
　コンピュータシステムは、ステップＳ７において、処理予定の画像（フレーム）の処理が終わったかを判定し、全画像（全フレーム）の処理が終わった場合、処理を終了する。

（変形例２）
　上記の実施形態では、動きベクトルｖ´（ｘ）の補間に４近傍補間を使用していたが、動きベクトルの補間方法はこれに限定されない。動きベクトルの補間は、最近傍の１点を選択する最近傍補間であってもよいし、近傍の８点を抽出して補間を行ってもよい。

（変形例３）
　上記の実施形態では、補間により生成する予測画像ｇ´１２は、第１画像ｇ１１の撮像時刻ｔ１と、第１画像ｇ１３の撮影時刻ｔ３と、の間の撮像時刻ｔ２における予測画像であったが、予測画像の態様にこれに限定されない。第１画像ｇ１１と、第１画像ｇ１３とから検出した動きベクトルｖ´（ｘ）に基づき、撮像時刻ｔ１より時間的に前、もしくは、撮像時刻ｔ３より時間的に後、における予測画像を補間により生成してもよい。

（変形例４）
　上記の実施形態では、動きベクトルの補間における重み算出に、ガウス関数等の関数式を用いていたが、重みの算出方法はこれに限定されない。動きベクトルの補間における重みは、経験則等により決定したルックアップテーブルによって算出してもよい。ルックアップテーブルは、平面距離や輝度値等を入力とし、重みを出力する。

（第二実施形態）
　本発明の第二実施形態について、図１４から図１６を参照して説明する。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。本実施形態は、コントロールユニットが距離計測部を有している点などが、第一実施形態と異なっている。

　図１４は、本実施形態に係る撮像装置１００Ｂの構成図である。
　撮像装置１００Ｂは、図１４に示すように、挿入部１と、コントロールユニット５Ｂと、操作部６と、表示部７と、を備える。

　コントロールユニット５Ｂは、図１４に示すように、撮像処理部５０と、動きベクトル算出部５１Ｂと、動きベクトル補間部５２Ｂと、画像補正部５３と、出力部５４と、制御部５５とに加え、距離計測部５６を有する。

　距離計測部５６は、画像補正部５３が出力する第２画像ｇ２２および画像補正部５３が生成した予測画像ｇ´１２を受け取る。距離計測部５６は、時刻ｔ２に撮像された第２画像ｇ２２と、時刻ｔ２における第１画像の予測画像ｇ´１２とから、公知のステレオ計測方法により、画素ごとに先端部２から被写体までの被写体距離Ｄを計測する。距離計測部５６は、計測した画素ごとの被写体距離Ｄを、動きベクトル算出部５１Ｂおよび動きベクトル補間部５２Ｂに出力する。

　動きベクトル算出部５１Ｂは、動きベクトル算出領域設定部５１０Ｂと、ベクトル算出部５１１と、を有する。動きベクトル算出部５１Ｂは、第１画像ｇ１１および第１画像ｇ１３の処理後、次に第２画像ｇ２２および第２画像ｇ２４から基準ブロックＢごとに動きベクトルを算出する。ここで、動きベクトル算出部５１Ｂは、基準フレームＢの領域の大きさが均一でなく可変である点が動きベクトル算出部５１と異なっている。

　図１５および図１６は、動きベクトル算出領域設定に関する説明図である。図１５は基準フレームを示し、図１６は参照フレームを示している。
　動きベクトル算出領域設定部５１０Ｂは、距離計測部５６から入力される画素ごとの被写体距離Ｄを用いて、所定の画素間隔で水平方向および垂直方向に整列した基準点における基準ブロックＢの領域の大きさを決める。

　例えば、動きベクトル算出領域設定部５１０Ｂは、基準ブロックＢの基準点の画素における被写体距離Ｄが短い場合、図１５の領域Ｂ１のように、基準ブロックＢの領域の大きさを大きく設定する。
　基準点の画素における被写体距離Ｄが短い場合、基準点の画素は先端部２に近い被写体を撮像していることから、基準点周辺の画素の動きベクトルが基準点の画素の動きベクトルと同じ傾向を示す確率は高い。そのため、基準ブロックＢの領域の大きさを大きくすることで、動きベクトルの検出処理効率を高める。

　一方、動きベクトル算出領域設定部５１０Ｂは、基準ブロックＢの基準点の画素における被写体距離Ｄが長い場合、図１５の領域Ｂ３のように、基準ブロックＢの領域を大きさを小さく設定する。
　基準点の画素における被写体距離Ｄが長い場合、基準点の画素は先端部２から遠い被写体を撮像していることから、基準点周辺の画素の動きベクトルが基準点の画素の動きベクトルと同じ傾向を示す確率は低い。そのため、基準ブロックＢの領域の大きさを小さくすることで、動きベクトルの検出精度を高める。

　動きベクトル算出領域設定部５１０Ｂは、図１６に示すように、基準ブロックＢごとに探索対象となる探索ブロックＳを、基準ブロックＢの領域の大きさに基づき設定する。
　図１６に示すように、領域の大きさが大きい基準ブロックＢ１に対しては、領域の大きさが大きい探索ブロックＳ１を設定する。一方、領域の大きさが小さい基準ブロックＢ３に対しては、領域の大きさが小さい探索ブロックＳ３を設定する。

　動きベクトル補間部５２Ｂは、動きベクトル算出部５１Ｂが第２画像ｇ２２および第２画像ｇ２４から求めた動きベクトルから、画素ごとの動きベクトルを補間により生成する。この補間において、保存されている第２画像ｇ２２と第１画像の予測画像ｇ´１２とから計測した画素ごとの被写体距離Ｄを用いる。
　例えば、式２におけるｗｊは、例えば式１３に示す関数により算出する。ここで、ｚは座標ｘ（ｘ、ｙ）における被写体距離Ｄ、ｚｊは抽出した動きベクトルに対応する基準ブロックＢの基準点の被写体距離Ｄである。

　式１３におけるＷｚ（ｚ，ｚｊ）は、例えば式１４により求めることができる。ここでσｚは画像空間におけるガウス分布における分散を表す。

　なお、式１３に示す重みは、Ｗｘ（ｘ，ｘｊ）と、Ｗｄ（ｄ，ｄｊ）と、Ｗｚ（ｚ，ｚｊ）と、を全て使用しているが、いずれか一つもしくはいずれか二つを選択して用いてもよい。

　動きベクトル補間部５２Ｂは、被写体距離Ｄが大きい場合、重みを小さくする。また、動きベクトル補間部５２Ｂは、被写体距離Ｄが小さい場合、重みを大きくする。動きベクトル補間部５２Ｂは、このような重みづけにより、実際のステレオ計測した被写体距離Ｄを考慮した動きベクトルの補正を行うことができる。

　本実施形態の撮像装置１００Ｂによれば、第一実施形態に係る撮像装置１００同様、被写体距離のバラツキが多い被写体を撮像した画像であっても、当該画像を時間的に前後する予測画像に補正することができ、同時刻に撮影されたステレオ画像（第１画像および第２画像）を提供できる。また、当該ステレオ画像を用いて、正確なステレオ計測を行うことができる。

　本実施形態の撮像装置１００Ｂによれば、ステレオ計測結果をフィードバックして、被写体距離Ｄに合わせた基準ブロックＢおよび探索ブロックＳの領域サイズを決定する。その結果、撮像装置１００Ｂは、撮像装置１００と比較して、動きベクトルの検出処理効率が高く、また、動きベクトルの検出精度が高い。

　本実施形態の撮像装置１００Ｂによれば、ステレオ計測結果をフィードバックして、被写体距離Ｄに合わせた正確な動きベクトルの補間を行うことができる。

　以上、本発明の第二実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の第二実施形態および以下で示す変形例において示した構成要素は適宜に組み合わせて構成することが可能である。

（変形例５）
　上記の実施形態に係る撮像装置１００Ｂの少なくとも一部の機能をコンピュータで実現するようにしてもよい。例えば、撮像素子２５から撮像信号がＲａｗデータとして、ＩＳＯ感度情報や画像信号サイズなどがヘッダー情報として、外部のコンピュータシステムに出力される。外部のコンピュータシステムは、プログラムを実行することで、撮像装置１００の残りの機能を実現する。図１７は、外部のコンピュータシステムで動作させるプログラムのフローチャートである。

　ステップＳ１―Ｓ３、Ｓ７は、第一実施形態の変形例１で示したステップＳ１―Ｓ３、Ｓ７と同じである。
　コンピュータシステムは、図１７に示すように、ステップＳ１４において、動きベクトル算出部５１Ｂに相当する処理を行い、第１画像（ｇ１１およびｇ１３）から動きベクトルを算出する。
　コンピュータシステムは、ステップＳ１５において、動きベクトル補間部５２Ｂに相当する処理を行い、第１画像（ｇ１１およびｇ１３）に基づき画素ごとの動きベクトルの補間を行う。
　コンピュータシステムは、ステップＳ１６において、画像補正部５３に相当する処理を行い、第１画像ｇ１１および第１画像ｇ１３に基づく予測画像ｇ´１２を生成する。
　コンピュータシステムは、ステップＳ１７において、距離計測部５６に相当する処理を行い、時刻ｔ２に撮像された第２画像ｇ２２と、時刻ｔ２における第１画像の予測画像ｇ´１２とから、画素ごとに先端部２から被写体までの被写体距離Ｄを計測する。計測された被写体距離Ｄは保存される。
　コンピュータシステムは、ステップＳ７において、処理予定の画像（フレーム）の処理が終わったかを判定し、全画像（全フレーム）の処理が終わった場合、処理を終了する。次のフレームを処理する場合は、コンピュータシステムは、再度ステップＳ１４を実行する。

　コンピュータシステムは、ステップＳ１４において、動きベクトル算出部５１Ｂに相当する処理を行い、第２画像（ｇ２２およびｇ２４）から動きベクトルを算出する。動きベクトルの算出には直近のステップＳ１７で保存された被写体距離Ｄが使用される。
　コンピュータシステムは、ステップＳ１５において、動きベクトル補間部５２Ｂに相当する処理を行い、第２画像（ｇ２２およびｇ２４）に基づき画素ごとの動きベクトルの補間を行う。動きベクトルの補間には直近のステップＳ１７で保存された被写体距離Ｄが使用される。
　コンピュータシステムは、ステップＳ１６において、画像補正部５３に相当する処理を行い、第２画像ｇ２２および第２画像ｇ２４に基づく予測画像ｇ´２３を生成する。
　コンピュータシステムは、ステップＳ１７において、距離計測部５６に相当する処理を行い、時刻ｔ３に撮像された第１画像ｇ１３と、時刻ｔ３における第２画像の予測画像ｇ´２３とから、画素ごとに先端部２から被写体までの被写体距離Ｄを計測する。計測された被写体距離Ｄは保存される。
　コンピュータシステムは、ステップＳ７において、画像信号の全注目画素に対して処理が終わったかを判定し、全注目画素の処理が終わった場合、処理を終了する。

　本発明は、時分割ステレオ方式の撮像装置に適用することができる。

１００，１００Ｂ　撮像装置
１　　　挿入部
２　　　先端部
２１　　第１光学系
２２　　第２光学系
２３　　光路設定部
２４　　結像光学系
２５　　撮像素子（撮像部）
２６　　照明部
３　　　挿入部本体
５，５Ｂ　コントロールユニット（制御装置）
５０　　撮像処理部
５００　Ａ／Ｄ変換部
５０１　バッファ
５０２　撮像制御部
５０３　撮像信号処理部
５１，５１Ｂ　動きベクトル算出部
５１０，５１０Ｂ　ベクトル算出領域設定部
５１１　ベクトル算出部
５２，５２Ｂ　動きベクトル補間部
５２０　補間ベクトル抽出部
５２１　補間部
５３　　画像補正部
５４　　出力部
５５　　制御部
５５０　プロセッサ
５５１　メモリ
５５２　記憶部
５５３　入出力制御部
５６　　距離計測部
６　　　操作部
７　　　表示部

Claims (12)

1. 　第１光路と、前記第１光路と視差を有する第２光路とを時系列に切り替えて、前記第１光路を通った光が形成する被写体の像に基づく第１画像と、前記第２光路を通った光が形成する被写体の像に基づく第２画像と、を撮像する撮像装置であって、
   　複数の前記第１画像から選択された、基準第１画像と、前記基準第１画像と撮像時刻が異なる参照第１画像とから、前記基準第１画像の分割領域ごとに動きベクトルを算出する動きベクトル算出部と、
   　前記分割領域の輝度値に基づき、前記分割領域ごとの前記動きベクトルから、前記基準第１画像の画素ごとの補間動きベクトルを補間する動きベクトル補間部と、
   　前記補間動きベクトルを用いて前記基準第１画像または前記参照第１画像を、前記第２画像の撮像時刻に基づき、時間的に前後する前記第１画像の予測画像に補正する画像補正部と、
   　を備える撮像装置。
2. 　前記画像補正部は、前記基準第１画像または前記参照第１画像を、前記第２画像の撮像時刻と同じ時刻における前記第１画像の予測画像に補正する、
   　請求項１に記載の撮像装置。
3. 　動きベクトル補間部は、前記分割領域の前記輝度値の勾配を、前記補間動きベクトルの補間において重みとして用いる、
   　請求項１または請求項２に記載の撮像装置。
4. 　動きベクトル補間部は、前記輝度値の勾配が大きくなるほど前記重みを小さくし、前記輝度値の勾配が小さくなるほど前記重みを大きくする、
   　請求項３に記載の撮像装置。
5. 　動きベクトル補間部は、前記分割領域のコントラスト値を前記輝度値に代えて、前記補間動きベクトルの補間において重みとして用いる、
   　請求項１から請求項４のいずれか一項に記載の撮像装置。
6. 　前記第２画像と前記第１画像の前記予測画像と、を用いてステレオ計測を行う距離計測部をさらに備える、
   　請求項１から５のいずれか１項に記載の撮像装置。
7. 　前記動きベクトル補間部は、前記ステレオ計測により計測された被写体距離を、前記補間動きベクトルの補間において重みとして用いる、
   　請求項６に記載の撮像装置。
8. 　前記動きベクトル補間部は、前記被写体距離が大きくなるほど前記重みを小さくし、前記被写体距離が小さくなるほど前記重みを大きくする、
   　請求項７に記載の撮像装置。
9. 　前記動きベクトル算出部は、前記被写体距離に基づき、前記分割領域の大きさを設定する、
   　請求項７または８に記載の撮像装置。
10. 　前記動きベクトル算出部は、前記被写体距離が短いほど前記分割領域の大きさを大きく設定し、前記被写体距離が長いほど前記分割領域の大きさを小さく設定する、
    　請求項９に記載の撮像装置。
11. 　基準第１画像と、前記基準第１画像と撮像時刻が異なる参照第１画像から、前記基準第１画像の分割領域ごとに動きベクトルを算出する動きベクトル算出工程と、
    　前記分割領域の輝度値に基づき、前記分割領域ごとの前記動きベクトルから、前記基準第１画像の画素ごとの補間動きベクトルを補間する動きベクトル補間工程と、
    　前記補間動きベクトルを用いて前記基準第１画像または前記参照第１画像を、時間的に前後する予測画像に補正する画像補正工程と、
    　を備える、
    　画像補正方法。
     
12. 　第１光路と、前記第１光路と視差を有する第２光路とを時系列に切り替えて撮像された、前記第１光路を通った光が形成する被写体の像に基づく第１画像と、前記第２光路を通った光が形成する被写体の像に基づく第２画像と、を処理する画像補正プログラムであって、
    　コンピュータに、
    　　複数の前記第１画像から選択された、基準第１画像と、前記基準第１画像と撮像時刻が異なる参照第１画像とから、前記基準第１画像の分割領域ごとに動きベクトルを算出させ、
    　　前記分割領域の輝度値に基づき、前記分割領域ごとの前記動きベクトルから、前記基準第１画像の画素ごとの補間動きベクトルを補間させ、
    　　前記補間動きベクトルを用いて前記基準第１画像または前記参照第１画像を、前記第２画像の撮像時刻に基づき、時間的に前後する前記第１画像の予測画像に補正させる、
    　画像補正プログラム。

Images