JP4392291B2

JP4392291B2 - 画像処理装置、画像処理方法および画像処理プログラム

Info

Publication number: JP4392291B2
Application number: JP2004159977A
Authority: JP
Inventors: けん筒口; 努佐々木
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2004-05-28
Filing date: 2004-05-28
Publication date: 2009-12-24
Anticipated expiration: 2024-05-28
Also published as: JP2005339384A

Description

本発明は、画像処理装置に係り、特に、動画像をエピポーラ解析により補間する画像処理装置に関するものである。

画像処理技術では、画像のノイズを除去したりあるいは画像中のある像を消去したりする際に補間処理が行なわれているが、この補間処理とは、色情報を持たない画素に色情報を設定する処理である。補間処理の代表的な手法としては、補間点の周辺にある画素の色情報を補間点に設定する手法がある。しかし、補間すべき領域が大きくなると、補間処理の精度が低下するので、この場合には次のような手法が用いられている。すなわち、相対的に移動する被写体としての動物体が存在する背景と、その動物体が存在しない背景とをそれぞれカメラで撮影しておき、これらの背景画像をもとに、背景画像中の動物体を消去する手法である（例えば、非特許文献１）。
紅山史子著，外１名，「繰り返し動画撮影による動体の消去（第Ｉ巻）」，情報処理学会（情報科学技術フォーラム），２００２年，ｐ．１９−２０

しかしながら、非特許文献１に開示された手法では、動物体が存在しない背景を予め撮影しておく必要があるので、これを撮影していない場合には、動物体を消去することができないし、また、撮影した背景の中に動物体が一つも存在しない場合には、動物体を消去することができなかった。したがって、三次元形状（奥行き情報）中の見え隠れする複数の像のうちの見えている像を削除して隠れている像を忠実に再現することができず、撮影者の視点に依存した動画像の編集をより正確に行うことができないという問題があった。

そこで、本発明は、前記した課題を解決するためになされたものであり、その目的は、撮影者の視点に依存した動画像の忠実な編集を行うことが可能な画像処理装置、画像処理方法および画像処理プログラムを提供することである。

前記課題を解決するために本発明は、記憶部および処理部を備え、前記した記憶部が、所定の方向に沿って一直線上でかつ等間隔に設定された撮影位置において所定の方向に対して垂直方向となる所定の撮影方向に光軸を向けて撮影された時空間画像を蓄積する。そして、前記した処理部は、前記した時空間画像中の特徴点の軌跡を抽出する抽出機能と、前記した時空間画像のうちの指定された特徴点の軌跡の画素を消去する消去機能と、消去した画素の近傍について消去した画素の軌跡よりも傾きが小さい特徴点の軌跡が複数ある場合、そのうち、その傾きが最小の特徴点の軌跡Ｌをもとに、消去した画素を軌跡Ｌの画素が持つ色情報によって補間する補間機能と、補間後の時空間画像を外部出力する出力機能とを有する。

本発明によると、時空間画像中のうちの指定された画素についてその近傍の特徴点の軌跡をもとに補間し、補間後の時空間画像を外部出力するので、特徴点の軌跡に対応する画素に依存した動画像の再現を行うことができる。したがって、撮影者の視点に依存した動画像の編集をより正確に行うことができる。

図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。
図１に示す画像処理装置１０は、入力部１１、表示部１２、記憶部１３およびこれらを制御する処理部１４を有している。例えば、画像処理装置１０は、パーソナルコンピュータなどのコンピュータである。以下、これらを具体的に説明する。

入力部１１は、情報を入力するためのものであり、例えば、マウス、キーボードなどが用いられる。表示部１２は、情報を表示するためのものであり、例えば、ディスプレイなどが用いられる。

記憶部１３は、情報を記憶するためのものであり、例えば、メモリ、ハードディスクなどが用いられる。この記憶部１３には時空間画像が蓄積されている。時空間画像というのは、連続的に撮影された画像群に基づいて生成される。

処理部１４は、例えばＣＰＵが用いられ、後記する各種の機能を持っている。これらの機能は、画像処理装置１０に組み込まれている画像処理プログラムに従って処理部１４が実行することによって実現される。

なお、前記した画像処理プログラムは、記憶部１３に予め格納しておいてもよいし、ＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体から読み込まれてもよい。

次に、前記した時空間画像に関して図２ないし図４に基づいて説明する。
[カメラの撮影方法]
まず、時空間画像の生成に用いられるカメラの撮影方法について説明する。図２は、カメラの撮影方法を示す説明図である。図２では、被写体Ｐ，Ｑが静止している状態のときに、１台のカメラ（例えば、ビデオカメラ）が、ｘ軸方向（所定の方向）に一定の速度（等速度）で平行移動し、撮影点（撮影位置）ｏ１，ｏ２，ｏ３で被写体を連続撮影する。ここでいう平行移動とは、撮影者の視線方向（カメラレンズの光軸方向を意味する）に垂直で、かつスキャンライン方向に平行な移動のことである。視線方向は撮影方向を意味する。

なお図２では、カメラは、撮影者の視線方向であるｚ軸に垂直で、かつスキャンライン方向であるｘ軸方向に水平に移動することとする。カメラの移動は、撮影者がｘ軸方向に移動することによって実現してもよいし、撮影点ｏ１，ｏ２，ｏ３にカメラを予めセットしておき、カメラのシャッタを順次あるいは同時に自動的に切ることによって実現してもよい。

各撮影点ｏ１，ｏ２，ｏ３の撮影間隔は等間隔であり、それぞれの撮影点ｏ１，ｏ２，ｏ３で、画像Ｉ１，Ｉ２，Ｉ３が撮影されている。図２では、画像Ｉ１，Ｉ２，Ｉ３は、撮影点ｏ１，ｏ２，ｏ３からの距離が異なるように記載されているが、実際には同じ距離となっている。
画像Ｉ１には、被写体Ｐ（ｘ，ｙ，ｚ）を示す画素ｐ１と被写体Ｑ（ｘ，ｙ，ｚ）を示す画素ｑ１とが含まれ、画像Ｉ２には、被写体Ｑを示す画素ｐ２が含まれ、画像Ｉ３には、被写体Ｑを示す画素ｑ３と被写体Ｐを示す画素ｐ３とが含まれている。

ここで、画素ｐ１，ｐ２，ｑ１〜ｑ３を特徴点というが、特徴点とは被写体の像そのものを意味する。そして、同じ被写体の像を示す特徴点は対応点となることもある。例えば、図２では、被写体Ｐの像を示す画素ｐ１，ｐ２は被写体Ｐの対応点となり、また、被写体Ｑの像を示す画素ｑ１〜ｑ３も被写体Ｑの対応点となっている。
したがって、図２の画像Ｉ１，Ｉ３では被写体Ｐ，Ｑの対応点が互いに存在するが、図２の画像Ｉ２では被写体Ｑの対応点しか存在しないこととなり、これらの画像Ｉ１〜Ｉ３を一連の動画像として連続的に見てみると、被写体Ｐが被写体Ｑによって見えたり隠れたりすることとなる。
なお、図２では、２つの被写体Ｐ，Ｑおよび３つの画像Ｉ１〜Ｉ３が示されているが、実際には、それ以外の被写体や画像が存在している。

[三次元空間および時空間画像の構成]
そして、図２に示した画像Ｉ１〜Ｉ３を含む画像群を、時間（撮影時間）軸ｔを持つ図３に示す三次元空間（ｘ，ｙ，ｔ）とみなす。図３の三次元空間は、時間軸ｔと空間軸（ｘ，ｙ）とを持っている。そして、この三次元空間を時間軸ｔ方向に切断することで、時空間画像が生成されることとなる。つまり、ここでは、時空間画像とは、平行移動するカメラによって連続的に撮影された二次元の画像群を、時間軸ｔを持つ三次元空間（ｘ，ｙ，ｔ）とみなし、この三次元空間を時間軸ｔ方向に切断することで得られるものであり、時間軸ｔおよび空間軸（ｘ，ｙ）持つ。さらに詳述すると、時空間画像は、ｘ軸方向に沿って一直線上でかつ等間隔に設定された各撮影点においてｘ軸方向に対して垂直方向となる撮影方向に光軸を向けて撮影されたものである。

そして図３では、軌跡線Ｌ１，Ｌ２が示されているが、これらは、画像Ｉ１〜Ｉ３中の該当する共通の対応点を通る線をあらわしている。例えば、軌跡線Ｌ１は、被写体Ｐを示す画素ｐ１，ｐ３を通る線をあらわし、軌跡線Ｌ２は、被写体Ｑを示す画素ｑ１，ｑ２，ｑ３を通る線をあらわしている。
なお、三次元空間（ｘ，ｙ，ｔ）内で画素の位置をあらわす場合、（ｉ，ｊ）を用いて示す。図３では、例えば、画素ｐ１などの位置を（ｉ１，ｊ１）などで示している。

[エピポーラ平面の抽出方法]
次に、図３に示した三次元空間（ｘ，ｙ，ｔ）からエピポーラ平面を抽出する方法について説明する。
図３の三次元空間（ｘ，ｙ，ｔ）において、ｙ軸方向の点ｙを固定（ｙ＝一定）して、ｘ軸と時間軸ｔとで構成される（ｘ−ｔ）平面を離散的に抽出すると、例えば、図４（ａ）に示す（ｘ−ｔ）平面、すなわちエピポーラ平面を抽出することができる。
図４（ａ）に示したエピポーラ平面上には、例えば、図３に示した画素ｐ１，ｐ３，ｑ１，ｑ２，ｑ３が含まれている。そして、各画素ｐ１，ｐ３を通る軌跡線Ｌ１と、各画素ｑ１，ｑ２，ｑ３を通る軌跡線Ｌ２とが示されている。

［軌跡線の傾きの意味］
ここで、図４（ａ）に示した各軌跡線Ｌ１、Ｌ２の傾き（ｔ／ｘ）の絶対値を比較してみると、軌跡線Ｌ２の傾きの方が、軌跡線Ｌ１の傾きよりも小さくなっている。これは、図２では、被写体Ｑの方が被写体Ｐよりもカメラからの距離が近いので、画像上での移動量ｘが大きくなり、軌跡線Ｌ２の傾きを示す式（ｔ／ｘ）中の分母ｘが大きくなるからである。すなわち、軌跡線の傾き（ここでは絶対値）は、軌跡線が示す像の被写体とカメラとの間の距離に反比例する。
したがって、時空間画像中、カメラの手前にある被写体の像の軌跡線は、その奥にある被写体の像の軌跡線よりも、その傾きの絶対値が小さくなる。例えば、カメラの一番手前にある被写体の像の軌跡線は、時空間画像の中で、その傾きが最小となる。

なお、例えば、図４（ａ）に示したように、エピポーラ平面を離散的に抽出するのではなく、時間的に連続してエピポーラ平面を抽出すると、図４（ｂ）に示すように、対応点の軌跡が直線状になる。

[補間処理手法の概略]
次に、画像処理装置１０によって実現される補間処理の手法の概略を図５に基づいて説明する。
例えば、図５（ａ）に示すエピポーラ平面において、ユーザによって除去したい物体の像の軌跡線が指定されると、同図（ｂ）に示すように、その軌跡線が除去されブランクができる。そして、指定された軌跡線とは異なる他の軌跡線Ｌを延長して、ブランクを埋める（同図（ｃ）参照）。つまり、延長した軌跡線Ｌの色情報がブランクに設定されることとなる。なお、軌跡線Ｌの延長方法は、後記の図７で詳述する。

[ブランクへの軌跡線の色情報の設定]
ここで、軌跡線Ｌの色情報がブランクに設定されることとなるが、この点について詳述しておく。まず、軌跡線Ｌの色情報について説明する。軌跡線Ｌの色情報というのは、該当する対応点である画素が持つ色情報を意味する。例えば、図４（ａ）の軌跡線Ｌ２の色情報というときは、該当する対応点である各画素ｑ１，ｑ２，ｑ３が持つ色情報を意味する。この場合、これらの画素ｑ１〜ｑ３は、同じ被写体Ｑの像であるから、同じ色情報を持つと仮定する。

なお、画素には所定の領域があるため、ここでは、画素の中心部の色情報を画素が持つ色情報として定義しておく。例えば、画素（ｉ，ｊ）の領域を、ｉ≦ｘ≦ｉ＋１、ｊ≦ｙ≦ｊ＋１とした場合、その画素の色情報は、（ｘ，ｙ）＝（ｉ＋０．５，ｊ＋０．５）における色情報とする。ただし、例えば、延長した軌跡線Ｌがある画素を複数通過する場合、その画素の中心部に最も近い点を通過する軌跡線Ｌの色情報をその画素に設定してもよい。

[動画像の補間処理]
次に、画像処理装置１０の処理部１４における動画像の補間処理を示す手順を図６ないし図８に基づいて具体的に説明する。ここでは、まず、図６に基づいて、動画像中の消去対象の画素の受付などに関する処理手順Ｓ１０１〜Ｓ１０８について説明する。

Ｓ１０１において、処理部１４は、例えば、所定のタイミングで図３に示した時空間画像を記憶部１３に読み込む。そして、ユーザが入力部１１を用いて対象区間、すなわち、時空間画像中の画像のフレーム区間をフレーム番号（開始フレーム番号、終了フレーム番号）で指定する。フレーム番号は、画像に時系列順に付与される番号である。そうすると、処理部１４は、ユーザによって指定された対象区間を受け付ける（Ｓ１０２）。
なお、対象区間は、フレーム番号によって指定されたフレーム区間としたが、すべてのフレームが対象区間として予め設定されている場合にはＳ１０２の処理を省略してもよい。

次に、処理部１４は、Ｓ１０２で受け付けた対象区間において、図３に示したように、各画像中の対応する軌跡を抽出する（Ｓ１０３：これを「抽出機能」という。）。軌跡の抽出は、ブロックマッチングによりあるフレームからその次のフレームを追跡して抽出してもよいし、ウィンドウサイズ（例えばＮ×Ｍ画素分）によりフレーム間を追跡して抽出してもよい。
そして、処理部１４は、Ｓ１０３で抽出した軌跡からなる軌跡線を修正する（Ｓ１０４）。軌跡線の修正は、抽出した軌跡が直線となるように行えば、例えば、撮影時間を変更し修正してもよいし（特開平１１−３３９０４３号公報参照）、カメラの位置を変更し修正してもよい（特開２００１−２８０４９号公報参照）。なお、軌跡が直線とならないのは、カメラの位置や撮影時間のずれなどの影響を受けるからである。

次に、処理部１４は、修正後の軌跡線の識別化処理を行う（Ｓ１０５）。識別化処理では、それぞれの軌跡線を一意に識別するための識別子（番号）を付与する。そして、識別子には、該当する軌跡線のフレームや画素の位置との対応関係を識別するため、次のような情報が対応付けられる。すなわち、該当する軌跡線が存在する画像の開始フレーム番号、処理を開始する画素の位置、終了フレーム番号、処理を終了する画素の位置などの情報である。また、識別子には、該当する軌跡線の傾きが対応付けられる。

次に、処理部１４は、Ｓ１０４で修正した軌跡線をＳ１０１で読み込んだ時空間画像に反映させるため、時空間画像を修正する（Ｓ１０６）。これにより、時空間画像が持つ時間軸ｔのずれなどが修正されることとなる。
そして、処理部１４は、修正後の時空間画像に基づく動画像を表示部１２に表示し（Ｓ１０７）、利用者が入力部１１を用いて、表示部１２上の動画像のうち、消去すべき画素を指定する。画素の指定は、動画像中の見え隠れしている像のうち、見えている像を消去して隠れている像を再現するようにするため、見えている像を指定する。例えば、利用者が図２の画像Ｉ１〜Ｉ３中の被写体Ｐを再現したい場合、図２に示した画像Ｉ２中の画素ｑ２が指定される。なお、画素の指定としては、例えば、クリック操作やドラッグ操作によって行われる。

そうすると、処理部１４は、指定された画素を消去対象の画素として受け付け（Ｓ１０８）、次に、図７のＳ１０９に進む。なお、処理部１４は、Ｓ１０８の受け付けにより、消去対象の画素を消去し、消去した画素を通る軌跡線（例えば図３の画素ｑ２を通る軌跡線Ｌ２）を除去してブランクとする（図５（ａ）（ｂ）参照：これを「消去機能」という。）。そして、処理部１４は、除去した軌跡線の傾き（ここではその傾きの絶対値を「ｍ」）を求めておく。ここでは、例えば、消去対象の画素を１フレーム中の１画素として説明を続けるが、複数の画素であってもよい。

なお、任意のフレームをｆとした場合、任意のフレームｆ中の画素（ｉ，ｊ）は（ｉ，ｊ，ｆ)であらわすこととする。例えば、図３の画像Ｉ２のフレームをｆ２とした場合、図３の画素ｑ２は（ｉ３，ｊ３，ｆ２）であらわす。

次に、図７を参照しながら、画像処理装置１０の処理部１４における処理手順Ｓ１０９〜Ｓ１２２について説明する。
Ｓ１０９では、処理部１４は、図６のＳ１０８で受け付けた画素すべての軌跡線（ここでは傾きの絶対値がｍのもの）についての処理について（Ｓ１０９の「Ｎｏ」の場合）、該当するすべてのｘ−ｔ平面、すなわちエピポーラ平面についての処理（すなわち図３のｙ軸方向の処理）が終了したかどうかを判断する（Ｓ１１０）。

そして、Ｓ１１０における処理対象のエピポーラ平面（ここでは図４（ａ）のエピポーラ平面）について（Ｓ１１０の「Ｎｏ」の場合）、処理部１４は、該当するフレーム（ここでは図４（ａ）の画像Ｉ２などのフレーム）すべての画素（ｉ，ｊ，ｆ）についての処理が終了していなければ（Ｓ１１１の「Ｎｏ」の場合）、例えば、８近傍を指定し（Ｓ１１２）、各画素の８近傍を通る軌跡線を探索する（Ｓ１１３）。軌跡線の探索は、図６のＳ１０８で消去された画素があらわす像よりもカメラ手前に存在する被写体の像を探索するため、軌跡線の傾きがｍ（消去済みの画素に対応する軌跡線の傾き）以下のものを探索する。

ここで、８近傍について説明しておく。例えば、注目画素を（ｉ，ｊ，ｆ）とすると、注目画素の８近傍というのは、画素（ｉ−１，ｊ，ｆ）、（ｉ＋１，ｊ，ｆ）、（ｉ−１，ｊ、ｆ−１）、（ｉ，ｊ，ｆ−１）、（ｉ＋１，ｊ，ｆ−１）、（ｉ−１，ｊ，ｆ＋１）および（ｉ＋１，ｊ，ｆ＋１）で示される画素のことである。

次に、Ｓ１１４において、処理部１４が、例えば、該当する軌跡線がないと判断した場合（Ｓ１１４の「Ｎｏ」の場合）、近傍範囲を拡大し（Ｓ１１５）、Ｓ１１３に戻って、軌跡線を探索する。近傍範囲の拡大は、１画素幅の拡大とするが、例えば、２画素幅の拡大としてもよい。

これに対して、Ｓ１１４における判断において、該当する軌跡線があった場合（Ｓ１１４の「Ｙｅｓ」の場合）、処理部１４は、軌跡線の数を判定する（Ｓ１１６）。
そして、Ｓ１１６における判定において、例えば、軌跡線が１つと判定された場合（Ｓ１１６の「１つ」の場合）、処理部１４は、Ｓ１１６で判定した１つの軌跡線を延長して、該当する画素（ここでは図６のＳ１０８の受付処理により消去したもの）を軌跡線の端点とし（Ｓ１１７）、その軌跡線の色情報でその画素を補間する（Ｓ１１８：これを「補間機能」という。）。これにより、隠蔽していた被写体の像が補間されることとなる。

他方、Ｓ１１６における判定において、例えば、軌跡線が２つと判定された場合（Ｓ１１６の「２つ」の場合）、処理部１４は、Ｓ１１９に進み、両者の傾き（例えば、傾きｍ１、傾きｍ２）が同一でないと判断したとき（Ｓ１１９の「Ｎｏ」のとき）、後記のＳ１２１に進む。これに対して、Ｓ１１９における判断において、例えば、図８に示すように、両者の軌跡線１、２の傾きが同一である（ここでは、ｍ１＝ｍ２）と判断されたとき（Ｓ１１９の「Ｙｅｓ」のとき）、処理部１４は、両者の軌跡線１、２を連結し（Ｓ１２０）、Ｓ１１８に進む。これを詳述すると、処理部１４は、図８の軌跡線１、２の傾きに加え、両者の色情報が類似している場合に限り、両者の軌跡線１、２の傾きが同一であると判断し、両者の軌跡線１、２を連結する。なお、軌跡線１、２の色情報の類似範囲は、予め記憶部１３に設定しておく。これにより、例えば、図８では、連結した軌跡線１、２がブランクを通ることとなる。

なお、Ｓ１２０における連結処理は、軌跡線１、２の傾きが同一である場合に行うこととしたが、例えば、両者の傾きの差を示す閾値を予め設定しておき、それが閾値未満であれば連結処理を行うこととしてもよい。

Ｓ１１８では、処理部１４は、Ｓ１２０で連結した軌跡線１、２の色情報でその画素（ここではブランク）を補間する（図８参照：これを「補間機能」という。）。これを詳述すると、処理部１４は、例えば、Ｓ１２０で連結した図８の連結線１，２の一方の色情報でその画素を補間することとする。

また、Ｓ１１６における判定において、例えば、軌跡線が３つ以上と判定された場合（Ｓ１１６の「３つ以上」の場合）、処理部１４は、そのうち、傾きの大きい軌跡線を除外する（Ｓ１２１）。つまり、処理部１４は、軌跡線の傾きが最小のものだけを残す。これにより、カメラの一番手前にある被写体の像の軌跡線が検出されることとなる。
そして、処理部１４は、Ｓ１１７に進み、Ｓ１２１で除外することにより残った傾きが最小の軌跡線を延長し、図６のＳ１０８の受付処理により消去した該当する画素をその軌跡線の端点とした（Ｓ１１７）後、その軌跡線の色情報でその画素を補間する（Ｓ１１８：これを「補間機能」という。）。これにより、カメラの一番手前にある被写体の像が再現されることとなる。

このようにして、処理部１４は、該当する軌跡線別のエピポーラ平面上のすべての画素について、図７のＳ１０９からＳ１１８までの処理を繰り返し、軌跡線の色情報で補間することとなる。

そして、処理部１４は、該当するすべての軌跡線についての処理が終了すると（Ｓ１０９の「Ｙｅｓ」の場合）、Ｓ１１８の補間処理の結果を図６のＳ１０６で修正した時空間画像に反映させるため、その時空間画像を更新し（Ｓ１２１）、外部出力として、更新後の時空間画像に基づく動画像を表示部１２に再生する（Ｓ１２２：これを「出力機能」という。）。これにより、例えば、動画像中に見えていた図２の被写体Ｑが消えて、その被写体Ｑの奥にある被写体Ｐが見えることとなる。すなわち、隠蔽状態にあった被写体Ｐが再現されることとなる。

なお、Ｓ１２２では、動画像を再生することとしたが、例えば、動画像の一部を再生することとしてもよい。この場合、Ｓ１２１で更新した時空間画像、例えば、図２の画像Ｉ１〜Ｉ３のうちの画像Ｉ２のみを出力してもよい。

前記したように、実施の形態によると、図１に示した画像処理装置１０の処理部１４は、記憶部１３から読み出した時空間画像中の特徴点の軌跡を抽出する処理と、時空間画像のうちの指定された画素を消去する処理と、消去した画素の近傍についての対応点の軌跡をもとに、消去した画素を補間する処理と、補間後の時空間画像を表示部１２に外部出力する処理とを実行する。このため、特徴点の軌跡に応じた画素に依存する動画像の再現を行うことができる。したがって、撮影者の視点に依存した動画像の編集をより正確に行うことができる。

しかも、処理部１４は、消去した画素の近傍についての特徴点の軌跡をもとに補間する際に、消去した画素に対応する軌跡の傾きよりも小さい傾きの軌跡をもとに補間するようになっている。このため、画素の消去後、最前面の像が見えることとなり、動画像の再現が撮影者の視点と適合することとなる。

また、処理部１４は、消去した画素の近傍についての特徴点の軌跡（ここでは消去した画素の軌跡の傾きが小さいもの）が１つの場合、その軌跡を延長し、その消去した画素を補間するようになっている。これにより、隠蔽していた被写体の像が見えることとなる。

さらに、処理部１４は、消去した画素の近傍についての特徴点の軌跡（ここでは消去した画素の軌跡の傾きが小さいもの）が複数ある場合、そのうち、その傾きが最小の軌跡をもとに、その消去した画素を補間するようになっている。これにより、最前面の被写体の像が優先して補間され、動画像の再現が撮影者の視点とより適合することとなる。

[ブランクへの軌跡線の色情報の他の設定]
前記した実施の形態において、ブランクへの軌跡線の色情報の設定は、軌跡線の端部を延長して設定する場合で説明したが、ここでは、他の設定例について説明する。
色情報の設定は、例えば、軌跡線の開始位置の画素が持つ色情報を設定してもよいし、軌跡線の終了位置の画素が持つ色情報を設定してもよい。また、軌跡線の開始位置および終了位置の各画素の平均値を設定してもよい。

なお、本明細書において、時空間画像を生成するための撮影方法および装置は、一直線上を平行移動するカメラで撮影された動画像に基づく場合について説明したが、これらの撮影方向および装置に本発明は限定されるものではない。例えば、一直線上に所定の一定間隔で配置されるとともに、撮影の方向（光軸）がその配置された直線に対し、垂直方向になるように被写体に向けられ、かつ、すべての光軸が平行となるように配置された複数のカメラで撮影された画像を蓄積して適用するようにしてもよい。この場合、空間配置の順序がフレーム番号に対応して示されることとなるので、フレーム番号から、前記した説明におけるフレームあるいは撮影時刻を空間配置の順序に置き換える。

本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。図１の記憶部に格納されている時空間画像の生成に用いられるカメラの撮影方法を示す説明図である。図２の画像から得られる三次元空間を示す説明図である。図３の三次元空間から得られるエピポーラ平面を示す説明図である。図１の画像処理装置によって実現される補間処理手法を示す説明図である。図１の処理部における動画像の補間処理の手順の一部を示す図である。図６の残りの補間処理の手順を示す図である。図７の補間処理によって連結される軌跡線の例を示す説明図である。

符号の説明

１０画像処理装置
１１入力部
１２表示部
１３記憶部
１４処理部

Claims

記憶部および処理部を備え、前記記憶部が、所定の方向に沿って一直線上でかつ等間隔に設定された撮影位置において前記所定の方向に対して垂直方向となる所定の撮影方向に光軸を向けて撮影された時空間画像を蓄積する画像処理装置であって、
前記処理部は、
前記時空間画像中の特徴点の軌跡を抽出する抽出機能と、
前記時空間画像のうちの指定された特徴点の軌跡の画素を消去する消去機能と、
前記消去した画素の近傍について前記消去した画素の軌跡よりも傾きが小さい特徴点の軌跡が複数ある場合、そのうち、その傾きが最小の特徴点の軌跡Ｌをもとに、前記消去した画素を前記軌跡Ｌの画素が持つ色情報によって補間する補間機能と、
補間後の時空間画像を外部出力する出力機能と、
を有することを特徴とする画像処理装置。
記憶部および処理部を備え、前記記憶部が、所定の方向に沿って一直線上でかつ等間隔に設定された撮影位置において前記所定の方向に対して垂直方向となる所定の撮影方向に光軸を向けて撮影された時空間画像を蓄積する画像処理装置における画像処理方法であって、
前記処理部は、
前記時空間画像中の特徴点の軌跡を抽出するステップと、
前記時空間画像のうちの指定された特徴点の軌跡の画素を消去するステップと、
前記消去した画素の近傍について前記消去した画素の軌跡よりも傾きが小さい特徴点の軌跡が複数ある場合、そのうち、その傾きが最小の特徴点の軌跡Ｌをもとに、前記消去した画素を前記軌跡Ｌの画素が持つ色情報によって補間するステップと、
補間後の時空間画像を外部出力するステップと、
を実行することを特徴とする画像処理方法。
請求項２に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。