JP5489809B2 - 画像処理装置および画像処理装置の制御方法 - Google Patents

Description

本発明は、画像処理装置および画像処理装置の制御方法に関する。

従来、インタレース映像をプログレッシブ映像へ変換する技術は走査線補間技術として知られている。また、特許文献１には、立体映像を構成する２つの映像（インタレース映像；右目用映像と左目用映像）からプログレッシブ映像を生成する技術が開示されている。具体的には、特許文献１に開示の技術では、右目用映像と左目用映像とは互いに相補的な関係にある。そして、右目用映像の補間ライン（プログレッシブ映像を生成するために右目用映像に対して生成されるライン）の上下ラインと、左目用映像の上記補間ラインに相当するラインの映像信号を用いて、該補間ラインを生成する。

立体映像において、右目用映像と左目用映像とは非常に類似している（相関性が高い）が、それらの映像間には物体の奥行きに応じた視差が存在する。
上述した走査線補間技術はインタレース方式の右目用映像と左目用映像のそれぞれに対して適用可能であるが、それらの映像間の相関性を有効に利用することはできない。そのため、上述した走査線補間技術では高画質なプログレッシブ映像を生成することができない（画像のライン間を精度良く補間することができない）。
また、右目用映像と左目用映像とが互いに相補的な関係にあるとは限らない。右目用映像と左目用映像とが互いに相補的な関係にあったとしても、右目用映像の補間ラインに相当する左目用映像のラインの映像が必ずしも補間ラインの位置に対応する映像とは限らない。そのため、特許文献１の技術では、高画質なプログレッシブ映像を生成できないことや、プログレッシブ映像自体を生成できないことがある。

特開２００２−１３５８０５号公報

本発明は、画像のライン間を精度良く補間することのできる画像処理装置および画像処理装置の制御方法を提供することを目的とする。

本発明の画像処理装置は、同一対象を異なる視点から撮影した第１画像と第２画像を用いて、前記第１画像のライン間を補間する画像処理装置であって、前記第１画像と前記第２画像を比較し、それらの画像間の垂直方向のずれ量を算出する算出手段と、前記ずれ量が誤りであるか否かを判定する判定手段と、前記ずれ量と前記判定手段の判定結果に基づいて、前記第１画像のライン間に補間ラインを生成する生成手段と、を有し、前記生成手段は、前記ずれ量が誤りではないと判定された場合、補間ラインの生成位置に対し、前記第２画像において該生成位置から前記ずれ量の分だけずれた位置に存在するラインを用いて補間ラインを生成する２画像間補間処理により補間画素を生成し、前記ずれ量が誤りであると判定された場合、フィールド内補間処理により補間画素を生成することを特徴とする。

本発明の画像処理装置の制御方法は、同一対象を異なる視点から撮影した第１画像と第２画像を用いて、前記第１画像のライン間を補間する画像処理装置の制御方法であって、前記第１画像と前記第２画像を比較し、それらの画像間の垂直方向のずれ量を算出する算出ステップと、前記ずれ量が誤りであるか否かを判定する判定ステップと、前記ずれ量と前記判定ステップの判定結果に基づいて、前記第１画像のライン間に補間ラインを生成する生成ステップと、を有し、前記生成ステップでは、前記ずれ量が誤りではないと判定された場合、補間ラインの生成位置に対し、前記第２画像において該生成位置から前記ずれ
量の分だけずれた位置に存在するラインを用いて補間ラインを生成する２画像間補間処理により補間画素を生成し、前記ずれ量が誤りであると判定された場合、フィールド内補間処理により補間画素を生成することを特徴とする。

本発明によれば、画像のライン間を精度良く補間することができる。

実施例１に係る立体映像表示システムの構成図。 本実施例に係るＩＰ変換部の構成図。 動き検出方法の概念図。 左フィールド内補間画像の生成方法の概念図。 左フィールド間補間画像の生成方法の概念図。 本実施例に係る左右比較部の構成図。 実施例１に係る左右比較部の処理の流れを示すフローチャート。 注目ブロック領域の選択の概念図。 探索ベクトルと探索ブロックの概念図。 視差限界の概念図。 実施例１に係るオフセット検出部の構成図。 ２画像間補間処理の概念図。 実施例２に係る立体映像表示システムの構成図。 実施例２に係る立体映像表示システムの動作タイミングの概念図。 実施例３に係る立体映像表示システムの構成図。 実施例３に係る立体映像表示システムの動作タイミングの概念図。 実施例４に係る映像コンテンツ作成システムの概念図。

以下、本実施形態に係る画像処理装置及びその制御方法について説明する。本実施形態に係る画像処理装置は、同一対象を異なる視点から撮影した第１画像と第２画像を用いて、第１画像のライン間を補間する。

＜実施例１＞
（構成）
図１に本実施例に係る立体映像表示システムの構成を示す。
再生機１は光ディスクや磁気ディスクなどに記録された映像を再生する再生装置等を備える。再生機１は、同一対象を異なる視点から撮影した２つの映像（左入力映像（左目用の映像）と右入力映像（右目用の映像））から成る立体映像を再生し、左入力画像（信号）Ｓ１と右入力画像（信号）Ｓ２を出力する。左入力画像Ｓ１（第１画像）と右入力画像Ｓ２（第２画像）は、それぞれ、インタレース映像である左入力映像、右入力映像の１つのフィールドである。
ＩＰ変換部２は本実施例に係る画像処理装置である。ＩＰ変換部２は、左入力映像と右入力映像をそれぞれプログレッシブ映像に変換する。具体的には、左入力画像Ｓ１のライン間に補間ラインを生成することにより、左入力画像Ｓ１を左出力画像Ｓ１５に変換する。右入力画像Ｓ２も同様に右出力画像Ｓ２５に変換する。
立体表示機３は、左出力画像Ｓ１５と右出力画像Ｓ２５を取得して、立体映像を表示する。

次に、ＩＰ変換部２の構成を図２に示す。
左動き検出部１１は、左入力画像Ｓ１の動きを検出する（動き検出手段）。具体的には、左入力画像Ｓ１（左注目フィールド）の前後のフィールドを用いて左入力画像Ｓ１にお
ける補間画素（補間ラインを構成する画素）の生成位置毎の動きの有無を検出する。そして、検出結果として左動き検出信号Ｓ１１を出力する。

左フィールド内補間画像生成部１２、左フィールド間補間画像生成部１３、左右間補間画像生成部１４、及び、左画素選択部１５は、本発明の生成手段を構成する。
左フィールド内補間画像生成部１２は、左入力画像Ｓ１に対し、フィールド内補間処理を実行する。具体的には、左入力画像Ｓ１における補間ラインの生成位置の上下のラインから補間ラインを生成し、生成した補間ラインで構成される左フィールド内補間画像Ｓ１２を出力する。
左フィールド間補間画像生成部１３は、左入力画像Ｓ１に対し、フィールド間補間処理を実行する。具体的には、左入力画像Ｓ１の前後のフィールドから左入力画像Ｓ１の補間ラインを生成し、生成した補間ラインで構成される左フィールド間補間画像Ｓ１３を出力する。
左右間補間画像生成部１４は、後述する左視差Ｓ４１と上下オフセットＳ４３を参照して、左入力画像Ｓ１と右入力画像Ｓ２から左入力画像Ｓ１の補間ラインを生成し、生成した補間ラインで構成される左右間補間画像Ｓ１４を出力する。
左画素選択部１５は、画素位置毎に、左動き検出信号Ｓ１１と左視差Ｓ４１に応じて、左入力画像Ｓ１、左フィールド内補間画像Ｓ１２、左フィールド間補間画像Ｓ１３、左右間補間画像Ｓ１４のいずれかの画素を選択する。それにより、左出力画像Ｓ１５を生成し出力する。

右動き検出部２１は、右入力画像Ｓ２（右注目フィールド）の前後のフィールドを用いて右入力画像Ｓ２における補間画素の生成位置毎の動きの有無を検出する。そして、検出結果として右動き検出信号Ｓ２１を出力する。

右フィールド内補間画像生成部２２は、右入力画像Ｓ２における補間ラインの生成位置の上下のラインから補間ラインを生成し、生成した補間ラインで構成される右フィールド内補間画像Ｓ２２を出力する。
右フィールド間補間画像生成部２３は、右入力画像Ｓ２の前後のフィールドから右入力画像Ｓ２の補間ラインを生成し、生成した補間ラインで構成される右フィールド間補間画像Ｓ２３を出力する。
右左間補間画像生成部２４は、後述する右視差Ｓ４２と上下オフセットＳ４３を参照して、左入力画像Ｓ１と右入力画像Ｓ２から右入力画像Ｓ２の補間ラインを生成し、生成した補間ラインで構成される右左間補間画像Ｓ２４を出力する。
右画素選択部２５は、右動き検出信号Ｓ２１と右視差Ｓ４２に応じて、右入力画像Ｓ２、右フィールド内補間画像Ｓ２２、右フィールド間補間画像Ｓ２３、右左間補間画像Ｓ２４のいずれかの画素を選択して右出力画像Ｓ２５を出力する。

左右比較部３０とオフセット検出部４０は、本発明の算出手段を構成する。
左右比較部３０は左入力画像Ｓ１と右入力画像Ｓ２を比較し、比較結果として左右ベクトルＳ３１と右左ベクトルＳ３２を出力する。本実施例では、左右比較部３０は、左入力画像Ｓ１を複数の分割領域（ブロック）に分割し、分割領域毎に左右ベクトルＳ３１を検出する。また、左入力画像Ｓ１と同様に右入力画像Ｓ２を複数の分割領域に分割し、分割領域毎に右左ベクトルＳ３２を検出する。
オフセット検出部４０は左右ベクトルＳ３１と右左ベクトルＳ３２を解析して左右画像間の垂直方向のずれ量を算出し、上下オフセットＳ４３、左視差Ｓ４１、右視差Ｓ４２を出力する。

（動き検出方法）
次に、左動き検出部１１における動き検出方法の具体例を説明する。動き検出方法の概
念図を図３に示す。図３において、ｎ１，ｎ２，・・・，ｎＸは左入力画像Ｓ１（左注目フィールド）の画素である。ａ１，ａ２，・・・，ａＸは左入力画像Ｓ１の１つ後のフィールドの画素である。ｂ１，ｂ２，・・・，ｂＸは左入力画像Ｓ１の１つ前のフィールドの画素である。ｍ１は、画素ａ１，ｂ１の位置と等しい左入力画像Ｓ１内の位置（補間画素の生成位置）に対する動き情報である。動き情報ｍ１は以下のように算出される（ｅは所定の閾値）。
｜ａ１−ｂ１｜≦ｅであれば、ｍ１＝０（動きなし）
｜ａ１−ｂ１｜＞ｅであれば、ｍ１＝１（動きあり）
画素ａ２，・・・ａＸ（画素ｂ２，・・・，ｂＸ）の位置と等しい左注目フィールド内の各位置に対する動き情報ｍ２，・・・，ｍＸも同様に算出される。そして、それらの算出結果が左動き検出信号Ｓ１１として出力される。
右動き検出部２１における動き検出方法も同様である。

（フィールド内補間画像の生成方法）
次に、左フィールド内補間画像生成部１２における左フィールド内補間画像の生成方法の具体例を説明する。生成方法の概念図を図４に示す。ｃ１，ｃ２，・・・，ｃＸは補間により生成すべき画素（補間画素）である。左フィールド内補間画像生成部１２は、上下に隣接する画素の平均値を補間画素の値とする。ただし、左補間画素の生成位置が最上位ラインもしくは最下位ライン上の位置のように上側もしくは下側に画素が存在しない位置である場合には、存在する一方の画素の値をそのまま補間画素の値とする。すなわち、図４の場合には、
ｃ１＝ｎ１
ｃＫ＝（ｎ１＋ｎＫ）／２
となる。全ての補間画素の値を算出することにより、それら補間画素から成る左フィールド内補間画像Ｓ１２が生成される。
右フィールド内補間画像生成部２２における右フィールド内補間画像の生成方法も同様である。

（フィールド間補間画像の生成方法）
次に、左フィールド間補間画像生成部１３における左フィールド間補間画像の生成方法の具体例を説明する。生成方法の概念図を図５に示す。ｄ１，ｄ２，・・・，ｄＸは補間画素である。左フィールド間補間画像生成部１３は、補間画素の値を以下のように算出する。
ｄ１＝（ａ１＋ｂ１）／２
補間画素ｄ２，・・・，ｄＸの値も同様に算出することにより、それら補間画素から成る左フィールド間補間画像Ｓ１３が生成される。
右フィールド間補間画像生成部２３における右フィールド間補間画像の生成方法も同様である。

（比較方法）
次に、左右比較部３０における左入力画像と右入力画像の比較方法の具体例を説明する。左右比較部３０の構成図を図６に示す。
左画像蓄積部１１１は、左入力画像Ｓ１を不図示のフレームメモリに蓄積する。また、左注目ブロック読出しアドレスＳ１１１０に応じて左注目ブロック画素Ｓ１１１１をフレームメモリから読み出して出力する。左探索ブロック読出しアドレスＳ１１１２に応じて左探索ブロック画素Ｓ１１１３をフレームメモリから読み出して出力する。
左注目ブロック抽出部１１２は、注目ブロック領域Ｓ１３０に基づいて左注目ブロックを順に選択し、選択したブロックの左注目ブロック読出しアドレスＳ１１１０を生成する。そして、左画像蓄積部１１１から左注目ブロック画素Ｓ１１１１を読み出し、左注目ブロックＳ１１２を出力する。
左右ブロック比較部１１３は、左注目ブロックＳ１１２と右探索ブロックＳ１２４を比較して左右ブロック一致度Ｓ１１３を出力する。一致度の算出方法の詳細は後述する。
左探索ブロック抽出部１１４は、左探索ベクトルＳ１３１に応じて左探索ブロック読出しアドレスＳ１１１２を生成する。そして、左画像蓄積部１１１から左探索ブロック画素Ｓ１１１３を読み出し、左探索ブロックＳ１１４を出力する。
左ベクトル選択部１１５は、各右探索ベクトルＳ１３２の左右ブロック一致度Ｓ１１３を検査し、最も一致度の高かった右探索ベクトルを左右ベクトルＳ３１として出力する。

右画像蓄積部１２１は、右入力画像Ｓ２を不図示のフレームメモリに蓄積する。また、右注目ブロック読出しアドレスＳ１２１０に応じて右注目ブロック画素Ｓ１２１１をフレームメモリから読み出して出力する。右探索ブロック読出しアドレスＳ１２１２に応じて右探索ブロック画素Ｓ１２１３をフレームメモリから読み出して出力する。
右注目ブロック抽出部１２２は、注目ブロック領域Ｓ１３０に基づいて右注目ブロックを順に選択し、選択したブロックの右注目ブロック読出しアドレスＳ１２１０を生成する。そして、右画像蓄積部１２１から右注目ブロック画素Ｓ１２１１を読み出し、右注目ブロックＳ１２２を出力する。
右左ブロック比較部１２３は、右注目ブロックＳ１２２と左探索ブロックＳ１１４を比較して右左ブロック一致度Ｓ１２３を出力する。一致度の算出方法の詳細は後述する。
右探索ブロック抽出部１２４は、右探索ベクトルＳ１３２に応じて右探索ブロック読出しアドレスＳ１２１２を生成する。そして、右画像蓄積部１２１から右探索ブロック画素Ｓ１２１３を読み出し、右探索ブロックＳ１２４を出力する。
右ベクトル選択部１２５は、各左探索ベクトルＳ１３１の右左ブロック一致度Ｓ１２３を検査し、最も一致度の高かった左探索ベクトルを右左ベクトルＳ３２として出力する。

ベクトル発生部１３０は、注目ブロック領域Ｓ１３０、左探索ベクトルＳ１３１、右探索ベクトルＳ１３２を順に発生して出力する。発生方法の詳細は後述する。

また、左右比較部３０は不図示の制御部によって各部の動作および信号の流れが制御される。左右比較部３０における処理（左右比較処理）の流れの一例を示すフローチャートを図７に示す。
ステップＰ３０１では画像の蓄積が行われる。左入力画像Ｓ１は左画像蓄積部１１１、右入力画像Ｓ２は右画像蓄積部１２１によりフレームメモリへ蓄積される。なお、フレームメモリは左画像蓄積部１１１と右画像蓄積部１２１とで個別に設けられていてもよいし、左画像蓄積部１１１と右画像蓄積部１２１とで共通のフレームメモリであってもよい。

ステップＰ３０２では注目ブロック領域Ｓ１３０の選択を行う。注目ブロック領域の選択の概念図を図８に示す。ＩＰ変換部２で扱う全画像領域８１を複数のブロック領域に分割し、各ブロック領域を順に注目ブロック領域８２（注目ブロック領域Ｓ１３０）として選択する。本実施例ではブロック領域のサイズを８×８画素とする。すなわち、注目ブロック領域（注目するブロックの領域）として最初に対角座標(0,0)，(7,7)の領域が選択され、次のステップＰ３０３へ移る。そして、制御ループが戻って次に注目ブロック領域を選択するときには、対角座標(8,0)，(15,7)の領域が選択される。同様に順に選択を続け
、全画像領域８１に右端に達したら、次に下の段、すなわち対角座標(0,8)，(7,15)の領
域が選択される。以下同様にして順に全画像領域８１の全ての領域が選択される。

ステップＰ３０３では注目ブロックの抽出を行う。左注目ブロック抽出部１１２は、左入力画像Ｓ１の画素のうち、選択された注目ブロック領域Ｓ１３０内の画素（左注目ブロック画素Ｓ１１１１）を読出す左注目ブロック読出しアドレスＳ１１１０を生成する。左画像蓄積部１１１は、左注目ブロック読出しアドレスＳ１１１０に従い、左注目ブロック画素Ｓ１１１１をフレームメモリから読み出す。左注目ブロック抽出部１１２は、読み出
された画素を再構成して左注目ブロックＳ１１２（左入力画像Ｓ１のうち、選択された注目ブロック領域の画像）を生成する。
右注目ブロック抽出部１２２においても同様の動作が行われる。
ステップＰ３０４では探索ベクトルの発生を行う。探索ベクトルと探索ブロックの概念図を図９に示す。探索領域８３は左探索ベクトルＳ１３１、右探索ベクトルＳ１３２をそれぞれ独立に設定する。

以下、ステップＰ３０４の処理について具体的に説明する。
立体映像の左右視差（左入力画像Ｓ１と右入力画像Ｓ２の水平方向の視差）は、観察者の左右の目が寄る方向（画面より手前に飛び出す方向）に大きくすることは可能であるが、その逆方向の視差を大きくすることはできない。それは、人間の目が一般的に並行よりも離れた視線を作ることができないことに起因する。この視差の限界を視差限界という。
視差限界の概念図を図１０に示す。図１０の例において、観察者の左眼９５ａは、立体映像装置９６の不図示の仕組みにより、左眼用の画像において手前に飛び出すオブジェクト９１ａと左眼用の画面において奥に引っ込むオブジェクト９３ａを選択的に観察する。観察者の右目９５ｂも同様に、右眼用の画像において手前に飛び出すオブジェクト９１ｂと右眼用の画面において奥に引っ込むオブジェクト９３ｂを選択的に観察する。観察者は画面より手前に飛び出すオブジェクト９１ａ、９１ｂ間に存在する左右視差９２によって、画面より手前に飛び出すオブジェクトの虚像９１ｃを認識する。同様に、画面よりも奥に引っ込むオブジェクト９３ａ、９３ｂ間に存在する左右視差９４によって、画面よりも奥に引っ込むオブジェクトの虚像９３ｃを認識する。

図１０より、画面より手前に飛び出すオブジェクトの左右視差９２は大きくしても虚像を構成できることがわかる。一方、画面よりも奥に引っ込むオブジェクトの左右視差９４は、表示される画面上において人間の目の間隔（約５ｃｍ以下）に制限しないと虚像を構成することができないことがわかる。

このことから、注目ブロックに対応するブロックを探索するための探索範囲は、左右非対称にすることができる。すなわち、右入力画像から左注目ブロックに対応するブロックを探索する範囲は、注目点（例えば、注目ブロックの位置）から左へ大きく、右へ小さくすることができる。左入力画像から右注目ブロックを探索する範囲は注目点から左へ小さく右へ大きくすることができる。こうすることで注目ブロックに対応するブロックの探索効率を向上することが可能となる。具体例として、本実施例では、表示領域（画面）の横幅が１００ｃｍ、水平方向の画素数が２０００画素、垂直方向の画素数が１０００画素の表示装置に立体映像が表示されるものとする。この場合、水平方向の画素ピッチは０．５ｍｍ／画素であり、人間の目の間隔を５ｃｍとすると、画面よりも奥に引っ込むオブジェクト間の視差限界は１００画素に相当する。画面よりも手前に飛び出すオブジェクト間の視差限界は特に存在しないが、通常は目の疲労を考慮して立体映像作成時に視差限界が考慮される。この値は再生する立体映像の内容や再生環境によって適宜設定するべきである。本実施例では画面よりも手前に飛び出すオブジェクト間の視差限界を水平表示幅の３０％、すなわち６００画素とする。また、立体映像の左右映像間において上下（垂直方向）の視差は基本的に存在しない。しかし、撮影環境の設定で完全に上下のずれを０にすることは難しく、ある程度のずれは存在してしまう。本実施例では上下のずれは垂直表示幅の１％以内、すなわち１０画素の範囲で存在するとする。この値も再生する立体映像の内容に応じて適宜設定されるべきである。よって、本実施例では右入力画像から左注目ブロックを探索する右探索ベクトルＳ１３２の探索範囲は注目点を中心として、左方向に６００画素、右方向に１００画素、上方向に５画素、下方向に５画素の範囲とする。また、左入力画像から右注目ブロックを探索する左探索ベクトルＳ１３１の探索範囲は左１００画素、右６００画素、上５画素、下５画素とする。

探索ブロックを指し示す探索ベクトル８４（左探索ベクトル、右探索ベクトル）は探索領域８３の範囲内を、半画素づつずらしながら順に発生される。すなわち、注目点の座標を(0,0)とすると、最初に、左探索ベクトルＳ１３１(-100,-5)と、右探索ベクトルＳ１３２(-600,-5)が発生されて次のステップＰ３０５へ移る。次に制御ループが戻った時は左
探索ベクトルＳ１３１(-99.5,-5)と右探索ベクトルＳ１３２(-599.5,-5)が発生される。
以下同様に、｛左探索ベクトル，右探索ベクトル｝＝｛(-99,-5),(-599,-5)｝，｛(-98.5,-5)，(-598.5,-5)｝，・・・と順に発生される。そして、探索領域の右端｛(600,-5)，(100,-5)｝に達したら、次は下に半画素ずらして｛(-100,-4.5)，(-600,-4.5)｝，｛(-99.5,-4.5)，(-599.5,-4.5)｝，・・・，｛(600,5),(100,5)｝と順に発生される。このよう
に、探索領域全てについて左探索ベクトルＳ１３１と右探索ベクトルＳ１３２を発生する。

ステップＰ３０５では探索ベクトルに基づく探索ブロックの選択を行う。左探索ブロック抽出部１１４は、注目ブロック領域Ｓ１３０と左探索ベクトルＳ１３１に基づいて不図示の左探索ブロック領域（左探索ブロックの領域）を算出する。具体的には、注目ブロック領域Ｓ１３０の対角座標が(x1,y1)，(x2,y2)、左探索ベクトルＳ１３１が(lvx,lvy)で
あるとき、左探索ブロック領域の対角座標(lx1,iy1),(lx2,ly2)は、
lx1＝x1＋lvx
ly1＝y1＋lvy
lx2＝x2＋lvx
ly2＝y2＋lvy
と算出される。
右探索ブロック抽出部１２４においても同様に右探索ブロック領域が算出される。

ステップＰ３０６では探索ブロック領域に基づいて探索ブロックの抽出を行う。左探索ブロック抽出部１１４は、左入力画像Ｓ１のうち、算出された左探索ブロック領域内の画素（左探索ブロック画素Ｓ１１１３）を読み出す左探索ブロック読出しアドレスＳ１１１２を生成する。左探索ブロック領域の対角座標の水平方向成分や垂直方向成分が整数でない場合は、左探索ブロック領域内の画素の他に、左探索ブロック領域のその方向（座標値が整数でない方向）に隣接する全ての画素を読み出す。例えば、左探索ブロック領域が対角座標を(10.5,0.5)，(17.5,7.5)とする８×８画素の領域であった場合、対角座標を(10,0)，(18,8)とする領域内の９×９画素を読み出すアドレスを生成する。左画像蓄積部１１１は、左探索ブロック読出しアドレスＳ１１１２に従い、左探索ブロック画素Ｓ１１１３をフレームメモリから読み出す。左探索ブロック抽出部１１４は、読み出された左探索ブロック画素Ｓ１１１３を再構成して左探索ブロックＳ１１４（左入力画像Ｓ１のうち、算出された左探索ブロック領域内の画像）を生成する。左探索ブロック領域の対角座標の水平方向成分や垂直方向成分が整数でない場合は、左探索ブロックを構成する画素の値はそれに隣接する画素の値の平均値とする。例えば、左探索ブロック領域(10.5,0.5)，(17.5,7.5)のときに読み出された領域(10,0)，(18,8)内の画素値をp(10,0)〜p(18,8)とすると、左探索ブロックＳ１１４を構成する８×８の画素値q(0,0)〜q(7,7)は、
q(0,0)＝｛p(10,0)＋p(11,0)＋p(10,1)＋p(11,1)｝／４
q(0,1)＝｛p(10,1)＋p(11,1)＋p(10,2)＋p(11,2)｝／４
・・・（以下同様）・・・
q(7,7)＝｛p(17,7)＋p(18,7)＋p(17,8)＋p(18,8)｝／４
と算出される。
右探索ブロック抽出部においても同様の動作が行われる。

ステップＰ３０７では注目ブロックと探索ブロックの比較が行われる。左右ブロック比較部１１３は、左注目ブロックＳ１１２と右探索ブロックＳ１２４のブロックマッチングを行って左右ブロック一致度Ｓ１１３を算出する。左注目ブロックＳ１１２を構成する８
×８の画素値をt(0,0)〜t(7,7)、右探索ブロックＳ１２４を構成する８×８の画素値をu(0,0)〜u(7,7)とすると、左右ブロック一致度Ｓ１１３（SAD）は、
SAD＝Σ｜t(x,y)−u(x,y)｜
と算出される。SADの値は小さいほど、両ブロックがよく一致していることを示す。
右左ブロック比較部１２３においても同様にして右左ブロック一致度Ｓ１２３が算出される。

ステップＰ３０８では探索ベクトルのうちブロック一致度が最小となるベクトルの選択を行う。左ベクトル選択部は、入力された左右ブロック一致度Ｓ１１３と一時保持した一致度とを比較する。入力された方の一致度の値が小さければ（すなわち、注目ブロックと探索ブロックとがよりよく一致していれば）、一時保持した一致度とベクトルを入力された左右ブロック一致度Ｓ１１３と右探索ベクトルＳ１３２に置き換える。このような比較、置き換えを繰り返すことで左右ブロック一致度Ｓ１１３が最小となる右探索ベクトルＳ１３２（即ち、左注目ブロックＳ１１２と最もよく一致する右探索ブロックＳ１２４を示す右探索ベクトルＳ１３２）が選択される。
右ベクトル選択部においても同様に右左ブロック一致度Ｓ１２３が最小となる左探索ベクトルＳ１３１が選択される。

ステップＰ３０９では探索の終了判断を行う。ベクトル発生部１３０における探索ベクトルの発生がすべて終了していればステップＰ３１０へ進む。まだ探索が終了していなければステップＰ３０４へ戻り、引き続き探索を行う。
ステップＰ３１０ではブロック一致度が最小となるベクトルの出力を行う。左ベクトル選択部１１５は一時保持したベクトルを左右ベクトルＳ３１として出力する。右ベクトル選択部１２５も同様に一時保持したベクトルを右左ベクトルＳ３２として出力する。
ステップＰ３１１では１画面分の終了判定を行う。全ての注目ブロックが選択されて１画面分の左右比較がすべて終了したら、左右比較部３０における左右比較処理を終了する。まだ終了していなければステップＰ３０２へ戻り、引き続き左右比較処理を行う。

（オフセット検出方法）
次に、オフセット検出部４０における視差の分離とオフセット検出方法の詳細を説明する。オフセット検出部４０の構成図を図１１に示す。
ベクトル分離部１４０は、左右ベクトルＳ３１を成分分離して、水平方向成分を左原視差Ｓ１４１、垂直方向成分を左上下差Ｓ１４３（垂直方向のずれ量）として出力する。また、右左ベクトルＳ３２を同様に分離して、水平方向成分を右原視差Ｓ１４２、垂直方向成分を右上下差Ｓ１４４（垂直方向のずれ量）として出力する。
符号反転部１４４は、右上下差Ｓ１４４の符号を反転して反転右上下差Ｓ１４５を出力する。

フィルタ１４３は、左上下差Ｓ１４３と反転右上下差Ｓ１４５を不図示のメモリに蓄積する。そして、左入力画像Ｓ１の注目ブロックとその周囲のブロックのそれぞれに対する左上下差を不図示のメモリから読み出す。また、右入力画像Ｓ２のブロックのうち、注目ブロックと位置が同じブロックとその周囲のブロックのそれぞれに対する反転右上下差を不図示のメモリから読み出す。そして、読み出した計１８箇所の上下差にフィルタリングを施すことにより、それらの代表値を算出（決定）する。例えば、代表値として、メディアン（中間値）、平均値、最大値、最小値などを算出する。そして、代表値を上下オフセットＳ４３として出力する。

一般に、注目ブロックの上下差と周囲のブロックの上下差はほぼ等しくなる。そのため、算出された上下差が正しければ、該上下差はフィルタリングにより得られた代表値とほぼ一致するはずである。
そこで、左検査部１４１は、ブロック毎に上下オフセットＳ４３と左上下差Ｓ１４３を比較し、一致すれば左原視差Ｓ１４１を左視差Ｓ４１として出力する。一致しなければ、左上下差（左右ベクトル）は誤りであると判断し、左視差Ｓ４１として「ベクトル無し」を出力する。なお、上下オフセットＳ４３と左上下差Ｓ１４３は完全に一致していなくてもよい。上下オフセットＳ４３と左上下差Ｓ１４３の差が所定の値以下の場合に、それらが一致しているとみなしてもよい。
右検査部１４２は上下オフセットＳ４３と反転右上下差Ｓ１４５を比較し、一致すれば右原視差Ｓ１４２を右視差Ｓ４２に出力する。一致しなければ、右上下差（右左ベクトル）は誤りであると判断し、右視差Ｓ４２として「ベクトル無し」を出力する。

このように、上下差にフィルタリングを施すことによってベクトル（左右ベクトルＳ３１、右左ベクトルＳ３２）の誤検出による画像の乱れを抑制することが可能となる。具体的には、注目ブロック領域Ｓ１３０に対する左右ベクトルＳ３１と右左ベクトルＳ３２は常に反転した関係になるとは限らない。しかし、同一個所に対する垂直方向のずれ量は左右画像間で同じになる。本実施例では、左右それぞれの画像から得られた左右ベクトルＳ３１と右左ベクトルＳ３２から垂直方向成分を分離して更にフィルタリングすることで、上下オフセットＳ４３を安定して抽出することが可能となる。

（補間画像生成方法）
次に、左右間補間画像生成部１４における補間画像生成方法（２画像間補間処理）の詳細について説明する。左右間補間画像生成部１４は上下オフセットＳ４３（左上下差Ｓ１４３）の値によって３種類の補間方法を使い分ける。なお、右左間補間画像生成部２４における２画像間補間処理も同様の考え方を適用すればよいため、説明は省略する。但し、右上下差Ｓ１４４ではなく上下オフセットＳ４３が右左間補間画像生成部２４に入力される場合、右左間補間画像生成部２４は上下オフセットＳ４３を符号を反転して用いる。

まず、上下オフセットＳ４３の値が整数ライン分でかつ奇数であった場合の補間方法について説明する。この場合における補間方法の概念図を図１２（Ａ），（Ｂ）に示す。図１２（Ａ）は左入力画像Ｓ１を示す。図１２（Ｂ）は右入力画像Ｓ２を表す。白部は入力されたラインを示す。斜線部は飛び越し走査によって飛び越された、補間が必要なライン（存在しないライン）を示す。Ｘは生成する補間画素である。丸印は、補間画素Ｘの生成位置に対しベクトル（上下オフセットＳ４３と左視差Ｓ４１）が指し示した位置である。
上下オフセットＳ４３が奇数の場合には、右入力画像Ｓ２において、左入力画像Ｓ１の補間ラインの生成位置から上下オフセットＳ４３の分だけずれた位置にラインが存在する。そのような場合には、右入力画像Ｓ２における該ラインを用いて補間ラインを生成する。具体的には、左視差と上下オフセットが指し示した丸印の位置に、右入力画像Ｓ２の画素ｂが存在するため、補間画素Ｘの値として画素ｂの値を用いる。

次に、上下オフセットＳ４３の値が整数ライン分でかつ偶数であった場合の補間方法について説明する。この場合における補間方法の概念図を図１２（Ｃ），（Ｄ）に示す。図１２（Ｃ）は左入力画像Ｓ１を示す。図１２（Ｄ）は右入力画像Ｓ２を表す。ｗは補間画素Ｘの上のラインに位置する画素、ｙは補間画素Ｘの下のラインに位置する画素である。その他の図画の意味は図１２（Ａ），（Ｂ）と同様である。
上下オフセットＳ４３が偶数の場合には、右入力画像Ｓ２において、左入力画像Ｓ１の補間ラインの生成位置から上下オフセットＳ４３の分だけずれた位置にラインが存在しない。そのような場合には、左入力画像Ｓ１における該補間ラインの生成位置の上下のラインを用いて補間ラインを生成する。具体的には、左視差と上下オフセットが指し示した丸印の位置に右入力画像Ｓ２の画素が存在しないため、補間画素Ｘの値として、
Ｘ＝（ｗ＋ｙ）／２
で算出される値を用いる。

次に、上下オフセットＳ４３の値が整数ライン分でなかった場合の補間方法について説明する。この場合における補間方法の概念図を図１２（Ｅ），（Ｆ）に示す。図１２（Ｅ）は左入力画像Ｓ１を示す。図１２（Ｆ）は右入力画像Ｓ２を表す。ｂは左視差と上下オフセットが指し示した位置の上のラインの画素、ｃは左視差と上下オフセットが指し示した位置の下のラインの画素である。その他の図画の意味は図１２（Ａ）〜（Ｄ）と同様である。
このような場合には、補間ラインの生成位置に対し、左入力画像Ｓ１における該生成位置の上下のライン、及び、右入力画像Ｓ２における該生成位置から上下オフセットの分だけずれた位置の上下のラインを用いて、補間ラインを生成する。具体的には、上下オフセットが整数ライン分でない場合には、左視差と上下オフセットが指し示した位置（１画素分の領域）の一部に右入力画像Ｓ２の画素ｂが存在する。そのため、補間画素Ｘの値として、左入力画像Ｓ１の線形補間から求めた値と右入力画像Ｓ２の線形補間から求めた値の平均値を用いる。例えば、左視差と上下オフセットが指し示した領域の半分に画素ｂが重なっている場合（視差とオフセットが指し示した位置から画素ｂまでの距離と画素ｃまでの距離が１：３である場合）には、補間画素Ｘの値として、
Ｘ＝｛（ｗ＋ｙ）／２＋（３ｂ／４＋ｃ／４）｝／２
で算出される値を用いる。

（画素選択方法）
次に左画素選択部１５における画素選択方法（ライン補間処理）の詳細について説明する。
左入力画像Ｓ１に元から含まれていて補間の必要がない画素はそのまま選択される。
補間が必要な画素の選択方法は以下の通りである。
左動き検出信号Ｓ１１の判定が“動きなし”であった位置に対しては、補間画素として左フィールド間補間画像Ｓ１３の画素が選択される。
左動き検出信号Ｓ１１の判定が“動きあり”で、かつ左視差Ｓ４１が存在している位置に対しては、補間画素として左右間補間画像Ｓ１４の画素が選択される。
左動き検出信号Ｓ１１の判定が“動きあり”で、かつ左視差Ｓ４１が存在しない位置に対しては、補間画素として左フィールド内補間画像Ｓ１２の画素が選択される。
即ち、補間ラインを生成する際に、画像の動きのない領域内にはフィールド間補間処理により補間画素を生成し、画像の動きのある領域内には２画像間補間処理により補間画素を生成する。更に、画像の動きのある領域内であって、且つ、算出されたずれ量（左上下差）が誤りであると判断された分割領域内（ブロック内）には、フィールド内補間処理により補間画素を生成する。
それにより、左出力画像Ｓ１５の各画素が選択されて出力される。
なお、ライン補間に伴う画素クロックの変動や各補間処理に伴う処理遅れ時間については、不図示のラインメモリまたはフレームメモリを用いて適宜調整を行う。
なお、右画素選択部２５における画素選択方法も同様である。

従来の動き適応型走査線補間処理では、画像の動きのある領域（動画領域）の補間画素の値は上下ラインの平均となるため、垂直方向の解像度が低下してしまう。一方、本実施例によれば、第１画像のライン間を補間する際に、該第１画像と対となる第２画像のラインを用いて補間ラインが生成される。それにより、従来に比べて動画領域の垂直方向の解像度が向上されたプログレッシブ映像を得ることができる。更に、本実施例によれば、第１画像に補間ラインを生成する際に、第１画像と第２画像の垂直方向のずれ量を考慮して、用いる第２画像のラインが選択される。そのため、第１画像のライン間を精度良く補間することができる（補間ラインに対応するラインとして誤ったラインを選択することを抑制できる）。
また、本実施例の構成によれば、立体映像を構成する２つの映像をそれぞれ高画質なプ
ログレッシブ映像に変換できるため、高画質なプログレッシブ方式の立体映像を得ることができる。
また、本実施例によれば、上記対となる画像から補間ラインの生成位置に対応するライン（高画質化のためのライン）が見つからなかった場合には、従来のライン補間処理と同等の動作が行われる。そのため、従来のライン補間処理と比べ、常に同等以上の画質を得ることが可能である。
また、本実施例では、ブロック毎に、そのブロックの上下オフセットを用いて補間ラインを生成することにより、画面内に一様でないオフセットが存在する場合にも対応することができる。例えば、ブロック単位で補間ラインを生成することにより、第１画像に対し第２画像が傾いた画像である場合や、第１画像に対し第２画像が拡大／縮小された画像である場合などにも対応することが可能となる。

なお、３つ以上の映像から構成されるインテグラル方式の立体映像についても、そのうちから２つの映像（通常は隣り合う視点の映像）を取り出すことで、本発明によるライン間の補間を実施することも可能である。
なお、対象とする画像は立体映像を構成する映像のフィールドに限らない。例えば、映像ではなく１枚の画像であってもよい。対を成す２つ以上の画像が相関性のある画像（同一対象を異なる視点から撮影した画像）であればよい。
なお、本実施例では、左入力画像Ｓ１と右入力画像Ｓ２（第１画像と第２画像）の両方のライン間を補間する構成としたが、一方の画像のライン間を補間する構成であってもよい。その場合には、補間の対象となる画像が第１画像となる。
なお、本実施例では、第１映像と第２映像の両方がインタレース映像である場合について説明したが、第２映像はプログレッシブ映像であってもよい。
なお、本実施例では、補間画素の生成位置毎に画像の動きを検出する構成としたが、動き検出の方法はこれに限らない。例えば、ブロックマッチング法などを用いて、所定の大きさの領域毎に動きの有無を検出してもよい。
なお、左右ベクトルや右左ベクトルが、第２画像の水平方向に隣接する画素間を指し示す場合には、該水平方向に隣接する画素を用いて補間画素を生成してもよい。
なお、各補間処理は、上述した方法に限らない。例えば、図５において、左フィールド間補間画像生成部１３は、画素ａ１や画素ｂ１の値を補間画素ｄ１の値としてもよい。
なお、本実施例では、分割領域毎に垂直方向のずれを算出する構成としたが、全画像領域に対して１つのずれ量を算出する構成であってもよい。そのような構成であっても、従来に比べより高精度なライン間補間処理を実現できる。
なお、本実施例では、算出された垂直方向のずれが誤り否かを判断する構成としたが、そのような判断を行わずとも、従来に比べより高精度なライン間補間処理を実現できる。また、そのような判断に用いる代表値の決定方法は、上述した方法に限らない。例えば、代表値を決定する際に、第２画像に対して算出されたずれ量は含めなくてもよい。

＜実施例２＞
実施例１では再生機１から左右独立した映像ストリーム（左入力映像と右入力映像）が出力される構成であった。本発明は、放送等で用いられているサイドバイサイド方式の立体映像（１つの映像ストリームの左右に左入力映像と右入力映像を左右に並べた立体映像）に対しても実施することができる。
実施例２に係る立体映像表示システムの構成図を図１３に示す。
放送受信機４はサイドバイサイド方式による放送を受信してサイドバイサイド立体映像Ｓ４を出力する。
左ラインバッファ５は、サイドバイサイド立体映像Ｓ４を入力して、ラインの左半分の画素をメモリに書き込む。読出し側ではメモリに書かれた画素を読み出して左入力画像Ｓ１を出力する。
右ラインバッファ６は、サイドバイサイド立体映像Ｓ４を入力して、ラインの右半分の
画素をメモリに書き込む。読出し側ではメモリに書かれた画素を読み出して右入力画像Ｓ２を出力する。
ＩＰ変換部２は実施例１と同様のライン補間処理を行う。
また、以上の動作タイミングの制御は不図示の制御部が行う。この動作タイミングの概念図を図１４に示す。図中、１Ｈは１ラインを走査する期間を表し、Filx1（x1は１以上
の整数）はx番目のフィールドを表す。oddはそのフィールドが奇数番目のラインのみを有すること（oddフィールドであること）を表し、evenはそのフィールドが偶数番目のライ
ンのみを有すること（evenフィールドであること）を表す。Linex2（x2は１以上の整数）はx2番目のラインを表し、Left，Rightはそのラインがそれぞれ左入力画像、右入力画像
のラインであることを表す。
このようにして、サイドバイサイド方式立体映像についても本発明を実施することが可能である。

＜実施例３＞
本発明は、フィールドシーケンシャル方式の立体映像に対しても実施することができる。フィールドシーケンシャル方式は、左入力映像のフィールドと右入力映像のフィールとを交互に繰り返す方式である。
実施例３に係る立体映像表示システムの構成図を図１５に示す。
不図示の映像入力部から入力されたフィールドシーケンシャル立体映像Ｓ５はフレームメモリ７に蓄えられる。不図示の制御手段は入力された映像信号のフィールドを並び替えて左入力画像Ｓ１および右入力画像Ｓ２を出力する。このときの動作タイミングの概念図を図１６（Ａ）に示す。
ＩＰ変換部２は実施例１と同様のライン補間処理を行う。

また、フィールド格納順序が異なるフィールドシーケンシャル方式の立体映像についても同様にフレームメモリでの並び替えを用いることによって本発明を実施することが可能である。フィールド格納順序が異なる場合の動作タイミングの概念図を図１６（Ｂ）に示す。このフィールド格納順序の場合は、左入力画像Ｓ１としては常にoddフィールド、右
入力画像Ｓ２のフィールドとしては常にevenフィールドの状態で入力される。
この場合は、実施例１に説明した状況と比較してオフセットが１ずれていると考えて動作を修正する。具体的には、左右間補間画像生成部１４は、上下オフセットＳ４３の値が整数ライン分でかつ偶数であった場合に、右入力画像のラインを用いた補間を行う。また、上下オフセットＳ４３の値が整数でかつ奇数であった場合には、左入力画像のラインを用いて補間ラインを生成する。右左間補間画像生成部２４の動作も同様に修正する。
また、この場合には、フィールド間補間処理を行うことができないため、左画素選択部１５は、“動きなし”の位置に対して、左右間補間画像Ｓ１４の画素を選択する。右画素選択部２５の動作も同様に修正する。
このようにして、フィールドシーケンシャル方式の立体映像についても本発明を実施することが可能である。

＜実施例４＞
以上説明した実施例では入力された立体映像に自然に存在する上下オフセットを検出するものとしたが、映像コンテンツの上下オフセットを予め厳密に調整しておくことでさらに高精度な走査線補間を行うことも可能である。
実施例４における映像コンテンツ作成システムの概念図を図１７に示す。図中、Lx3（x3は１以上の整数）はプログレッシブ方式の左入力画像のラインを表し、Rx4（x4は１以上の整数）はプログレッシブ方式の右入力画像のラインを表す。ODDは、プログレッシブ方
式の左入力画像、右入力画像からインタレース化により作成された奇数番目のラインのみを有する画像を表す。EVENは、プログレッシブ方式の左入力画像、右入力画像からインタレース化により作成された奇数番目のラインのみを有する画像を表す。Fx5（x5は１以上
の整数）は、その画像がインタレース化された左入力映像、右入力映像のx5番目のフィールドであることを表す。なお、図１７では、簡単のため、プログレッシブ方式の左入力画像と右入力画像が６つのラインで構成されている例を示しているが、これに限定するものではない（ライン数はいくつでもよい）。
本実施例では、左入力映像と右入力映像を作成するステレオ撮像機に対して、上下オフセットが出ないように予め光軸のアライメントを行っておく。また、本実施例では、この撮像機において、プログレッシブ方式の立体映像（プログレッシブ方式の左入力映像と右入力映像）が作成されるものとする。そして、一方の映像（本実施例では左入力映像）に対しては通常のインタレース化を行い、他方の映像（右入力映像）に対しては１ライン分の上下オフセットをつけたオフセットインタレース化を行う。さらに、映像コンテンツ（インタレース化された立体映像）に左入力画像Ｓ１と右入力画像Ｓ２の間の垂直方向のずれ量を表すメタデータを付加する。本実施例では、１ライン分の上下オフセットの存在を示すメタデータ「上下オフセット＝１」が付加される。

ＩＰ変換部ではメタデータを用いて高精度なライン補間処理を行う。具体的には、左右比較部４３において、メタデータが表すずれ量（上下オフセット）が用いられる。上記実施例と同じ機能や信号については同じ符号を付し、説明は省略する。
不図示のメタデータ取得部より取得したメタデータＳ３は左右比較部４３に入力される。ベクトル発生部４１３は、探索ベクトルを発生する際に、垂直方向成分の値を予め取得したメタデータによる上下オフセットの値に限定する。

本実施例の構成によれば、安定した左右の視差の探索が可能となる（左右ベクトルＳ３１、右左ベクトルＳ３２の誤検出を抑制できる）。また探索範囲が狭くなるので本発明を実施するためのハードウェア規模を小さくすることが可能となる。
また、常に１ラインずれた理想的な上下オフセットが得られるため、左右間補間画像生成部１４は、常に右入力画像の画素を用いた補間を行うことができる（右左間補間画像生成部２４も同様に、常に左入力画像の画素を用いた補間を行うことができる）。それにより、ライン補間処理の結果（例えば、プログレッシブ映像）をより高画質化することができる。

なお、立体映像の上下オフセットが１ライン程度残存した状態でも、通常の立体映像再生システムにおいて特に違和感無く再生することができる。そのため、本実施例の映像コンテンツ作成システムで作成された立体映像コンテンツは通常の立体映像再生システムにおいても何ら不具合は無く再生することができる。
なお、本実施例では、ステレオ撮像機に対して、上下オフセットが出ないように予め光軸のアライメントを行っておくものとしたが、ステレオ撮像機の光軸を厳密に１ラインずらしておいてもよい。それにより、１ライン分の上下オフセットを得ることができる。また、その場合には、ステレオ撮像機で作成された左入力映像と右入力映像の両方に対して通常のインタレース化を行えばよい。
また、ステレオ撮像機の光軸が厳密に合わせられていない場合には、上下オフセットが１ライン分になるように、左入力映像と右入力映像を画像処理により調整してもよい。

１２ 左フィールド内補間画像生成部
１３ 左フィールド間補間画像生成部
１４ 左右間補間画像生成部
１５ 左画素選択部
３０ 左右比較部
４０ オフセット検出部

Claims (20)

1. 同一対象を異なる視点から撮影した第１画像と第２画像を用いて、前記第１画像のライン間を補間する画像処理装置であって、
   前記第１画像と前記第２画像を比較し、それらの画像間の垂直方向のずれ量を算出する算出手段と、
   前記ずれ量が誤りであるか否かを判定する判定手段と、
   前記ずれ量と前記判定手段の判定結果に基づいて、前記第１画像のライン間に補間ラインを生成する生成手段と、
   を有し、
   前記生成手段は、
   前記ずれ量が誤りではないと判定された場合、補間ラインの生成位置に対し、前記第２画像において該生成位置から前記ずれ量の分だけずれた位置に存在するラインを用いて補間ラインを生成する２画像間補間処理により補間画素を生成し、
   前記ずれ量が誤りであると判定された場合、フィールド内補間処理により補間画素を生成することを特徴とする画像処理装置。
2. 前記算出手段は、前記第１画像を複数の分割領域に分割し、分割領域毎に前記ずれ量を算出し、
   前記生成手段は、分割領域毎に補間ラインを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記２画像間補間処理は、
   補間ラインの生成位置に対し、前記第２画像において該生成位置から前記ずれ量の分だけずれた位置にラインが存在する場合には、前記第２画像における該ラインを用いて補間ラインを生成し、
   補間ラインの生成位置に対し、前記第２画像において該生成位置から前記ずれ量の分だけずれた位置にラインが存在しない場合には、前記第１画像における該生成位置の上下のラインを用いて補間ラインを生成する処理であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記２画像間補間処理は、更に、
   補間ラインの生成位置に対し、前記ずれ量が整数ライン分でない場合には、前記第１画像における該生成位置の上下のライン、及び、前記第２画像における該生成位置から前記ずれ量の分だけずれた位置の上下のラインを用いて、補間ラインを生成する処理であることを特徴とする請求項３に記載の画像処理装置。
5. 前記第１画像は、インタレース映像の１つのフィールドであり、
   前記画像処理装置は、前記第１画像の動きを検出する動き検出手段を更に有し、
   前記生成手段は、補間ラインを生成する際に、
   前記第１画像の動きのない領域内にはフィールド間補間処理により補間画素を生成し、
   前記第１画像の動きのある領域内には前記２画像間補間処理により補間画素を生成することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記生成手段は、補間ラインを生成する際に、前記第１画像の動きのある領域内であって、且つ、算出されたずれ量が誤りであると判断された領域内には、フィールド内補間処理により補間画素を生成することを特徴とする請求項５に記載の画像処理装置。
7. 前記算出手段は、前記第１画像を複数の分割領域に分割し、分割領域毎に前記ずれ量を算出し、
   前記判定手段は、注目する分割領域に対するずれ量と、前記注目する分割領域とその周囲の分割領域のそれぞれに対するずれ量の代表値とを比較することにより、前記注目する分割領域に対するずれ量が誤りか否かを判断することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記算出手段は、前記第１画像と同様に前記第２画像を複数の分割領域に分割し、前記第２画像の分割領域毎に前記ずれ量を更に算出し、
   前記判定手段は、前記第２画像の分割領域のうち、前記注目する分割領域と位置が同じ分割領域とその周囲の分割領域に対するずれ量の符号を反転したものを更に含めて、前記代表値を決定することを特徴とする請求項７に記載の画像処理装置。
9. 前記第１画像と前記第２画像の間の垂直方向のずれ量を表すメタデータを取得する取得手段を更に有し、
   前記算出手段は、前記メタデータが表すずれ量を用いることを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記第１の画像と前記第２の画像はそれぞれ、立体画像を構成する左目用画像又は右目用画像であり、
    前記算出手段は、前記第１画像を複数の分割領域に分割し、前記第２画像との間でブロックマッチングを行うことにより、分割領域毎にずれ量を算出するものであって、
    前記第１画像が左目用画像である場合、ブロックマッチングで探索する範囲は注目する分割領域の位置に対して左側の方が右側より広く、
    前記第１画像が右目用画像である場合、ブロックマッチングで探索する範囲は注目する分割領域の位置に対して右側の方が左側より広い
    ことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
11. 同一対象を異なる視点から撮影した第１画像と第２画像を用いて、前記第１画像のライン間を補間する画像処理装置の制御方法であって、
    前記第１画像と前記第２画像を比較し、それらの画像間の垂直方向のずれ量を算出する算出ステップと、
    前記ずれ量が誤りであるか否かを判定する判定ステップと、
    前記ずれ量と前記判定ステップの判定結果に基づいて、前記第１画像のライン間に補間ラインを生成する生成ステップと、
    を有し、
    前記生成ステップでは、
    前記ずれ量が誤りではないと判定された場合、補間ラインの生成位置に対し、前記第２画像において該生成位置から前記ずれ量の分だけずれた位置に存在するラインを用いて補間ラインを生成する２画像間補間処理により補間画素を生成し、
    前記ずれ量が誤りであると判定された場合、フィールド内補間処理により補間画素を生成することを特徴とする画像処理装置の制御方法。
12. 前記算出ステップでは、前記第１画像を複数の分割領域に分割し、分割領域毎に前記ずれ量を算出し、
    前記生成ステップでは、分割領域毎に補間ラインを生成することを特徴とする請求項１１に記載の画像処理装置の制御方法。
13. 前記２画像間補間処理は、
    補間ラインの生成位置に対し、前記第２画像において該生成位置から前記ずれ量の分だけずれた位置にラインが存在する場合には、前記第２画像における該ラインを用いて補間ラインを生成し、
    補間ラインの生成位置に対し、前記第２画像において該生成位置から前記ずれ量の分だけずれた位置にラインが存在しない場合には、前記第１画像における該生成位置の上下のラインを用いて補間ラインを生成する処理であることを特徴とする請求項１１または１２に記載の画像処理装置の制御方法。
14. 前記２画像間補間処理は、更に、
    補間ラインの生成位置に対し、前記ずれ量が整数ライン分でない場合には、前記第１画像における該生成位置の上下のライン、及び、前記第２画像における該生成位置から前記ずれ量の分だけずれた位置の上下のラインを用いて、補間ラインを生成する処理であることを特徴とする請求項１３に記載の画像処理装置の制御方法。
15. 前記第１画像は、インタレース映像の１つのフィールドであり、
    前記画像処理装置の制御方法は、前記第１画像の動きを検出する動き検出ステップを更に有し、
    前記生成ステップでは、補間ラインを生成する際に、
    前記第１画像の動きのない領域内にはフィールド間補間処理により補間画素を生成し、
    前記第１画像の動きのある領域内には前記２画像間補間処理により補間画素を生成することを特徴とする請求項１１〜１４のいずれか１項に記載の画像処理装置の制御方法。
16. 前記生成ステップでは、補間ラインを生成する際に、前記第１画像の動きのある領域内であって、且つ、算出されたずれ量が誤りであると判断された領域内には、フィールド内補間処理により補間画素を生成することを特徴とする請求項１５に記載の画像処理装置の制御方法。
17. 前記算出ステップでは、前記第１画像を複数の分割領域に分割し、分割領域毎に前記ずれ量を算出し、
    前記判定ステップでは、注目する分割領域に対するずれ量と、前記注目する分割領域とその周囲の分割領域のそれぞれに対するずれ量の代表値とを比較することにより、前記注目する分割領域に対するずれ量が誤りか否かを判断することを特徴とする請求項１１〜１６のいずれか１項に記載の画像処理装置の制御方法。
18. 前記算出ステップでは、前記第１画像と同様に前記第２画像を複数の分割領域に分割し、前記第２画像の分割領域毎に前記ずれ量を更に算出し、
    前記判定ステップでは、前記第２画像の分割領域のうち、前記注目する分割領域と位置が同じ分割領域とその周囲の分割領域に対するずれ量の符号を反転したものを更に含めて、前記代表値を決定することを特徴とする請求項１７に記載の画像処理装置の制御方法。
19. 前記第１画像と前記第２画像の間の垂直方向のずれ量を表すメタデータを取得する取得ステップを更に有し、
    前記算出ステップでは、前記メタデータが表すずれ量を用いることを特徴とする請求項１１〜１８のいずれか１項に記載の画像処理装置の制御方法。
20. 前記第１の画像と前記第２の画像はそれぞれ、立体画像を構成する左目用画像又は右目用画像であり、
    前記算出ステップでは、前記第１画像を複数の分割領域に分割し、前記第２画像との間でブロックマッチングを行うことにより、分割領域毎にずれ量を算出し、
    前記第１画像が左目用画像である場合、ブロックマッチングで探索する範囲は注目する分割領域の位置に対して左側の方が右側より広く、
    前記第１画像が右目用画像である場合、ブロックマッチングで探索する範囲は注目する分割領域の位置に対して右側の方が左側より広い
    ことを特徴とする請求項１１〜１９のいずれか１項に記載の画像処理装置の制御方法。

Images