JP5199992B2 - 画像処理装置 - Google Patents

Description

本発明は、撮像装置による実際の撮影画像に基づいて、撮影画角外の画像を撮影画角内の画像で補間し、仮想的なカメラ位置から撮像したかのような仮想視点画像を生成する画像処理装置に関する。

ある位置に置かれたカメラによる撮影画像を基に、実際にはカメラが置かれていない仮想的な視点位置で撮像したような仮想視点画像（仮想画像ともいう）を生成する技術は、スポーツ中継や医療、教育、通信会議システムなど様々な分野への応用が期待されている。これは、ある物体を様々な角度から見てみたいという欲求に対し、本来であればそれぞれの角度に設置すべきカメラの台数が減らせるというメリットのためである。

この仮想視点画像を生成する際、例えば、仮想カメラ位置が実際のカメラ位置より被写体から遠ざかる位置にある場合、仮想カメラの画角内には、実際のカメラの撮影画角外に相当する部分があるので、その部分について何らかの方法で補間する必要がある。
特許文献１に開示の技術では、撮影画角外領域には当該撮影画角外領域に隣接する撮影画角の背景の画像を拡張して補うことにより、背景が不自然になることを防ぐようにしている。

特開２０００−５７３５０号公報

しかしながら、例えば、図１８のように、実際のカメラの画角内と画角外の境界線Ｂに対して垂直に交わらない線Ｌで構成される壁Ｗや道Ｒを含む撮影画角内の画像Ｉ２００に基づいて、特許文献１の画像補間法を用いて、撮影画角外の領域Ａ２００を補間して仮想視点画像Ｉ２０１を作成すると、線Ｌが境界線Ｂで折れ曲がったように補間され違和感のある画像となってしまう。

本発明は、上述のような実情に鑑みてなされたものであり、その目的は、撮影画角内領域と撮影画角外領域の境界線に対して垂直に交わらない線を含む実際の撮影画像に基づいて撮影画角外領域を補間して仮想視点画像を作成する際に、違和感のない仮想視点画像を作成できる画像処理装置を提供することにある。

上記課題を解決するために、本発明にかかる画像処理装置は、実際に撮影した撮像画像と撮像装置の仮想撮像位置に基づいて、当該位置で撮影した場合の仮想画像を作成する際、該仮想画像に含まれる前記撮像画像の撮影時の画角内の画像を用いて、前記画角外となる領域の画像を作成する画像処理装置であって、前記仮想画像に含まれる前記画角内の画像の端辺となる前記画角内の画像領域と前記画角外の画像領域の境界線上に端部が位置する直線に近似可能な点群を検出する点群検出部と、前記点群が検出された場合、当該点群の近傍の画像を用いて、前記境界線の外側へ該点群により近似される直線方向に延出する線画像を補間作成する画角外領域補間部と、を備えることを特徴とする。

本発明にかかる画像処理装置は、前記画角外領域補間部が、前記画角外の画像領域における前記境界線と平行な１画素幅の領域を抽出し、該抽出した領域について、当該領域の長さに合わせて前記撮影画像の前記境界線上の１画素幅の画像を拡大または縮小させた画像の画素値を用いて補間を行い前記線画像を補間作成することを特徴とする。

本発明にかかる画像処理装置は、前記画角外領域補間部が、前記拡大または縮小の割合を前記検出された点群で近似される線の傾きに基づき算出することを特徴とする。

本発明にかかる画像処理装置は、前記画角外領域補間部が、前記撮影画像中の前記境界線に向けての輝度勾配、色相勾配及び／又は彩度勾配が、前記画角外領域にまで連続するように前記線画像の補間作成を行うことを特徴とする。

本発明にかかる画像処理装置は、前記撮影画像が、被写体までの距離を画素値で表した距離画像と、被写体の通常の撮影画像と、を含み、前記点群検出部が、前記距離画像及び／又は前記通常の撮影画像を用いて前記点群を検出することを特徴とする。

本発明の画像処理装置によれば、違和感のない仮想視点画像を生成することができる。

画角外領域を示す図である。 本発明に係る画像処理装置の構成例を示すブロック図である。 直線近似可能なエッジ点群を検出する技術に関わるハフ変換を説明する図である。 本発明により得られる仮想視点画像を示す図である。 本発明による画角外領域の補間例を説明する図である。 本発明による画角外領域の他の補間例を説明する図である。 本発明による画角外領域の別の補間例を説明する図である。 本発明による画角外領域の別の補間例を説明する図である。 本発明による画角外領域の別の補間例を説明する図である。 本発明による画角外領域の別の補間例を説明する図である。 本発明による画角外領域の別の補間例を説明する図である。 本発明による画角外領域の別の補間例を説明する図である。 画角内領域画像における境界線上の画像の拡大・縮小の割合を算出する方法の一例を説明する図である。 画角内領域画像における境界線上の画像の拡大・縮小の割合を算出する方法の一例を説明する図である。 本発明による画角外領域の別の補間例を説明する図である。 本発明による画角外領域の別の補間例を説明する図である。 本発明による画角外領域の別の補間例を説明する図である。 従来の課題を説明する図である。

以下、本発明の実施の形態について図面を参照しながら説明する。
はじめに図１を用いて、本発明における「画角内領域」と「画角外領域」の説明をする。

図１のカメラ位置（ｘ、ｙ、ｚ）は、実際のカメラや仮想的なカメラの位置を示す座標で、図１（Ｂ）の画像ＡＡが得られるときのカメラ中心を原点とする。ｘ軸は水平方向、ｙ軸は垂直方向、ｚ軸はカメラ光軸方向とする。ｚ軸の値が正の方向に大きくなるとカメラ位置は被写体に近付く方向へ移動し、負の方向に大きくなるとカメラ位置は被写体から遠ざかる方向へ移動する。ｘ軸の値が正の方向に大きくなるとカメラ位置は右側へ移動し、負の方向に大きくなるとカメラ位置は左側へ移動する。ｙ軸の値が正の方向に大きくなるとカメラ位置は上へ移動し、負の方向に大きくなると下へ移動する。

図１（Ｂ）の画像ＡＡを実際のカメラで撮影された画像とする。図１の画像ＡＡを基に、仮想カメラ位置が実際のカメラより被写体に近い場合の仮想視点画像を作成すると図１（Ａ）の画像ＡＢのようなものとなり、遠い場合の仮想視点画像を作成すると図１（Ｃ）の画像ＡＣのようなものになる。図１（Ｃ）の画像ＡＣでは、実際の撮影時の画角内に相当する部分ＡＣ１と、画角外に相当する部分ＡＣ２とがある。本明細書では、実際の撮影時の画角内に相当する部分の領域を「画角内領域」といい、画角外に相当する部分の領域を「画角外領域」という。本発明の画像処理装置が作成する仮想視点画像のうち、画角内領域については、実際の撮影画像を射影変換等で変換した画像を用い、画角外領域については、仮想視点画像が不自然なものとならないよう以下のように補間を行う。

なお、撮影画像データベースがある場合は、撮影画像データベース中のどの画像データにおいても画角外となっている領域のことを、画角外領域という。撮影画像データベースとは、例えば、複数視点からの撮影画像、被写体の３次元形状や撮影画像と奥行情報の組み合わせなど、仮想視点画像生成手法に合わせて適切なデータが格納されるものである。

図２は、本発明に係る画像処理装置の構成例を示すブロック図である。
図２の画像処理装置１は、後述の画角内領域画像生成部２からの入力に基づいて、画角外領域を補間して仮想視点画像を出力するもので、点群検出部１ａと画角外領域補間部１ｂと、を備える。

画角内領域画像生成部２は、実際に撮影した画像データと当該画像データを撮影した実際のカメラ位置の奥行情報を含む入力データと、仮想カメラ位置を平面座標で示す仮想視点位置情報と、に基づいて、仮想視点画像のうちの画角内領域画像を生成する。なお、本例では、仮想カメラ位置は実際のカメラ位置に対する相対位置としている。

画角内領域画像の生成には、例えば、射影変換が用いられる。射影変換は以下のようにして行われる。ここでは、実際のカメラの座標系を（Ｘ_ｉ、Ｙ_ｉ、Ｚ_ｉ）、仮想カメラ座標系を（Ｘ_ｏ、Ｙ_ｏ、Ｚ_ｏ）とする。実際のカメラで撮影された画像上の点ｐ_ｉ＝（ｕ_ｉ、ｖ_ｉ）^Tの奥行情報がｚ_ｉのとき、この点ｐ_ｉは実際のカメラの座標系では、以下の数式で示される３次元空間上の点Ｐにあると推定される。

ｆはカメラの焦点距離である。画角内領域画像生成部２は、相対座標で与えられた仮想カメラ位置の座標を並進行列と回転行列とした次式を用いて、点Ｐの座標系を実際のカメラの座標系から仮想カメラの座標系（Ｘ_ｏ、Ｙ_ｏ、Ｚ_ｏ）に変換し、

その後、仮想カメラ座標系（Ｘ_ｏ、Ｙ_ｏ、Ｚ_ｏ）を、次式で仮想視点画像の座標系（ｕ_ｏ、ｖ_ｏ）に変換する。

以上のようなことを行うことにより、画角内領域画像生成部２は、カメラ座標系（Ｘ_ｉ、Ｙ_ｉ、Ｚ_ｉ）で撮影した画像上の点（ｕ_ｉ、ｖ_ｉ）を、仮想カメラ座標系（Ｘ_ｏ、Ｙ_ｏ、Ｚ_ｏ）で撮影した画像上の点（ｕ_ｏ、ｖ_ｏ）に射影して、画角内領域画像を作成することができる。

画像処理装置１の点群検出部１ａでは、画角内領域画像生成部２にて生成された画角内領域画像の中から、一端が画角内領域と画角外領域との境界線上にある直線（線分や半直線を含む）に近似可能なエッジ点群（以下、点群と省略）を検出し、画角外領域補間部１ｂに出力する。直線近似可能な点群の検出方法としては、例えば、ハフ変換を用いる方法が一般的である。
以下、直線近似可能な点群をハフ変換を用いて検出する方法について説明する。

図３に示すように、直角座標上の点（ｘ、ｙ）を通るすべての直線は、その直線に対する原点を通る垂線とｘ軸との角度θと、原点から該直線と上記垂線との交点までの長さρで表される。（ｘ、ｙ）を（θ、ρ）の組み合わせに変換することをハフ変換という。

［ｓｔｅｐ１］直角座標上の点（ｘ、ｙ）を新しい二次元空間（θ、ρ）上に変換すると、直角座標上の一点はθ―ρ空間上の一本の曲線に対応する。変換には以下の式を用いる。

［ｓｔｅｐ２］画像上の各エッジ点について二次元空間（θ、ρ）上に曲線を描いたとき、画像上で同一直線上にのっているエッジ点に対応する曲線は二次元空間（θ、ρ）上で１点で交わる。これを利用して、二次元空間（θ、ρ）上で１点で交わる曲線の数が所定数以上である場合、当該曲線群に対応する点群は直線に近似可能な点群であるものとすることができる。
このハフ変換を用いる方法によって、点群検出部１ａは、画角内領域画像においてその一端が画角内領域と画角外領域との境界線上にある直線に近似可能な点群を検出できる。

点群検出部１ａは、検出した点群の情報を画角外領域部１ｂに出力する。なお、点群の情報として、検出した点群を構成する各点の座標を出力してもよいし、検出した点群を構成する１点や２点（端点）の座標と該点群で近似される線の傾きとを出力してもよい。後者の方が、データ量が少なくなるという利点がある。

画角外領域補間部１ｂは、点群検出部１ａが検出した画角内領域画像内の画角内と画角外の境界線領域の画角内の点群で近似される直線を画角外領域に延長するように、画角内の直線の画像に基づいて、画角外領域を補間する。この補間例については後述する。上述の補間により作成した画角外領域の画像は、画角内領域画像と合成され仮想視点画像として画角外領域補間部１ｂから出力される。
以上のように画角外領域の補間を行うことで、図４に示すように、画角内領域画像Ｉ１が境界線Ｂに対して垂直に交わらない線Ｌを含む場合でも、線Ｌが画角外領域Ａ１まで延長された違和感のない仮想視点画像Ｉ２を生成することができる。

以下、画角外領域補間部１ｂが行う補間の例を幾つか説明する。

まず、図５に示すように、端部が互いに近傍にあり、それぞれ画角外領域に延長される一対の点群で近似される直線（以下、線と略す）Ｌ１１，Ｌ１２が画角内領域画像Ｉ１１に含まれる場合の補間を説明する。２つの線Ｌ１１，Ｌ１２を画角外領域にまで伸ばした場合に画角外領域において下側に向かうに連れ２つの線間の距離が大きくなっていくような場合、例えば、以下のように画角外領域Ａ１１を補間する。

画角外領域補間部１ｂは、２つの線Ｌ１１，Ｌ１２が交わる点Ｐ１１と、２つの線Ｌ１１，Ｌ１２を画角外領域Ａ１１にまで伸ばした際に仮想視点画像の下端部と交わる点Ｐ１２，Ｐ１３とが作る三角形領域Ａ１２を抽出する。また、２つの線Ｌ１１，Ｌ１２が画角内領域画像の端部と交わる点Ｐ１４，Ｐ１５を抽出し、この点Ｐ１４，Ｐ１５の間の１画素幅の画角内領域画像を画像Ｍ１１として抽出する。すなわち、境界線上の１画素幅の画角内領域画像を画像Ｍ１１として抽出する。ここで、三角形領域Ａ１２に囲まれた画角外領域Ａ１１の中の上記画像Ｍ１１と平行な１画素の幅を持つ線領域をＬＡ１とする。

そして、画角外領域補間部１ｂは、上記画像Ｍ１１を線領域ＬＡ１の長さに合うように拡大した画像を作成し、作成した画像の画素値を線領域ＬＡ１の画素値として、線領域ＬＡ１の補間を行う。この補間を三角形領域Ａ１２に囲まれた画角外領域Ａ１１の全域について行う。

また、三角形領域Ａ１２に隣接する画角外領域Ａ１１の補間は、例えば、以下のようにして行う。
線Ｌ１１を画角外領域Ａ１１まで伸ばした延長線Ｌ１３と、画角内領域画像の左端線の延長線Ｌ１４と、画角内領域画像の下端線Ｌ１５とで囲まれる三角形領域（点Ｐ１４、点Ｐ１６、点Ｐ１７で囲まれる三角形領域）Ａ１３を抽出する。また、当該三角形における点Ｐ１４と点Ｐ１７を端点とする境界線上の１画素幅の画角内領域画像を画像Ｍ１２として抽出する。そして、三角形領域Ａ１３に囲まれた画角外領域Ａ１１の四辺形の領域の補間を、上記画像Ｍ１２と平行で１画素の幅を持つ領域を当該領域の長さに合うように線画像Ｍ１２を縮小した画像で補間していくことで行う。

線Ｌ１２を画角外領域Ａ１１まで伸ばした場合の、三角形領域（点Ｐ１５、点Ｐ１８、点Ｐ１９から成る三角形領域）Ａ１４に囲まれた画角外領域Ａ１１の中の領域の補間も、三角形領域Ａ１３についてと同様に行う。

以上のように、画角外領域補間部１ｂは、点群検出部１ａが検出した点群で近似される直線が画角内領域から画角外領域にまで延長するように、仮想視点画像の画角外領域に線画像を補間作成する。

なお、三角形領域Ａ１２に隣接しない画角外領域Ａ１１については、すなわち、上述の説明で補間した領域以外の画角外領域については、青空のような単一色で構成される領域である可能性が高いので、従来技術で開示されているように隣接部の背景領域画像で補間すればよい。

上述の例では、点群検出部１ａが検出した点群で近似される線を画角外領域にまで伸ばした際に仮想視点画像の下端線と交わる点が、画角内領域画像の右端線より内側（左側）であったが、図６に示すように、上記下端線Ｌ２５と交わる点が、右端線Ｌ２８より外側の場合は、以下のように補間を行う。

図５の場合と同様に、画角内領域画像から検出された点群で近似される２つの直線（以下、線と略す）Ｌ２１，Ｌ２２が交わる点Ｐ２１と、線Ｌ２１，Ｌ２２を画角外領域Ａ２１にまで伸ばした際に仮想視点画像の端部と交わる点Ｐ２２，Ｐ２３とが作る三角形領域Ａ２２を抽出し、抽出した三角形領域Ａ２２に囲まれた画角外領域Ａ２１を補間する。

図５の場合と異なるのは、線Ｌ２２を画角外領域Ａ２１まで伸ばした延長線Ｌ２３と、画角内領域画像の右端線の延長線Ｌ２４と、画角内領域画像の下端線Ｌ２５とで囲まれる三角形領域（点Ｐ２４〜Ｐ２６で囲まれる三角形領域）Ａ２３が画角外領域Ａ２１中に形成される点である。しかし、この場合も、図５の三角形領域Ａ１４に囲まれた画角外領域を補間する場合と同様に、点Ｐ２４，Ｐ２５を端点とする境界線上の１画素幅の画角内領域画像を画像Ｍ２１として抽出し、この画像Ｍ２１を用いて、三角形領域Ａ２３に囲まれた領域を補間する。

そして、上述の延長線Ｌ２３と、画角内領域画像の右端線Ｌ２６（及び延長線Ｌ２４）と、画角内領域画像の上端線の延長線Ｌ２７と、仮想視点画像の下端線Ｌ２８及び右端線Ｌ２９とで囲まれる五角形領域（点Ｐ２３，Ｐ２６〜Ｐ２９で囲まれる領域）Ａ２４を抽出する。また、点Ｐ２６，Ｐ２７を端点とする境界線上の１画素幅の画像を抽出する。この場合、点Ｐ２６，Ｐ２５間の画像は補間により生成された画像である。そして、五角形領域Ａ２４に囲まれた画角外領域の全域を、上記１画素幅の画像を当該領域の長さに合うように拡大した画像で補間する。
なお、その他の領域の補間は、図５と同様である。

図５，図６では、点群で近似される２直線の交点が画角内領域内にある場合を説明したが、２直線が、画角内領域以外の場所に交点を有する場合も存在する。この場合について、図７及び図８を用いて説明する。

図７に示すように、検出した点群で近似される２つの直線（以下、線と略す）Ｌ３１，Ｌ３２を画角外領域Ａ３１にまで伸ばした場合に画角外領域Ａ３１で交わる場合、画角外領域Ａ３１を以下のように補間する。

画角外領域補間部１ｂは、２つの線Ｌ３１，Ｌ３２を延長して交わる点Ｐ３１と、上記２つの線Ｌ３１，Ｌ３２が画角内領域画像の画角外領域Ａ３１との境界線である右端線Ｌ３３に交わる点Ｐ３２，Ｐ３３とが作る三角形領域Ａ３２を抽出する。この領域の補間は図６の三角形Ａ２３の領域の補間と同様である。

また、画角領域内画像の右端線Ｌ３３と、線Ｌ３１を画角外領域Ａ３１まで伸ばした延長線Ｌ３４と、点Ｐ３１から仮想視点画像の右端線Ｌ３５への垂線Ｌ３６と、上記右端線Ｌ３５と、画角領域内画像の上端線の延長線Ｌ３７とで囲まれる五角形領域（点Ｐ３１、点Ｐ３２、点Ｐ３４〜Ｐ３６で囲まれる五角形領域）Ａ４３を抽出する。さらに、画角領域内画像の右端線Ｌ３３と、検出された点群で近似される線Ｌ３２を画角外領域Ａ３１まで伸ばした延長線Ｌ３８と、点Ｐ３１から仮想視点画像の右端線Ｌ３５への垂線Ｌ３６と、上記右端線Ｌ３５と、画角領域内画像の下端線の延長線Ｌ３９とで囲まれる五角形領域（点Ｐ３１、点Ｐ３３、点Ｐ３４、点Ｐ３７、点Ｐ３８で囲まれる五角形領域）Ａ３４を抽出する。

これら２つの五角形領域Ａ３３，Ａ３４の補間は、図６の五角形領域Ａ２４の補間と同様であり、それぞれ境界線上の点Ｐ３５，Ｐ３２間、点Ｐ３３，Ｐ３７間の１画素幅の画像を用いて補間する。
なお、その他の画角外領域Ａ３１については、青空のような単一色で構成される領域である可能性が高いので、従来技術で開示されているように隣接部の背景領域画像で補間すればよい。

図８に示すように、２つの直線Ｌ４１，Ｌ４２を画角外領域Ａ４１にまで伸ばした直線が、仮想視点画像の範囲外で交わる場合、画角外領域Ａ４１を以下のように補間する。

画角外領域補間部１ｂは、２つの線Ｌ４１，Ｌ４２を延長して交わる点Ｐ４１と、上記２つの線Ｌ４１，Ｌ４２が画角内領域画像の境界線である左端線Ｌ４３に交わる点Ｐ４２，Ｐ４３とが作る三角形領域Ａ４２を抽出する。そして、図７の例と同様に、点Ｐ４２と点Ｐ４３を端点とする境界線上の１画素幅の画角内領域画像である画像Ｍ４１を用いて、三角形領域Ａ４２に囲まれた画角外領域Ａ４１を補間する。

また、画角領域内画像の左端線Ｌ４３と、線Ｌ４１の延長線Ｌ４４と、仮想視点画像の左端線Ｌ４５と、画角領域内画像の上端線の延長線Ｌ４６とで囲まれる画角外領域Ａ４１の四角形領域（点Ｐ４２、点Ｐ４４〜Ｐ４６で囲まれる四角形領域）Ａ４３の補間も、図７と同様に、点Ｐ４２，Ｐ４５を端点とする境界線上の１画素幅の画角内領域画像である画像Ｍ４２を用いて補間する。

さらに、画角領域内画像の左端線Ｌ４３と、検出された点群で近似される線Ｌ４２を画角外領域Ａ４１まで伸ばした延長線Ｌ４７と、仮想視点画像の左端線Ｌ４５と、画角領域内画像の下端線の延長線Ｌ４８とで囲まれる画角外領域Ａ４１の四角形領域（点Ｐ４３、点Ｐ４７〜Ｐ４９で囲まれる四角形領域）Ａ４４についても同様に補間する。

なお、その他の画角外領域Ａ４１については、青空のような単一色で構成される領域である可能性が高いので、従来技術で開示されているように隣接部の背景領域画像で補間すればよい。

次に、図９に示すように点群が示す２直線Ｌ５１，Ｌ５２が画角内領域画像の互いに異なる辺と交点を持つ場合の補間例を説明する。

この場合、画角外領域補間部１ｂは、検出された線Ｌ５１を画角外領域Ａ５１まで伸ばした延長線Ｌ５３と、画角内領域画像の左端線Ｌ５４と、画角内領域画像の下端線の延長線Ｌ５５とで囲まれる三角形領域（点Ｐ５１〜Ｐ５３で囲まれる三角形領域）Ａ５２を抽出する。また、線Ｌ５２を画角外領域Ａ５１まで伸ばした延長線Ｌ５６と、画角内領域画像の右端線Ｌ５７と、画角内領域画像の下端線の延長線Ｌ５８とで囲まれる三角形領域（点Ｐ５４〜Ｐ５６で囲まれる三角形領域）Ａ５３を抽出する。これら２つの三角形領域Ａ５２，Ａ５３の補間を、図６の三角形Ａ２３の領域の補間と同様に行う。

そして、上述の延長線Ｌ５３，Ｌ５６と、画角内領域画像の下端線Ｌ５９（及び延長線Ｌ５５，Ｌ５８）と、仮想視点画像の下端線Ｌ６０，左端線Ｌ６１及び右端線Ｌ６２とで囲まれる六角形領域（点Ｐ５２、点Ｐ５５、点Ｐ５７〜Ｐ６０で囲まれる三角形領域）Ａ５４を抽出する。また、点Ｐ５２と点Ｐ５５を端点とする境界線上の１画素幅の画像を抽出する。この場合、点Ｐ５２，Ｐ５３間と点Ｐ５６，Ｐ５５間の画像は補間により生成された画像である。そして、六角形領域Ａ５４に囲まれた画角外領域Ａ５１の全域を、上記１画素幅の画像を当該領域の長さに合うように拡大した画像で補間する。

また、上述の延長線Ｌ５３と、画角内領域画像の左端線Ｌ５４と、画角内領域画像の上端線の延長線Ｌ６３と、仮想視点画像の左端線Ｌ６１とで囲まれる四角形領域（点Ｐ５１、点Ｐ５７、点Ｐ６１、点Ｐ６２で囲まれる四角形領域）Ａ５５を抽出する。さらに、上述の延長線Ｌ５６と、画角内領域画像の右端線Ｌ５７と、画角内領域画像の上端線の延長線Ｌ６４と、仮想視点画像の右端線Ｌ６２とで囲まれる四角形領域（点Ｐ５４、点Ｐ５６、点Ｐ６３、点Ｐ６４で囲まれる四角形領域）Ａ５６を抽出する。
これら２つの四角形領域Ａ５５，Ａ５６の補間は、図８の四角形領域Ａ４３の補間と同様であり、それぞれ境界線上の点Ｐ５１，Ｐ６２間、点Ｐ５４，Ｐ６３間の１画素幅の画像を用いて補間する。

なお、その他の画角外領域Ａ５１については、青空のような単一色で構成される領域である可能性が高いので、従来技術で開示されているように隣接部の背景領域画像で補間すればよい。

続いて、画角内領域画像内に直線で近似される点群が１つある場合の画像外領域の補間例について、図１０及び図１１を用いて説明する。

画角外領域補間部１ｂは、図１０に示すように、検出された線Ｌ７１の延長線Ｌ７２と、画角内領域画像の左端線Ｌ７３と、画角内領域画像の下端線の延長線Ｌ７４と、仮想視点画像の左端線Ｌ７５で囲まれる四角形領域（点Ｐ７１〜Ｐ７４で囲まれる四角形領域）Ａ７２を抽出する。この四角形領域Ａ７２について、図８の四角形領域Ａ４３と同様に、境界線上の点Ｐ７１，Ｐ７２間の１画素幅の画像を用いて補間する。

そして、画角内領域画像の下端線Ｌ７６（及び延長線Ｌ７４）と、仮想視点画像の左端線Ｌ７５及び下端線Ｌ７７と、検出された点群で近似される線Ｌ７１を画角外領域Ａ７１まで伸ばした延長線Ｌ７８と、で囲まれる四角形領域（点Ｐ７３、点Ｐ７５〜Ｐ７７で囲まれる四角形領域）Ａ７３を抽出する。また、点Ｐ７３，Ｐ７５を端点とする境界線上の１画素幅の画像を抽出する。この場合、点Ｐ７３，Ｐ７２間の画像は補間により生成された画像である。そして、四角形領域Ａ７３に囲まれた画角外領域の全域を、上記１画素幅の画像を当該領域の長さに合うように拡大した画像で補間する。

また、上述の延長線Ｌ７２と、画角内領域画像の左端線Ｌ７３と、画角内領域画像の上端線の延長線Ｌ７９と、仮想視点画像の左端線Ｌ７５で囲まれる四角形領域（点Ｐ７１、点Ｐ７４、点Ｐ７８、点Ｐ７９で囲まれる四角形領域）Ａ７４を抽出する。さらに、画角内領域画像の下端線Ｌ７６と、上述の延長線Ｌ７８と、画角内領域画像の右端線の延長線Ｌ８０と、仮想視点画像の下端線Ｌ７７で囲まれる四角形領域（点Ｐ７５、点Ｐ７６、点Ｐ８０、点Ｐ８１で囲まれる四角形領域）Ａ７５を抽出する。

これら２つの四角形領域Ａ７４，Ａ７５の補間は、図８の四角形領域Ａ４３の補間と同様であり、但し、本例では、それぞれ境界線上の点Ｐ７１，Ｐ７９間、点Ｐ７５，Ｐ８１間の１画素幅の画像を縮小させたものを用いて補間する。

なお、その他の画角外領域Ａ７１については、青空のような単一色で構成される領域である可能性が高いので、従来技術で開示されているように隣接部の背景領域画像で補間すればよい。

また、図１０の点Ｐ７４、点Ｐ７７、点Ｐ７６で形成される三角形領域で囲まれる画角外領域については以下で図１１を用いて説明するようにして補間してもよい。

画角外領域補間部１ｂは、画角内領域画像の左端線の延長線Ｌ８１と、画角内領域画像の下端線Ｌ７６と、線Ｌ７１の延長線Ｌ７８と、仮想視点画像の下端線Ｌ７７で囲まれる四角形領域（点Ｐ７２、点Ｐ７５、点Ｐ７６、点Ｐ８２で囲まれる四角形領域）Ａ７６を抽出する。この四角形領域Ａ７６について、図８の四角形領域Ａ４３と同様に、境界線上の点Ｐ７２，Ｐ７５間の１画素幅の画像を用いて補間する。

そして、仮想視点画像の左端線Ｌ７５及び下端線Ｌ７７と、画角内領域画像の左端線Ｌ７３（及び延長線Ｌ８１）と、線Ｌ７１の延長線Ｌ７２と、で囲まれる四角形領域（点Ｐ７４、点Ｐ７７、点Ｐ８２、点Ｐ７１で囲まれる四角形領域）Ａ７７を抽出する。そして、点Ｐ７１，Ｐ８２を端点とする線上の１画素幅の画像を抽出する。この場合、点Ｐ７２，Ｐ８２間の画像は補間により生成された画像である。そして、四角形領域Ａ７７に囲まれた画角外領域の全域を、上記１画素幅の画像を当該領域の長さに合うように拡大した画像で補間する。

次に、図１２に示すように検出された点群で近似される線Ｌ９１が、画角内領域画像の１つの辺のみと交点を持つ場合の画像外領域Ａ９１の補間例を説明する。

画角外領域補間部１ｂは、線Ｌ９１の延長線Ｌ９２と、仮想視点画像の下端線Ｌ９３と、画角内領域画像の左端線の延長線Ｌ９４と、画角内領域画像の下端線Ｌ９５で囲まれる四角形領域（点Ｐ９１〜Ｐ９４で囲まれる四角形領域）Ａ９２を抽出する。この四角形領域Ａ９２について、図８の四角形領域Ａ４３と同様に、境界線上の点Ｐ９１，Ｐ９４間の１画素幅の画像を用いて補間する。

また、上述の延長線Ｌ９２と、画角内領域画像の下端線Ｌ９５と、画角内領域画像の右端線の延長線Ｌ９６と、仮想視点画像の下端線Ｌ９３とで囲まれる四角形領域（点Ｐ９１、点Ｐ９５、点Ｐ９６、点Ｐ９２で囲まれる四角形領域）Ａ９３を抽出する。この四角形領域Ａ９３について、図１０の四角形領域Ａ７４と同様に、境界線上の点Ｐ９１，Ｐ９５間の１画素幅の画像を用いて補間する。

なお、その他の画角外領域Ａ９１については、青空のような単一色で構成される領域である可能性が高いので、従来技術で開示されているように隣接部の背景領域画像で補間すればよい。

続いて、前述の図５の例のように、点Ｐ１１〜点Ｐ１３の三角形領域Ａ１２で囲まれる画角外領域Ａ１１を補間する場合について、図１３を用いて、より詳細に説明する。

図示のように、点Ｐ１１から点Ｐ１４までの長さをａ、点Ｐ１１から点群で近似された線Ｌ１１の延長線Ｌ１３と線領域ＬＡ１との交点Ｐ１１１までの長さをｂとしたとき、１画素幅の画像Ｍ１１と線領域ＬＡ１の長さの関係は、三角形の相似の関係から、
ａ：ｂ ＝ 画像Ｍ１１の長さ ： 線領域ＬＡ１の長さ
と表すことができ、
線領域ＬＡ１の長さ ＝ （画像Ｍ１１の長さ × ｂ）／ ａ
となる。この関係を利用して、画角外領域補間部１ｂは、１画素幅の画像Ｍ１１をｂ／ａ倍拡大した画像を線領域ＬＡ１の画像とすることにより、線領域ＬＡ１の補間を行う。画角外領域補間部１ｂは、この補間を三角形領域Ａ１２に囲まれた画角外領域Ａ１１の全域について行う。

点Ｐ１１〜点Ｐ１３の三角形領域Ａ１２で囲まれる画角外領域Ａ１１の補間は、以下の図１４を用いて説明する方法で行っても良い。

図示の点群で近似される直線Ｌ１１，Ｌ１２の傾きをそれぞれα，βとし、点Ｐ１１から１画素幅の画像Ｍ１１までの長さをｃとしたとき、線領域ＬＡ１の長さは、以下の式で求められる。
線領域ＬＡ１の長さ ＝ ｜ α×長さｃ − β×長さｃ ｜
となる。画角外領域補間部１ｂは、上述の式で求められる線領域ＬＡ１の長さ分、１画素幅の画像Ｍ１１を拡大した画像を、線領域ＬＡ１の画像とすることにより、線領域ＬＡ１の補間を行う。画角外領域補間部１ｂは、この補間を三角形領域Ａ１２に囲まれた画角外領域Ａ１１の全域について行う。

図１５は、画角外領域の別の形態での補間例を説明する図である。
画角外領域補間部１ｂが抽出した領域内、例えば、図１５（Ａ）のＰ１１〜Ｐ１３で囲まれる三角形領域Ａ１２内において画角内領域画像Ｉ１１の輝度が連続的に変化していることがある。この場合、三角形領域で囲まれる画角外領域Ａ１１でも連続的に輝度が変化していくことが予想される。
そこで、画角外領域補間部１ｂは、画角内領域画像Ｉ１１の輝度勾配を算出し、画角外領域の補間に利用する。輝度勾配は、１次微分法によって算出することができる。そして、画角内領域と画角外領域の境界線上の上述の１画素幅の画像を拡大／縮小させたもので線画像すなわち境界線と平行で１画素幅の領域を補間する際に、算出した輝度勾配の向きに従って画素値の輝度を変化させて補間する。このように補間することで、図１５（Ｂ）のように、画角外領域まで輝度が変化した違和感のない仮想視点画像Ｉ１２を得ることができる。

この例では入力画像の明るさが連続的に変化している場合の例を示したが、色相や彩度が連続的に変化している場合でも、本手法を適用できる。

以上の例は、画角内領域画像のある１方の１つの直線から成る辺上に端点を持つ直線に近似可能な点群が検出された場合の例であるが、図１６のように画角内領域画像Ｉ１０１のある辺が凹所Ｉ１０１ａを有し当該凹所１０１ａを構成する線（例えば上側線Ｌ１０１）上に端点を持つ直線Ｌ１０２に近似可能な点群が検出された場合の画像外領域Ａ１０１の補間にも本発明を適用できる。

この場合、画角外領域補間部１ｂは、線Ｌ１０２の延長線Ｌ１０３と、画角内領域画像Ｉ１０１の凹所１０１ａを構成する当該画像Ｉ１０１の下端線Ｌ１０４の延長線Ｌ１０５と、上記凹所１０１ａを構成する右側線Ｌ１０６及び上側線Ｌ１０１と、で囲まれる四角形領域（点Ｐ１０１〜Ｐ１０４で囲まれる四角形領域）Ａ１０２を抽出する。この四角形領域Ａ１０２について、図８の四角形領域Ａ４３と同様に、境界線上の点Ｐ１０１，Ｐ１０４間の１画素幅の画像を用いて補間する。但し、本例では、上記四角形領域Ａ４３の場合と異なり、上記１画素幅の画像を縮小させたものを用いて補間する。

また、上述の延長線Ｌ１０３，Ｌ１０５と、上述の上側線Ｌ１０１と、画角内領域画像Ｉ１０１の凹所１０１ａを構成する左側線Ｌ１０７及び上側線Ｌ１０１と、で囲まれる四角形領域（点Ｐ１０１，Ｐ１０２，Ｐ１０５，Ｐ１０６で囲まれる四角形領域）Ａ１０２３を抽出する。この四角形領域Ａ１０３について、図８の四角形領域Ａ４３と同様に、境界線上の点Ｐ１０１，Ｐ１０６間の１画素幅の画像を用いて補間する。

これにより、画角外領域Ａ１０１のうち、凹所１０１ａで囲まれる領域について補間でき、図１２の例の画角内領域画像と同様な画像が得られる。凹所１０１ａで囲まれる領域外の画角外領域については、この得られた画像に基づいて、図１２の例で説明した方法により補間を行う。

次に、図１７に示すように、画角内領域画像Ｉ１１１の凹所１１１ａを構成する一方の側の直線（図の例では上側線Ｌ１１１）上に端点をもつ直線Ｌ１１２に近似可能な点群が検出され、直線Ｌ１１２が、上記凹所１１１ａを構成する上記一方の側の直線と隣接する直線（右側線Ｌ１１３）と交点を有する場合の、画角外領域Ａ１１１の補間例を説明する。

画角外領域補間部１ｂは、線Ｌ１１２の延長線Ｌ１１４と、画角内領域画像Ｉ１１１の凹所１１１ａを構成する上側線Ｌ１１１及び右側線Ｌ１１３とで囲まれる三角形領域（点Ｐ１１１〜Ｐ１１３で囲まれる三角形領域）Ａ１１２を抽出する。この領域の補間は、図６の三角形Ａ２３の領域の補間と同様である。
また、上記延長線Ｌ１１４と、画角内領域画像Ｉ１０１の凹所１１１ａを構成する当該画像Ｉ１１１の下端線Ｌ１１５の延長線Ｌ１１６と、上記凹所１１１ａを構成する上側線Ｌ１１１、右側線Ｌ１１３及び左側線Ｌ１１７と、で囲まれる五角形領域（点Ｐ１１１，Ｐ１１２，Ｐ１１４〜Ｐ１１１６で囲まれる五角形領域）Ａ１１３を抽出する。この領域の補間は、図６の五角形領域Ａ２４の補間と同様であり、境界線上の点Ｐ１１６，Ｐ１１１間の１画素幅の画像を用いて補間する。

このような補間は、図のように、画角内領域画像Ｉ１１１の凹所１１１ａを構成する一方の側の直線（図の例では上側線Ｌ１１１）上に端点をもつ直線Ｌ１１２と、上記凹所１１１ａを構成する上記一方の側の直線と隣接する直線（右側線Ｌ１１３）との交点Ｐ１１２に端点を持つ直線Ｌ１１８が検出されており、かつ、この直線Ｌ１１８が上記直線Ｌ１１２と同一直線上とにあり画角内領域画像Ｉ１１１の下端線Ｌ１１５と交点を有する場合にのみ行ってもよい。

図の例では、上述のような補間をすることにより、図１２の例の画角内領域画像と同様な画像が得られる。凹所１０１ａで囲まれる領域外の画角外領域については、この得られた画像に基づいて、図１２の例で説明した方法により補間する。

図１６や図１７の例のように補間する場合も、画角内領域画像中の境界線に向けての輝度勾配、色相勾配及び／又は彩度勾配が画角外領域にまで連続するように補間してもよい。

以上の例では、点群検出部１ｂは、通常の撮影画像データに基づく画角内領域画像から当該画角内領域画像内の線近似可能なエッジ点群を検出していたが、通常の撮影画像データに加えて、被写体までの距離を画素値で表した距離画像データを入力するようにして、これらのデータを基に、画角内領域画像内の上述のエッジ点群を検出しても良い。この場合、適切な点群検出を行うことができるという利点がある。

通常の撮影画像データに基づく画角内領域画像から検出される点群は、画像中の色が大きく異なる領域の境界部分であることが多い。対して、距離画像から検出される点群は、距離（奥行）が大きく異なる領域の境界部分であることが多い。両画像から同じ点群が検出された場合、その点群は撮影画像からも距離画像からも線候補として抽出された点群であるので、信頼性が高くなる。また、各画像から検出された点群に重みをつけて重ね合わせるという方法もある。この方法を用いることで、色が大きく異なる領域の境界を重視したいときは撮影画像で検出された点群の重みを大きく、距離が大きく異なる領域の境界を重視したいときは距離画像で検出された点群の重みを大きくすることで、撮影画像に適切な点群を検出することが可能となる。

以上の例では入力データとして、被写体をある視点から撮影した画像データと、画像データを撮影した視点での奥行情報としたが、画角内領域画像生成部の生成方法により、入力データは異なる。例えば、画角内領域画像生成部の処理が射影変換や３次元モデリングを用いる場合、入力データは撮影対象を１点以上の視点から見た画像データとその視点の少なくとも１点に対応する視点での奥行情報とする。画角内領域画像生成部の処理が視点の異なる２枚以上の画像から補間画像を作成する方法の場合、入力データは撮影対象を２点以上の視点から見た画像データとする。

また、上述では、仮想視点位置を入力画像に対する相対位置として示したが、絶対座標で示してもよい。
以上では、仮想視点画像生成方法として射影変換を用いる方法を説明したが、３次元モデリングを用いる方法、視点の異なる２枚以上の画像から補間画像を作成する方法を用いても同様の効果を得ることができる。

上述の例は、一端が画角内領域と画角外領域との境界線上にある直線に近似可能なエッジ点群を検出したが、未検出を防ぐために、一端が画角内領域と画角外領域との境界線近傍にある直線に近似可能なエッジ点群も検出することが望ましい。ここでいう未検出とは、画像端でフォーカスがぼけるなどして境界線上に端点がなく、境界線近傍に端点をもつ直線に近似可能なエッジ点群を検出し損ねることである。
上述の例は、点群検出方法としてハフ変換を用いる例であるが、多項式近似で１次の近似をし、二乗誤差が最小になる直線を定める最小二乗法や、直線のテンプレートをあらかじめ用意しておき、各テンプレートに含まれるエッジ点の数をそのテンプレートの適合度と考える方法などを用いても同様の効果を得ることができる。

１…画像処理装置、１ａ…点群検出部、１ｂ…画角外領域補間部、画角内領域画像生成部２。

Claims (5)

1. 実際に撮影した撮像画像と撮像装置の仮想撮像位置に基づいて、当該位置で撮影した場合の仮想画像を作成する際、該仮想画像に含まれる前記撮像画像の撮影時の画角内の画像を用いて、前記画角外となる領域の画像を作成する画像処理装置であって、
   前記仮想画像に含まれる前記画角内の画像の端辺となる前記画角内の画像領域と前記画角外の画像領域の境界線上に端部が位置する直線に近似可能な点群を検出する点群検出部と、
   前記点群が検出された場合、当該点群の近傍の画像を用いて、前記境界線の外側へ該点群により近似される直線方向に延出する線画像を補間作成する画角外領域補間部と、を備えることを特徴とする画像処理装置。
2. 前記画角外領域補間部は、前記画角外の画像領域における前記境界線と平行な１画素幅の領域を抽出し、該抽出した領域について、当該領域の長さに合わせて前記撮影画像の前記境界線上の１画素幅の画像を拡大または縮小させた画像の画素値を用いて補間を行い前記線画像を補間作成することを特徴とする請求項１に記載の画像処理装置。
3. 前記画角外領域補間部は、前記拡大または縮小の割合を前記検出された点群で近似される線の傾きに基づき算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記画角外領域補間部は、前記撮影画像中の前記境界線に向けての輝度勾配、色相勾配及び／又は彩度勾配が、前記画角外の領域にまで連続するように前記線画像の補間作成を行うことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記撮影画像は、被写体までの距離を画素値で表した距離画像と、被写体の通常の撮影画像と、を含み、前記点群検出部が、前記距離画像及び／又は前記通常の撮影画像を用いて前記点群を検出することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。

Images