JPWO2019082415A1 - 画像処理装置、撮像装置、画像処理装置の制御方法、画像処理プログラムおよび記録媒体 - Google Patents

Abstract

撮像装置（１０２）は、第一撮像部（１０７）で撮像されたフレーム画像（９０１〜９０３）の第一静止領域に基づいて第一画像の遮蔽領域（９０４〜９０６）を決定する遮蔽領域設定部（８０１）と、遮蔽領域（９０４〜９０６）内の各画素を第二画像における、当該画素に対応する第一補完用画素によって補完する画像補正部（１０６）と、を備えている。

Description

本発明は、画像処理装置、撮像装置、画像処理装置の制御方法、画像処理プログラムおよび記録媒体に関する。

立体画像を撮影し、複数の撮像部を有する撮像装置が知られている。この撮像装置は、ユーザの左眼に左眼用画像が写り、右眼に右眼用画像が写るように表示部に画像を表示することで、ユーザが立体視できるようになっている。例えば、下記特許文献１には、立体画像を撮影するステレオカメラが開示されている。また、下記特許文献２には、３以上のレンズを有する撮像装置において、他のレンズによって遮蔽された画像の領域を補完した画像を生成する技術が記載されている。

日本国公開特許公報「特開２００５−７００７７号公報（２００５年３月１７日公開）」 日本国公開特許公報「特開２０１５−１３３６９１号公報（２０１５年７月２３日公開）」

しかしながら、特許文献１に記載された技術では、他のレンズによって画像の一部が遮蔽され、好適な画像を生成できないことがある。また、特許文献２に記載された技術では、他のレンズによって遮蔽された画像の領域をあらかじめ設定しておく必要がある。

本発明は上記課題を鑑みて発明されたものであり、事前設定の負荷を軽減しつつ、好適な画像を生成できる画像処理装置およびその関連技術を提供することを目的とする。

上記の課題を解決するために、本発明の一態様に係る画像処理装置は、第一撮像部で撮像された動画像における第一静止領域に基づいて、当該第一撮像部で撮像された第一画像の第一被補完領域を決定する決定部と、前記第一被補完領域内の各画素を、第二撮像部で撮像された第二画像における、当該画素に対応する第一補完用画素によって補完する補完部と、を備えている。

本発明の一態様に係る画像処理装置の制御方法は、画像処理装置が、第一撮像部で撮像された動画像における第一静止領域に基づいて、当該第一撮像部で撮像された第一画像の第一被補完領域を決定する決定工程と、前記画像処理装置が、前記第一被補完領域内の各画素を、第二撮像部で撮像された第二画像における、当該画素に対応する第一補完用画素によって補完する補完工程と、を包含する。

本発明の一態様によれば、事前設定の負荷を軽減しつつ、好適な画像を生成できる画像処理装置およびその関連技術を提供することができる。

本発明の一実施形態に係る撮像装置の構成を示す機能ブロック図である。 本発明の一実施形態における画像処理装置の制御処理の流れを示すフローチャートである。 本発明の一実施形態における遮蔽領域を説明するための図である。 本発明の一実施形態における遮蔽領域の決定方法を説明するための図である。 本発明の一実施形態における各撮像部と被写体との位置関係を示す図である。 本発明の一実施形態において想定撮影距離と実際の撮影距離とが異なる場合の補正画像のずれを説明するための図である。 本発明の一実施形態において画角に応じて想定撮影距離を変更する方法の一例を説明するための図である。

本発明の一実施形態に係る撮像装置１０２について、添付図面を参照することによって以下に詳細に説明する。

〔撮像装置１０２〕
図１は、本発明の一実施形態に係る撮像装置１０２の構成を示す機能ブロック図である。図１に示すように、撮像装置１０２は、画像処理装置１０１、ステレオ撮像部１０３、記憶部１０４、および表示部１０５を備えている。撮像装置１０２としては、異なる位置から同一の被写体を撮像する複数の撮像部を備える撮像装置を用いることができる。一態様において、撮像装置１０２は、ステレオカメラであり、例えば、２眼方式のデジタルカメラおよびビデオカメラなどを挙げることができる。

［ステレオ撮像部１０３］
ステレオ撮像部１０３は、第一撮像部１０７と第二撮像部１０８とから構成される。ステレオ撮像部１０３は、第一撮像部１０７によって生成された第一画像および第一動画像、ならびに、第二撮像部１０８によって生成された第二画像および第二動画像を画像処理装置１０１に出力する。なお、第一画像は、第一動画像に含まれていてもよい。また、第二画像は、第二動画像に含まれていてもよい。

（第一撮像部１０７、第二撮像部１０８）
第一撮像部１０７は、左眼に対応する第一視点位置に設置されており、被写体を撮像することによって、当該被写体を含む第一画像または第一動画像を生成する。第二撮像部１０８は、右眼に対応する第二視点位置に設置されており、被写体を撮像することによって、当該被写体を含む第二画像または第二動画像を生成する。第一撮像部１０７および第二撮像部１０８としては、ＣＣＤ（Charge Couple Device）などの撮像レンズと撮像素子を備えているものを挙げることができる。第一撮像部１０７および第二撮像部１０８が生成する画像の画素数は同一であってもよいし、互いに異なっていてもよい。

［記憶部１０４］
記憶部１０４は、第一画像、第二画像、第一画像における遮蔽領域（第一被補完領域）、第二画像における遮蔽領域（第二被補完領域）、および、画像補正部１０６によって補正された補正画像などの画像情報を記録媒体に記憶する。また、記憶部１０４は、記録媒体に記憶された上述の画像を読み込んで画像処理装置１０１に出力する。記憶部１０４としては、上述の機能を有するものであれば、汎用のものを用いることができる。

本明細書において、遮蔽領域とは、第一画像および第二画像の少なくとも一方の一部に、当該各画像を撮像する撮像部以外のもう一方の撮像部の一部（例えば、レンズまたはカメラ本体など）が写り込んでいる領域のことを意味する。本発明において、各画像における遮蔽領域は、他の画像を用いて補完されるものであるため、被補完領域とも称される。本明細書において、補完とは、元の画像の被補完領域の各画素を、他の画像の対応する画素を用いて置き換えるように補正することを意味する。一態様において、置き換えるように補正するとは、元の画像の被補完領域の各画素の画素値を、他の画像の対応する画素の画素値に依拠して決定することであり得る。

記憶部１０４は、例えば所定の記録媒体から上述の画像を読み込み、読み込んだ画像を再生する部材であってもよい。記録媒体としては、デジタルカメラおよびビデオカメラなどの市販のカメラ内の記憶装置、ならびに、取り外し可能な記憶装置（例えば、光磁気ディスクおよび半導体メモリなどの電子媒体）が例示的に挙げられる。

［表示部１０５］
表示部１０５は、文字情報および主要被写体情報などを含む補正画像などを表示する。表示部１０５としては、例えば、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）および有機ＥＬ（Electro Luminescence）ディスプレイなどの表示画面が挙げられる。

［画像処理装置１０１］
画像処理装置１０１は、ステレオ撮像部１０３から取得した第一画像および第二画像から、遮蔽領域を補正した補正画像を生成し、記憶部１０４または表示部１０５の少なくともいずれかに出力する。画像処理装置１０１は、例えば、ＣＰＵ（Central Processing Unit：中央処理装置）またはＧＰＵ（Graphic Processing Unit：画像処理用処理装置）などから構成される。

また、画像処理装置１０１は画像補正部（補完部）１０６および遮蔽領域設定部（決定部）８０１を備えている。

（画像補正部１０６）
画像補正部１０６は、ステレオ撮像部１０３または記憶部１０４から第一画像および第二画像を取得し、第一画像および第二画像の少なくとも一つを補正することで補正画像を生成する。具体的には、画像補正部１０６は、第一画像内において第二撮像部１０８によって遮蔽されている遮蔽領域がある場合には第二画像を用いて当該遮蔽領域を置き換えるように補正することで補正画像を生成する。また、画像補正部１０６は、第二画像内において第一撮像部１０７によって遮蔽されている遮蔽領域がある場合には第一画像を用いて当該遮蔽領域を置き換えるように補正することで補正画像を生成する。

図３の（ａ）および（ｂ）は、ステレオ撮像部１０３で撮影された第一画像３０１における遮蔽領域（第一遮蔽領域）３０２および第二画像３０３における遮蔽領域（第二遮蔽領域）３０４の一例を説明する図である。

上述したように、遮蔽領域とは、第一画像および第二画像の少なくとも一方において、第一画像または第二画像を撮影した撮像部以外の、もう一方の撮像部の一部（レンズおよびカメラ本体など）が写りこんでいる領域のことである。以下、ステレオ撮像部１０３における第一撮像部１０７を左眼用カメラ、第二撮像部１０８を右眼用カメラとした場合における遮蔽領域について図３を用いて説明する。図３の（ａ）に示すように、第一撮像部１０７で撮影された第一画像３０１内の遮蔽領域３０２は画角右端に位置している。また、図３の（ｂ）に示すように、第二撮像部１０８で撮影された第二画像３０３内の遮蔽領域３０４は画角左端に位置している。遮蔽領域は画像内の各画素が遮蔽領域か否かどちらかであるかを表すことができる。例えば、撮影画像の画素座標Ｉ（ｕ、ｖ）に対し、遮蔽領域Ｍ（ｕ、ｖ）のように設定する。

（遮蔽領域設定部８０１）
遮蔽領域設定部８０１は、入力された複数のフレーム画像から、複数のフレーム画像にわたり動いていない領域を抽出し、遮蔽領域として設定する。これにより、あらかじめ記憶部１０４に遮蔽領域を設定した状態からステレオ撮像部１０３の基線長またはレンズの形状が変わった場合にも好適に遮蔽領域を設定することができる。

〔画像処理〕
続いて、撮像装置１０２による画像処理装置の制御処理（画像処理装置の制御方法）について、図２を用いて説明する。図２は、撮像装置１０２によって実行される画像処理の流れを表すフローチャートである。

ステップＳ２０１：遮蔽領域設定部８０１は、第一撮像部１０７と第二撮像部１０８とが互いに同期して撮影した複数の動画像（フレーム画像）である第一画像および第二画像を取得する。

ステップＳ２０２：遮蔽領域設定部８０１は、一方の撮像部で撮像された複数のフレーム画像における静止領域を抽出し、当該静止領域を一方の画像の遮蔽領域として設定（決定）する。遮蔽領域設定部８０１は、設定した遮蔽領域を画像補正部１０６に出力する（決定工程）。

上述の構成によれば、あらかじめ記憶部１０４に遮蔽領域を設定した状態からステレオ撮像部１０３の基線長またはレンズの形状が変わった場合にも好適に遮蔽領域を設定することができる。

ステップＳ２０３：画像補正部１０６は、遮蔽領域に基づき、一方の画像における遮蔽領域の各画素を、もう一方の撮像部で撮像されたもう一方の画像における、当該画素に対応する画素（第一補完用画素または第二補完用画素）によって補完し、補正画像を生成する（補完工程）。

ステップＳ２０４：表示部１０５は補正画像を表示し、画像処理を終了する。

撮像装置１０２は、ステップＳ２０１〜ステップＳ２０４の画像処理を、第一画像および第二画像の一方または両方に対して行うことで、第一画像および第二画像の少なくとも一方を補正する。

第一撮像部１０７と第二撮像部１０８とが隣接し、特に撮像部が広角レンズのステレオカメラである場合、一方の撮像部で撮影する画像に他方の撮像部が写り込む。例えば、広角レンズを有する第一撮像部１０７および第二撮像部１０８を平行に配置した場合、左眼用画像である第一画像には第二画像を撮影するための第二撮像部１０８が写りこむ。また、この場合、右眼用画像である第二画像には左眼用画像を撮影するための第一撮像部１０７が写りこむ。このように、隣接する撮像部が写りこんだ立体画像を表示部に１０５に表示させた場合、左眼用画像である第一画像および右眼用画像である第二画像において異なる被写体が写しだされる。そのため、ユーザは、対応点の融合が働かずに画像を立体視することが困難となる可能性がある。これに対し、撮像装置１０２によれば、一方の画像における遮蔽領域を他方の画像を用いて補正することで、第一画像および第二画像において同一の被写体を写し、好適な画像を生成することができる。

（遮蔽領域の設定の詳細）
遮蔽領域設定部８０１は、一方の画像において、当該画像を撮影した撮像部以外の、もう一方の撮像部により遮蔽されている領域を抽出する（ステップＳ２０２）。すなわち、第一撮像部１０７で撮像された第一動画像における第一静止領域に基づいて、第一撮像部１０７で撮像された第一画像の遮蔽領域（第一被補完領域）を決定する。また、第二撮像部１０８で撮像された第二動画像における第二静止領域に基づいて、第二撮像部１０８で撮像された第二画像の遮蔽領域（第二被補完領域）を決定してもよい。ステレオ撮像部１０３が複数のフレーム画像によって構成される動画像を撮影した場合、遮蔽されている領域は複数フレームにわたり、同じ位置に撮影される。これを、図４を用いて以下に具体的に説明する。

図４の（ａ）〜（ｃ）は、複数のフレーム画像（第一画像）９０１〜９０３における遮蔽領域（第一遮蔽領域）９０４〜９０６を説明するための図である。なお、図４では、便宜上、複数のフレーム画像９０１〜９０３が、第一撮像部１０７によって撮像された第一動画像である場合について説明するが、第二撮像部１０８によって撮像された複数のフレーム画像に対しても、同様に遮蔽領域の設定を行うことができる。

図４の（ａ）〜（ｃ）に示すように、複数のフレーム画像９０１〜９０３において、遮蔽領域９０４〜９０６は、複数のフレーム画像９０１〜９０３における同じ位置に撮影されるが、その他の被写体である人は異なる位置に撮影されている。これは、第一撮像部１０７と第二撮像部１０８とが平行を保つために同じ台座に取り付けられることで、撮像部全体が移動したとしても第一撮像部１０７と第二撮像部１０８とは同じ動きをし、互いの画像内で互いの撮像部が静止して撮影されるためである。そのため、遮蔽領域設定部８０１は、複数のフレーム画像において静止している領域（静止領域）、つまり、動いていない領域を抽出することで、その領域を遮蔽領域とすることができる。

ここで、遮蔽されていない領域は、撮影されている被写体が異なるため、撮影時が異なる複数のフレーム画像間での画素値の差分の値が大きくなる。一方、静止領域は、同じ被写体が写っているため複数のフレーム画像間での画素値の差分の値が小さくなる。そのため、遮蔽領域設定部８０１は、撮影時が異なる複数のフレーム画像間での画素値の差分が閾値よりも小さい領域を静止領域とし、当該静止領域を遮蔽領域に設定することができる。

また、図４の（ａ）〜（ｃ）に示すように、一方の撮像部から見た他方の撮像部は、画角端（撮像した画像の画像端）に位置すると想定される。また、撮像部と同じ台座に固定され、遮蔽物となる物体も、同様に、画角端（撮像した画像の画像端）に位置すると想定される。

そこで、遮蔽領域設定部８０１は、静止領域が複数の領域に分かれている場合、当該複数の領域のうち、画角端に接している領域を遮蔽領域に設定してもよい。これにより、画像中心に動いていない被写体が複数のフレーム画像９０１〜９０３に写り込んでいる場合でも、遮蔽領域設定部８０１は、第一撮像部１０７または第二撮像部１０８による遮蔽領域９０４〜９０６のみを抽出できる。画像中心に動いていない被写体としては、例えば、ケーブルなどの被写体を挙げることができる。

遮蔽領域設定部８０１は、上述のように設定した遮蔽領域を画像補正部１０６および記憶部１０４の少なくとも一方に出力する。

（画像の補正の概要）
画像補正部１０６による画像の補正について図５および図６を用いて以下に説明する。

まず、図５を用いて画角と画像補正との関係について説明する。図５は、広角レンズを用いた第一撮像部１０７および第二撮像部１０８と、ステレオ撮影される被写体５０５との関係を示す図である。ここで、広角レンズとは最大画角が１８０度のレンズのことを意味する。また、画角とはレンズの光軸と被写体５０５とのなす角のことを意味する。

図５に示す例では、第一撮像部１０７の画角θ_１５０１とは、光軸５０６と被写体５０５とのなす角のことを意味し、第二撮像部１０８の画角θ_２５０２とは、光軸５０７と被写体５０５とのなす角のことを意味する。図５では、第一撮像部１０７の画角θ_１５０１内に第二撮像部１０８があり、第二撮像部１０８よりも遠方にある被写体５０５が第二撮像部１０８によって遮蔽されるため、撮影されない。

ここで、第一撮像部１０７の遮蔽領域に写っていると想定される被写体５０５（第一撮像部１０７の遮蔽領域に対応する被写体５０５）までの撮影距離を想定撮影距離５０３と規定する。この場合、第一撮像部１０７の画角θ_１５０１と、第二撮像部１０８の画角θ_２５０２とは以下の式（１）の関係が成り立つ。画像補正部１０６は、式（１）の関係に基づいて、画角θ_１５０１内の遮蔽領域を画角θ_２５０２内の遮蔽されていない領域によって補正可能となる。

式（１）において、画角θ_１５０１および画角θ_２５０２はラジアンで表現されているものとする。パラメータＤは想定撮影距離５０３を表す。また、パラメータＢは撮像部間の距離５０４、すなわち基線長を表す。基線長は、撮像部間の距離を計測した値を用いる。撮像部間の距離５０４を計測する方法としては、スケールなどを用いて目視によって計測する方法、および、カメラキャリブレーションにより求める方法などが挙げられる。画像補正部１０６は、想定撮影距離５０３を、例えば５ｍなどにあらかじめ設定する。

図６の（ａ）および（ｂ）は、想定撮影距離５０３と実際の撮影距離６０１とが異なる場合の補正画像のずれ６０２および６０３を説明するための図である。図６の（ａ）に示すように、想定撮影距離５０３と、実際の撮影距離６０１とが異なると補正画像にずれ６０２が生じる。このずれ６０２は最大画角周辺になるに従い小さくなり、１８０度の画角周辺（画像中心を０度とする場合は、９０度の画角周辺）では微小なずれとなる。例えば、図６の（ａ）に示すように、第一撮像部１０７の画角θ_１５０１におけるずれ６０２よりも、図６の（ｂ）に示すように、最大画角周辺となる画角θ_１６０４におけるずれ６０３のほうが画像のずれが小さくなる。図６の（ｂ）では、第一撮像部１０７と第二撮像部１０８とでは、画像上の略同一位置に同一の被写体が撮影される。そのため、画像補正部１０６は、第二撮像部１０８で撮影した第二画像を第一撮像部１０７で撮影した第一画像に合成しても違和感のない補正画像を生成できる。

次に、画像における遮蔽領域の補正の詳細について説明する。ここではまず、画像補正部１０６が、第一撮像部１０７によって撮影された第一画像における遮蔽領域を、第二撮像部１０８によって撮影された第二画像を用いて補正する方法について詳細に説明する。すなわち、画像補正部１０６が、第一画像上の画素位置Ｉ_１（ｕ_１、ｖ_１）の画素を、第二画像上の画素位置Ｉ_２（ｕ_２、ｖ_２）の画素を用いて補正する方法について詳細に説明する。まず、画像補正部１０６は、第一画像上の画素位置Ｉ_１（ｕ_１、ｖ_１）を画角（θ_１、φ_１）に変換し、第一画像上の画角（θ_１、φ_１）に相当する第二画像上の画角（θ_２、φ_２）を算出する。そして、画像補正部１０６は、画角（θ_２、φ_２）を第二画像上の画素位置Ｉ_２（ｕ_２、ｖ_２）に変換し、第一画像上の画素と第二画像上の画素とを対応付ける。画像補正部１０６は、対応付けた第二画像上の画素を用いて第一画像における遮蔽領域を補正する。以下に、式（２）〜（１２）を用いてより具体的に説明する。

まず、画像補正部１０６は、第一画像上の画素位置Ｉ_１（ｕ_１、ｖ_１）を画角（θ_１、φ_１）に以下の式（２）および（３）を用いて変換する。ここで画角θ_１は水平方向の画角[ラジアン]を、画角φ_１は垂直方向の画角[ラジアン]を表す。

ここで、ｒは画像中心からの距離[ピクセル]であり、以下の式（４）で表される。Ｒは画角θ＝π／２の場合の画像中心からの距離ｒ[ピクセル]である。

ここで、ｗは画像の横画素数[ピクセル]を表し、ｈは画像の縦画素数[ピクセル]を表す。焦点距離ｆはあらかじめレンズの仕様として定められている値を用いてもよいし、カメラキャリブレーションにより求めた値を用いてもよい。

式（３）および（４）におけるｕにｕ_１を代入し、ｖにｖ_１を代入することで画角（θ_１、φ_１）が得られる。

次に、画像補正部１０６は、第一画像における画角（θ_１、φ_１）を、第二画像における画角（θ_２、φ_２）に変換する。水平画角θについては、以下の式（１）を用いて変換する。垂直画角については、式（５）を用いて変換する。

続いて、画像補正部１０６は、第二画像上の画角（θ_２、φ_２）を、第二画像上の画素位置Ｉ_２（ｕ_２、ｖ_２）に以下の式（６）および（７）を用いて変換する。

ここで、ｆ（ｖ、Ｒ）は式（８）で表され、パラメータλ、μおよびｖは式（９）、（１０）および（１１）により表される。

式（９）〜（１１）のθにθ_２を代入し、φにφ_２を代入したｆ（ｖ、Ｒ）、λ、μおよびｖを式（６）および（７）に代入することで、画素位置Ｉ_２（ｕ_２、ｖ_２）が求められる。

以上により、画像補正部１０６は、第一画像における画素位置と第二画像における画素位置との対応関係を算出し、当該対応関係に基づいて第一画像における遮蔽領域の画素を第二画像における画素を用いて補正する。例えば、画像補正部１０６は、以下の式（１２）のように最も近い位置にある画素値を用いる最近傍補間（ニアレストネイバー補間）、または、周辺の４画素を用いて画素値を直線的に補間するバイリニア補間を用いて補正してもよい。この場合、画像補正部１０６は、最近傍補間またはバイリニア補間を用いて第二画像上の画素位置Ｉ_２（ｕ_２、ｖ_２）の画素値を求め、第一画像上の画素位置Ｉ_１（ｕ_１、ｖ_１）に代入する。なお、第一画像の画素数よりも第二画像の画素数が多いなどの場合には、第二画像上のより多くの画素の画素値を用いて、第一画像上の画素を補完してもよい。

このように、画像補正部１０６は、第一画像における画素位置Ｉ_１（ｕ_１、ｖ_１）と、第二画像における画素位置Ｉ_２（ｕ_２、ｖ_２）との対応関係を求める。画像補正部１０６は、当該対応関係に基づいて第一画像における遮蔽領域の全画素を、第二画像を用いて補正する。

画像補正部１０６が、第二撮像部１０８で撮影された第二画像上の遮蔽領域を、第一撮像部１０７で撮影された第一画像を用いて補正する方法については詳しい説明を省略するが、上述した方法と同様の方法で補正することができる。

このように、画像補正部１０６は、第一画像の遮蔽領域（第一被補完領域）の各画素を、第二画像における、当該画素（第一画像の遮蔽領域内の各画素）に対応する画素（第一補完用画素）によって補完する。また、画像補正部１０６は、第二画像の遮蔽領域（第二被補完領域）の各画素を、第一画像における、当該画素（第二画像の遮蔽領域内の各画素）に対応する画素（第二補完用画素）によって補完してもよい。これにより、動的に遮蔽領域を決定することによって、事前設定の負荷を軽減しつつ、他のレンズによって遮蔽された画像の領域を補完して、好適な画像を生成することができる。

また、画像補正部１０６は、第一被補完領域に対応する被写体５０５までの撮影距離を、あらかじめ定められた想定撮影距離Ｄとして、種々の計算を行ってもよい。上述したように、あらかじめ定められた想定撮影距離Ｄを用いた場合であっても、違和感の少ない補正画像を生成することができる。

（変形例１）
上述の例では、画像補正部１０６は第一画像と第二画像との両方に補正を施しているが、本実施形態では、画像補正部１０６は一方の画像のみに補正を施してもよい。例えば、表示部１０５が撮影画像をプレビュー表示する場合、表示部１０５は補正された第一画像のみを補正画像として表示してもよい。これにより、表示部１０５が立体画像を表示できない簡易な構成のディスプレイであっても、ユーザは好適に補正画像の品質を確認することができる。

（変形例２）
上述の例では、画像補正部１０６は、画像補正部１０６に入力された第一画像および第二画像を入力された状態のまま補正しているが、画像補正部１０６に入力された第一画像および第二画像を異なる投影方式に変換してから補正してもよい。例えば、魚眼レンズで撮影された画像は等距離射影方式または等立体射影方式によって表現されており、画像補正部１０６は、これらの射影方式によって表される第一画像および第二画像を透視投影方式で表される画像に変換してから補正を行ってもよい。画像補正後、画像補正部１０６は、補正画像を等距離射影方式または等立体射影方式の画像に再び変換する。画像補正部１０６は、透視投影方式によって表される画像に変換して画像端が大きく引き延ばされた一方の画像を、同じく画像端が大きく引き伸ばされたもう一方の画像を用いて補正する。画像端が大きく引き延ばされた画像は画素数が増えるため、画像補正部１０６は、もう一方の画像の画像端における画素を用いて一方の画像端の遮蔽領域の画素を高精度に補正することができる。

（変形例３）
上述の例では、画像補正部１０６は、遮蔽領域のみに補正を施しているが、遮蔽領域に隣接する隣接領域にも補正を施してもよい。例えば、画像補正部１０６は、第二画像を用いて第一画像の遮蔽領域を補正する場合、遮蔽領域に隣接する隣接領域内の各画素に対し、当該画素（隣接領域の各画素）、および、第二画像における、当該画素（隣接領域内の各画素）に対応する画素の両方に基づいて補正してもよい。画像補正部１０６は、第二画像における隣接領域内の各画素に対応する画素を、第二画像における遮蔽領域内の各画素に対応する画素と同様の手法によって算出することができる。

一態様において、画像補正部１０６は、遮蔽領域に隣接する隣接領域の各画素に対し、第一画像の画素とそれに対応する第二画像の画素とを混合した画素を用いて補正を行ってもよい。このように、画像補正部１０６が、第一画像の画素と第二画像の画素とを混合して補正することで、画像における補正された領域と補正されていない領域との境界を目立たなくすることができる。また、画像補正部１０６は、第一画像と第二画像との混合比を、最大画角周辺から画像中心になるに従って第一画像の画素の比率を高くなるように設定してもよい。これにより、補正された画像の領域と補正されていない画像の領域との境界が滑らかにすることができる。また、画像補正部１０６が、第二画像の遮蔽領域を、第一画像を用いて補正する場合にも、同様の方法を用いて画像における補正された領域と補正されていない領域との境界を滑らかにすることができる。

（変形例４）
上述の例では、画像補正部１０６は、第一画像の遮蔽領域の各画素を第二画像の画素を用いて補正した画像をそのまま出力しているが、補正後の遮蔽領域に画像処理をさらに施してから出力してもよい。例えば、画像補正部１０６は、補正した遮蔽領域にぼかし処理を施したり、コントラストを抑制するような処理を施したりしてもよい。これにより、補正した遮蔽領域を補正していない遮蔽領域よりも目立たなくすることができる。また、画像補正部１０６は、画像中心からの距離が遠くなるに従い、すなわち、画像端になるに従い、ぼかし処理を強くしたり、コントラストがより抑制されるような処理を施したりしてもよい。これにより、補正を施した領域と補正を施していない領域との境界をより目立たなくすることができる。また、画像補正部１０６は、補正後の遮蔽領域だけでなく、遮蔽領域周辺に上述の画像処理をさらに施してもよい。これにより、補正を施した領域と補正を施していない領域との境界をさらに目立たなくし、滑らかにすることができる。

（変形例５）
上述の例では、画像補正部１０６は、あらかじめ定められた想定撮影距離Ｄから第一画像の画素と第二画像の画素との対応関係を求めているが、画角に応じて想定撮影距離Ｄを変更して第一画像の画素と第二画像の画素との対応関係を求めてもよい。以下に、図７を用いて画角に応じて、遮蔽領域に写っていると想定される被写体撮像距離Ｄを変更する方法の例を説明する。

図７は、画像補正部１０６が画角によって想定撮影距離を変更する方法の一例を説明するための図である。例えば、第一画像の遮蔽領域内の画素のうち、画角がθ_１７０１となるような画素について、対応する第二画像上の画素（第一補完用画素）を算出する場合には、画像補正部１０６は、想定撮影距離を想定撮影距離７０２となるように変更する。また、第一画像の遮蔽領域内の画素のうち、画角がθ_１７０３となるような画素について、対応する第二画像上の画素（第一補完用画素）を算出する場合には、画像補正部１０６は、想定撮影距離を想定撮影距離７０４となるように変更する。第一画像の遮蔽領域のうち、画角が９０度（画像端）となるような画素について、対応する第二画像上の画素（第一補完用画素）を算出する場合には、画像補正部１０６は、想定撮影距離を想定撮影距離７０５となるように変更する。

このように、画像補正部１０６が、画角が大きくなるにつれ、想定撮影距離が長くなるように設定することで、図７の（ａ）に示すように投影面７０６が斜めに傾いている補正画像を生成できる。これにより、被写体の遠近感を考慮した補正画像を生成することができる。また、図７の（ｂ）に示すように、画像補正部１０６は、投影面７０７が曲面となるように想定撮影距離と画角との関係を変更してもよい。これにより、広角レンズの歪みを考慮した補正画像を生成することができる。

（変形例６）
上述の例では、画像補正部１０６は、一方の画像における画素ごとに、対応するもう一方の画像の画素を算出しているが、あらかじめ第一画像と第二画像との画素の対応関係を算出しておいてもよい。この場合、画像補正部１０６は、当該対応関係をルックアップテーブルなどに保存しておく。これにより、画像補正部１０６が、補正処理を行うたびに第一画像と第二画像との対応関係を計算する必要がなくなるため、第一画像および第二画像の撮影から補正画像の表示までの処理時間を短くすることができる。

（変形例７）
上述の例では、画像補正部１０６は、補正画像のみを出力しているが、補正画像と遮蔽領域との両方を出力してもよい。補正画像だけでなく遮蔽領域も出力することにより、ユーザにとって画像上のどの部分を補正したのかが分かりやすくなる。

（変形例８）
上述の例では、撮像装置１０２には、最大画角が１８０度の第一画像および第二画像が入力されているが、例えば、ミラーを利用した全方位カメラを用いた水平画角３６０度の画像など、より画角が広い広角画像が入力されてもよい。より画角が広い広角画像を画像補正部１０６が補正することで、隣接する撮像部などにより遮蔽される遮蔽領域の範囲が、最大画角が１８０度である画像を撮影した場合よりも増加する。そのため、画像補正部１０６がより画角が広い広角画像を補正することでより大きな補正の効果を得ることができる。

（変形例９）
上述の例では、画像補正部（出力部）１０６は、補正画像全てを出力しているが、補正画像から一部分を切り出した画像を出力してもよい。ユーザが広角画像をヘッドマウントディスプレイなどの表示装置を用いて視聴する場合、画像補正部１０６は、ユーザの視野角に応じて補正画像から切り出す画像の範囲を変更して補正画像から切り出した画像を表示部１０５に表示できる。

（変形例１０）
上述の例では、撮像装置１０２は、ステレオ撮像部１０３によって第一画像および第二画像を生成しているが、本実施形態ではこれに限定されない。本実施形態に係る撮像装置１０２は、第一画像および第二画像に遮蔽領域が形成される可能性のある任意の撮像部に適用することができる。ただし、画像補正部１０６は、ステレオ撮像部１０３によって第一画像および第二画像を生成した場合に、特に補正効果の大きい補正画像を生成できるため、好適である。

（変形例１１）
上述の例では、遮蔽領域設定部８０１は、ステレオ撮像部１０３による撮影ごとに遮蔽領域を抽出し、設定しているが、図示しない入力部にて遮蔽領域を設定する信号が入力された場合に遮蔽領域を設定するようになっていてもよい。例えば、遮蔽領域設定部８０１は、遮蔽領域設定ボタンを備えており、ユーザがそのボタンを押すと遮蔽領域を抽出および設定するようになっていてもよい。また、遮蔽領域設定部８０１は、ジャイロセンサから撮像装置１０２ａの回転を検出し、撮像装置１０２ａが回転している場合に遮蔽領域を抽出するようになっていてもよい。特に、撮像装置１０２ａが回転している場合は、ステレオ撮像部１０３以外の被写体が大きく動いて撮影されることで、遮蔽領域設定部８０１は、ステレオ撮像部１０３を静止領域として抽出しやすくなるため好適である。

（変形例１２）
上述の例では、画像補正部１０６は、遮蔽領域設定部８０１によって設定された遮蔽領域に基づいて第一画像および第二画像を補正している。ただし、一部の状態下では、記憶部１０４から読み出した遮蔽領域に基づいて第一画像および第二画像を補正してもよい。例えば、画像補正部１０６は、撮像装置１０２ａの電源を入れ、撮影を始めた状態では記憶部１０４から読み出した遮蔽領域に基づいて第一画像および第二画像を補正してもよい。また、画像補正部１０６は、ある程度第一画像、第二画像を撮影し、遮蔽領域が記憶部１０４に蓄積された状態では、遮蔽領域設定部８０１にて設定された遮蔽領域に基づいて第一画像および第二画像を補正してもよい。これにより、遮蔽領域設定部８０１が撮影画像から静止領域を抽出できていない状況でも、あらかじめ記憶部１０４に記憶しておいた遮蔽領域に基づいて、第一画像および第二画像の補正を行うことができる。

（変形例１３）
上述の例では、遮蔽領域設定部８０１は、第一画像を用いて第一画像の遮蔽領域を設定しているが、第一画像と第二画像との両方を用いて第一画像の遮蔽領域を設定してもよい。例えば、遮蔽領域設定部８０１は、第一画像ごとに静止領域を抽出した結果と、テンプレートマッチングなどを用いて第一画像と第二画像との対応点を推定した結果とを参照することで第一画像の遮蔽領域を設定してもよい。これにより、遮蔽領域設定部８０１は、第一画像および第二画像において共通の静止領域と、各々の画像のみに存在する静止領域とを区別することができる。遮蔽領域設定部８０１は、第一画像と第二画像とに共通の静止領域を、遮蔽領域ではなく、例えば、背景など遠方の被写体であるとみなせるため、当該共通の静止領域を遮蔽領域から除外（排除）する。遮蔽領域設定部８０１は、第一画像および第二画像各々の画像にのみ存在する静止領域を、それぞれの画像を撮影する撮像部以外の撮像部であるとみなせるため、当該静止領域を遮蔽領域に設定する。このように、第一画像と第二画像とに基づいて、第一画像のみに撮影されている静止領域と、第二画像のみに撮影されている静止領域とを、各々の画像における遮蔽領域に設定することで、遮蔽領域を好適に設定することができる。

〔ソフトウェアによる実現例〕
撮像装置１０２および１０２ａの制御ブロック（特に画像処理装置１０１および１０１ａにおける画像補正部１０６および遮蔽領域設定部８０１）は、集積回路（ＩＣチップ）などに形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、撮像装置１０２および１０２ａは、各機能を実現するソフトウェアである画像処理プログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記画像処理プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。また、このコンピュータは、ＯＳ（Operating Systems）および周辺機器などのハードウェアも備えている。そして、上記コンピュータにおいて、上記プロセッサが上記画像処理プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。

上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）およびＣＤ−ＲＯＭなどの可搬媒体、テープ、フレキシブルディスクおよび光磁気ディスクなどのディスク、カード、半導体メモリ、プログラマブルな論理回路、ならびに、コンピュータシステムに内蔵されるハードディスクなどを用いることができる。上記コンピュータ読み取り可能な記録媒体としては、インターネットなどのネットワーク、および、電話回線などの通信回線を介して画像処理プログラムを送信する場合の通信線のように、短時間の間、動的に画像処理プログラムを保持するもの、ならびに、サーバおよびクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間画像処理プログラムを保持しているものが挙げられる。

また、撮像装置１０２および１０２ａは、上記画像処理プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記画像処理プログラムは、該画像処理プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波など）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記画像処理プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

また、撮像装置１０２および１０２ａの一部、または全部を典型的には集積回路であるＬＳＩとして実現してもよい。この場合、撮像装置１０２および１０２ａの制御ブロックを個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず、専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。

また、上述の実施形態において、制御線および情報線は、説明上必要と考えられるものを示しており、製品上、必ずしも全ての制御線および情報線を示しているとは限らず、全ての構成が相互に接続されていてもよい。

〔まとめ〕
本発明の態様１に係る撮像装置（１０２）は、第一撮像部（１０７）で撮像された動画像（フレーム画像９０１〜９０３）における第一静止領域に基づいて、当該第一撮像部で撮像された第一画像の第一被補完領域（遮蔽領域９０４〜９０６）を決定する決定部（遮蔽領域設定部８０１）と、前記第一被補完領域内の各画素を、第二撮像部（１０８）で撮像された第二画像における、当該画素に対応する第一補完用画素によって補完する補完部（画像補正部１０６）と、を備えている。

上記の構成によれば、動的に遮蔽領域を決定することによって、事前設定の負荷を軽減しつつ、他のレンズによって遮蔽された画像の領域を補完して、好適な画像を生成することができる。

本発明の態様２に係る撮像装置は、上記態様１において、前記第一撮像部および前記第二撮像部はステレオカメラを構成していてもよい。

上記の構成によれば、好適な立体画像を生成することができる。

本発明の態様３に係る撮像装置は、上記態様１または２において、前記決定部は、前記第一静止領域が複数の領域に分かれている場合、当該動画像の画像端に近い領域を、前記第一被補完領域として決定してもよい。

上記の構成によれば、画像中心に動いていない被写体、例えばケーブルなどの被写体が複数のフレーム画像に写り込んでいる場合でも、第一撮像部および第二撮像部による遮蔽領域のみを抽出することができる。

本発明の態様４に係る撮像装置は、上記態様１〜３において、前記補完部は、さらに、前記第一画像における前記第一被補完領域に隣接する隣接領域内の各画素を、当該画素、および、前記第二画像における、当該画素に対応する画素の両方に基づいて補正してもよい。

上記の構成によれば、画像における補正された領域と補正されていない領域との境界を目立たなくすることができる。

本発明の態様５に係る撮像装置は、上記態様１〜４において、前記補完部が補完した前記第一画像の一部を切り出して出力する出力部を備えていてもよい。

上記の構成によれば、有用な出力を行うことができる。

本発明の態様６に係る画像処理装置は、上記態様１〜５において、前記決定部は、さらに、前記第二撮像部で撮像された動画像における第二静止領域に基づいて、前記第二画像の第二被補完領域を決定し、前記補完部は、さらに、前記第二被補完領域内の各画素を、前記第一画像における、当該画素に対応する第二補完用画素によって補完してもよい。

上記の構成によれば、第一画像および第二画像の両方を好適に補正することができる。

本発明の態様７に係る画像処理装置は、上記態様６において、前記第一静止領域および前記第二静止領域に共通する領域を、前記第一被補完領域および前記第二被補完領域から排除してもよい。

上記の構成によれば、第一被補完領域および第二被補完領域を好適に決定することができる。

本発明の態様８に係る撮像装置は、上記態様１〜７の何れか一つの画像処理装置と、前記第一撮像部および前記第二撮像部をさらに備えている。

上記の構成によれば、本発明の一態様に係る画像処理装置と同様の効果を奏する。

本発明の態様９に係る画像処理装置の制御方法は、画像処理装置が、第一撮像部で撮像された動画像における第一静止領域に基づいて、当該第一撮像部で撮像された第一画像の第一被補完領域を決定する決定工程と、前記画像処理装置が、前記第一被補完領域内の各画素を、第二撮像部で撮像された第二画像における、当該画素に対応する第一補完用画素によって補完する補完工程と、を包含する。

上記の構成によれば、本発明の一態様に係る画像処理装置と同様の効果を奏する。

本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部（ソフトウェア要素）として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

（関連出願の相互参照）
本出願は、２０１７年１０月２６日に出願された日本国特許出願：特願２０１７−２０７３１２に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。

１０１ 画像処理装置
１０２ 撮像装置
１０４ 記憶部
１０５ 表示部
１０６ 画像補正部（補完部）
１０７ 第一撮像部
１０８ 第二撮像部
３０１ 第一画像
３０３ 第二画像
３０２、９０４〜９０６ 遮蔽領域（第一被補完領域）
３０４ 遮蔽領域（第二被補完領域）
５０１、５０２、６０４、６０５、７０１、７０３ 画角
８０１ 遮蔽領域設定部（決定部）
９０１、９０２、９０３ フレーム画像（動画像）

Claims (11)

1. 第一撮像部で撮像された動画像における第一静止領域に基づいて、当該第一撮像部で撮像された第一画像の第一被補完領域を決定する決定部と、
   前記第一被補完領域内の各画素を、第二撮像部で撮像された第二画像における、当該画素に対応する第一補完用画素によって補完する補完部と、を備えていることを特徴とする画像処理装置。
2. 前記第一撮像部および前記第二撮像部はステレオカメラを構成していることを特徴とする請求項１に記載の画像処理装置。
3. 前記決定部は、前記第一静止領域が複数の領域に分かれている場合、当該動画像の画像端に近い領域を、前記第一被補完領域として決定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補完部は、さらに、前記第一画像における前記第一被補完領域に隣接する隣接領域内の各画素を、当該画素、および、前記第二画像における、当該画素に対応する画素の両方に基づいて補正することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記補完部が補完した前記第一画像の一部を切り出して出力する出力部を備えていることを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
6. 前記決定部は、さらに、前記第二撮像部で撮像された動画像における第二静止領域に基づいて、前記第二画像の第二被補完領域を決定し、
   前記補完部は、さらに、前記第二被補完領域内の各画素を、前記第一画像における、当該画素に対応する第二補完用画素によって補完することを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
7. 前記決定部は、前記第一静止領域および前記第二静止領域に共通する領域を、前記第一被補完領域および前記第二被補完領域から排除することを特徴とする請求項６に記載の画像処理装置。
8. 請求項１〜７の何れか一項に記載の画像処理装置と、前記第一撮像部および前記第二撮像部をさらに備えていることを特徴とする撮像装置。
9. 画像処理装置が、第一撮像部で撮像された動画像における第一静止領域に基づいて、当該第一撮像部で撮像された第一画像の第一被補完領域を決定する決定工程と、
   前記画像処理装置が、前記第一被補完領域内の各画素を、第二撮像部で撮像された第二画像における、当該画素に対応する第一補完用画素によって補完する補完工程と、を包含することを特徴とする画像処理装置の制御方法。
10. 請求項１〜７の何れか一項に記載の画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、前記決定部および前記補完部として前記コンピュータを機能させるための画像処理プログラム。
11. 請求項１０に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images