JP6038489B2 - 画像処理装置 - Google Patents

Description

本発明は、２つ以上の視差を有する画像からユーザの指定した被写体までの距離を取得し、上記被写体を画面上に実物大で表示可能な画像処理装置に関するものである。

現在、インターネットを利用した買い物のシステムを利用するユーザ数が増加しており、店舗に行かずに商品を手軽に購入することが可能となっている。このとき、実際の商品を確認することなく、表示装置に表示された商品の画像や提供されたデータから判断するため、実際の商品の大きさが認識しにくいことが問題となっている。これは、撮影時のカメラと商品の位置、角度の関係によって画面内での商品の占める割合が異なり、表示時にはどのような位置関係で撮影されたものであるのか判別ができないことや、表示装置の大きさによって実際に表示される大きさが異なるため、画像から実際の寸法を認識することが難しい。そのため、実際の寸法で表示する実物大表示を行う技術がある。

特許文献１には、２つの平行に配置されたカメラからの視差を有する画像の視差量に基づいて被写体までの距離を算出し、該算出した距離と上記２つのカメラの画角情報を用いて実物大で表示されるように処理する技術が記載されている。
特許文献２には、撮像装置で撮影をする際に被写体までの距離を取得し、その被写体距離情報や垂直方向／水平方向の画角情報を画像データに埋め込み、表示装置は、画像データ中の上記被写体距離情報及び画角情報法に基づいて画面サイズに応じた実物大表示を行うことが記載されている。

特開２０００−２２４６１２号公報 特開２０１０−７８６７７号公

しかしながら、特許文献１では、複数の被写体が撮影された場合にどの被写体の距離を検出し実物大で表示させるかを指定することができない。また、被写体の視差によって距離を算出する際に、視差算出には視差を有する画像間でマッチングをとり、画素の平均２乗誤差の最小値を視差とするが、特徴の少ない領域では誤差の大きな要因となるため、被写体領域に対してマッチングする際に被写体によっては距離精度が低下する課題があるが、そのような被写体領域の選択方法に関しては述べられていない。また、映像データをそのまま転送し処理しており、記録された画像データに関しての記載がされておらず、記録後の画像データを用いて被写体までの距離を検出し、実物大で表示させる際には問題となる。

また、特許文献２では標準化されたフォーマットを使用し、データの転送など既存のシステムを使うことが可能であるが、被写体距離情報が付加された画像データを用いてでのみ処理が可能であるため、撮影時に被写体距離情報を取得する必要がある。そのため、例えば撮像装置に距離計測のための装置や機能が必要になる問題がある。また、被写体距離情報はどの被写体に対しての距離情報であるのか判別ができないことや、複数の被写体が存在する場合にはユーザの求める被写体に対しての実物大表示ができるとは限らないという問題がある。また、実際には被写体には厚みがあるが、被写体の前面側か背面側かのどの奥行き部分を基準としてディスプレイ面に実物大として表示するのか指定ができず、例えば奥側の部分を基準とした実物大表示をユーザが見たいと思ってもファイル中に記録された被写体距離情報が被写体の前面を基準とした値であれば、そのような奥側を基準とした表示にすることができない。

本発明は、上述の実情を鑑みてなされたもので、既存の撮像装置で撮影された画像やフォーマットを用いることが可能であり、実物大表示等のためには、２つ以上の視差を有する画像から精度よく被写体までの距離を算出することができる画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明の第１の技術手段は、２つ以上の視差を有する画像の画像データとその付属情報を用いて、前記視差を有する画像のうちの１を表示し、該画像内のユーザ指定された被写体までの距離を検出する画像処理装置であって、ユーザから前記被写体を含む領域の指定が入力されるユーザ入力部と、前記指定された領域におけるエッジ領域を検出するエッジ領域抽出部と、前記エッジ領域上の視差値を算出する視差値算出部と、前記算出したエッジ領域上の視差値に基づいて被写体までの距離を算出する距離情報算出部とを有することを特徴としたものである。

本発明の第２の技術手段は、第１の技術手段において、前記距離情報算出部によって算出された被写体までの距離と、表示画面の大きさとから、該表示画面に前記被写体が実物大表示される画像を生成する画像変換部を有することを特徴としたものである。

本発明の第３の技術手段は、第１または第２の技術手段において、前記視差値算出部が、前記エッジ領域抽出部により抽出されたエッジ領域から前記視差を有する画像の視差の方向に対して４５度以上の角度をなすエッジ領域上の視差値を算出することを特徴としたものである。

本発明の第４の技術手段は、第１〜第３のいずれか１の技術手段において、前記視差値算出部が算出した前記エッジ領域上の視差値の分布を解析して被写体領域の視差値を判定し、該被写体領域の視差値から代表視差値を取得する視差値解析部を有し、前記距離情報算出部が、前記代表視差値に基づいて前記被写体までの距離を算出することを特徴としたものである。

本発明の第５の技術手段は、第４の技術手段において、前記代表視差値が、前記被写体領域中の前面領域の視差値であることを特徴としたものである。

本発明の第６の技術手段は、第４の技術手段において、前記代表視差値が、前記被写体領域中の視差値の平均値であることを特徴としたものである。

本発明によれば、実物大表示等のために距離情報を算出する領域をユーザが指定可能であり、複数の被写体が撮影された画像であっても指定された領域に対してエッジ情報を利用した視差算出をすることで、被写体の厚みも考慮した距離情報を取得できる。したがって、精度の良い実物大表示等を行うことができる。また、従来の立体撮像装置や標準化されたフォーマットを扱うことが可能であり、コスト増を抑えることができる。

本発明に関わる立体画像撮像装置の概略構成例を示すブロック図である。 本発明にて扱われる画像ファイルのファイル構成例を説明する図である。 本発明の画像処理装置の構成例を示した概略ブロック図である。 図３の画像処理部の構成例を示した概略ブロック図である。 本発明において視差算出に用いられるブロックマッチング法について説明する図である。

以下、本発明に係わる画像処理装置について図面を参照しながら説明する。
本発明の画像処理装置は、立体画像撮影装置で撮影された２つ以上の視差を有する画像を記録した画像ファイルを用いることができる。ここでまず、画像処理装置の説明の前に、立体画像撮像装置と画像ファイルについて説明する。

本例において、立体画像撮像装置は既存のものであり、画像ファイルには標準化されたファイルフォーマットで記録されたものを用いた場合で説明する。
図１は、立体画像撮像装置（以下、撮像装置）１００の概略構成を示すブロック図である。
図の撮像装置１００は、立体画像を撮影するもので、撮像部１０１と画像記録部１０２から構成される。

撮像部１０１は、２組のレンズ、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）のセンサから構成される撮像モジュールとそれらを制御する制御部、メモリなどから構成され、ユーザによって撮影されたそれぞれの画像データと撮影時の設定情報である撮影情報を画像記録部１０２へ出力する。
画像記録部１０２は、画像処理部１０３、符号化部１０４、付属情報生成部１０５、ファイル生成部１０６を備え、撮像部１０１から得られた画像データと撮影情報を画像ファイルとして記録する処理を行い、記録媒体への記録またはネットワークなどへの出力を行う。

撮像装置１００全体の動作に関して詳細に説明する。
撮像部１０１は平行に配置された２組の撮像モジュールを備え、視点位置の異なる画像データである画像１ａ、画像１ｂがそれぞれ生成される。ここで、画像１ａは被写体に向かって左側の撮像モジュールで撮影された画像であり、画像２ａは右側の撮像モジュールで撮影された画像であり、２つの画像は左右方向の視差を有する。撮像部１０１で生成された２つの画像データは画像処理部１０３へと出力される。また、このとき、撮影時の画角を示す、焦点距離情報などの撮影時の設定情報である撮影情報を付属情報生成部１０５へと出力する。

また、画像処理部１０３は、どのような処理を行ったかを示す情報を画像処理情報として付属情報生成部１０５に出力する。画像処理情報は例えば、画像のサイズ変更をした場合のサイズ情報などである。

符号化部１０４は画像処理部１０３から得られた画像１ｂ、画像２ｂの符号化を行う。符号化部１０４は、例えば、ＪＰＥＧ（Joint Photographic Experts Group）画像として圧縮する場合には、それぞれの画像データに対してＪＰＥＧ圧縮処理を行い、圧縮画像データを生成し、ビットマップなど非圧縮画像として記録する場合には、このような圧縮処理は行わずに目的のデータ形式に合わせて画像データを出力する。また、符号化部１０４はどのような符号化を行ったかを示す符号化情報を付属情報生成部１０５に出力する。本例では、画像１ｂ、画像２ｂのデータをＪＰＥＧ圧縮処理した画像１ｃ、画像２ｃが出力されるものとする。

付属情報生成部１０５では撮像部１０１と画像処理部１０３、符号化部１０４からそれぞれ得られた撮影情報、処理情報と符号化情報を基に、画像ファイルの付属情報として記録可能なように変換した付属情報を生成し、ファイル生成部１０６へと出力する。

次にファイル生成部１０６の処理に関して説明する。ファイル生成部１０６は、符号化部１０４とから入力された画像データ（画像１ｃ、画像２ｃ）と付属情報生成部１０５から付属情報とを関連付けて一つのファイルとして記録する。

ここで、ファイル構成に関して図２に示す。近年では立体撮像装置の記録フォーマットとしてＣＩＰＡ（一般社団法人カメラ映像機器工業会）規格であるＣＩＰＡ ＤＣ−００７ マルチピクチャーフォーマット（ＭＰＦ：Multi-Picture Format）を扱う機器が増えてきており、画像１ｃ、画像２ｃを該規格に沿った形で記録するものとする。図２では、画像１ｃ、画像２ｃはそれぞれＥｘｉｆ（Exchangeable Image File Format）で規定されるファイルフォーマット構成で連続して記録される。

画像１ｃ、画像２ｃはＪＰＥＧ圧縮して記録され、付属情報はヘッダ部分のＡＰＰ（アプリケーションマーカセグメント）にＥｘｉｆ規格やＭＰＦ規格に沿った形で記録される。なお、Ｅｘｉｆ付属情報はＡＰＰ１に記録され、ＭＰＦ付属情報はＡＰＰ２に記録される。Ｅｘｉｆ付属情報として、画像１ｃ、画像２ｃに関する撮像素子、撮像機器の情報や露光時間、Ｆナンバーなどの撮影条件や画像読み出しに関する情報が記録される。また、ＭＰＦ付属情報として、両画像の視点位置との関係を示す基線長や輻輳角情報、または立体、パノラマなど用途を識別する情報などが記録される。

また、先頭画像である画像１ｃのＭＰＦ付属情報には、ＭＰ Ｉｎｄｅｘ ＩＦＤによって画像２ｃの記録位置やサイズ、ＭＰＦ構造でいくつの画像が記録されているかを示す画像数に関する情報などの情報が記録される。
ここで各画像データの両端のＳＯＩ、ＥＯＩはそれぞれの画像の領域の開始と終了とを識別するための情報である。
本例では画像１ｃ、画像２ｃを上述した標準化されたＭＰＦで記録するものとしている。

上述のように構成されている撮像装置１００で生成された画像ファイルは、フラッシュメモリやハードディスクへ記録された形態で、またはネットワークを通じた形態で、立体画像撮像装置１００から画像処理装置へ出力される。

図３は、本発明の画像処理装置の構成例を示した概略ブロック図である。
図の画像処理装置２００は画像データ読み出し部２０１、画像処理部２０２、表示部２０３、ユーザ入力部２０４によって構成される。

画像データ読み出し部２０１は、画像ファイルを読み込み、ファイルのヘッダ部分に記録された情報から２つの視差を持った画像データである画像１、画像２と付属情報とに分離して画像処理部２０２へ出力する。画像データ読み出し部２０１は、例えば画像ファイルのヘッダ部分の管理情報からファイル形式の判別や付属情報、画像データ位置を判別し、２つのＪＰＥＧ画像データとＥｘｉｆ付属情報やＭＰフォーマット付属情報などを抽出する。この場合、ＭＰＦ形式のファイルフォーマットであることを識別し、ヘッダ領域のＥｘｉｆ付属情報から焦点距値や画像サイズなど個々の画像に係わる情報を抽出し、ＭＰフォーマット付属情報から左右画像データの先頭のアドレス（格納位置）を識別して、それぞれの画像データを分離する。分離された画像データと付属情報は画像処理部２０２へと入力される。
本例では上述したようにＭＰＦ形式の画像ファイルを用いた処理を行っているが、これに制限されることなく、画像のファイル構成は２つの視差を有する画像を左右方向や上下方向に並べて結合して１枚の画像とした構成でも構わない。その場合、例えばＥｘｉｆのＭａｋｅｒｎｏｔｅ内に画像ファイルの構成を示す情報を記録するなどファイルのヘッダ部分にデータ構成の識別情報を付加し、その情報から左右画像のデータ領域を判定して２つの画像データを抽出し、必要な付属情報を抽出すればよく、あとは本実施例と同様な処理をすればよい。

また、画像データ読み出し部２０１は、２つの視差を有する画像のうちの一つである画像１を表示部２０３に出力して表示させ、ユーザはその表示された画像を見ながらユーザ入力部２０４を通じて距離情報の取得や実物大表示を行いたい被写体を選択するための領域指定を行う。

なお、撮像装置から直接画像データとして受信する構成でもよい。例えば、ＨＤＭＩで接続して視差を有する画像をＨＤＭＩ規格に準じた映像データとして受信した場合には、同様に２つの視差を有する画像データと付属情報とを抽出して画像処理部２０２などへ出力する。

画像処理部２０２は、ユーザによって選択された被写体や領域の距離の算出や、その算出した距離情報と、表示部２０３の表示画面の大きさを示す表示サイズ情報とから、表示部２０３で表示した場合にユーザの選択した被写体が実物大サイズとなるような画像１’を生成する。画像処理部２０２の詳細な構成や動作は後で説明する。

表示部２０３は、例えば液晶パネルなどから構成され、画像データ読み出し部２０１によって出力された画像や画像処理部２０２によって生成された画像を表示する。また、表示部２０３は、ユーザが指定した領域を明示するように、例えば指定された領域や被写体がハイライトされるなど画像上に選択領域を重畳して表示させる。

ユーザ入力部２０４はユーザによって画像上の点や領域を指定するためのものであり、指定された画像上の座標などの指定領域情報を画像処理部２０２へと出力する。ユーザ入力部２０４は、例えばマウスで構成され、マウスで選択することでマウスポインタの位置情報が出力される。また、表示部２０３と一体型のものとしてタッチパネル液晶で構成され、ユーザが画像上の領域を指で指定するものでも構わない。

ユーザが実物大表示する被写体を指定する時の指定方法は、ユーザが対象の被写体を囲むように領域を指定する。例えば、被写体を中心に対角の２点を選択し、その四角形の領域を指定領域とする。また、４点やそれ以上の点（座標）を指定し、選択した点で囲まれる領域をユーザの指定領域情報とし、この領域に被写体がほぼ入るように選択してもらうようにする。このとき、選択時の点や選択領域は目で見て分かりやすくするために画像上に重畳して表示するのが望ましい。領域の選択の際には被写体全体が含まれるように選択することが望ましいが、それに制約されず、領域中の被写体の占める割合がある程度あれば被写体領域が選択領域からはみ出していても構わない。また、領域の選択は被写体内部のエッジ成分のある領域や周辺の輪郭部分などが含まれるように指定することが望ましい。このようにして選択された画像上の領域はユーザ指定領域情報として画像処理部２０２へと出力される。

ここで、画像処理部２０２に関して詳細に説明する。
図４は図３の画像処理部２０２の構成例を示した概略ブロック図を示している。画像処理部２０２はエッジ領域抽出部２１０、視差値算出部２１１、視差値解析部２１２、カメラパラメータ取得部２１３、距離情報算出部２１４、画像変換部２１５から構成される。

エッジ領域抽出部２１０は、ユーザ入力部２０４からのユーザ指定領域情報と画像データ読み出し部２０１から入力された画像１とから、表示部２０３に表示中の画像であってユーザによって指定された領域の画像領域についてエッジ検出を行い、そのエッジの領域を抽出し、エッジ情報として出力する。エッジ情報は座標値を示した情報でも構わないし、エッジ部分のみを抽出した画像データでも構わない。例えば、エッジ部分を２値化した画像データでもよい。

視差値算出部２１１はユーザ指定領域情報に対応した視差値を算出する。例えば、画像１上でのある点における対応点を画像２上から判定し、そのずれ量を求めてこのずれ量を視差値とする。対応点とは左右画像すなわち視差を有する画像に写る被写体上の同じ特徴点を示し、撮影時の撮像モジュールの位置が異なるため左右画像で同じ特徴点が異なった座標位置に現れる。本例では２つの画像は平行配置された撮像モジュールによって撮影された画像であるものとする。これは、視差算出パラメータから輻輳角０、つまり平行配置であるとの情報によって判定して次に記載する視差値算出処理を行う。ここで、本処理における視差算出に関して概要を説明する。

本例の視差算出はブロックマッチング法を用い、ブロック単位での類似度により２つの画像間で同じ被写体の特徴点位置を検出し、そのずれ量（視差）を検出する。この特徴点に係る画像１、画像２中の２つの点を対応点と呼ぶ。対応点の探索を行うために評価関数としてＳＡＤ（Sum of Absolute Difference）を用いる。ＳＡＤでは画像１、画像２のそれぞれで注目画素を中心にウィンドウを設定し、設定したウィンドウ間の各画素の輝度の差を求め、その各画素間から得られた輝度の差の和を算出する。同様な処理を画像２側の注目画素を変えながら行い、値が最も小さい注目画素が対応点であるとする。

ここで、上述の処理内容を具体的に説明する。図５（Ａ）には被写体Ｘを水平方向に視点の異なる位置から撮影した場合の概要図を示している。左視点から撮影された画像は画像１であり、右視点から撮影された画像は画像２になる。このとき、撮影された画像を図５（Ｂ）に示している。図５（Ｂ）では視点位置が異なることで、被写体Ｘの位置がそれぞれの画像で異なる位置に存在することが分かる。

画像１を基準に視差を算出する場合において被写体Ｘの一つの頂点を特徴点とした際のブロックマッチングの説明をする。図５（Ｃ）に示すように、この特徴点が画像１上の画素ａに存在するとした場合に、画素ａを中心とした３×３の大きさのウィンドウＭ１を設定する。次に、画像２において画素ａと同一の位置にある画素ａ’０を探索開始点として設定し、３×３のウィンドウＭ２を設定する。次に設定したウィンドウ間の各画素の輝度の差を求め、その各画素間から得られた輝度の差の和を算出する。例えば、図７（Ｄ）のように、それぞれの設定したウィンドウの画素の値をＸ１〜Ｘ９、Ｘ’１〜Ｘ‘９とすると、以下のような計算を行いＳＡＤ値を求める。

平行配置されたカメラで撮影された視差を有する画像は無限遠が視差０であり、近くの被写体になるほど視差が付く。このとき、画像１を基準として画像２が右視点の場合には、画像２上の特徴点が左側に移動する。そこで、探索方向を左側として画素ａ’０から左方向に注目画素を変更していき、上述したＳＡＤ値を順次求め、得られたＳＡＤ値の中で最小値をとる注目画素を対応点とする。この場合、対応点である画像２上の画素ａ’１が最も値が小さい結果となった。

本例では基準画像は画像１であり、画像１と画像２のサイズは１９２０×１０８０、ウィンドウサイズは注目画素を中心に１５×１５として設定して視差算出を行っている。なお、ここでは上記のように画像やブロックサイズを設定したが、これに限定されるものではなく精度や処理量を考慮し、適宜設定すればよい。また、本実施例ではＳＡＤを用いたブロックマッチングによって求めたが、他の評価関数を用いたブロックマッチングや特徴点を検出し、その特徴量（類似性）で対応点を求める特徴点マッチングなど他の手法でも構わない。

このようにして画像１上の各点に対応する対応点を画像２から求めるが、このときの画像１上の点はエッジ情報を基準としたものとし、エッジ領域抽出部２１０から得られたエッジ情報に含まれる画素に対して行うことで指定領域に対するエッジ部分の視差値を取得する。これは、対応点を検出する際にあまり特徴のない領域は隣接領域との差分が検出しにくく、エラーが出やすくなるためである。つまり、エッジ上の画素であれば比較的精度よく視差を算出することが可能であり、エラーの出やすい領域をなくすことで誤差の要因を低減することができる。例えば、ユーザが被写体領域の１点を選択して視差を算出するシステムとした場合、選択した点が特徴量の少ない画素であればうまく対応点が検出できない場合があり、大きな誤差となる。このように、被写体を含むような領域を選択し、その領域のエッジに対して視差算出することで精度よく被写体に対する視差情報を取得することができる。また、エッジ上の視差は２つの撮像モジュールの配置方向に対して垂直な方向に強いエッジ成分を有する画素の視差を取得するのが望ましい。これは、視差算出の際には２つの撮像モジュールの配置方向に対応点を探索して視差を検出するため、２つの撮像モジュールの配置方向と同じ方向に一致するエッジ上の画素は隣接画素との見分けがつけにくく、視差算出の誤差が大きくなる可能性があるためである。逆に撮像モジュールの配置方向に垂直な成分が強い場合には、隣接画素との違いを識別し易くなるため、算出された視差の精度がよくなる。このように、撮像モジュールの配置方向と垂直方向に強いエッジ成分を有する画素を優先的に選択し、撮像モジュールの配置方向に一致するエッジ成分が強い画素を除外するなど行い、エッジ方向と撮像モジュールの配置方向を考慮してエッジ上の領域（画素）を選定して視差を算出することで視差値の精度を向上させることができる。このように視差値の精度を向上することで、後述する距離情報算出部２１４にて被写体までの距離をより正確に取得することができる。撮像モジュールの配置方向にほぼ一致する方向のエッジを有する画素を除外することで精度の向上が可能であるが、さらに誤差の要因を低減させるために、例えば、撮像モジュールの配置方向に対してエッジの方向が４５度以上の角度のあるエッジを抽出し、そのエッジ上の視差を算出するのが望ましい。また、上記の撮像モジュールの配置方向は視差を有する画像の視差の方向と一致している。撮像モジュールの配置方向を取得するためには画像ファイルの付属情報の撮影時の撮像モジュールの配置情報に関するタグから取得するのでもよいし、２つの視差を有する画像から対応点の位置を検出し、その位置関係から取得するのでもよく、取得方法に制約はないものとする。このようにして得られたエッジ上の視差情報は視差値解析部２１２に出力される。

視差値解析部２１２は得られたエッジ上の視差値から被写体の視差値の抽出を行う。被写体の視差値は視差値算出部２１１によって算出されたエッジ上の視差値の分布を解析することで取得する。視差算出は被写体を含む指定領域のエッジ上の画素に対して行っており、統計をとることで被写体と背景の視差を分類することができる。つまり、被写体と背景領域が含まれる状態で領域が指定されたとした場合、指定領域のエッジ上の視差値の分布を解析すると、被写体領域の視差値はある程度近い視差範囲で分布し、背景領域の視差分布に比べて視差値の大きなところに分布する。つまり、連続的又は近い視差範囲にかたまった分布が２つ以上存し、そのうち視差値の大きな方の視差分布のかたまりが被写体領域の視差分布に該当する。これは通常、被写体は手前側（撮像装置側）に配置しているので背景の視差分布に対して大きな値をもつことから、被写体領域の視差値の分布とみなすことができる。例えば、ある指定領域内のエッジ上の視差値の分布を解析した際に、０〜１７と１３５〜１６５に視差値をもつ画素が多く検出されたとすると視差値の小さな範囲０〜１７が背景領域の視差範囲であり、１３５〜１６５が被写体領域の視差範囲となる。またこのとき、被写体は厚みをもつが、被写体領域の視差分布の幅を検出することで厚みも判定することができる。上記の場合であれば、被写体の視差範囲が１３５〜１６５と検出できたので、これが被写体の厚みに該当する。
本例では視差値の分布から被写体領域と背景領域を分離して検出したが、これに制限されることなく、画像から被写体領域を検出し、その領域のエッジ上の視差値を取得するのでもよい。この場合も、得られた被写体の視差値の分布を解析することで被写体の厚みを判定することができる。

このようにして得られた被写体領域の視差分布から代表視差情報を求める。代表視差情報とは被写体全体を一つの視差値で表した場合の視差値であり、例えば、被写体前面を基準とする場合であるなら前面部分の視差値を代表視差値とし、前面までの距離や実物大表示時に前面部分を基準とした実物大表示とすることができる。本例では上記のように被写体の前面部分の視差値、つまりは被写体視差分布のうち値の大きな視差値を代表視差値とするが、これに制限されるものではなく、代表視差値は例えば被写体領域の視差値の平均値としたり、被写体の背面部分の視差値としたり、ユーザによって指定させたりするなど用途に応じて選択するものでもよい。このようにして検出された被写体の代表視差情報は距離情報算出部２１４へと出力される。

カメラパラメータ取得部２１３は、画像データ読み出し部２０１からの付属情報に基づいてカメラの外部パラメータや内部パラメータを取得する。
ここで、カメラの外部パラメータとは２つの画像がどのような配置の撮像モジュールによって撮影されたかを示す情報であり、例えば２つの撮像モジュール間の距離である基線長や撮像モジュールの光軸の相対的角度を示す輻輳角などがある。ＭＰＦの場合、輻輳角は平行配置であれば０が記録されている。
また、カメラの内部パラメータとは、撮影時の焦点距離やセンサの画素ピッチなどである。
カメラパラメータ取得部２１３ではこのような２つの画像が平行配置か輻輳がある状態で撮影されたのかの情報や焦点距離などの情報を距離情報算出部２１４へ距離算出パラメータとして出力する。

距離情報算出部２１４は、視差値解析部２１２によって算出された代表視差情報とカメラパラメータ取得部２１３からの距離算出パラメータとに基づいて、被写体までの距離情報を算出する。ここでの距離情報は撮影時の実空間における撮像装置から被写体までの距離である。ここで、代表視差値をＤ、焦点距離をｆ、基線長をＢ、センサすなわち撮像素子の画素ピッチをＰとすると、被写体までの実空間上の距離Ｚは下記のように表すことができる。
Ｚ＝（Ｂ×ｆ）／（Ｄ×Ｐ）

このようにして算出された被写体までの距離情報Ｚは画像変換部２１５へと出力される。
画像変換部２１５は、入力された距離情報を画像に重畳した画像を生成したり、表示サイズ情報から表示部に表示された際に被写体が実物大の大きさとなるような画像へ変換したりする。実物大の大きさとなるような画像は、例えば、距離情報から距離Ｚにおける画像１の１画素に対応する大きさと、表示サイズ情報から得られるディスプレイの画素サイズとの比率を拡大率として設定し、被写体を中心に画像をその拡大率分だけ拡大・縮小処理を実行して実物大表示用画像（画像１’）を生成する。ディスプレイの画素サイズは表示サイズ情報としての画面の縦又は横の長さとそれに対応する画素数から求めるものでも構わない。

距離Ｚにおける画像１の１画素に対応する大きさとはセンサ上の１画素が距離Ｚの平面上に投影されたものとみなせるので、その大きさはＺ＊Ｐ／ｆと示せる。本例ではこの値とディスプレイの画素サイズとの比率を拡大率としている。

実物大画像生成処理では画像１全体を実物大表示画像へ拡大・縮小処理するのでもよいし、さらに実物大表示の対象となっている領域がわかるように対象領域をハイライト表示するなど明示するのが望ましい。例えば、被写体領域を枠で囲って表示したり、被写体領域外の領域の輝度を下げて暗くし、被写体領域を明示するのでもよい。複数の被写体の配置された画像ではどの被写体が実物大であるのか、また同一の被写体であってもどの部分を基準に実物大表示としているのか分かりづらいが、対象領域を明示することで実物大となっている部分が視認しやすくなる。また、上記ではハイライト表示の例を示したが、被写体領域を切り出して実物大表示画像へ拡大・縮小処理するのでもよい。単純に全体を拡大、縮小処理した場合では指定した被写体とは異なる距離範囲に配置される被写体も同様に拡大・縮小されるため、複数の被写体の配置された画像では違和感のある表示となる場合があるが、同じ距離範囲の被写体領域だけ切り出して拡大・縮小処理すれば視認しやすくなる。また、被写体が正対していない場合に、被写体と正対するように射影変換処理するなど、視点位置が変わるような処理を行い、正対した面を実物大のサイズで表示するのでもよい。この場合、被写体の正面から見た画像が実物大で表示されるため、被写体の大きさが分かりやすくなる。このようにして生成された実物大表示画像データである画像１’は表示部２０３に出力される。表示部２０３ではユーザの指定した被写体が実物大表示で表示される。

このように、ユーザが被写体が含まれるように領域を設定し、そのエッジ情報を基にした視差算出と距離情報への変換を行うことで、精度よく被写体までの距離算出が行え、その結果、実際の被写体と同じ寸法で表示される実物大表示が可能となる。これらは既存の立体撮像装置で撮影された画像ファイルであっても処理することが可能であり、画像が複数の被写体を含む場合であっても任意の被写体の実物大表示画像を得ることができる。

１００…立体画像撮像装置、１０１…撮像部、１０２…画像記録部、１０３…画像処理部、１０４…符号化部、１０５…付属情報生成部、１０６…ファイル生成部、２０１…画像データ読み出し部、２０２…画像処理部、２０３…表示部、２０４…ユーザ入力部、２１０…エッジ領域抽出部、２１１…視差値算出部、２１２…視差値解析部、２１３…カメラパラメータ取得部、２１４…距離情報算出部、２１５…画像変換部。

Claims (8)

1. 視差を有する２つ以上の画像の画像データを用いて、前記２つ以上の画像のうちの１を表示し、該画像内の被写体までの距離を算出する画像処理装置であって、
   前記表示された画像上のユーザが指定した領域をユーザ指定領域として受け付けるユーザ入力部と、
   前記ユーザ指定領域に含まれる被写体の視差値を算出する視差値算出部と、
   前記視差値に基づいて前記被写体までの距離を算出する距離情報算出部と、
   を有し、
   前記距離情報算出部は、前記ユーザ指定領域に含まれる被写体以外の領域の視差値を、前記被写体までの距離の算出に用いない
   ことを特徴とする画像処理装置。
2. 前記距離情報算出部によって算出された被写体までの距離と、表示画面の大きさとから、該表示画面に前記被写体が実物大表示される画像を生成する画像変換部を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記ユーザ指定領域におけるエッジ領域を検出するエッジ領域抽出部をさらに有し、
   前記視差値算出部は、前記エッジ領域上の視差値を算出する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記視差値算出部は、前記エッジ領域抽出部により抽出されたエッジ領域から前記視差
   を有する２つ以上の画像の視差の方向に対して４５度以上の角度をなすエッジ領域上の視差値を算出することを特徴とした請求項３に記載の画像処理装置。
5. 前記視差値算出部が算出した前記エッジ領域上の視差値の分布を解析して、他の領域の視差値と比べて視差値が大きい領域を被写体領域として検出する視差値解析部をさらに有する
   ことを特徴とする請求項３または４に記載の画像処理装置。
6. 前記視差値解析部は、前記被写体領域の視差値を判定し、該被写体領域の視差値から代表視差値を取得し、
   前記距離情報算出部は、前記代表視差値に基づいて前記被写体までの距離を算出することを特徴とする請求項５に記載の画像処理装置。
7. 前記代表視差値は、前記被写体領域中の前面領域の視差値であることを特徴とする請求項６に記載の画像処理装置。
8. 前記代表視差値は、前記被写体領域中の視差値の平均値であることを特徴とする請求項６に記載の画像処理装置。

Images