JP6113411B2 - 画像処理装置 - Google Patents

Description

本発明は、立体画像を生成する画像処理装置に関する。

複数の撮像手段を備えた複眼撮像装置が知られている。複眼撮像装置は、複数の撮像手段において撮像された画像を処理することで、立体画像撮影やパノラマ撮影のような高機能撮像を実現している。立体画像を立体画像表示装置で視聴するときには、左眼には左眼用画像を、右眼には右眼用画像を、それぞれ表示させることで立体視が可能である。このような立体視は、同一の被写体を異なる位置から撮像した複数の画像間に含まれる視差を利用して立体表示することにより行うことができる。

このような複眼撮像装置において、撮像した２視点画像を立体画像表示装置で視聴すると、実風景と比較して、背景−被写体間の間隔が狭く感じられたり、被写体に厚みがないように知覚されたりすることがある。これは、撮像時及び表示時に生じる立体画像特有の空間の歪みであり、視聴者が立体画像を視聴する際に感じる違和感の原因の一つとなっている。この立体画像特有の歪みを定量化するために、撮像時と表示時のパラメータを用いる方法がある。特許文献１によれば、立体画像を生成するシステムをシンプルに構成できると共に、左右画像を撮像する際に手間をかけることなく、幾何学的な空間歪みによる不自然さを確認することができるとされている。

特開２００５−２６７５６号公報

しかしながら、特許文献１では幾何学的な空間歪みを確認できるものの、具体的に空間歪みを補正する方法までは開示されていなかった。また、空間歪みを補正することで、背景−被写体間の間隔が拡大するため、被写体の厚みのなさがより強調されるという問題があった。

本発明は上記の課題を鑑みて発明されたものであり、立体画像の撮像及び表示時に発生する空間歪みを補正することができ、立体感のある高画質な画像を得ることができる画像処理装置を得ることを目的とするものである。

本発明は上述した課題を解決するために、以下の技術手段を備えている。
本発明の第１の技術手段は、立体画像から算出した視差情報を取得する情報取得部と、前記立体画像の視差を変換する画像処理部と、を備える画像処理装置であって、前記視差情報の隣接視差の差が所定の範囲内であるとき、前記画像処理部は、前記立体画像の視差を変換した後、前記隣接視差の差が拡大しているときは、前記隣接視差との差が小さくなるように視差を補間することを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記画像処理部における前記変換は、前記立体画像の視差を圧縮、または、拡大する変換であることを特徴としたものである。

第３の技術手段は、第２の技術手段において、前記情報取得部は、更に立体画像を撮像した撮像条件情報と前記立体画像を表示する表示部の表示条件情報とを取得し、前記画像処理部は、前記撮像条件情報と前記表示条件情報とに基づいて、前記立体画像の視差を変換することを特徴としたものである。

第４の技術手段は、第３の技術手段において、前記画像処理部は、前記撮像条件情報が有するカメラ間隔より、前記表示条件情報が有する両眼間隔が大きいときと、前記カメラ間隔より前記両眼間隔が小さいときとで視差を変換する方向を反対にすることを特徴としたものである。

第５の技術手段は、第３または第４の技術手段において、前記所定の範囲を、前記撮像条件情報、前記表示条件情報、及び前記視差情報とに基づいて算出された視差と、入力視差との間とすることを特徴としたものである。

第６の技術手段は、第５の技術手段において、前記視差変換により出力される視差は、前記撮像条件情報、前記表示条件情報、及び前記視差情報に基づいて算出された視差と、入力視差とで表される範囲内に収めることを特徴としたものである。

第７の技術手段は、第６の技術手段において、前記画像処理部は、前記撮像条件情報から算出できる輻輳点までの距離の被写体を視差０に近づけることを特徴としたものである。

本発明によれば、立体画像の撮像及び表示時に発生する空間歪みを補正し、立体感のある高画質な画像を得ることができる。

本発明による画像処理装置を用いた画像表示装置の第１実施形態を示す図である。 立体画像を撮像したときの撮像条件を説明する図である。 立体画像を視聴するときの表示条件を表す図である。 立体画像を構成する左眼用画像と、その左眼用画像に対応する視差情報を表した図である。 図４の立体画像を撮像したときの撮像距離Ｌｂと、立体画像を立体画像表示装置で視聴したときの知覚距離Ｌｄを表した図である。 立体画像を視聴するときに、知覚距離Ｌｄが視距離Ｌｓよりも長くなり、ディスプレイ面よりも奥側に立体画像が知覚される状態を説明する図である。 撮像距離Ｌｂと知覚距離Ｌｄの関係を説明する図である。 視差変換テーブルを説明する図である。 入力視差と視差変換テーブルにより変換された出力視差との関係を示す図である。 視差情報に被写体構造補正部を適用した例を示す図である。 被写体構造補正処理の様子を説明する図である。 被写体構造補正処理の様子を説明する他の図である。 被写体構造補正処理の画素変換の様子を説明する図である。 知覚位置調整を行ったときの撮像距離Ｌｂと知覚距離Ｌｄの関係を表す図である。 知覚位置調整を行ったときの撮像距離Ｌｂと知覚距離Ｌｄの関係を表す他の図である。 知覚位置調整を行ったときの撮像距離Ｌｂと知覚距離Ｌｄの関係を表す更に他の図である。 入力視差と視差変換テーブルにより変換された出力視差との関係を示す図である。 本発明による画像処理装置を用いた画像撮像装置の実施形態を示す図である。 撮像部の輻輳角を説明する図である。 輻輳点位置の被写体がディスプレイ面に知覚されるときの撮像距離と知覚距離Ｌｄの関係を説明する図である。 本発明による画像処理装置を用いた画像表示装置の第４実施形態を示す図である。 実施形態１から３の視差変換では、主要被写体が前景に存在する場合、十分な立体感が得られないことを説明する図である。 視差変換後の知覚距離が所定の範囲内に収まっていることを表す図である。 主要被写体の位置が特定できている場合の視差変換方法を説明する図である。 主要被写体の位置が特定できている場合に、重みづけのパラメータを調整することで主要被写体より後ろにある被写体の立体感を変化できることを表す図である。

以下、図面を用いて本発明を詳細に説明する。なお、各図における構成は、理解しやすいように誇張して記載しており、実際の間隔や大きさとは異なる。
（実施形態１）
図１は本発明による画像処理装置を用いた画像表示装置の第１実施形態を示す図である。本実施形態の画像表示装置１は、記憶部１０、情報取得部２０、画像処理部３０および表示部４０より構成される。また、情報取得部２０と画像処理部３０は、本発明の画像処理装置に相当するものである。
記憶部１０は、立体画像およびその立体画像が撮像されたときの撮像条件情報が保存されたハードディスク装置やメモリーカード等の記録媒体によって構成されている。情報取得部２０は、記憶部１０から立体画像およびその立体画像に付随する撮像条件情報を取得する。
画像処理部３０は、情報取得部２０が取得した立体画像に対して画像処理を行う。表示部４０は、画像処理部３０からの立体画像を取得し、後述する立体画像表示方式で表示する。

次に、情報取得部２０と画像処理部３０をより詳細に説明する。
本実施形態の情報取得部２０は、立体画像取得部２１、視差情報取得部２２、撮像条件取得部２３および表示条件保持部２４によって構成されている。
立体画像取得部２１は、記憶部１０から立体画像を取得し、その立体画像を画像処理部３０へ送る。視差情報取得部２２は、記憶部１０から立体画像を取得し、画素などの所定の単位ごとの視差を検出し、その視差を画素単位で表す視差情報を生成する。ここでは、立体画像を構成する左眼用画像と右眼用画像のうち、左眼用画像を基準として視差算出を行う。すなわち、左眼用画像に対応した視差情報を算出するということである。視差情報取得部２２は、算出した視差情報を画像処理部３０へ送る。

撮像条件取得部２３は、記憶部１０から立体画像に対応する撮像条件情報を取得し、画像処理部３０へ送る。
図２は、立体画像を撮像したときの撮像条件情報を説明する図である。撮像条件を表す情報は、カメラ間隔ｄｃと、カメラ焦点距離ｄｆと、カメラ画素ピッチＰｃである。カメラ間隔ｄｃとは、２視点の画像を撮像したとき、１視点目の画像を撮像した位置ｐ１と、２視点目の画像を撮像した位置ｐ２との間の距離のことである。２台のカメラを用いた場合は、カメラ間の距離となる。１台のカメラを水平方向にスライドさせて撮像した場合は、カメラの移動量がカメラ間隔ｄｃとなる。このカメラの移動量は図示されないセンサから入力されてもよいし、撮像画像中の自然特徴量から算出してもよい。

カメラ焦点距離ｄｆとは、カメラの撮像素子とレンズ間の距離のことであり、単焦点レンズの場合は固定値となる。ズームレンズの場合は、ズーム倍率により焦点距離が変わるため、図示しないセンサから焦点距離ｄｆを取得する。画素ピッチＰｃとは、カメラの受光素子の精細さを表す指標で、隣り合う画素間の距離のことである。カメラ画素ピッチは画素数と撮像素子のサイズから計算でき、１つの撮像素子に固有の値である。

図１の表示条件保持部２４は、保持している表示条件情報を、画像処理部３０へ送る。この表示条件情報は予め設定されていてもよいし、ユーザ入力により設定されたり、図示しない検出装置により検出されたりしてもよい。検出装置により検出すると、様々な表示装置に対して自動で本発明を適用できるようになるため好適である。

図３は立体画像を視聴するときの表示条件を表す図である。表示条件を表す情報は、視距離Ｌｓと、両眼間隔ｄｅ、ディスプレイ画素ピッチＰｄである。視距離Ｌｓは、視聴者とディスプレイ面Ｄとの距離のことである。視距離Ｌｓにはディスプレイを見るときの標準的な距離を割り当てることができ、例えばディスプレイサイズの高さの３倍にしてもよいし、図示しないディスプレイに搭載されたカメラを用いて視聴者の顔を認識し、視聴者の顔の大きさから、視距離を設定してもよい。

両眼感覚ｄｅは、視聴者の左眼ｅ１と右眼ｅ２間の距離のことである。両眼間隔ｄｅは、一般的な子供の左眼と右眼間の距離である５０ｍｍに設定してもよいし、一般的な大人の両眼距離である６５ｍｍに設定してもよいし、表示装置に搭載された図示しないカメラを用いて視聴者の眼を認識し、視聴者の左眼と右眼の長さを測定した結果を用いてもよい。
ディスプレイ画素ピッチＰｄとは、ディスプレイ上の隣り合う画素間の距離のことである。ディスプレイ画素ピッチＰｄは解像度とディスプレイサイズから計算でき、１つのディスプレイに固有の値である。なお、撮像条件情報及び表示条件情報は、長さを表す単位、例えばミリメートルで表されているものとする。

画像処理部３０は、上述した情報取得部２０から情報を取得し、立体画像に処理を施す。画像処理部３０は、撮像条件情報と表示条件情報に基づいて、入力される立体画像の知覚位置の歪みを補正することを特徴とする。
ここで知覚位置の歪みについて、図４と５を用いて詳しく説明する。図４は、立体画像を構成する左眼用画像と右眼用画像のうち、左眼用画像（図４（Ａ））とその左眼用画像に対応する視差情報を表した図（図４（Ｂ））である。次に、図５は図４の立体画像を撮像したときの撮像距離Ｌｂ（図５（Ａ））と、立体画像を立体画像表示装置で視聴したときの知覚距離Ｌｄ（図５（Ｂ））を表した図である。

図４の立体画像は、視差０の値が無限遠となるように、視差Ｈｃピクセルだけ左眼用画像を左側へ平行移動させる。つまり、視差Ｈｃを有する被写体が視差０、すなわちディスプレイ面に知覚されることとなる。ここで撮像距離Ｌｂとは、被写体とカメラの位置を結ぶ直線の距離のことで、知覚距離Ｌｄとは、被写体が知覚される位置と視聴者の位置を結ぶ直線の距離のことである。

図５に示すように、撮像した立体画像をそのまま視聴すると、撮像及び表示時に発生する空間の歪みにより遠方の被写体は、被写体−背景間の距離が圧縮され（被写体間距離５０１から５０３へ）、手前にある被写体は被写体間の距離が拡大され（被写体間距離５００から５０２へ）、不自然な立体画像となってしまう。この圧縮と拡大は、ディスプレイ面を境に反対となる。そこで、撮像距離Ｌｂと知覚距離Ｌｄが線形の関係になるような視差変換、すなわち知覚位置調整を行う。さらに、知覚位置調整後、被写体間の視差の差が拡大した領域の視差補正を行うことで、被写体が厚みを持って知覚されるようにする。

ここで、知覚距離歪みについて詳しく説明を加える。撮像条件情報と表示条件情報を用い、知覚距離Ｌｄを算出する。知覚距離Ｌｄとは、図３に示すように、視聴者の左眼ｅ１とディスプレイ面Ｄにおける左眼画像上の点ｐ４が結ぶ線と、被験者の右眼ｅ２とディスプレイ面Ｄにおける右眼画像上の点ｐ３が結ぶ線とが交わる点ｘと、視聴者までの位置のことである。この左眼画像上の点ｐ４と右眼画像上の点ｐ３を結ぶ線の長さが視差ｄであり、図３は視差が正の値のときの例である。視差ｄが正の値とは、左眼用画像上の点ｐ４が右眼用画像上の点ｐ３よりも右に位置することを表す。視差ｄが負の値のときは、図６に示すように知覚距離Ｌｄが視距離Ｌｓよりも長くなり、ディスプレイ面Ｄよりも奥側に立体画像が知覚される。また、視差０のときは、知覚距離Ｌｄと視距離Ｌｓが等しくなり、ディスプレイ面Ｄ上に立体画像が知覚される。

以上に記した撮像条件および表示条件を表す情報を用いると、視聴者の眼から立体画像までの距離である知覚距離Ｌｄは以下の式（１）で表される。
従って、カメラ間隔ｄｃと両眼間隔ｄｅが、撮像距離Ｌｂと知覚距離Ｌｄとの関係に影響を及ぼす。

図７は、撮像距離Ｌｂと知覚距離Ｌｄの関係を説明する図で、横軸は撮像距離Ｌｂを表し、縦軸は知覚距離Ｌｄを表している。
図７に示すように、撮像条件であるカメラ間隔ｄｃと両眼間隔ｄｅが同一の場合、撮像距離Ｌｂと知覚距離Ｌｄは線形となる。図７では線８００にあたり、撮像距離Ｌｂと知覚距離Ｌｄが同一になっている。しかしながら、カメラ間隔ｄｃと両眼間隔ｄｅが同一ではない場合、表示される立体画像に空間歪みが発生してしまう。例えば、両眼間隔ｄｅよりもカメラ間隔ｄｃが広い場合、箱庭効果が発生する。

箱庭効果とは、ディスプレイ面Ｄより奥側の知覚距離Ｌｄが、撮像距離Ｌｂに対し、拡大される現象のことである。このとき、ディスプレイ面Ｄより手前側の知覚距離Ｌｄは、圧縮される。つまり、立体視した被写体が、実際の被写体よりも小さく知覚されるという空間の歪みが発生する。図７では線８０１にあたり、ディスプレイ面Ｄに相当する点ｒより撮像距離Ｌｂが長い領域では、撮像距離Ｌｂが大きくなるにつれて知覚距離Ｌｄが拡大されている。また、ディスプレイ面Ｄに相当する点ｒより撮像距離Ｌｂが短い領域では、撮像距離Ｌｂが小さくなるにつれて知覚距離が圧縮される。

また、両眼間隔ｄｅよりもカメラ間隔ｄｃが狭い場合、書き割効果と呼ばれる空間の歪みが発生する。書き割り効果とは、ディスプレイ面Ｄより奥側に知覚される知覚距離Ｌｄが、撮像距離Ｌｂよりも、圧縮される現象のことである。書き割り効果とは、撮像距離Ｌｂに対し、知覚距離Ｌｄが圧縮される。このとき、ディスプレイ面Ｄより手前側の知覚距離Ｌｄは、拡大される。つまり、立体視した被写体が、実際の被写体よりも厚みがないように知覚されたり、背景−被写体間の間隔が狭まって知覚されたりする。図７では線８０２にあたり、ディスプレイ面Ｄに相当する点ｒより撮像距離Ｌｂが長い領域では、ディスプレイ面Ｄより奥側において、知覚距離Ｌｄが圧縮されている。また、ディスプレイ面Ｄに相当する点ｒより撮像距離Ｌｂが短い領域では、撮像距離Ｌｂが小さくなるにつれて知覚距離が拡大される。

そこで、画像表示装置１は、カメラ間隔ｄｃと両眼間隔ｄｅが同一ではない場合であっても、撮像距離Ｌｂと知覚距離Ｌｄが線形に近づくように視差を補正することで、空間歪みのない立体画像を表示することができる。
画像処理部３０は、知覚位置調整部３２、被写体構造補正部３３および画像生成部３１によって構成される。知覚位置調整部３２は、視差情報に適用する視差変換テーブルを生成し、視差情報とともに被写体構造補正部３３に送る。

視差変換テーブルの構成を図８に示す。この視差変換テーブル９００は、入力視差Ｉと出力視差Ｏの関係を表しており、この入力視差Ｉを用いて算出した撮像距離Ｌｂと、出力視差Ｏを用いて算出した知覚距離Ｌｄが同一になることが特徴である。変換テーブルの生成には以下の式（２）を用いる。
Ｚｉは入力視差、Ｚｏは出力視差を表す。式（２）を用いて、入力視差Ｚｉとそれに対応する出力視差Ｚｏを格納した、視差変換テーブルを作成する。この視差変換テーブルを用いると、撮像距離Ｌｂと知覚距離Ｌｄとの関係が線形となる視差情報を生成することができる。

入力視差と視差変換テーブルにより変換された出力視差との関係を図９に示す。図９は横軸が入力視差、縦軸が出力視差である。視差変換処理を行わなければ、Ａ０の直線となる。視差変換テーブルにより変換された後の入力視差と出力視差の関係はＡ１となり、視差変換テーブルにより非線形にマッピングされている。撮像距離Ｌｂが長い、すなわち視差値が小さいほど圧縮されていた奥行きが拡大されている。また、撮像距離Ｌｂが短い、すなわち視差値が大きいほど拡大されていた奥行きが圧縮されている。

例えば、入力視差の任意の２点（Ａ，Ｂ）の長さと、それに対応する出力視差の２点（Ａ’，Ｂ’）の長さが異なっている。すなわち、撮像距離Ｌｂに応じて視差の変化量を変えているため、奥行きが拡大されている位置は奥行きを圧縮させ、圧縮されている位置は拡大させることで、撮像距離Ｌｂと知覚距離Ｌｄの関係を線形に近付くように変換させている。知覚位置調整部３２は、作成した視差変換テーブルと視差情報とを被写体構造補正部３３に供給する。

上記図９の例は、撮像距離Ｌｂが長い、すなわち視差値が小さい領域で視差を拡大して奥行きを圧縮するもので、両眼間隔ｄｅよりもカメラ間隔ｄｃが広い図７の線８０１を補正するものである。これに対して、両眼間隔ｄｅよりもカメラ間隔ｄｃが狭い図７の線８０２を補正する場合、これとは逆に撮像距離Ｌｂが長い、すなわち視差値が小さい領域で視差を圧縮して奥行きを拡大する必要がある。つまり、視差を圧縮する方向、または視差を拡大する方向に変換する際に、撮像条件情報が有するカメラ間隔より表示条件情報が有する両眼間隔が大きいときと、上記のカメラ間隔より両眼間隔が小さいときとで視差を変換する方向を反対にする。これにより、カメラ間隔と両眼間隔との関係に応じて適切な視差の変換を行うことができる。

また、画像処理部は、画像処理部が出力する出力立体画像の視差が正のときと負のときとで、視差を変換する方向、つまり視差を圧縮する方向、または視差を拡大する方向を反対にする。撮像した立体画像をそのまま視聴する場合、撮像距離Ｌｂに対する知覚距離Ｌｄの圧縮と拡大はディスプレイ面を境に反対となる。ディスプレイ面Ｄよりも手前側に立体画像が知覚されるとき視差は正であり、ディスプレイ面よりも奥側に立体画像が知覚されるときには視差は負である。従って、視差が正のときと負のときとで、視差を変換する方向を反対方向にする。

被写体構造補正部３３は、知覚位置調整部３２から供給される視差変換テーブルと視差情報とに基づいて、視差変換テーブル適用後の視差エッジ付近の視差の階調数を増加させた視差情報を生成する。これは、視差変換により被写体間の視差が拡大されるため、拡大された視差を補間することを意味する。

図１０に視差情報１０００に被写体構造補正部を適用した例を示す。入力視差１００１では隣接視差の差が１であるが、視差変換テーブル適用後の出力視差１００２では隣接視差の差が４となり、被写体間の視差が拡大されている。すなわち、立体空間特有の歪みが４倍になっていることを意味する。この歪みを補正するために、被写体構造補正部３３では、入力視差上で視差エッジ、すなわち視差変化点１００４を検出し、その視差変化点から次に検出される視差変化点間において階調数増加処理を施す。被写体構造補正部３３から出力される視差情報１００３は、視差情報が補間されているため、空間の歪みが補正される。

以下、被写体構造補正部３３の処理内容を詳しく述べる。
図１１に被写体構造補正部３３の処理の様子を示す。
図１１は横軸が視差情報の横軸の位置を表し、縦軸が視差を表している。
まず、視差情報１１００から視差変化点１１０４を検出する。この視差変化点１１０４とは、視差情報１１００において注目画素（視差変化点１１０４）の視差に対して前画素１１０３の視差がしきい値１１０５以上変化している点のことである。この注目画素１１０４の視差変換後視差情報１１０１の画素１１０６と、前画素１１０３の視差変換後視差情報１１０１の画素１１０７間を幅１１０８分だけ補間する。この例での補間とは、画素１１０７に１ずつ値を足していって画素１１０６に近付くように補間すること、もしくは画素１１０６に１ずつ値を引いていって画素１１０７に近付くように補間することを表す。

また、図１２に示すように非線形に近似してもよい。すなわち、この画素補間方法は、線形近似でも良いし、曲線近似でもよい。特に、近傍の画素を解析し、被写体の凹凸に沿うように補間すると被写体本来の形状により近づくため好適である。被写体の形状は、例えば、周辺画素の明るさの変化の仕方などによって推定することができる。視差変化点以外の視差は、視差変換テーブルにより、撮像距離Ｌｂと知覚距離Ｌｄとが線形に対応する視差に変換する。

図１３は被写体構造補正適用結果を示す図で、図１３（Ａ）に入力視差画像を示し、図１３（Ｂ）に被写体構造補正後の視差画像を示す。被写体構造補正後の視差画像は、入力視差情報と比較し、視差エッジ付近の階調数が増加しているため、被写体が丸みを帯びて知覚されやすくなる。以上の処理を施すことにより、被写体間や被写体−背景間に現れる視差の不連続部分を補間することができ、立体空間特有の歪みを補正することができる。この被写体構造補正部３３は、補正を行った後の視差情報を画像生成部３１に供給する。

画像生成部３１は、立体画像取得部２１から供給される立体画像と、被写体構造補正部３３から供給される視差情報とに基づいて、立体画像を構成する左眼用画像と右眼用画像のうち、左眼用画像に対して処理を施す。具体的には、左眼用画像の画素を、被写体構造補正部３３から供給される視差情報に基づいて移動させる。画素を移動させた後、出力画像中に対応づかなかった画素に対しては、近傍の画素から補間する。

ここで、左眼用画像と右眼用画像本来の視差を考慮するために、被写体構造補正部３３から供給される視差情報の値から、視差情報取得部２２から供給される視差情報の値を減算しておく。変換後の左眼用画像と、入力された右眼用画像を用いて立体画像を生成する。こうすることで、立体感特有の歪みが補正された立体画像を生成することができる。生成した左眼用画像と右眼用画像とで構成される立体画像を、表示部４０に供給する。ここで、視差変換テーブルに画素の移動量を与えて処理を行うようにしても同様の効果を得ることができる。

以上のように、本発明に係る画像表示装置は、記憶部から読みだされた撮像条件情報と表示条件情報とに基づいて、その撮像条件情報に対応する立体画像の視差を補正するので、カメラ間隔ｄｃと両眼間隔ｄｅが同一ではない場合であっても、より自然な立体画像を表示することができる。特に、画像表示装置は、被写体間の視差の不連続性を補間することができるので、書き割り効果などの立体化空間の歪みを補正することができる。

なお、本実施形態では、撮像距離Ｌｂと知覚距離Ｌｄとが線形になるように視差変換を行ったが、主要被写体を設定し、その主要被写体が有する視差が０に近い値になるように視差変換を行ってもよい。これは、主要被写体に選ばれた被写体が、立体視し易いディスプレイ面付近に表示されるため、好適である。主要被写体は、所定の方法で指定されもしくは検出される。例えば、図示されない入力装置によってユーザが主要被写体を指定しても良いし、画像処理により被写体の顔を認識し、その認識された顔を主要被写体として検出してもよい。

また、本実施形態では、視差情報取得部２２によって視差情報を生成したが、記憶媒体から読みだしてもよい。このとき、記録媒体には、立体画像とそれに対応する視差情報及び撮像条件情報が記録されている必要がある。こうすることにより、視差情報取得部にて複雑な計算が不要となるため、処理時間が短縮される。

また、本実施形態では、記憶部１０から立体画像と撮像条件情報を取得したが、撮像部から取得してもよい。撮像部は、少なくとも２台のカメラで構成され、それぞれ左眼用画像と右眼用画像を取得するためのものであり、撮像レンズ及びＣＣＤ等の撮像素子を備えている。撮像制御部により、撮像レンズを用いてのフォーカス位置およびズーム倍率、シャッタ等の駆動が制御されている。また、少なくとも２台のカメラは所定の間隔を空けて配置されており、カメラ間の光軸は平行に配置されている。このとき、撮像条件情報も少なくとも２台の撮像部のうちどちらか一方の条件情報を取得する。

また、本実施形態では、画像生成部３１から表示部４０へ立体画像を出力したが、記録装置に出力してもよい。記録装置は、画像生成部３１から供給された、左画像と右画像から構成される立体画像を記録する。
また、本実施形態の表示部４０は、視聴者がメガネをかけて視聴するメガネ式立体表示装置であってもよいし、視聴者が裸眼で立体視可能な裸眼式立体表示装置でもよい。メガネ式立体表示装置のときの立体画像表示方式は、左眼用画像と右眼用画像を交互に切り替えて表示させる時分割方式や、偏光方向を異ならせて重ね合わせて表示させる偏光方式を用いれば良い。裸眼立体表示装置のときの立体画像表示方式は、パララックスバリアと呼ばれるスリット状の開口部の裏側に左眼用画像と右眼用画像を交互に配置するパララックスバリア方式や、かまぼこ状のレンチキュラレンズを配置することで左眼用画像と右眼用画像を空間的に分離するレンチキュラ方式を用いればよい。

（実施形態２）
第２実施形態は、第１実施形態とは異なる知覚位置補正方法を用いた形態である。なお、前述した第１実施形態と同様の機能を果たす部分には、同一の符合を付して、重複する説明を適宜省略する。
第２の実施形態は、上記図１に示す第１の実施形態と同じ構成によって実施されるが、画像処理部３０の知覚位置調整部３２の動作が第１の実施形態とは異なり、視差変換後の立体画像の視差範囲を所定の範囲内に収める処理を行う。具体的には、立体画像を表示する立体画像表示装置に合わせて、視聴者が立体視可能な範囲に収まった立体画像を生成する。

知覚位置調整部３２は、視差情報に適用する視差変換テーブルを生成し、視差情報とともに被写体構造補正部３３に送る。この視差変換テーブルを用いることにより、撮像距離Ｌｂと知覚距離Ｌｄとの関係が線形に近付き、かつ、図１４のように視聴者が立体視可能な範囲に収まった視差情報を提供することができる。以下、視差変換テーブルの作成方法を述べる。

撮像条件情報を用いることで、撮像距離Ｌｂの最大値及び最小値は、視差情報の最大値ＭＡＸ＿ＤＥＰと最小値ＭＩＮ＿ＤＥＰから算出できる。視差情報からの視差の最大値及び最小値の算出は、視差算出失敗による雑音の影響を排除するために、視差情報中の一定の面積を有する領域、例えば全画素の１％の領域、を占める視差とすると好適である。この視差情報の最大値ＭＡＸ＿ＤＥＰと最小値ＭＩＮ＿ＤＥＰから、撮像距離Ｌｂの最大値ＭＡＸ＿ＤＩＳを式（３）から、最小値ＭＩＮ＿ＤＩＳを式（４）から算出する。

次に、表示条件情報とディスプレイ上の視差を用いて、知覚距離Ｌｄの最大値ＭＡＸ＿Ｃと最小値ＭＩＮ＿Ｃを算出する。ディスプレイ上の視差の最小値ＭＩＮ＿Ｅと最大値ＭＡＸ＿Ｅは、例えば３Ｄコンソーシアムが発行している３ＤＣ安全ガイドライン内に記されている値を用いてもよいし、図示しない入力装置からユーザが入力した値を用いてもよい。このとき、最大値ＭＡＸ＿Ｅ及び最小値ＭＩＮ＿Ｅともに単位はピクセルで表される。ＭＡＸ＿Ｅが正の値、ＭＩＮ＿Ｅが負の値のとき、被写体は飛び出しと引っ込み両方の奥行きを有する。

また、撮像シーンが遠景の場合、図１５に示すように知覚距離Ｌｄのディスプレイ上の視差の最大値ＭＡＸ＿Ｅを０付近の値に設定することで、撮像された被写体が奥側に引っ込んで知覚されるようになる。さらに、撮像シーンがマクロの場合、図１６に示すように知覚距離Ｌｄのディスプレイ上の視差の最小値ＭＩＮ＿Ｅを０付近の値に設定することで、撮像された被写体が手前に飛び出して知覚されるようになる。このような撮像シーンは、視差情報を解析して決定してもよいし、図示しない入力装置から読みだしても良い。
この視差の最小値ＭＩＮ＿Ｅと最大値ＭＡＸ＿Ｅから、表示時の知覚距離Ｌｄの最大値ＭＡＸ＿Ｃを式（５）から、最小値ＭＩＮ＿Ｃを式（６）から算出する。

算出した撮像距離Ｌｂと知覚距離Ｌｄが一致するように、視差を変換する。入力視差情報の視差をＺｉ、出力視差情報の視差をＺｏとすると、視差変換は式（７）（８）（９）
で表される。

この視差変換式を用いて、入力視差Ｚｉとそれに対応する出力視差Ｚｏを格納した、視差変換テーブルを作成する。この視差変換を行うことにより、撮像距離Ｌｂと知覚距離Ｌｄとの関係を線形に近づけることができ、かつ、視聴者が立体視可能な範囲に収まった視差情報を生成することができる。入力視差と視差変換テーブルにより変換された出力視差との関係を図１７に示す。

出力視差が負の値、すなわちディスプレイ面後方の引っ込み方向に知覚される視差ほど圧縮されていた奥行きが拡大されている。また、出力視差が正の値、すなわちディスプレイ面前方の飛び出し方向に知覚される視差ほど拡大されていた奥行きが圧縮されている。入力視差における任意の２点の差Ｂ２と、出力視差における任意の２点の差Ｂ１を比較すると、Ｂ１＜Ｂ２となり、奥行きが圧縮されている。入力視差における任意の２点の差Ｂ３と、出力視差における任意の２点の差Ｂ４とを比較すると、Ｂ４＞Ｂ３となり、奥行きが拡大されている。すなわち、撮像距離Ｌｂに応じて視差の変化量を変えているため、奥行きが拡大されている位置は奥行きを圧縮させ、圧縮されている位置は拡大させることで、撮像距離Ｌｂと知覚距離Ｌｄの関係を線形に近付くように変換させている。
以上、説明した通り、本実施形態では立体画像を表示する画像表示装置に合わせて、視聴者が立体視可能な範囲に収まった立体画像を生成することができる。

（実施形態３）
図１８は本発明による画像処理装置を用いた第３実施形態にあたる画像撮像装置を示す図である。図１８に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。
重複する説明については適宜省略する。
図１８の画像撮像装置２の構成は、主に記憶部１０の代わりに第１撮像部５１および第２撮像部５２からなる撮像部５０が設けられている点が、図１の構成とは異なる。図１８の画像撮像装置では、立体画像の撮像方法に関わらず、立体画像特有の空間歪みが補正された立体画像を生成することができる。

具体的には、第１撮像部５１は第２撮像部５２と所定の間隔だけ離れた位置に配置される。第１撮像部５１は、第２撮像部５２と同期し、第２撮像部５２と同時に、第２撮像部５２と同一の撮像条件で撮像を行う。第１撮像部５１は、その結果得られる画像データを左眼用の画像データとして立体画像取得部２１に供給する。また、第１撮像部５１は、カメラ間隔ｄｃ、輻輳角α、カメラピクセルピッチＰｃ及びカメラ焦点距離ｄｆを撮像条件情報として、撮像条件取得部に供給する。図１９に示すように、第１撮像部と第２撮像部の輻輳角αとは、第１撮像部の光軸ｑ１と第２撮像部の光軸ｑ２とが成す角のことである。光軸ｑ１と光軸ｑ２との交点Ｆ１が輻輳点である。

知覚位置調整部３２では、図２０に示すように輻輳点上の被写体がディスプレイ面に表示されるような視差変換テーブルを作成する。そのためには、以下の式（１０）で撮像部の輻輳角から輻輳点位置を算出する。

輻輳点Ｆ１がディスプレイ面、すなわち視距離Ｌｓの位置と同じになるように、視差変換を行う。つまり、画像処理部３０は、撮像部の撮像条件情報をから算出できる輻輳点までの距離の被写体を視差０に近づける処理を行う。具体的には、ＭＡＸ＿ＤＩＳの値をＦに、ＭＡＸ＿Ｃの値を視距離Ｌｓにする。
画像生成部３１は、立体画像取得部２１から供給される立体画像と、被写体構造補正部３３から供給される視差情報とに基づいて、立体画像を構成する左眼用画像と右眼用画像のうち、左眼用画像に対して処理を施す。

具体的には、左眼用画像の画素を、被写体構造補正部から供給される視差情報に基づいて移動させる。画素を移動させた後、出力画像中に対応づかなかった画素に対しては、近傍の画素から補完する。生成した右眼用画像と、入力された左眼用画像を用いて立体画像を生成する。こうすることで、輻輳点にある被写体がディスプレイ面に表示され、かつ立体感特有の歪みが補正された立体画像を生成することができる。視差変換処理を施した後の右眼用画像とその入力の左眼用画像とで構成される立体画像を、表示部４０に供給する。

以上のように、画像撮像装置２は、輻輳角を有する撮像部から読みだされた立体画像であっても、撮像条件情報と表示条件情報とに基づいて、輻輳点に位置する被写体が視距離Ｌｓ、すなわちディスプレイ面に表示することができ、かつ、カメラ間隔ｄｃと両眼間隔ｄｅが同一でない場合であっても、その撮像条件に対応する立体画像の視差を補正するので、より自然な立体画像を表示することができる。

（実施形態４）
実施形態１で示した画像処理により、視差を変換することで立体感のある画像を得ることができるが、撮影された立体画像の最大視差と最小視差の範囲内で視差変換を行うとき、被写体の位置によっては効果が十分に得られない場合がある。そこで、図２１に示すような視差の変換を行うことで、立体感を得ることができる。

図２１の曲線２１０１は、撮影した画像の被写体の撮像位置と、その被写体を立体視したときに知覚される位置との関係を表したものである。これを、知覚曲線２１０１とする。また、図２１の線２１０３は、撮影した画像の最小撮像距離２１０６と最小知覚距離２１０８との交点２１０４と、最大撮像距離２１０７と最大知覚距離２１０９との交点２１０５を結んだ直線である。

本実施形態では、視差変換方法を知覚距離や撮像距離で説明して行く。この知覚距離、撮像距離は、実施例１に詳細に記載した通り、視差値、撮像条件及び表示条件から算出することができる。立体画像に対して、視差変換を施すことによって、撮像距離と知覚距離の関係を変化させることができる。

実施形態１では撮影されるシーン全体に対して空間の歪みを補正したが、本実施形態では、図２１の知覚曲線２１０１と、線２１０３の間に収まるように、空間の歪みを補正する。例えば、被写体が大きな視差値を有する場合、図２２の２１０３ように補正すると、その被写体に割り当てられる視差値の幅が小さくなる。すなわち、視差値の小さい背景と、視差値の大きい前景との差は大きくなり立体感は向上するが、被写体の厚みが小さくなってしまう場合がある。

図２２を用いて詳しく説明する。被写体の厚みを２２０３、撮影画像を立体視したときに知覚できる被写体の厚みを２２０４、補正後の立体画像を立体視したときに知覚できる被写体の厚みを２２０５とする。撮影画像を立体視したときに知覚できる被写体の厚み２２０４よりも、補正後の立体画像を立体視したときに知覚できる被写体の厚み２２０５が小さくなっている。撮像距離２２０３内に主要被写体が存在する場合、主要被写体の立体感を十分に得ることができない。そこで、図２１の線２１０２のような補正をすることで被写体の厚みを保持しつつ、被写体と背景の間の歪みを補正することで立体感のある画像を得る。

線２１０２は、知覚曲線２１０１と線２１０３内にプロットされる、直線、曲線、もしくは直線と曲線の複合で表現できる。例えば、図２３の線２３０１の様に２本の直線で表しても良い。さらに、知覚曲線２１０１と線２１０３との重みづけ平均として視差変換の特性を定義しておくと、ユーザが外部から重みづけのパラメータを調整することで立体感を変化させることができるため好適である。

図２１の線２１０２は、知覚曲線２１０１と線２１０３の重みが等しくなるように設定した例である。これは、撮影画像に視差変換を施さずに立体視した場合の被写体の位置と、線２１０３で視差変換を施した場合の被写体の位置との中間地点に、線２１０２で視差変換を施した場合の被写体が知覚されるということである。つまり、知覚曲線２１０１の重みが大きくなるように設定した場合、背景付近の視差が圧縮され、前景の視差が拡大される。すなわち、書き割り効果や箱庭効果のような空間の歪みが発生する、元画像の立体感に近付く。

線２１０３の重みが大きくなるように設定した場合、背景付近の視差が拡大され、前景の視差が圧縮される。すなわち、空間の歪みが補正され、実空間の立体感に近付く。この重みづけ平均により算出された特性により、ユーザは撮影した立体画像の立体感を、実空間に近付かせたり、前景の立体感を強調するためにわざと空間を歪ませたり、と変化させることができる。

特に、主要被写体の位置が特定できている場合、図２４の線２４０１の様に、主要被写体２４０２より後に存在する被写体、すなわち、主要被写体２４０２が有する視差よりも小さい視差を有する被写体に対し、視差変換処理を施すと好適である。
主要被写体の視差値は、視差のヒストグラムから算出することができる。例えば、画像を複数領域に分割して、各領域の最頻値から被写体の視差値を推定することができる。推定された主要被写体の視差値と、撮影シーンの最大視差までの間は視差の値を保持するようにし、主要被写体の視差値と、撮影シーンの最小視差までの間は空間の歪みが減少するように補正する。このとき、推定された被写体の視差値は、被写体の代表視差値であるため、推定された視差値よりも小さい視差値を境界として処理すると好適である。すなわち、推定された視差値の後側を境界に、視差値の補正が変化するようにする。

距離で言い換えると、主要被写体の撮像位置２４０２と、最小撮像位置２４０８との間に含まれる被写体と、主要被写体の撮像位置２４０２と最大撮像位置２４０７との間に含まれる被写体とで、視差変換方法を変更する。図２４では、主要被写体より手前にある被写体には視差変換を施さず、後ろにある被写体には、撮像距離と再現距離の関係が線形になるように視差変換を施している。

すなわち、図２４の線２４０１は、主要被写体より後にある被写体に対し、主要被写体位置２４０２と最小知覚距離２４０５の交点２４０３と、最大撮像距離２４０７と最大知覚距離２４０６の交点２４０４を結んだ直線のような関係になるように視差変換を施す。こうすることで、主要被写体の厚みを保ったまま、圧縮されている背景の立体感を強調することができる。

さらに、図２５に示す様に、知覚曲線２１０１と線２４０１との重みづけ平均として視差変換の特性を定義しておくと、ユーザが外部から重みづけのパラメータを調整することで、主要被写体の立体感は変化させずに、主要被写体より後ろにある被写体の立体感を変化させることができるため好適である。

図２５の線２５０１は、知覚曲線２１０１と線２４０１に重みづけを施した例である。知覚曲線２１０１の重みが大きくなるように設定した場合、背景付近の視差が圧縮され、主要被写体より後ろにある前景の視差が拡大される。すなわち、書き割り効果や箱庭効果のような空間の歪みが発生する。線２４０１の重みが大きくなるように設定した場合、背景付近の視差が拡大され、主要被写体より後ろにある前景の視差が圧縮される。すなわち、空間の歪みが補正され、実空間の立体感に近付く。この重みづけ平均により算出された特性により、ユーザは撮影した立体画像の主要被写体の立体感は損なわずに、主要被写体より後ろにある立体感を実空間に近付かせたり、立体感を強調するためにわざと空間を歪ませたり、と変化させることができる。

以上の方法は、実施形態２および３に示した方法と組み合わせることも可能である。また、実施形態１に示した、被写体構造補正部での処理である、拡大した視差を補間する方法を適用することもできる。

１…画像表示装置、２…画像撮像装置、１０…記憶部、２０…情報取得部、２１…立体画像取得部、２２…視差情報取得部、２３…撮像条件取得部、２４…表示条件保持部、３０…画像処理部、３１…画像生成部、３２…知覚位置調整部、３３…被写体構造補正部、４０…表示部、５０…撮像部、５１…第１撮像部、５２…第２撮像部、５００…被写体間距離、１００１…入力視差、１００２…出力視差、１００３…視差情報、１００４…視差変化点、１１００…視差情報、１１０１…視差変換後視差情報、１１０３…前画素、１１０４…視差変化点、１１０５…しきい値、１１０６…画素、１１０７…画素、１１０８…幅。

Claims (7)

1. 立体画像から算出した視差情報を取得する情報取得部と、
   前記立体画像の視差を変換する画像処理部と、を備える画像処理装置であって、
   前記視差情報の隣接視差の差が所定の範囲内であるとき、
   前記画像処理部は、前記立体画像の視差を変換した後、前記変換の前の隣接視差の差が所定のしきい値以上であるときは、前記変換の後の隣接視差の差が小さくなるように視差を補間することを特徴とする画像処理装置。
2. 前記画像処理部における前記変換は、前記立体画像の視差を圧縮、または、拡大する変換であることを特徴とする請求項１に記載の画像処理装置。
3. 前記情報取得部は、更に立体画像を撮像した撮像条件情報と前記立体画像を表示する表示部の表示条件情報とを取得し、
   前記画像処理部は、前記撮像条件情報と前記表示条件情報とに基づいて、前記立体画像の視差を変換することを特徴とする請求項２に記載の画像処理装置。
4. 前記画像処理部は、前記撮像条件情報が有するカメラ間隔より、前記表示条件情報が有する両眼間隔が大きいときと、前記カメラ間隔より前記両眼間隔が小さいときとで視差を変換する方向を反対にすることを特徴とする請求項３に記載の画像処理装置。
5. 前記画像処理部は、前記補間の後の前記立体画像の視差範囲を、前記撮像条件情報、前記表示条件情報、及び前記視差情報に基づいて算出された視差と、入力視差との間とすることを特徴とする請求項３または４に記載の画像処理装置。
6. 前記画像処理部は、前記撮像条件情報から算出できる輻輳点までの距離の被写体を視差０に近づけることを特徴とする請求項５に記載の画像処理装置。
7. 立体画像から算出した視差情報を取得する情報取得部と、
   前記立体画像の視差を変換する画像処理部と、を備える画像処理装置であって、
   前記視差情報の隣接視差の差が所定の範囲内である前記立体画像の画素領域において、前記画像処理部は、前記視差情報の隣接視差の差が所定のしきい値以上変化している視差変化点の視差を変換し、当該変換の変換量は、前記変換の前において前記視差変化点の視差と視差が同じである点における視差の変換の変換量よりも小さいことを特徴とする画像処理装置。