JP5036088B2 - 立体画像処理装置、立体画像処理方法およびプログラム - Google Patents

Description

本発明は、 立体画像処理装置、立体画像処理方法およびプログラムに関する。

人間は空間に配置された物体の奥行きを知覚する際、左右眼に投影される像の位置のずれ、すなわち両眼視差をひとつの手がかりとして利用している。
この両眼視差の仕組みを利用したシステムの例として、立体画像表示システムがあげられる。立体画像表示システムにおいては、左右それぞれに対応した画像をそれぞれの眼に(のみ)提示することにより立体視を実現する（奥行きを表現する）。
このとき、３次元的な空間情報は２次元である左右画像に投影（され、空間的に圧縮）されている。そのため、物体の空間的（３次元的）な位置に応じて、２次元に投影された左右それぞれの画像上にずれが生じる。これが視差量となる。逆にとらえれば、視差量が異なることは３次元（的な）位置が異なることと符合する。
故に、左右の画像間の視差量を調整することによって、画像上に投影された物体の空間的な位置を仮想的に調整することができるため、結果として、奥行き感を操作することができる。

特許文献１においては、観察者が任意に視差量を調整できる立体映像処理装置について以下のような記載がある。
１）ユーザ操作により、立体映像の表示位置を前後に調整する際に、ディスプレイ（映像表示領域）の上下左右端に前後方向へ延在するように並べた複数の矩形片のうち、立体映像と前後方向の位置が一致する矩形片が他の矩形片とは色が異なるように制御するか、もしくは立体映像の奥行き幅に対応する矩形片が他の矩形片とは色が異なるように制御し、それによって調整操作を容易にする。
２）ディスプレイ（映像表示領域）の上下左右端に前後方向へ、線状のピッチ片を並べるとともに、立体映像の位置と一致する上下左右のピッチ片の間には半透明の仮想スクリーンが表示される、立体映像の表示位置の前後調整に伴って仮想スクリーンも前後に移動し、調整が終われば、ピッチ片および仮想スクリーンは消去される。
３）リモコンインタフェースからの制御信号に応じて参照用画像の出力または停止を制御する。

特開平１１−１５５１５５号公報

しかしながら、従来の立体画像表示システムにおいては、立体画像を表示した場合に、立体画像中の物体が、実空間において画像表示スクリーン面上（たとえば映像表示機のディスプレイ面）から飛び出している物体であるのか、奥に引っ込んでいる物体であるのかが分からない、すなわち前後方向の位置が分からないことがあるという問題がある。例えば、特許文献１に記載の発明においては、その奥行き感ガイド自体もスクリーン面上から前後に延在するように立体的に表示されているために、立体映像と奥行き感ガイドとの相対的な位置関係が分かったとしても、実空間においてスクリーン面上から飛び出している映像であるのか、奥に引っ込んでいる映像であるのかがわからないことがある。

本発明は、このような事情に鑑みてなされたもので、その目的は、立体画像中の物体の前後方向の位置を、視聴者が把握し易い立体画像を生成する立体画像処理装置、立体画像処理方法およびプログラムを提供することにある。

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、立体画像を表示する表示部の実空間での位置を表す案内画像であって、前記立体画像での奥行きの基準となる案内画像を、前記立体画像に重ねた画像を生成し、前記重ねた画像は、前記案内画像を、前記立体画像中の予め決められた位置であって、その左右が立体画像に挟まれる位置に重ねた画像であることを特徴とする立体画像処理装置。

（２）また、本発明の他の態様は、上述の立体画像処理装置であって、前記案内画像は、前記表示部の画像表示スクリーン面上あるいは該画像表示スクリーンと平行かつ該画像表示スクリーン面近傍の平面上に知覚される画像であることを特徴とする。

（３）また、本発明の他の態様は、上述の立体画像処理装置であって、前記案内画像が、前記立体画像を構成するいずれかの視点からの画像の一部分であることを特徴とする。

（４）また、本発明の他の態様は、上述の立体画像処理装置であって、前記立体画像の奥行きデータに基づき、前記案内画像を前記立体画像に重ねた画像を生成することを特徴とする。

（５）また、本発明の他の態様は、上述の立体画像処理装置であって、前記案内画像を前記立体画像に重ねる際の合成パラメータを、前記案内画像と前記立体画像が重なる部分が、前記画像表示スクリーンよりも手前に知覚される被写体の部分である前景部分であるか、前記画像表示スクリーンよりも後ろに知覚される被写体の部分である背景部分であるかにより、異なる値とすることを特徴とする。

（６）また、本発明の他の態様は、上述の立体画像処理装置であって、前記合成パラメータは、前記案内画像の透明度であり、前記前景部分における透明度を、前記背景部分における透明度よりも大きくすることを特徴とする。

（７）また、本発明の他の態様は、上述の立体画像処理装置であって、前記前景部分における透明度が１００％であることを特徴とする。

（８）また、本発明の他の態様は、上述の立体画像処理装置であって、前記合成パラメータは、前記案内画像の横幅であり、前記前景部分における横幅を、前記背景部分における横幅よりも小さくすることを特徴とする。

（９）また、本発明の他の態様は、上述の立体画像処理装置であって、前記案内画像の表示位置が、時間の経過により、変化することを特徴とする。

（１０）また、本発明の他の態様は、立体画像を処理する立体画像処理方法において、立体画像を表示する表示部の実空間での位置を表す案内画像であって、前記立体画像での奥行きの基準となる案内画像を、前記立体画像に重ねた画像を生成する過程を有し、前記重ねた画像は、前記案内画像を、前記立体画像中の予め決められた位置であって、その左右が立体画像に挟まれる位置に重ねた画像であることを特徴とする。

（１１）また、本発明の他の態様は、立体画像を処理する立体画像処理装置のコンピュータに、立体画像を取得する過程と、前記立体画像を表示する表示部の実空間での位置を表す案内画像であって、前記立体画像での奥行きの基準となる案内画像を、前記立体画像に重ねた画像を生成する過程とを実行させるプログラムであって、前記重ねた画像は、前記案内画像を、前記立体画像中の予め決められた位置であって、その左右が立体画像に挟まれる位置に重ねた画像であることを特徴とする。

この発明によれば、立体画像中の物体の前後方向の位置を、視聴者が把握し易い立体画像を生成する。

本発明の第１の実施形態における立体画像処理装置１０の構成を示す概略ブロック図である。 サイドバイサイド形式の立体画像の画像データを説明する画像例である。 トップアンドボトム形式の立体画像の画像データを説明する画像例である。 フレームシーケンシャル形式の立体画像の画像データを説明する概念図である。 第１の実施形態における立体画像入力部１Ａの構成を示す概略ブロック図である。 同実施形態における立体画像入力部１Ａの動作を説明するフローチャートである。 同実施形態における奥行き感ガイドを説明する概念図（その１）である。 同実施形態における奥行き感ガイドを説明する概念図（その２）である。 同実施形態における奥行き感ガイドを説明する概念図（その３）である。 同実施形態における奥行き感ガイド生成部１Ｂの構成を示す概略ブロック図である。 同実施形態における奥行き感ガイドパラメータおよび更新優先度フラグの一例を示す図である。 同実施形態における奥行き感ガイドの例（その１）を示す図である。 同実施形態における奥行き感ガイドの例（その２）を示す図である。 同実施形態における奥行き感ガイドの例（その３）を示す図である。 同実施形態における奥行き感ガイドの例（その４）を示す図である。 同実施形態における奥行き感ガイドの例（その５）を示す図である。 同実施形態における奥行き感ガイドの例（その６）を示す図である。 同実施形態における奥行き感ガイドの例（その７）を示す図である。 同実施形態における奥行き感ガイドの例（その８）を示す図である。 同実施形態における奥行き感ガイドの例（その９）を示す図である。 同実施形態における奥行き感ガイドパラメータ調整部５Ｂの動作を説明するフローチャートである。 同実施形態における立体表示画像生成部１Ｅの構成を示す概略ブロック図である。 同実施形態における立体表示画像生成部１Ｅの動作を説明するフローチャートである。 両眼視野闘争を説明する画像例（その１）を示す図である。 両眼視野闘争を説明する画像例（その２）を示す図である。 両眼視野闘争を説明する画像例（その３）を示す図である。 本発明の第２の実施形態における立体画像処理装置１１の構成を示す概略ブロック図である。 同実施形態における立体表示画像生成部１１Ｅの構成を示す概略ブロック図である。 同実施形態における立体表示画像生成部１１Ｅの動作を説明するフローチャートである。 同実施形態における前景部分の透明度を１００％とした奥行き感ガイドの例を示す図である。 同実施形態における前景部分と後景部分とで透明度を異なるようにした奥行き感ガイドの例を示す図である。 同実施形態における前景部分の透明度を１００％とした奥行き感ガイドの変形例を示す図である。 本発明の第２の実施形態の変形例における立体画像処理装置１１’の構成を示す概略ブロック図である。 同変形例における立体表示画像生成部１１Ｅ’の構成を示す概略ブロック図である。 同変形例における立体表示画像合成部１７Ａ’が合成した立体画像の例を示す図である。 同変形例における図３５の奥行き感ガイド例を説明する概念図である。 本発明の第２の実施形態およびその変形例における立体画像入力部１Ａ’の構成を示す概略ブロック図である。 ３視点の立体画像の例を示す図である。 本発明の第３の実施形態における立体画像入力部１３Aの構成を示す概略ブロック図である。 同実施形態における立体画像形式変換部３３Ｂの動作を説明するフローチャートである。 本発明の第４の実施形態における立体画像入力部１４Aの構成およびメタデータ入力部１４Ｃとの関係を示す概略ブロック図である。 同実施形態におけるＬＵＴ４４Ａが記憶している視点モードと画像の構成との対応付けの例を示す図である。 同実施形態におけるＬＵＴ４４Ａが記憶している視点モードと画像の構成との対応付けの別の例を示す図である。 同実施形態における立体画像形式変換部４３Ｂの動作を説明するフローチャートである。 本発明の第５の実施形態における立体画像入力部１５Aの構成およびメタデータ入力部１５Ｃとの関係を示す概略ブロック図である。 同実施形態におけるＬＵＴ５４Ａが記憶する視点優先度と画像の構成との対応付けの例を示す図である。 同実施形態における立体画像形式変換部５３Ｂの動作を説明するフローチャートである。 本発明の第６の実施形態における立体画像入力部１６Aの構成およびメタデータ入力部１６Ｃとの関係を示す概略ブロック図である。 同実施形態における視聴優先度決定部６４Ａおよび立体画像形式変換部５３Ｂの動作を説明するフローチャートである。

［第１の実施形態］
以下、図面を参照して、本発明の第１の実施の形態について説明する。図１は、本実施形態における立体画像処理装置１０の構成を示す概略ブロック図である。立体画像処理装置１０は、例えば、立体画像を表示するテレビジョン受像機、デジタルカメラ、映写機、携帯電話、電子フォトフレームなどである。立体画像処理装置１０は、立体画像入力部１Ａ、奥行き感ガイド生成部１Ｂ、メタデータ入力部１Ｃ、ユーザ入力部１Ｄ、立体表示画像生成部１Ｅ、画像表示部１Ｆを含んで構成される。
立体画像入力部１Ａは、外部からの立体画像の画像データの入力を受け付ける。立体画像入力部１Ａは、受け付けた立体画像の画像データＤ’を立体表示画像生成部１Ｅに出力する。立体画像入力部１Ａは、受け付けた画像データの形式を示す形式情報Ｔを奥行き感ガイド生成部１Ｂおよび立体表示画像生成部１Ｅに出力する。

立体画像入力部１Ａは、例えば、放送波を受信するチューナ、ブルーレイ（Ｂｌｕ−ｒａｙ（登録商標））ディスクプレイヤーなど外部機器からの映像信号を受け付けるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）レシーバなどである。なお、ここで立体画像の画像データとは、たとえば、トップアンドボトム形式（左右画像が縦に並ぶように1フレームの画像として格納されている形式）やサイドバイサイド形式（左右画像が横に並ぶように1フレームの画像として格納されている形式）、フレームシーケンシャル形式（左画像、右画像が経時的に入力される形式）など、種々の形式で表現される立体画像のことである。

なお、以上の立体画像の例では左右２視点を例としているが、たとえば、多眼撮像システムによって撮影されたような、多視点の立体画像であってもよい。また、立体画像入力部１Ａが立体画像生成部１Ｅに出力する画像データＤ’は、立体画像入力部１Ａが受け付けた画像データの形式のままでも良いし、たとえば、トップアンドボトム形式のような既定の形式に立体画像入力部１Ａが変換してから出力するようにしても良い。立体画像入力部１Ａが既定の形式に変換する場合は、立体画像入力部１Ａが出力する形式情報は、変換後の形式を示す情報である。
奥行き感ガイド生成部１Ｂは、立体画像に合成するための奥行き感ガイド（案内画像）のパラメータである左眼用パラメータＰｌと右眼用パラメータＰｒとを生成する。奥行き感ガイド生成部１Ｂおよび奥行き感ガイドの詳細については、後述する。

メタデータ入力部１Ｃは、外部から種々のメタデータの入力を受け付ける。ここで、メタデータとは、立体画像入力部１Ａが受け付けた立体画像の画像データに関するデータである。メタデータは、たとえば、奥行き感ガイドのパラメータ情報の他に、立体画像に関する奥行きデータ（視差マップ、ディスパリティマップ、距離画像、デプス画像などとも呼ばれる）、コンテンツ情報として得られるジャンル情報などの種々のデータである。
メタデータ入力部１Ｃは、受け付けたメタデータのうち、奥行き感ガイドのパラメータ情報を奥行き感ガイド生成部１Ｂ内のメタデータ入力判断部５Ｃ（後述）に出力する。

なお、メタデータ入力部１Ｃは、立体画像の画像データと同じ経路で、メタデータを取得するときは、メタデータを取得するための構成を、立体画像入力部１Ａが画像を取得するための構成と共用してもよい。例えば、画像データおよびメタデータが、放送波により送信されているときは、メタデータ入力部１Ｃは、立体画像入力部１Ａと、放送波を受信するためのチューナを共用する。なお、画像データは、放送波により送信されており、メタデータは、インターネットなどを介して取得するなど、これらのデータを別々のソースから取得するようにしてもよい。

ユーザ入力部１Ｄは、ユーザによる入力操作を検出し、検出した入力操作を示す入力操作情報を奥行き間ガイド生成部１Ｂに出力する。ユーザによる入力操作は、たとえば、リモートコントローラやキーボード、マウスによる入力である。なお、ユーザ入力部１Ｄが撮像デバイスを備え、該撮像デバイスが撮像した画像に基づき、ユーザのジェスチャを取り込むものであってもよく、ユーザによる入力操作を検出できるものであれば特定はしない。なお、ユーザによる入力操作は、例えば、奥行き感ガイドの表示をＯＮまたはＯＦＦする指示である。

立体表示画像生成部１Ｅは、立体画像入力部１Ａからの立体画像の画像データＤ’および形式情報Ｔ、奥行き感ガイド生成部１Ｂからの奥行き感ガイドの左眼用パラメータＰｌおよび右眼用パラメータＰｒを基に、奥行き感ガイドを合成した、立体画像の表示用信号を生成する。
画像表示部１Ｆは、立体表示画像生成部１Ｅが生成した立体画像の表示用信号を受け取り、該信号に基づき、画像表示部１Ｆが備える画像表示スクリーン面に立体表示画像を表示する。なお、この画像表示スクリーンは、左眼用の画像と、右眼用の画像とを液晶ディスプレイやプラズマディスプレイなどに交互に表示し、この表示に同期させて、視聴者が掛けている液晶シャッター付メガネの液晶シャッターを動作させるものであってもよいし、視差バリア方式やレンチキュラ方式などの裸眼立体視可能な液晶ディスプレイであってもよい。

図２は、サイドバイサイド形式の立体画像の画像データを説明する画像例である。この画像例Ｇ１に示すように、サイドバイサイド形式の立体画像では、１フレームが左右に分割されており、左側半分が左眼用画像Ｇ１Ｌ、右側半分が右眼用画像Ｇ１Ｒとなっている。図３は、トップアンドボトム形式の立体画像の画像データを説明する画像例である。この画像例Ｇ２に示すように、トップアンドボトム形式の立体画像では、１フレームが上下に分割されており、上側半分が左眼用画像Ｇ２Ｌ、下側半分が右眼用画像Ｇ２Ｒとなっている。なお、逆に上側を右眼用画像、下側を左眼用画像とする形式でもよい。

図３は、フレームシーケンシャル形式の立体画像の画像データを説明する概念図である。フレームシーケンシャル形式の立体画像の画像データは、時間方向に左眼用と右眼用の画像が交互に並べられている。図３に示す例では、時間方向にＧ３１Ｌ、Ｇ３１Ｒ、Ｇ３２Ｌ、Ｇ３２Ｒの順に並べられたフレームのうち、Ｇ３１Ｌ、Ｇ３２Ｌが左眼用の画像であり、Ｇ３１Ｒ、Ｇ３２Ｒが右眼用の画像である。

図５は、立体画像入力部１Ａの構成を示す概略ブロック図である。図５に示すように、立体画像入力部１Ａは、立体画像判断部３Ａ、立体画像形式変換部３Ｂ、立体画像データ送出部３Ｃ、立体画像形式送出部３Ｄ、既定形式記憶部３Ｅを含んで構成される。立体画像判断部３Ａは、受け付けた画像データＤの形式を判定し、その形式が既定形式記憶部３Ｅが記憶する既定の形式であるか否かを判定する。立体画像形式変換部３Ｂは、受け付けた画像データＤを、既定の形式の画像データＤ’に変換する。立体画像データ送出部３Ｃは、立体画像形式変換部３Ｂが変換した画像データＤ’を出力する。立体画像形式送出部３Ｄは、立体画像データ送出部３Ｃが出力した画像データの形式を示す形式情報Ｔを出力する。既定形式記憶部３Ｅは、既定の形式を示す情報を予め記憶している。なお、既定の形式が無いときは、既定形式記憶部３Ｅは、無いことを示す情報を記憶している、あるいは、形式を示す情報を記憶していない。

図６は、立体画像入力部１Ａの動作を説明するフローチャートである。図６に示すように、まず、ステップＳ２１で、立体画像判断部３Ａが、立体画像生成部１Ｅに送る画像データＤ’の既定の形式を、既定形式記憶部３Ｅが記憶しているか否かを判定する。ここで、既定の形式は、たとえば図２から図４に示した、サイドバイサイド形式、トップアンドボトム形式、フレームシーケンシャル形式などである。この判定の結果、既定の形式が記憶されているときは（Ｓ２１−Ｙ）、ステップＳ２２に移る。一方、ステップＳ２１の判定の結果、既定の形式が記憶されていないときは（Ｓ２１−Ｎ）、ステップ２４に移る。

ステップＳ２２では、立体画像判断部３Ａが、既定形式記憶部３Ｅが記憶する既定の形式と、受け付けた画像データＤの形式が異なるか否かを判定する。この判定の結果、既定の形式と受け付けた画像データＤの形式が異なるときは（Ｓ２２−Ｙ）、ステップＳ２３に移る。一方、ステップＳ２２の判定の結果、既定の形式と受け付けた画像データＤの形式が異ならない（同じ）ときは（Ｓ２２−Ｎ）、ステップＳ２４に移る。
ステップＳ２３では、立体画像形式変換部３Ｂが、受け付けた画像データＤを既定の形式の画像データＤ’に変換する。さらに、立体画像データ送出部３Ｃは、変換された画像データＤ’を立体表示画像生成部１Ｅに出力し、ステップＳ２５に移る。

ステップＳ２４では、立体画像形式変換部３Ｂは、受け付けた画像データＤに対する変換処理を行わず、該画像データＤをそのまま、出力する画像データＤ’として立体画像データ送出部３Ｃに出力する。さらに、立体画像データ送出部３Ｃは、立体画像形式変換部３Ｂが出力した画像データＤ’を奥行き感ガイド生成部１Ｅに出力し、ステップＳ２５に移る。
ステップＳ２５では、立体画像形式変換部３Ｂは、ステップＳ２３もしくはステップＳ２４において出力した画像データＤ’の形式を示す形式情報Ｔを、立体画像形式送出部３Ｄに出力する。立体画像形式送出部３Ｄは、立体画像形式変換部３Ｂが出力した形式情報Ｔを、奥行き感ガイド生成部１Ｂおよび立体画像生成部１Ｅに出力する。

以上においては、立体画像が入力された場合を説明したが、平面（２Ｄ）画像が入力された場合、各部において処理を行わず、そのまま画像表示部１Ｅに出力し、平面画像を表示するようにしても良い。または、立体画像入力部１Ａの立体画像形式変換部３Ｂが、２Ｄ−３Ｄ変換処理（２Ｄの画像から３Ｄの画像を作り出す処理）を行うことによって、立体画像の画像データを新たに作成しても良い。

次に、奥行き感ガイドについて説明する。奥行き感ガイドは、画像表示スクリーン面（たとえば、液晶ディスプレイのディスプレイ表示面、プロジェクターからの画像を投影するスクリーン面など、画像の投影される面であり、実空間において視聴者との距離のはっきりしている面）上、あるいは、スクリーン面と平行かつスクリーン面近傍の平面上に知覚されるように表示される。
なお、画像表示スクリーン面からの距離が０（ステレオ画像においては視差０となる）、すなわち、奥行き感ガイドと画像表示スクリーン面の視聴者からの距離が、実空間において同一距離にあることが望ましい。
しかしながら、本発明においては、視聴者から奥行き感ガイドまでの距離と、視聴者から画像表示スクリーン面までの距離が、実空間においてほぼ同一である、すなわち奥行き感ガイドが画像表示スクリーン面上にあると視聴者が知覚できればよいのであって、必ずしも物理的に０でなくても良い。

図７から図９は、奥行き感ガイドを説明する概念図である。図７は、入力される立体画像の例である。Ｇ７Ｌは、左眼用画像、Ｇ７Ｒは、右眼用画像である。図８は、入力された立体画像に奥行き感ガイドを合成した画像の例である。左眼用画像Ｇ８Ｌおよび右眼用画像Ｇ８Ｒ中の同じ位置に帯状の立体画像が合成されている。図９は、図８の立体画像の知覚され方を説明する図である。

図９に示すように、前景Ｆは、奥行き感ガイドＧより前に、後景Ｂは、奥行き感ガイドＧより後ろに知覚される。そして、奥行き感ガイドＧは、画像表示スクリーン面Ｓ上に知覚されるので、実空間における立体画像の奥行き感（画像表示ディスプレイ面から被写体（物体）が飛び出しているか、奥に引っ込んでいるのか）が知覚しやすくなる。
なお、ここで前景とは、画像表示スクリーン面Sよりも手前側に知覚されるように表示された被写体の画像を指し、背景とは、画像表示スクリーン面Sよりも奥の方に知覚されるように表示された被写体の画像を指す。
以降の説明においては、奥行き感ガイドが画像表示スクリーン面からの距離が０（視差が０）に知覚されるように表示する場合について説明する。

図１０は、奥行き感ガイド生成部１Ｂの構成を示す概略ブロック図である。
奥行き感ガイド生成部１Ｂは、立体画像形式判断部５Ａ、奥行き感ガイドパラメータ調整部５Ｂ、メタデータ入力判断部５Ｃ、ユーザ入力判断部５Ｄ、パラメータ更新優先度判断部５Ｅ、奥行き感ガイドパラメータ保持メモリ５Ｃを含んで構成される。

立体画像形式判断部５Ａは、立体画像形式送出部３Ｄから立体画像の形式情報Ｔを受け取り、奥行き感ガイドパラメータ調整部５Ｂに送る。奥行き感ガイドパラメータ調整部５Ｂは、立体画像形式判断部５Ａから受け取った形式情報に基づいて、奥行き感ガイドパラメータ保持メモリ５Ｆから読み込んだ奥行き感ガイドパラメータを調整して、左眼用パラメータＰｌ、右眼用パラメータＰｒを生成し、これらを立体画像生成部１Ｅに送る。奥行き感ガイドパラメータ保持メモリ５Ｆは、奥行き感ガイドパラメータ調整部５Ｂが読み込むための奥行き感ガイドパラメータを記録している。

メタデータ入力判断部５Ｃは、メタデータ入力部１Ｂが取得したメタデータの中から、奥行き感ガイドパラメータに関する情報を取得し、パラメータ更新優先度判断部５Ｅに送る。ユーザ入力判断部５Ｄは、ユーザ入力部１Ｃから奥行き感ガイドパラメータに関する情報を取得し、パラメータ更新優先度判断部５Ｅに送る。パラメータ更新優先度判断部５Ｅは、メタデータ入力判断部５Ｃからの奥行き感ガイドパラメータに関する情報と、ユーザ入力判断部５Ｄからの奥行き感ガイドパラメータに関する情報を受け取り、奥行き感ガイドパラメータ保持メモリ５Ｆに記録されている各パラメータに関する更新優先度フラグの情報をもとに、どちらのパラメータを選択するかを判断し、奥行き感ガイドパラメータ保持メモリ５Ｆが記憶する奥行き感ガイドパラメータの値を更新する。

奥行き感ガイドのオン／オフの切り替えのタイミングに関しては、オンにする場合は、メタデータ入力判断部５Ｃもしくはユーザ入力判断部５Ｄから得られた奥行きガイドのオン／オフのフラグ情報を基に奥行き感ガイドをオンにする。オフにする場合は、上述と同様に奥行きガイドのオン／オフのフラグ情報を基に奥行き感ガイドをオフにしても良いが、オンにしてからある一定時間が経過したところで、自動的にオフになるようにしても良い。自動でオフさせる場合は、上述のある一定時間として、たとえば、奥行きガイドパラメータとして設定されている既定表示時間を用いる。また、この自動でオフにする場合に関しては、たとえば、ユーザの入力として、リモートコントローラなどのユーザインタフェースを介することによってモード（自動オフモードなど）を選択できるようにする。

図１１は、奥行き感ガイドパラメータおよび更新優先度フラグの一例を示す図である。奥行き感ガイドパラメータは、たとえば、項目として、「オン／オフ」、「表示基準座標」、「サイズ」、「透明度」、「色」、「形状」などの種々の画像としてのパラメータ、奥行き感ガイドを表示し始めてから消すまでの時間を示す「既定表示時間」（図１１では、ミリ秒（ｍｓ）であるがフレーム数などであってもよい）、上記の表示基準座標などパラメータをフレームごとに変えるためのプログラムや奥行き感ガイド表示不可領域を指示するためのプログラムなどを指定する「ガイド表示変更プログラム」などを持つ。なお、ここで座標とは、各画像の左上端を原点とし、右方向にｘ軸、下方向にｙ軸をとる。また、更新優先度フラグは、奥行き感ガイドパラメータの各項目について、ユーザ入力優先であるか、メタデータ優先であるかを示す情報を持つ。

上述の画像としてのパラメータのうち、項目「オン／オフ」は、奥行き感ガイドを表示するか否かを示す情報であり、値が「オン」の場合は、奥行き感ガイドを表示することを示し、「オフ」の場合は、奥行き感ガイドを表示しないことを示す。項目「形状」は、奥行き感ガイドの形状を示す情報であり、図１１の値「直線（ｙ＝２ｘ）」は、形状が傾き「２」の直線状（帯状）であることを示す。項目「表示基準座標」は、奥行き感ガイドを表示する際の基準となる座標であり、項目「形状」の値が「直線（ｙ＝２ｘ）」であれば、奥行き感ガイドは、その座標を通り、傾きが「２」の直線状（帯状）であることを示す。項目「表示サイズ」は、たとえば、項目「形状」の値が「直線（ｙ＝２ｘ）」であれば、直線の太さ（ｘ軸方向の幅）である。

項目「色」は、奥行き感ガイドの色を指定し、たとえば、＃ＦＦ００００（赤色）である。色を指定する情報として、前述のように画素値そのものを用いても良いし、あらかじめＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を用意しておき、ＬＵＴから選択するためのインデックスを用いても良い。項目「透明度」は、奥行き感ガイドを立体画像と合成する際の透明度であり、たとえば、５０％のように割合の形であらわされる。透明度のパラメータは色のパラメータと組み合わされ、図１２や図１３のようにカラーフィルタをかけたような表現に用いることができる。

なお、図１１に示すような奥行き感ガイドパラメータの場合、奥行き感ガイドは赤色フィルタのような役割となってしまう。すなわち、画像中の赤色画素の部分では、奥行き感ガイドが知覚されず、その役割を果たさないことが考えられる。そこで、奥行き感ガイドパラメータの項目「色」の値として、ネガモードを設定しておくと、奥行き感ガイドと重なる部分の色を、該当画素の色の補色とするネガモード表示（画素値反転表示）をするようにしても良い。また、奥行き感ガイドパラメータの項目「色」の値として、グレーモードを設定しておくと、奥行き感ガイドと重なる部分の色を、該当画素の輝度値に応じた無彩色とするグレーモード表示をするようにしても良い。また、補色モードやグレーモード以外にも、項目「色」の値として、所定の値を設定しておくと、立体画像中の該当画素の画素値に対して、所定の演算を施して得られた値を、画素値とするようにしてもよい。

なお、ここで、ネガモード表示とは、赤、緑、青の画素値が、それぞれ、Ｒ、Ｇ、Ｂのときに、以下のようにして変換した画素値Ｒ’、Ｇ’、Ｂ’に置き換える表示である。
Ｒ’＝ＰｉｘＭａｘ−Ｒ
Ｇ’＝ＰｉｘＭａｘ−Ｇ
Ｂ’＝ＰｉｘＭａｘ−Ｂ
ここでＰｉｘＭａｘとは、たとえば、８ビット階調表現できるシステムにおいては２５５などであり、１０ビット階調表現できるシステムにおいては１０２３などであり、システムに依存する値である。
また、グレーモード表示とは、以下のようにして変換した画素値Ｒ’、Ｇ’、Ｂ’に置き換える表示である。
Ｙ＝０．２１２６×Ｒ＋０．７１５２×Ｇ＋０．０７２２×Ｂ
Ｒ’＝Ｙ
Ｇ’＝Ｙ
Ｂ’＝Ｙ

それぞれの項目の値は、細かに設定しても良いが、奥行き感ガイドが効果的に作用するような、テンプレートをあらかじめ用意しておき、そこからから選択するようにしても良い。たとえば、奥行き感ガイドの形状に関しては、図１２から図２０に示すように、直線であったり、正方形であったり、任意の外形や画像など、種々の形態が考えられるため、あらかじめ用意されたテンプレートから読み込ませるとよい。また、奥行き感ガイドおよびそのパラメータが複数あってもよいし、メタデータ入力部１Ｂおよびメタデータ入力判断部５Ｃを経由して、種々のデータを奥行き感ガイドの形状のために取得するようにしても良い。

図１２に示す例は、図１１に示した奥行き感ガイドパラメータに応じた奥行き感ガイドＧ１２の例である。この奥行き感ガイドＧ１２は、形状が直線（帯状）であり、例えば、５０％などの透明度が設定されているため、奥行き感ガイドＧ１２と、立体画像中の人物とが重なった部分についは、両者の色が混ぜられた色となっている。図１３に示す例は、形状がハート型の奥行き感ガイドＧ１３である。奥行き感ガイドＧ１３においても、例えば、５０％などの透明度が設定されているため、奥行き感ガイドＧ１３と、立体画像中の背景（太陽）とが重なった部分についは、両者の色が混ぜられた色となっている。

図１４に示す例は、形状が正方形の奥行き感ガイドＧ１４である。奥行き感ガイドＧ１４においては、透明度が０％に設定されているため、奥行き感ガイドＧ１４と、立体画像中の人物とが重なった部分についは、奥行き感ガイドＧ１４が表示されている。図１５に示す例は、形状が画像（テクスチャ）の奥行き感ガイドＧ１５である。項目「形状」の値として、予め設定されている画像（テクスチャ）を指定するようにしてもよいし、ユーザが用意した画像（テクスチャ）をファイル名などで指定するようにしてもよい。

ここで、図１５における説明においては、予め設定されている画像（テクスチャ）やユーザが指定した画像（テクスチャ）であることを想定しているが、立体画像のいずれかの画像をテクスチャ情報として利用してもよい。たとえば、２視点のステレオ画像である場合の例を図１６に示す。図１６に示す例では、左眼用画像Ｇ１９Ｌの一部分（Ｇ１９ａ)を、右眼用画像Ｇ１９Ｒ中のＧ１９ａと同じ座標の領域（Ｇ１９ｂ）に表示することで、奥行き感ガイドとしている。この奥行き感ガイドの形状は、奥行き感ガイドパラメータにおいて設定する。また、Ｇ１９ａとＧ１９ｂは、それぞれ左眼用画像Ｇ１９Ｌと右眼用画像Ｇ１９Ｒにおける同じ位置であるので、該領域については視差がなく、画像表示スクリーン面上に知覚される。

なお、後述するように、奥行き感ガイドの表示位置をフレーム毎に変更させて、時間の経過とともにしているように知覚させる場合には、奥行き感ガイドの画像（テクスチャ）は表示位置に応じた画像とする。すなわち、図１７に示すように、図１６の状態から時間の経過により、左眼用画像Ｇ２０Ｌの一部分（Ｇ２０ａ)であって、Ｇ１９ａとは異なる位置の画像を、右眼用画像Ｇ２０Ｒ中のＧ２０ａと同じ座標の領域（Ｇ２０ｂ）に表示することで、奥行き感ガイドとする。
また、図１６、図１７において、左眼用画像の一部分を、右眼用画像の同じ位置に表示するとして説明したが、右眼用画像の一部分を、左目眼用画像の同じ位置に表示するようにしてもよい。
また、奥行き感ガイドが表示される面がスクリーン面からの物理的な距離が０であった場合、左眼用画像に対する奥行き感ガイドは同一の画素値となるため、奥行きガイドパラメータ（Ｐｌ）の情報量を削減することも可能である。

図１８に示す例は、奥行き感ガイドが複数表示される場合の例であり、形状が直線で、傾きが異なる２つの奥行き感ガイドＧ１６ａ、Ｇ１６ｂを表示している例である。この場合、奥行き感ガイドＧ１６ａ、Ｇ１６ｂとの各々について、色や透明度などの項目を指定できるようにしてもよい。図１９に示す例は、たとえば、画像表示装置や映像コンテンツなどから時刻情報を取得し、それを形状としている奥行き感ガイドＧ１７である。

なお、メタデータ入力判断部５Ｃもしくはユーザ入力判断部５Ｄを経由して、テンプレートの追加が行えるようにしても良い。
さらに、ガイド表示変更プログラムにおいてプログラムされた通りに各パラメータの値を画像フレームごとに変更することができる。図２０に示す例は、たとえば、表示基準座標をフレーム毎に変更することで、奥行き感ガイドＧ１８ａ、Ｇ１８ｂ、Ｇ１８ｃ、…Ｇ１８ｄというように、フレームごと表示位置を横方向に変更させている。これにより、時間経過とともに、奥行き感ガイドがスクリーン面上を横方向に移動しているように、視聴者には知覚される。

図２１は、奥行き感ガイドパラメータ調整部５Ｂの処理フローの一例を示すフローチャートである。この処理フローは、立体表示画像生成部１Ｅにおける立体画像の形式がトップアンドボトム形式であった場合の処理フローである。まず、ステップＳ９１では、奥行き感ガイドパラメータ調整部５Ｂは、奥行き感ガイドパラメータ保持メモリ５Ｆから奥行き感ガイドパラメータを読み出す。次に、ステップＳ９２では、奥行き感ガイドパラメータ調整部５Ｂは、読み出した奥行き感ガイドパラメータを、左眼用画像と右眼用画像に適用するため、２つに複製し、これら奥行き感ガイドパラメータを、左眼用パラメータと、右眼用パラメータとする。

次に、ステップＳ９３では、奥行き感ガイドパラメータ調整部５Ｂは、下記のトップアンドボトム用調整式（１）から（４）を用いて、左眼用パラメータと右眼用パラメータの表示基準座標の値を変更（調整）する。
ｘ＿ＬＥＦＴ＿ＣＯＲＲＥＣＴ ＝ ｘ＿ＬＥＦＴ ・・・（１）
ｘ＿ＲＩＧＨＴ＿ＣＯＲＲＥＣＴ ＝ ｘ＿ＲＩＧＨＴ ・・・（２）
ｙ＿ＬＥＦＴ＿ＣＯＲＲＥＣＴ ＝ ｙ＿ＬＥＦＴ／２ ・・・（３）
ｙ＿ＲＩＧＨＴ＿ＣＯＲＲＥＣＴ ＝ （ｙ＿ＬＥＦＴ＋Ｈｅｉｇｈｔ）／２・・・（４）

ここで、ｘ＿ＬＥＦＴは調整前の左眼用パラメータの表示基準座標のｘ座標値である。ｘ＿ＲＩＧＨＴは調整前の右眼用パラメータの表示基準座標のｘ座標値である。ｙ＿ＬＥＦＴは調整前の右眼用パラメータの表示基準座標のｙ座標値である。ｙ＿ＲＩＧＨＴは調整前の右眼用パラメータの表示基準座標のｙ座標値である。ｘ＿ＬＥＦＴ＿ＣＯＲＲＥＣＴは調整後の左眼用パラメータの表示基準座標のｘ座標値である。ｘ＿ＲＩＧＨＴ＿ＣＯＲＲＥＣＴは調整後の右眼用パラメータの表示基準座標のｘ座標値である。ｙ＿ＬＥＦＴ＿ＣＯＲＲＥＣＴは調整後の右眼用パラメータの表示基準座標のｙ座標値である。ｙ＿ＲＩＧＨＴ＿ＣＯＲＲＥＣＴは調整後の右眼用パラメータの表示基準座標のｙ座標値である。Ｈｅｉｇｈｔは、トップアンドボトム画像における左眼用画像の高さである。

なお、立体画像の形式は、前述したような立体画像形式（サイドバイサイド、トップアンドボトム、フレームシーケンシャル）以外の形式であってもよい。
このように、トップアンドボトム用調整式（１）、（２）は、表示基準座標を左眼用パラメータと、右眼用パラメータで同一となるようにしている。すなわち、奥行き感ガイドについては、視差が「０」となっているので、奥行き感ガイドは、画像表示スクリーン面上にあると知覚されるように表示される。なお、奥行き感ガイドが画像表示スクリーン面上あるいはその近傍にあると知覚されるように調整されれば良いので、視差が「０」あるいは極小さい値になるように調整されるのであれば、上述以外の調整方法であってもよい。

図２２は、立体表示画像生成部１Ｅの構成を示す概略ブロック図である。図２２に示す通り、立体表示画像生成部１Ｅは、立体表示画像合成部１２Ａ、立体表示画像変換部１２Ｂを含んで構成される。立体表示画像合成部１２Ａは、左眼用パラメータＰｌと、右眼用パラメータＰｒとを用いて、立体画像の画像データＤ’に、奥行き感ガイドを合成する。立体表示画像変換部１２Ｂは、立体表示画像合成部１２Ａが合成して生成した立体画像のデータを、画像表示部１Ｆが表示可能な形式に変換する。なお、立体表示画像変換部１２Ｂは、形式情報Ｔを立体画像入力部１Ａから取得し、該形式を、立体表示画像合成部１２Ａが生成した立体画像のデータの形式として扱う。

図２３は、立体表示画像生成部１Ｅの動作を説明するフローチャートである。まず、ステップＳ１３１では、立体表示画像合成部１２Ａは、立体画像データ送出部３Ｃが出力した画像データＤ’と、奥行き感ガイドパラメータ調整部５Ｂが出力した左眼用パラメータＰｌおよび右眼用パラメータＰｒとに基づき、画像データＤ’に奥行き感ガイドを合成する。ここで、奥行き感ガイドの合成方法は、たとえば、左眼用パラメータＰｌおよび右眼用パラメータＰｒを基に奥行き感ガイドの画素値を算出し、画像データＤ’の画素データを上書きすることにより、実現しても良いし、また、左眼用パラメータＰｌおよび右眼用パラメータＰｒを基に、画像データＤ’の対応する画素データの値を変更させても良い。

次に、ステップＳ１３２では、立体表示画像変換部１２Ｂは、画像表示部１Ｆが対応する立体画像の形式を画像表示部１Ｆから取得し、取得した形式と、立体画像形式送出部３Ｄが出力した形式情報Ｔが示す形式とを比較する。この比較の結果、これらの形式が同一であったときは（Ｓ１３２−Ｙ）、立体表示画像変換部１２Ｂは、立体表示画像合成部１２Ａが合成した画像データを、そのまま画像表示部１Ｆに送る（Ｓ１３３）。一方、ステップＳ１３２の比較の結果、これらの形式が同一でないときは、立体表示画像合成部１２Ａが合成した画像データの形式を、画像表示部１Ｆが対応する立体画像の形式に変換し、画像表示部１Ｆに送る（Ｓ１３４）。

以上のように画像表示部１Ｆが対応する立体画像の形式を、画像表示部１Ｆから取得することにより、たとえば、画像出力デバイス（画像表示部１Ｆ）が交換されるなど、画像表示部１Ｆの対応する形式が変わってしまった場合でも、立体表示画像生成部１Ｅまでの構成を変えることなく、奥行き感ガイドを合成した立体画像を生成し、表示させることができる。

２眼式立体画像表示方式においては、調節（眼のピント位置）と輻輳（左右視線の交差位置）の不一致により、立体空間再現において歪みが生じる（実空間に存在した場合と同様に知覚されえない）。すなわち、厳密に奥行き感が知覚できていない。しかし、上述のように、奥行き感ガイドを、画像表示スクリーン面上あるいはその近傍に知覚されるように表示すると、調節位置＝輻輳位置となり、奥行き感に空間的な歪みが生じない位置となる。このため、奥行き感ガイドについては、実空間における奥行きを正確に知覚することができる。したがって、この奥行き感ガイドを基準にして、立体画像中の物体の前後方向の位置を把握することができる。すなわち、本実施形態の立体画像処理装置１０は、立体画像中の物体の前後方向の位置を、視聴者が把握し易い立体画像を生成することができる。
また、図２０のように、奥行き感ガイドを移動させることで、立体画像中の主要被写体に常に重なってしまい、主要被写体を見難くなることを防ぐことができる。

［第２の実施形態］
第２の実施形態では、両眼視野闘争が起こらないように、奥行き感ガイドを表示する。なお、両眼視野闘争とは、左右眼に提示される刺激（輝度、色、大きさなど）が異なる場合、知覚される像が左右眼で継時的に入れ替わる現象である。図２４から図２６は、両眼視野闘争を説明する画像例を示す図である。ここでは、平行法によって立体視した場合において説明する。

図２４の左眼用画像Ｇ２２Ｌ、右眼用画像Ｇ２２Ｒを立体視すると、網掛けされた円形は表示面より奥に知覚され、白い縦棒は表示面上に知覚され、白い円形は表示面より手前に知覚される。このため、白い縦棒が、網掛けされた円形の上に重ねて描画されていても、正常に（違和感なく）立体視を行うことができる。図２５の左眼用画像Ｇ２３Ｌ、右眼用画像Ｇ２３Ｒを立体視すると、図２４と同様に、網掛けされた円形は表示面より奥に知覚され、白い縦棒は表示面上に知覚され、白い円形は表示面より手前に知覚される。しかし、図２５では、白い縦棒が、それよりも手前に知覚される白い円形の上に重ねて描画されているため、正常に立体視を行うことができず、ちらつきが感じられる。これが、両眼視野闘争である。一方、図２６では、白い縦棒は、それよりも手前に知覚される白い円形と重なる部分については、描画されていないため、図２６の左眼用画像Ｇ２４Ｌ、右眼用画像Ｇ２４Ｒを立体視すると、正常に（違和感なく）立体視を行うことができる。

本実施の形態では、表示する立体画像に対する奥行きデータを取得し、奥行き感ガイドより手前（すなわち、表示スクリーンより手前）にある被写体上には、図２６の白い縦棒のように奥行き感ガイドを表示しない、もしくは半透明に表示することで、両眼視野闘争が起こらないように、奥行き感ガイドを表示する。

図２７は、本実施形態における立体画像処理装置１１の構成を示す概略ブロック図である。同図において、図１の各部に対応する部分については、同一の符号（１Ａ、１Ｂ、１Ｄ、１Ｆ）を付し、説明を省略する。立体画像処理装置１１は、立体画像入力部１Ａ、奥行き感ガイド生成部１Ｂ、メタデータ入力部１１Ｃ、ユーザ入力部１Ｄ、立体表示画像生成部１１Ｅ、画像表示部１Ｆを含んで構成される。

メタデータ入力部１１Ｃは、図１におけるメタデータ入力部１Ｃと同様に外部から種々のメタデータの入力を受け付けるが、これら受け付けたメタデータのうち、立体画像入力部１Ａが受け付けた立体画像の画像データに対応する奥行きデータＰを、立体表示画像生成部１１Ｅに出力する点がメタデータ入力部１Ｃと異なる。立体表示画像生成部１１Ｅは、図１における立体表示画像生成部１Ｅと同様に、奥行き感ガイドを合成した、立体画像の表示用信号を生成するが、奥行き感ガイドを合成する際に、メタデータ入力部１Ｃが出力した奥行きデータＰを用いて、奥行き感ガイドより手前（すなわち、表示スクリーンより手前）にある被写体上に奥行き感ガイドを表示しないように、もしくは奥行き感ガイドが半透明になるようにする点が立体表示画像生成部１Ｅと異なる。

図２８は、立体表示画像生成部１１Ｅの構成を示す概略ブロック図である。同図において、図２２の各部に対応する部分については、同一の符号（１２Ｂ、１Ｆ）を付し、説明を省略する。立体表示画像生成部１１Ｅは、立体表示画像合成部１７Ａ、立体表示画像変換部１２Ｂを含んで構成される。立体表示画像合成部１７Ａは、奥行きデータＰと、左眼用パラメータＰｌと、右眼用パラメータＰｒとを用いて、立体画像の画像データＤ’に、奥行き感ガイドを合成する。

図２９は、立体表示画像生成部１１Ｅの動作を説明するフローチャートである。まず、ステップＳ１８１では、立体表示画像合成部１７Ａは、奥行き感ガイドの左眼用パラメータＰｌおよび右眼用パラメータＰｒを取得し、これらを基に奥行き感ガイドの画像データを生成する。次に、ステップＳ１８２では、立体表示画像合成部１７Ａは、ステップＳ１８１で生成した奥行き感ガイドを、奥行きデータＰを基に調整する。

具体的には、たとえば、奥行き感ガイドのうち、奥行きデータＰから前景部分に該当する部分の透明度を１００％に変更することで、立体画像の前景部分には奥行き感ガイドを表示しないようにする。もしくは、奥行きデータＰの値から被写体が手前にあるほど、透明度が大きくなるように変化させるようにしても良いし、また、画像表示スクリーンより手前にある前景部分は透明度７０％、画像表示スクリーンより後ろにある背景部分は透明度３０％というように、前景部分と背景部分とで透明度などの合成パラメータの値が異なるようにしても良い。
なお、奥行きデータＰが視差情報であれば、視差の値が正であるか、負であるかに基づき、被写体が画像表示スクリーンより、前にあるのか、後ろにあるのかを判定することができる。

次に、ステップＳ１８３では、立体表示画像合成部１７Ａは、画像データＤ’に、ステップＳ１８２において調整された奥行き感ガイドを合成する。以降のステップＳ１３２からステップＳ１３４は、図２３におけるステップＳ１３２からステップＳ１３４と同一であるので、説明を省略する。

図３０は、前景部分の透明度を１００％とした奥行き感ガイドの例を示す図である。左眼用画像中の奥行き感ガイドＧ２８Ｌ、右眼用画像中の奥行き感ガイドＧ２８Ｒともに、前景である人物と重なった部分は、透明度１００％としているため、奥行き感ガイドではなく人物を表示している。また、後景である山と重なった部分は、ここでは透明度を０％としているため、山ではなく奥行き感ガイドを表示している。
図３１は、前景部分と後景部分とで透明度を異なるようにした奥行き感ガイドの例を示す図である。左眼用画像中の奥行き感ガイドＧ２９Ｌ、右眼用画像中の奥行き感ガイドＧ２９Ｒともに、前景である人物と重なった部分は、透明度５０％としているため、奥行き感ガイドと人物とを表示している。また、後景である山と重なった部分は、ここでは透明度を０％としているため、山ではなく奥行き感ガイドを表示している。

図３２は、前景部分における奥行き感ガイドの透明度を１００％とした奥行き感ガイドの変形例を示す図である。前景部分における透明度を１００％とすると、図３２の画像Ｇ３０ａのように、前景部分の面積が奥行き感ガイドに対して大きくなり、奥行き感ガイドの表示される部分が少なくなってしまうことがある。このようなことを防ぐために、表示される部分の画素数が、奥行き感ガイドの画素数に占める割合が、予め設定された閾値より小さくなったときには、立体表示画像合成部１７Ａが、奥行き感ガイドのパラメータである表示基準座標の値を変更するようにしてもよい。この変更により、図３２の画像Ｇ３０ｂのように、前景部分の面積が奥行き感ガイドに対して占める割合が、閾値より小さくなる位置まで移動させることができる。

以上においては、主に透明度を変化させる例で説明したが、この限りではなく、たとえば色パラメータを変更させても良いし、前景部分の画素値のみ反転（ネガモード）させても良く、さらに奥行き感ガイドの表示位置を変更するようにしてもよい。

［第２の実施形態の変形例］
たとえば、基準位置とサイズを組み合わせて変更させる変形例を説明する。図３３は、本変形例における立体画像処理装置１１’の構成を示す概略ブロック図である。図３３において、図２７の各部に対応する部分には同一の符号（１Ａ、１Ｂ、１Ｄ、１Ｆ）を付け、その説明を省略する。立体画像処理装置１１’は、立体画像入力部１Ａ、奥行き感ガイド生成部１Ｂ、メタデータ入力部１１Ｃ’、ユーザ入力部１Ｄ、立体表示画像生成部１１Ｅ’、画像表示部１Ｆを含んで構成される。
メタデータ入力部１１Ｃ’は、受け付けたメタデータのうち、奥行きデータＰに加えて、後述する視聴距離Ｌを、立体表示画像生成部１１Ｅ’に出力する点が図２７のメタデータ入力部１１Ｃとは異なる。メタデータ入力部１１Ｃ’は、赤外線照射型などの測距センサを備え、該測距センサにより、立体画像処理装置１１’から視聴者までの距離を検出し、これを視聴距離Ｌとする。立体表示画像生成部１１Ｅ’は、奥行きデータＰなどに加えて、視聴距離Ｌを用いて、画像データＤ’の立体画像に、奥行き感ガイドを合成する点が図２７の立体表示画像生成部１１Ｅとは異なる。

図３４は、立体表示画像生成部１１Ｅ’の構成を示す概略ブロック図である。図３４において、図２８の各部に対応する部分には同一の符号（１２Ｂ、１Ｆ）を付け、その説明を省略する。立体表示画像生成部１１Ｅ’は、立体表示画像合成部１７Ａ’、立体表示画像変換部１２Ｂを含んで構成される。立体表示画像合成部１７Ａ’は、奥行きデータＰなどに加えて視聴距離Ｌを用いて、奥行き感ガイドを、画像データＤ’の立体画像に合成する。

図３５は、立体表示画像合成部１７Ａ’が合成した立体画像の例を示す図である。図３５の左眼用画像Ｇ３３Ｌにおいては、奥行き感ガイドは、前景である人物と重なる部分については、横幅が小さくなり、その右端側の一部のみが表示されている。一方、右眼用画像Ｇ３３Ｒにおいては、奥行き感ガイドは、前景である人物と重なる部分については、横幅が小さくなり、その左端側の一部のみが表示されている。ここで、一部のみが表示されている部分の横幅Ｓ’については、該当部分の視差がαで、奥行き感ガイドパラメータの項目「表示サイズ」がＳであるとき、立体表示画像合成部１７Ａ’は、以下の式を用いて算出する。
Ｓ’＝Ｓ（１−α／２Ｓ）

これは、図３６に示すように、左右眼の奥行き感ガイドに関する共通視野と前景物体Fの重なる部分Ｇ’にのみガイドを合成するようにした例である。なお、図３６において、符号Ｓは、画像表示スクリーン、符号Ｇは奥行き感ガイド、符号Ｆは前景物体（人物）、符号Ｅｌは左眼の視点、符号Ｅｒは右眼の視点、符号Ｌは画像表示スクリーンＳから視聴者までの距離、すなわち上述の視聴距離である。このように表示すると、前景物体Ｆのうち、共通視野Ｇ’の部分に穴が開いていて、前景物体Ｆの後ろにある奥行き感ガイドＧが見えているように、視聴者には知覚される。

なお、メタデータ入力部１１Ｃ’が視聴距離Ｌを取得できないとき、あるいは、メタデータ入力部１１Ｃ’が視聴距離Ｌを取得できない構成の場合、標準視距離値を視聴距離Ｌとしてもよい。標準視距離値は、たとえば、ＦｕｌｌＨＤ画像（幅１９２０×高さ１０８０画素の画像）においては、３Ｈ（画面高の３倍）が一般的である。なお、画面高と標準視距離との関係は、画像の垂直画素数に依存する。
また、本実施の形態においても、図２０と同様に、フレーム毎に奥行き感ガイドの表示位置を変えるようにしても良い。

また、上述の第２の実施形態およびその変形例では、奥行きデータＰをメタデータとして取得する例を示したが、入力される立体画像に対して、ブロックマッチング法などで、視差を求めて、これを奥行きデータＰとして用いるようにしてもよい。図３７は、視差を求めて、これを奥行きデータＰとする場合の立体画像入力部の変形例である立体画像入力部１Ａ’の構成を示す概略ブロック図である。図３７に示すように、立体画像入力部１Ａ’は、立体画像入力１Ａとは、奥行きデータ生成部１６Ａを有する点が異なる。奥行きデータ生成部１６Ａは、立体画像判断部３Ａが出力した立体画像の画像データおよび立体画像形式の情報を基に奥行きデータＰを算出する。なお、算出する奥行きデータＰは、画像表示スクリーン面よりも手前であるか、もしくは奥であるかを判断できるものであればよく、上述のブロックマッチング法に限定されない。

このように、第２の実施形態およびその変形例では、前景と重なる部分と、背景と重なる部分との間で、奥行き感ガイドの表示パラメータを変更しているので、画像中の奥行き感がより得やすい。たとえば、前景と重なる部分の透明度を１００％にすることで、視野闘争が発生しないようにすることができる。また、１００％ではなくても、前景と重なる部分を、背景と重なる部分よりも透明度を大きくし、例えば、５０％などの半透明にしたときも、視野闘争を軽減することができる。画像表示部１Ｆから表示される画像が立体画像ではなく平面画像として表示する場合にも、奥行き感ガイドによって、画像中の奥行き感を間接的に知ることができる。

第１の実施形態および第２の実施形態においては、立体画像の形式として２視点のステレオ画像を例として説明した。しかしながら、本発明はそれに限定されず、たとえば多視点の立体画像にも適用できる。

図３８は、３視点の立体画像の例を示す図である。Ｇ３６Ｌは左画像、Ｇ３６Ｃは中央画像、Ｇ３６Ｒは右画像である。
ここで、３視点以上の多視点立体画像を取り扱う場合において、入力される立体画像の視点数と出力される立体画像の視点数が同一である場合、第１の実施形態および第２の実施形態に示した構成および処理フローが変わることはなく、立体画像形式の一種として処理を行うことができる。

以降では、特異な例として、入力される立体画像の視点数と出力される立体画像の視点数が異なる場合について説明する。
第３および第４の実施形態では、入力される立体画像の視点数よりも、出力される立体画像の視点数が多い場合の例として、入力される立体画像が２視点、出力される立体画像が３視点である場合について説明する。

入力よりも出力の視点数が多い場合の形態としては、２パターン考えられる。第１のパターンは、２視点の立体画像データおよび奥行きデータから新たに３視点目の画像を生成するパターンである。第２のパターンは、２視点の立体画像データのいずれか一方を、３視点目の画像として選択するパターンである。

［第３の実施形態］
上述の第１のパターンの実施形態である第３の実施形態を説明する。本実施形態における立体画像処理装置は、図１に示す立体画像処理装置１０とは、立体画像入力部１Aに変えて、立体画像入力部１３Aを有する点が異なる。図３９は、立体画像入力部１３Aの構成を示す概略ブロック図である。同図において、図３７の各部に対応する部分については、同一の符号（３A、３C〜３E、１６Ａ）を付け、説明を省略する。立体画像入力部１３Aは、立体画像判断部３A、立体画像形式変換部３３B、立体画像データ送出部３C、立体画像形式送出部３D、既定形式記憶部３E、奥行きデータ生成部１６Ａを含んで構成される。

立体画像形式変換部３３Ｂは、立体画像判断部３Ａが出力した２視点の立体画像の画像データと、奥行きデータ生成部１６Ａが生成した奥行きデータＰとを用いて、３視点目（例えば、図３８の中央画像Ｇ３６Ｃに該当）の画像データを生成する。また、立体画像形式変換部３３Ｂは、立体画像判断部３Ａが出力した画像データと、生成した３視点目の画像データとを合わせて、既定の形式の立体画像の画像データＤ’に変換する。
なお、図３３に示す立体画像処理装置１１’と同様に、奥行きデータＰをメタデータ入力部１１Ｃ’が取得し、立体画像形式変換部３３Ｂは、この奥行きデータＰを用いて３視点目の画像データを生成するようにしてもよい。

図４０は、立体画像形式変換部３３Ｂの動作を説明するフローチャートである。まず、ステップＳ２８１では、立体画像形式変換部３３Ｂは、奥行きデータ生成部１６Ａが生成した奥行きデータを受け取る。次に、ステップＳ２８２では、立体画像形式変換部３３Ｂは、奥行きデータＰと、立体画像判断部３Ａから得られる立体画像の画像データＤから、３視点目の画像を新たに生成する。

このように、入力された立体画像が２視点であっても、奥行きデータを用いて、３視点以上の立体画像に変換し、３視点以上の立体画像においても、第１や第２の実施形態と同様に奥行き感ガイドを合成して、立体画像中の物体の前後方向の位置を、視聴者が把握し易い立体画像を生成することができる。

［第４の実施形態］
上述の第２のパターンの実施形態である第４の実施形態を説明する。本実施形態における立体画像処理装置は、図１に示す立体画像処理装置１０とは、立体画像入力部１Aに変えて、立体画像入力部１４Aを有し、メタデータ入力部１Ｃに変えて、メタデータ入力部１４Ｃを有する点が異なる。図４１は、立体画像入力部１４Aの構成およびメタデータ入力部１４Ｃとの関係を示す概略ブロック図である。同図において、図５の各部に対応する部分については、同一の符号（３A、３C〜３E）を付け、説明を省略する。立体画像入力部１４Ａは、立体画像判断部３Ａ、立体画像形式変換部４３Ｂ、立体画像データ送出部３Ｃ、立体画像形式送出部３Ｄ、既定形式記憶部３Ｅ、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）４４Ａを含んで構成される。

メタデータ入力部１４Ｃは、図１のメタデータ入力部１Ｃとは、受け付けたメタデータのうち、視点モードＭを立体画像形式変換部４３Ｂに出力する点が異なる。ＬＵＴ４４Ａは、視点モードと、該視点モードにおける画像の構成との対応付けを、予め記憶している。立体画像形式変換部４３Ｂは、メタデータ入力部１４Ｃが出力した視点モードＭと対応付けて、ＬＵＴ４４Ａが記憶している画像の構成に従い、立体画像判断部３Ａが出力した画像データを、該視点モードの立体画像の画像データに変換する。

図４２は、ＬＵＴ４４Ａが記憶している視点モードと画像の構成との対応付けの例を示す図である。この例は、立体画像形式変換部４３Ｂは、２視点から３視点に変換する場合の例である。図４２に示す例では、視点モードが「モード１」のときは、１視点目は、入力された立体画像の左画像（Ｌ）、２視点目も、左画像、３視点目は、右画像（Ｒ）である。同様に、視点モードが「モード２」のときは、１視点目は、左画像、２視点目は、右画像、３視点目は、右画像である。視点モードが「モードＬ」のときは、１視点目から３視点目まで、全て左画像である。視点モードが「モードＲ」のときは、１視点目から３視点目まで、全て右画像である。

図４３は、ＬＵＴ４４Ａが記憶している視点モードと画像の構成との対応付けの別の例を示す図である。この例は、立体画像形式変換部４３Ｂが２視点から４視点に変換する場合の例である。図４３に示す例では、視点モードが「モード１」のときは、１視点目は、入力された立体画像の左画像、２視点目および３視点目も、左画像、４視点目は、右画像である。同様に、視点モードが「モード２」のときは、１視点目および２視点目は、左画像、３視点目および４視点目は、右画像である。視点モードが「モード３」のときは、１視点目は、左画像、２視点目から４視点目は、右画像である。視点モードが「モードＬ」のときは、１視点目から４視点目まで、全て左画像である。視点モードが「モードＲ」のときは、１視点目から４視点目まで、全て右画像である。

図４４は、立体画像形式変換部４３Ｂの動作を説明するフローチャートである。まず、ステップＳ３１１では、立体画像形式変換部４３Ｂは、メタデータ入力部１４Ｃから視点モードＭを受け取る。ステップＳ３１２では、立体画像形式変換部３Ｂは、視点モードＭに基き、左画像もしくは右画像を複製し、３視点目の画像として登録する。
なお、本実施形態において、視点モードＭは、メタデータ入力部１４Ｃが取得するとして説明したが、ユーザが指定し、これをユーザ入力部１Ｄが検出するようにしてもよい。

このように、入力された立体画像が２視点であっても、視点モードを用いて、３視点以上の立体画像に変換し、３視点以上の立体画像においても、第１や第２の実施形態と同様に奥行き感ガイドを合成して、立体画像中の物体の前後方向の位置を、視聴者が把握し易い立体画像を生成することができる。

［第５の実施形態］
第３および第４の実施形態では、入力される立体画像の視点数が少なく、出力される立体画像の視点数が多い場合の例として、入力される立体画像が２視点、出力される立体画像が３視点である場合について説明した。第５の実施形態では、入力される立体画像の視点数よりも、出力する立体画像の視点数が少ない場合の例として、入力される立体画像が３視点、出力する立体画像が２視点である場合について説明する。

本実施形態における立体画像処理装置は、図１に示す立体画像処理装置１０とは、立体画像入力部１Ａに変えて、立体画像入力部１５Aを有し、メタデータ入力部１Ｃに変えて、メタデータ入力部１５Ｃを有する点が異なる。図４５は、立体画像入力部１５Aの構成およびメタデータ入力部１５Ｃとの関係を示す概略ブロック図である。同図において、図５の各部に対応する部分については、同一の符号（３A、３C〜３E）を付け、説明を省略する。立体画像入力部１５Ａは、立体画像判断部３Ａ、立体画像形式変換部５３Ｂ、立体画像データ送出部３Ｃ、立体画像形式送出部３Ｄ、既定形式記憶部３Ｅ、ＬＵＴ５４Ａを含んで構成される。

メタデータ入力部１５Ｃは、図１のメタデータ入力部１Ｃとは、受け付けたメタデータのうち、視点優先度Ｅｐを立体画像形式変換部５３Ｂに出力する点が異なる。ＬＵＴ５４Ａは、視点優先度Ｅｐと、該視点優先度Ｅｐにおける画像の構成との対応付けを、予め記憶している。立体画像形式変換部５３Ｂは、メタデータ入力部１５Ｃが出力した視点優先度Ｅｐと対応付けて、ＬＵＴ５４Ａが記憶している画像の構成に従い、立体画像判断部３Ａが出力した画像データを、該視点優先度Ｅｐの立体画像の画像データに変換する。

図４６は、ＬＵＴ５４Ａが記憶する視点優先度と画像の構成との対応付けの例を示す図である。図４６に示す例では、視点モードが「モード１」のときは、１視点目は、入力された立体画像の左画像（Ｌ）、２視点目は、右画像（Ｒ）である。同様に、視点モードが「モード２」のときは、１視点目は、左画像、２視点目は、中央画像（Ｃ）である。視点モードが「モード３」のときは、１視点目は、中央画像、２視点目は、右画像である。視点モードが「モードＬ」のときは、１視点目も２視点目も左画像である。視点モードが「モードＲ」のときは、１視点目も２視点目も右画像である。視点モードが「モードＣ」のときは、１視点目も２視点目も中央画像である。

図４７は、立体画像形式変換部５３Ｂの動作を説明するフローチャートである。まず、ステップＳ３５１では、立体画像形式変換部５３Ｂは、視点優先度Ｅｐを受け取る。次に、ステップＳ３５２では、立体画像形式変換部５３Ｂは、視点優先度Ｅｐを基に、３視点の立体画像から既定の２視点の立体画像形式に変換する。

［第６の実施形態］
第６の実施形態では、入力される立体画像の視点数よりも、出力する立体画像の視点数が少ない場合の例として、入力される立体画像が３視点、出力する立体画像が２視点である場合の第５の実施形態とはべつの例について説明する。

本実施形態における立体画像処理装置は、図１に示す立体画像処理装置１０とは、立体画像入力部１Aに変えて、立体画像入力部１６Aを有し、メタデータ入力部１Ｃに変えて、メタデータ入力部１６Ｃを有する点が異なる。図４８は、立体画像入力部１６Aの構成およびメタデータ入力部１６Ｃとの関係を示す概略ブロック図である。同図において、図４５の各部に対応する部分については、同一の符号（３A、３C〜３E、５３Ｂ、５４Ａ）を付け、説明を省略する。立体画像入力部１５Ａは、立体画像判断部３Ａ、立体画像形式変換部５３Ｂ、立体画像データ送出部３Ｃ、立体画像形式送出部３Ｄ、既定形式記憶部３Ｅ、ＬＵＴ５４Ａ、視聴優先度決定部６４Ａを含んで構成される。

メタデータ入力部１６Ｃは、図１のメタデータ入力部１Ｃとは、受け付けたメタデータのうち、視聴位置Ｗｐを視聴優先度決定部６４Ａに出力する点が異なる。メタデータ入力部１６Ｃは、例えば、人感センサを備え、画像表示スクリーンに向かって、視聴者が右寄りにいるか、左寄りにいるかを検出し、検出結果を視聴位置Ｗｐとして出力する。視聴優先度決定部６４Ａは、メタデータ入力部１６Ｃが出力した視聴位置Ｗｐに応じて、視聴優先度Ｅｐを決定し、立体画像形式変換部５３Ｂに出力する。例えば、視聴優先度決定部６４Ａは、メタデータ入力部１６Ｃが出力した視聴位置Ｗｐが左寄りであるときは、視聴優先度Ｅｐを「モード２」とし、視聴位置Ｗｐが右寄りであるときは、視聴優先度Ｅｐを「モード３」とする。これにより、視聴者が、画像表示スクリーンに向かって左側にいるときは、左画像と中央画像とが表示され、右側にいるときは、中央画像と右画像とが表示される。すなわち、視聴者の位置に応じた方向から見た画像が表示される。

図４９は、視聴優先度決定部６４Ａおよび立体画像形式変換部５３Ｂの動作を説明するフローチャートである。まず、ステップＳ３８１において、視聴優先度決定部６４Ａは、メタデータ入力部１６Ｃからメタデータとして視聴位置Ｗｐを受け取る。
ステップＳ３８２において、視聴位置データ取得部３７Ａは、取得した視聴位置データを基に、図４６のモードを選択し、視点優先度データを立体画像形式変換部３Ｂに送る。
ステップＳ３８３において、立体画像形式変換部３Ｂは、視聴位置データ取得部３７Ａから取得した視点優先度データを基に、３視点の立体画像から既定の２視点の立体画像形式に変換する。

また、各実施形態の立体画像処理装置の機能あるいはその機能の一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより立体画像の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１０、１１、１１’…立体画像処理装置
１Ａ、１Ａ’、１３Ａ、１４Ａ、１５Ａ…立体画像入力部
１Ｂ…奥行き感ガイド生成部
１Ｃ、１１Ｃ、１１Ｃ’、１４Ｃ、１５Ｃ、１６Ｃ…メタデータ入力部
１Ｄ…ユーザ入力部
１Ｅ、１１Ｅ、１１Ｅ’…立体表示画像生成部
１Ｆ…画像表示部
３Ａ…立体画像判断部
３Ｂ、３３Ｂ、４３Ｂ、５３Ｂ…立体画像形式変換部
３Ｃ…立体画像データ送出部
３Ｄ…立体画像形式送出部
３Ｅ…既定形式記憶部
５Ａ…立体画像形式判断部
５Ｂ…奥行き感ガイドパラメータ調整部
５Ｃ…メタデータ入力判断部
５Ｄ…ユーザ入力判断部
５Ｅ…パラメータ更新優先度判断部
５Ｆ…奥行き感ガイドパラメータ保持メモリ
１２Ａ、１７Ａ、１７Ａ’…立体表示画像合成部
１２Ｂ…立体表示画像変換部
１６Ａ…奥行きデータ生成部
４４Ａ、５４Ａ…ＬＵＴ
６４Ａ…視聴優先度決定部

Claims (11)

1. 立体画像を表示する表示部の実空間での位置を表す案内画像であって、前記立体画像での奥行きの基準となる案内画像を、前記立体画像に重ねた画像を生成すし、
   前記重ねた画像は、前記案内画像を、前記立体画像中の予め決められた位置であって、その左右が立体画像に挟まれる位置に重ねた画像であること
   を特徴とする立体画像処理装置。
2. 前記案内画像は、前記表示部の画像表示スクリーン面上あるいは該画像表示スクリーンと平行かつ該画像表示スクリーン面近傍の平面上に知覚される画像であることを特徴とする請求項１に記載の立体画像処理装置。
3. 前記案内画像が、前記立体画像を構成するいずれかの視点からの画像の一部分であることを特徴とする請求項２に記載の立体画像処理装置。
4. 前記立体画像の奥行きデータに基づき、前記案内画像を前記立体画像に重ねた画像を生成することを特徴とする請求項２に記載の立体画像処理装置。
5. 前記案内画像を前記立体画像に重ねる際の合成パラメータを、前記案内画像と前記立体画像が重なる部分が、前記画像表示スクリーンよりも手前に知覚される被写体の部分である前景部分であるか、前記画像表示スクリーンよりも後ろに知覚される被写体の部分である背景部分であるかにより、異なる値とすることを特徴とする請求項４に記載の立体画像処理装置。
6. 前記合成パラメータは、前記案内画像の透明度であり、前記前景部分における透明度を、前記背景部分における透明度よりも大きくすることを特徴とする請求項５に記載の立体画像処理装置。
7. 前記前景部分における透明度が１００％であることを特徴とする請求項６に記載の立体画像処理装置。
8. 前記合成パラメータは、前記案内画像の横幅であり、前記前景部分における横幅を、前記背景部分における横幅よりも小さくすることを特徴とする請求項５に記載の立体画像処理装置。
9. 前記案内画像の表示位置を、フレーム毎に変更することを特徴とする請求項１から請求項８のいずれかの項に記載の立体画像処理装置。
10. 立体画像を処理する立体画像処理方法において、
    立体画像を表示する表示部の実空間での位置を表す案内画像であって、前記立体画像での奥行きの基準となる案内画像を、前記立体画像に重ねた画像を生成する過程
    を有し、
    前記重ねた画像は、前記案内画像を、前記立体画像中の予め決められた位置であって、その左右が立体画像に挟まれる位置に重ねた画像であること
    を特徴とする立体画像処理方法。
11. 立体画像を処理する立体画像処理装置のコンピュータに、
    立体画像を取得する過程と、
    前記立体画像を表示する表示部の実空間での位置を表す案内画像であって、前記立体画像での奥行きの基準となる案内画像を、前記立体画像に重ねた画像を生成する過程と
    を実行させるプログラムであって、
    前記重ねた画像は、前記案内画像を、前記立体画像中の予め決められた位置であって、その左右が立体画像に挟まれる位置に重ねた画像であること
    を特徴とするプログラム。

Images