JPWO2011070774A1 - ３ｄ映像処理装置および３ｄ映像処理方法 - Google Patents

Abstract

左目用映像信号および右目用映像信号を含み、３Ｄ映像を実現する３Ｄ映像信号を処理する３Ｄ映像処理装置であって、左目用映像信号、および、右目用映像信号を入力し、３Ｄ映像に含まれる被写体の視差を検出し、視差情報として出力する視差検出部と、視差情報に基づき、左目用映像信号および右目用映像信号の少なくともいずれか一方の、視差が所定の範囲に含まれる被写体の映像領域に所定の画像処理を施す、映像処理部と、を有する、３Ｄ映像処理装置。

Description

本発明は、立体視可能な映像（３Ｄ映像）を処理する３Ｄ映像処理装置および３Ｄ映像処理方法に関し、特に、３Ｄ映像制作を支援する３Ｄ映像処理装置および３Ｄ映像処理方法に関する。

観察者の左目および右目それぞれに提示する映像（左目用映像および右目用映像）を撮影することにより立体視可能な映像信号（３Ｄ映像信号）を生成する３Ｄ映像撮像装置に注目が集まっている。

左目用映像を撮像する左目用映像カメラ（左目用映像撮像部）と右目用映像を撮像する右目用映像カメラ（右目用映像撮像部）の配置を調整することにより、３Ｄ映像の立体感の強弱を変化させ得ることが知られている。つまり、２つのカメラの配置を調整することで、左目用映像および右目用映像に含まれる被写体の視差の大きさを調節することができる。例えば、両カメラの光軸に略垂直な方向のカメラ間間隔や、両カメラの光軸の交差角（輻輳角）といった量を調整することで、３Ｄ映像の立体感の強弱を変化させることができる。輻輳角は、カメラのレンズの配置を調整することで、変更可能であることが知られている。

成人の両目の間隔は、平均として、およそ６５ｍｍである。それゆえ、２つのカメラ、すなわち、左目用映像撮像部と右目用映像撮像部の間隔は、６５ｍｍに設置することが基本とされる。しかしながら、カメラ単体が大きすぎて、両カメラを６５ｍｍ間隔で設置できない場合もある。２つのカメラの間隔が６５ｍｍよりも広い場合、生成される３Ｄ映像においては、その立体感がより強調される。２つのカメラの間隔が例えば６５ｍｍよりも狭い場合、生成される３Ｄ映像においては、その立体感は弱くなる。

また、３Ｄ映像の撮影では、注目する被写体までの距離に応じて２つのカメラの光軸の向きを変えることで輻輳角を変化させて、撮影することが望まれる。注目する被写体までの距離が近い場合には、より大きな輻輳角で撮影を行うことで、左目用映像および右目用映像に含まれる当該被写体の像に関する視差が大きくなりすぎることを防止する。逆に、注目する被写体までの距離が遠い場合には、小さな輻輳角で撮影しても、注目する被写体の像に関する視差が大きくなりすぎることはない。ここで、注目する被写体までの距離は、一般的な撮影においては、カメラのレンズのフォーカス距離と一致する、と考えてもよい。

以上のことから、左目用映像撮像部と右目用映像撮像部を構成する２つのカメラを用いて３Ｄ映像を撮影する場合には、カメラの間隔や、輻輳角を、フォーカス距離や焦点距離（ズーム倍率）に応じて調整して３Ｄ映像の立体感の強弱を調節する必要がある。そのため、３Ｄ映像の撮影には、多くの技術やノウハウを必要とする。

３Ｄ映像の立体感の調節が不適切な場合、生成された３Ｄ映像の不自然な立体感により、観察者がめまいや吐き気を催すなど、観察者の健康面への影響が指摘されている。自然で違和感のない３Ｄ映像を制作するには、撮影時のカメラの調整が非常に重要である。

特許文献１には、３Ｄカメラが記載されている。当該３Ｄカメラは、左目用映像撮像装置および右目用映像撮像装置を構成する２つのカメラを備え、２つのカメラは、それらの光軸が平行となるように（輻輳角が、ゼロとなるように）配置されており、２つのカメラのカメラ間間隔を調整することが可能な構成を有する。３Ｄカメラは、さらに、撮像されるシーンに含まれる被写体の深度範囲を規定する手段を備え、当該手段が規定した深度範囲に基づいて３Ｄ画像中の視差の最大量が所定の最大視差未満となるカメラ間隔を求め、撮像者に対し撮像に適したカメラ間隔を示す。そうすることにより、撮像者が専門的な知識を有さずとも、表示に適しかつ高品質の３Ｄ画像を撮像することを可能としている。

特許文献１の３Ｄカメラでは、輻輳角はゼロに固定されており、２つのカメラの間隔が調整可能となっている。

これとは別に、２つのカメラのフォーカス距離や焦点距離（ズーム倍率）に連動して、２台のカメラの輻輳角を自動調整することができる雲台も開発されている。しかしながら、被写体までの距離が極端に近い場合には有効に作用しないなどの課題が残されている。

特開２００１−１４２１６６号公報

しかしながら、実際の３Ｄ映像制作現場（撮影現場）では、自然で違和感のない３Ｄ映像を撮影することが困難な状況が、依然として、数多くある。例えば、シーンや登場人物が刻々と変化するような状況での撮影、または、先の読めないスポーツの撮影では、被写体の視差が、一時的にではあっても、極端に大きくなってしまうことがある。また、例えば、遠景と近景とが混在するシーンの撮影等においては、一部の被写体（例えば、近景）の視差が不可避的に大きくなり過ぎてしまうことがある。だが、従来のカメラのビューファインダは、２Ｄ映像表示であることがほとんどである。このような場合、撮影現場で３Ｄ映像が自然で違和感のないものであるか否かを判断することは非常に困難である。

そのため、３Ｄ映像撮影現場では、自然で違和感のない３Ｄ映像が撮影できているか否かを撮影者がリアルタイムで判断しながら、３Ｄ映像撮影を行うことを可能にする手段が求められている。

また、撮影後の編集過程においても、撮影された３Ｄ映像が、自然で違和感のない３Ｄ映像であるか否かを、編集者が迅速かつ誤り無く判断することを可能にする手段が求められる。編集者が、３Ｄ映像が自然で違和感のないものであるか否かを迅速かつ容易に判断することができれば、３Ｄ映像の不備を修正することも容易となり、３Ｄ映像の制作過程の効率化が期待できる。

このように、３Ｄ映像の制作においては、撮影現場、および、撮影後の編集過程において、３Ｄ映像がそれを観察する者にとって自然で違和感のないものであるか否かを容易に判断することができる手段を必要としている。

上記課題を鑑み、本実施の形態により、自然で違和感のない３Ｄ映像の制作を支援する３Ｄ映像処理装置が提供される。

一態様は、左目用映像信号および右目用映像信号を含み、３Ｄ映像を実現する３Ｄ映像信号を処理する３Ｄ映像処理装置であって、左目用映像信号、および、右目用映像信号を入力し、３Ｄ映像に含まれる被写体の視差を検出し、視差情報として出力する視差検出部と、視差情報に基づき、左目用映像信号および右目用映像信号の少なくともいずれか一方の、視差が所定の範囲に含まれる被写体の映像領域に所定の画像処理を施す、映像処理部と、を有する、３Ｄ映像処理装置である。

一態様においては、視差検出部は、左目用映像信号、および、右目用映像信号について画素補間を行う、画素補間部と、画素補間部が出力する画素補間された左目用映像信号、および、画素補間された右目用映像信号に基づいて差分比較を行い、被写体の視差を１画素精度よりも高精度で検出して、視差情報を出力する差分比較部と、を備えることが好ましい。

一態様においては、映像処理部は、視差の大きさが所定値より大きい被写体の映像領域にマーカーを付ける処理を行うことが好ましい。

一態様においては、映像処理部は、視差の大きさが所定値以下の被写体の映像領域にマーカーを付ける処理を行うことが好ましい。

一態様においては、映像処理部は、視差の大きさが所定値より大きい被写体の映像領域にデフォーカス処理を行うことが好ましい。

一態様においては、映像処理部は、視差の大きさが所定値以下の被写体の映像領域にデフォーカス処理を行うことが好ましい。

一態様においては、さらに、左目用映像信号を出力する第１撮像装置のカメラの第１セッティング情報、および、右目用映像信号を出力する第２撮像装置のカメラの第２セッティング情報、の少なくともいずれか一方を入力し、第１撮像装置のカメラ、および、第２撮像装置のカメラ、の少なくともいずれか一方の被写界深度を検出し、被写界深度情報として出力する被写界深度検出部と、視差情報および被写界深度情報にもとづいて、第１および第２撮像装置から被写体までの距離を検出する距離検出部と、を有し、映像処理部は、検出した距離と被写界深度にもとづいて、左目用映像信号および右目用映像信号の少なくともいずれか一方の、所定の画像処理を施す映像領域を決定することが好ましい。

一態様においては、映像処理部は、被写界深度に含まれる被写体の映像領域にマーカーを付ける処理を行うことが好ましい。

一態様においては、映像処理部は、被写界深度に含まれない被写体の映像領域にマーカーを付ける処理を行うことが好ましい。

一態様においては、さらに、３Ｄ映像信号にもとづく３Ｄ映像表示を行う表示装置の表示画面のサイズを入力する入力部を有し、入力部から入力された表示画面のサイズに基づいて、所定の画像処理を施す映像領域を決定することが好ましい。

別の一態様は、左目用映像信号および右目用映像信号を含み、３Ｄ映像を実現する３Ｄ映像信号を処理する３Ｄ映像処理方法であって、左目用映像信号、および、右目用映像信号を入力し、３Ｄ映像に含まれる被写体の視差を検出し、視差情報として出力するステップと、視差情報に基づき、左目用映像信号および右目用映像信号の少なくともいずれか一方の、視差が所定の範囲に含まれる被写体の映像領域に所定の画像処理を施すステップと、を有する、３Ｄ映像処理方法である。

本実施の形態による３Ｄ映像処理装置により３Ｄ映像の被写体の視差に応じた画像処理が行われ、観察者は、３Ｄ映像が自然で違和感のないものであるか否かを判断することが容易になり、３Ｄ映像の制作を効率的に行えるようになる。

３Ｄ映像撮像装置と、被写体の関係を示す模式図 ３Ｄ映像の左目用映像、および、右目用映像、ならびに、両映像の合成映像を示す例図 ３Ｄ映像の左目用映像、および、右目用映像、ならびに、両映像の合成映像を示す例図 実施の形態１の３Ｄ映像処理装置を備えた３Ｄ映像撮像装置のブロック図 ３Ｄ映像処理装置の視差検出部の構成の詳細を示すブロック図 ３Ｄ映像の左目用映像、および、右目用映像、ならびに、マーカーがオーバーレイされた、両映像の合成映像を示す例図 ３Ｄ映像の左目用映像、および、右目用映像、ならびに、マーカーがオーバーレイされた、両映像の合成映像を示す例図 ３Ｄ映像表示面の大きさの違いによる視差絶対量の違いを説明する概念図 実施の形態２の３Ｄ映像処理装置を備えた３Ｄ映像撮像装置のブロック図 ３Ｄ映像撮像装置と被写体との距離を求める原理を説明するための概念図 ３Ｄ映像の左目用映像、および、右目用映像、ならびに、マーカーがオーバーレイされた、両映像の合成映像を示す例図 ３Ｄ映像の左目用映像、および、右目用映像、ならびに、マーカーがオーバーレイされた、両映像の合成映像を示す例図 実施の形態３の３Ｄ映像処理装置を備えた３Ｄ映像撮像装置のブロック図 ３Ｄ映像の左目用映像、および、右目用映像、ならびに、部分的デフォーカス処理が施された、両映像の合成映像を示す例図

以下、本発明の実施の形態について、詳細に説明する。

１．実施の形態１
１−１．概要
本実施の形態による３Ｄ映像処理装置は、３Ｄ映像が自然で違和感のない３Ｄ映像であるか否かを容易に判断することができる映像を出力することができる３Ｄ映像処理装置である。より具体的には、本３Ｄ映像処理装置は、３Ｄ映像中の被写体についての左目用映像および右目用映像の視差を検出し、検出された視差にもとづいて、観察者に違和感を与える可能性が高いと考えられる映像中の被写体の映像領域を検出する。そして、本３Ｄ映像処理装置は、検出された被写体の映像領域に対して所定の画像処理、例えば、当該映像領域を強調するマーカー表示処理等を施して出力する。

マーカー表示等の処理が施された映像により、観察者は、違和感を与える可能性が高い映像領域を容易に認識することができ、自然で違和感のない３Ｄ映像か否かを容易に判断することができるようになる。

１−２．構成
１−２−１．３Ｄ映像
先ず、本実施の形態の３Ｄ映像処理装置により処理される３Ｄ映像について簡単に説明する。

図１は、３Ｄ映像撮像装置に含まれる第１撮像部３００および第２撮像部３０１の配置、ならびに、３Ｄ映像撮像装置と被写体群１０２、１０３、１０４、１０５および１０６との位置関係を示す概念図である。

３Ｄ映像撮像装置の第１撮像部３００と第２撮像部３０１は、それぞれ、左目用映像および右目用映像を撮影するための撮像装置である。第１撮像部３００と第２撮像部３０１は、両者間の間隔をＬとし、両者の光軸が角度θをなして交差するように配置される。角度θは、一般に、輻輳角と称される。光軸の交点は、第１撮像部３００および第２撮像部３０１とおよそ距離Ｃだけ離れている。この、第１撮像部３００および第２撮像部３０１とおよそ距離Ｃだけ隔てて光軸の交点を含む面１０は、基準面と称される。このような状況下で被写体の３Ｄ映像を撮影すると、左目用映像および右目用映像における被写体の視差の大きさは、被写体の位置が基準面１０から遠ざかれば遠ざかるほどに増大する。

図１ならびに図２Ａおよび図２Ｂを参照し、実際に被写体が存在する位置の基準面１０からの隔たりと、３Ｄ映像において当該被写体に付与される視差との関係を説明する。

図２Ａは、図１に示す状況において被写体１０２および被写体１０３を撮影して得られる３Ｄ映像（左目用映像２０１Ｌ、および、右目用映像２０１Ｒ）、ならびに、両映像を合成して得られる合成映像２０１Ｄを示した図である。図２Ｂは、図１に示す状況において被写体１０５を撮影して得られる３Ｄ映像（左目用映像２０３Ｌ、および、右目用映像２０３Ｒ）、ならびに、両映像を合成して得られる合成映像２０３Ｄを示した図である。

図２Ａを参照すれば、３Ｄ映像における被写体１０２の視差は、視差Ｐ１０２である。同様に、３Ｄ映像における被写体１０３の視差は、視差Ｐ１０３である。次に、図２Ｂを参照すれば、３Ｄ映像における被写体１０５の視差は、視差Ｐ１０５である。このように、被写体１０２、１０３および１０５を例とすれば、３Ｄ映像においては、被写体１０５に関する視差が最も大きく、被写体１０３に関する視差が次に大きく、被写体１０２に関する視差が最も小さくなる。このように、実際に被写体が存在する位置が、基準面１０から遠ざかれば遠ざかるほどに、３Ｄ映像における当該被写体の視差は増大する。

このことは、被写体が基準面１０よりもさらに遠方にある場合にもあてはまる。つまり、図１における被写体１０４と被写体１０５を例とすれば、３Ｄ映像においては、被写体１０５に関する視差が、被写体１０４に関する視差よりも大きくなる。

既に述べたように、人間の脳は左目および右目から受ける２つの映像の視差から、立体感を認知する能力がある。しかしながら、極端に大きな視差が付いた２つの映像は、自然な映像として認識されない。そのため、図２Ｂのように、視差が極端に大きい３Ｄ映像は違和感のある映像として認知され、そのような３Ｄ映像を長時間視認すると疲労感を感じる場合がある。よって、３Ｄ映像を長時間快適に楽しむためには、３Ｄ映像は、自然で違和感のない画像でなければならない。

自然で違和感のない３Ｄ映像を制作するため、３Ｄ映像の撮影においては、３Ｄ映像中に含まれる被写体の視差の大きさが所定の範囲を越えないように撮影されることが望まれる。

よって、３Ｄ映像における被写体の視差の大きさが所定の範囲に収まるか否かは、被写体が、基準面を中央とした所定の空間の内部に位置するか否かによる。ここでは、図１に示されるように、３Ｄ映像における被写体の視差の大きさが、所定の範囲に収まる範囲を、「３Ｄセーフ内」と称する。反対に、３Ｄ映像における被写体の視差の大きさが、所定の範囲を超える範囲を、「３Ｄセーフ外」と称する。ここで、所定の範囲は、例えば、ゼロから所定値までである。所定値は、例えば、３Ｄ映像が表示される表示面を観察する観察者にとって、当該３Ｄ映像が自然かつ違和感のない映像として観察される視差の大きさに対応する値である。当該値は、既に複数の機関から公表されているガイドラインや、表示面の大きさ等を考慮して適宜定めればよい。

１−２−２．３Ｄ映像処理装置
次に、図３を参照し、３Ｄ映像処理装置の構成について説明する。図３は、本実施の形態の３Ｄ映像処理装置３１０を備える３Ｄ映像撮像装置の構成を示すブロック図である。

３Ｄ映像撮像装置は、左目用映像を撮像するための第１撮像部３００と、右目用映像を撮像するための第２撮像部３０１と、本実施の形態の３Ｄ映像処理装置３１０と、ビューファインダ等の表示部３０５と、を備える。第１撮像部３００は、第１映像信号（左目用映像の信号）を出力し、第２撮像部３０１は、第２映像信号（右目用映像の信号）を出力する。

表示部３０５は、例えば、映像をモニタリングするための表示装置である。表示部３０５は、３Ｄ映像処理装置３１０からの出力を受け、２Ｄ映像（左目用映像および右目用映像のいずれか）、または、３Ｄ映像を表示することができる。

３Ｄ映像処理装置３１０は、第１映像信号および第２映像信号を受け、両映像に含まれる被写体の視差を検出する視差検出部３０２と、視差検出部３０２が検出した視差にもとづいて、３Ｄセーフ内の被写体が写っている映像領域、および、３Ｄセーフ外の被写体が写っている映像領域、の少なくともいずれか一方の映像領域を示唆するマーカーの映像（マーカーレイヤ）を作成するマーカー生成部３０３と、左目用映像、および、右目用映像の少なくともいずれか一方にマーカーレイヤをオーバーレイするオーバーレイ部３０４と、を有する。オーバーレイ部３０４は、左目用映像、および、右目用映像、のいずれか一方、または、左目用映像と右目用映像の合成映像に、マーカーレイヤがオーバーレイされたオーバーレイ映像を表示部３０５へ出力することができる。

これにより、表示部３０５を観察する観察者は、第１撮像部３００および第２撮像部３０１の少なくともいずれか一方が撮影した映像に、３Ｄセーフ内または３Ｄセーフ外を示唆するマーカーがオーバーレイされた、オーバーレイ映像を観察することができる。観察者は、マーカーによって、３Ｄ映像中の部分映像領域が３Ｄセーフ内または３Ｄセーフ外であることを容易に確認することができる。

なお、第１撮像部３００、および、第２撮像部３０１は、対物レンズ、ズームレンズ、絞り、ＯＩＳ（Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚｅｒ）ユニット、フォーカスレンズ、撮像素子およびＡＤコンバータ等を含んでよい。撮像素子は、各種レンズを介して形成された被写体像を撮像して、画像データを生成するための素子であればよい。例えば、撮像素子は、ＣＭＯＳイメージセンサ、または、ＣＣＤイメージセンサである。撮像素子は、単板式であってもよいし、Ｒ、Ｇ、Ｂの信号毎に撮像素子を設けた３板式であってもよい。ＡＤコンバータは、撮像素子で生成された画像データをデジタル信号に変換することが可能であればよい。

図４は、視差検出部３０２の構成の詳細に関するブロック図である。

視差検出部３０２は、左目用映像に対し画素補間を行う第１画素補間部４０１Ｌおよび右目用映像に対し画素補間を行う第２画素補間部４０１Ｒと、映像のずれを検出する、第１画像シフト部４０２Ｌおよび第２画像シフト部４０２Ｒと、差分比較部４０３と、を有する。これらにより、視差検出部３０２は、１画素精度より高い精度で左目用映像と右目用映像との間の映像のずれを検出する。そうすることにより、視差検出部３０２は、第１撮像部３００が撮像した左目用映像と、第２撮像部３０１が撮像した右目用映像における同一被写体の視差の大きさを、１画素精度より高い精度で検出することができる。なお、視差検出部３０２は、被写体が基準面よりも近くに位置する場合の視差と、基準面よりも遠方に位置する場合の視差と、を区別して、例えば、符号（プラス、マイナス）で区別して、視差を出力してもよい。あるいは、視差検出部３０２は、上記区別を省略し、視差の大きさ（絶対値）を出力してもよい。

第１画素補間部４０１Ｌは、第１映像信号（左目用映像）を入力し、画素補間を行って解像度を向上させ、画素補間第１映像信号を第１画像シフト部４０２Ｌへ出力する。

第１画像シフト部４０２Ｌは、画素補間第１映像信号の映像を、例えば水平方向に１画素単位で様々にシフト量を変化させながらシフトさせて、画素補間第１映像シフト画像を差分比較部４０３へ出力する。

第２画素補間部４０１Ｒ、および、第２画像シフト部４０２Ｒは、それぞれ、第１画素補間部４０１Ｌ、および、第１画像シフト部４０２Ｒと同等の構成を有せばよい。

差分比較部４０３は、入力された画素補間第１映像シフト画像と、画素補間第２映像シフト画像とを比較し、両者の差分を導出する。そうすることにより、差分比較部４０３は、第１映像信号が表す映像の任意の画素について、当該画素とよく対応する画素、例えば、画素値がよく一致する画素、を第２映像信号が表す映像から検出する。

差分比較部４０３は、検出結果にもとづき、左目用映像の任意の画素と、当該画素によく対応する右目用映像の画素との間隔を求め、当該間隔を当該画素に関する視差とし、視差情報信号として出力する。

なお、差分比較部４０３は、第１映像（例えば、左目用映像）の任意の画素について、当該画素および当該画素を取り囲んだ画素を含む画素群について、当該画素群とよく一致する第２映像（例えば、右目用映像）の画素群を検出することにより、当該画素群の中央の画素の視差を導出してもよい。

また、差分比較部４０３は、第１映像（例えば、左目用映像）の複数画素を含んで構成される任意の画素ブロックについて、当該画素ブロックとよく一致する第２映像（例えば、右目用映像）の画素ブロックを検出することにより、当該画素ブロックの視差を導出してもよい。当該画素ブロックは、例えば、２×２画素の画素ブロック、４×４画素の画素ブロックでよい。

マーカー生成部３０３は、視差検出部３０２が出力する視差情報信号にもとづき、第１映像、および、第２映像の少なくともいずれか一方における任意の画素について、当該画素の視差の大きさと、所定の閾値と、の比較を行い、当該画素が、３Ｄセーフ内の被写体の映像の画素であるか、３Ｄセーフ外の被写体の映像の画素であるか、を判断する。マーカー生成部３０３は、例えば、３Ｄセーフ外の被写体の映像の画素の位置に、マーカーを付与することにより当該画素が強調表示されるように、マーカーレイヤを生成する。マーカーレイヤは、マーカーレイヤ信号として、オーバーレイ部３０４に出力される。

オーバーレイ部３０４は、第１映像信号、および、第２映像信号の少なくともいずれか一方、または、第１映像信号と第２映像信号の合成信号、に対し、マーカーレイヤを合成し、オーバーレイ映像信号を出力する。

このようにして、マーカー生成部３０３、および、オーバーレイ部３０４は、被写体の視差の大きさと所定値との比較に基づいて、第１映像信号（左目用映像信号）および第２映像信号（右目用映像信号）の少なくともいずれか一方に所定の画像処理を施す、映像処理部を構成する。

１−３．動作
これより、３Ｄ映像処理装置３１０の動作について説明する。以下では、図１の被写体１０２、１０３および１０５を撮像する例を用いて、動作説明を行う。

図５Ａは、第１撮像部３００が撮像した左目用映像５０１Ｌ、第２撮像部３０１が撮像した右目用映像５０１Ｒ、および、左目用映像と右目用映像の合成映像に対してマーカーレイヤが合成されたオーバーレイ映像５０１Ｄ、を例示する図である。

３Ｄ映像処理装置３１０の視差検出部３０２は、左目用映像５０１Ｌおよび右目用映像５０１Ｒを入力し、上述した第１画素補間部４０１Ｌおよび第２画素補間部４０１Ｒ、第１画像シフト部４０２Ｌおよび第２画像シフト部４０２Ｒ、ならびに、差分比較部４０３により、左目用映像５０１Ｌの任意の画素について、当該画素によく対応する右目用映像５０１Ｒの画素を検出し、両画素間の間隔が求め、当該間隔を視差とし、マーカー生成部３０３へ視差情報信号を出力する。

マーカー生成部３０３は、視差情報信号にもとづき、視差が所定の閾値を超える画素について、当該画素が強調表示されるようにマーカーレイヤを生成し、マーカーレイヤ信号としてオーバーレイ部３０４へ出力する。

オーバーレイ部３０４は、第１映像信号、および、第２映像信号の少なくともいずれか一方、または、第１映像と第２映像の合成映像の信号に対し、３Ｄセーフ外にある被写体の映像領域を示すマーカーレイヤをオーバーレイして、オーバーレイ映像信号出力する。

図５Ａのオーバーレイ映像５０１Ｄは、第１映像と第２映像の合成映像の信号に対し、マーカーがオーバーレイされた映像の例である。本例においてマーカーは、点滅するゼブラ・パターンである。

このようにして、表示部３０５には、３Ｄセーフ外にある被写体の映像領域にマーカーが付された映像が表示される。よって、表示部３０５を観る観察者は、３Ｄセーフ外の被写体が３Ｄ映像中に含まれるか否かを、容易かつ迅速に判断することができる。このようなマーカーは視認性に優れていることから、表示部３０５が、表示面の大きさが小さく、２Ｄ表示しかできないようなビューファインダであっても、観察者は、撮影している３Ｄ映像中に３Ｄセーフ外の被写体が含まれるか否かを容易かつ迅速に判断することができる。

また、カメラ位置の詳細な調整が必要な場合にもマーカーを確認しながら容易に最適なカメラセッティングを行うことができるため、撮影の効率を大幅に改善することができ、結果として、視聴者の健康上の安全を守ることができる。

図５Ｂのオーバーレイ映像５０３Ｄは、３Ｄセーフ内にある被写体の映像領域にマーカーが付された映像の例である。このように、３Ｄセーフ内にある被写体の映像領域にマーカーを付してもよい。

なお、図５Ａおよび図５Ｂの例では、点滅するゼブラ（斜線）パターンのマーカーを生成している。しかしながら、マーカーは、点滅するゼブラ・パターンに限定されず、特定の映像領域を強調表示することができる模様のマーカーであればよい。オーバーレイ部３０４は、第１撮像部３００および第２撮像部３０１から出力される映像の少なくとも一方にマーカーをオーバーレイ表示すればよい。そうすることで、観察者は、表示部３０５を観察することで、被写体が３Ｄセーフ内であるか、３Ｄセーフ外であるか、２Ｄ映像表示で区別できるようになる。

１−４．判定閾値について
図６を参照し、３Ｄセーフの範囲について説明する。

図６は、異なるサイズの表示装置９６１および９６３それぞれで観察される視差を示す図である。図６（ａ）に示す左目用映像９５１Ｌおよび右目用映像９５１Ｒに基づいて、図６（ｂ）に示すように３Ｄ映像を表示装置９６１に表示させた場合、表示装置９６１における視差の絶対量は、例えば、Ｐ９６１のような大きさを有する。これに対し、図６（ｃ）に示すように同じ３Ｄ映像を表示装置９６３に表示させた場合、表示装置９６３における視差の絶対量は、例えば、Ｐ９６３のような大きさを有する。

このように、同じ３Ｄ映像であっても、表示させる表示装置の画面サイズに応じて、視差の絶対量は、変化する。表示装置の画面のサイズが大きくなればなるほど、同じ３Ｄ映像であっても、視差の絶対量が大きくなり、観察者に違和感を覚えさせる可能性が高くなることが懸念される。

成人の両目の間隔はおよそ６５ｍｍであり、左右２つの目は同時に内向きには動くが、同時に外向きには動かないことから、人間が自然界で６５ｍｍ以上の視差となる画像を見ることはない。それゆえ、表示装置上で６５ｍｍ以上の視差が発生すると人間の脳はそれを自然な３Ｄ画像と認知することができない可能性が高くなる。つまり、３Ｄセーフであるか否かは上映する表示装置の画面サイズとも密接な関係を持っている。

そこで、本実施の形態１の３Ｄ映像処理装置３１０のマーカー生成部３０３、後述する実施の形態２の３Ｄ映像処理装置７１０のマーカー生成部７０４、および、後述する実施の形態３のデフォーカス処理領域指示部１００３において、予め、３Ｄ映像の表示に使用する表示装置の画面サイズを入力する手段を設け、３Ｄセーフ内または３Ｄセーフ外の判定基準を、視差の絶対量が、３Ｄ映像の表示に使用する表示装置の画面上で６５ｍｍ以上になるか否かの判断に基づいて決定してもよい。

なお、３Ｄセーフか否かの判定基準を、成人の両目の間隔である６５ｍｍと対応させて説明したが、子供向けに、より狭い視差絶対量（すなわち、６５ｍｍ未満）を判定基準としてもよい。あるいは、逆に、判定基準を、より広い視差絶対量（すなわち、６５ｍｍ以上）としてもよい。

２．実施の形態２
２−１．概要
本実施の形態による３Ｄ映像処理装置は、実施の形態１の３Ｄ映像処理装置３１０の構成に加え、任意の被写体までの距離を検出する構成を有する。検出された距離に基づき、当該被写体が被写界深度に含まれるか否かが判断される。判断結果は、表示部３０５に出力されるオーバーレイ映像におけるマーカーの表示に反映される。なお、被写界深度は、カメラのセッティング情報にもとづいて導出される。

そうすることにより、表示部３０５を観る観察者は、映像中の被写体が被写界深度内であるか否かを容易に認識することができる。被写体が被写界深度内に含まれることと、当該被写体の視差が所定の範囲に含まれること、とは、必ずしも一致するものではない。しかしながら、被写体が被写界深度内に含まれることは、当該被写体に関して自然かつ違和感のない３Ｄ映像が制作可能であることを強く示唆する。そのため、被写体が被写界深度内に含まれるか否かを判断容易とすることにより、自然かつ違和感のない３Ｄ映像を制作することを支援することができる。

２−２．構成
実施の形態２の３Ｄ映像処理装置の構成について、図７および図８を参照し説明する。ただし、実施の形態１の３Ｄ映像処理装置３１０と同等の構成については、適宜説明を省略する。

図７を参照すれば、実施の形態２の３Ｄ映像処理装置７１０は、視差検出部３０２およびオーバーレイ部３０４に加え、さらに、第１撮像部７００のカメラセッティングの情報（第１撮像部情報信号）、および、第２撮像部７０１のカメラセッティングの情報（第２撮像部情報信号）、の少なくともいずれか一方を入力し、カメラの被写界深度を検出し、被写界深度情報として出力する被写界深度検出部７０２と、第１撮像部情報信号、および、第２撮像部情報信号、の少なくともいずれか一方、ならびに、視差検出部３０２から視差情報信号、を入力し、３Ｄ撮像装置から任意の被写体までの距離を検出し、距離情報信号として出力する距離検出部７０３と、視差情報信号、および、距離情報信号、の少なくともいずれか一方にもとづいて、マーカーレイヤを生成し、マーカーレイヤ信号として出力するマーカー生成部７０４と、を備える。第１撮像部情報信号は、例えば、第１撮像部７００のカメラのレンズの焦点距離、絞り値、フォーカス距離、輻輳角、等、および、第２撮像部７０１のカメラとのカメラ間間隔、等、の情報を含めばよい。第２撮像部情報信号もまた、例えば、第２撮像部７０１のカメラのレンズの焦点距離、絞り値、フォーカス距離、輻輳角、等、および、第１撮像部７００のカメラとのカメラ間間隔、等、の情報を含めばよい。

被写界深度検出部７０２は、第１撮像部情報信号に含まれる、レンズの焦点距離、絞り値、フォーカス距離、等の情報に基づき、第１撮像部７００のカメラの被写界深度を検出し、出力する。同様にして、被写界深度検出部７０２は、第２撮像部情報信号に含まれる、レンズの焦点距離、絞り値、フォーカス距離、等の情報に基づき、第２撮像部７０１のカメラの被写界深度を検出し、出力する。なお、第２撮像部７０１の被写界深度については、第１撮像部７００の被写界深度とほぼ同一であるとみなし、出力を省略してもよい。

距離検出部７０３は、第１撮像部情報信号に含まれる、第１撮像部７００のカメラのレンズの焦点距離、輻輳角、等、および、第２撮像部７０１のカメラとの間隔、等、の情報、ならびに、視差情報信号、に基づき、３Ｄ映像撮像装置と任意の被写体までの距離を検出する。同様にして、距離検出部７０３は、第２撮像部情報信号に含まれる、第２撮像部７０１のカメラのレンズの焦点距離、輻輳角、等、および、第１撮像部７００のカメラとの間隔、等、の情報、ならびに、視差情報信号、に基づき、３Ｄ映像撮像装置と任意の被写体までの距離を検出してもよい。

図８は、左目用映像および右目用映像中の被写体に含まれる視差を用いた距離検出の原理を説明する図である。以下、図８を参照し、距離検出部７０３が行う被写体距離検出について説明する。

図８において、距離検出しようとする被写体と、３Ｄ映像撮像装置との距離をＤとする。また、第１撮像部７００と第２撮像部７０１の両カメラの設置間隔をＬとする。第１撮像部７００および第２撮像部７０１の両レンズは、焦点距離Ｆに設定されている。また、第１撮像部７００および第２撮像部７０１の両カメラの光軸は、基準面において、角度θ（輻輳角θ）をなして交差する。３Ｄ映像中における被写体の視差がδであるとすれば、第１撮像部７００の撮像素子８０５Ｌにおいて、被写体の像は、位置８０７Ｌに結像し、同様に、第２撮像部７００の撮像素子８０５Ｒにおいて、被写体の像は、位置８０７Ｒに結像する。

したがって、高さＦの三角形と高さＤの三角形の相似関係を利用すれば、被写体までの距離Ｄは、
Ｄ＝Ｌ／｛２・ｔａｎ（θ／２）＋δ／Ｆ｝、
として求めることができる。

被写体距離Ｄの計算精度は、視差δの検出精度に強く依存する。そのため、できるだけ高精度で視差δを検出することが重要になる。よって、視差検出部３０２は、画素補間を利用して１画素より高精度で、視差δを求めることが望ましい。

図７に戻り、被写界深度検出部７０２は、第１撮像部７００および第２撮像部７０１の両カメラの被写界深度の深さを検出する。検出した被写界深度は、被写界深度情報信号として、マーカー生成部７０４へ出力される。ここで、被写界深度情報信号には、両カメラにおいて、フォーカスが合う最も近い距離Ｆｍｉｎと、フォーカスが合う最も遠い距離をＦｍａｘに関する情報が含まれることが好ましい。

マーカー生成部７０４は、被写界深度情報に含まれるＦｍｉｎおよびＦｍａｘから、フォーカスが合う範囲［Ｆｍｉｎ，Ｆｍａｘ］を定め、距離検出部７０３から受け取る距離情報信号に含まれる被写体距離Ｄが、範囲［Ｆｍｉｎ，Ｆｍａｘ］に含まれるか否かを判断する。そして、マーカー生成部７０４は、例えば、被写界深度外の被写体の映像の画素の位置に、マーカーが付与され、当該画素が強調表示されるように、マーカーレイヤを生成する。

例えば、図１のような状況において、被写界深度内にある被写体は円形の被写体１０２のみである。実施の形態２の３Ｄ映像処理装置７１０は、実施の形態１の３Ｄ映像処理装置３１０の作用に加え、３Ｄ映像撮像装置から被写体までの距離を検出し、被写界深度と比較して、被写界深度の内と外にある被写体を容易に区別できるようなマーカー（第２マーカー）をオーバーレイ表示することができる。

本実施の形態において、マーカー生成部７０４、および、オーバーレイ部３０４は、被写体の視差の大きさと、第１の所定値とを比較し、当該比較に基づいて、第１映像信号（左目用映像信号）および第２映像信号（右目用映像信号）の少なくともいずれか一方に第１マーカーを付与するとともに、撮像装置と被写体までの距離と、第２所定値とを比較し、当該比較に基づいて、第１映像信号（左目用映像信号）および第２映像信号（右目用映像信号）の少なくともいずれか一方に第２マーカーを付与する、映像処理部を構成する。第１マーカーと、第２マーカーとは、観察者が区別可能に異なってもよい。第１の所定値は、被写体の３Ｄセーフ内または３Ｄセーフ外を判断する閾値であり、第２の所定値は、被写体の被写界深度内または被写界深度外を判断するための閾値であればよい。

２−３．動作
これより、３Ｄ映像処理装置７１０の動作について説明する。３Ｄ映像処理装置７１０は、実施の形態１の３Ｄ映像処理装置３１０と同様に、３Ｄセーフ内または３Ｄセーフ外を示すマーカーレイヤを生成可能であるが、以下では、簡単のため、被写界深度内または被写界深度外を示すマーカーレイヤの生成動作のみについて説明する。

３Ｄ映像処理装置７１０の視差検出部３０２は、実施の形態１と同様に、マーカー生成部３０３に対し、視差情報信号を出力する。

距離検出部７０３は、第１撮像部情報信号、および、第２撮像部情報信号、の少なくともいずれか一方、ならびに、視差情報信号、に基づき、映像中の被写体（画素）の距離Ｄを検出し、距離情報信号として、マーカー生成部７０４へ出力する。

マーカー生成部７０４は、被写界深度情報、および、距離情報信号にもとづき、被写界深度内に含まれる被写体を表す画素について、当該画素が強調表示されるようにマーカーレイヤを生成し、マーカーレイヤ信号としてオーバーレイ部３０４へ出力する。

オーバーレイ部３０４は、第１映像信号、および、第２映像信号のいずれか一方、または、第１映像と第２映像の合成映像の信号に対し、マーカーレイヤをオーバーレイして、出力する。

図９Ａは、第１撮像部７００が撮像した左目用映像９０１Ｌ、第２撮像部７０１が撮像した右目用映像９０１Ｒ、および、左目用映像と右目用映像の合成映像に対してマーカーレイヤが合成されたオーバーレイ映像９０１Ｄ、を例示する図である。

図９Ａのオーバーレイ映像９０１Ｄでは、被写界深度内にある被写体に対し、マーカーが付されている。

このようにして、表示部３０５には、被写界深度内にある被写体の映像領域にマーカーが付された映像が表示される。よって、表示部３０５を観る観察者は、被写界深度内の被写体を、容易かつ迅速に確認することができる。よって、表示部３０５が、表示面の大きさが小さいビューファインダであっても、観察者は、撮影している３Ｄ映像中の被写体が被写界深度内に含まれるか否かを容易かつ迅速に判断することができる。

なお、図９Ｂのオーバーレイ映像９０３Ｄは、被写界深度外にある被写体の映像領域にマーカーが付された映像の例である。このように、被写界深度外にある被写体の映像領域にマーカーを付してもよい。

なお、実施の形態２においても、実施の形態１と同様に、マーカーは、点滅するゼブラ（斜線）パターンに限定されない。

実施の形態２の３Ｄ映像処理装置によれば、被写体が被写界深度内に含まれるか否かを容易に判断することができる。これにより、３Ｄ映像の制作を効率化することが可能である。

なお、実施の形態２の３Ｄ映像処理装置７１０は、３Ｄ映像撮像装置と一体化して構成される構成例を示した。しかしながら、３Ｄ映像処理装置７１０は、撮像装置と分離して構成されてよい。その場合、第１撮像部情報信号および第２撮像部情報信号等は、第１映像信号および第２映像信号等にメタ・データとして含めてよい。当該メタ・データには、両カメラのセッティングの情報が含まれてよい。この場合、３Ｄ映像処理装置７１０は、当該セッティングの情報にもとづいて被写界深度を導出すればよい。あるいは、当該メタ・データには、被写界深度の情報が含まれてよい。

３．実施の形態３
３−１．概要
本実施の形態による３Ｄ映像処理装置は、３Ｄ映像を処理することにより、３Ｄセーフ外の被写体に対し所定の処理を行い、当該３Ｄ映像を自然で違和感のない３Ｄ映像とすることができる３Ｄ映像処理装置である。より具体的には、本３Ｄ映像処理装置は、３Ｄ映像中の３Ｄセーフ外の被写体について、デフォーカス処理を行って出力する。

そうすることにより、上記デフォーカス処理が施された３Ｄ映像においては、３Ｄセーフ外の被写体は、その輪郭や内部の詳細がぼかされるため、観察者に違和感を与えにくい。

本実施の形態による３Ｄ映像処理装置は、実施の形態１や実施の形態２の３Ｄ映像処理装置３１０および７１０と同様の構成を備えてよい。以下の説明では、マーカー生成部３０３、オーバーレイ部３０４、被写界深度検出部７０２、距離検出部７０３およびマーカー生成部７０４、等の構成の記載および説明を省略する。

３−２．構成
図１０を参照し、本実施の形態の３Ｄ映像処理装置の構成について説明する。図１０は、本実施の形態の３Ｄ映像処理装置１０１０を備える３Ｄ映像撮像装置の構成を示すブロック図である。

３Ｄ映像処理装置１０１０は、視差情報信号に基づいて、３Ｄセーフ外の被写体を表す映像領域を検出し、当該映像領域に対する処理（デフォーカス処理）を指示する処理領域指示信号を出力するデフォーカス処理領域指示部１００３と、第１映像信号および第２映像信号の、処理領域指示信号が指示する映像領域に対し、画像処理（デフォーカス処理）を実行し、デフォーカス処理映像信号を出力するデフォーカス処理部１００４と、を含んで構成される。

なお、３Ｄ映像処理装置１０１０は、デフォーカス処理映像信号に基づいて映像を表示する表示部３０５に加え、デフォーカス処理映像信号を格納する記憶部１００５を備えてもよい。

本実施の形態において、デフォーカス処理領域指示部１００３、および、デフォーカス処理部１００４は、被写体の視差の大きさと、所定値との比較に基づいて、第１映像信号（左目用映像信号）および第２映像信号（右目用映像信号）の少なくともいずれか一方に所定の画像処理を施す、映像処理部を構成する。

３−３．動作
これより、３Ｄ映像処理装置１０１０の動作について説明する。以下では、図１の被写体１０２、１０３および１０５を撮像する例を用いて、動作説明を行う。

図１１は、第１撮像部３００が撮像した左目用映像５０１Ｌ、第２撮像部３０１が撮像した右目用映像５０１Ｒ、および、左目用映像と右目用映像の合成映像に対してデフォーカス処理が施されたデフォーカス処理映像５０７Ｄ、を例示する図である。

視差検出部３０２は、左目用映像５０１Ｌおよび右目用映像５０１Ｒを入力し、両映像の任意の画素の視差が求められ、視差情報信号として、デフォーカス処理領域指示部１００３へ出力される。

デフォーカス処理領域指示部１００３は、視差情報信号にもとづき、３Ｄセーフ外の視差を有する画素を検出し、当該画素を含むように、デフォーカス処理領域を決定し、処理領域指示信号としてデフォーカス処理部１００４へ出力する。

デフォーカス処理部１００４は、第１映像信号、および、第２映像信号の少なくともいずれか一方、または、第１映像と第２映像の合成映像の信号に対し、処理領域指示信号にもとづくデフォーカス処理を施して、デフォーカス処理映像信号として出力する。

図１１のデフォーカス処理映像５０７Ｄは、第１映像と第２映像の合成映像の信号に対し、デフォーカス処理が施された映像の例である。ここでは、被写体１０５に関する映像領域１０５Ｒおよび１０５Ｌは、デフォーカス処理され、輪郭や内部の詳細が認識しにくいものになっている。

このようにして、３Ｄ映像処理装置１０１０は、３Ｄセーフ外にある被写体の映像領域にデフォーカス処理が施された３Ｄ映像を出力することができる。そのため、当該デフォーカス処理が施された３Ｄ映像にあっては、少なくとも、観察者に違和感を覚えさせる程度が低減される。そのため、３Ｄ映像中に不可避的に３Ｄセーフ外の被写体が含まれる場合であっても、当該３Ｄ映像を、自然かつ違和感のないものにすることができる。

なお、デフォーカス処理部１００４がする画像処理は、デフォーカス処理に限定されず、当該処理は、観察者が所定の映像領域を認識しにくいものにする画像処理であればよい。

４．まとめ
本実施の形態による３Ｄ映像処理装置は、左目用映像および右目用映像にもとづいて任各画素の視差を検出することにより、被写体の視差を検出し、被写体の視差の大きさが所定値を超えるか否かを判断し、当該判断に従って所定の画像処理を行う。そうすることで、３Ｄ映像処理装置は、自然で違和感のない３Ｄ映像の制作を支援する。

なお、本実施の形態の３Ｄ映像処理装置は、撮像装置と一体的に構成されて、３Ｄ映像撮像装置を構成してよい。また、本実施の形態の３Ｄ映像処理装置は、編集装置と一体的に構成されて、３Ｄ映像編集装置を構成してもよい。

なお、３Ｄ映像処理装置は、コンピュータといった情報処理装置と、当該情報処理装置において実行可能なプログラムにより、実施されてよい。また、当該プログラムは、情報処理装置に予めインストールされてよい。また、当該プログラムは、記憶媒体に記録されて配布されてよい。また、当該プログラムは、インターネット等を介して配信されてもよい。

本実施の形態により３Ｄ映像処理装置は、３Ｄ映像の制作を支援することが可能であり、有用である。

１０２ ・・・ 被写体
１０３ ・・・ 被写体
１０４ ・・・ 被写体
１０５ ・・・ 被写体
１０６ ・・・ 被写体
３００ ・・・ 第１撮像部
３０１ ・・・ 第２撮像部
３０２ ・・・ 視差検出部
３０３ ・・・ マーカー生成部
３０４ ・・・ オーバーレイ部
３０５ ・・・ 表示部
３１０ ・・・ ３Ｄ映像処理装置
４０１Ｌ・・・ 第１画素補間部
４０１Ｒ・・・ 第２画素補間部
４０２Ｌ・・・ 第１画像シフト部
４０２Ｒ・・・ 第２画像シフト部
４０３ ・・・ 差分比較部
７００ ・・・ 第１撮像部
７０１ ・・・ 第２撮像部
７０２ ・・・ 被写界深度検出部
７０３ ・・・ 距離検出部
７０４ ・・・ マーカー生成部
７１０ ・・・ ３Ｄ映像処理装置
８０５Ｌ・・・ 第１撮像部の撮像素子
８０５Ｒ・・・ 第２撮像部の撮像素子
１００３ ・・・ デフォーカス処理領域指示部
１００４ ・・・ デフォーカス処理部
１００５ ・・・ 記憶部
１０１０ ・・・ ３Ｄ映像処理装置

本発明は、立体視可能な映像（３Ｄ映像）を処理する３Ｄ映像処理装置および３Ｄ映像処理方法に関し、特に、３Ｄ映像制作を支援する３Ｄ映像処理装置および３Ｄ映像処理方法に関する。

観察者の左目および右目それぞれに提示する映像（左目用映像および右目用映像）を撮影することにより立体視可能な映像信号（３Ｄ映像信号）を生成する３Ｄ映像撮像装置に注目が集まっている。

左目用映像を撮像する左目用映像カメラ（左目用映像撮像部）と右目用映像を撮像する右目用映像カメラ（右目用映像撮像部）の配置を調整することにより、３Ｄ映像の立体感の強弱を変化させ得ることが知られている。つまり、２つのカメラの配置を調整することで、左目用映像および右目用映像に含まれる被写体の視差の大きさを調節することができる。例えば、両カメラの光軸に略垂直な方向のカメラ間間隔や、両カメラの光軸の交差角（輻輳角）といった量を調整することで、３Ｄ映像の立体感の強弱を変化させることができる。輻輳角は、カメラのレンズの配置を調整することで、変更可能であることが知られている。

成人の両目の間隔は、平均として、およそ６５ｍｍである。それゆえ、２つのカメラ、すなわち、左目用映像撮像部と右目用映像撮像部の間隔は、６５ｍｍに設置することが基本とされる。しかしながら、カメラ単体が大きすぎて、両カメラを６５ｍｍ間隔で設置できない場合もある。２つのカメラの間隔が６５ｍｍよりも広い場合、生成される３Ｄ映像においては、その立体感がより強調される。２つのカメラの間隔が例えば６５ｍｍよりも狭い場合、生成される３Ｄ映像においては、その立体感は弱くなる。

また、３Ｄ映像の撮影では、注目する被写体までの距離に応じて２つのカメラの光軸の向きを変えることで輻輳角を変化させて、撮影することが望まれる。注目する被写体までの距離が近い場合には、より大きな輻輳角で撮影を行うことで、左目用映像および右目用映像に含まれる当該被写体の像に関する視差が大きくなりすぎることを防止する。逆に、注目する被写体までの距離が遠い場合には、小さな輻輳角で撮影しても、注目する被写体の像に関する視差が大きくなりすぎることはない。ここで、注目する被写体までの距離は、一般的な撮影においては、カメラのレンズのフォーカス距離と一致する、と考えてもよい。

以上のことから、左目用映像撮像部と右目用映像撮像部を構成する２つのカメラを用いて３Ｄ映像を撮影する場合には、カメラの間隔や、輻輳角を、フォーカス距離や焦点距離（ズーム倍率）に応じて調整して３Ｄ映像の立体感の強弱を調節する必要がある。そのため、３Ｄ映像の撮影には、多くの技術やノウハウを必要とする。

３Ｄ映像の立体感の調節が不適切な場合、生成された３Ｄ映像の不自然な立体感により、観察者がめまいや吐き気を催すなど、観察者の健康面への影響が指摘されている。自然で違和感のない３Ｄ映像を制作するには、撮影時のカメラの調整が非常に重要である。

特許文献１には、３Ｄカメラが記載されている。当該３Ｄカメラは、左目用映像撮像装置および右目用映像撮像装置を構成する２つのカメラを備え、２つのカメラは、それらの光軸が平行となるように（輻輳角が、ゼロとなるように）配置されており、２つのカメラのカメラ間間隔を調整することが可能な構成を有する。３Ｄカメラは、さらに、撮像されるシーンに含まれる被写体の深度範囲を規定する手段を備え、当該手段が規定した深度範囲に基づいて３Ｄ画像中の視差の最大量が所定の最大視差未満となるカメラ間隔を求め、撮像者に対し撮像に適したカメラ間隔を示す。そうすることにより、撮像者が専門的な知識を有さずとも、表示に適しかつ高品質の３Ｄ画像を撮像することを可能としている。

特許文献１の３Ｄカメラでは、輻輳角はゼロに固定されており、２つのカメラの間隔が調整可能となっている。

これとは別に、２つのカメラのフォーカス距離や焦点距離（ズーム倍率）に連動して、２台のカメラの輻輳角を自動調整することができる雲台も開発されている。しかしながら、被写体までの距離が極端に近い場合には有効に作用しないなどの課題が残されている。

特開２００１−１４２１６６号公報

しかしながら、実際の３Ｄ映像制作現場（撮影現場）では、自然で違和感のない３Ｄ映像を撮影することが困難な状況が、依然として、数多くある。例えば、シーンや登場人物が刻々と変化するような状況での撮影、または、先の読めないスポーツの撮影では、被写体の視差が、一時的にではあっても、極端に大きくなってしまうことがある。また、例えば、遠景と近景とが混在するシーンの撮影等においては、一部の被写体（例えば、近景）の視差が不可避的に大きくなり過ぎてしまうことがある。だが、従来のカメラのビューファインダは、２Ｄ映像表示であることがほとんどである。このような場合、撮影現場で３Ｄ映像が自然で違和感のないものであるか否かを判断することは非常に困難である。

そのため、３Ｄ映像撮影現場では、自然で違和感のない３Ｄ映像が撮影できているか否かを撮影者がリアルタイムで判断しながら、３Ｄ映像撮影を行うことを可能にする手段が求められている。

また、撮影後の編集過程においても、撮影された３Ｄ映像が、自然で違和感のない３Ｄ映像であるか否かを、編集者が迅速かつ誤り無く判断することを可能にする手段が求められる。編集者が、３Ｄ映像が自然で違和感のないものであるか否かを迅速かつ容易に判断することができれば、３Ｄ映像の不備を修正することも容易となり、３Ｄ映像の制作過程の効率化が期待できる。

このように、３Ｄ映像の制作においては、撮影現場、および、撮影後の編集過程において、３Ｄ映像がそれを観察する者にとって自然で違和感のないものであるか否かを容易に判断することができる手段を必要としている。

上記課題を鑑み、本実施の形態により、自然で違和感のない３Ｄ映像の制作を支援する３Ｄ映像処理装置が提供される。

一態様は、左目用映像信号および右目用映像信号を含み、３Ｄ映像を実現する３Ｄ映像信号を処理する３Ｄ映像処理装置であって、左目用映像信号、および、右目用映像信号を入力し、３Ｄ映像に含まれる被写体の視差を検出し、視差情報として出力する視差検出部と、視差情報に基づき、左目用映像信号および右目用映像信号の少なくともいずれか一方の、視差が所定の範囲に含まれる被写体の映像領域に所定の画像処理を施す、映像処理部と、を有する、３Ｄ映像処理装置である。

一態様においては、視差検出部は、左目用映像信号、および、右目用映像信号について画素補間を行う、画素補間部と、画素補間部が出力する画素補間された左目用映像信号、および、画素補間された右目用映像信号に基づいて差分比較を行い、被写体の視差を１画素精度よりも高精度で検出して、視差情報を出力する差分比較部と、を備えることが好ましい。

一態様においては、映像処理部は、視差の大きさが所定値より大きい被写体の映像領域にマーカーを付ける処理を行うことが好ましい。

一態様においては、映像処理部は、視差の大きさが所定値以下の被写体の映像領域にマーカーを付ける処理を行うことが好ましい。

一態様においては、映像処理部は、視差の大きさが所定値より大きい被写体の映像領域にデフォーカス処理を行うことが好ましい。

一態様においては、映像処理部は、視差の大きさが所定値以下の被写体の映像領域にデフォーカス処理を行うことが好ましい。

一態様においては、さらに、左目用映像信号を出力する第１撮像装置のカメラの第１セッティング情報、および、右目用映像信号を出力する第２撮像装置のカメラの第２セッティング情報、の少なくともいずれか一方を入力し、第１撮像装置のカメラ、および、第２撮像装置のカメラ、の少なくともいずれか一方の被写界深度を検出し、被写界深度情報として出力する被写界深度検出部と、視差情報および被写界深度情報にもとづいて、第１および第２撮像装置から被写体までの距離を検出する距離検出部と、を有し、映像処理部は、検出した距離と被写界深度にもとづいて、左目用映像信号および右目用映像信号の少なくともいずれか一方の、所定の画像処理を施す映像領域を決定することが好ましい。

一態様においては、映像処理部は、被写界深度に含まれる被写体の映像領域にマーカーを付ける処理を行うことが好ましい。

一態様においては、映像処理部は、被写界深度に含まれない被写体の映像領域にマーカーを付ける処理を行うことが好ましい。

一態様においては、さらに、３Ｄ映像信号にもとづく３Ｄ映像表示を行う表示装置の表示画面のサイズを入力する入力部を有し、入力部から入力された表示画面のサイズに基づいて、所定の画像処理を施す映像領域を決定することが好ましい。

別の一態様は、左目用映像信号および右目用映像信号を含み、３Ｄ映像を実現する３Ｄ映像信号を処理する３Ｄ映像処理方法であって、左目用映像信号、および、右目用映像信号を入力し、３Ｄ映像に含まれる被写体の視差を検出し、視差情報として出力するステップと、視差情報に基づき、左目用映像信号および右目用映像信号の少なくともいずれか一方の、視差が所定の範囲に含まれる被写体の映像領域に所定の画像処理を施すステップと、を有する、３Ｄ映像処理方法である。

本実施の形態による３Ｄ映像処理装置により３Ｄ映像の被写体の視差に応じた画像処理が行われ、観察者は、３Ｄ映像が自然で違和感のないものであるか否かを判断することが容易になり、３Ｄ映像の制作を効率的に行えるようになる。

３Ｄ映像撮像装置と、被写体の関係を示す模式図 ３Ｄ映像の左目用映像、および、右目用映像、ならびに、両映像の合成映像を示す例図 ３Ｄ映像の左目用映像、および、右目用映像、ならびに、両映像の合成映像を示す例図 実施の形態１の３Ｄ映像処理装置を備えた３Ｄ映像撮像装置のブロック図 ３Ｄ映像処理装置の視差検出部の構成の詳細を示すブロック図 ３Ｄ映像の左目用映像、および、右目用映像、ならびに、マーカーがオーバーレイされた、両映像の合成映像を示す例図 ３Ｄ映像の左目用映像、および、右目用映像、ならびに、マーカーがオーバーレイされた、両映像の合成映像を示す例図 ３Ｄ映像表示面の大きさの違いによる視差絶対量の違いを説明する概念図 実施の形態２の３Ｄ映像処理装置を備えた３Ｄ映像撮像装置のブロック図 ３Ｄ映像撮像装置と被写体との距離を求める原理を説明するための概念図 ３Ｄ映像の左目用映像、および、右目用映像、ならびに、マーカーがオーバーレイされた、両映像の合成映像を示す例図 ３Ｄ映像の左目用映像、および、右目用映像、ならびに、マーカーがオーバーレイされた、両映像の合成映像を示す例図 実施の形態３の３Ｄ映像処理装置を備えた３Ｄ映像撮像装置のブロック図 ３Ｄ映像の左目用映像、および、右目用映像、ならびに、部分的デフォーカス処理が施された、両映像の合成映像を示す例図

以下、本発明の実施の形態について、詳細に説明する。

１．実施の形態１
１−１．概要
本実施の形態による３Ｄ映像処理装置は、３Ｄ映像が自然で違和感のない３Ｄ映像であるか否かを容易に判断することができる映像を出力することができる３Ｄ映像処理装置である。より具体的には、本３Ｄ映像処理装置は、３Ｄ映像中の被写体についての左目用映像および右目用映像の視差を検出し、検出された視差にもとづいて、観察者に違和感を与える可能性が高いと考えられる映像中の被写体の映像領域を検出する。そして、本３Ｄ映像処理装置は、検出された被写体の映像領域に対して所定の画像処理、例えば、当該映像領域を強調するマーカー表示処理等を施して出力する。

マーカー表示等の処理が施された映像により、観察者は、違和感を与える可能性が高い映像領域を容易に認識することができ、自然で違和感のない３Ｄ映像か否かを容易に判断することができるようになる。

１−２．構成
１−２−１．３Ｄ映像
先ず、本実施の形態の３Ｄ映像処理装置により処理される３Ｄ映像について簡単に説明する。

図１は、３Ｄ映像撮像装置に含まれる第１撮像部３００および第２撮像部３０１の配置、ならびに、３Ｄ映像撮像装置と被写体群１０２、１０３、１０４、１０５および１０６との位置関係を示す概念図である。

３Ｄ映像撮像装置の第１撮像部３００と第２撮像部３０１は、それぞれ、左目用映像および右目用映像を撮影するための撮像装置である。第１撮像部３００と第２撮像部３０１は、両者間の間隔をＬとし、両者の光軸が角度θをなして交差するように配置される。角度θは、一般に、輻輳角と称される。光軸の交点は、第１撮像部３００および第２撮像部３０１とおよそ距離Ｃだけ離れている。この、第１撮像部３００および第２撮像部３０１とおよそ距離Ｃだけ隔てて光軸の交点を含む面１０は、基準面と称される。このような状況下で被写体の３Ｄ映像を撮影すると、左目用映像および右目用映像における被写体の視差の大きさは、被写体の位置が基準面１０から遠ざかれば遠ざかるほどに増大する。

図１ならびに図２Ａおよび図２Ｂを参照し、実際に被写体が存在する位置の基準面１０からの隔たりと、３Ｄ映像において当該被写体に付与される視差との関係を説明する。

図２Ａは、図１に示す状況において被写体１０２および被写体１０３を撮影して得られる３Ｄ映像（左目用映像２０１Ｌ、および、右目用映像２０１Ｒ）、ならびに、両映像を合成して得られる合成映像２０１Ｄを示した図である。図２Ｂは、図１に示す状況において被写体１０５を撮影して得られる３Ｄ映像（左目用映像２０３Ｌ、および、右目用映像２０３Ｒ）、ならびに、両映像を合成して得られる合成映像２０３Ｄを示した図である。

図２Ａを参照すれば、３Ｄ映像における被写体１０２の視差は、視差Ｐ１０２である。同様に、３Ｄ映像における被写体１０３の視差は、視差Ｐ１０３である。次に、図２Ｂを参照すれば、３Ｄ映像における被写体１０５の視差は、視差Ｐ１０５である。このように、被写体１０２、１０３および１０５を例とすれば、３Ｄ映像においては、被写体１０５に関する視差が最も大きく、被写体１０３に関する視差が次に大きく、被写体１０２に関する視差が最も小さくなる。このように、実際に被写体が存在する位置が、基準面１０から遠ざかれば遠ざかるほどに、３Ｄ映像における当該被写体の視差は増大する。

このことは、被写体が基準面１０よりもさらに遠方にある場合にもあてはまる。つまり、図１における被写体１０４と被写体１０５を例とすれば、３Ｄ映像においては、被写体１０５に関する視差が、被写体１０４に関する視差よりも大きくなる。

既に述べたように、人間の脳は左目および右目から受ける２つの映像の視差から、立体感を認知する能力がある。しかしながら、極端に大きな視差が付いた２つの映像は、自然な映像として認識されない。そのため、図２Ｂのように、視差が極端に大きい３Ｄ映像は違和感のある映像として認知され、そのような３Ｄ映像を長時間視認すると疲労感を感じる場合がある。よって、３Ｄ映像を長時間快適に楽しむためには、３Ｄ映像は、自然で違和感のない画像でなければならない。

自然で違和感のない３Ｄ映像を制作するため、３Ｄ映像の撮影においては、３Ｄ映像中に含まれる被写体の視差の大きさが所定の範囲を越えないように撮影されることが望まれる。

よって、３Ｄ映像における被写体の視差の大きさが所定の範囲に収まるか否かは、被写体が、基準面を中央とした所定の空間の内部に位置するか否かによる。ここでは、図１に示されるように、３Ｄ映像における被写体の視差の大きさが、所定の範囲に収まる範囲を、「３Ｄセーフ内」と称する。反対に、３Ｄ映像における被写体の視差の大きさが、所定の範囲を超える範囲を、「３Ｄセーフ外」と称する。ここで、所定の範囲は、例えば、ゼロから所定値までである。所定値は、例えば、３Ｄ映像が表示される表示面を観察する観察者にとって、当該３Ｄ映像が自然かつ違和感のない映像として観察される視差の大きさに対応する値である。当該値は、既に複数の機関から公表されているガイドラインや、表示面の大きさ等を考慮して適宜定めればよい。

１−２−２．３Ｄ映像処理装置
次に、図３を参照し、３Ｄ映像処理装置の構成について説明する。図３は、本実施の形態の３Ｄ映像処理装置３１０を備える３Ｄ映像撮像装置の構成を示すブロック図である。

３Ｄ映像撮像装置は、左目用映像を撮像するための第１撮像部３００と、右目用映像を撮像するための第２撮像部３０１と、本実施の形態の３Ｄ映像処理装置３１０と、ビューファインダ等の表示部３０５と、を備える。第１撮像部３００は、第１映像信号（左目用映像の信号）を出力し、第２撮像部３０１は、第２映像信号（右目用映像の信号）を出力する。

表示部３０５は、例えば、映像をモニタリングするための表示装置である。表示部３０５は、３Ｄ映像処理装置３１０からの出力を受け、２Ｄ映像（左目用映像および右目用映像のいずれか）、または、３Ｄ映像を表示することができる。

３Ｄ映像処理装置３１０は、第１映像信号および第２映像信号を受け、両映像に含まれる被写体の視差を検出する視差検出部３０２と、視差検出部３０２が検出した視差にもとづいて、３Ｄセーフ内の被写体が写っている映像領域、および、３Ｄセーフ外の被写体が写っている映像領域、の少なくともいずれか一方の映像領域を示唆するマーカーの映像（マーカーレイヤ）を作成するマーカー生成部３０３と、左目用映像、および、右目用映像の少なくともいずれか一方にマーカーレイヤをオーバーレイするオーバーレイ部３０４と、を有する。オーバーレイ部３０４は、左目用映像、および、右目用映像、のいずれか一方、または、左目用映像と右目用映像の合成映像に、マーカーレイヤがオーバーレイされたオーバーレイ映像を表示部３０５へ出力することができる。

これにより、表示部３０５を観察する観察者は、第１撮像部３００および第２撮像部３０１の少なくともいずれか一方が撮影した映像に、３Ｄセーフ内または３Ｄセーフ外を示唆するマーカーがオーバーレイされた、オーバーレイ映像を観察することができる。観察者は、マーカーによって、３Ｄ映像中の部分映像領域が３Ｄセーフ内または３Ｄセーフ外であることを容易に確認することができる。

なお、第１撮像部３００、および、第２撮像部３０１は、対物レンズ、ズームレンズ、絞り、ＯＩＳ（Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚｅｒ）ユニット、フォーカスレンズ、撮像素子およびＡＤコンバータ等を含んでよい。撮像素子は、各種レンズを介して形成された被写体像を撮像して、画像データを生成するための素子であればよい。例えば、撮像素子は、ＣＭＯＳイメージセンサ、または、ＣＣＤイメージセンサである。撮像素子は、単板式であってもよいし、Ｒ、Ｇ、Ｂの信号毎に撮像素子を設けた３板式であってもよい。ＡＤコンバータは、撮像素子で生成された画像データをデジタル信号に変換することが可能であればよい。

図４は、視差検出部３０２の構成の詳細に関するブロック図である。

視差検出部３０２は、左目用映像に対し画素補間を行う第１画素補間部４０１Ｌおよび右目用映像に対し画素補間を行う第２画素補間部４０１Ｒと、映像のずれを検出する、第１画像シフト部４０２Ｌおよび第２画像シフト部４０２Ｒと、差分比較部４０３と、を有する。これらにより、視差検出部３０２は、１画素精度より高い精度で左目用映像と右目用映像との間の映像のずれを検出する。そうすることにより、視差検出部３０２は、第１撮像部３００が撮像した左目用映像と、第２撮像部３０１が撮像した右目用映像における同一被写体の視差の大きさを、１画素精度より高い精度で検出することができる。なお、視差検出部３０２は、被写体が基準面よりも近くに位置する場合の視差と、基準面よりも遠方に位置する場合の視差と、を区別して、例えば、符号（プラス、マイナス）で区別して、視差を出力してもよい。あるいは、視差検出部３０２は、上記区別を省略し、視差の大きさ（絶対値）を出力してもよい。

第１画素補間部４０１Ｌは、第１映像信号（左目用映像）を入力し、画素補間を行って解像度を向上させ、画素補間第１映像信号を第１画像シフト部４０２Ｌへ出力する。

第１画像シフト部４０２Ｌは、画素補間第１映像信号の映像を、例えば水平方向に１画素単位で様々にシフト量を変化させながらシフトさせて、画素補間第１映像シフト画像を差分比較部４０３へ出力する。

第２画素補間部４０１Ｒ、および、第２画像シフト部４０２Ｒは、それぞれ、第１画素補間部４０１Ｌ、および、第１画像シフト部４０２Ｒと同等の構成を有せばよい。

差分比較部４０３は、入力された画素補間第１映像シフト画像と、画素補間第２映像シフト画像とを比較し、両者の差分を導出する。そうすることにより、差分比較部４０３は、第１映像信号が表す映像の任意の画素について、当該画素とよく対応する画素、例えば、画素値がよく一致する画素、を第２映像信号が表す映像から検出する。

差分比較部４０３は、検出結果にもとづき、左目用映像の任意の画素と、当該画素によく対応する右目用映像の画素との間隔を求め、当該間隔を当該画素に関する視差とし、視差情報信号として出力する。

なお、差分比較部４０３は、第１映像（例えば、左目用映像）の任意の画素について、当該画素および当該画素を取り囲んだ画素を含む画素群について、当該画素群とよく一致する第２映像（例えば、右目用映像）の画素群を検出することにより、当該画素群の中央の画素の視差を導出してもよい。

また、差分比較部４０３は、第１映像（例えば、左目用映像）の複数画素を含んで構成される任意の画素ブロックについて、当該画素ブロックとよく一致する第２映像（例えば、右目用映像）の画素ブロックを検出することにより、当該画素ブロックの視差を導出してもよい。当該画素ブロックは、例えば、２×２画素の画素ブロック、４×４画素の画素ブロックでよい。

マーカー生成部３０３は、視差検出部３０２が出力する視差情報信号にもとづき、第１映像、および、第２映像の少なくともいずれか一方における任意の画素について、当該画素の視差の大きさと、所定の閾値と、の比較を行い、当該画素が、３Ｄセーフ内の被写体の映像の画素であるか、３Ｄセーフ外の被写体の映像の画素であるか、を判断する。マーカー生成部３０３は、例えば、３Ｄセーフ外の被写体の映像の画素の位置に、マーカーを付与することにより当該画素が強調表示されるように、マーカーレイヤを生成する。マーカーレイヤは、マーカーレイヤ信号として、オーバーレイ部３０４に出力される。

オーバーレイ部３０４は、第１映像信号、および、第２映像信号の少なくともいずれか一方、または、第１映像信号と第２映像信号の合成信号、に対し、マーカーレイヤを合成し、オーバーレイ映像信号を出力する。

このようにして、マーカー生成部３０３、および、オーバーレイ部３０４は、被写体の視差の大きさと所定値との比較に基づいて、第１映像信号（左目用映像信号）および第２映像信号（右目用映像信号）の少なくともいずれか一方に所定の画像処理を施す、映像処理部を構成する。

１−３．動作
これより、３Ｄ映像処理装置３１０の動作について説明する。以下では、図１の被写体１０２、１０３および１０５を撮像する例を用いて、動作説明を行う。

図５Ａは、第１撮像部３００が撮像した左目用映像５０１Ｌ、第２撮像部３０１が撮像した右目用映像５０１Ｒ、および、左目用映像と右目用映像の合成映像に対してマーカーレイヤが合成されたオーバーレイ映像５０１Ｄ、を例示する図である。

３Ｄ映像処理装置３１０の視差検出部３０２は、左目用映像５０１Ｌおよび右目用映像５０１Ｒを入力し、上述した第１画素補間部４０１Ｌおよび第２画素補間部４０１Ｒ、第１画像シフト部４０２Ｌおよび第２画像シフト部４０２Ｒ、ならびに、差分比較部４０３により、左目用映像５０１Ｌの任意の画素について、当該画素によく対応する右目用映像５０１Ｒの画素を検出し、両画素間の間隔が求め、当該間隔を視差とし、マーカー生成部３０３へ視差情報信号を出力する。

マーカー生成部３０３は、視差情報信号にもとづき、視差が所定の閾値を超える画素について、当該画素が強調表示されるようにマーカーレイヤを生成し、マーカーレイヤ信号としてオーバーレイ部３０４へ出力する。

オーバーレイ部３０４は、第１映像信号、および、第２映像信号の少なくともいずれか一方、または、第１映像と第２映像の合成映像の信号に対し、３Ｄセーフ外にある被写体の映像領域を示すマーカーレイヤをオーバーレイして、オーバーレイ映像信号出力する。

図５Ａのオーバーレイ映像５０１Ｄは、第１映像と第２映像の合成映像の信号に対し、マーカーがオーバーレイされた映像の例である。本例においてマーカーは、点滅するゼブラ・パターンである。

このようにして、表示部３０５には、３Ｄセーフ外にある被写体の映像領域にマーカーが付された映像が表示される。よって、表示部３０５を観る観察者は、３Ｄセーフ外の被写体が３Ｄ映像中に含まれるか否かを、容易かつ迅速に判断することができる。このようなマーカーは視認性に優れていることから、表示部３０５が、表示面の大きさが小さく、２Ｄ表示しかできないようなビューファインダであっても、観察者は、撮影している３Ｄ映像中に３Ｄセーフ外の被写体が含まれるか否かを容易かつ迅速に判断することができる。

また、カメラ位置の詳細な調整が必要な場合にもマーカーを確認しながら容易に最適なカメラセッティングを行うことができるため、撮影の効率を大幅に改善することができ、結果として、視聴者の健康上の安全を守ることができる。

図５Ｂのオーバーレイ映像５０３Ｄは、３Ｄセーフ内にある被写体の映像領域にマーカーが付された映像の例である。このように、３Ｄセーフ内にある被写体の映像領域にマーカーを付してもよい。

なお、図５Ａおよび図５Ｂの例では、点滅するゼブラ（斜線）パターンのマーカーを生成している。しかしながら、マーカーは、点滅するゼブラ・パターンに限定されず、特定の映像領域を強調表示することができる模様のマーカーであればよい。オーバーレイ部３０４は、第１撮像部３００および第２撮像部３０１から出力される映像の少なくとも一方にマーカーをオーバーレイ表示すればよい。そうすることで、観察者は、表示部３０５を観察することで、被写体が３Ｄセーフ内であるか、３Ｄセーフ外であるか、２Ｄ映像表示で区別できるようになる。

１−４．判定閾値について
図６を参照し、３Ｄセーフの範囲について説明する。

図６は、異なるサイズの表示装置９６１および９６３それぞれで観察される視差を示す図である。図６（ａ）に示す左目用映像９５１Ｌおよび右目用映像９５１Ｒに基づいて、図６（ｂ）に示すように３Ｄ映像を表示装置９６１に表示させた場合、表示装置９６１における視差の絶対量は、例えば、Ｐ９６１のような大きさを有する。これに対し、図６（ｃ）に示すように同じ３Ｄ映像を表示装置９６３に表示させた場合、表示装置９６３における視差の絶対量は、例えば、Ｐ９６３のような大きさを有する。

このように、同じ３Ｄ映像であっても、表示させる表示装置の画面サイズに応じて、視差の絶対量は、変化する。表示装置の画面のサイズが大きくなればなるほど、同じ３Ｄ映像であっても、視差の絶対量が大きくなり、観察者に違和感を覚えさせる可能性が高くなることが懸念される。

成人の両目の間隔はおよそ６５ｍｍであり、左右２つの目は同時に内向きには動くが、同時に外向きには動かないことから、人間が自然界で６５ｍｍ以上の視差となる画像を見ることはない。それゆえ、表示装置上で６５ｍｍ以上の視差が発生すると人間の脳はそれを自然な３Ｄ画像と認知することができない可能性が高くなる。つまり、３Ｄセーフであるか否かは上映する表示装置の画面サイズとも密接な関係を持っている。

そこで、本実施の形態１の３Ｄ映像処理装置３１０のマーカー生成部３０３、後述する実施の形態２の３Ｄ映像処理装置７１０のマーカー生成部７０４、および、後述する実施の形態３のデフォーカス処理領域指示部１００３において、予め、３Ｄ映像の表示に使用する表示装置の画面サイズを入力する手段を設け、３Ｄセーフ内または３Ｄセーフ外の判定基準を、視差の絶対量が、３Ｄ映像の表示に使用する表示装置の画面上で６５ｍｍ以上になるか否かの判断に基づいて決定してもよい。

なお、３Ｄセーフか否かの判定基準を、成人の両目の間隔である６５ｍｍと対応させて説明したが、子供向けに、より狭い視差絶対量（すなわち、６５ｍｍ未満）を判定基準としてもよい。あるいは、逆に、判定基準を、より広い視差絶対量（すなわち、６５ｍｍ以上）としてもよい。

２．実施の形態２
２−１．概要
本実施の形態による３Ｄ映像処理装置は、実施の形態１の３Ｄ映像処理装置３１０の構成に加え、任意の被写体までの距離を検出する構成を有する。検出された距離に基づき、当該被写体が被写界深度に含まれるか否かが判断される。判断結果は、表示部３０５に出力されるオーバーレイ映像におけるマーカーの表示に反映される。なお、被写界深度は、カメラのセッティング情報にもとづいて導出される。

そうすることにより、表示部３０５を観る観察者は、映像中の被写体が被写界深度内であるか否かを容易に認識することができる。被写体が被写界深度内に含まれることと、当該被写体の視差が所定の範囲に含まれること、とは、必ずしも一致するものではない。しかしながら、被写体が被写界深度内に含まれることは、当該被写体に関して自然かつ違和感のない３Ｄ映像が制作可能であることを強く示唆する。そのため、被写体が被写界深度内に含まれるか否かを判断容易とすることにより、自然かつ違和感のない３Ｄ映像を制作することを支援することができる。

２−２．構成
実施の形態２の３Ｄ映像処理装置の構成について、図７および図８を参照し説明する。ただし、実施の形態１の３Ｄ映像処理装置３１０と同等の構成については、適宜説明を省略する。

図７を参照すれば、実施の形態２の３Ｄ映像処理装置７１０は、視差検出部３０２およびオーバーレイ部３０４に加え、さらに、第１撮像部７００のカメラセッティングの情報（第１撮像部情報信号）、および、第２撮像部７０１のカメラセッティングの情報（第２撮像部情報信号）、の少なくともいずれか一方を入力し、カメラの被写界深度を検出し、被写界深度情報として出力する被写界深度検出部７０２と、第１撮像部情報信号、および、第２撮像部情報信号、の少なくともいずれか一方、ならびに、視差検出部３０２から視差情報信号、を入力し、３Ｄ撮像装置から任意の被写体までの距離を検出し、距離情報信号として出力する距離検出部７０３と、視差情報信号、および、距離情報信号、の少なくともいずれか一方にもとづいて、マーカーレイヤを生成し、マーカーレイヤ信号として出力するマーカー生成部７０４と、を備える。第１撮像部情報信号は、例えば、第１撮像部７００のカメラのレンズの焦点距離、絞り値、フォーカス距離、輻輳角、等、および、第２撮像部７０１のカメラとのカメラ間間隔、等、の情報を含めばよい。第２撮像部情報信号もまた、例えば、第２撮像部７０１のカメラのレンズの焦点距離、絞り値、フォーカス距離、輻輳角、等、および、第１撮像部７００のカメラとのカメラ間間隔、等、の情報を含めばよい。

被写界深度検出部７０２は、第１撮像部情報信号に含まれる、レンズの焦点距離、絞り値、フォーカス距離、等の情報に基づき、第１撮像部７００のカメラの被写界深度を検出し、出力する。同様にして、被写界深度検出部７０２は、第２撮像部情報信号に含まれる、レンズの焦点距離、絞り値、フォーカス距離、等の情報に基づき、第２撮像部７０１のカメラの被写界深度を検出し、出力する。なお、第２撮像部７０１の被写界深度については、第１撮像部７００の被写界深度とほぼ同一であるとみなし、出力を省略してもよい。

距離検出部７０３は、第１撮像部情報信号に含まれる、第１撮像部７００のカメラのレンズの焦点距離、輻輳角、等、および、第２撮像部７０１のカメラとの間隔、等、の情報、ならびに、視差情報信号、に基づき、３Ｄ映像撮像装置と任意の被写体までの距離を検出する。同様にして、距離検出部７０３は、第２撮像部情報信号に含まれる、第２撮像部７０１のカメラのレンズの焦点距離、輻輳角、等、および、第１撮像部７００のカメラとの間隔、等、の情報、ならびに、視差情報信号、に基づき、３Ｄ映像撮像装置と任意の被写体までの距離を検出してもよい。

図８は、左目用映像および右目用映像中の被写体に含まれる視差を用いた距離検出の原理を説明する図である。以下、図８を参照し、距離検出部７０３が行う被写体距離検出について説明する。

図８において、距離検出しようとする被写体と、３Ｄ映像撮像装置との距離をＤとする。また、第１撮像部７００と第２撮像部７０１の両カメラの設置間隔をＬとする。第１撮像部７００および第２撮像部７０１の両レンズは、焦点距離Ｆに設定されている。また、第１撮像部７００および第２撮像部７０１の両カメラの光軸は、基準面において、角度θ（輻輳角θ）をなして交差する。３Ｄ映像中における被写体の視差がδであるとすれば、第１撮像部７００の撮像素子８０５Ｌにおいて、被写体の像は、位置８０７Ｌに結像し、同様に、第２撮像部７００の撮像素子８０５Ｒにおいて、被写体の像は、位置８０７Ｒに結像する。

したがって、高さＦの三角形と高さＤの三角形の相似関係を利用すれば、被写体までの距離Ｄは、
Ｄ＝Ｌ／｛２・ｔａｎ（θ／２）＋δ／Ｆ｝、
として求めることができる。

被写体距離Ｄの計算精度は、視差δの検出精度に強く依存する。そのため、できるだけ高精度で視差δを検出することが重要になる。よって、視差検出部３０２は、画素補間を利用して１画素より高精度で、視差δを求めることが望ましい。

図７に戻り、被写界深度検出部７０２は、第１撮像部７００および第２撮像部７０１の両カメラの被写界深度の深さを検出する。検出した被写界深度は、被写界深度情報信号として、マーカー生成部７０４へ出力される。ここで、被写界深度情報信号には、両カメラにおいて、フォーカスが合う最も近い距離Ｆｍｉｎと、フォーカスが合う最も遠い距離をＦｍａｘに関する情報が含まれることが好ましい。

マーカー生成部７０４は、被写界深度情報に含まれるＦｍｉｎおよびＦｍａｘから、フォーカスが合う範囲［Ｆｍｉｎ，Ｆｍａｘ］を定め、距離検出部７０３から受け取る距離情報信号に含まれる被写体距離Ｄが、範囲［Ｆｍｉｎ，Ｆｍａｘ］に含まれるか否かを判断する。そして、マーカー生成部７０４は、例えば、被写界深度外の被写体の映像の画素の位置に、マーカーが付与され、当該画素が強調表示されるように、マーカーレイヤを生成する。

例えば、図１のような状況において、被写界深度内にある被写体は円形の被写体１０２のみである。実施の形態２の３Ｄ映像処理装置７１０は、実施の形態１の３Ｄ映像処理装置３１０の作用に加え、３Ｄ映像撮像装置から被写体までの距離を検出し、被写界深度と比較して、被写界深度の内と外にある被写体を容易に区別できるようなマーカー（第２マーカー）をオーバーレイ表示することができる。

本実施の形態において、マーカー生成部７０４、および、オーバーレイ部３０４は、被写体の視差の大きさと、第１の所定値とを比較し、当該比較に基づいて、第１映像信号（左目用映像信号）および第２映像信号（右目用映像信号）の少なくともいずれか一方に第１マーカーを付与するとともに、撮像装置と被写体までの距離と、第２所定値とを比較し、当該比較に基づいて、第１映像信号（左目用映像信号）および第２映像信号（右目用映像信号）の少なくともいずれか一方に第２マーカーを付与する、映像処理部を構成する。第１マーカーと、第２マーカーとは、観察者が区別可能に異なってもよい。第１の所定値は、被写体の３Ｄセーフ内または３Ｄセーフ外を判断する閾値であり、第２の所定値は、被写体の被写界深度内または被写界深度外を判断するための閾値であればよい。

２−３．動作
これより、３Ｄ映像処理装置７１０の動作について説明する。３Ｄ映像処理装置７１０は、実施の形態１の３Ｄ映像処理装置３１０と同様に、３Ｄセーフ内または３Ｄセーフ外を示すマーカーレイヤを生成可能であるが、以下では、簡単のため、被写界深度内または被写界深度外を示すマーカーレイヤの生成動作のみについて説明する。

３Ｄ映像処理装置７１０の視差検出部３０２は、実施の形態１と同様に、マーカー生成部３０３に対し、視差情報信号を出力する。

距離検出部７０３は、第１撮像部情報信号、および、第２撮像部情報信号、の少なくともいずれか一方、ならびに、視差情報信号、に基づき、映像中の被写体（画素）の距離Ｄを検出し、距離情報信号として、マーカー生成部７０４へ出力する。

マーカー生成部７０４は、被写界深度情報、および、距離情報信号にもとづき、被写界深度内に含まれる被写体を表す画素について、当該画素が強調表示されるようにマーカーレイヤを生成し、マーカーレイヤ信号としてオーバーレイ部３０４へ出力する。

オーバーレイ部３０４は、第１映像信号、および、第２映像信号のいずれか一方、または、第１映像と第２映像の合成映像の信号に対し、マーカーレイヤをオーバーレイして、出力する。

図９Ａは、第１撮像部７００が撮像した左目用映像９０１Ｌ、第２撮像部７０１が撮像した右目用映像９０１Ｒ、および、左目用映像と右目用映像の合成映像に対してマーカーレイヤが合成されたオーバーレイ映像９０１Ｄ、を例示する図である。

図９Ａのオーバーレイ映像９０１Ｄでは、被写界深度内にある被写体に対し、マーカーが付されている。

このようにして、表示部３０５には、被写界深度内にある被写体の映像領域にマーカーが付された映像が表示される。よって、表示部３０５を観る観察者は、被写界深度内の被写体を、容易かつ迅速に確認することができる。よって、表示部３０５が、表示面の大きさが小さいビューファインダであっても、観察者は、撮影している３Ｄ映像中の被写体が被写界深度内に含まれるか否かを容易かつ迅速に判断することができる。

なお、図９Ｂのオーバーレイ映像９０３Ｄは、被写界深度外にある被写体の映像領域にマーカーが付された映像の例である。このように、被写界深度外にある被写体の映像領域にマーカーを付してもよい。

なお、実施の形態２においても、実施の形態１と同様に、マーカーは、点滅するゼブラ（斜線）パターンに限定されない。

実施の形態２の３Ｄ映像処理装置によれば、被写体が被写界深度内に含まれるか否かを容易に判断することができる。これにより、３Ｄ映像の制作を効率化することが可能である。

なお、実施の形態２の３Ｄ映像処理装置７１０は、３Ｄ映像撮像装置と一体化して構成される構成例を示した。しかしながら、３Ｄ映像処理装置７１０は、撮像装置と分離して構成されてよい。その場合、第１撮像部情報信号および第２撮像部情報信号等は、第１映像信号および第２映像信号等にメタ・データとして含めてよい。当該メタ・データには、両カメラのセッティングの情報が含まれてよい。この場合、３Ｄ映像処理装置７１０は、当該セッティングの情報にもとづいて被写界深度を導出すればよい。あるいは、当該メタ・データには、被写界深度の情報が含まれてよい。

３．実施の形態３
３−１．概要
本実施の形態による３Ｄ映像処理装置は、３Ｄ映像を処理することにより、３Ｄセーフ外の被写体に対し所定の処理を行い、当該３Ｄ映像を自然で違和感のない３Ｄ映像とすることができる３Ｄ映像処理装置である。より具体的には、本３Ｄ映像処理装置は、３Ｄ映像中の３Ｄセーフ外の被写体について、デフォーカス処理を行って出力する。

そうすることにより、上記デフォーカス処理が施された３Ｄ映像においては、３Ｄセーフ外の被写体は、その輪郭や内部の詳細がぼかされるため、観察者に違和感を与えにくい。

本実施の形態による３Ｄ映像処理装置は、実施の形態１や実施の形態２の３Ｄ映像処理装置３１０および７１０と同様の構成を備えてよい。以下の説明では、マーカー生成部３０３、オーバーレイ部３０４、被写界深度検出部７０２、距離検出部７０３およびマーカー生成部７０４、等の構成の記載および説明を省略する。

３−２．構成
図１０を参照し、本実施の形態の３Ｄ映像処理装置の構成について説明する。図１０は、本実施の形態の３Ｄ映像処理装置１０１０を備える３Ｄ映像撮像装置の構成を示すブロック図である。

３Ｄ映像処理装置１０１０は、視差情報信号に基づいて、３Ｄセーフ外の被写体を表す映像領域を検出し、当該映像領域に対する処理（デフォーカス処理）を指示する処理領域指示信号を出力するデフォーカス処理領域指示部１００３と、第１映像信号および第２映像信号の、処理領域指示信号が指示する映像領域に対し、画像処理（デフォーカス処理）を実行し、デフォーカス処理映像信号を出力するデフォーカス処理部１００４と、を含んで構成される。

なお、３Ｄ映像処理装置１０１０は、デフォーカス処理映像信号に基づいて映像を表示する表示部３０５に加え、デフォーカス処理映像信号を格納する記憶部１００５を備えてもよい。

本実施の形態において、デフォーカス処理領域指示部１００３、および、デフォーカス処理部１００４は、被写体の視差の大きさと、所定値との比較に基づいて、第１映像信号（左目用映像信号）および第２映像信号（右目用映像信号）の少なくともいずれか一方に所定の画像処理を施す、映像処理部を構成する。

３−３．動作
これより、３Ｄ映像処理装置１０１０の動作について説明する。以下では、図１の被写体１０２、１０３および１０５を撮像する例を用いて、動作説明を行う。

図１１は、第１撮像部３００が撮像した左目用映像５０１Ｌ、第２撮像部３０１が撮像した右目用映像５０１Ｒ、および、左目用映像と右目用映像の合成映像に対してデフォーカス処理が施されたデフォーカス処理映像５０７Ｄ、を例示する図である。

視差検出部３０２は、左目用映像５０１Ｌおよび右目用映像５０１Ｒを入力し、両映像の任意の画素の視差が求められ、視差情報信号として、デフォーカス処理領域指示部１００３へ出力される。

デフォーカス処理領域指示部１００３は、視差情報信号にもとづき、３Ｄセーフ外の視差を有する画素を検出し、当該画素を含むように、デフォーカス処理領域を決定し、処理領域指示信号としてデフォーカス処理部１００４へ出力する。

デフォーカス処理部１００４は、第１映像信号、および、第２映像信号の少なくともいずれか一方、または、第１映像と第２映像の合成映像の信号に対し、処理領域指示信号にもとづくデフォーカス処理を施して、デフォーカス処理映像信号として出力する。

図１１のデフォーカス処理映像５０７Ｄは、第１映像と第２映像の合成映像の信号に対し、デフォーカス処理が施された映像の例である。ここでは、被写体１０５に関する映像領域１０５Ｒおよび１０５Ｌは、デフォーカス処理され、輪郭や内部の詳細が認識しにくいものになっている。

このようにして、３Ｄ映像処理装置１０１０は、３Ｄセーフ外にある被写体の映像領域にデフォーカス処理が施された３Ｄ映像を出力することができる。そのため、当該デフォーカス処理が施された３Ｄ映像にあっては、少なくとも、観察者に違和感を覚えさせる程度が低減される。そのため、３Ｄ映像中に不可避的に３Ｄセーフ外の被写体が含まれる場合であっても、当該３Ｄ映像を、自然かつ違和感のないものにすることができる。

なお、デフォーカス処理部１００４がする画像処理は、デフォーカス処理に限定されず、当該処理は、観察者が所定の映像領域を認識しにくいものにする画像処理であればよい。

４．まとめ
本実施の形態による３Ｄ映像処理装置は、左目用映像および右目用映像にもとづいて任各画素の視差を検出することにより、被写体の視差を検出し、被写体の視差の大きさが所定値を超えるか否かを判断し、当該判断に従って所定の画像処理を行う。そうすることで、３Ｄ映像処理装置は、自然で違和感のない３Ｄ映像の制作を支援する。

なお、本実施の形態の３Ｄ映像処理装置は、撮像装置と一体的に構成されて、３Ｄ映像撮像装置を構成してよい。また、本実施の形態の３Ｄ映像処理装置は、編集装置と一体的に構成されて、３Ｄ映像編集装置を構成してもよい。

なお、３Ｄ映像処理装置は、コンピュータといった情報処理装置と、当該情報処理装置において実行可能なプログラムにより、実施されてよい。また、当該プログラムは、情報処理装置に予めインストールされてよい。また、当該プログラムは、記憶媒体に記録されて配布されてよい。また、当該プログラムは、インターネット等を介して配信されてもよい。

本実施の形態により３Ｄ映像処理装置は、３Ｄ映像の制作を支援することが可能であり、有用である。

１０２ ・・・ 被写体
１０３ ・・・ 被写体
１０４ ・・・ 被写体
１０５ ・・・ 被写体
１０６ ・・・ 被写体
３００ ・・・ 第１撮像部
３０１ ・・・ 第２撮像部
３０２ ・・・ 視差検出部
３０３ ・・・ マーカー生成部
３０４ ・・・ オーバーレイ部
３０５ ・・・ 表示部
３１０ ・・・ ３Ｄ映像処理装置
４０１Ｌ・・・ 第１画素補間部
４０１Ｒ・・・ 第２画素補間部
４０２Ｌ・・・ 第１画像シフト部
４０２Ｒ・・・ 第２画像シフト部
４０３ ・・・ 差分比較部
７００ ・・・ 第１撮像部
７０１ ・・・ 第２撮像部
７０２ ・・・ 被写界深度検出部
７０３ ・・・ 距離検出部
７０４ ・・・ マーカー生成部
７１０ ・・・ ３Ｄ映像処理装置
８０５Ｌ・・・ 第１撮像部の撮像素子
８０５Ｒ・・・ 第２撮像部の撮像素子
１００３ ・・・ デフォーカス処理領域指示部
１００４ ・・・ デフォーカス処理部
１００５ ・・・ 記憶部
１０１０ ・・・ ３Ｄ映像処理装置

Claims (11)

1. 左目用映像信号および右目用映像信号を含み、３Ｄ映像を実現する３Ｄ映像信号を処理する３Ｄ映像処理装置であって、
   前記左目用映像信号、および、前記右目用映像信号を入力し、３Ｄ映像に含まれる被写体の視差を検出し、視差情報として出力する視差検出部と、
   前記視差情報に基づき、前記左目用映像信号および前記右目用映像信号の少なくともいずれか一方の、視差が所定の範囲に含まれる被写体の映像領域に所定の画像処理を施す、映像処理部と、
   を有する、３Ｄ映像処理装置。
2. 前記視差検出部は、
   前記左目用映像信号、および、前記右目用映像信号について画素補間を行う、画素補間部と、
   前記画素補間部が出力する画素補間された左目用映像信号、および、画素補間された右目用映像信号に基づいて差分比較を行い、前記被写体の視差を１画素精度よりも高精度で検出して、前記視差情報を出力する差分比較部と、を備える、請求項１に記載の３Ｄ映像処理装置。
3. 前記映像処理部は、視差の大きさが所定値より大きい被写体の映像領域にマーカーを付ける処理を行う、請求項１に記載の３Ｄ映像処理装置。
4. 前記映像処理部は、視差の大きさが所定値以下の被写体の映像領域にマーカーを付ける処理を行う、請求項１に記載の３Ｄ映像処理装置。
5. 前記映像処理部は、視差の大きさが所定値より大きい被写体の映像領域にデフォーカス処理を行う、請求項１に記載の３Ｄ映像処理装置。
6. 前記映像処理部は、視差の大きさが所定値以下の被写体の映像領域にデフォーカス処理を行う、請求項１に記載の３Ｄ映像処理装置。
7. さらに、前記左目用映像信号を出力する第１撮像装置のカメラの第１セッティング情報、および、前記右目用映像信号を出力する第２撮像装置のカメラの第２セッティング情報、の少なくともいずれか一方を入力し、前記第１撮像装置のカメラ、および、前記第２撮像装置のカメラ、の少なくともいずれか一方の被写界深度を検出し、被写界深度情報として出力する被写界深度検出部と、
   前記視差情報および前記被写界深度情報にもとづいて、前記第１および第２撮像装置から前記被写体までの距離を検出する距離検出部と、を有し、
   前記映像処理部は、前記検出した距離と被写界深度にもとづいて、前記左目用映像信号および前記右目用映像信号の少なくともいずれか一方の、前記所定の画像処理を施す映像領域を決定する、請求項１に記載の３Ｄ映像処理装置。
8. 前記映像処理部は、前記被写界深度に含まれる被写体の映像領域にマーカーを付ける処理を行う、請求項７に記載の３Ｄ映像処理装置。
9. 前記映像処理部は、前記被写界深度に含まれない被写体の映像領域にマーカーを付ける処理を行う、請求項７に記載の３Ｄ映像処理装置。
10. さらに、前記３Ｄ映像信号にもとづく３Ｄ映像表示を行う表示装置の表示画面のサイズを入力する入力部を有し、
    前記入力部から入力された前記表示画面のサイズに基づいて、前記所定の画像処理を施す映像領域を決定する、請求項１に記載の３Ｄ映像処理装置。
11. 左目用映像信号および右目用映像信号を含み、３Ｄ映像を実現する３Ｄ映像信号を処理する３Ｄ映像処理方法であって、
    前記左目用映像信号、および、前記右目用映像信号を入力し、３Ｄ映像に含まれる被写体の視差を検出し、視差情報として出力するステップと、
    前記視差情報に基づき、前記左目用映像信号および前記右目用映像信号の少なくともいずれか一方の、視差が所定の範囲に含まれる被写体の映像領域に所定の画像処理を施すステップと、を有する、
    ３Ｄ映像処理方法。

Images