JP4530803B2

JP4530803B2 - 立体視画像生成装置および立体視画像生成方法

Info

Publication number: JP4530803B2
Application number: JP2004313962A
Authority: JP
Inventors: 雅貴吉良
Original assignee: ▲吉▼良雅貴
Priority date: 2004-10-28
Filing date: 2004-10-28
Publication date: 2010-08-25
Anticipated expiration: 2024-10-28
Also published as: JP2006129016A

Description

本発明は立体視画像生成技術、特に、立体視を可能とする一対の左眼用画像および右眼用画像を生成する立体視画像生成技術に関する。

近年、映画、ゲーム、医療やコンピュータグラフィックス等の分野において、立体視を可能とするために、視差を有する左眼用画像および右眼用画像を観察者の左右両眼に提示する技術が用いられることがある。この技術を利用した装置として、例えば、特許文献１には、立体視用として得られた左眼用画像と右眼用画像とを一つの画面上に左右に配置して観察者に提示する立体画像編集装置が開示されている。
特開２００２−１２５２４５号公報

確かに特許文献１によれば、観察者は二次元の画像を立体的に視認でき、その結果、より臨場感あふれる雰囲気を体感できるようになるが、例えば左眼用画像および右眼用画像を撮影するカメラ間隔が大きくなれば、左眼用画像および右眼用画像の水平方向のずれが大きくなり、観察者がそれら一対の画像を観察した際に、視野闘争が顕著になることがある。この視野闘争が顕著になれば立体視の可能が困難になり、場合によっては立体視できないという問題が生じることがある。さらに、立体画像の観察者によっては軽い不快感を感じる場合もある。そのため、この視野闘争を抑制し、眼の負荷が少ない自然な立体視を実現する技術が求められている。

本発明はこうした課題に鑑みてなされたものであり、その目的は眼の負荷が少ない自然な立体視を実現する立体視画像生成装置、立体視画像生成方法、およびプログラムの提供にある。

本発明のある態様は、立体視画像生成装置に関する。この立体視画像生成装置は、立体視を可能とする一対の左眼用画像および右眼用画像を生成する装置であり、一対の左眼用画像および右眼用画像のうちいずれか一方の画像内に存在するが他方の画像内に存在しない処理領域を抽出する抽出部と、抽出部により抽出された処理領域内の画像の色情報を調整する調整部と、を備える。

この態様によれば、一対の左眼用画像および右眼用画像において、抽出部により抽出されたお互いに異なる処理領域の画像の色情報、例えば輝度を低下させることで、例えば左眼用画像内の注目点を右眼用画像内の注目点に優先して知覚させることができ、結果として視野闘争を抑制できる。これにより眼の負荷が少ない自然な立体視を実現できる。

調整部は、処理領域内の画像を視覚的に目立たなくしてもよい。抽出部は、一方の画像を取得する第１の視点とは異なる第２の視点に配置された光源から照射される光により形成される陰影部分を前記処理領域として抽出してもよい。第２の視点は一方の画像とは異なる他方の画像を取得してもよい。光源から照射される光は不可視光であってもよい。

本発明の別の態様も、立体視画像生成装置に関する。この立体視画像生成装置は、立体視を可能とする一対の左眼用画像および右眼用画像を生成する装置であり、当該装置は、左眼用画像を撮影する左眼用カメラと、右眼用画像を撮影する右眼用カメラと、左眼用カメラ側に配置された左眼側光源と、右眼用カメラ側に配置された右眼側光源と、左眼用カメラおよび右眼用カメラの撮影のタイミング、および左眼側光源および右眼側光源の光の照射のタイミングを制御する制御部と、一対の左眼用画像および右眼用画像のうちいずれか一方の画像内に存在するが他方の画像内に存在しない処理領域を抽出する抽出部と、を備え、第１のタイミングにおいて、制御部の指示により、右眼側光源の光の照射とともに左眼用カメラにより左眼用画像が撮影され、第２のタイミングにおいて、制御部の指示により、左眼側光源の光の照射とともに右眼用カメラにより右眼用画像が撮影されるものであり、抽出部は、第１のタイミングにおいて撮影された左眼用画像内に含まれる陰影部分を処理領域として抽出し、さらに、第２のタイミングにおいて撮影された右眼用画像内に含まれる陰影部分を処理領域として抽出する。

本発明のさらに別の態様は、立体視画像生成方法に関する。この立体視画像生成方法は、左眼用画像を撮影する視点とは異なる視点に配置された光源の光の照射を伴って左眼用画像を撮影するステップと、右眼用画像を撮影する視点とは異なる視点に配置された光源の光の照射を伴って右眼用画像を撮影するステップと、撮影された左眼用画像および右眼用画像のうちいずれか一方の画像内に存在するが他方の画像内に存在しない処理領域を抽出するステップと、抽出された処理領域内の画像の色情報を調整するステップと、を含む。

本発明のさらに別の態様は、プログラムに関する。このプログラムは、立体視を可能とする一対の左眼用画像および右眼用画像を生成する処理をコンピュータに実行させるプログラムであって、コンピュータに左眼用画像を撮影する視点とは異なる視点に配置された光源の光の照射を伴って左眼用画像を撮影させる機能と、右眼用画像を撮影する視点とは異なる視点に配置された光源の光の照射を伴って右眼用画像を撮影させる機能と、撮影された左眼用画像および右眼用画像のうちいずれか一方の画像内に存在するが他方の画像内に存在しない処理領域を抽出させる機能と、抽出された処理領域内の画像の色情報を調整させる機能と、を実行させる。

本発明によれば、眼の負荷が少ない自然な立体視を実現できる。

実施の形態１
図１は、実施の形態１に係る立体視画像生成装置の構成を示す。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩ（Large Scale Integration）で実現でき、ソフトウエア的にはＧＵＩ（Graphical User Interface）機能、撮影機能その他の機能をもつプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

この立体視画像生成装置１００は立体カメラ、ゲーム機器や内視鏡装置などに組み込まれ、外部の不図示の立体視用ディスプレイなどを介して観察者であるユーザの左右両眼のそれぞれに、相異なる左眼用画像および右眼用画像のそれぞれを提示する。例えば、銀塩カメラのフィルムで画像に出力することも可能である。この場合、画像処理部１２０は、例えば外部のコンピュータでフィルム画像を電子データに変換してもよい。また、ユーザは立体視ビュアーで出力画像を観察してもよい。これによりユーザによる立体視が可能になる。以下、左眼用画像と右眼用画像とにより形成される立体感をもって表示された画像を「立体画像」という。実施の形態１に係る立体視画像生成装置１００は、提示部１０２と、画像記憶部１０４と、制御部１１０と、画像処理部１２０と、左眼側撮影部１３０Ｌと、右眼側撮影部１３０Ｒとを含む。

制御部１１０は、光源制御部１１２およびシャッター制御部１１４を含み、光の照射のタイミングおよび撮影のタイミングを制御する。具体的には、光源制御部１１２は、後述の左眼側光源１３６Ｌおよび右眼側光源１３６Ｒの光の照射のタイミングを制御する。また、シャッター制御部１１４は、後述の左眼用カメラ１３２Ｌおよび右眼用カメラ１３２Ｒのシャッターの押下のタイミングを制御することで、左眼用カメラ１３２Ｌの撮影のタイミング、右眼用カメラ１３２Ｒの撮影のタイミングを制御する。また、不図示ではあるが、制御部１１０は左眼用カメラ１３２Ｌおよび右眼用カメラ１３２Ｒのピントを調整するピント調整部や露出を調整する露出調整部も含んでもよい。ピントや露光を調整することで良好な画像を生成できる。

左眼側撮影部１３０Ｌは、左眼用カメラ１３２Ｌと、左眼用ハーフミラー１３４Ｌと、左眼側光源１３６Ｌとを備える。一方、右眼側撮影部１３０Ｒは、右眼用カメラ１３２Ｒと、右眼用ハーフミラー１３４Ｒと、右眼側光源１３６Ｒとを備える。以下、左眼側撮影部１３０Ｌおよび右眼側撮影部１３０Ｒを撮影部１３０、左眼用カメラ１３２Ｌおよび右眼用カメラ１３２Ｒをカメラ１３２、左眼用ハーフミラー１３４Ｌおよび右眼用ハーフミラー１３４Ｒをハーフミラー１３４、左眼側光源１３６Ｌおよび右眼側光源１３６Ｒを光源１３６と適宜総称する。

実施の形態１に係る左眼用カメラ１３２Ｌおよび右眼用カメラ１３２Ｒは、例えばデジタルカメラであり、左眼用カメラ１３２Ｌは前方に配置された人や木などの対象物を撮影することで左眼用画像を、一方、右眼用カメラ１３２Ｒは前方に配置された対象物を撮影することで右眼用画像をそれぞれ生成する。詳細については後述するが、左眼用カメラ１３２Ｌの前方にのびる光軸上には左眼用ハーフミラー１３４Ｌが、一方、右眼用カメラ１３２Ｒの前方にのびる光軸上には右眼用ハーフミラー１３４Ｒが設けられる。左眼用カメラ１３２Ｌおよび右眼用カメラ１３２Ｒのそれぞれは、それぞれ前方に設けられたハーフミラーを通して前方の対象物を撮影する。

なお、左眼用ハーフミラー１３４Ｌの下方には左眼側光源１３６Ｌが、右眼用ハーフミラー１３４Ｒの下方には右眼側光源１３６Ｒがそれぞれ配置されている。左眼側光源１３６Ｌおよび右眼側光源１３６Ｒは通常の撮影用光源であってもよいが、不可視光である赤外線や近赤外線を照射する光源が望ましい。赤外線や近赤外線を照射する光源であれば、撮影時における左眼用カメラ１３２Ｌおよび右眼用カメラ１３２Ｒのフラッシュ光との干渉を防ぐことができる。

ここで、実施の形態１に係る立体視画像生成装置１００は、ユーザに一回分の立体画像を提示する際、以下の３つの撮影ステップを行う。
（ア）通常撮影ステップ
前処理として、左眼用カメラ１３２Ｌおよび右眼用カメラ１３２Ｒは、制御部１１０からの撮影の実行指示に基づいて、前方にある対象物を撮影する。このとき、光源制御部１１２は左眼側光源１３６Ｌおよび右眼側光源１３６Ｒが発光しないように制御する。すなわち、通常撮影ステップでは、光源１３６からの光を利用せずに、左眼用カメラ１３２Ｌは通常の左眼用画像、右眼用カメラ１３２Ｒは通常の右眼用画像をそれぞれ生成する。生成された画像は後述の画像記憶部１０４に格納される。

（イ）対象左眼用画像撮影ステップ
第１のタイミングにおいて、左眼用カメラ１３２Ｌは、制御部１１０からの撮影の実行指示に基づいて、前方にある対象物を撮影し、左眼用画像を生成する。このとき、光源制御部１１２は左眼側光源１３６Ｌが光を照射しないように制御するとともに、右眼側光源１３６Ｒが光を照射するように制御する。その結果、撮影する位置と逆側の右眼側光源１３６Ｒからの光が照射されたとき、当該照射された光により形成される対象物の陰影部分（以下、単に「第１陰影領域」という）が映し出された左眼用画像を生成できる。この第１陰影領域は右眼用カメラ１３２Ｒからの撮影では映し出されない、すなわち右眼用カメラ１３２Ｒの死角部分に相当する。第１のタイミングにおいて左眼用カメラ１３２Ｌにより生成された左眼用画像は画像記憶部１０４に格納される。なお、この左眼用画像は、後述の抽出部１２２による抽出処理の対象となるものであり、以下、当該画像を対象左眼用画像と適宜称する。

（ウ）対象右眼用画像撮影ステップ
第２のタイミングにおいて、右眼用カメラ１３２Ｒは、制御部１１０からの撮影の実行指示に基づいて、前方にある対象物を撮影し、右眼用画像を生成する。このとき、光源制御部１１２は右眼側光源１３６Ｒが光を照射しないように制御するとともに、左眼側光源１３６Ｌが光を照射するように制御する。その結果、左眼用カメラ１３２Ｌの設置された位置の方向から左眼側光源１３６Ｌからの光が照射されたとき、当該照射された光により形成される対象物の陰影部分（以下、単に「第２陰影領域」という）が映し出された右眼用画像を生成できる。この第２陰影領域は左眼用カメラ１３２Ｌからの撮影では映し出されない、すなわち左眼用カメラ１３２Ｌの死角部分に相当する。第２のタイミングにおいて右眼用カメラ１３２Ｒにより生成された右眼用画像は画像記憶部１０４に格納される。なお、この右眼用画像は、後述の抽出部１２２による抽出処理の対象となるものであり、以下、当該画像を対象右眼用画像と適宜称する。

画像記憶部１０４は、通常撮影ステップにおいて生成された通常の左眼用画像および通常の右眼用画像を格納する。さらに、画像記憶部１０４は、対象左眼用画像撮影ステップおよび対象右眼用画像撮影ステップにおいて生成されたそれぞれの対象左眼用画像および対象右眼用画像を格納する。

画像処理部１２０は、抽出部１２２と、編集部１２４と、調整部１２６とを備える。抽出部１２２は、一対の左眼用画像および右眼用画像のうちいずれか一方の画像内に存在するが他方の画像内に存在しない処理領域を抽出する。具体的には、抽出部１２２は、対象左眼用画像内の第１陰影領域を処理領域として、さらに対象右眼用画像内の第２陰影領域を処理領域として抽出する。ここで、対象左眼用画像および対象右眼用画像は処理領域の範囲を特定するために生成されるものであり、後述の調整部１２６による色情報の調整処理は、対象左眼用画像および対象右眼用画像上の処理領域に対して行われるのではない。調整部１２６による色情報の調整処理は、通常撮影ステップで生成された通常の左眼用画像および通常の右眼用画像上の特定された処理領域内の画像に対して行われる。抽出手段の一例として、例えば、抽出部１２２は、まず、対象左眼用画像に映し出された第１陰影領域および対象右眼用画像に映し出された第２陰影領域に対し透明度を１００％に設定する。次に、陰影領域以外の領域に対し透明度０％に設定することで、画像内の陰影領域以外の領域をマスクするマスク画像を生成する。抽出部１２２は、この陰影領域を切り出すための領域特定用のマスク画像を生成する。

編集部１２４は、通常撮影ステップにおいて撮影された通常の左眼用画像と抽出部１２２により生成された領域特定用のマスク画像とを重ね合わせる。同様に、編集部１２４は、通常撮影ステップにおいて撮影された通常の右眼用画像と抽出部１２２により生成された領域特定用のマスク画像とを重ね合わせる。これにより、第１陰影領域以外がマスクされた通常の左眼用画像および第２陰影領域以外がマスクされた通常の右眼用画像を生成できる。通常の左眼用画像および右眼用画像をマスクすることで陰影領域以外を調整できないようにする。

調整部１２６は、編集部１２４により生成された一対の画像内のそれぞれの第１陰影領域および第２陰影領域内の色情報を調整する。ここで、色情報とは一つの画素に対してどのような色を発色すべきか指定する情報であり、例えば、それぞれ０値〜２５５値を有するＲ（赤）Ｇ（緑）Ｂ（青）を示す。ここで、実施の形態１に係る調整部１２６は、陰影領域内の画像を視覚的に目立たなくする処理をする。例えば、画像の輝度を低下させる。具体的には画像に含まれる画素のＲＧＢ値を小さく設定する。また、調整部１２６は、陰影領域内の処理対象の画素のＲＧＢ値を当該画素の近傍の画素のＲＧＢ値の平均値に近づけるよう調整することで、平準化処理を行ってもよい。調整部１２６は、上述の画像の調整処理が終了した後に、領域特定用のマスクを削除する。これにより、第１陰影領域および第２陰影領域内の画像の色情報が調整された左眼用画像および右眼用画像が生成される。

他に例えば、調整部１２６は、以下のいずれかの処理、あるいは以下のいずれかの処理を組み合わせた処理を行うことで、陰影領域内の画像を目立たなくさせてもよい。これらの多様な処理を組み合わせることで、既存技術では不可能であると考えられていた複雑で多様な処理が可能となる。なお、視野闘争で優先される領域と比較して目立たなくさせる処理をするのが目的であるので、単純に処理を行うのではなく、画素単位で調整するのが望ましい。
（１）ぼかし処理を行う。
（２）明度または彩度を低下させる処理を行う。
（３）コントラストを低下させる処理を行う。
（４）色相を青緑、青、青紫などの冷たさを感じさせる色、すなわち寒色系に近づける処理を行う。

立体視画像生成装置１００は、陰影領域内の画像を視覚的に目立たなくする処理を行うか否かを判断する不図示の調整判断部を備えてもよい。このとき、調整判断部は、陰影領域内外の画素の色情報を検出し、陰影領域内の画像を陰影領域外の画像よりも目立たなくさせる処理を行う。例えば、陰影領域内の画素の輝度が陰影領域外の画素の輝度よりも低くする処理を行う。

提示部１０２は調整部１２６で調整処理された左眼用画像および右眼用画像をユーザに提示する。具体的には、提示部１０２は、外部の不図示の立体視用ディスプレイを介して、ユーザの左眼に左眼用画像を、一方、右眼に右眼用画像を提示することで立体視を実現する。

図２は、実施の形態１に係るカメラ、ハーフミラー、および光源の位置関係を示す。左眼用カメラ１３２Ｌと右眼用カメラ１３２Ｒは撮影基線長Ｅだけ離れて設置されている。図２に示すように、左眼用カメラ１３２Ｌの前方へのびる光軸Ｄ_Ｌが中心を通り、当該光軸Ｄ_Ｌと４５度の傾きを成すように左眼用ハーフミラー１３４Ｌが設けられる。さらに、左眼用ハーフミラー１３４Ｌの下方には左眼側光源１３６Ｌが設けられる。この位置関係であれば、左眼用ハーフミラー１３４Ｌにより反射された左眼側光源１３６Ｌからの光の光軸を左眼用カメラ１３２Ｌの光軸Ｄ_Ｌに一致させることができる。すなわち、左眼用カメラ１３２Ｌの視点からの眺めと左眼側光源１３６Ｌの視点からの眺めとを実質的にほぼ等しくすることができる。同様に、右眼用カメラ１３２Ｒの前方へのびる光軸Ｄ_Ｒが中心を通り、当該光軸Ｄ_Ｒと４５度の傾きを成すように右眼用ハーフミラー１３４Ｒが設けられる。さらに、右眼用ハーフミラー１３４Ｒの下方には右眼側光源１３６Ｒが設けられる。この位置関係であれば、右眼用ハーフミラーＲにより反射された右眼側光源１３６Ｒからの光の光軸を右眼用カメラ１３２Ｒの光軸Ｄ_Ｒに一致させることができる。すなわち、右眼用カメラ１３２Ｒの視点からの眺めと右眼側光源１３６Ｒの視点からの眺めとを実質的にほぼ等しくすることができる。

以下、実施の形態１に係る立体視画像生成装置１００による対象物の撮影から立体画像の提示までの動作を図３〜図６を用いて説明する。図３は、実施の形態１に係る立体視画像生成装置により対象物が撮影される様子を示す。本来、左眼用カメラ１３２Ｌおよび右眼用カメラ１３２Ｒの前方にハーフミラー１３４および光源１３６が存在するが、図の煩雑さを避けるため、本図ではそれらを図示しないものとする。上述のごとく、左眼用カメラ１３２Ｌと右眼用カメラ１３２Ｒは撮影基線長Ｅだけ離れて設置されており、二つのカメラ１３２を含む系の光軸は光軸Ｄとして表されている。

左眼用カメラ１３２Ｌおよび右眼用カメラ１３２Ｒの手前から奥行き方向に向かって順番に、第１対象物１２ａ、第２対象物１２ｂ、第３対象物１２ｃおよび第４対象物１２ｄが配置されている。左眼用カメラ１３２Ｌおよび右眼用カメラ１３２Ｒは、互いに異なる位置から対象物を撮影しているため、生成される一対の画像は相異なるものになる。

図３に示すように、第１対象物１２ａの表面上に第１注目点Ａ、第２対象物１２ｂの表面上に第２注目点Ｂを設けることとする。第２注目点Ｂは左眼用カメラ１３２Ｌと第１注目点Ａを結んだ直線の延長線上にあり、第１対象物１２ａにより隠れてしまうため、左眼用カメラ１３２Ｌでは第２注目点Ｂを観察できない。一方、右眼用カメラ１３２Ｒの視点からみると第２注目点Ｂを遮る対象物が存在しないため、右眼用カメラ１３２Ｒは第２注目点Ｂを観察できる。なお、第１注目点Ａは、左眼用カメラ１３２Ｌおよび右眼用カメラ１３２Ｒの双方から観察される。

図４（ａ）は、通常撮影ステップにおいて撮影された通常の左眼用画像の一例を示し、一方、図４（ｂ）は、通常撮影ステップにおいて撮影された通常の右眼用画像の一例を示す。図３と同一の符号を付した構成については適宜説明を略す。通常の左眼用画像２０Ｌは左眼用カメラ１３２Ｌにより撮影された画像であり、一方、通常の右眼用画像２０Ｒは右眼用カメラ１３２Ｒにより撮影された画像である。上述のごとく、第１注目点Ａは、左眼用カメラ１３２Ｌおよび右眼用カメラ１３２Ｒの双方から観察できるため、第１注目点Ａは通常の左眼用画像２０Ｌ上および通常の右眼用画像２０Ｒ上に映し出される。一方、第２注目点Ｂは、右眼用カメラ１３２Ｒからは観察できるが左眼用カメラ１３２Ｌからは観察できないため、第２注目点Ｂは通常の左眼用画像上には映し出されない。

図５（ａ）は、対象左眼用画像撮影ステップにおいて撮影された対象左眼用画像の一例を示し、一方、図５（ｂ）は、対象右眼用画像撮影ステップにおいて撮影された対象右眼用画像の一例を示す。図３および図４と同一の符号を付した構成については適宜説明を略す。図中に示すように、対象左眼用画像３０Ｌには右眼側光源１３６Ｒの死角部分である第１陰影領域５０Ｌ、一方、対象右眼用画像３０Ｒには左眼側光源１３６Ｌの死角部分である第２陰影領域５０Ｒが映し出されている。なお、第１陰影領域５０Ｌおよび第２陰影領域５０Ｒはそれぞれ図５（ａ）および図５（ｂ）において、斜線で表現されている。さらに、本図では、両陰影領域を強調するために、両陰影領域以外の部分に含まれる対象物の輪郭を点線で表している。図５（ａ）および図５（ｂ）のそれぞれに示された左眼用画像の第１陰影領域５０Ｌおよび右眼用画像の第２陰影領域５０Ｒは、抽出部１２２により抽出される。

図６（ａ）は、編集部により生成された左眼用画像を示し、一方、図６（ｂ）は、編集部により生成された右眼用画像を示す。図３および図４と同一の符号を付した構成については適宜説明を略す。図６（ａ）に示すように、編集部１２４により通常の左眼用画像２０Ｌに第１陰影領域が、一方、図６（ｂ）に示すように、通常の右眼用画像２０Ｒに第２陰影領域がそれぞれ映し出されている。調整部１２６は、映し出された第１陰影領域５０Ｌおよび第２陰影領域５０Ｒの画像の色情報の調整処理を行う。提示部１０２は、調整部１２６により調整された左眼用画像および右眼用画像をユーザに提示する。

第１注目点Ａについては、左眼用カメラ１３２Ｌおよび右眼用カメラ１３２Ｒの双方から観察できるため、図６（ａ）および図６（ｂ）に示すように、左眼用画像２０Ｌにも右眼用画像２０Ｒにも第１注目点Ａが存在する。従って、左眼で観察する左眼用画像２０Ｌ上の第１注目点Ａと融合する点は、右眼で観察する右眼用画像２０Ｒ上に第１注目点Ａとして存在する。すなわち、ユーザが両眼でそれぞれの画像内に存在する第１注目点Ａを観察している限りでは、視野闘争は発生しない。

一方、第２注目点Ｂは、左眼用カメラ１３２Ｌからは観察されないが右眼用カメラ１３２Ｒからは観察されるため、図６（ａ）および図６（ｂ）に示すように、左眼用画像２０Ｌには存在しないが、右眼用画像２０Ｒには存在する。従って、右眼で観察する右眼用画像２０Ｒ上の第２注目点Ｂと融合する点は、左眼で観察する左眼用画像２０Ｌ上には存在しない。このとき、第２注目点Ｂが存在するはずの位置には第１注目点Ａが存在するため、ユーザは左眼で左眼用画像上の第１注目点Ａを観察することになる。このとき、左眼では左眼用画像２０Ｌ上の第１注目点Ａを観察し、一方、右眼では右眼用画像２０Ｒ上の第２注目点Ｂを観察することになる。一般的に左眼用カメラ１３２Ｌおよび右眼用カメラ１３２Ｒで撮影された左眼用画像２０Ｌおよび右眼用画像２０Ｒは全体的にぼけが少なく、左眼用画像２０Ｌ上の第１注目点Ａと右眼用画像２０Ｒ上の第２注目点Ｂとは両方ともシャープにはっきりと見えるため、ユーザは左右両眼に提示された競合する図形を時間的に交互に知覚することになり、視野闘争が発生する。さらに、この視野闘争が顕著になれば立体視の可能が困難になり、場合によっては、眼が痛くなると同時に自然な立体視を得ることができなくなる。

実施の形態１によれば、調整部１２６により右眼用画像２０Ｒ上の第２注目点Ｂを含む第２陰影領域内の画像を目立たなくする処理が行われている。具体的な処理についてはすでに上述してある。これにより、左眼用画像２０Ｌ上の第１注目点Ａを右眼用画像２０Ｒ上の第２注目点Ｂに優先して知覚することができ、その結果、両注目点の同時観察に起因する視覚刺激の競合を抑制でき、視野闘争を抑制できる。これにより、眼に負荷の少ない自然な立体視を実現できる。

ここで、現実世界における人間の眼の生理現象に触れながら、実施の形態１に係る目立たなくする処理について説明する。そもそも図３に示すような現実世界において人間の眼では、
（Ａ）観察者が左眼で第１注目点Ａを注視するとき、右眼も第１注目点Ａを注視するが、右眼は第１注目点Ａの後ろにある第２注目点Ｂをぼけた状態で観察している。
（Ｂ）観察者が右眼で第２注目点Ｂを注視するとき、左眼は第２注目点Ｂの手前にある第１注目点Ａをぼけた状態で観察している。

このように人間が現実世界における対象物を観察するとき、奥行き方向に実際の距離があるため、眼のピントの調節が働く。これにより、左右両眼がそれぞれ異なった像を注視して観察する場合、人間は一方の像をぼけた状態で目立たなくさせることができ、その結果、視野闘争を抑制できる。

ここで、画像に基づく立体視では、両眼は奥行きが現れない画像上を注視するので、現実世界における人間の眼のように、ピントの自由な調節ができない。この場合であれば、観察している画像がピントが合ってシャープに見えるか見えないかで、すなわちシャープに写っているかいないかで、本来の注視位置を観察者は判断することになる。しかし、上述したように、左眼用カメラ１３２Ｌおよび右眼用カメラ１３２Ｒで撮影された画像は広域でシャープにはっきり見える。これにより、図４（ａ）および図４（ｂ）で示すごとく、左眼で第１注視点Ａ、右眼で第２注視点Ｂを同時に注視して観察したとき、視野闘争が顕著になる。

実施の形態１によれば、手前の対象物をシャープではっきりとさせ、後方に位置する対象物の画像を目立たなくすることで、人間が手前の対象物を見て後方の対象物を見ていないという状況を作り出すことができ、その結果、人間の眼の生理現象に適合させた立体視を提供できる。さらに、実施の形態１によれば、視野闘争が起こる領域を対象として、視野闘争で排除される側の領域を目立たなくする処理を行うことで視野闘争を抑制できる。

図７は、実施の形態１に係る立体視画像生成装置の立体画像の生成処理の流れを示す。図７に示す立体画像の生成処理は一回分の立体画像を生成するための処理であり、この処理は例えば１／３０秒ごとに定期的に繰り返し行われる。通常撮影ステップにおいて、左眼用カメラ１３２Ｌおよび右眼用カメラ１３２Ｒは、制御部１１０からの撮影の実行指示に基づいて、前方にある対象物を撮影し、それぞれ通常の左眼用画像および通常の右眼用画像を生成する（Ｓ１０）。

対象左眼用画像撮影ステップにおいて、左眼用カメラ１３２Ｌは、光源制御部１１２による右眼側光源１３６Ｒの光の照射を伴いつつ前方にある対象物を撮影することで、対象左眼用画像を生成する（Ｓ１２）。対象右眼用画像撮影ステップにおいて、右眼用カメラ１３２Ｒは、光源制御部１１２による左眼側光源１３６Ｌの光の照射を伴いつつ前方にある対象物を撮影することで、対象右眼用画像を生成する（Ｓ１４）。

抽出部１２２は、対象左眼用画像撮影ステップにおいて生成された対象左眼用画像内の第１陰影領域および対象右眼用画像撮影ステップにおいて生成された対象右眼用画像内の第２陰影領域を抽出する（Ｓ１６）。編集部１２４は、通常撮影ステップにおいて生成された通常の左眼用画像に抽出部１２２により抽出された第１陰影領域を、さらに、通常撮影ステップにおいて生成された通常の右眼用画像に抽出部１２２により抽出された第２陰影領域を、それぞれ重ね合わせる（Ｓ１８）。

調整部１２６は、編集部１２４により生成された左眼用画像および右眼用画像内のそれぞれの第１陰影領域および第２陰影領域内の画像の色情報を調整する（２０）。提示部１０２は、調整部１２６により調整された左眼用画像および右眼用画像をユーザに提示する（Ｓ２２）。

実施の形態２
実施の形態１では、左眼側についていえば、通常の左眼用画像と対象左眼用画像は同一の左眼用カメラ１３２Ｌにより撮影されていたが、実施の形態２では、左眼側についていえば、通常の左眼用画像を撮影するカメラと対象左眼用画像を撮影するカメラとを別にする。なお、右眼側についても同様である。図８は、実施の形態２に係る立体視画像生成装置の構成を示す。実施の形態２に係る立体視画像生成装置１００は、左眼側撮影部１３０Ｌおよび左眼側撮影部１３０Ｌの内部構成において、実施の形態１に係る立体視画像生成装置１００と異なる。以下、図１と同等の構成については同じ符号を与え、適宜説明を略す。

左眼側撮影部１３０Ｌは、第１左眼用カメラ１４０Ｌと、第１左眼用ハーフミラー１４２Ｌと、左眼側光源１３６Ｌと、第２左眼用カメラ１４４Ｌと、第２左眼用ハーフミラー１４６Ｌとを備える。一方、右眼側撮影部１３０Ｒは、第１右眼用カメラ１４０Ｒと、第１右眼用ハーフミラー１４２Ｒと、右眼側光源１３６Ｒと、第２右眼用カメラ１４４Ｒと、第２右眼用ハーフミラー１４６Ｒとを備える。第１左眼用カメラ１４０Ｌおよび第１右眼用カメラ１４０Ｒはそれぞれ通常の左眼用画像、通常の右眼用画像を、第２左眼用カメラ１４４Ｌおよび第２右眼用カメラ１４４Ｒはそれぞれ対象左眼用画像、対象右眼用画像を撮影する。

図９は、実施の形態２に係るカメラ、ハーフミラー、および光源の位置関係を示す。第２左眼用カメラ１４４Ｌの前方へのびる光軸Ｄ_Ｌが中心を通り、当該光軸Ｄ_Ｌと４５度の傾きを成すように、第１左眼用ハーフミラー１４２Ｌおよび第２左眼用ハーフミラー１４６Ｌが設けられる。第１左眼用ハーフミラー１４２Ｌの下方には第１左眼用カメラ１４０Ｌが、第２左眼用ハーフミラー１４６Ｌの下方には左眼側光源１３６Ｌが設けられる。同様に、第２右眼用カメラ１４４Ｒの前方へのびる光軸Ｄ_Ｒが中心を通り、当該光軸Ｄ_Ｒと４５度の傾きを成すように,第１右眼用ハーフミラー１４２Ｒおよび第２右眼用ハーフミラー１４６Ｒが設けられる。第１右眼用ハーフミラー１４２Ｒの下方には第１右眼用カメラ１４０Ｒが、第２右眼用ハーフミラー１４６Ｒの下方には右眼側光源１３６Ｒが設けられる。

第２左眼用カメラ１４４Ｌは、第１左眼用ハーフミラー１４２Ｌおよび第２左眼用ハーフミラー１４６Ｌを介して、一方、第２右眼用カメラ１４４Ｒは、第１右眼用ハーフミラー１４２Ｒおよび第２右眼用ハーフミラー１４６Ｒを介して対象物を撮影する。また、第１左眼用カメラ１４０Ｌは第１左眼用ハーフミラー１４２Ｌを介して、一方、第１右眼用カメラ１４０Ｒは第１右眼用ハーフミラー１４２Ｒを介して対象物を撮影する。

ここで、実施の形態２に係る立体視画像生成装置１００は、ユーザに一回分の立体画像を提示する際、以下の２つの撮影ステップを行う。なお、実施の形態２では、実施の形態１における（ア）および（イ）の処理を同じタイミングで行う。
（あ）通常撮影ステップおよび対象左眼用画像撮影ステップ
第１左眼用カメラ１４０Ｌおよび第１右眼用カメラ１４０Ｒは、制御部１１０からの撮影の実行指示に基づいて、前方にある対象物を撮影し、通常の左眼用画像および通常の右眼用画像を生成する。さらに、第２左眼用カメラ１４４Ｌは、制御部１１０からの撮影の実行指示に基づいて、前方にある対象物を撮影し、対象左眼用画像を生成する。このとき、光源制御部１１２は左眼側光源１３６Ｌが光を照射しないように制御するとともに、右眼側光源１３６Ｒが光を照射するように制御する。これにより、第１陰影領域が映し出された対象左眼用画像を生成できる。

（い）対象右眼用画像撮影ステップ
第２右眼用カメラ１４４Ｒは、制御部１１０からの撮影の実行指示に基づいて、右眼用画像を生成する。このとき、光源制御部１１２は右眼側光源１３６Ｒが光を照射しないように制御するとともに、左眼側光源１３６Ｌが光を照射するように制御する。これにより、第２陰影領域が映し出された対象右眼用画像を生成できる。

対象物をリアルタイムに撮影し、当該撮影した画像をもとにした立体画像をユーザに提示する場合、左眼用画像および右眼用画像の生成に要する時間が長くなれば、自然な動きを実現した立体画像をユーザに提示できないことがある。実施の形態２によれば、通常の左眼用画像および右眼用画像を撮影するステップと対象左眼用画像を撮影するステップとを同時に行うことで、左眼用画像および右眼用画像の生成に要する時間を削減できる。これにより、立体視画像生成装置１００は視野闘争を抑制させるだけでなく、自然な立体視を実現できる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例を挙げる。

実施の形態１では、実施の形態１に係る立体視画像生成技術を立体カメラ、ゲーム機器や内視鏡装置に適用させたが、変形例として、当該技術をいわゆるコンピュータグラフィックスに適用させてもよい。このとき、具体的には、実施の形態１における「対象物」は仮想的な３次元空間に設けられた対象物であり、実施の形態１における「左眼用カメラ１３２Ｌおよび右眼用カメラ１３２Ｒ」は仮想的な３次元空間内にレンダリングされた対象物を撮影できる、仮想的なカメラとする。本変形例においても、実施の形態１と同様の（ア）〜（ウ）の撮影処理を行うことができ、その結果、通常の左眼用画像および右眼用画像、対象左眼用画像および右眼用画像が生成される。立体視画像生成装置１００は、生成された画像をもとに実施の形態１と同様の処理を行うことで、実施の形態１と同様の効果を享受できる。

上記の変形例において、レンダリングされる対象物の色を艶のない白色や青色に設定してもよい。仮想的な３次元空間内の世界は対象物が置かれる範囲が狭いことが多く、光源からの光が様々な対象物に照射することにより対象物にハイライトが発生することがある。そこで対象物の色を艶のない白色や青色に設定することで、ハイライト等の色のむらを低減でき、陰影領域を精度よく映し出すことができる。なお、これらの色は陰影領域を分離するために使用するものであり、陰影領域内の画像の色情報には反映しない。

別の変形例として左眼側光源１３６Ｌおよび右眼側光源１３６Ｒをお互いに異なる波長の不可視光を照射する光源に設定してもよい。このとき、左眼用カメラ１３２Ｌは右眼側光源１３６Ｒから照射される波長のみを感知することで、一方、右眼用カメラ１３２Ｒは左眼側光源１３６Ｌから照射される波長のみを感知することで、二つの光源からの光を同時に照射させての同時撮影を可能とする。すなわち、実施の形態１に係る上述の（イ）および（ウ）の撮影処理を同時に行うことができる。これにより、一回の立体画像を表示するための撮影処理に要する時間を削減できる。とくに動画を立体的に表示するとき、一回の立体画像を表示するための撮影処理に要する時間が長ければ、立体画像の動きが不自然になるため、当該時間を削減することが有意義である。

撮影距離が長いときなど、厳密な視点位置を必要としない場合は、左眼側光源１３６Ｌおよび右眼側光源１３６Ｒの位置は左眼用カメラ１３２Ｌおよび右眼用カメラ１３２Ｒの上方に設置してもよい。このとき、左眼用ハーフミラー１３４Ｌおよび右眼用ハーフミラー１３４Ｒは省かれる。

実施の形態１では、第２陰影領域に含まれる第２注目点Ｂを目立たなくすることで、左眼用画像内の第１注目点Ａを右眼用画像内の第２注目点Ｂに優先させ、視野闘争の低減を実現したが、変形例として、左眼用画像内の第１注目点Ａを目立たなくしてもよい。すなわち、手前の対象物を目立たなくさせ、後方に位置する対象物の画像をシャープではっきりとさせる。具体的には、左眼用カメラ１３２Ｌおよび右眼用カメラ１３２Ｒの絞り穴を広くする動作等を行うことで、被写界深度を小さくし、手前にある第１注目点Ａの部分をぼけさせることができる。これにより、右眼用画像内の第２注目点Ｂを左眼用画像内の第１注目点Ａに優先させて知覚させることができ、視野闘争を抑制できる。

変形例として、調整部１２６は第１陰影領域および第２陰影領域内の画像に対して、色相、彩度、明度の少なくとも一つを陰影領域外でかつ視野闘争に優先する領域の色相、彩度、明度に近づける処理を行ってもよい。これにより、ユーザが左右両眼で一対の画像間で異なる二つの注目点を観察しても、それら注目点のＲＧＢ値が似通っているため、それら注目点の同時観察に起因する視覚刺激の競合を抑制でき、結果として視野闘争を抑制できる。この処理は実施の形態にて既述の（１）〜（４）の処理と組み合わせてもよい。

実施の形態では、左眼用カメラ１３２Ｌおよび右眼用カメラ１３２Ｒによる一対の２枚の画像を生成することで、いわゆる２眼式の立体画像を実現したが、変形例として、複数のカメラによる複数のペア画像を生成することで、いわゆる多眼式の立体画像を実現してもよい。このとき、それぞれのカメラ間隔は撮影基準長Ｅであり、それぞれのカメラの前方にはハーフミラー、および光源が設けられる。カメラ、ハーフミラーおよび光源の位置関係は実施の形態１に示す位置関係と同様である。本変形例では、実施の形態１における（イ）および（ウ）のステップにおいて、複数のカメラのうちの一つのカメラから抽出処理の対象の画像を生成するとき、当該カメラに対応する光源とは別のいずれか一つの光源から光が照射される。以降の処理は上述した実施の形態に係る処理と同様である。

実施の形態では、光源が照射する光を用いることで両画像間の融合点の存在しない領域を抽出したが、変形例として、光源から照射される光が対象物まで到達しないという理由で、当該方法が利用できないのであれば、その場合に、他の方法、例えばパターン認識による方法を利用してもよい。

実施の形態１に係る立体視画像生成装置の構成を示す図である。実施の形態１に係るカメラ、ハーフミラー、および光源の位置関係を示す図である。実施の形態１に係る立体視画像生成装置により対象物が撮影される様子を示す図である。図４（ａ）は、通常撮影ステップにおいて撮影された通常の左眼用画像の一例を示し、一方、図４（ｂ）は、通常撮影ステップにおいて撮影された通常の右眼用画像の一例を示す図である。図５（ａ）は、対象左眼用画像撮影ステップにおいて撮影された対象左眼用画像の一例を示し、一方、図５（ｂ）は、対象右眼用画像撮影ステップにおいて撮影された対象右眼用画像の一例を示す図である。図６（ａ）は、編集部により生成された左眼用画像を示し、一方、図６（ｂ）は、編集部により生成された右眼用画像を示す図である。実施の形態１に係る立体視画像生成装置の立体画像の生成処理の流れを示す図である。実施の形態２に係る立体視画像生成装置の構成を示す図である。実施の形態２に係るカメラ、ハーフミラー、および光源の位置関係を示す図である。

符号の説明

２０Ｌ,３０Ｌ左眼用画像、２０Ｒ,３０Ｒ右眼用画像、１００立体視画像生成装置、１１０制御部、１２２抽出部、１２６調整部、１３２Ｌ左眼用カメラ、１３２Ｒ右眼用カメラ、１３６Ｌ左眼側光源、１３６Ｒ右眼側光源。

Claims

立体視を可能とする一対の左眼用画像および右眼用画像を生成する立体視画像生成装置であって、
一対の左眼用画像および右眼用画像のうちいずれか一方の画像内に存在するが他方の画像内に存在しない処理領域として、一対の左眼用画像および右眼用画像のうちいずれか一方の画像が取得される第１の視点とは異なる第２の視点に配置された光源から照射される光により形成される陰影部分を抽出する抽出部と、
前記抽出部により抽出された前記処理領域内の画像の色情報を調整して、前記処理領域内の画像を視覚的に目立たなくする調整部と、
を備えることを特徴とする立体視画像生成装置。
前記第２の視点から前記一方の画像とは異なる他方の画像が取得されることを特徴とする請求項１に記載の立体視画像生成装置。
前記光源から照射される光は不可視光であることを特徴とする請求項１または２に記載の立体視画像生成装置。
立体視を可能とする一対の左眼用画像および右眼用画像を生成する立体視画像生成装置であって、当該装置は、
左眼用画像を撮影する左眼用カメラと、
右眼用画像を撮影する右眼用カメラと、
左眼用カメラ側に配置された左眼側光源と、
右眼用カメラ側に配置された右眼側光源と、
前記左眼用カメラおよび前記右眼用カメラの撮影のタイミング、および前記左眼側光源および前記右眼側光源の光の照射のタイミングを制御する制御部と、
一対の左眼用画像および右眼用画像のうちいずれか一方の画像内に存在するが他方の画像内に存在しない処理領域を抽出する抽出部と、
前記抽出部により抽出された前記処理領域内の画像の色情報を調整して、前記処理領域内の画像を視覚的に目立たなくする調整部と、
を備え、
第１のタイミングにおいて、前記制御部の指示により、前記右眼側光源の光の照射とともに前記左眼用カメラにより前記左眼用画像が撮影され、
第２のタイミングにおいて、前記制御部の指示により、前記左眼側光源の光の照射とともに前記右眼用カメラにより前記右眼用画像が撮影されるものであり、
前記抽出部は、前記第１のタイミングにおいて撮影された左眼用画像内に含まれる陰影部分を前記処理領域として抽出し、さらに、前記第２のタイミングにおいて撮影された右眼用画像内に含まれる陰影部分を前記処理領域として抽出することを特徴とする立体視画像生成装置。
左眼用画像を撮影する視点とは異なる視点に配置された光源の光の照射を伴って左眼用画像を撮影するステップと、
右眼用画像を撮影する視点とは異なる視点に配置された光源の光の照射を伴って右眼用画像を撮影するステップと、
前記撮影された左眼用画像および右眼用画像のうちいずれか一方の画像内に存在するが他方の画像内に存在しない処理領域として、前記撮影された左眼用画像および右眼用画像のうちいずれか一方の画像が取得される第１の視点とは異なる第２の視点に配置された光源から照射される光により形成される陰影部分を抽出するステップと、
前記抽出された前記処理領域内の画像の色情報を調整して、前記処理領域内の画像を視覚的に目立たなくするステップと、
を含む、ことを特徴とする立体視画像生成方法。
立体視を可能とする一対の左眼用画像および右眼用画像を生成する処理をコンピュータに実行させるプログラムであって、コンピュータに、
左眼用画像を撮影する視点とは異なる視点に配置された光源の光の照射を伴って左眼用画像を撮影させる機能と、
右眼用画像を撮影する視点とは異なる視点に配置された光源の光の照射を伴って右眼用画像を撮影させる機能と、
前記撮影された左眼用画像および右眼用画像のうちいずれか一方の画像内に存在するが他方の画像内に存在しない処理領域として、前記撮影された左眼用画像および右眼用画像のうちいずれか一方の画像が取得される第１の視点とは異なる第２の視点に配置された光源から照射される光により形成される陰影部分を抽出させる機能と、
前記抽出された前記処理領域内の画像の色情報を調整させ、前記処理領域内の画像を視覚的に目立たなくさせる機能と、
を実行させることを特徴とするプログラム。