JP5374641B2 - ３ｄ映像記録装置及び３ｄ映像信号処理装置 - Google Patents

Description

本発明は、３Ｄ映像信号を記録する装置または３Ｄ映像信号を再生する装置に関する。

両眼視差を有して撮影された左右の映像を独立して左右の目に視認させることができる表示装置に表示することにより、３Ｄ映像を再生する技術が知られている。一般的な左右の映像を取得する方法として、２台のカメラを横に並べ同期して動作させて左右の映像を記録する方法がある。若しくは、２つの光学系で形成される別視点での被写体像を１つの撮像素子で撮像し、記録する方法がある。

上記の方法を用いて記録された３Ｄ映像信号は、２Ｄ映像信号として再生されときに最適な映像が視認されるように画像処理が施される。そのため、当該映像信号を３Ｄ映像信号として再生する際には、当該画像信号に対して３Ｄ再生に適した信号処理（以下「３Ｄ映像処理」と称す）を行なう必要がある。

従来の３Ｄ映像処理として、特許文献１は、両眼視差量に応じて、被写体が近景であるほど被写体のエッジの強調処理を強めることを提案している。また、特許文献２は、視認者から画面までの距離に対して矛盾の生じない輻輳角となるように左眼画像表示用および右眼画像表示用の画面を配置し，左眼画像と右眼画像との間で対応する画素同士の相対的なズレの大きさに応じて決定される強度のボカシ処理を施すことを開示している。さらに、特許文献３は、近景に対しては映像の輪郭の鮮明度が高くなるように、また、遠景に関しては映像の輪郭の鮮明度が低くなるように、映像の輪郭の鮮明度を制御することを開示している。なお、近景とは映像信号を視聴した際、視認者の近くに配置される被写体を指し、遠景とは、映像信号を視聴した際、視認者からは遠くに配置される被写体を指す。

特開平１１−１２７４５６号公報 特開平６−１９４６０２号公報 特開平１１−２３９３６４号公報

上記引用文献１から引用文献３においては、２次元撮影で得られる映像信号に対して、３Ｄ再生した際に立体感を調整する技術が開示されている。つまり、近景に対しては、視認者により鮮明に視認でできるように映像処理を行い、逆に遠景に対しては、視認者によりぼけて視認されるように映像処理を行うことが開示されている。

しかし、視認者が立体感を認識し易いよう近景に対してエッジ強調処理若しくは、輪郭強調処理を施した映像信号を３Ｄ再生した場合、単に立体感を調整しただけでは視認者は不自然な立体感を感じることになる。また、このような映像処理はいわゆる「書割り効果（cardboard cut-out phenomenon）」を引き起こす原因となる可能性がある。

本発明は、上記課題を解決すべくなされたものであり、その目的とするところは、３Ｄ映像再生時に生じ得る書き割り効果を低減し、より自然な立体感を再現できる３Ｄ映像信号の生成または再生を可能とする装置及び方法を提供することにある。

第１の態様において、第１視点で生成された映像信号である第１視点信号と、当該第１視点とは異なる第２視点で生成された映像信号である第２視点信号のうち少なくとも一方の映像信号の信号処理を行う３Ｄ映像信号処理装置が提供される。３Ｄ映像信号処理装置は、第１視点信号及び第２視点信号のうちの少なくとも一方の映像信号に対して所定の映像処理を行う映像処理部と、映像処理部の制御を行う制御部と、第１視点信号が示す画像と第２視点信号が示す画像との間の視差量を、少なくとも一方の映像信号が示す画像の領域を分割して得られるサブ領域毎に取得する視差量取得部とを備える。制御部は、第１視点信号及び第２視点信号のうちの少なくとも一方の映像信号に対して、その少なくとも一方の映像信号が示す画像に含まれるオブジェクトとそれに隣接する画像の境界に位置する画素の画素値を平滑化する処理であるぼかし処理を実行するように、映像処理部を制御する。制御部は、一のサブ領域で検出した視差量と、一のサブ領域に隣接する他のサブ領域で検出した視差量とに基づき、一のサブ領域と他のサブ領域との境界に位置する画素データに対してぼかし処理を行わせるように、映像処理部を制御する。

第２の態様において、第１視点で生成された映像信号である第１視点信号と、当該第１視点とは異なる第２視点で生成された映像信号である第２視点信号のうち少なくとも一方の映像信号の信号処理を行う３Ｄ映像信号処理装置が提供される。３Ｄ映像信号処理装置は、第１視点信号及び第２視点信号のうちの少なくとも一方の映像信号に対して所定の映像処理を行う映像処理部と、映像処理部の制御を行う制御部と、少なくとも一方の映像信号が示す画像を分割して得られるサブ領域毎に、各サブ領域に含まれる被写体の距離に関する情報を取得する距離情報取得部とを備える。制御部は、第１視点信号及び第２視点信号のうちの少なくとも一方の映像信号に対して、その少なくとも一方の映像信号が示す画像に含まれるオブジェクトとそれに隣接する画像の境界に位置する画素の画素値を平滑化する処理であるぼかし処理を実行するように、映像処理部を制御する。制御部は、一のサブ領域に含まれる被写体の距離と、一のサブ領域に隣接する他のサブ領域に含まれる被写体の距離との差に応じて、一のサブ領域と他のサブ領域の境界に位置する画素データに対してぼかし処理を行わせるように、映像処理部を制御する。

第３の態様において、被写体を撮影し、第１視点信号と第２視点信号とを生成する３Ｄ映像記録装置が提供される。３Ｄ映像記録装置は、第１視点での被写体像を形成する第１光学系と、第１視点とは異なる第２視点での被写体像を形成する第２光学系と、第１視点での被写体像から第１視点信号を生成し、第２視点での被写体像から第２視点信号を生成する撮像部と、第１視点信号が示す画像と第２視点信号が示す画像との間の視差量を、第１視点信号及び第２視点信号のうち少なくとも一方の映像信号が示す画像の領域を分割して得られるサブ領域毎に取得する視差量取得部と、第１視点信号及び第２視点信号に対してエンハンス処理を行うエンハンス処理部と、エンハンス処理された第１視点信号及び第２視点信号を記録媒体に記録する記録部と、エンハンス処理部及び前記記録部を制御する制御部と、を備える。制御部は、第１視点信号と第２視点信号とが３Ｄ映像信号として生成された場合、一のサブ領域で検出した視差量と、一のサブ領域に隣接する他のサブ領域で検出した視差量との差に応じて、一のサブ領域と他のサブ領域との境界に位置する画素以外の画素に対してエンハンス処理を行わせるように、エンハンス処理部を制御する。

第４の態様において、第１視点で生成された映像信号である第１視点信号と、当該第１視点とは異なる第２視点で生成された映像信号である第２視点信号のうち少なくとも一方の映像信号の信号処理を行う３Ｄ映像信号処理方法が提供される。３Ｄ映像信号処理方法は、第１視点信号及び第２視点信号のうちの少なくとも一方の映像信号に対して、少なくとも一方の映像信号が示す画像に含まれるオブジェクトとそれに隣接する画像の境界に位置する画素の画素値を平滑化する処理を行う。第１視点信号が示す画像と第２視点信号が示す画像との間の視差量を、少なくとも一方の映像信号が示す画像の領域を分割して得られるサブ領域毎に取得する。一のサブ領域で検出した視差量と、一のサブ領域に隣接する他のサブ領域で検出した視差量とに基づき、一のサブ領域と他のサブ領域との境界に位置する画素データに対して平滑化する処理を行う。

第５の態様において、被写体を撮像して生成した第１視点信号と第２視点信号とを記録媒体に記録する３Ｄ映像記録方法が提供される。３Ｄ映像記録方法は、第１視点での被写体像から第１視点信号を生成し、第１視点とは異なる第２視点での被写体像から第２視点信号を生成し、第１視点信号及び第２視点信号に対してエンハンス処理を行い、エンハンス処理された第１視点信号及び第２視点信号を記録媒体に記録し、さらに、第１視点信号が示す画像と第２視点信号が示す画像との間の視差量を、第１視点信号及び第２視点信号のうち少なくとも一方の映像信号が示す画像の領域を分割して得られるサブ領域毎に取得し、エンハンス処理において、第１視点信号と前記第２視点信号とが３Ｄ映像信号として生成された場合、一のサブ領域で検出した視差量と、当該一のサブ領域に隣接する他のサブ領域で検出した視差量との差に応じて、一のサブ領域と前記他のサブ領域との境界に位置する画素以外の画素に対してエンハンス処理を行う。

本発明によれば、映像信号の記録時または３Ｄ再生時において、映像信号が３Ｄ再生されたときに奥行き方向の距離に差が生じる画像領域（オブジェクト）の境界部分において、エッジが強調されないような映像処理が行なわれる。これにより自然な立体感が再現できる３Ｄ映像信号を提供することが可能となる。

実施形態１におけるデジタルカメラの構成図 デジタルカメラにおける映像信号の撮影動作を示すフローチャート エンハンス処理を示すフローチャート 映像処理部による視差量の検出を説明するための図 図４に示す第１視点信号の画像に基づき映像処理部が検出するサブ領域毎の視差量を説明するための図 図５における領域７０１を拡大して示した図 デジタルカメラにおける映像信号の記録動作を示すフローチャート フラグ情報を検出するステップが追加された映像信号の記録動作を示すフローチャート 視差量に基づくフィルタサイズの設定方法を説明するための図 ローパスフィルタを説明した図 映像処理部におけるフィルタサイズの設定動作を説明するための図 映像処理部におけるフィルタサイズの別の設定動作を説明するための図 実施形態２におけるデジタルカメラの構成図

以下、添付の図面を参照して本発明の実施形態を以下の手順で説明する。
＜目次＞
１．実施形態１
１−１．デジタルカメラの構成
１−２．映像信号記録動作
１−２−１．３Ｄ撮影モードの映像処理におけるエンハンス処理（例１）
１−２−２．３Ｄ撮影モードの映像処理におけるエンハンス処理（例２）
１−３．映像信号再生（表示）動作
１−３−１．映像信号再生（表示）動作の別の例
１−３−２．ぼかし処理
１−３−２−１．ローパスフィルタのフィルタ係数及びフィルタサイズの設定
１−３−２−２．垂直方向及び水平方向での相関に基づくフィルタサイズ等の設定
１−４．まとめ
１−５．映像処理部１６０における視差量の取得に関して
２．実施形態２
３．その他の実施形態

１．実施形態１
以下、本発明をデジタルカメラに適用した場合の第１の実施形態について図面を参照しながら説明する。以下に説明するデジタルカメラは３Ｄ映像信号処理装置及び３Ｄ映像記録装置の一例である。

１−１.デジタルカメラの構成
図１を用いて、本実施の形態にかかるデジタルカメラ１の電気的構成について説明する。デジタルカメラ１は、２つの光学系１１０ａ及び１１０ｂ、光学系１１０ａ及び１１０ｂのそれぞれに対応して設けられたＣＣＤイメージセンサ１５０ａ及び１５０ｂ、映像処理部１６０、メモリ２００、コントローラ２１０、ジャイロセンサ２２０、カードスロット２３０、操作部材２５０、ズームレバー２６０、液晶モニタ２７０、内部メモリ２８０、及びモード設定ボタン２９０を備える。デジタルカメラ１はさらに、光学系１１０ａ及び１１０ｂのそれぞれに含まれる光学部材を駆動するためのズームモータ１２０、ＯＩＳアクチュエータ１３０、フォーカスモータ１４０を有する。

光学系１１０ａは、ズームレンズ１１１ａ、ＯＩＳ（Optical Image Stabilizer）１１２ａ、フォーカスレンズ１１３ａを含む。同様に、光学系１１０ｂは、ズームレンズ１１１ｂ、ＯＩＳ１１２ｂ、フォーカスレンズ１１３ｂを含む。光学系１１０ａは、第１視点（例えば、左眼）における被写体像を形成し、光学系１１０ｂは、第１視点とは異なる第２視点（例えば、右眼）における被写体像を形成する。

ズームレンズ１１１ａ及び１１１ｂは、光学系の光軸に沿って移動することにより、被写体像を拡大又は縮小可能である。ズームレンズ１１１ａ及び１１１ｂは、ズームモータ１２０によって駆動される。

ＯＩＳ１１２ａ及び１１２ｂは、内部に光軸に垂直な面内で移動可能な補正レンズを有する。ＯＩＳ１１２ａ及び１１２ｂは、デジタルカメラ１のブレを相殺する方向に補正レンズを駆動することにより、被写体像のブレを低減する。補正レンズは、ＯＩＳ１１２ａ及び１１２ｂ内において最大Ｌだけ中心から移動することが出来る。ＯＩＳ１１２ａ及び１１２ｂは、ＯＩＳアクチュエータ１３０によって駆動される。

フォーカスレンズ１１３ａ及び１１３ｂは、光学系の光軸に沿って移動することにより、被写体像のピントを調整する。フォーカスレンズ１１３ａ及び１１３ｂは、フォーカスモータ１４０によって駆動される。

ズームモータ１２０は、ズームレンズ１１１ａ及び１１１ｂを駆動制御する。ズームモータ１３０は、パルスモータやＤＣモータ、リニアモータ、サーボモータなどで実現してもよい。ズームモータ１３０は、カム機構やボールネジなどの機構を介してズームレンズ１１１ａ及び１１１ｂを駆動するようにしてもよい。また、ズームレンズ１１１ａと、ズームレンズ１１１ｂとを同じ動作で制御する構成にしても良い。

ＯＩＳアクチュエータ１３０は、ＯＩＳ１１２ａ及び１１２ｂ内の補正レンズを光軸と垂直な面内で駆動制御する。ＯＩＳアクチュエータ１３０は、平面コイルや超音波モータなどで実現できる。

フォーカスモータ１４０は、フォーカスレンズ１１３ａ及び１１３ｂを駆動制御する。フォーカスモータ１４０は、パルスモータやＤＣモータ、リニアモータ、サーボモータなどで実現してもよい。フォーカスモータ１４０は、カム機構やボールネジなどの機構を介してフォーカスレンズ１１３ａ及び１１３ｂを駆動するようにしてもよい。

ＣＣＤイメージセンサ１５０ａ及び１５０ｂは、光学系１１０ａ及び１１０ｂで形成された被写体像を撮影して、第１視点信号及び第２視点信号を生成する。ＣＣＤイメージセンサ１５０ａ及び１５０ｂは、露光、転送、電子シャッタなどの各種動作を行う。なお、本実施形態では、第１視点信号及び第２視点信号が示す画像は静止画であるとするが、動画の場合であっても、以下に説明する本実施形態の処理を動画の各フレームの映像に適用することができる。

映像処理部１６０は、ＣＣＤイメージセンサ１５０ａ及び１５０ｂで生成された第１視点信号及び第２視点信号に対して各種の処理を施す。映像処理部１６０は、第１視点信号及び第２視点信号に対して処理を施し、液晶モニタ２７０に表示するための画像データ（以下「レビュー画像」と称す）を生成したり、メモリカード２４０に格納するための映像信号を生成したりする。例えば、映像処理部１６０は、第１視点信号及び第２視点信号に対してガンマ補正やホワイトバランス補正、傷補正などの各種映像処理を行う。

また、映像処理部１６０は、コントローラ２１０からの制御信号に基づいて、第１視点信号及び第２視点信号に対して、例えば、エッジ強調処理、コントラスト強調、超解像処理等のエンハンス処理を行なう。エンハンス処理の詳細な動作に関しては後述する。

また、映像処理部１６０は、コントローラ２１０からの制御信号に基づいて、メモリカード２４０から読出した第１視点信号及び第２視点信号のうち少なくとも一方の映像信号に対して、ぼかし処理を行う。ぼかし処理とは、映像信号に基づく映像を視認した際、画像がぼけて視認されるように、すなわち、画素の差が明確に視認されないようにするための映像処理である。ぼかし処理は、例えば、映像信号が示す画像データの高周波成分を除去すること等による、映像信号が示す画素データの画素値を平滑化する処理である。なお、ぼかし処理は上記の構成に限定するものではなく、視認者が映像信号を視認した際に、画素の差が明確に視認されないようにする映像処理であればどのような処理を用いても構わない。なお、映像処理部１６０によるぼかし処理の詳細な動作は後述する。

さらに、映像処理部１６０は、上記処理された第１視点信号及び第２視点信号に対して、それぞれＪＰＥＧ規格に準拠した圧縮方式で圧縮処理を行う。第１視点信号及び第２視点信号を圧縮して得られるそれぞれの圧縮映像信号は互いに関連付けられて、メモリカード２４０に記録される。この場合、ＭＰＯファイルフォーマットを用いて記録されるのが望ましい。また、圧縮する映像信号が動画の場合、Ｈ．２６４／ＡＶＣ等の動画圧縮規格が適用されることになる。また、ＭＰＯファイルフォーマットと、ＪＰＥＧ画像若しくは、ＭＰＥＧ動画と、を同時に記録する構成にしても構わない。

映像処理部１６０は、ＤＳＰ（Digital Signal Processor）やマイコンなどで実現可能である。なお、レビュー画像の解像度は、液晶モニタ２７０の画面解像度に設定しても構わないし、ＪＰＥＧ規格に準拠した圧縮形式等により圧縮され形成される画像データの解像度に設定しても構わない。

メモリ２００は、映像処理部１６０及びコントローラ２１０のワークメモリとして機能する。メモリ２００は、例えば、映像処理部１６０で処理された映像信号若しくは、映像処理部１６０で処理される前のＣＣＤイメージセンサ１５０から入力される画像データを一時的に蓄積する。また、メモリ２００は、撮影時における光学系１１０ａ及び１１０ｂ、ＣＣＤイメージセンサ１５０ａ及び１５０ｂの撮影条件を一時的に格納する。撮影条件とは、被写体距離、画角情報、ＩＳＯ感度、シャッタースピード、ＥＶ値、Ｆ値、レンズ間距離、撮影時刻、ＯＩＳシフト量等を示す。メモリ２００は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。

コントローラ２１０は、デジタルカメラ１の全体動作を制御する制御手段である。コントローラ２１０は半導体素子などで実現可能である。コントローラ２１０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。例えば、コントローラ２１０はマイコンなどで実現できる。

ジャイロセンサ２２０は、圧電素子等の振動材等で構成される。ジャイロセンサ２２０は、圧電素子等の振動材を一定周波数で振動させコリオリ力による力を電圧に変換して揺れに応じた角速度情報を得る。ジャイロセンサ２２０から角速度情報を得て、この角速度情報に応じた揺れを相殺する方向にＯＩＳ内の補正レンズを駆動させることにより、使用者によりデジタルカメラ１００に与えられる手振れが補正される。なお、ジャイロセンサ２２０は、少なくともピッチ角の角速度情報を計測可能なデバイスであればよい。また、ジャイロセンサ２２０がロール角の角速度情報を計測可能な場合、デジタルカメラ１の略水平方向に移動した際の回転について考慮することが可能となる。

カードスロット２３０はメモリカード２４０を着脱可能である。カードスロット２３０は、機械的及び電気的にメモリカード２４０と接続可能である。

メモリカード２４０は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。

操作部材２５０はレリーズボタンを含む。レリーズボタンは使用者の押圧操作を受け付ける。レリーズボタンが半押しされた場合、コントローラ２１０を介して自動焦点（ＡＦ）制御及び自動露光（ＡＥ）制御が開始される。また、レリーズボタンが全押された場合、被写体の撮影動作が開始される。

ズームレバー２６０は使用者からズーム倍率の変更指示を受け付ける部材である。

液晶モニタ２７０は、ＣＣＤイメージセンサ１５０ａ又は１５０ｂで生成した第１視点信号又は第２視点信号や、メモリカード２４０から読み出した第１視点信号及び第２視点信号を２Ｄ表示若しくは３Ｄ表示可能な表示デバイスである。また、液晶モニタ２７０は、デジタルカメラ１００の各種の設定情報を表示可能である。例えば、液晶モニタ２７０は、撮影時における撮影条件である、ＥＶ値、Ｆ値、シャッタースピード、ＩＳＯ感度等を表示可能である。

液晶モニタ２７０は、２Ｄ表示の場合、第１視点信号と第２視点信号のいずれかを選択して、選択信号に基づく画像を表示しても構わないし、第１視点信号と第２視点信号に基づく画像を、左右もしくは上下に分割した画面にそれぞれ表示しても構わない。または、第１視点信号と第２視点信号に基づく画像をライン毎に交互に表示しても構わない。

一方、３Ｄ表示の場合、液晶モニタ２７０は、第１視点信号と第２視点信号に基づく画像をフレームシーケンシャルに表示しても構わないし、第１視点信号と第２視点信号に基づく画像をオーバーレイして表示しても構わない。

内部メモリ２８０はフラッシュメモリや強誘電低メモリなどで構成される。内部メモリ２８０は、デジタルカメラ１全体を制御するための制御プログラム等を格納する。

モード設定ボタン２９０は、デジタルカメラ１で撮影する際の撮影モードを設定するボタンである。「撮影モード」は、ユーザが想定する撮影シーンに応じた撮影動作のためのモードであり、例えば、２Ｄ撮影モードと３Ｄ撮影モードを含む。２Ｄ撮影モードは例えば、（１）人物モード、（２）子供モード、（３）ペットモード、（４）マクロモード、及び（５）風景モードを含む。なお、（１）〜（５）のそれぞれのモードに対して３Ｄ撮影モードを備えてもよい。デジタルカメラ１は、設定された撮影モードに応じて適切な撮影パラメータを設定して撮影を行う。デジタルカメラ１は、自動設定を行うカメラ自動設定モードを含めてもよい。また、モード設定ボタン２９０は、メモリカード２４０に記録される映像信号の再生モードを設定するボタンである。

１−２．映像信号の記録動作
以下、デジタルカメラ１における映像信号の記録動作について説明を行う。

図２は、デジタルカメラ１における映像信号の撮影動作を説明するためのフローチャートである。モード設定ボタン２９０が使用者により操作され、撮影モードに設定されると、デジタルカメラ１は設定された撮影モードの情報を取得する（Ｓ２０１）。

コントローラ２１０は、取得した撮影モードが２Ｄ撮影モードか、３Ｄ撮影モードかを判定する（Ｓ２０２）。

取得した撮影モードが２Ｄ撮影モードである場合、２Ｄ撮影モードでの動作が行われる（Ｓ２０３〜Ｓ２０６）。具体的には、コントローラ２１０は、レリーズボタンが全押しされるまで待機する（Ｓ２０３）。レリーズボタンが全押しされると、ＣＣＤイメージセンサ１５０ａ及び１５０ｂのうち少なくとも一方の撮像素子は、２Ｄ撮影モードから設定される撮影条件に基づき撮影動作を行い、第１視点信号及び第２視点信号のうちの少なくとも一方の映像信号を生成する（Ｓ２０４）。

映像信号が生成されると、映像処理部１６０は、生成された映像信号に対して、２Ｄ撮影モードに則した各種映像処理を行うとともに、エンハンス処理を行い、圧縮映像信号を生成する（Ｓ２０５）。

圧縮映像信号が生成されると、コントローラ２１０は、圧縮映像信号をカードスロット２３０に接続されるメモリカード２４０に記録する。なお、第１視点信号の圧縮映像信号と第２視点信号の圧縮映像信号とが得られる場合、コントローラ２１０は、２つの圧縮映像信号を、例えばＭＰＯファイルフォーマットでメモリカード２４０に関連付けて記録する。

一方、取得した撮影モードが３Ｄ撮影モードである場合、３Ｄ撮影モードの動作が行われる（Ｓ２０７〜Ｓ２１０）。具体的には、コントローラ２１０は、２Ｄ撮影モードと同様、レリーズボタンが全押しされるまで待機する（Ｓ２０７）。

レリーズボタンが全押しされると、ＣＣＤイメージセンサ１５０ａ及び１５０ｂ（撮像素子）は、３Ｄ撮影モードで設定される撮影条件に基づき撮影動作を行い、第１視点信号及び第２視点信号を生成する（Ｓ２０８）。

第１視点信号と第２視点信号とが生成されると、映像処理部１６０は、生成された２つ映像信号に対して３Ｄ撮影モードでの所定の映像処理を行う（Ｓ２０９）。所定の映像処理により、第１視点信号と第２視点信号の２つの圧縮映像信号が生成される。特に、本実施形態では、３Ｄ撮影モードにおいては、エンハンス処理を行わずに、第１視点信号と第２視点信号の２つの圧縮映像信号が生成される。エンハンス処理を実施しないことで、第１視点信号と第２視点信号により再現される画像の輪郭が、エンハンス処理を実施した場合よりもぼやけるため、３Ｄ再生したときの書き割り効果のような不自然な立体感の発生を低減できる。

２つ圧縮映像信号が生成されると、コントローラ２１０は、生成された２つの圧縮映像信号をカードスロット２３０に接続されるメモリカード２４０に記録する（Ｓ２１０）。その際、２つの圧縮映像信号を、例えばＭＰＯファイルフォーマットを用いて関連付けてメモリカード２４０に記録する。

以上のようにして、本実施形態のデジタルカメラ１により２Ｄ撮影モード及び３Ｄ撮影モードのそれぞれのモードにおいて画像が記録される。

１−２−１．３Ｄ撮影モードの映像処理におけるエンハンス処理（例１）
上記の説明では、ステップＳ２０９の映像処理において、エンハンス処理を行わない例を説明したが、エンハンス処理を行っても良い。この場合、３Ｄ撮影モードにおけるエンハンス処理の強度は、２Ｄ撮影モードにおけるエンハンス処理の強度よりも弱い強度に設定する。この方法によれば、３Ｄ撮影モードで撮影された第１視点信号と第２視点信号により再現される画像の輪郭が、２Ｄ撮影モードで撮影された場合よりもぼやけるため、３Ｄ再生したときの書き割り効果のような不自然な立体感の発生を低減できる。

１−２−２．３Ｄ撮影モードの映像処理におけるエンハンス処理（例２）
また、ステップＳ２０９の映像処理において、エンハンス処理を行う場合に、映像処理部１６０は、第１視点信号と第２視点信号が示す画像の一部の領域（以下「サブ領域」と称す）に対してのみエンハンス処理を施してもよい。以下、映像処理部１６０による映像信号が示す画像のサブ領域に対するエンハンス処理の動作を説明する。

図３は、映像信号が示す画像のサブ領域に対するエンハンス処理の動作を説明したフローチャートである。

映像処理部１６０は、ＣＣＤ１５０ａ及び１５０ｂにより生成された第１視点信号と第２視点信号とを一時的にメモリ２００に格納する（Ｓ５０１）。

映像処理部１６０は、メモリ２００に格納された第１視点信号と第２視点信号と基づき、第１視点信号が示す画像に対する第２視点信号が示す画像の視差量を算出する（Ｓ５０２）。ここで、視差量の算出について説明する。

図４は、映像処理部１６０による視差量の算出を説明するための図である。図４に示すように、映像処理部１６０は、メモリ２００から読出した第１視点信号が示す画像３０１の全領域を複数の部分領域すなわちサブ領域３１０に分割し、サブ領域３１０毎に視差量の検出を行なう。なお、図４の例では、第１視点信号が示す画像３０１の全領域を４８個のサブ領域３１０に分割しているが、設定するサブ領域の数はデジタルカメラ１全体の処理量に基づき適宜設定されてよい。例えば、デジタルカメラ１の処理負荷を考慮し、処理能力に余裕がある場合、サブ領域の数を増やしてもよい。逆に、処理能力に余裕がない場合、サブ領域の数を減らすようにしてもよい。より具体的には、処理能力に余裕がない場合、１６×１６画素の単位や８×８画素の単位をサブ領域に設定し、各サブ領域において１つの代表視差量を検出するようにしてもよい。一方、デジタルカメラ１の処理能力に余裕がある場合、画素単位で視差量を検出してもよい。すなわち、サブ領域のサイズを１×１画素に設定してもよい。

なお、視差量は、例えば、第１視点信号が示す画像に対する、第２視点信号が示す画像の水平方向のずれ量である。映像処理部１６０は、第１視点信号が示す画像におけるサブ領域と第２視点信号が示すサブ領域との間でブロックマッチング処理を行う。映像処理部１６０は、ブロックマッチング処理の結果に基づき水平方向のずれ量を算出し、算出したずれ量を視差量に設定する。

図３に戻り、視差量を検出した後、映像処理部１６０は検出した視差量に基づき、少なくとも第１視点信号及び第２視点信号の何れか一方について、エンハンス処理の対象となる複数の対象画素を設定する（Ｓ５０３）。

特に、本実施形態では、映像処理部１６０は、第１視点信号と第２視点信号とを３Ｄ再生した際に視認者が奥行きの違いを認識できる領域以外の領域に位置する画素を対象画素として設定する。ここで、奥行きの違いを認識できる領域は、例えば、近景に位置するオブジェクトと背景との境界の領域、若しくは、近景に位置するオブジェクトと遠景に位置するオブジェクトとの境界の領域である。すなわち、奥行きの違いを認識できる領域には、近景と遠景との境界付近に位置する画素が含まれる。

具体的に、映像処理部１６０は、一のサブ領域で検出された視差量と、その一のサブ領域に隣接するサブ領域で検出された視差量との差が所定値よりも大きい場合、その一のサブ領域と、それに隣接するサブ領域の境界部分に位置する画素群をエンハンス処理の対象画素に設定する。エンハンス処理の対象画素に設定について具体的に説明する。

図５は、図４に示す第１視点信号に基づき映像処理部１６０がサブ領域毎に検出した視差量を示した図である。図６は、図５における領域７０１を含む領域を拡大して示した図である。なお、図５、６に示す視差量の値は、３Ｄ再生時に最も奥に表示されるオブジェクトの視差量を基準にして求めている。すなわち、最も奥に表示されるオブジェクトの視差量を０として、視差量の値を表している。なお、映像処理部１６０は、同様の視差量を有する複数のサブ領域が連続して存在する場合、それらのサブ領域が１つのオブジェクトを構成していると認識できる。

上記の所定値が４に設定されている場合、映像処理部１６０は、図５に示す領域７０２と領域７０３のそれぞれと、それぞれの隣接領域との境界付近、つまりサブ領域とサブ領域の境界付近に位置する画素を、エンハンス処理の非対象画素として設定する。すなわち、映像処理部１６０は、図６に示すハッチング領域７０２に含まれる画素を、エンハンス処理の非対象画素として設定する。なお、映像処理部１６０は、サブ領域間の境界に位置する画素に隣接する画素も、エンハンス処理の非対象画素に設定しても構わない。この場合、サブ領域間の境界から２画素若しくは３画素内等、境界から一定の範囲内にある画素を、エンハンス処理の非対象画素として設定することになる。映像処理部１６０は、オブジェクトの領域７０２及び領域７０３において、エンハンス処理の非対象画素以外の画素をエンハンス処理対象の画素として設定する。

図３に戻り、映像処理部１６０は、第１視点信号及び第２視点信号に対して、各種映像処理を行うとともに、エンハンス処理の対象画素（すなわち、エンハンス処理の非対象画素以外の画素）に対してエンハンス処理を行い、圧縮映像信号を生成する（Ｓ５０４）。

圧縮映像信号が生成されると、コントローラ２１０は、圧縮映像信号をカードスロット２３０に接続されるメモリカード２４０に、２つの圧縮映像信号を関連付けて記録する。なお、コントローラ２１０は、２つの圧縮映像信号を、例えばＭＰＯファイルフォーマットを用いて、メモリカード２４０に関連付けて記録する（Ｓ５０５）。

以上のように、本例では、オブジェクト（サブ領域）の境界にある画素を除いて、オブジェクトの領域（サブ領域）に対してエンハンス処理を実行する。これにより、オブジェクトの輪郭部が強調されないため、３Ｄ撮影モードで生成された映像信号を３Ｄ再生した際、視認者はより自然な立体感を感じることが可能となる。

なお、ステップＳ５０４において、非対象画素に対してもエンハンス処理を行っても良い。その場合、エンハンス処理の非対象画素に対して行うエンハンス処理の強度を、対象画素に対して行うエンハンス処理の強度よりも弱くする。この場合、非対象画素は対象画素と比べて、よりぼやけて視認されることになるため、より自然な立体感を表現することが可能となる。

また、第１視点信号又は第２視点信号に対して、３Ｄ撮影モード時に本実施形態で示したような特殊なエンハンス処理を行った場合、当該特殊なエンハンス処理を行なったことを示すフラグ情報を、ＭＰＯフォーマットで規定されるヘッダーに格納してもよい。再生時にこのフラグを参照することで、特殊なエンハンス処理が実施されたか否かを認識できる。

１−３．映像信号再生（表示）動作
以下、デジタルカメラ１における圧縮映像信号の再生動作について説明を行う。図７は、デジタルカメラ１における圧縮映像信号の再生動作を説明するためのフローチャートである。

モード設定ボタン２９０が使用者により再生モードに操作されると、デジタルカメラ１は再生モードに移行する（Ｓ９０１）。

再生モードが選択されると、コントローラ２１０は、メモリカード２４０から映像信号のサムネイル画像を読出し、若しくは、当該映像信号を基にサムネイル画像を生成し、液晶モニタ２７０に表示する。使用者は、液晶モニタ２７０に表示されたサムネイル画像を参照し、操作部材２５０を介して実際に表示する画像の選択を行う。コントローラ２１０は、操作部材２５０から、使用者により選択された画像を示す信号を受ける（Ｓ９０２）。

コントローラ２１０は、選択された画像に関する圧縮映像信号をメモリカード２４０から読み出す（Ｓ９０３）。

メモリカード２４０から圧縮映像信号を読み出すと、コントローラ２１０は、読出した圧縮映像信号を一旦、メモリ２００に記録する（Ｓ９０４）とともに、読み出した圧縮映像信号が３Ｄ映像信号か２Ｄ映像信号かを判定する（Ｓ９０５）。例えば、コントローラ２１０は、圧縮映像信号がＭＰＯファイルフォーマットを有している場合、圧縮映像信号が第１視点信号と第２視点信号とを含む３Ｄ映像信号であると判定する。また、使用者によって、事前に、２Ｄ映像信号で読み出すか、３Ｄ映像信号で読み出すかが設定されている場合、コントローラ２１０は当該設定に基づき判定を行う。

読み出した圧縮映像信号が２Ｄ映像信号であると判定した場合、映像処理部１６０は、２Ｄ用映像処理を行う（Ｓ９０６）。２Ｄ用映像処理として、具体的には、映像処理部１６０は圧縮映像処理の復号処理を行う。２Ｄ用映像処理として、例えば、シャープネス処理や、輪郭強調処理等の映像処理を行っても構わない。

２Ｄ用映像処理後、コントローラ２１０は、２Ｄ映像処理後の映像信号を液晶モニタ２７０に２Ｄ表示させる（Ｓ９０７）。ここで、２Ｄ表示とは、画像の視認者が映像信号を２Ｄ映像として視認できるように液晶モニタ２７０に表示するための表示形式である。

一方、読み出した圧縮映像信号が３Ｄ映像信号と判定した場合、映像処理部１６０は、メモリ２００に記録された第１視点信号と第２視点信号とに基づき、第１視点信号の画像の第２視点信号の画像に対する視差量を算出する（Ｓ９０８）。この動作は、ステップＳ５０２の動作と同様である。以下、説明の便宜上、映像処理部１６０は、第１視点信号が示す画像の全領域を複数に分割したサブ領域毎に視差量を検出するものとする。

視差量の検出後、映像処理部１６０は、検出した視差量に基づき、少なくとも第１視点信号及び第２視点信号の何れか一方において、ぼかし処理対象となる複数の対象画素を設定する。ぼかし処理を行う対象画素の設定方法は、図３のフローチャートのステップＳ５０３において説明した、エンハンス処理の非対象画素の設定方法と同様である。

具体的には、映像処理部１６０は、視認者が３Ｄ再生された第１視点信号と第２視点信号のそれぞれが示す画像を視認した際、奥行きの違いを認識できる領域に位置する画素を、ぼかし処理の対象画素として設定する。奥行きの違いを認識できる領域については前述のとおりである。

映像処理部１６０は、一のサブ領域で検出された視差量と、それに隣接する他のサブ領域で検出された視差量との差が所定値よりも大きい場合、当該一のサブ領域と、それに隣接する他のサブ領域の境界部分に位置する画素を、ぼかし処理の対象画素として設定する。

ぼかし処理の対象画素の設定後、映像処理部１６０は、第１視点信号及び第２視点信号に対して３Ｄ用映像処理を行う（Ｓ９１０）。３Ｄ用映像処理として、具体的に、映像処理部１６０は、圧縮映像処理の復号処理を行うとともに、対象画素に対してぼかし処理を行う。

例えば、映像処理部１６０はローパスフィルタを用いてぼかし処理を行う。より具体的には、映像処理部１６０は、設定した対象画素に対して、予め設定された任意のフィルタ係数及びフィルタサイズを有するローパスフィルタを用いてフィルタ処理を行う。

なお、復号処理時にぼかし処理に相当する処理を行っても構わない。例えば、ＪＰＥＧのような量子化テーブルを用いた復号化方式の場合、高周波成分の量子化を粗くすることで、ぼかし処理に相当する処理を行っても構わない。

コントローラ２１０は、復号処理及びぼかし処理された第１視点信号と第２視点信号に基づく画像を液晶モニタ２７０に３Ｄ表示する（Ｓ９１１）。ここで、３Ｄ表示とは、視認者が映像信号を３Ｄ映像として視認できるように液晶モニタ２７０に表示を行う表示形式である。３Ｄ表示方法としては、第１視点信号と第２視点信号とをフレームシーケンシャル方式で液晶モニタ２７０に表示する方法がある。

１−３−１．映像信号再生（表示）動作の別の例
特殊なエンハンス処理を行ったことを示すフラグ情報がメモリ２００に格納される第１視点信号と第２視点信号のヘッダーに格納されている場合の再生動作を説明する。

図８は、図７のフローチャートにおいて、フラグ情報を検出するステップ（Ｓ１００１）が追加された圧縮映像信号の再生動作のフローチャートである。

図８に示すように、コントローラ２１０は、ステップＳ９０５において映像信号が３Ｄ映像信号であると判定した後、フラグ情報を参照し、第１視点信号と第２視点信号とのヘッダーに特殊なエンハンス処理を行ったことを示すフラグ情報を検出する（Ｓ１００１）。フラグ情報を検出した場合、ステップＳ９１１に移行し、フラグ情報を検出しない場合、ステップＳ９０８に移行する。

１−３−２．ぼかし処理
以下、ステップＳ９１０において映像処理部１６０が行う、ぼかし処理の詳細な動作について図面を参照しながら説明を行う。以下では、ぼかし処理はローパスフィルタを用いたフィルタ処理で実現する。

１−３−２−１．ローパスフィルタのフィルタ係数及びフィルタサイズの設定
ぼかし処理で用いるローパスフィルタのフィルタ係数及びフィルタサイズ設定について図面を参照しながら説明を行う。

図９は、視差量に基づくローパスフィルタのフィルタサイズの設定方法を説明するための図である。

映像処理部１６０は、第１視点信号若しくは第２視点信号に含まれるオブジェクトの３Ｄ再生時の深さ方向（表示画面に垂直な方向）の表示位置（すなわち視差量）に応じてフィルタサイズを設定する。つまり、３Ｄ再生した際に視認者から見て奥側に視認され得る領域に適用されるローパスフィルタのサイズを、手前側に視認される領域に適用されるローパスフィルタのサイズよりも小さくする。つまり、奥側に表示されるオブジェクトほど、その輪郭がより不鮮明に表示されるようにする。これにより、より自然な立体感を再現できる。

具体的に映像処理部１６０は、対象画素の視差量と、当該対象画素の上下左右に隣接する画素の視差量との差分絶対値和を算出する。例えば、図９の例では、対象画素１１０３についての差分絶対値和が５として求められ、対象画素１１０４についての差分絶対値和が１０として求められている。この場合、３Ｄ再生した際に、対象画素１１０３を含むオブジェクトは対象画素１１０４を含むオブジェクトよりも奥に視認される。よって、映像処理部１６０は、ローパスフィルタ１１０１のサイズを、ローパスフィルタ１１０２のサイズよりも大きく設定する。なお、図９の例では、フィルタサイズの一例として、ローパスフィルタ１１０１のサイズとして９×９画素とし、ローパスフィルタ１１０２のサイズとして３×３画素サイズを示している。

図１０は、ローパスフィルタ１１０１及びローパスフィルタ１１０２の係数を説明した図である。本実施形態では、フィルタサイズが大きくなるにつれ、ぼかし効果がより高くなるようにフィルタ係数も大きく設定する。例えば、大きなローパスフィルタ１１０１のフィルタ係数は、小さなローパスフィルタ１１０２のフィルタ係数よりも大きな値に設定する。すなわち、ローパスフィルタ１１０１は、ローパスフィルタ１１０２のフィルタ係数の値よりも、より大きな値を持つフィルタ係数を有する。

上記のようにローパスフィルタを構成することにより、３Ｄ再生した際、奥に視認されるオブジェクトほど、よりぼけた映像信号となり、より自然な立体感を表現することが可能となる。

１−３−２−２．垂直方向及び水平方向での相関に基づくフィルタサイズ等の設定
映像処理部１６０におけるローパスフィルタのサイズは、対象画素における視差量と、当該対象画素の垂直方向及び水平方向に隣接する画素における視差量との相関関係を用いて設定しても構わない。例えば、ある対象画素の垂直方向の視差量と水平方向の視差量とを比較し、垂直方向に相関関係が高い場合、水平方向に長いローパスフィルタを用いる。一方、水平方向に相関関係が高い場合は、垂直方向に長いローパスフィルタを用いる。上記の構成にすることで、第１視点信号と第２視点信号とを３Ｄ再生した際、より自然にオブジェクトの境界をぼかすことが出来るため、より自然な立体感を視認させることが可能となる。

対象画素とそれに水平方向及び垂直方向に隣接する画素との相関関係は次のようにして判断できる。例えば、対象画素とそれに垂直方向に隣接する各画素（上下方向の画素）との間で視差量の差分絶対値を算出し、それを合計した差分絶対値和を求める。同様に、対象画素とそれに水平方向に隣接する各画素（左右方向の画素）との間で視差量の差分絶対値を算出し、それを合計した差分絶対値和を求める。当該対象画素の垂直方向に隣接する画素について求めた視差量の差分絶対値和と、当該対象画素の水平方向に隣接する画素について求めた視差量の差分絶対値和とを比較し、差分絶対値和がより小さい方の方向を、相関関係が高い方向であると判断できる。

図１１は、映像処理部１６０におけるフィルタサイズの設定動作を説明するための図である。

映像処理部１６０は、上述の方法で対象画素について、垂直方向及び水平方向の画素に対する視差量の差分絶対値和をそれぞれ算出する。図１１の例では、対象画素１３０１について、垂直方向における垂直差分絶対値和は０、水平方向における水平差分絶対値和は５と算出される。そのため、対象画素１３０１は、垂直方向に相関関係が高いと判断され、水平方向に長いローパスフィルタ１３１２が設定される。

なお、垂直方向に相関関係が高い場合及び水平方向に相関関係が高い場合に使用するローパスフィルタをそれぞれ事前に用意しておき、映像処理部１６０は、上記相関関係の判断結果に基づき２つのローパスフィルタを選択的に切り換えて使用するようにしても構わない。この場合、エッジ画素（対象画素）毎にローパスフィルタを設定する必要がないため、ぼかし処理に関する処理量を低減させることが可能となる。

また、フィルタサイズの他の設定方法として以下の方法もある。例えば、映像信号が３Ｄ再生された際に、あるサブ領域とそれに隣接する他のサブ領域が定位する３Ｄ映像における深さ方向の位置の差が大きいほど、ローパスフィルタのフィルタサイズを大きくするようにしてもよい。すなわち、あるサブ領域で検出した視差量と、そのサブ領域に隣接するサブ領域で検出した視差量との差を深さ方向の位置の差として求め、その差が大きいほど、ローパスフィルタのフィルタサイズを大きくするようにしてもよい。これにより、３Ｄ再生時の深さ方向の表示位置の差が大きいほど、より大きなサイズのローパスフィルタが適用され、より強いぼかし効果が得られる。

以上説明したフィルタサイズや係数の設定方法は適宜組み合わせることができる。

なお、図７及び図８のフローチャートを用いた上記の説明では、映像信号の再生動作時に、オブジェクトの境界部分においてぼかし処理を行う例を説明した。しかしながら、オブジェクトの境界部分においてぼかし処理を行うという制御は、映像信号の再生動作に限らず、映像信号の記録動作においても適用できる。例えば、図２のフローチャートのステップＳ２０９において、エンハンス処理の非対象画素に対してぼかし処理を行って第１視点信号と第２視点信号の２つの圧縮映像信号を生成してもよい。

１−４．まとめ
上記のように、デジタルカメラ１は、第１視点で生成された映像信号である第１視点信号と、第２視点で生成された映像信号である第２視点信号のうち少なくとも一方の映像信号の信号処理を行う。デジタルカメラ１は、第１視点信号及び第２視点信号のうちの少なくとも一方の映像信号に対して所定の映像処理を行う映像処理部１６０と、映像処理部１６０の制御を行うコントローラ２１０とを備える。コントローラ２１０は、第１視点信号及び第２視点信号のうちの少なくとも一方の映像信号に対して、その少なくとも一方の映像信号が示す画像に含まれるオブジェクトとそれに隣接する画像の境界に位置する画素の画素値を平滑化する処理であるぼかし処理を実行するように、映像処理部１６０を制御する。

このように構成することにより、近景にあるオブジェクトとそれに隣接する背景画像の境界部分がぼやけて表示されるため、映像信号を３Ｄ再生した際に、書き割り効果のような視認者が不自然な立体感を感じることを緩和することが可能となる。

２．実施形態２
以下、別の実施形態について、図面を参照しながら説明する。実施の形態１で説明した映像処理部１６０は、第１視点信号と第２視点信号とに基づいて視差量を検出し、検出した視差量に基づいて対象画素を設定する構成となっていた。ここで、視差量は３Ｄ再生時のオブジェクトの画面垂直方向（深さ方向）の表示位置に相当する。つまり、視差量は３Ｄ画像撮影時の被写体までの距離と相関関係がある。よって、本実施形態では、視差量の代わりに被写体像までの距離の情報を用いる。すなわち、本実施形態のデジタルカメラは、被写体像までの距離の情報に基づいて対象画素を設定する。なお、以下、説明の便宜上、実施形態１と同じ構成については同じ参照符号を付し、その詳細な説明を省略する。

図１２は、実施形態２におけるデジタルカメラ（３Ｄ映像信号処理装置の一例）の模式図である。本実施形態におけるデジタルカメラ１ｂは、実施の形態１に示した構成に加えて、測距部３００をさらに備えている。測距部３００に関連する動作において、実施形態２の映像処理部１６０ｂの動作が実施形態１の場合と異なる。それ以外の動作、構成は実施形態１の場合と同じである。

測距部３００は、デジタルカメラ２から撮影を行う被写体までの距離を測定する機能を有する。測距部３００は、例えば、赤外線信号を照射した後、照射した赤外線信号の反射信号を測定することにより測距を行なう。測距部３００は、本実施形態１におけるサブ領域毎に測距可能な構成にしても構わないし、画素毎に測距可能な構成にしても構わない。以下、説明の便宜上、測距部３００はサブ領域毎に測距可能とする。なお、測距部３００における測距方法は、上記の方法に限定されるものではなく、一般的に用いられる方法であれば、どのような方法を使用しても構わない。

測距部３００は、被写体の撮影時に当該被写体までの距離をサブ領域毎に測定する。測距部３００は、サブ領域毎に測距して得られる距離の情報を映像処理部３０１に出力する。映像処理部３０１は、距離の情報を用いて距離画像（depth map）を作成する。この距離画像から得られるサブ領域毎の距離情報を、実施形態１におけるサブ領域毎の視差量の代わりに用いても、実施の形態１の場合と同様にして対象画素を設定できる。

上記のように、本実施形態におけるデジタルカメラ２は、測距部３００において得られサブ領域毎の距離情報に基づき、エンハンス処理を行わない又はぼかし処理を行う対象画素を設定することが可能となる。そのため、実施形態１とは異なり、第１視点信号及び第２視点信号から視差量を検出する処理を行なわずに対象画素を設定することが可能となる。また、視差量の代わりに距離情報を用いて、実施形態１と同様にして、ローパスフィルタフィルタのサイズや係数を設定することもできる。

３．その他の実施形態
上記の実施形態１と実施形態２のそれぞれの思想を適宜組み合わせて用いても構わない。また、以下に説明する思想を、実施形態１及び／または実施形態２の思想と適宜組み合わせて用いることもできる。

（１）輻輳角の利用
映像処理部１６０は、第１視点信号と第２視点信号が３Ｄ再生される視聴環境が認識できる場合、サブ領域において検出される輻輳角を視差量として設定しても構わない。

あるサブ領域における輻輳角がαと検出され、あるサブ領域に隣接するサブ領域Ｂの輻輳角がβと検出されたとする。一般に、（α−β）が１度以内であれば、それら２つのサブ領域間において違和感のない立体感が認識され得ることが知られている。

上記の事実から、映像処理部１６０は、例えば（α−β）が所定値（例えば、１度）以内であれば、サブ領域Ａとサブ領域Ｂとの境界部分に位置する画素を、対象画素に設定するようにしてもよい。

（２）ぼかし処理に用いるローパスフィルタの設定方法について、さらに以下の設定方法も考えられる。以下の設定方法は、上述の実施形態で説明したローパスフィルタの設定方法と適宜組み合わせて用いることができる。

ｉ）オブジェクト（エンハンス処理の対象となるサブ領域）の外側のフィルタのサイズをオブジェクトの内側のサイズよりも大きく設定してもよい。例えば、図１３に示す対象画素１３０１または１３０２に適用するローパスフィルタ１３２１、１３２２のように、オブジェクト１４０１の外側部分に適用されるフィルタの部分のサイズを、オブジェクト１４０１の内側部分に適用されるフィルタ部分のサイズよりも大きくする。これにより、よりオブジェクトの外側部分の画素情報が反映されたぼかし効果が得られる。

ii）オクルージョンを考慮したローパスフィルタの設定
画像においてオクルージョンがある場合は、ローパスフィルタのフィルタサイズ、係数を以下のように設定するのが好ましい。

つまり、第１視点信号が示す画像及び第２視点信号が示す画像の一方にのみオブジェクトが存在するような場合、その一方の画像においてそのオブジェクトを含む領域に適用するローパスフィルタのフィルタサイズを、他方の画像において対応する領域に適用するローパスフィルタのフィルタサイズよりも大きくするのが好ましい。または、一方の画像においてオブジェクトを含む領域に適用するローパスフィルタの係数をぼやけ効果がより高まるように設定する。一般にオクルージョンが存在する場合、３Ｄ再生した場合、ちらつきが問題となる。よって、このようにフィルタサイズ、係数を設定することで、ちらつきを低減できる。なお、映像処理部１６０は、第１視点信号が示す画像及び第２視点信号が示す画像の双方において、サブ領域単位でブロックマッチングを行うことでオクルージョンの存在を検出できる。

iii）表示装置の画面サイズに応じたローパスフィルタの設定
デジタルカメラ１は表示装置の画面サイズを取得し、取得した画面サイズに応じてローパスフィルタのサイズを変更してもよい。この場合、画面サイズが小さいほど、適用するローパスフィルタのフィルタサイズをより小さくする。または、係数を小さくする（ぼかし効果が小さくなるように設定する）。表示装置の画面サイズは、例えば、ＨＤＭＩ（High Definition Multimedia Interface）を介して表示装置から取得することができる。または、表示装置の画面サイズは、使用者によりデジタルカメラ１において事前に設定されていてもよい。また、表示装置の画面サイズは、撮影した画像データに付加情報として付加されていても良い。一般に、デジタルカメラの背面に設けられた液晶モニタのように表示画面が小さい場合、立体感が縮小されてしまう。よって、表示画面のサイズに応じて、画面サイズが小さいほど、ローパスフィルタのフィルタサイズ（または係数）をより小さくすることで、ぼかし処理の強度を小さくでき、視認者が認識する立体感の縮小の程度を低減できる。

（３）上記実施形態で説明したデジタルカメラにおいて、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。なお、ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

（４）上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。または、ソフトウェアおよびハードウェアの協働処理により実現しても良い。なお、上記実施形態に係るデジタルカメラをハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

（５）上記実施形態で示した処理の実行順序は、必ずしも、上記実施形態で開示した順に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができることは言うまでもない。

（６）本発明の具体的な構成は、上記実施形態に開示した内容に限られるものではなく、当業者によって、発明の要旨を逸脱しない範囲で種々の変更および修正が可能であることは言うまでもない。

本発明は、３Ｄ再生した際により自然な立体感を提供できる映像信号を生成することが可能となるため、３Ｄ映像を撮影するデジタルカメラ、放送用カメラ及び３Ｄ映像の記録再生を行うレコーダー若しくはプレーヤーに適用することができる。

１１０ａ、１１０ｂ 光学系
１２０ａ、１２０ｂ ズームモータ
１３０ａ、１３０ｂ ＯＩＳアクチュエータ
１４０ａ、１４０ｂ フォーカスモータ
１５０ａ、１５０ｂ ＣＣＤイメージセンサ
１６０ 映像処理部
２００ メモリ
２１０ コントローラ
２２０ ジャイロセンサ
２３０ カードスロット
２４０ メモリカード
２５０ 操作部材
２６０ ズームレバー
２７０ 液晶モニタ
２８０ 内部メモリ
２９０ モード設定ボタン
３００ 測距部
７０１、７０２ 領域
８０１ 対象画素
１１０１、１１０２ ローパスフィルタ
１１０３、１１０４ フィルタ処理対象の対象画素

Claims (10)

1. 第１視点で生成された映像信号である第１視点信号と、当該第１視点とは異なる第２視点で生成された映像信号である第２視点信号のうち少なくとも一方の映像信号の信号処理を行う３Ｄ映像信号処理装置であって、
   前記第１視点信号及び前記第２視点信号のうちの少なくとも一方の映像信号に対して所定の映像処理を行う映像処理部と、
   前記映像処理部の制御を行う制御部と、
   前記第１視点信号が示す画像と前記第２視点信号が示す画像との間の視差量を、前記少なくとも一方の映像信号が示す画像の領域を分割して得られるサブ領域毎に、取得する視差量取得部と、を備え、
   前記制御部は、前記第１視点信号及び前記第２視点信号のうちの少なくとも一方の映像信号に対して、前記少なくとも一方の映像信号が示す画像に含まれるオブジェクトとそれに隣接する画像の境界に位置する画素の画素値を平滑化する処理であるぼかし処理を実行するように、前記映像処理部を制御し、
   前記制御部は、一のサブ領域で検出した視差量と、前記一のサブ領域に隣接する他のサブ領域で検出した視差量とに基づき、前記一のサブ領域と前記他のサブ領域との境界に位置する画素データに対して前記ぼかし処理を行わせるように、前記映像処理部を制御する
   ことを特徴とする３Ｄ映像信号処理装置。
2. 前記制御部は、前記第１視点信号および前記第２視点信号を３Ｄ映像として再生する際に前記一のサブ領域および前記他のサブ領域が定位する前記３Ｄ映像における深さ方向の位置の差を、前記検出した視差量から算出し、
   前記算出した結果に応じて、前記一のサブ領域と前記他のサブ領域との境界に位置する画素データに対して前記ぼかし処理を行わせるように、前記映像処理部を制御する
   ことを特徴とする、請求項１記載の３Ｄ映像信号処理装置。
3. 前記映像処理部は、ローパスフィルタを用いて前記ぼかし処理を実行し、
   前記映像処理部は、前記ローパスフィルタのフィルタサイズを、前記一のサブ領域で検出した視差量と前記他のサブ領域で検出した視差量との間の差に応じて切り替える、
   ことを特徴とする請求項１に記載の３Ｄ映像信号処理装置。
4. 前記一のサブ領域で検出した視差量と、前記一のサブ領域と垂直方向に隣接するサブ領域で検出した視差量との差が、前記一のサブ領域で検出した視差量と前記一のサブ領域と水平方向に隣接するサブ領域で検出した視差量との差よりも小さい場合、前記映像処理部は、垂直方向のサイズよりも水平方向のサイズが大きいローパスフィルタを用いてぼかし処理を実行する、
   ことを特徴とする請求項３に記載の３Ｄ映像信号処理装置。
5. 前記一のサブ領域で検出した視差量と、前記一のサブ領域と水平方向に隣接するサブ領域で検出した視差量との差が、前記一のサブ領域で検出した視差量と前記一のサブ領域と垂直方向に隣接するサブ領域で検出した視差量との差よりも小さい場合、前記映像処理部は、水平方向のサイズよりも垂直方向のサイズが大きいローパスフィルタを用いてぼかし処理を実行する、
   ことを特徴とする請求項３に記載の３Ｄ映像信号処理装置。
6. 前記一のサブ領域で検出した視差量と、前記他のサブ領域で検出した視差量との差が大きいほど、前記映像処理部で用いるローパスフィルタのフィルタサイズをより大きくする、ことを特徴とする請求項３に記載の３Ｄ映像信号処理装置。
7. 第１視点で生成された映像信号である第１視点信号と、当該第１視点とは異なる第２視点で生成された映像信号である第２視点信号のうち少なくとも一方の映像信号の信号処理を行う３Ｄ映像信号処理装置であって、
   前記第１視点信号及び前記第２視点信号のうちの少なくとも一方の映像信号に対して所定の映像処理を行う映像処理部と、
   前記映像処理部の制御を行う制御部と、
   前記少なくとも一方の映像信号が示す画像を分割して得られるサブ領域毎に、各サブ領域に含まれる被写体の距離に関する情報を取得する距離情報取得部と、を備え、
   前記制御部は、前記第１視点信号及び前記第２視点信号のうちの少なくとも一方の映像信号に対して、前記少なくとも一方の映像信号が示す画像に含まれるオブジェクトとそれに隣接する画像の境界に位置する画素の画素値を平滑化する処理であるぼかし処理を実行するように、前記映像処理部を制御し、
   前記制御部は、一のサブ領域に含まれる被写体の距離と、前記一のサブ領域に隣接する他のサブ領域に含まれる被写体の距離との差に応じて、前記一のサブ領域と前記他のサブ領域の境界に位置する画素データに対して前記ぼかし処理を行わせるように、前記映像処理部を制御する
   ことを特徴とする３Ｄ映像信号処理装置。
8. 被写体を撮影し、第１視点信号と第２視点信号とを生成する３Ｄ映像記録装置であって、
   第１視点での被写体像を形成する第１光学系と、
   前記第１視点とは異なる第２視点での被写体像を形成する第２光学系と、
   前記第１視点での被写体像から前記第１視点信号を生成し、前記第２視点での被写体像から前記第２視点信号を生成する撮像部と、
   前記第１視点信号が示す画像と前記第２視点信号が示す画像との間の視差量を、前記第１視点信号及び前記第２視点信号のうち少なくとも一方の映像信号が示す画像の領域を分割して得られるサブ領域毎に取得する視差量取得部と、
   前記第１視点信号及び前記第２視点信号に対してエンハンス処理を行うエンハンス処理部と、
   エンハンス処理された前記第１視点信号及び前記第２視点信号を記録媒体に記録する記録部と、
   前記エンハンス処理部及び前記記録部を制御する制御部と、を備え、
   前記制御部は、前記第１視点信号と前記第２視点信号とが３Ｄ映像信号として生成された場合、一のサブ領域で検出した視差量と、当該一のサブ領域に隣接する他のサブ領域で検出した視差量との差に応じて、前記一のサブ領域と前記他のサブ領域との境界に位置する画素以外の画素に対してエンハンス処理を行わせるように、前記エンハンス処理部を制御する
   ことを特徴とする３Ｄ映像記録装置。
9. 第１視点で生成された映像信号である第１視点信号と、当該第１視点とは異なる第２視点で生成された映像信号である第２視点信号のうち少なくとも一方の映像信号の信号処理を行う３Ｄ映像信号処理方法であって、
   前記第１視点信号及び前記第２視点信号のうちの少なくとも一方の映像信号に対して、前記少なくとも一方の映像信号が示す画像に含まれるオブジェクトとそれに隣接する画像の境界に位置する画素の画素値を平滑化する処理を行い、
   前記第１視点信号が示す画像と前記第２視点信号が示す画像との間の視差量を、前記少なくとも一方の映像信号が示す画像の領域を分割して得られるサブ領域毎に取得し、
   一のサブ領域で検出した視差量と、前記一のサブ領域に隣接する他のサブ領域で検出した視差量とに基づき、前記一のサブ領域と前記他のサブ領域との境界に位置する画素データに対して、前記平滑化する処理を行う
   ことを特徴とする３Ｄ映像信号処理方法。
10. 被写体を撮像して生成した第１視点信号と第２視点信号とを記録媒体に記録する３Ｄ映像記録方法であって、
    第１視点での被写体像から前記第１視点信号を生成し、前記第１視点とは異なる第２視点での被写体像から前記第２視点信号を生成し、
    前記第１視点信号及び前記第２視点信号に対してエンハンス処理を行い、
    前記エンハンス処理された前記第１視点信号及び前記第２視点信号を前記記録媒体に記録し、
    さらに、前記第１視点信号が示す画像と前記第２視点信号が示す画像との間の視差量を、前記第１視点信号及び前記第２視点信号のうち少なくとも一方の映像信号が示す画像の領域を分割して得られるサブ領域毎に取得し、
    前記エンハンス処理において、第１視点信号と前記第２視点信号とが３Ｄ映像信号として生成された場合、一のサブ領域で検出した視差量と、当該一のサブ領域に隣接する他のサブ領域で検出した視差量との差に応じて、前記一のサブ領域と前記他のサブ領域との境界に位置する画素以外の画素に対してエンハンス処理を行う
    ことを特徴とする３Ｄ映像記録方法。

Images