JP5923595B2 - 画像処理装置及び方法並びに撮像装置 - Google Patents

Description

本発明は画像処理装置及び方法並びに撮像装置に係り、特に２次元画像から立体視用の画像を生成する技術に関する。

従来、２次元画像を３次元画像化する技術として、特許文献１、２及び３に記載のものが知られている。

左右の眼に同一の映像を表示して、いわゆる単眼立体視の原理を利用した光学的装置としてシノプター（synopter）と呼ばれる立体視鏡が知られている。特許文献１に記載の発明は、この単眼立体視の原理を利用して２Ｄから３Ｄに変換された画像を表示する際に、画面端部での欠損領域や無効領域に起因する表示品位の低下を抑止するために、２次元画像の入力画像にマスクを付加するようにしている。

特許文献２に記載の方法は、背景画像やそれより手前の人物像等からなる手前画像からなる２次元画像から手前画像を抽出し、視差や遠近感に応じて手前画像を水平方向に移動させ、また、手前画像の移動によって生じる無画像情報領域を補填するように移動後の手前画像を拡大し、手前画像と背景画像とを合成するようにしている。

また、特許文献３に記載の方法は、２次元入力のフレームを平坦画像クラス及び非平坦画像クラスのうちの１つに分類し、平坦画像クラスのフレームを、３Ｄステレオ画像に直接変換し、非平坦画像クラスとして分類されるフレームを、複雑さに基づいて自動的にかつ適応的に更に処理して奥行きマップを生成し、奥行きマップを使用して３Ｄステレオ画像に変換するようにしている。

一方、通常に撮像された風景写真を、模型を近距離から撮像したかのように加工する、いわゆる「ミニチュア写真化」技術が知られている（特許文献４）。通常に撮像された風景写真等において、注目領域以外の領域にぼかし処理を施すことにより、ミニチュアライク写真を生成するようにしている（特許文献４の図１１、図１２）。

更に、単一の撮影レンズの左右方向の異なる領域を通過した被写体像が瞳分割されてそれぞれ結像される位相差ＣＣＤにより、各領域を通過した被写体像がそれぞれ光電変換され、ピントずれ量に応じて互いに位相差をもった左目画像及び右目画像（単眼３Ｄ画像）を取得する単眼３Ｄ撮像装置が知られている（特許文献５）。

特開２０１１−１６４２０２号公報 特開平０７−１８２５３３号公報 特開２０１０−５１５３０３号公報 特開２０１１−１２０１４３号公報 特開２０１１−１９９５０２号公報

特許文献１に記載の単眼立体視の原理は、単一画像が平行視線となるように両眼に与えるものであり、特許文献５に記載のようなピントずれ量に応じて互いに位相差をもった単眼３Ｄ画像を生成するものではない。

特許文献２、３に記載の発明は、視差を付与する際にぼかし処理を行わないため、３Ｄ画像の鑑賞時に目が疲れやすいという問題がある。

特許文献４に記載の発明は、通常に撮像された風景写真等からミニチュアライク写真を生成することができるが、３Ｄ画像として生成することはできない。

特許文献５に記載の単眼３Ｄ画像装置により撮影される単眼３Ｄ画像は、その利点のひとつとして、３Ｄテレビで３Ｄ専用眼鏡を外して鑑賞しても、二重像が殆ど発生しないという利点が挙げられる。しかし、単眼３Ｄ画像は、専用の単眼３Ｄ撮像装置でなければ得ることができないという問題がある。

本発明はこのような事情に鑑みてなされたもので、２次元画像に対して視差処理及びぼかし処理を簡単な構成で付与することができ、３Ｄ専用眼鏡を外して鑑賞しても二重像が殆ど発生しない立体視用の画像を生成することができる画像処理装置及び方法並びに撮像装置を提供することを目的とする。

前記目的を達成するために本発明の一の態様に係る画像処理装置は、画像を取得する画像取得手段と、取得した画像の画素毎に、該画素に対して付与する視差情報を取得する視差情報取得手段と、取得した画像に視差を付与するための、互いに左右対称性を有する第１のデジタルフィルタ群及び第２のデジタルフィルタ群であって、付与する視差の大きさに応じてフィルタサイズが異なる第１のデジタルフィルタ群及び第２のデジタルフィルタ群と、視差情報取得手段により取得した画素毎の視差情報とに基づいて、取得した画像の画素毎の視差情報に対応する第１のデジタルフィルタ及び第２のデジタルフィルタによるフィルタ処理を行うことにより、取得した画像の画素毎に視差が付与された第１の画素及び第２の画素を算出する算出手段と、を備えている。

本発明の一の態様によれば、画像（２次元画像）に視差を付与するための、互いに左右対称性を有する第１のデジタルフィルタ群及び第２のデジタルフィルタ群であって、少なくとも付与する視差の大きさに応じてフィルタサイズが大きくなる第１のデジタルフィルタ群及び第２のデジタルフィルタ群を準備しておく。そして、視差を付与する画像の画素毎に、その画素に対して付与する視差に対応する、第１のデジタルフィルタ及び第２のデジタルフィルタを使用してフィルタ処理を行うことにより、視差を付与する処理とぼかし処理とを同時に行うようにしている。尚、視差がゼロに対応する画素に対しては、視差付与及びぼかし処理は行われず、また、視差が大きくなるにしたがって、第１、第２のデジタルフィルタのフィルタサイズが大きくなるため、画素に付与される視差が大きくなり、かつぼかし量も大きくなる。このようにして視差の付与とぼかし処理が行われた立体視用の画像は、３Ｄディスプレイに表示することにより立体視が可能となり、また、視差が大きくなるにしたがってぼけ量も大きくなるため、目の疲れにくい自然な立体画像となる。

本発明の他の態様に係る画像処理装置において、第１及び第２のデジタルフィルタ群は、画像の中心部と周辺部とで左右対称性が異なることが好ましい。

本発明の更に他の態様に係る画像処理装置において、取得した画像に付与する視差を示す視差マップを取得する視差マップ取得手段を備え、視差情報取得手段は、取得した画像の画素毎に、画素の位置に対応する視差情報を視差マップから取得することが好ましい。

本発明の更に他の態様に係る画像処理装置において、第１のデジタルフィルタ群及び第２のデジタルフィルタ群は、単一の撮影光学系を通過した光束を瞳分割してそれぞれ受光する第１の画素群及び第２の画素群から構成された単一の撮像素子の、入射角度に応じた感度特性に基づいて計算されるものであることが好ましい。

本発明の更に他の態様に係る画像処理装置において、第１のデジタルフィルタ群及び第２のデジタルフィルタ群は、算出手段によるフィルタ処理後の視差が付与された第１の画像と第２の画像とを加算した画像が、二重像にならないフィルタ係数を有することが好ましい。これにより、３Ｄディスプレイに表示された立体視用の画像を、３Ｄ専用眼鏡を外して鑑賞しても二重像が殆ど発生しない２次元画像として鑑賞することができる。

本発明の更に他の態様に係る画像処理装置において、第１のデジタルフィルタ群及び第２のデジタルフィルタ群は、それぞれ正規化されたフィルタ係数を有するものであることが好ましい。これにより、フィルタ処理後の画像の明るさが変化しないようにすることができる。

本発明の更に他の態様に係る画像処理装置において、予め画像上の位置に応じて定義された視差マップを記憶する視差マップ記憶手段を備え、視差マップ取得手段は、視差マップ記憶手段から視差マップを取得する。これにより、視差マップを有さない画像であっても、予め定義した視差マップを適用して立体視用の画像を生成することができる。例えば、視差を付与する画像の下方ほど飛び出す方向の視差が大きくなる視差を定義し、上方ほど奥行き方向の視差が大きくなる視差を定義することができる。また、視差を付与する画像の特定領域の視差を小さくし、特定領域以外の視差を大きく（ぼかし量も大きく）する視差を定義することにより、３Ｄのミニチュアライク写真を生成することができる。

本発明の更に他の態様に係る画像処理装置において、視差を付与する画像の天地方向を示す情報を取得する手段を備え、視差マップ取得手段は、視差マップ記憶手段から視差マップを取得する際に、取得した画像の天地方向を示す情報に基づいて対応する視差マップを取得することが好ましい。これにより、視差を付与する画像が横撮り、又は縦撮りされた画像であっても適切な視差を付与することができる。

本発明の更に他の態様に係る撮像装置は、撮影光学系と該撮影光学系を介して被写体像が結像される撮像素子とを含む撮像手段と、撮像手段から出力される画像を取得する画像取得手段と、前述した画像処理装置と、を備えている。

本発明の更に他の態様に係る撮像装置において、撮像手段による画像の撮像時に撮像した画像の複数の領域毎又は画素毎に距離情報を取得する距離情取得手段を備え、視差情報取得手段は、取得した距離情報に基づいて撮像した画像の視差情報を取得する。距離情取得手段としては、多点測距できるものであれば、いかなるものでもよい。

本発明の更に他の態様に係る撮像装置において、撮像手段により撮像した画像の複数の領域毎又は画素毎に位相差を検出する位相差検出手段を有し、視差情報取得手段は、位相差検出手段により検出された位相差に基づいて撮像した画像の視差情報を取得する。

本発明の更に他の態様に係る撮像装置において、撮像手段とは異なる撮影光学系及び撮像素子からなる他の撮像手段を更に備え、視差情報取得手段は、２つの撮像手段により撮像された２つの画像に基づいて撮像した画像の視差情報を取得する。

本発明の更に他の態様に係る画像処理方法は、画像を取得する画像取得工程と、取得した画像の画素毎に、該画素に対して付与する視差情報を取得する視差情報取得工程と、取得した画像に視差を付与するための、画像に視差を付与するための、互いに左右対称性を有する第１のデジタルフィルタ群及び第２のデジタルフィルタ群であって、少なくとも付与する視差の大きさに応じてフィルタサイズが大きくなる第１のデジタルフィルタ群及び第２のデジタルフィルタ群と、視差情報取得工程により取得した画素毎の視差情報とに基づいて、取得した画像の画素毎の視差情報に対応する第１のデジタルフィルタ及び第２のデジタルフィルタによるフィルタ処理を行うことにより、取得した画像の画素毎に視差が付与された第１の画素及び第２の画素を算出する算出工程と、を含んでいる。

本発明によれば、画像（２次元画像）に視差を付与するための、互いに左右対称性を有する第１のデジタルフィルタ群及び第２のデジタルフィルタ群であって、付与する視差の大きさに応じてフィルタサイズが大きくなる第１のデジタルフィルタ群及び第２のデジタルフィルタ群を準備し、視差を付与する画像の画素毎に、適宜の第１のデジタルフィルタ及び第２のデジタルフィルタを使用してフィルタ処理を行うようにしたため、視差を付与する処理とぼかし処理とを同時に行うことができる。このようにして視差の付与とぼかし処理が行われた立体視用の画像は、３Ｄディスプレイに表示することにより立体視が可能となり、また、視差が大きくなるにしたがってぼけ量も大きくなるため、目の疲れにくい自然な立体画像となる。更に、３Ｄディスプレイに表示された立体視用の画像は、３Ｄ専用眼鏡を外して鑑賞しても二重像が殆ど発生しないものとなる。

本発明に係る撮像装置の実施形態を示す斜視図 図１に示した撮像装置の背面図 図１に示した撮像装置の内部構成の実施形態を示すブロック図 ２Ｄ画像から３Ｄ画像を生成する画像処理方法を示す概念図 付与する視差に対応して適用される左右の半月フィルタを示す図 通常の撮像素子により撮像される画像と、単眼３Ｄ用の撮像素子により撮像される左目画像及び右目画像とを説明するために用いた図 単眼３Ｄ用の撮像素子の感度特性と、その感度特性に対応して作成される半月フィルタとを示す図 半月フィルタの作成方法を説明するために用いた図 図８の要部拡大図と半月フィルタとを示す図 図８の要部拡大図であり、撮像素子上の座標と入射角との関係を示す図 画面内の位置に応じた入射角特性の違いを説明するために用いた図 図１１に示した入射角特性の違いによる半月フィルタの違いを示す図 本発明に係る画像処理方法の実施形態を示すフローチャート 視差マップの作成方法の一例を示す図 画像の天地方向に応じて適用される視差マップを示す図 ２Ｄ画像からミニチュアライクな３Ｄ画像を生成する画像処理方法を示す概念図 撮像装置の他の実施形態であるスマートフォンの外観図 スマートフォンの要部構成を示すブロック図

以下、添付図面に従って本発明に係る画像処理装置及び方法並びに撮像装置の実施の形態について説明する。

［撮像装置］
図１及び図２はそれぞれ本発明に係る撮像装置の実施形態を示す斜視図及び背面図である。この撮像装置１０は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記録メディアに記録するデジタルカメラである。

図１に示すように、撮像装置１０は、その正面に撮影レンズ（撮影光学系）１２、ストロボ１等が配設され、上面にはシャッタボタン２、電源／モードスイッチ３、モードダイヤル４等が配設されている。一方、図２に示すように、カメラ背面には、３Ｄ表示用の３Ｄ液晶モニタ３０、ズームボタン５、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等が配設されている。

撮影レンズ１２は、沈胴式のズームレンズで構成されており、電源／モードスイッチ３によってカメラのモードを撮影モードに設定することにより、カメラ本体から繰り出される。ストロボ１は、主要被写体に向けてストロボ光を照射するものである。

シャッタボタン２は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。立体撮像装置１０は、撮影モードで駆動しているときは、このシャッタボタン２が「半押し」されることにより、ＡＥ／ＡＦが作動し、「全押し」されることにより、撮影を実行する。また、立体撮像装置１０は、撮影モードで駆動しているときは、このシャッタボタン２が「全押し」されることにより、撮影を実行する。

なお、シャッタボタン２は半押しと全押しとからなる２段ストローク式のスイッチの形態に限られず、１回の操作でＳ１オンの信号、Ｓ２オンの信号を出力してもよく、それぞれ個別のスイッチを設けてＳ１オンの信号、Ｓ２オンの信号を出力してもよい。

また、タッチ式パネルなどにより操作指示を行う形態では、これらの操作部としてタッチ式パネルの画面に表示される操作指示に対応する領域をタッチすることで操作指示を出力するようにしてもよく、本発明においては撮影準備処理や撮影処理を指示するものであれば操作部の形態はこれらに限られない。また、１つの操作部への操作指示で撮影準備処理と撮影処理を連続して実行するようにしてもよい。

電源／モードスイッチ３は、立体撮像装置１０の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、立体撮像装置１０のモードを設定するモードスイッチとしての機能とを併せ持っており、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。立体撮像装置１０は、電源／モードスイッチ３をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ３をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。

モードダイヤル４は、撮像装置１０の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、立体撮像装置１０の撮影モードが様々なモードに設定される。例えば、平面画像の撮影を行う「平面画像撮影モード」、立体画像（３Ｄ画像）の撮影を行う「立体画像撮影モード」、動画撮影を行う「動画撮影モード」等である。

３Ｄ液晶モニタ３０は、立体視画像（左目画像及び右目画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段である。立体視画像が３Ｄ液晶モニタ３０に入力された場合には、３Ｄ液晶モニタ３０のパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片が交互に配列して表示される。平面画像やユーザインターフェース表示パネルとして利用される場合には、パララックスバリア表示層には何も表示せず、その下層の画像表示面に１枚の画像をそのまま表示する。尚、３Ｄ液晶モニタ３０の形態はこれに限らず、左目画像及び右目画像を立体画像として認識可能に表示させるものであれば、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左目画像と右目画像とを個別に見ることができるものでもよい。

ズームボタン５は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するテレボタン５Ｔと、広角側へのズームを指示するワイドボタン５Ｗとからなる。撮像装置１０は、撮影モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、撮影レンズ１２の焦点距離が変化する。また、再生モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、再生中の画像が拡大、縮小する。

十字ボタン６は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。

ＭＥＮＵ／ＯＫボタン７は、３Ｄ液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。

再生ボタン８は、撮影記録した立体画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を３Ｄ液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。

ＢＡＣＫボタン９は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。

［撮像装置の内部構成］
図３は上記撮像装置１０の内部構成の実施形態を示すブロック図である。この撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。

撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ズームボタン、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、レンズ駆動部３６によるレンズ駆動制御、絞り駆動部３４による絞り駆動制御、ＣＣＤ制御部３２による撮影動作（シャッタボタン２の半押しから画像記録の完了まで）制御、デジタル信号処理部２４による画像処理制御、圧縮伸長処理部２６による画像データの記録／再生制御、ビデオエンコーダ２８による３Ｄ液晶モニタ３０の表示制御などを行う。

電源／モードスイッチ３により立体撮像装置１０の電源がＯＮされると、図示しない電源部から各ブロックへ給電され、立体撮像装置１０の駆動が開始される。

撮影レンズ１２、絞り１４等を通過した光束はＣＣＤイメージセンサである撮像素子１６（撮像手段、画像取得手段）に結像され、撮像素子１６には信号電荷が蓄積される。撮像素子１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子１６から読み出された電圧信号は、アナログ信号処理部１８に加えられる。尚、この実施の形態の撮像素子１６は、ＣＣＤイメージセンサであるが、これに限らず、ＣＭＯＳ型のイメージセンサでもよい。

アナログ信号処理部１８は、撮像素子１６から出力された電圧信号に対して相関二重サンプリング処理（撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）により各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、デモザイキング処理、ＹＣ処理、エッジ強調処理等の所定の信号処理を行う。

また、デジタル信号処理部２４は、撮影した画像に関連して作成された視差マップを取得する視差マップ取得手段、及び視差付与及びぼかし処理（フィルタ処理）を行って視差及びぼけを有する画素を算出する算出手段として機能し、２Ｄの画像データに対して、本発明に係る視差処理及びぼかし処理を行い、視差が異なる立体視用の画像（左目画像、右目画像）を生成する。尚、２Ｄ画像から左目画像及び右目画像を生成する画像処理方法の詳細については、後述する。

デジタル信号処理部２４により処理された２Ｄ又は３Ｄの画像データは、ＶＲＡＭ５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の２Ｄ又は３Ｄの画像を表す画像データを記録するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の２Ｄ又は３Ｄの画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。

ＶＲＡＭ５０から読み出された２Ｄ又は３Ｄの画像データは、ビデオエンコーダ２８においてエンコーディングされ、カメラ背面に設けられている３Ｄ液晶モニタ３０に出力され、これにより２Ｄ又は３Ｄの被写体像が連続的に３Ｄ液晶モニタ３０の表示画面上に表示される。

操作部３８のシャッタボタン２の第１段階の押下（半押し）があると、ＣＣＤ４０は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介してフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。

ＡＦ処理部４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左目画像及び右目画像の少なくとも一方の画像のうちの所定のフォーカス領域内の画像の高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるレンズ位置に撮影レンズ１２内のフォーカスレンズを移動させることによりＡＦ制御（コントラストＡＦ）が行われる。また、ＡＦ処理部４２は、３Ｄ画像を撮影記録する場合には、画面全体を複数の領域に分割した分割領域ごとにコントラストＡＦを行い、分割領域ごとにＡＦ評価値が極大となるレンズ位置からそれぞれ被写体距離を測距する多点測距を行う。

ＣＰＵ４０は、ズームボタン５からのズーム指令に応じてレンズ駆動部３６を介してズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。

また、シャッタボタン２の半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。

ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影ＥＶ値に基づいて絞り１４のＦ値及び撮像素子１６の電子シャッタ（シャッタ速度）を所定のプログラム線図にしたがって決定する。

尚、図３において、４６は、撮影画角内の人物の顔を検出し、その顔を含むエリアをＡＦエリア、ＡＥエリアとして設定するための公知の顔検出部である。顔とは、人物の顔に限らず、ペットなどの動物の顔も含む。また、顔の検出方法としては、予め複数の画像情報を登録した辞書を用いて検出する方法や、テンプレートマッチング（画像照合）を用いて検出する方法などが適用可能である。

また、４７は、カメラ制御プログラム、撮像素子１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブルの他に、本発明に係る左目画像及び右目画像を生成するための画像処理プログラム、立体視画像を生成するために使用する第１及び第２のデジタルフィルタ群、視差マップ等が記憶されているＲＯＭ（ＥＥＰＲＯＭ）（視差マップ記憶手段）である。尚、本発明に係る画像処理プログラム等の詳細については後述する。

シャッタボタン２の半押しによりＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。

メモリ４８に一時的に記憶された画像データは、デジタル信号処理部２４により適宜読み出され、ここで、デモザイキング処理、エッジ強調の画像処理、及びＹＣ処理（画像データの輝度データ及び色差データの生成処理）を含む所定の信号処理が行われ、ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。デモザイキング処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素ごとに全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素ごとにＲＧＢ全ての色情報を算出する処理である。

メモリ４８に記憶されたＹＣデータは、圧縮伸長処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。メモリ４８に記憶されたＹＣデータ（圧縮データ）から画像ファイルが生成され、その画像ファイルは、メディア・コントローラ５２により読み出され、メモリカード５４に記録される。

上記構成の撮像装置１０は、２Ｄ画像から３Ｄ画像を生成するための機能を備えているが、その他の部分は従来のものと同じである。

［２Ｄ画像から３Ｄ画像を生成する画像処理方法］
次に、本発明に係る２Ｄ画像から３Ｄ画像を生成する画像処理方法について、図４及び図５を参照して説明する。

図４は２Ｄ画像から３Ｄ画像を生成する画像処理方法を示す概念図である。

図４に示すように、まず、左右視点の視差を付与するための２Ｄ画像１００と、その２Ｄ画像に対して、視差を付与するための基準となる予め定義され、又は視差を付与する２Ｄ画像の撮影時に測定した多点測距データから算出した視差マップ１１０を取得する。ここで、視差マップ１１０とは、左目画像と右目画像との対応点同士の画素のずれ（視差）が、画面全体にわたってマッピングされたものである。図４上で、グレースケールで示した視差マップ１１０の白い部分は、遠い箇所の視差を示し、黒い部分は、近い箇所の視差を示している。

一方、２Ｄ画像の画素毎に視差の付与及びぼかし処理を施すためのデジタルフィルタ群であって、左目画像を生成するための第１のデジタルフィルタ群と、右目画像を生成するための第２のデジタルフィルタ群とを予め準備し、メモリに記憶しておく。

第１のデジタルフィルタ群と第２のデジタルフィルタ群とは、図５に示すように互いに左右対称性を有し、付与する視差の大きさに応じてフィルタサイズが異なるものである。第１のデジタルフィルタ群及び第２のデジタルフィルタ群のフィルタ形状は、必ずしも円の中心を通る線に対して線対称なものだけでなくおおよその対称性を有しているものも含む。例えば、円の中心から左右方向にずれた位置を通る直線により円を２つに分割した形状のものも含む。また、図５に示す第１のデジタルフィルタ群及び第２のデジタルフィルタ群は、それぞれ視差に応じて選択された第１のデジタルフィルタと第２のデジタルフィルタとは半月状の形状を有し、重ね合わせると円形になる。これは、絞り開口（円形）を左右に瞳分割した形状に対応しているためである。したがって、五角形の絞り開口に対応する第１、第２のデジタルフィルタの形状は、それぞれ五角形を左右に瞳分割した形状になる。

図４において、２Ｄ画像１００の任意の画素から、左目画像の画素と右目画像の画素を生成する場合には、その画素に対応する視差情報を視差マップ１１０から取得し、その視差情報に対応する第１のデジタルフィルタ及び第２のデジタルフィルタをメモリから読み出す。そして、任意の画素を中心とする、第１のデジタルフィルタ及び第２のデジタルフィルタのフィルタサイズに対応する画素群と、第１のデジタルフィルタのフィルタ係数との畳み込み演算（積和演算）を行うことにより、左目画像の画素を算出する。同様に、任意の画素を中心とする、第１のデジタルフィルタ及び第２のデジタルフィルタのフィルタサイズに対応する画素群と、第２のデジタルフィルタのフィルタ係数との畳み込み演算を行うことにより、右目画像の画素を算出する。これにより、任意の画素に関し、視差を付与する処理（位相ずらし）とぼかし処理とが同時に行われる。

以上の画像処理を２Ｄ画像の全ての画素に対して行うことにより、左目画像１２０と右目画像１３０とが生成される。

尚、図５に示すように、第１のデジタルフィルタ群と第２のデジタルフィルタ群は、視差がゼロの場合には、そのフィルタサイズが最小（例えば、１）になり、実質的にフィルタ処理がされず、視差が大きくなるにしたがって、フィルタサイズが大きくなり、その結果、ぼけも大きくなる。また、遠側の視差と近側の視差とは、第１のデジタルフィルタと第２のデジタルフィルタの形状が逆になる。これは、遠側の視差と近側の視差は、視差の方向が逆になるからである。

［視差付与及びぼかし処理を行うデジタルフィルタ］
次に、２Ｄ画像に視差付与する及びぼかし処理を行うデジタルフィルタについて詳述する。

図６は、レンズが物体ａの前面にピント調整された状態で、ピント位置よりも手前の物体（点光源）がどのように撮影されるかを示す図であり、通常の撮像素子２００により撮像される画像と、特殊な撮像素子（単眼３Ｄ用の撮像素子）２１０により撮像される左目画像及び右目画像が示されている。尚、図６上の撮像素子２００及び２１０は、それぞれ被写体側から見た受光面を示している。

通常の撮像素子２００は、それぞれマトリクス状に配列された奇数列の画素（主画素、Ａ面画素ともいう）と、偶数列の画素（副画素、Ｂ面画素ともいう）とが、水平垂直方向にそれぞれ半ピッチずつずれて配置されており、Ａ面画素からなる画像（Ａ面画像）と、Ｂ面画素からなる画像（Ｂ面画像）とは、それぞれベイヤー配列のカラーフィルタを有している。これらのＡ面画像とＢ面画像とから１枚の高解像度の画像を生成することができる。尚、通常の撮像素子２００のＡ面画素、Ｂ面画素に対応して設けられた、光が入射する開口は、各画素の中央に形成されている。また、各画素上には、図示しないマイクロレンズが設けられている。

通常の撮像素子２００から得られるピント位置よりも手前の点光源の画像は、後ピンとなり、そのぼけ量に相当する直径の円になる。

一方、単眼３Ｄ用の撮像素子２１０は、Ａ面画素に形成された開口と、Ｂ面画素に形成された開口とが、それぞれ左右方向に偏倚しており、Ａ面画素には、レンズの左側の領域を通過する光が入射し、Ｂ面画素には、レンズの右側の領域を通過する光が入射するようになっている。単眼３Ｄ用の撮像素子２１０は、位相差イメージセンサとして公知のものであり、特許文献５等に詳細に記載されている。

上記構成の単眼３Ｄ用の撮像素子２１０のＡ面画素からなる画像（Ａ面画像）は、左目画像となり、Ｂ面画素からなる画像（Ｂ面画像）は、右目画像となる。

単眼３Ｄ用の撮像素子２１０から得られるピント位置よりも手前の点光源の画像は、後ピンとなり、左目画像及び右目画像は、それぞれそのぼけ量に相当する直径を有する半月状になる。そして、半月状の左目画像の重心と右目画像の重心とのずれ量が、点光源の画像の視差量になる。即ち、ピント位置よりも手前の点光源の画像は、撮像素子２１０の特性（角度ごとの感度）などが既知であれば、点光源に対してどのような左目用及び右目用のフィルタ（前述した第１のデジタルフィルタ及び第２のデジタルフィルタ）が畳み込まれているかがわかる。尚、左目用及び右目用のフィルタは、半月状となるため、以後「半月フィルタ」という。

さて、図６に示したレンズを介して単眼３Ｄ用の撮像素子２１０に入射する光のｘ方向の角度［°］に対する左目画像及び右目画像の感度の一例を、図７（ａ）に示し、ｙ方向の角度［°］に対する左目画像及び右目画像の感度の一例を、図７（ｂ）に示す。

図７（ａ）に示すように、ｘ方向の角度［°］に対する左目画像及び右目画像の感度は、角度ゼロを中心にして対称性を有するとともに、感度のピーク位置がずれる。また、図７（ｂ）に示すように、ｙ方向の角度［°］に対する左目画像及び右目画像の感度は一致し、角度ゼロに感度のピーク位置がくる。

図７（ａ）及び（ｂ）に示したｘ方向及びｙ方向の感度特性を掛け合わせると、図７（ｃ）に示すように撮像素子２１０に入射する光のｘ方向及びｙ方向の角度毎の感度特性が得られる。尚、図７（ｃ）は、撮像素子２１０の左目画像に対応するＡ面画素の角度毎の感度特性を示している。

次に、図７（ｄ）に示すように、ある直径Ｒの範囲のみ光が撮像素子２１０に当たると仮定して、角度を撮像素子２１０のｘ軸（横方向）、ｙ軸（縦方向）の座標に換算すると、左右の半月フィルタの重心間距離（即ち、視差ΔＤ）と、半月フィルタの直径Ｒは、それぞれ次式で表すことができる。

ここで、［数１］式及び［数２］式において、図８に示すように実焦点距離をf[mm]、絞り値をF、ジャスピン位置までの合焦距離をLo[mm]、被写体までの距離をL[mm]としている。また、ΔＤは、Fの関数ρ(F)を用いて、Ｒに対する所定の比で表すことができる。よって、ΔＤが分かれば、Ｒの値や、現在どのような半径・分布の半月フィルタがかかっているかが分かる。

図９（ａ）及び（ｂ）は、それぞれ半月フィルタ、及び図８の撮像面近傍の拡大図である。尚、図８及び図９中に示した数式は、レンズの公式、及び幾何的な関係から導き出すことができる。

また、半月フィルタのフィルタ係数を算出する場合には、図１０に示すように、ある座標を(Px,Py)、その座標(Px,Py)への光の入射角を(θ_ｘ,θ_ｙ)とすると、以下の［数３］式に示す（x,y）について、［数４］式に示す (θ_ｘ,θ_ｙ)を求める。

［数４］式で求めた入射角(θｘ,θｙ)に基づいて、図７（ｃ）に示した角度毎の感度特性を代入することにより、半月フィルタのフィルタ係数を算出する。このとき、フィルタ係数の総和で各フィルタ係数を除算することにより、フィルタ係数を正規化することが好ましい。

上記のようにして視差ΔＤごとに左右の半月フィルタを作成し、視差ΔＤに関連付けてＲＯＭ（ＥＥＰＲＯＭ）４７に記憶させる。半月フィルタの作成は、予めデジタル信号処理部２４で行い、作成した半月フィルタをＲＯＭ４７に記憶させてもよいし、外部で別途作成した半月フィルタをＲＯＭ４７に記憶させるようにしてもよい。

また、［数１］式では、視差ΔＤが絶対値で表されているが、合焦距離Loよりも手前の物体の視差と合焦距離Loよりも奥側の物体の視差とは、視差方向（符号）が逆になる。したがって、視差の大きさ及び視差方向ごとに左右の半月フィルタを作成し、ＲＯＭ４７に記憶させる。

ところで、図１１（ａ）及び（ｂ）に示すように、画面中央の物体における入射角と、画面端の物体における入射角は異なり、例えば、画面中央の物体における入射角が、−１５°〜１５°であるのに対し、画面端の物体における入射角は、−７°〜２６°となる。

これにより、図１２に示すように画面中央の物体における左目画像と右目画像の入射角特性は、対称となるのに対し、画面端の物体における左目画像と右目画像の入射角特性は、対称にならない。その結果、画面中央の物体における左右の半月フィルタは、左右対称になるのに対し、画面端の物体における左右の半月フィルタは、形状に差異が生じる。

したがって、画面内の位置に応じて形状の異なる半月フィルタを記憶しておくことが好ましい。

また、上記半月フィルタを算出する際の単眼３Ｄの撮像素子２１０としては、任意の特性を反映したものを適用することができ、これにより、理想的な単眼３Ｄの撮像素子を仮定して適切な視差及びぼかし量を付与する半月フィルタを算出することができる。また、撮像素子の特性だけでなく、レンズのＦ値に応じた視差及びぼかし量を付与する半月フィルタの算出も可能である。

［画像処理方法の実施形態］
図１３は本発明に係る画像処理方法の実施形態を示すフローチャートである。

図１３において、視差を付与する画像（２Ｄ画像）と視差マップを取得する（ステップＳ１０）。取得する画像としては、立体画像撮影モードに設定されたときの撮像装置１０により撮像された画像（２Ｄ画像）を取得してもよいし、メモリカード５４に記録された画像から適宜選択した画像を取得してもよい。

図１４は視差マップの作成方法の一例を示す図である。図１４に示すように２Ｄ画像の撮影時に多点測距する。具体的には、ＡＦ処理部４２により、画面全体を複数の領域（図１４の例では、１６の領域）に分割して分割領域ごとにコントラストＡＦを行い、分割領域ごとにＡＦ評価値が極大となるレンズ位置からそれぞれ１６領域の距離を概算する。また、実際の撮影時の合焦距離Loも求める。続いて、１６領域の各距離の距離データを補間し、画面全体にわたる距離データ（距離マップ）を作成する。画面内の各画素の距離Lと、合焦距離Loとが得られると、［数１］式により視差ΔＤを算出することができる。これにより、視差マップを作成することができる。尚、１６領域の視差ΔＤを算出し、その後、算出した視差ΔＤを補間して視差マップを作成するようにしてもよい。

また、距離マップから視差マップを作成する際に、［数１］式によらず、適宜の関数に基づいて変換するようにしてもよい。この場合の関数としては、合焦距離Loの視差をゼロ、無限遠の視差を遠側の視差の最大値ａ、至近端の視差を近側の視差の最大値ｂとする線形、又は非線形の関数にすることが好ましい。

ステップＳ１０では、上記のようにして作成された視差マップを取得する。

続いて、取得した画像中の画素Ｐ(i,j)を取得するとともに、その画素Ｐ(i,j)に対応する視差ΔＤ(i,j)を視差マップから取得する（ステップＳ１２）。

次に、取得した視差ΔＤ(i,j)の大きさ及び視差方向に対応する左目用の半月フィルタＦ_ＬをＲＯＭ４７から読み出し（ステップＳ１４）、読み出した半月フィルタＦ_Ｌと、画素Ｐ(i,j)を中心にした、半月フィルタＦ_Ｌのフィルタサイズの画素群の画素値との畳み込み演算を行うことにより、画素Ｐ(i,j)に対応する左目用の画素Ｐ_Ｌを算出する（ステップＳ１６）。

同様に、取得した視差ΔＤ(i,j)の大きさ及び視差方向に対応する右目用の半月フィルタＦＬをＲＯＭ４７から読み出し（ステップＳ１８）、読み出した半月フィルタＦ_Ｒと、画素Ｐ(i,j)を中心にした、半月フィルタＦ_Ｒのフィルタサイズの画素群の画素値との畳み込み演算を行うことにより、画素Ｐ(i,j)に対応する左目用の画素Ｐ_Ｒを算出する（ステップＳ２０）。

続いて、２Ｄ画像の全画素に対する処理が終了したか否かを判別し（ステップＳ２２）、終了していない場合（「No」の場合）には、画素Ｐ(i,j)の位置(i,j)を更新し（ステップＳ２４）、ステップＳ１２に遷移させる。

一方、２Ｄ画像の全画素に対する処理が終了した場合（「Yes」の場合）には、２Ｄ画像から左目画像と右目画像を生成する本処理が終了する。

このようして生成された左目画像及び右目画像は、単眼３Ｄ撮像装置で撮像された単眼３Ｄ画像と同様の画像になる。

上記のようにして生成された単眼３Ｄ画像は、３Ｄ画像として鑑賞することができるとともに、以下の利点(1),(2)がある。

(1) 適宜の第１、第２のデジタルフィルタ群を準備することにより、例えばフルサイズ相当・APS相当など、ぼかす程度・視差が所望のイメージセンサ相当であるように調整が可能である。

(2) 単眼３Ｄ用の画像を３Ｄテレビに映した状態で専用眼鏡をかけていない人が見ても二重像が殆ど発生せず、２Ｄ画像として鑑賞可能である。

［視差マップの他の実施形態］
視差マップは、２Ｄ画像の撮影時に実測された距離データに基づいて作成する場合に限らず、予め定義した簡易版の視差マップを適用してもよい。

例えば、視差を付与する画像の下方ほど飛び出す方向の視差が大きくなる視差を定義し、上方ほど奥行き方向の視差が大きくなる視差を定義した視差マップを適用することができる。

このとき、重力センサやジャイロなどの情報を用いてカメラの現時点の姿勢（撮影した画像の天地方向）を把握し、図１５（ａ）〜（ｃ）に示すように画像の天地方向に応じた視差マップを適用することが必要となる。

［視差マップの更に他の実施形態］
昨今、ミニチュアライクな２Ｄ写真を撮影する技法が知られている。この技法は、カメラのあおりをずらして画面上部と下部を故意にぼかすというものであるが、この方法のアウトプットは２Ｄ画像である。

ミニチュアライクな３Ｄ写真を撮影する場合、図１６に示す視差マップのように、遠い箇所と近い箇所（画面上部と下部）の視差を非常に大きくし、中央箇所の視差を小さくした視差マップを定義する。この視差マップ１１２により画面上部と下部を故意に大きくぼかすことができ、ミニチュアライク写真を生成することができ、また、視差も加わるため、２Ｄは勿論、３Ｄでも鑑賞可能なミニチュアライク写真を生成することができる。

撮像装置１０の他の実施形態である携帯端末装置としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

＜スマートフォンの構成＞
図１７は、撮像装置１０の他の実施形態であるスマートフォン５００の外観を示すものである。図１７に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１８は、図１７に示すスマートフォン５００の構成を示すブロック図である。図１８に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

表示パネル５２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図１７に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１７に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１８に示すように、操作部５４０は、スマートフォン１の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、本発明に係る左目画像及び右目画像を生成するための画像処理プログラムを含むアプリケーションソフトウェア、立体視画像を生成するために使用する第１及び第２のデジタルフィルタ群、視差マップ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth（登録商標））、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能、本発明に係る２Ｄ画像から３Ｄ画像を生成する機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１７に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することもできる。

［その他］
本発明は、２Ｄの静止画から３Ｄの静止画を作成する場合に限らず、２Ｄの動画から３Ｄの動画を生成する場合にも適用できる。

また、この実施形態では、予め視差毎（符号を含む）に半月フィルタを作成記憶するようにしたが、これに限らず、一方の視差方向のみ視差毎に左右の半月フィルタを作成記憶させるようにしてもよい。この場合、他方の視差方向の視差を付与する場合には、左右の半月フィルタを逆にして適用する。

更に、左右の半月フィルタは、左右対称性を有するため、半月フィルタとしては、左右の半月フィルタのうちのいずれか一方のみを記憶しておき、他方の半月フィルタは、左右反転したものを適用してもよい。

また、視差情報を取得するための距離情報取得手段としては、撮影画像の複数の領域ごとにコントラストＡＦを行うものに限らず、例えば、赤外線を照射したときの反射までの時間差から距離を概算する赤外線センサを使用するものが考えられる。

更に、視差情報を取得するための視差検出手段としては、撮像面の複数の領域に位相差センサを備えた位相差撮像素子を使用し、位相ずれから視差を検出するもの、２つの撮像手段を備えた複眼カメラを使用し、撮像された２つの画像のステレオマッチングにより視差を検出するものが考えられる。

また、２Ｄ画像から主要被写体として人物を認識したり、公知のオブジェクト認識技術を使用することで、２Ｄ画像から地面、背景、建物などの物体を認識し、これらの認識結果に基づいてオブジェクトに対応する視差を付与した視差マップを作成してもよい。この場合、主要被写体の視差はゼロにし、ぼかし処理が行われないようにすることが好ましい。

更に、撮像装置１０、スマートフォン５００は、２Ｄ画像を撮影するとともに、実際に撮影した２Ｄ画像から３Ｄ画像を生成する本発明に係る画像処理装置を含んでいるが、これに限らず、視差の付与及びぼかし処理を行う２Ｄ画像は、外部機器や通信により取得し、取得した２Ｄ画像から３Ｄ画像を生成する、画像処理装置（例えば、パソコン、タブレットＰＣ等）にも本発明は適用できる。

尚、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮像装置、１２…撮影レンズ、２４…デジタル信号処理部、４０…中央処理装置（ＣＰＵ）、４２…ＡＦ処理部、４７…ＲＯＭ（ＥＥＰＲＯＭ）、４８…メモリ、１００…２Ｄ画像、１１０…視差マップ、１２０…左目画像、１３０…右目画像、２００…通常の撮像素子、２１０…単眼３Ｄ用の撮像素子、５００…スマートフォン

Claims (14)

1. 画像を取得する画像取得手段と、
   前記取得した画像の画素毎に、該画素に対して付与する視差情報を取得する視差情報取得手段と、
   前記取得した画像に視差を付与するための、互いに左右対称性を有する第１のデジタルフィルタ群及び第２のデジタルフィルタ群であって、付与する視差の大きさに応じてフィルタサイズが異なる第１のデジタルフィルタ群及び第２のデジタルフィルタ群と、前記視差情報取得手段により取得した画素毎の視差情報とに基づいて、前記取得した画像の画素毎の視差情報に対応する第１のデジタルフィルタ及び第２のデジタルフィルタによるフィルタ処理を行うことにより、前記取得した画像の画素毎に視差が付与された第１の画素及び第２の画素を算出する算出手段と、
   を備え、
   前記第１及び第２のデジタルフィルタ群は、画像の中心部と周辺部とで左右対称性が異なる画像処理装置。
2. 画像を取得する画像取得手段と、
   前記取得した画像の画素毎に、該画素に対して付与する視差情報を取得する視差情報取得手段と、
   前記取得した画像に視差を付与するための、互いに左右対称性を有する第１のデジタルフィルタ群及び第２のデジタルフィルタ群であって、付与する視差の大きさに応じてフィルタサイズが異なる第１のデジタルフィルタ群及び第２のデジタルフィルタ群と、前記視差情報取得手段により取得した画素毎の視差情報とに基づいて、前記取得した画像の画素毎の視差情報に対応する第１のデジタルフィルタ及び第２のデジタルフィルタによるフィルタ処理を行うことにより、前記取得した画像の画素毎に視差が付与された第１の画素及び第２の画素を算出する算出手段と、
   を備え、
   前記第１のデジタルフィルタ群及び第２のデジタルフィルタ群は、単一の撮影光学系を通過した光束を瞳分割してそれぞれ受光する第１の画素群及び第２の画素群から構成された単一の撮像素子の、入射角度に応じた感度特性に基づいて計算されるものである画像処理装置。
3. 画像を取得する画像取得手段と、
   前記取得した画像の画素毎に、該画素に対して付与する視差情報を取得する視差情報取得手段と、
   前記取得した画像に視差を付与するための、互いに左右対称性を有する第１のデジタルフィルタ群及び第２のデジタルフィルタ群であって、付与する視差の大きさに応じてフィルタサイズが異なる第１のデジタルフィルタ群及び第２のデジタルフィルタ群と、前記視差情報取得手段により取得した画素毎の視差情報とに基づいて、前記取得した画像の画素毎の視差情報に対応する第１のデジタルフィルタ及び第２のデジタルフィルタによるフィルタ処理を行うことにより、前記取得した画像の画素毎に視差が付与された第１の画素及び第２の画素を算出する算出手段と、
   を備え、
   前記第１のデジタルフィルタ群及び第２のデジタルフィルタ群は、前記算出手段によるフィルタ処理後の視差が付与された第１の画像と第２の画像とを加算した画像が、二重像にならないフィルタ係数を有する画像処理装置。
4. 前記取得した画像に付与する視差を示す視差マップを取得する視差マップ取得手段を備え、
   前記視差情報取得手段は、前記取得した画像の画素毎に、該画素の位置に対応する視差情報を前記視差マップから取得する請求項１から３のいずれか１項に記載の画像処理装置。
5. 予め画像上の位置に応じて定義された視差マップを記憶する視差マップ記憶手段を備え、
   前記視差マップ取得手段は、前記視差マップ記憶手段から視差マップを取得する請求項４に記載の画像処理装置。
6. 前記視差を付与する画像の天地方向を示す情報を取得する手段を備え、
   前記視差マップ取得手段は、前記視差マップ記憶手段から視差マップを取得する際に、前記取得した画像の天地方向を示す情報に基づいて対応する視差マップを取得する請求項５に記載の画像処理装置。
7. 前記第１のデジタルフィルタ群及び第２のデジタルフィルタ群は、それぞれ正規化されたフィルタ係数を有するものである請求項１から６のいずれか１項に記載の画像処理装置。
8. 撮影光学系と該撮影光学系を介して被写体像が結像される撮像素子とを含む撮像手段と、
   前記撮像手段から出力される画像を取得する前記画像取得手段と、
   請求項１から７のいずれか１項に記載の画像処理装置と、
   を備えた撮像装置。
9. 前記撮像手段による画像の撮像時に撮像した画像の複数の領域毎又は画素毎に距離情報を取得する距離情取得手段を備え、
   前記視差情報取得手段は、前記取得した距離情報に基づいて前記撮像した画像の視差情報を取得する請求項８に記載の撮像装置。
10. 前記撮像手段により撮像した画像の複数の領域毎又は画素毎に位相差を検出する位相差検出手段を有し、
    前記視差情報取得手段は、前記位相差検出手段により検出された位相差に基づいて前記撮像した画像の視差情報を取得する請求項８に記載の撮像装置。
11. 前記撮像手段とは異なる撮影光学系及び撮像素子からなる他の撮像手段を更に備え、
    前記視差情報取得手段は、前記２つの撮像手段により撮像された２つの画像に基づいて前記撮像した画像の視差情報を取得する請求項８に記載の撮像装置。
12. 画像を取得する画像取得工程と、
    前記取得した画像の画素毎に、該画素に対して付与する視差情報を取得する視差情報取得工程と、
    前記取得した画像に視差を付与するための、画像に視差を付与するための、互いに左右対称性を有する第１のデジタルフィルタ群及び第２のデジタルフィルタ群であって、少なくとも付与する視差の大きさに応じてフィルタサイズが大きくなる第１のデジタルフィルタ群及び第２のデジタルフィルタ群と、前記視差情報取得工程により取得した画素毎の視差情報とに基づいて、前記取得した画像の画素毎の視差情報に対応する第１のデジタルフィルタ及び第２のデジタルフィルタによるフィルタ処理を行うことにより、前記取得した画像の画素毎に視差が付与された第１の画素及び第２の画素を算出する算出工程と、
    を含み、
    前記第１及び第２のデジタルフィルタ群は、画像の中心部と周辺部とで左右対称性が異なる画像処理方法。
13. 画像を取得する画像取得工程と、
    前記取得した画像の画素毎に、該画素に対して付与する視差情報を取得する視差情報取得工程と、
    前記取得した画像に視差を付与するための、画像に視差を付与するための、互いに左右対称性を有する第１のデジタルフィルタ群及び第２のデジタルフィルタ群であって、少なくとも付与する視差の大きさに応じてフィルタサイズが大きくなる第１のデジタルフィルタ群及び第２のデジタルフィルタ群と、前記視差情報取得工程により取得した画素毎の視差情報とに基づいて、前記取得した画像の画素毎の視差情報に対応する第１のデジタルフィルタ及び第２のデジタルフィルタによるフィルタ処理を行うことにより、前記取得した画像の画素毎に視差が付与された第１の画素及び第２の画素を算出する算出工程と、
    を含み、
    前記第１のデジタルフィルタ群及び第２のデジタルフィルタ群は、単一の撮影光学系を通過した光束を瞳分割してそれぞれ受光する第１の画素群及び第２の画素群から構成された単一の撮像素子の、入射角度に応じた感度特性に基づいて計算されるものである画像処理方法。
14. 画像を取得する画像取得工程と、
    前記取得した画像の画素毎に、該画素に対して付与する視差情報を取得する視差情報取得工程と、
    前記取得した画像に視差を付与するための、画像に視差を付与するための、互いに左右対称性を有する第１のデジタルフィルタ群及び第２のデジタルフィルタ群であって、少なくとも付与する視差の大きさに応じてフィルタサイズが大きくなる第１のデジタルフィルタ群及び第２のデジタルフィルタ群と、前記視差情報取得工程により取得した画素毎の視差情報とに基づいて、前記取得した画像の画素毎の視差情報に対応する第１のデジタルフィルタ及び第２のデジタルフィルタによるフィルタ処理を行うことにより、前記取得した画像の画素毎に視差が付与された第１の画素及び第２の画素を算出する算出工程と、
    を含み、
    前記第１のデジタルフィルタ群及び第２のデジタルフィルタ群は、前記フィルタ処理後の視差が付与された第１の画像と第２の画像とを加算した画像が、二重像にならないフィルタ係数を有する画像処理方法。