JP5756572B2 - 画像処理装置及び方法並びに撮像装置 - Google Patents

Description

本発明は画像処理装置及び方法並びに撮像装置に関し、特に符号化開口をレンズ瞳位置に挿入して撮影した画像と同等の画像を取得する技術に関する。

撮像装置の技術分野では、複数のＰＳＦ（Point Spread Function；点像分布関数）で画像を取得し、取得した画像からボケの修復や被写体の距離推定等の処理を行う技術が知られているが、その際復元・推定処理のロバスト性を向上させるべく、符号化された開口（符号化瞳）を用いることが行われている（このように符号化された開口を用いて撮影を行うことを、以下「符号化開口撮影」という）。例えば、異なるパターンの符号化開口を組み込んだレンズを交換してＰＳＦを変化させ、１台の撮像装置で複数の画像を取得する技術が知られている。

特許文献１には、円形の外形を持ち、内部を同心円状の扇形に分割した開口を持ち、任意のパターン（組み合わせ）の符号化開口を設定可能な開口アレイを有する撮像装置が記載されている。

また、特許文献２には、各フレームに対して異なる符号化開口アレイを使用し、得られ多数のフレームに対してそのフレームを得るために使用される符号化開口アレイに対応する個々の復号パターンを使用し、高い解像度を有する画像を提供する方法が記載されている。

特開２０１１−１６６２５５号公報 特表２０１１−５３０８４８号公報

特許文献１、２に記載の発明は、いずれも撮影光学系の光路中に符号化開口アレイを挿入して撮影を行うというものである。このため、異なる符号化開口アレイを使用して複数の画像を取得するためには、異なる符号化開口アレイに切り替えて複数回撮影を行う必要があった。この場合、複数回の撮影タイミングにずれが生じるため静止物体しか撮影することができないという問題がある。また、符号化開口アレイを切り替えるための装置が大型で複雑な構成になり、コストが上昇するという問題があった。

本発明はこのような事情に鑑みてなされたもので、符号化開口をレンズ瞳位置に挿入して撮影した画像と同等の画像を仮想的に取得することができ、これにより符号化開口パターンの選択・交換が容易になり、一回の撮影だけで複数の符号化開口を適用することができ、また動く被写体や動画においても高度な符号化開口撮影法を使用することができる画像処理装置及び方法並びに撮像装置を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る画像処理装置は、メインレンズと、２次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、イメージセンサの入射面側に配設されたレンズアレイであって、レンズアレイの各レンズによりメインレンズの瞳像をイメージセンサの受光面にレンズアレイのレンズの数だけ結像させるレンズアレイとを有する撮像手段から画像を取得する画像取得手段と、メインレンズの複数の瞳像に対するそれぞれの符号化開口パターンを設定する符号化開口パターン設定手段と、イメージセンサから取得される画像中のレンズアレイのレンズ毎の瞳像と符号化開口パターン設定手段により設定された符号化開口パターンとの重み付き積和演算を行う演算手段と、演算手段による演算結果に基づく画像を生成する画像生成手段と、を備えている。

本発明によれば、メインレンズの瞳像と符号化開口パターンとの重み付き積和演算を行うことによってレンズ瞳位置（瞳面）に符号化開口を挿入して撮影した画像と同等の画像を得ることができる。これにより、符号化開口パターンの選択・交換が容易になり、一回の撮影だけで複数の符号化開口を適用した画像を得ることができる。また、動く被写体や動画においても高度な符号化開口撮影法を使用することができる。

本発明の他の形態に係る画像処理装置は、メインレンズと、２次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、イメージセンサの入射面側に配設され、メインレンズにより結像された像をイメージセンサの受光面に再結像させるレンズアレイとを有する撮像手段から画像を取得する画像取得手段と、メインレンズの瞳像に対する符号化開口パターンであって、イメージセンサから取得される画像中の、レンズアレイのレンズ毎の部分像から被写体像の同じ位置に対応する画素を収集する画素収集手段と、メインレンズの瞳像に対する符号化開口パターンを設定する符号化開口パターン設定手段と、画素収集手段により収集した画素群と符号化開口パターン設定手段により設定された符号化開口パターンとの重み付け積和演算を行う演算手段と、演算手段による演算結果に基づく画像を生成する画像生成手段と、を備えている。

本発明によれば、レンズアレイの各レンズごとに得られる部分像の同じ位置に対応する画素に対して符号化開口パターンに対応する重み付き積和演算を行うことによってレンズ瞳位置（瞳面）に符号化開口を挿入して撮影した画像と同等の画像を得ることができる。これにより、符号化開口パターンの選択・交換が容易になり、一回の撮影だけで複数の符号化開口を適用した画像を得ることができる。また、動く被写体や動画においても高度な符号化開口撮影法を使用することができる。

本発明は、符号化開口パターン設定手段は、複数の種類の符号化開口パターンを記憶する記憶手段と、記憶手段から１つの符号化開口パターンを選択する選択手段とを有し、選択手段により選択した符号化開口パターンを設定する形態とすることができる。これによれば、符号化開口パターンを容易に変更することができる。

本発明は、符号化開口パターン設定手段は、符号化開口パターンに対応する重み係数を有する２次元フィルタの各位置における重み係数を指定する指定手段を有し、指定手段による指定により任意の符号化開口パターンを設定する形態することができる。これによれば、重み係数をユーザが自由に変更することができる。

本発明は、符号化開口パターン設定手段は、レンズアレイのレンズ毎の瞳像に異なる符号化開口パターンを設定する形態とすることができる。被写体像の位置ごとに符号化開口の効果を変えることができる。

本発明は、符号化開口パターン設定手段は、画素収集手段により収集した画素群毎に異なる符号化開口パターンを設定する形態とすることができる。被写体像の位置ごとに符号化開口の効果を変えることができる。

本発明は、撮像装置が備えることが望ましい。

本発明の一の形態に係る画像処理方法は、メインレンズと、２次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、イメージセンサの入射面側に配設されたレンズアレイであって、レンズアレイの各レンズによりメインレンズの瞳像をイメージセンサの受光面にレンズアレイのレンズの数だけ結像させるレンズアレイとを有する撮像手段から画像を取得する画像取得工程と、メインレンズの瞳像に対するそれぞれの符号化開口パターンを設定する符号化開口パターン設定工程と、イメージセンサから取得される画像中のレンズアレイのレンズ毎の瞳像と符号化開口パターン設定工程により設定された符号化開口パターンとの重み付き積和演算を行う演算工程と、演算工程による演算結果に基づく画像を生成する画像生成工程と、を備えている。

本発明によれば、メインレンズの瞳像と符号化開口パターンとの重み付き積和演算を行うことによってレンズ瞳位置（瞳面）に符号化開口を挿入して撮影した画像と同等の画像を得ることができる。これにより、符号化開口パターンの選択・交換が容易になり、一回の撮影だけで複数の符号化開口を適用した画像を得ることができる。また、動く被写体や動画においても高度な符号化開口撮影法を使用することができる。

本発明の他の形態に係る画像処理方法は、メインレンズと、２次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、イメージセンサの入射面側に配設され、メインレンズにより結像された像をイメージセンサの受光面に再結像させるレンズアレイとを有する撮像手段から画像を取得する画像取得工程と、メインレンズの瞳像に対する符号化開口パターンであって、イメージセンサから取得される画像中の、レンズアレイのレンズ毎の部分像から被写体像の同じ位置に対応する画素を収集する画素収集工程と、メインレンズの瞳像に対する符号化開口パターンを設定する符号化開口パターン設定工程と、画素収集工程により収集した画素群と符号化開口パターン設定工程により設定された符号化開口パターンとの重み付き積和演算を行う演算工程と、演算工程による演算結果に基づく画像を生成する画像生成工程と、を備えている。

本発明によれば、レンズアレイの各レンズごとに得られる部分像の同じ位置に対応する画素に対して符号化開口パターンに対応する重み付き積和演算を行うことによってレンズ瞳位置（瞳面）に符号化開口を挿入して撮影した画像と同等の画像を得ることができる。これにより、符号化開口パターンの選択・交換が容易になり、一回の撮影だけで複数の符号化開口を適用した画像を得ることができる。また、動く被写体や動画においても高度な符号化開口撮影法を使用することができる。

本発明は、符号化開口パターン設定工程により符号化開口パターンの設定を変更する工程を含み、演算工程は、画像取得工程により取得した１つの画像に対して符号化開口パターン設定工程により符号化開口パターンが変更される毎に変更後の符号化開口パターンを使用した重み付き積和演算を実行し、画像生成工程は、符号化開口パターン設定工程により符号化開口パターンが変更される毎に演算工程による演算結果に基づいて画像を生成する形態とすることができる。

本発明によれば、符号化開口をレンズ瞳位置に挿入して撮影した画像と同等の画像を仮想的に取得することができ、これにより符号化開口パターンの選択・交換が容易になり、一回の撮影だけで複数の符号化開口を適用することができ、また動く被写体や動画においても高度な符号化開口撮影法を使用することができる。

図１は、本発明の第１の実施形態に係る撮像装置の外観斜視図である。 図２は、図１に示した撮像装置の内部構成の実施形態を示すブロック図である。 図３は、図１に示したマイクロレンズアレイの一部を正面から見たイメージ図である。 図４は、符号化開口処理に関連する符号化開口関連部の構成を示した構成図である。 図５は、図４の一部を拡大して示した図である。 図６は、瞳面の分割領域の一例を示した図である。 図７Ａは、符号化開口パターンを例示した図である。 図７Ｂは、符号化開口パターンを例示した図である。 図７Ｃは、符号化開口パターンを例示した図である。 図８は、符号化開口処理を示したフローチャートである。 図９は、第２の実施の形態の指向性センサを用いた符号化開口関連部の構成を示した構成図である。 図１０は、図９の一部を拡大して示した図である。 図１１は、撮像装置の他の実施形態であるスマートフォンの外観図である。 図１２は、スマートフォンの要部構成を示すブロック図である。

以下、添付図面に従って本発明に係る撮像装置の実施の形態について説明する。

図１は本発明の第１の実施形態に係る撮像装置１０（撮像装置）の外観斜視図である。図１に示すように、撮像装置１０の前面には撮影レンズ（メインレンズ）１２、ストロボ１８等が配置され、上面にはシャッタボタン３８−１が設けられている。Ｌ１はメインレンズ１２の光軸を表す。

図２は撮像装置１０の内部構成の実施形態を示すブロック図である。

この撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、メインレンズ１２とＣＭＯＳ型の撮像素子（イメージセンサ）１６との間にマイクロレンズアレイ１４が設けられ、いわゆるプレノプティックカメラの撮影光学系を有している。装置全体の動作は、中央処理装置（ＣＰＵ：Central Processing Unit）４０によって統括制御される。

撮像装置１０には、シャッタボタン３８−１、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等を含む操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタ（ＬＣＤ）３０の表示制御などを行う。

シャッタボタン３８−１（図１）は、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、及び動画を撮影する動画モードのいずれかを選択する選択手段である。

再生ボタンは、撮影記録した静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせるときなどに使用される。

撮影モード時において、被写体光は、メインレンズ１２、マイクロレンズアレイ１４を介してＣＭＯＳ型の撮像素子（イメージセンサ）１６の受光面に結像される。

マイクロレンズアレイ１４は、一部を抽出して正面から示した図３のイメージ図に示すように所定焦点距離の多数のマイクロレンズ１４（ｉ）（ｉは各マイクロレンズに付する異なる番号）を有している。

イメージセンサ１６は、多数の受光セル（受光素子）が２次元配列されており、各受光セルの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。尚、イメージセンサ１６は、受光セル毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配設されている。

イメージセンサ１６に蓄積された信号電圧（または電荷）は、受光セルそのものもしくは付設されたキャパシタで蓄えられる。蓄えられた信号電圧（または電荷）は、センサ制御部３２により、Ｘ−Ｙアドレス方式を用いたＭＯＳ（Metal Oxide Semiconductor）型撮像素子（いわゆるＣＭＯＳセンサ）の手法を用いて、画素位置の選択とともに読み出される。これにより、イメージセンサ１６から画素毎の信号電圧を読み出すことができる。

イメージセンサ１６から読み出された撮像信号（電圧信号）は、相関二重サンプリング処理（イメージセンサの出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、イメージセンサの１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）により画素毎のＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２１に加えられる。Ａ／Ｄ変換器２１は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。尚、ＭＯＳ型のイメージセンサでは、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、イメージセンサ１６から直接Ｒ、Ｇ、Ｂのデジタル信号が出力される。

画像入力コントローラ２２は、イメージセンサ１６から画素位置を選択して画素データを読み出すことにより取得することができるが、本実施の形態では、イメージセンサ１６から全ての画素データを読み出してメモリ（ＳＤＲＡＭ：Synchronous Dynamic Random Access Memory）４８に一時的に記憶する。

デジタル信号処理部２４は、画像入力コントローラ２２を介してメモリ４８に記憶された画素データからなる画像データを読み出し、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。また、このデジタル信号処理部２４において後述の符号化開口処理を実施する。

デジタル信号処理部２４で処理され画像データは、ＶＲＡＭ（Video Random Access Memory）５０に入力される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０に出力され、これにより被写体像が液晶モニタ３０の表示画面上に表示される。

操作部３８のシャッタボタン３８−１の第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＥ（Automatic Exposure）動作を開始させ、Ａ／Ｄ変換器２１から出力される画像データは、ＡＥ検出部４４に取り込まれる。

ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り（図示せず）の絞り値及びイメージセンサ１６の電子シャッタ（シャッタスピード）を所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞りを制御すると共に、決定したシャッタスピードに基づいてセンサ制御部３２を介してイメージセンサ１６での電荷蓄積時間を制御する。

ＡＥ動作が終了し、シャッタボタン３８−１の第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２１から出力される画像データが画像入力コントローラ２２からメモリ（ＳＤＲＡＭ）４８に入力され、一時的に記憶される。メモリ４８に一時的に記憶された画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。

メモリ４８に記憶されたＹＣデータは、それぞれ圧縮伸張処理部２６に出力され、ＪＰＥＧ（Joint Photographic Experts Group）などの所定の圧縮処理が実行されたのち、メディア・コントローラ５２を介してメモリカード５４に記録される。

次に、デジタル信号処理部２４により行われる符号化開口処理（重み付き積和演算）について説明する。

図４は、符号化開口処理に関連する符号化開口関連部の構成を示した構成図である。図４では、図１のメインレンズ１２、マイクロレンズアレイ１４、イメージセンサ１６、及びデジタル信号処理部２４に内包される符号化開口処理部８０が抽出して示されている。図４では、イメージセンサ１６により取り込まれた画像データが符号化開口処理部８０（デジタル信号処理部２４）に読み込まれるまでに経由する各処理部と、符号化開口処理部８０により生成された画像データが出力後に経由する各処理部は省略されている。また、詳細を後述する重み係数の設定、変更を行う符号化開口パターン設定部８２（符号化開口パターン設定手段）が示されている。

同図において、メインレンズ１２とマイクロレンズアレイ１４とイメージセンサ１６は、第１の実施の形態の指向性センサを構成しており、メインレンズ１２に対してピントが合う合焦距離の位置（合焦面ＦＰの位置）に存在する被写体Ｏｂｊからメインレンズ１２に入射した光線に対して、メインレンズ１２の瞳面ＰＰにおいて異なる領域を通過した光線をイメージセンサ１６の異なる位置の受光セルで受光するように構成されている。

即ち、瞳面ＰＰを複数の領域（「分割領域」という）に分割したと想定して、同一の分割領域内を通過する光線のみにより被写体Ｏｂｊの１コマ分の画像データを取得することによって分割領域数分の被写体Ｏｂｊの画像データを同時に取得することができるようになっている。

以下において説明する符号化開口処理は、これら複数の画像データにおいて、被写体像の同一位置となる画素データを符号化開口パターンに対応した重み係数で重み付き積和演算することで、物理的な符号化開口を瞳位置（瞳面）に配置した画像と同等の画像を得るようにしたものである。

同図に示すように、マイクロレンズアレイ１４は、各マイクロレンズ１４（ｉ）（ｉは、各マイクロレンズに付したｍから−ｎまでの番号であって後述のセンサブロック番号、ｍとｎは正の整数）の焦点距離に対応して各マイクロレンズ１４（ｉ）が瞳面ＰＰの像（瞳像）をイメージセンサ１６の受光面に結像する位置に配置されている。

マイクロレンズアレイ１４の後部には、各々のマイクロレンズ１４（ｉ）に入射した光線を受光する複数の受光セル１６（ｉ，ｊ）（ｉはマイクロレンズの番号、ｊは同一番号ｉ内での受光セルに付した番号であって正の整数）が配置される。これによって、各マイクロレンズ１４（ｉ）に入射した光線がその入射方向に応じて異なる受光セルに受光されるようになっている（詳細は後述）。

なお、任意の番号ｉのマイクロレンズ１４（ｉ）と、その番号ｉのマイクロレンズ１４（ｉ）に入射した光線を受光する複数の受光セル１６（ｉ，ｊ）とを１組みとしてセンサブロックというものとし、番号ｉのマイクロレンズ１４（ｉ）を含むセンサブロックをセンサブロックＢ（ｉ）と記載する。

このように構成された第１の実施の形態の指向性センサによれば、合焦面ＦＰ上の一点（物点）から拡散してメインレンズ１２に入射した光線は、メインレンズ１２によって集光されて、物点の合焦面ＦＰ上の位置に応じた同一（１つ）のセンサブロックＢ（ｉ）のマイクロレンズ１４（ｉ）に入射する。そして、同一のマイクロレンズ１４（ｉ）に入射したそれらの光線は、各々の入射方向、即ち、瞳面ＰＰを通過した位置に応じた位置の受光セル１６（ｉ，ｊ）の受光面に入射する。したがって、同一物点に対する画素データが、その物点からの光線が通過した瞳面ＰＰの位置によって複数の画素データに分割されて取得されるようになっている。

また、合焦面ＦＰ上の異なる物点から拡散してメインレンズ１２に入射した光線は、異なるセンサブロックのマイクロレンズに入射し、各々のマイクロレンズにおいて、上述のように瞳面ＰＰを通過した位置に応じた位置の受光セル１６（ｉ，ｊ）の受光面に入射する。

したがって、イメージセンサ１６の受光セル全体（センサブロック全体）により、合焦面ＦＰの被写体Ｏｂｊの各物点に対する画素データからなる画像データが得られると共に、各受光セルに入射した光線が瞳面ＰＰを通過する位置によって各画素データを分けた場合に複数コマ分の被写体Ｏｂｊの画像データが得られる。

図５は、図４の一部を拡大して示した図であり、例えば光軸上のセンサブロックＢ（０）に着目して符号化開口処理部８０の処理について説明する。また、マイクロレンズアレイ１４の各マイクロレンズ１４（ｉ）やイメージセンサ１６の各受光セル１６（ｉ，ｊ）は２次元的に配列されているが、主として１次元的に配列されているものとして説明する。２次元的に配列されていることを考慮する場合には適宜説明する。

同図において、光軸上のセンサブロックＢ（０）に着目すると、マイクロレンズ１４（０）によって瞳面ＰＰの像（瞳像）が結像される領域には、５つの受光セル１６（０，１）〜１６（０，５）が配置されている。これによって、瞳面ＰＰを通過してマイクロレンズ１４（０）に入射した光線は５つの受光セル１６（０，１）〜１６（０，５）のうちのいずれかの受光面に入射し、受光セル１６（０，１）〜１６（０，５）の各々から５つの画素データＳ（０，１）〜Ｓ（０，５）が得られるようになっている。

ここで、瞳面ＰＰの領域は、５つの受光セル１６（０，１）〜１６（０，５）の各々に入射する光線が通過する領域によって複数の分割領域Ｃ（ｊ）（ｊは、受光セルの番号に対応させた１〜５の番号）に分割される。即ち、同図の光線Ｌ（０，１）に代表されるようにマイクロレンズ１４（０）に入射して受光セル１６（０，１）の受光面に入射する光線が瞳面ＰＰを通過する領域を分割領域Ｃ（１）、光線Ｌ（０，２）に代表されるようにマイクロレンズ１４（０）に入射して受光セル１６（０，２）の受光面に入射する光線が瞳面ＰＰを通過する領域を分割領域Ｃ（２）、光線Ｌ（０，３）に代表されるようにマイクロレンズ１４（０）に入射して受光セル１６（０，３）の受光面に入射する光線が瞳面ＰＰを通過する領域を分割領域Ｃ（３）、光線Ｌ（０，４）に代表されるようにマイクロレンズ１４（０）に入射して受光セル１６（０，４）の受光面に入射する光線が瞳面ＰＰを通過する領域を分割領域Ｃ（４）、光線Ｌ（０，５）に代表されるようにマイクロレンズ１４（０）に入射して受光セル１６（０，５）の受光面に入射する光線が瞳面ＰＰを通過する領域を分割領域Ｃ（５）として５つの分割領域Ｃ（１）〜Ｃ（５）に分割される。

このように瞳面ＰＰを分割する場合の分割領域の分割数は、各々のマイクロレンズ１４（ｉ）により瞳面ＰＰの像が結像されるイメージセンサ１６における各々の領域に受光セルをいくつ配置するかによって異なり、その数を多くするほど瞳面ＰＰを分割する分割領域の数を増やして細分化することができる。また、その分割の形態も受光セルの配列等によって異なる。

また、各受光セル１６（０，１）〜１６（０，５）は、瞳面ＰＰの像（瞳像）を撮像するものと解釈でき、受光セル１６（０，１）〜１６（０，５）の各々によって分割領域Ｃ（１）〜Ｃ（５）の各々を撮像し、画素データとして取得している。

センサブロックＢ（０）の各受光セル１６（０，１）〜１６（０，５）によって得られた画素データＳ（０，１）〜Ｓ（０，５）は、符号化開口処理部８０に取り込まれる。そして、各センサブロックＢ（ｉ）に対応して設けられた重み付き積和演算手段Ｕ（ｉ）（ｉは対応するセンサブロックの番号）のうちの重み付き積和演算手段Ｕ（０）にそれらの画素データＳ（０，１）〜Ｓ（０，５）が読み込まれて、符号化開口パターンに対応した重み係数αｊ（αｊは０以上で１以下の実数、ｊは受光セルの番号に対応させた１〜５の番号）の重み付き積和演算が行われ、次式（１）により重み付き積和値Ｓ０が算出される。

Ｓ０＝α１・Ｓ（０，１）＋α２・Ｓ（０，２）＋α３・Ｓ（０，３）＋α４・Ｓ（０，４）＋α５・Ｓ（０，５）＝Σαｊ・Ｓ（０，ｊ）（ｊ＝１〜５） ・・・（１）
これによれば、重み付き積和値Ｓ０として算出された画素データＳ０は、瞳面ＰＰの各分割領域Ｃ（１）〜Ｃ（５）の各々に対して重み係数α１〜α５の各々の値に対応した光透過率の光学フィルタ（２次元フィルタ）を配置し、通常のイメージセンサのようにマイクロレンズ１４（０）に入射した光線（合焦面ＦＰの物点からの光線）を１つの受光セルで受光した場合に得られる画素データに相当している。

センサブロックＢ（０）以外の任意のセンサブロックＢ（ｉ）（ｉは任意の番号）に関しても同様に、マイクロレンズ１４（ｉ）に入射した光線を受光する受光セル１６（ｉ，ｊ）（ｊは、受光セルに付した１〜５の番号）には、瞳面ＰＰの分割領域Ｃ（ｊ）を通過した光線が入射し、各受光セル１６（ｉ，１）〜１６（ｉ，５）によって瞳面ＰＰの各分割領域Ｃ（１）〜Ｃ（５）の像（瞳像）が撮像される。

これにより得られた画素データＳ（ｉ，１）〜Ｓ（ｉ，５）は符号化開口処理部８０に取り込まれ、センサブロックＢ（ｉ）に対応する重み付き積和演算手段Ｕ（ｉ）に読み込まれる。そして、それらの画素データＳ（ｉ，１）〜Ｓ（ｉ，５）に対して符号化開口パターンに対応した重み係数αｊの重み付き積和演算が行われ、上式（１）と同様に重み付き積和値Ｓｉ（ｉは、センサブロック番号ｉに対応した番号）が次式（２）により算出される。

Ｓｉ＝α１・Ｓ（ｉ，１）＋α２・Ｓ（ｉ，２）＋α３・Ｓ（ｉ，３）＋α４・Ｓ（ｉ，４）＋α５・Ｓ（ｉ，５）＝Σαｊ・Ｓ（ｉ，ｊ）（ｊ＝１〜５） ・・・（２）
これによれば、センサブロックＢ（ｉ）の総数、即ち、マイクロレンズ１４（ｉ）のレンズ数に相当する画素数からなる１コマ分の画像データが生成される。そして、任意の位置のセンサブロックＢ（ｉ）により得られた画素データＳ（ｉ，１）〜Ｓ（ｉ，５）に対して上式（２）により重み付き積和値Ｓｉとして算出された画素データＳｉは、瞳面ＰＰの各分割領域Ｃ（１）〜Ｃ（５）の各々に対して重み係数α１〜α５の各々の値に対応した光透過率の光学フィルタを配置し、通常のイメージセンサのようにマイクロレンズ１４（ｉ）に入射した光線（合焦面ＦＰの物点からの光線）を１つの受光セルで受光した場合に得られる画素データに相当しているということができる。即ち、メインレンズ１２の物体像に重み係数α１〜α５を有する２次元フィルタからなる符号化開口パターンを畳み込むことに相当する。

したがって、重み係数α１〜α５の各々の値を変えることによって様々なパターンの符号化開口を瞳面ＰＰに仮想的に配置することができ、様々なパターンの符号化開口を瞳面ＰＰに物理的に配置したときに通常のイメージセンサで取得される被写体の画像データを生成することができる。

また、撮影ごとに符号化開口パターンを変えるのではなく１回の撮影によって取得した画像データ（画素データ）に対して、異なるパターンの符号化開口を瞳面ＰＰに配置したときの画像データを生成することができる。オリジナルの画像データを保存しておけば、所望のパターンの符号化開口を配置したときの画像データを所望のときに生成することができる。

なお、重み付き積和演算手段Ｕ（ｉ）をセンサブロックＢ（ｉ）ごとに設けるものとして説明したが、各センサブロックＢ（ｉ）により取得された画素データＳ（ｉ，１）〜Ｓ（ｉ，５）を順次読み込んで重み付き積和演算を行うことで重み付き積和演算手段の数を１つ又はセンサブロックＢ（ｉ）の数よりも少なくすることができる。

ここで、各センサブロックＢ（ｉ）における複数の受光セル１６（ｉ，ｊ）が上記説明のように１次元配列ではなく実際には２次元配列であることを考慮した符号化開口パターンについて説明する。

各センサブロックＢ（ｉ）における複数の受光セル１６（ｉ，ｊ）が２次元配列されている場合、各マイクロレンズ１４（ｉ）に入射した光線がその入射角度に応じて２次元配列された複数の受光セル１６（ｉ，ｊ）によって受光され、瞳面ＰＰの像（瞳像）がそれらの受光セル１６（ｉ，ｊ）によって撮像される。

このとき、瞳面ＰＰの分割領域Ｃ（ｊ）（ｊは、受光セルの番号に対応させた番号）も受光セル１６（ｉ，ｊ）の配列に対応して２次元的な配列となる。分割領域Ｃ（ｊ）を通過してマイクロレンズ１４（ｉ）に入射した光線は、受光セル１６（ｉ，ｊ）によって受光され、瞳面ＰＰの分割領域Ｃ（ｊ）の像が受光セル１６（ｉ，ｊ）によって撮像される。

図６は、各センサブロックＢ（ｉ）における受光セル１６（ｉ，ｊ）の数を、例えば縦横８×８個の総数６４個（ｊ＝１〜６４）とした場合における各受光セル１６（ｉ，ｊ）に対応した分割領域Ｃ（ｊ）（ｊ＝１〜６４）を示したものである。

このように２次元的に配列された分割領域Ｃ（ｊ）に対して１次元的に配列された場合と同様に、光透過率をαｊ（ｊ＝１〜６４）とする光学フィルタ（２次元フィルタ）を配置したと仮定した場合に、通常のイメージセンサにより得られる画素データＳｉは、上式（２）と同様の重み係数αｊを用いた重み付き積和演算によって、次式（３）の重み付き積和値Ｓｉとして求めることができる。

Ｓｉ＝Σαｊ・Ｓ（ｉ，ｊ）（ｊ＝１〜６４） ・・・（３）
２次元的に配列された受光セル１６（ｉ，ｊ）の数が６４と異なる場合であっても、また、その配列がどのような形態であっても上式（２）、（３）のようにして重み付き積和値Ｓｉを算出することで、各受光セル１６（ｉ，ｊ）に対応する瞳面ＰＰの各分割領域Ｃ（ｊ）に重み係数αｊの光透過率の２次元フィルタからなる符号化開口を配置したときの画素データを算出することができる。１つのセンサブロックＢ（ｉ）に対して受光セル１６（ｉ，ｊ）を縦横１６×１６個の総数２５６個（ｊ＝１〜２５６）とすると好適である。

図７Ａ〜図７Ｃは、図６のように分割された分割領域Ｃ（ｊ）の各々に遮光（光透過率０）又は開口（光透過率１）の符号化開口を配置した場合の符号化開口パターンを例示した図である。これらの図において、黒色の分割領域が遮光、白色の分割領域が開口を示す。例えば図７Ａにおいて例えば黒色の分割領域Ｃ（Ｘ）は遮光された領域であり、このときの重み係数αＸは０となる。一方、図７Ａにおいて白色の分割領域Ｃ（Ｙ）は開口された領域であり、このときの重み係数αＹは１となる。

次に、上記の重み係数αｊを設定して符号化開口パンターンを設定するための構成部について説明する。図４に示したように、重み付き積和演算手段Ｕ（ｉ）（ｉは対応するセンサブロックの番号）を備えた符号化開口処理部８０には、符号化開口パターン設定部８２（符号化開口パターン設定手段）が接続されている。

符号化開口パターン設定部８２は、複数の種類の符号化開口パターンを記憶した記憶手段８４と、記憶手段８４から読み出す符号化開口パターンを選択する選択手段８６とを有している。

記憶手段８４は、例えば、図１におけるＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）５６等の任意のメモリに相当する。記憶手段８４に記憶しておく符号化開口パターンは、図６に示したような瞳面ＰＰの分割領域Ｃ（ｊ）に対応して設定された図７Ａ〜図７Ｃに示したような符号化開口パターンに関する情報であり、例えば、符号化開口パターンの種類ごとに、各分割領域Ｃ（ｊ）の光透過率を示す上記の重み係数αｊのデータを保持している。

選択手段８６は、例えば、図１におけるＣＰＵ４０と操作部３８の任意の操作スイッチからなる。記憶手段８４に記憶されている複数種類の符号化開口パターンの中からユーザが所望の符号化開口パターンを操作部３８により選択すると、ＣＰＵ４０が選択された符号化開口パターンのデータを記憶手段８４から読み出し、符号化開口パターンに対応した重み係数αｊを符号化開口処理部８０に与える。

符号化開口処理部８０は、上記のようにして符号化開口パターン設定部８２から与えられた重み係数αｊを各重み付き積和演算手段Ｕ（ｉ）における重み付き積和演算で使用する重み係数αｊとして設定し、上記の重み付き積和演算を実施する。

なお、符号化開口パターン設定部８２の選択手段８６は、ユーザが所望の符号化開口パターンを選択する手段ではなく、事前に決められた複数の種類の符号化開口パターンを順次選択して符号化開口処理部８０に与えるようにしてもよい。これによって、１コマの撮影画像データに対して複数種類の符号化開口パターンによる重み付き積和演算を順次行うようにし、処理画像の液晶モニタ３０への並列表示や切替表示、メモリカード５４への保存などを自動的に行うようにしてもよい。

また、符号化開口処理部８０において各センサブロックＢ（ｉ）に対して同一値の重み係数αｊ（同一の符号化開口パターン）を使用して重み付き積和演算を行うものとしたが、センサブロックＢ（ｉ）ごとに（各マイクロレンズ１４（ｉ）における瞳像ごと、即ち、重み付き積和演算手段Ｕ（ｉ）ごとに）、異なる重み係数αｊ（符号化開口パターン）を設定できるようにしてもよい。

これによれば、各センサブロックＢ（ｉ）から得られる画素データ（画素群）に対して複数種の異なる符号化開口パターンを適用した画素データを生成することができる。

即ち、物点の位置の応じて異なる符号化開口パターンを適用した画像データを生成することができ、瞳面ＰＰに物理的に符号化開口を配置する場合には不可能な効果を得ることができる。この場合、符号化開口パターン設定部８２は、センサブロックＢ（ｉ）ごとの符号化開口パターン（重み付き係数αｊ）を符号化開口処理部８０に与えるようにする。

また、上記説明では、重み付き係数αｊは０以上で１以下の値としたがこれに限らない。マイナス値であってもよいし、１より大きい値であってもよい。

更に、重み付き係数αｊの値は、ユーザが任意に指定して設定できるようにしてもよい。この場合には、符号化開口パターン設定部８２は、指定手段を有し、その指定手段は、図１における操作部３８の所定の操作スイッチを用いた手段とすることができる。

次に、主として、上記符号化開口処理部８０により実施される符号化開口処理の手順について図８のフローチャートを用いて説明する。

ステップＳ１０では、符号化開口処理部８０は、イメージセンサ１６で撮像された画像データ（上記画素データＳ（ｉ，ｊ））を取得する（画像取得処理）。そして、ステップＳ１２に移行する。

ステップＳ１２では、符号化開口パターン設定部８２により、重み付き積和演算手段Ｕ（ｉ）で使用する重み係数αｊ（符号化開口パターン）を設定する（符号化開口パターン設定処理）。そして、ステップＳ１４に移行する。

ステップＳ１４では、符号化開口処理部８０の重み付き積和演算手段Ｕ（ｉ）において、各センサブロックＢ（ｉ）ごと（各マイクロレンズごと）の瞳像の画素データＳ（ｉ，ｊ）と重み係数αｊとにより、重み付き積和演算を行い、その重み付き積和値Ｓｉを画素データＳｉとして算出する（重み付き積和演算処理）。そして、ステップＳ１６に移行する。

ステップＳ１６では、ステップＳ１４での算出した画素データＳｉによりマイクロレンズ１４（ｉ）のレンズ数に相当する画素数（解像度）の画像を生成する（画像生成処理）。そして、本フローチャートの処理を終了する。このようして生成された画像データは、図１におけるメモリカード５４への保存や液晶モニタ３０への表示等のために符号化開口処理部８０から他の処理部に転送される。

なお、符号化開口処理部８０は、符号化開口パターン設定部８２によって重み係数αｊが変更されるごとに、同一の画像に対して変更後の重み係数αｊを用いた重み付き積和演算を行い、符号化開口処理を施した画像を生成するようにしてもよい。

また、上述のような符号化開口に関する処理は、静止画の撮影時と動画の撮影時のいずれにかかわらず実施することができる。

図９は、図４における第１の実施の形態の指向性センサとは異なる第２の実施の形態の指向性センサを用いた場合の符号化開口関連部の構成を示した構成図である。図９では、図４、図５と同一又は類似の構成要素には同一符号を付し、説明を省略する。

同図において、メインレンズ１２とマイクロレンズアレイ１４とイメージセンサ１６が指向性センサを構成しており、メインレンズ１２、マイクロレンズ１４、及び、イメージセンサ１６の各々は、図４等に示した第１の実施の形態の指向性センサと同じ構成である。

一方、合焦面ＦＰ上の一点（物点）から拡散してメインレンズ１２に入射した光線がマイクロレンズアレイ１４の異なるマイクロレンズ１４（ｉ）に入射し、それらのマイクロレンズ１４（ｉ）の後方に配置されたイメージセンサ１６の受光セル１６（ｉ，ｊ）によって離散した位置で受光される点で図３の指向性センサと相違している。なお、第１の実施の形態の指向性センサと同様に任意の番号ｉのマイクロレンズ１４（ｉ）と、その番号ｉのマイクロレンズ１４（ｉ）に入射した光線を受光する複数の受光セル１６（ｉ，ｊ）とを１組みとしてセンサブロックＢ（ｉ）というものとする。

同図に示すように、マイクロレンズアレイ１４は、各マイクロレンズ１４（ｉ）の焦点距離に対応して各マイクロレンズ１４（ｉ）がメインレンズ１２の結像面の像をイメージセンサ１６の各受光セル１６（ｉ，ｊ）の受光面に結像する位置に配置されている。

即ち、マイクロレンズ１４（ｉ）の焦点距離をｆ′とし、マイクロレンズ１４（ｉ）と受光セル１６（ｉ，ｊ）との距離をｂ′とすると、マイクロレンズ１４（ｉ）は、次式（４）、
１／ｆ′＝１／ａ′＋１／ｂ′ ・・・（４）
の関係から求まる前側の距離ａ′の面（結像面ＩＰ）の像を受光セル１６（ｉ，ｊ）に結像する。その結像面ＩＰと、メインレンズ１２との距離をｂとし、メインレンズ１２の焦点距離をｆとすると、少なくとも距離ｂが焦点距離ｆよりも長くなる位置にメインレンズ１２が配置されている。このとき、メインレンズ１２は、次式（５）、
１／ｆ＝１／ａ＋１／ｂ ・・・（５）
の関係から求まる前側の距離ａの面を合焦面ＦＰとして、合焦面ＦＰの被写体Ｏｂｊを上記結像面ＩＰに結像する。

マイクロレンズアレイ１４の各マイクロレンズ１４（ｉ）の後部には、各々のマイクロレンズ１４（ｉ）に入射した光線を受光する複数の受光セル１６（ｉ，ｊ）が第１の実施の形態の指向性センサと同様に配置される。これによって、各マイクロレンズ１４（ｉ）に入射した光線がその入射方向に応じて異なる受光セルに受光されるようになっている（詳細は後述）。

このように構成された第２の実施の形態の指向性センサによれば、合焦面ＦＰ上の一点（物点）から拡散してメインレンズ１２に入射した光線は、メインレンズ１２によって集光されて結像面ＩＰ上の像点となる位置を通過し、光線の進行方向に応じた複数の位置のセンサブロックＢ（ｉ）のマイクロレンズ１４（ｉ）に入射する。各マイクロレンズ１４（ｉ）に入射した各々の光線は、それらの入射方向、瞳面ＰＰを通過した位置に応じたセンサブロックＢ（ｉ）内の位置の受光セル１６（ｉ，ｊ）に入射する。したがって、同一物点に対する画素データが、その物点からの光線が通過した瞳面ＰＰの位置によって複数の画素データに分割されて取得されるようになっている。

また、本形態の場合、合焦面ＦＰ上の異なる物点から拡散してメインレンズ１２に入射した光線が、同一のマイクロレンズ１４（ｉ）に入射するが、それらは結像面ＩＰを通過する位置が異なるため、異なる方向からマイクロレンズ１４（ｉ）に入射し、異なる位置の受光セル１６（ｉ，ｊ）の受光面に入射する。

したがって、イメージセンサ１６の受光セル全体（センサブロック全体）により、合焦面ＦＰの被写体Ｏｂｊの各物点に対する画素データからなる画像データが得られると共に、各受光セルに入射した光線が瞳面ＰＰを通過する位置によって各画素データを分けた場合に複数コマ分の被写体Ｏｂｊの画像データが得られる。

図１０は、図９の一部を拡大して示した図であり、例えば光軸上のセンサブロックＢ（０）を中心としたセンサブロック（−１）、（−２）、０、１、２、に着目して説明する。

同図において、合焦点ＦＰの被写体Ｏｂｊの光軸上の点から拡散されてメインレンズ１２に入射した各光線は、光線Ｌ（０，１）〜Ｌ（０，５）に代表されるように瞳面ＰＰの異なる領域を通過した後、結像面ＩＰと光軸とが交わる中心点Ｏｃで交差し、像を結ぶ。同様にして、合焦面ＦＰの被写体Ｏｂｊの他の点から拡散されてメインレンズ１２に入射した各光線もメインレンズ１２の結像面ＩＰにおいて像を結び、結像面ＩＰには被写体Ｏｂｊが反転像として結像される。

結像面ＩＰの中心点Ｏｃで交差した各光線は、光線Ｌ（０，１）〜Ｌ（０，５）のように、各々、瞳面ＰＰを通過した位置に応じて、異なるセンサブロックＢ（２）、Ｂ（１）、Ｂ（０）、Ｂ（−１）、Ｂ（−２）の各々のマイクロレンズ１４（２）〜１４（−２）に入射し、センサブロックＢ（２）〜Ｂ（−２）の各々に配置された受光セル１６（２，１）、１６（１，２）、１６（０，３）、１６（−１，４）、１６（−２，５）の受光面に入射する。

したがって、１つの物点に対する画素データが、それらの受光セルにより５つの画素データＳ（２，１）、Ｓ（１，２）、Ｓ（０，３）、Ｓ（−１，４）、Ｓ（−２，５）として得られるようになっている。

即ち、各センサブロックＢ（ｉ）のマイクロレンズ１４（ｉ）は、メインレンズ１２により結像された結像面ＩＰの像を同一センサブロックＢ（ｉ）内の各受光セル１６（ｉ，ｊ）の受光面に再結像しており、第１の実施の形態とは異なり、各センサブロックＢ（ｉ）の各々において、被写体像（部分像）を形成している。

したがって、同一物点に対する像が複数のセンサブロックＢ（ｉ）において結像され、それらは瞳面ＰＰの異なる領域を通過して光線によって形成される。

ここで、各センサブロックＢ（ｉ）の位置に応じて、各センサブロックＢ（ｉ）において再結像される被写体像の範囲が相違する。即ち、イメージセンサ１６全体により撮像する被写体像に対して各センサブロックＢ（ｉ）のマイクロレンズ１４（ｉ）は、部分的な範囲を部分像として結像すると共に、センサブロックＢ（ｉ）の位置によって異なる部分像を結像する。

したがって、同一物点に対する像は、所定範囲のセンサブロックＢ（ｉ）においてのみ形成され、特定の数及び特定の位置の受光セルに受光される。同図の例では、瞳面ＰＰを通過して結像面ＩＰの中心点Ｏｃを通過する光線の範囲が５つのマイクロレンズ１４（２）〜１４（−２）に限られているため、同一物点の像は、５つの受光セルによって受光され、５つの画素データとして得られるものとしている。また、これに対応して瞳面ＰＰの分割領域の第１の実施の形態と同様に５つの分割領域Ｃ（１）〜Ｃ（５）に分割されている。

符号化開口処理部８０には、第１の実施の形態とは異なり、各センサブロックＢ（ｉ）により得られた画素データのうちから、同一物点に対する画素データを収集し、第１の実施の形態と同様に重み付き積和演算手段Ｕ（ｉ）に振り分ける画素収集処理部９０（画素収集手段）を有している。即ち、画素収集処理部９０は、各センサブロックＢ（ｉ）により得られる部分像から被写体像の同じ位置に対応する画素データを収集し、同じ位置に対応する画素データを重み付き積和演算手段Ｕ（ｉ）に受け渡す。

このとき、各画素データに対して、瞳面ＰＰを通過した分割領域Ｃ（ｊ）によって、第１の実施の形態と同様にＳ（ｉ，ｊ）等の識別符号を付けるものとすると、上式（１）〜（３）と同様に、Ｓｉ＝Σαｊ・Ｓ（ｉ，ｊ）という重み係数αｊの重み付き積和演算によって符号化開口処理を施した画素データを生成することができる。

例えば、図１０の例において、画素収集処理部９０は、結像面ＩＰの中心点Ｏｃを通過した光線Ｌ（０，１）〜Ｌ（０，５）が入射する受光セル１６（２，１）、１６（１，２）、１６（０，３）、１６（−１，４）、１６（−２，５）により得られた画素データＳ（２，１）、Ｓ（１，２）、Ｓ（０，３）、Ｓ（−１，４）、Ｓ（−２，５）を被写体像の同じ位置に対応する画素データとして収集し、それらの画素データＳ（２，１）、Ｓ（１，２）、Ｓ（０，３）、Ｓ（−１，４）、Ｓ（−２，５）をＳ（０，１）、Ｓ（０，２）、Ｓ（０，３）、Ｓ（０，４）、Ｓ（０，５）として重み付き積和演算手段Ｕ（０）に受け渡す。これによって、上式（１）〜（３）と同様に、Ｓ０＝Σαｊ・Ｓ（０，ｊ）という重み係数αｊの重み付き積和演算によって符号化開口処理を施した画素データＳ０を生成することができる。

このようにして生成した画素データからなる１コマ分の画像データを生成することができる。この第２の実施の形態においても、マイクロレンズ１４（ｉ）のレンズ数に相当する画素数（解像度）の画像データが得られる。

なお、本第２の実施の形態の指向性センサを使用する場合に、イメージセンサ１６の各受光セル１６（ｉ，ｊ）から得られた画素データに対して、同一物点（被写体像の同じ位置）の画素データを上記の画素収集処理部９０で収集するという処理（工程）が、第１の実施の形態における図８のステップＳ１０の後に加わる以外に、第１の実施の形態と大きく相違するものはない。したがって、第１の実施の形態の指向性センサを使用した場合と同様のことが第２の実施の形態の指向性センサを使用した場合にも適用できる。

図１１は、撮像装置１０の他の実施形態であるスマートフォン５００の外観を示すものである。図１１に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されない。例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１２は、図１１に示すスマートフォン５００の構成を示すブロック図である。図１２に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

表示パネル５２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。

操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図１１に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１１に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ（Personal Digital Assistant）、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ（Local Area Network））から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラである。このカメラ部５４１に前述した撮像装置１０を適用することができる。物理的に光学系に配置する符号化開口をスマートフォン５００の光学系に挿入することは難しいため、前述した撮像装置１０はスマートフォン５００のような携帯端末に組み込むカメラ部として好適である。

また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを、例えばＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１１に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

本実施の形態では、イメージセンサにＣＭＯＳ型撮像素子を用いた例で説明したが、ＣＭＯＳ型に限定されるものではなく、ＣＣＤ等の他のイメージセンサも適用可能である。

また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮像装置、１２…メインレンズ,１４…マイクロレンズアレイ、１６…イメージセンサ、４０…ＣＰＵ、８０…符号化開口処理部、８２…符号化開口パターン設定部、８４…記憶手段、８６…選択手段、Ｂ（ｉ）…センサブロック、Ｃ（ｊ）…分割領域、ＦＰ…合焦面、ＰＰ…瞳面、Ｕ（ｉ）…重み付き積和演算手段

Claims (10)

1. メインレンズと、２次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、前記イメージセンサの入射面側に配設されたレンズアレイであって、該レンズアレイの各レンズにより前記メインレンズの瞳像を前記イメージセンサの受光面に前記レンズアレイのレンズの数だけ結像させるレンズアレイとを有する撮像手段から画像を取得する画像取得手段と、
   メインレンズの複数の瞳像に対するそれぞれの符号化開口パターンを設定する符号化開口パターン設定手段と、
   前記イメージセンサから取得される画像中の前記レンズアレイのレンズ毎の瞳像と前記符号化開口パターン設定手段により設定された符号化開口パターンとの重み付き積和演算を行う演算手段と、
   前記演算手段による演算結果に基づく画像を生成する画像生成手段と、
   を備えた画像処理装置。
2. メインレンズと、２次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、前記イメージセンサの入射面側に配設され、前記メインレンズにより結像された像を前記イメージセンサの受光面に再結像させるレンズアレイとを有する撮像手段から画像を取得する画像取得手段と、
   メインレンズの瞳像に対する符号化開口パターンであって、前記イメージセンサから取得される画像中の、前記レンズアレイのレンズ毎の部分像から被写体像の同じ位置に対応する画素を収集する画素収集手段と、
   メインレンズの瞳像に対する符号化開口パターンを設定する符号化開口パターン設定手段と、
   前記画素収集手段により収集した画素群と前記符号化開口パターン設定手段により設定された符号化開口パターンとの重み付け積和演算を行う演算手段と、
   前記演算手段による演算結果に基づく画像を生成する画像生成手段と、
   を備えた画像処理装置。
3. 前記符号化開口パターン設定手段は、複数の種類の符号化開口パターンを記憶する記憶手段と、前記記憶手段から１つの符号化開口パターンを選択する選択手段とを有し、前記選択手段により選択した符号化開口パターンを設定する請求項１又は２に記載の画像処理装置。
4. 前記符号化開口パターン設定手段は、符号化開口パターンに対応する重み係数を有する２次元フィルタの各位置における重み係数を指定する指定手段を有し、前記指定手段による指定により任意の符号化開口パターンを設定する請求項１又は２に記載の画像処理装置。
5. 前記符号化開口パターン設定手段は、前記レンズアレイのレンズ毎の瞳像に異なる符号化開口パターンを設定する請求項１に記載の画像処理装置。
6. 前記符号化開口パターン設定手段は、前記画素収集手段により収集した画素群毎に異なる符号化開口パターンを設定する請求項２に記載の画像処理装置。
7. 請求項１から６のいずれか１項に記載の画像処理装置を備えた撮像装置。
8. メインレンズと、２次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、前記イメージセンサの入射面側に配設されたレンズアレイであって、該レンズアレイの各レンズにより前記メインレンズの瞳像を前記イメージセンサの受光面に前記レンズアレイのレンズの数だけ結像させるレンズアレイとを有する撮像手段から画像を取得する画像取得工程と、
   メインレンズの瞳像に対するそれぞれの符号化開口パターンを設定する符号化開口パターン設定工程と、
   前記イメージセンサから取得される画像中の前記レンズアレイのレンズ毎の瞳像と前記符号化開口パターン設定工程により設定された符号化開口パターンとの重み付き積和演算を行う演算工程と、
   前記演算工程による演算結果に基づく画像を生成する画像生成工程と、
   を含む画像処理方法。
9. メインレンズと、２次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、前記イメージセンサの入射面側に配設され、前記メインレンズにより結像された像を前記イメージセンサの受光面に再結像させるレンズアレイとを有する撮像手段から画像を取得する画像取得工程と、
   メインレンズの瞳像に対する符号化開口パターンであって、前記イメージセンサから取得される画像中の、前記レンズアレイのレンズ毎の部分像から被写体像の同じ位置に対応する画素を収集する画素収集工程と、
   メインレンズの瞳像に対する符号化開口パターンを設定する符号化開口パターン設定工程と、
   前記画素収集工程により収集した画素群と前記符号化開口パターン設定工程により設定された符号化開口パターンとの重み付き積和演算を行う演算工程と、
   前記演算工程による演算結果に基づく画像を生成する画像生成工程と、
   を含む画像処理方法。
10. 前記符号化開口パターン設定工程により符号化開口パターンの設定を変更する工程を含み、
    前記演算工程は、前記画像取得工程により取得した１つの画像に対して前記符号化開口パターン設定工程により符号化開口パターンが変更される毎に変更後の符号化開口パターンを使用した重み付き積和演算を実行し、
    前記画像生成工程は、前記符号化開口パターン設定工程により符号化開口パターンが変更される毎に前記演算工程による演算結果に基づいて画像を生成する請求項８又は９に記載の画像処理方法。

Images