JPWO2012150680A1 - 立体画像処理装置および立体画像処理方法 - Google Patents

Abstract

特殊効果を施した立体画像が違和感なく自然に見ることができ、また処理時間や必要なメモリを増大させることがなく生成することができる立体画像処理装置および立体画像処理方法を提供する。ＲＡＷデータ（＃２０１Ｌ、＃２０１Ｒ）を特殊効果に対応した階調に変換し（＃２０３Ｌ、＃２０３Ｒ）、階調変換された画像データを、立体視する画像データとして切り出すか、または幾何学変換の何れかの処理を少なくとも行って立体画像データを生成し（＃２１１、＃２２１）、立体画像データに対して、光学的に形成される画像類似した特殊効果または写真フィルム及び現像焼付工程で形成された画像に類似した特殊効果を施す特殊画像処理し（＃２２３）、立体特殊画像を生成する（＃２２５）。

Description

本発明は、立体画像および特殊画像処理を同時に適用した画像生成する立体画像処理装置および立体画像処理方法に関する。

デジタルカメラ等の撮影装置においては、複数の画像を用いて立体的に見える立体画像（３次元画像）を撮影する機能を有するものがある。例えば、特許文献１には、視差算出領域毎に映像の遠近に関する画像特徴量を算出し、これに基づいて画面に含まれている物体毎にグループ分けを行い、グループ分け結果と画像特徴量に基づいて各グループの映像の遠近に関する情報を生成し、視差情報に変換することによって２次元画像を３次元画像に変換する装置および方法が開示されている。また、２眼カメラや専用レンズを用いることで、３次元画像を撮影する撮影機器も知られている。

一方、撮影によって取得したＲＡＷデータを用いて特殊効果を施した画像データを生成することも種々提案されている。例えば、特許文献２には、フィルムのような粒状感（ノイズ）がありハイコントラストの画像を生成する特殊効果を施すことを可能とした画像処理装置が開示されている。また、特許文献３に示されているような周辺を減光した画像を生成する特殊効果や、彩度やコントラストが高くかつ画像の一部分をぼかした画像を生成する特殊効果、軟調なコントラストでソフトフォーカス撮影したような画像を生成する特殊効果、光源に対してクロス等のパターンを描画する特殊効果など、様々な特殊効果を施した画像を生成することができるアートフィルタ機能を有する画像処理装置が開示されている。

特許第２９５１２９１号公報 特開２０１０−６２８３６号公報 特開２０１０−７４２４４号公報

上述したように、３次元画像を取得するための撮影装置は種々提案されており、また特殊効果を施した画像データを生成する画像処理装置も種々提案されている。３次元画像と特殊効果を同時に適用した画像を生成する場合には、特殊効果を施した複数の画像を用いて３次元画像を生成するか、または生成した３次元画像に特殊効果を施して画像を生成する方法が考えられる。

前者の場合、すなわち、特殊効果を施した複数の画像を用いて３次元画像を生成する場合には、特殊効果を施した複数の画像を用いて３次元画像を生成しようとすると、３次元画像を生成する過程で行われる画像の切り出しや回転・台形補正等を行う際に、適用した効果が著しく変化する場合がある。例えば、粒状感のある特殊効果や、周辺を減光する特殊効果が施された画像では、回転・台形補正によって粒状感が変化し、粒状感のつぶれ等が生じる場合がある。また、切り出し位置によっては、減光された部分がずれてしまう場合がある。

また、後者の場合、すなわち、生成した３次元画像に特殊効果を施して画像を生成する場合には、視覚的な効果に非常に影響するコントラストや彩度を変換する際のビット精度不足による階調トビや、それを抑えるために高ビットで３次元画像を生成しなければならない。このため、画像処理に時間がかかり、画像データの高ビット化のためにメモリが増大してしまう。

本発明は、このような事情を鑑みてなされたものであり、特殊効果を施した立体画像が違和感なく自然に見ることができる立体画像処理装置および立体画像処理方法を提供することを目的とする。また、処理時間や必要なメモリを増大させることがなく立体画像を生成することができる立体画像処理装置および立体画像処理方法を提供することを目的とする。

本発明の第１の発明に係わる立体画像処理装置は、撮影して得られたＲＡＷデータに画像処理を施すことにより、視覚的に特殊効果を施し、且つ立体視が可能な画像データを生成する画像処理装置であって、上記ＲＡＷデータを上記特殊効果に対応して階調に変換する階調変換部と、上記階調変換部によって階調変換された画像データを、立体視する画像データとして切り出すか、または幾何学変換のいずれかの処理を少なくとも行い、立体画像データを生成する立体画像データ処理部と、上記立体画像データ処理部で生成された上記立体画像データに対して、光学的に形成される画像類似した特殊効果または写真フィルム及び現像焼き付け工程で形成された画像に類似した特殊効果を施す特殊画像処理を行い、立体特殊画像を生成する特殊効果画像処理部と、を具備する。

第２の発明に係わる立体画像処理装置は、上記第１の発明において、上記特殊効果画像処理部は、上記立体画像データを生成する複数の画像データのうち、基準とする画像データの所定位置に対応した画像データの位置を基に各画像データに対して上記特殊画像処理を行う。
第３の発明に係わる立体画像処理装置は、上記第１の発明において、上記特殊効果画像処理部は、画像データにおける座標位置により異なる画像処理を行う、または隣接する画素とは異なる処理が行われた画像データを合成する。

第４の発明に係わる立体画像処理装置は、上記第１の発明において、上記階調変換部における画像処理内容を決定する第１の画像処理パラメータと、上記階調変換部における画像処理内容を決定する、上記第１の画像処理パラメータとは異なる特殊画像処理のための第２の画像処理パラメータとを記憶する画像処理パラメータ記憶部を更に具備し、上記第１の画像処理パラメータを用いて上記階調処理部で画像処理された画像を用いて上記立体画像データ処理部で行う処理内容を決定し、上記第２の画像処理パラメータを用いて上記特殊効果による画像処理を行い、上記立体画像データ処理部で上記特殊効果による画像処理を行った画像に対して立体画像を生成する。

第５の発明に係わる立体画像処理装置は、上記第１の発明において、上記ＲＡＷデータは、２つ以上である。
第６の発明に係わる立体画像処理装置は、上記第１の発明において、上記階調変換部は、上記立体視特殊画像以外の画像データを共に生成する場合は、上記階調変換の他に上記ＲＡＷデータを上記立体視特殊画像効果以外の生成画像に対応した階調に変換する処理を行う。
第７の発明に係わる立体画像処理装置は、上記第１の発明において、上記特殊効果画像処理部によって処理された立体画像データを記憶する記憶部を更に有し、この記憶部は、上記立体画像データを生成する際に行った処理を特定するためのデータを記憶する。
第８の発明に係わる立体画像処理装置は、上記第１の発明において、さらに、複数の画像データを記憶するマルチレコーディング部を有し、通常の二次元画像、３Ｄ画像、および特殊効果を施した３Ｄ画像の内の少なくとも２以上の画像データを記憶する。

第９の発明に係わる立体画像処理方法は、撮影して得たＲＡＷデータに画像処理を施すことにより、視覚的な特殊効果を表し、且つ立体視が可能な画像データを生成する画像処理方法において、上記ＲＡＷデータを上記特殊効果に対応した階調に変換し、上記階調変換された画像データを、立体視する画像データとして切り出すか、または幾何学変換の何れかの処理を少なくとも行い、立体画像データを生成し、上記立体画像データに対して、光学的に形成される画像類似した特殊効果または写真フィルム及び現像焼付工程で形成された画像に類似した特殊効果を施す特殊画像処理し、立体特殊画像を生成する。
第１０の発明に係わる立体画像処理方法は、上記第９の発明において、上記ＲＡＷデータの上記特殊効果に対応した画像処理に先だって、エッジ強調処理を実行した後に、ノイズリダクション処理を行う。

第１１の発明に係わる立体画像処理プログラムを記録した記憶媒体は、撮影して得たＲＡＷデータに画像処理を施すことにより、視覚的な特殊効果を表し、且つ立体視が可能な画像データを生成することをコンピュータに実行させるための立体画像処理プログラムを記録した記憶媒体であって、上記ＲＡＷデータを上記特殊効果に対応した階調に変換し、上記階調変換された画像データを、立体視する画像データとして切り出すか、または幾何学変換の何れかの処理を少なくとも行い、立体画像データを生成し、上記立体画像データに対して、光学的に形成される画像類似した特殊効果または写真フィルム及び現像焼付工程で形成された画像に類似した特殊効果を施す特殊画像処理し、立体特殊画像を生成する。

本発明によれば、特殊効果を施した立体画像が違和感なく自然に見ることができる立体画像処理装置および立体画像処理方法を提供することができる。また、処理時間や必要なメモリを増大させることがなく立体画像を生成することができる立体画像処理装置および立体画像処理方法を提供することができる。

図１は、本発明の第１実施形態に係わるカメラの主として電気系の全体構成を示すブロック図である。 図２は、本発明の第１実施形態に係わるカメラのメインフローを示すフローチャートである。 図３は、本発明の第１実施形態に係わるカメラのメインフローを示すフローチャートである。 図４は、本発明の第１実施形態に係わるカメラの画像処理の動作を示すフローチャートである。 図５は、本発明の第１実施形態に係わるカメラの特殊画像処理の動作を示すフローチャートである。 図６は、本発明の第１実施形態に係わるカメラの画像処理・３Ｄ生成の動作を示すフローチャートである。 図７は、本発明の第１実施形態に係わるカメラにおいて、データと処理の関係を示す図である。 図８は、本発明の第１実施形態に係わるカメラにおいて、特殊効果毎の効果の概要、彩度パラメータ、ガンマ、処理内容の関係を示す図表である。 図９は、本発明の第１実施形態に係わるカメラにおいて、特殊効果に応じて適用するガンマの値を示すグラフである。 図１０は、本発明の第１実施形態に係わるカメラにおいて、特殊画像処理をかける位置を説明する図である。 図１１は、本発明の第２実施形態に係わるカメラの画像処理・３Ｄ生成の動作を示すフローチャートである。 図１２は、本発明の第２実施形態に係わるカメラにおいて、データと処理の関係を示す図である。 図１３は、本発明の第３実施形態に係わるカメラの主として電気系の全体構成を示すブロック図である。 図１４は、本発明の第３実施形態に係わるカメラのメインフローを示すフローチャートである。 図１５は、本発明の第３実施形態に係わるカメラのメインフローを示すフローチャートである。 図１６は、本発明の第３実施形態に係わるカメラの画像処理・３Ｄ生成の動作を示すフローチャートである。 図１７は、本発明の第１ないし第３実施形態に係わるカメラが適用可能なマルチレコーディングを説明する図である。 図１８は、本発明の第１ないし第３実施形態に係わるカメラが適用可能なデュアルエンジンを説明する図である。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、撮像素子１０３等を含む撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置したＬＣＤ１３５からなる表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体１３１に記録される。

また、３Ｄ撮影モードが設定されている場合には、第１位置で撮影した後に、第２の位置で撮影すると、カメラは立体画像（３次元画像、３Ｄ画像）を生成し、記録媒体に記録する。また、操作部１２３を操作することによって特殊効果（アートフィルタ：登録商標）の設定を行うと、設定された特殊効果で画像データが画像処理され、特殊効果画像がライブビュー表示され、また記録媒体１３１にも記録される。

図１は、本発明の第１実施形態に係わるカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。

交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）３００を有する。

撮影レンズ２０１は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の口径の制御も行う。

ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ３００およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。

フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ３００は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。

カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。

撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。なお、撮像素子１０３はベイヤ配列に限定されず、例えばＦｏｖｉｏｎのような形式でも勿論かまわない。

撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０に出力する。なお、本明細書においては、画像処理部１０９において画像処理される前の生の画像データをＲＡＷデータと称する。３Ｄ撮影モードが設定されている場合には、３Ｄ画像生成用に２以上のＲＡＷデータが取得される。

バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、３Ｄ画像生成部１１５、画像圧縮展開部１１７、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous DRAM）１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、液晶ディスプレイ（以後、ＬＣＤという）ドライバ１３３が接続されている。

画像処理部１０９は、基本的な画像処理を行う基本画像処理部１０９ａと、アートフィルタが設定された場合に特殊効果を施すための特殊画像処理部１０９ｂを有している。基本画像処理部１０９ａは、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行う同時化処理、ガンマ・色再現処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、エッジ強調処理等を行う。また、基本画像処理部１０９ａは、上記ガンマ・色再現処理において、特殊効果（アートフィルタ）に対応したガンマ補正（階調変換）を行う階調変換部として機能する。なお、色再現処理（色補正、彩度補正）についても特殊効果に対応した処理を行う。

また、特殊画像処理部１０９ｂは、設定された特殊効果（アートフィルタ）に応じて、シェーディング付加、ぼかし付加、ソフトフォーカス付加、ノイズ付加、クロスフィルタ効果付加等の種々の視覚的な特殊効果を付与する特殊画像処理を行う。これらの種々の画像処理を行うために、画像処理部１０９は、ＳＤＲＡＭ１２７に一時記憶された画像データを読出し、この画像データに対して画像処理を施し、画像処理を施した画像データをバス１１０に出力する。特殊画像処理部１０９ｂは、立体画像データ処理部として機能する３Ｄ画像生成部１１５で生成された立体画像データに対して、光学的に形成される画像に類似した特殊効果または写真フィルムおよび現像焼付工程で形成された画像に類似した特殊効果等を施す特殊画像を処理し、立体特殊画像を生成する特殊効果画像処理部として機能する。

ＡＥ処理部１１１は、バス１１０を介して入力した画像データに基づいて被写体輝度を測定し、この被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。被写体輝度の測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。

ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１１０を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。

３Ｄ画像生成部１１５は、複数枚の画像を用いて、３Ｄ画像データ（立体画像データともいう）を生成する。本実施形態においては、第１の位置で撮影した画像（例えば左目用）と、第２の位置で撮影した画像（例えば右目用）の２枚の画像を用いて、３Ｄ画像データを生成する。この３Ｄ画像生成部１１５は、階調変換部として機能する基本画像処理部１０９ａによって階調変換された画像データを立体視する画像データとして切り出すか、または回転補正や台形補正等の幾何学変換のいずれかの処理を少なくとも行い、立体画像データを生成する立体画像データ処理部として機能する。

画像圧縮展開部１１７は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から読み出した画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って圧縮する。マイクロコンピュータ１２１は、ＪＰＥＧ画像データやＭＰＥＧ画像データに対して、ＪＰＥＧファイルやＭＰＯファイル、ＭＰＥＧファイルを構成するために必要なヘッダを付加してＪＰＥＧファイルやＭＰＯファイル、ＭＰＥＧファイルを作成し、この作成したファイルをメモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。

また、画像圧縮展開部１１７は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているファイルを読み出し、画像圧縮展開部１１７において伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。

マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ３００以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。

操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字釦、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。

レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。

再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、ＬＣＤ１３５に撮影画像を再生表示する。

メニュー釦は、メニュー画面をＬＣＤ１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、特殊効果（アートフィルタ）の設定がある。特殊効果としては、ファンタジックフォーカス、ポップアート、トイフォト、ラフモノクローム、ジオラマ等、種々の特殊効果が設定可能である（後述する図８参照）。

フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいてカメラ全体の制御を行う。また、フラッシュメモリ１２５は、カラーマトリックス係数、ホワイトバランスモードに応じたＲゲインとＢゲイン、ガンマテーブル、露出条件決定テーブル等の種々の調整値を記憶している。これらの係数は、設定される特殊効果（アートフィルタ）に応じて異なる値を記憶している。

ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９や画像圧縮展開部１１７等において処理された画像データを一時記憶する。

メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。

ＬＣＤドライバ１３３は、ＬＣＤ１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像圧縮展開部１１７によって伸張された画像データに基づいて画像をＬＣＤ１３５において表示させる。ＬＣＤ１３５は、カメラ本体１００の背面等に配置された液晶パネルを含み、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、表示部としては、ＬＣＤに限らず、有機ＥＬ等、他の表示パネルを採用しても勿論かまわない。

次に、図２および図３に示すフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。このメインフローにおいては、動画撮影に関する処理は省略してある。なお、図２ないし図６に示すフローチャートはフラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が実行する。

操作部１２３の内の電源釦が操作され、電源オンとなると、図２に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を実行する（Ｓ１）。初期化としては、機械的初期化や各種フラグ等の初期化等の電気的初期化を行う。

初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生モードを実行する（Ｓ５）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字釦を操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。再生が終わると、ステップＳ３に戻る。

ステップＳ３における判定の結果、再生釦が押されていなかった場合には、次に、メニュー釦が操作されたか否かを判定する（Ｓ７）。ここでは、操作部１２３内のメニュー釦の操作状態を検知し、判定する。

ステップＳ７における判定の結果、メニュー釦が押された場合には、カメラ設定を行う（Ｓ９）。前述したように、種々のカメラ設定をメニュー画面で行うことができる。カメラ設定としては、例えば、３Ｄ撮影モード等の種々の撮影モードがあり、また画像の仕上がり効果として、自然に見える画像にする（Ｎａｔｕｒａｌ）、鮮やかな画像にする（Ｖｉｖｉｄ）、落ち着いた画像にする（Ｆｌａｔ）、アートフィルタ等の特殊効果（図８参照）がある。またＪＰＥＧ記録、ＪＰＥＧ＋ＲＡＷ記録、ＲＡＷ記録等の静止画記録モードがあり、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｈ．２６４等の動画記録モードの設定がある。カメラ設定を行うと、ステップＳ３に戻る。

ステップＳ９における判定の結果、メニュー釦が押されていなかった場合には、次に、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ２１）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに遷移した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。

ステップＳ２１における判定の結果、レリーズ釦が半押しされ、オフからファーストレリーズに遷移した場合には、ＡＥ・ＡＦ動作を実行する（Ｓ２３）。ここでは、ＡＥ処理部１１１が、撮像素子１０３によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。

また、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を移動させる。したがって、動画撮影を行っていない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを行う。

ステップＳ２１における判定の結果、レリーズ釦がオフからファーストレリーズに遷移しなかった場合には、次に、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになったか否かの判定を行う（Ｓ２７）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。

ステップＳ２７における判定の結果、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになった場合には、メカシャッタによる静止画撮影を行う（Ｓ２９）。ここでは、ステップＳ２３において演算された絞り値で絞り２０３が制御され、また演算されたシャッタ速度でメカシャッタ１０１のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理された画像データがバス１１０に出力される。

メカシャッタによる撮影を行うと、次に、３Ｄ撮影モードか否かの判定を行う（Ｓ３１）。前述したように３Ｄ撮影モードはメニュー画面において設定されていることから、撮影モードの設定状態に基づいて判定する。

ステップＳ３１における判定の結果、３Ｄ撮影モードでなかった場合には、次に、画像処理を行い（Ｓ３３）、静止画記録を行う（Ｓ３５）。３Ｄ撮影モードが設定されている場合には、第２の位置で２枚目の撮影を行ってから画像処理および静止画記録を行う必要がある。一方、３Ｄ撮影モードが設定されていないには、２枚目の撮影が必要ないことから、直ちに画像処理および静止画の記録を行う。ステップＳ３３における画像処理の詳しい動作については、図４を用いて後述する。

ステップＳ２７における判定の結果、レリーズ釦が全押しされていない場合には、次に、３Ｄ撮影２枚目か否かを判定する（Ｓ４１、図３参照）。ここでは、３Ｄ撮影モードが設定されており、前述したステップＳ２９において第１の位置において１枚目の撮影が終了したか否かを判定する。

ステップＳ４１における判定の結果、３Ｄ撮影の２枚目である場合には、次に、電子シャッタによる撮影を行う（Ｓ４３）。３Ｄ撮影の２枚目の本撮影は後述するステップＳ５３において行うが、その前に２枚目を撮影する第２の位置に達しているか否かについて、画像を解析しカメラの移動量を測定する。そこで、ステップＳ４３において、移動量解析用の画像を取得するために撮像素子１０３の電子シャッタを用いて画像データの取得を行う。なお、この撮影にあたっては、ステップ２３において決定した露出条件に従って撮影を行う。

電子シャッタによる撮影を行うと、次に、画像処理を行う（Ｓ４５）。ここでは、取得した画像データに対して、ステップＳ３３と同様の画像処理を施す。ステップＳ４５における画像処理の詳しい動作については、図４を用いて後述する。ただし、図４のフローにおいて、ステップＳ８５〜Ｓ８９は特殊画像処理用であることから、省略する。

画像処理を行うと、次に、ライブビュー表示を行う（Ｓ４７）。本実施形態においては、３Ｄ撮影モードが設定され、第１の位置で１枚目の撮影を行うと、撮影者は第２の位置までカメラを移動させ、第２の位置に達すると、その位置で２枚目の撮影を行う。そこで、第２の位置に移動しやすいように、１枚目の撮影後もライブビュー表示を行うようにしている。ライブビュー表示は、撮像素子１０３によって取得した画像データに基づいて、ＬＣＤ１３５に被写体像を動画で表示する。

ライブビュー表示を行うと、次に、特徴量の算出を行う（Ｓ４９）。ここでは、ステップＳ２９において取得した１枚目の撮影画像と、ステップＳ４３において取得したライブビュー用画像から、エッジ成分や色成分等の特徴量を検出し、カメラの移動量を算出する。ここで算出されたカメラの移動量に基づいて、２枚目の撮影位置（第２の位置）をライブビュー表示に重畳して表示するようにしてもよい。撮影者にとって便利である。

特徴量の算出を行うと、次に、２枚目撮影の判定を行う（Ｓ５１）。ここでは、算出されたカメラの移動量に基づいて、左右視差分だけカメラが移動した否を判定する。この判定の結果、２枚目の撮影位置に移動していなかった場合には、ステップＳ２５に進み、Ｓ３→Ｓ７→Ｓ２１→Ｓ２７→Ｓ４１→Ｓ４３と進み、再度、撮影を行って特徴量の算出を行い、２枚目撮影の判定を行う。

ステップＳ５１における判定の結果、２枚目撮影の位置に達すると、次に、メカシャッタによる２枚目の撮影を行う（Ｓ５３）。２枚目の撮影時の露出条件は、ステップＳ２９における１枚目の撮影時と同じ条件にすることが望ましい。明るさの違いによる違和感を防ぐためである。

メカシャッタによる２枚目の撮影を行うと、次に、画像処理・３Ｄ生成を行う（Ｓ５５）。ここでは、特殊効果（アートフィルタ）を施した３Ｄ画像の生成を行う。詳しくは、図６に示すフローチャートを用いて説明するが、特殊効果に応じたガンマ変換（階調変換）や彩度等の基本的な画像処理を行った後、３Ｄ画像データを生成し、生成した３Ｄ画像に対して、更に特殊効果に応じて必要な画像処理を施して、最終的な３Ｄ画像データを生成する。

画像処理・３Ｄ生成を行うと、次に、３Ｄ画像記録を行う（Ｓ５７）。ここでは、ステップＳ５５において生成された左右のステレオ画像を、画像圧縮展開部１１７においてＪＰＥＧ圧縮してＭＰＯ（Multi-Picture Object）ファイルを生成し、この生成されたファイルを記録媒体１３１に記録する。このとき、３Ｄ画像を生成する際にどのような処理を行ったかを特定できるデータを主画像や副画像のヘッダ部に記録する。これにより画像データから特殊処理を読み取ることができる。なお、生成した３Ｄ画像をＬＣＤ１３５に所定時間の間、表示するようにしてもよい。

ステップＳ４１における判定の結果、３Ｄ撮影２枚目でなかった場合には、次に、ＡＥを行う（Ｓ６１）。前述のステップＳ２１からＳ２７、Ｓ４１を経て、ステップＳ６１を処理する場合は、レリーズ釦に対して何ら操作を行っていない場合であり、この場合には後述するステップＳ６７においてライブビュー表示を行う。ステップＳ６１においては、ライブビュー表示を行うための露出制御を行う。すなわち、適正露出でライブビュー表示を行うための撮像素子１０３の電子シャッタのシャッタ速度およびＩＳＯ感度を算出する。

ＡＥを行うと、次に、電子シャッタによる撮影を行う（Ｓ６３）。ここでは、撮像素子１０３の電子シャッタを用いて画像データを取得する。続いて、取得した画像データに対して画像処理を行う（Ｓ６５）。ここでの画像処理は、ライブビュー表示用であり、また特殊効果が設定されている場合には、設定されている特殊効果に応じた画像処理も行う。この画像処理の詳しい動作については、図４を用いて後述する。

画像処理を行うと、ＬＣＤ１３５にライブビュー表示を行う（Ｓ６７）。ステップＳ６３において画像データを取得し、ステップＳ６５において画像処理を行ったことから、このステップでは、ライブビュー表示の更新を行う。撮影者はこのライブビュー表示を観察することにより、構図やシャッタタイミングを決定することができる。

ステップＳ６７においてライブビュー表示を行うと、またはステップＳ５１における判定の結果、２枚目撮影でなかった場合には、またはステップＳ５７において３Ｄ画像記録を行うと、またはステップＳ３１における判定の結果、３Ｄ撮影モードであった場合には、またはステップＳ３５において静止画記録を行うと、またはステップＳ２３においてＡＥ・ＡＦを行うと、電源オフか否かの判定を行う（Ｓ２５）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインのフローの終了動作を行ったのち、メインフローを終了する。

このように本発明の第１実施形態におけるメインフローにおいては、３Ｄ撮影モードが設定されている場合には、レリーズ釦を全押しすると第１の位置で１枚目の撮影を行い（Ｓ２９参照）、撮影者がカメラを移動させ、第２の位置に達すると２枚目の撮影を行っている（Ｓ５３参照）。３Ｄ撮影モードと共に特殊効果（アートフィルタ）が設定されている場合には、２枚目の撮影の終了後に画像処理・３Ｄ生成を行って（Ｓ５５参照）、特殊効果の施された３Ｄ画像を生成し記録する。

次に、ステップＳ３３、Ｓ４５、Ｓ６５における画像処理について、図４に示すフローチャートを用いて説明する。画像処理のフローに入ると、まず、オプティカルブラック（ＯＢ）演算を行う（Ｓ７１）。このステップでは、基本画像処理部１０９ａ内のＯＢ演算部によって、画像データを構成する各画素の画素値から、撮像素子１０３の暗電流等に起因するオプティカルブラック値をそれぞれ減算する。

ＯＢ演算を行うと、次に、ホワイトバランス（ＷＢ）補正を行う（Ｓ７３）。このステップでは、基本画像処理部１０９ａ内のＷＢ補正部によって、設定されているホワイトバランスモードに応じて、画像データに対してＷＢ補正を行う。具体的には、ベイヤ配列の画像データに対して、ユーザが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュメモリ１２５から読み出し、その値を乗じることで補正を行う。またはオートホワイトバランスの場合には、ＲＡＷデータからＲゲインおよびＢゲインを算出し、これらを用いて補正する。

続いて、同時化処理を行う（Ｓ７５）。このステップでは、ホワイトバランス補正を行った画像データに対して、基本画像処理部１０９ａ内の同時化処理部によって、各画素がＲＧＢデータで構成されるデータに変換する。具体的には、その画素にないデータを周辺から補間によって求め、ＲＧＢデータに変換する。

同時化処理を行うと、次に、カラーマトリックス演算を行う（Ｓ７７）。このステップでは、基本画像処理部１０９ａ内のカラーマトリックス演算部によって、画像データに対して設定されているホワイトバランスモードに応じたカラーマトリックス係数を乗じる線形変換を行って画像データの色を補正する。カラーマトリックス係数はフラッシュメモリ１２５に記憶されているので、読み出して使用する。

カラーマトリックス演算を行うと、次に、ガンマ変換および色補正を行う（Ｓ７９）。このステップでは、基本画像処理部１０９ａ内のガンマ処理部によって、フラッシュメモリ１２５に記憶されているガンマテーブルを読み出し、画像データに対してガンマ補正処理を行う。ガンマテーブルは、仕上がりの設定に応じて設計した値がフラッシュメモリ１２５に記憶されている。

前述したように、メニュー画面において特殊効果（アートフィルタ）の設定が可能である。設定されたアートフィルタに対する効果概要、彩度パラメータ、ガンマ、および特殊効果を、図８に示す。また、設定された特殊効果に応じて適用するガンマテーブルを図９に示す。ここで、図９（ａ）は、ＲＧＢデータに適用した場合を示す図であり、例えば、ポップアート処理の場合とその他の処理の場合におけるガンマの値の一例を示している。また、図９（ｂ）はＹデータに適用した場合を示す図であり、例えば、図８に示すようなコントラスト強調する場合や、中間の輝度をより明るくする場合、その他標準の場合のガンマの値の一例を示している。ステップＳ７９で行うガンマ補正処理は、設定された特殊効果（アートフィルタ）に応じて決まるガンマの値を、また特殊効果が設定されていない場合には標準のガンマの値を用いて行う。すなわち、仕上がりの設定に応じて設計した値に応じてガンマ補正処理を行う。

また、ステップＳ７９においては、基本画像処理部１０９ａ内の色再現処理部によって、画像データに対して、彩度や色相の補正処理を行う。この補正処理にあたっては、仕上がりの設定に応じて予め設計した彩度パラメータを用いて行う。すなわち、設定されている特殊効果（アートフィルタ）によって決まる図８に示す彩度パラメータに従って、彩度や色相の補正処理を行う。この処理でＲＧＢからＹＣｂＣｒに変換する。

ガンマ変換および色補正を行うと、次に、エッジ強調を行う（Ｓ８１）。このステップでは、ガンマ変換および色補正の行われた画像データに対して、基本画像処理部１０９ａ内のエッジ強調処理部が、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じて係数を乗じて画像データに加算することにより、画像データのエッジを強調する。

次にＮＲ（ノイズ除去）を行う（Ｓ８３）。このステップでは、画像を周波数分解し、周波数に応じてノイズを低減する処理を行う。

ＮＲ処理を行うと、次に、特殊画像処理か否かの判定を行う（Ｓ８５）。前述したように、メニュー画面において特殊効果（アートフィルタ）の設定が行われているので、このステップではメニュー画面での設定に基づいて判定する。

ステップＳ８５における判定の結果、特殊画像処理がなされていた場合には、次に、３Ｄ撮影モードが設定されているか否かの判定を行う（Ｓ８７）。３Ｄ撮影モードもメニュー画面において設定することから、このステップでは、メニュー画面での設定に基づいて判定する。

ステップＳ８７における判定の結果、３Ｄ撮影モードが設定されていなかった場合には、特殊画像処理を行う（Ｓ８９）。特殊画像処理の内、ガンマ変換と色補正に関する処理は、ステップＳ７９において行われており、それ以外のクロスフィルタ処理、ソフトフォーカス処理等、設定された特殊効果（アートフィルタ）に応じて必要な特殊画像処理を行う。ライブビュー表示中であれば、設定されている特殊効果に応じた特殊画像処理が施された画像がライブビュー表示され、通常の静止画撮影であれば、特殊画像処理を施した画像が記録される。特殊画像処理の詳しい動作については、図５を用いて後述する。なお、特殊画像処理および３Ｄ撮影モードの両方が設定されている場合には、２枚目の撮影を行った後に画像処理が行われる（Ｓ５５、図６参照）。

ステップＳ８９において特殊画像処理を行うと、またはステップＳ８５における判定の結果、特殊画像処理でなかった場合、またはステップＳ８７における判定の結果、３Ｄ撮影モードであった場合には、元のフローに戻る。

このように本実施形態における画像処理のフローにおいては、ＯＢ減算等の種々の特殊画像処理に係わらない共通な画像処理を実行し、またガンマ変換および色補正にあたっては、設定された特殊効果に応じた補正処理を、基本画像処理部１０９ａによって行っている。さらに３Ｄ撮影モードが設定されていない限り特殊画像処理を、特殊画像処理部１０９ｂによって併せて行っている。

次に、ステップＳ８９（図４参照）における特殊画像処理について、図５に示すフローチャートを用いて説明する。特殊画像処理のフローに入ると、まず、クロスフィルタを行うか否かの判定を行う（Ｓ１０１）。アートフィルタを設定すると、図８の最右欄に示すように実行される特殊効果が決まる。そこで、このステップでは、メニュー画面において設定されたアートフィルタが、クロスフィルタ処理を必要としているか否かを判定する。すなわち、本実施形態においては、図８に示すように、アートフィルタとして、ファンタジックフォーカス＋スターライト、ポップアート＋スターライトが設定されている場合に、クロスフィルタの処理を行うと判定される。

ステップＳ１０１における判定の結果、クロスフィルタであった場合には、次に、クロスフィルタ処理を行う（Ｓ１０３）。ここでは、特殊画像処理部１０９ｂが画像データに対してクロスフィルタ処理を施す。クロスフィルタ処理は、画像から高輝度部を検出し、そこにクロスパターンを描画し重畳する処理である。

クロスフィルタ処理を行うと、またはステップＳ１０１における判定の結果、クロスフィルタを行わない場合には、次に、ソフトフォーカスを行うか否かの判定を行う（Ｓ１０５）。ここでは、メニュー画面において設定されたアートフィルタが、ソフトフォーカス処理を必要としているか否かを判定する。本実施形態においては、図８に示すように、ファンタジックフォーカス、ファンタジックフォーカス＋スターライト、ファンタジックフォーカス＋ホワイトエッジが設定されている場合には、ソフトフォーカスの処理を行うと判定される。

ステップＳ１０５における判定の結果、ソフトフォーカスであった場合には、次に、ソフトフォーカス処理を行う（Ｓ１０７）。ここでは、特殊画像処理部１０９ｂが画像データに対してソフトフォーカス処理を施す。ソフトフォーカス処理は、画像全体にぼかし処理を行い、ぼかす前の画像と一定割合（例えば、元画像：ぼかし画像＝３：２）で合成を行う処理である。

ソフトフォーカス処理を行うと、またはステップＳ１０５における判定の結果、ソフトフォーカスでなかった場合には、次に、ノイズ付加を行うか否かの判定を行う（Ｓ１０９）。ここでは、メニュー画面において設定されたアートフィルタが、ノイズ付加処理を必要としているか否かを判定する。本実施形態においては、図８に示すように、ラフモノクロームが設定されている場合には、ノイズ付加処理を行うと判定される。

ステップＳ１０９における判定の結果、ノイズ付加であった場合には、次に、ノイズ付加処理を行う（Ｓ１１１）。ここでは、特殊画像処理部１０９ｂが画像データに対してノイズ付加処理を施す。ノイズ付加処理は、予め作成したノイズパターン画像を被写体画像に加算する処理である。ノイズパターン画像は乱数等に基づいて生成してもよい。

ノイズ付加処理を行うと、またはステップＳ１０９における判定の結果、ノイズ付加を行わない場合には、次に、シェーディングを行うか否かの判定を行う（Ｓ１１３）。ここでは、メニュー画面において設定されたアートフィルタが、シェーディング処理を必要としているか否かを判定する。本実施形態においては、図８に示すように、ポップアート＋ピンホールが設定されている場合には、シェーディング処理を行うと判定される。

ステップＳ１１３における判定の結果、シェーディングであった場合には、次に、シェーディング処理を行う（Ｓ１１５）。ここでは、特殊画像処理部１０９ｂが画像データに対してシェーディング処理を施す。シェーディング処理は、中心からの距離に応じ、周辺の輝度が暗くなるように、輝度信号に対して周辺ほど小さい係数を乗ずる処理である。

シェーディング処理を行うと、またはステップ１１３における判定の結果、シェーディングを行わない場合には、次に、周辺輝度アップか否かの判定を行う（Ｓ１１７）。ここでは、メニュー画面において設定されたアートフィルタが、周辺輝度アップ処理を必要としているか否かを判定する。本実施形態においては、図８に示すように、ファンタジックフォーカス＋ホワイトエッジ、ポップアート＋ホワイトエッジが設定されている場合には、周辺輝度アップ処理を行うと判定される。

ステップＳ１１７における判定の結果、周辺輝度アップであった場合には、次に、周辺輝度アップ処理を行う（Ｓ１１９）。ここでは、特殊画像処理部１０９ｂが画像データに対して周辺輝度アップ処理を施す。周辺輝度アップ処理は、周辺輝度を明るくする処理であり、中心からの距離に応じ、周辺部が白くなるように、周辺部ほど白情報（例えば、ＲＧＢ（８ビット）なら２５５，２５５，２５５：またＹＣｂＣｒ（８ビット）なら２５５，０，０）となるように画素値を変更する処理である。

周辺輝度アップ処理を行うと、またはステップＳ１１７における判定の結果、周辺輝度アップ処理でなかった場合には、次に、周辺ぼかしを行うか否かの判定を行う（Ｓ１２１）。ここでは、メニュー画面において設定されたアートフィルタが、周辺ぼかし処理を必要としているか否かを判定する。本実施形態においては、図８に示すように、ジオラマが設定されている場合には、周辺ぼかし処理を行うと判定される。

ステップＳ１２１における判定の結果、周辺ぼかしであった場合には、次に、周辺ぼかし処理を行う（Ｓ１２３）。ここでは、特殊画像処理部１０９ｂが画像データに対して周辺ぼかし処理を施す。周辺ぼかし処理は、中心からの距離に応じ、周辺部ほどボケる度合いが大きくなるように、画像の位置に応じてローパス係数を変更しながら、ローパスフィルタ処理を行う。この場合、上下だけ、左右だけぼかすようにしてもよい。

周辺ぼかし処理を行うと、またはステップＳ１２１における判定の結果、周辺ぼかしでなかった場合には、特殊画像処理を終了し、元のフローに戻る。

このように特殊画像処理のフローにおいては、設定されたアートフィルタ（特殊効果）に応じて必要となる種々の特殊画像処理を施す。ここでの特殊画像処理としては、特殊画像処理としては、ソフトフォーカス等のように、画像データの所定位置に対応した画像データの位置を基にして行うものがある。また、シェーディングや周辺輝度アップ等のように、画像データの座標位置により異なる画像処理や、またはクロスフィルタやラフモノクローム処理等のように、隣接する画素とは異なる処理が施された画像データを合成するものがある。

次に、ステップＳ５５（図３）における画像処理・３Ｄ生成について、図６に示すフローチャートを用いて説明する。このフローは、前述したように、メニュー画面において、３Ｄ撮影モードおよび特殊効果が設定されている場合に、メカシャッタによって２枚目の撮影が終了した後に実行される。

画像処理・３Ｄ生成のフローに入ると、まず、画像処理部１０９によって画像処理を行う（Ｓ１３１）。ステップＳ２９およびＳ５３において、それぞれメカシャッタによって撮影を行い、２枚のＲＡＷ画像データを取得しているので、このステップでは、それぞれのＲＡＷ画像データについて、画像処理のフローを実行する。この画像処理のフローは、図４に示した画像処理のフローにおけるステップＳ７１〜Ｓ８３であり、ステップＳ８５以下は、ここでは省略し、実行しない。

ステップＳ１３１における画像処理のフローを実行するにあたって、メニュー画面において特殊効果（アートフィルタ）が設定されている場合には、特殊効果に応じた画像処理パラメータを用いて画像処理を行っている（ステップＳ７９（図４参照）におけるガンマ変換および色補正を参照）。このため、輝度および色差成分ともに階調の急激な変化によって疑似輪郭が発生することがなく、画質劣化が生じない。

画像処理を行うと、次に、３Ｄ用切り出し位置の決定と補正処理の決定を行う（Ｓ１３３）。ここでは、３Ｄ画像生成部１１５が、画像処理を行った２枚の画像データから３Ｄ画像を生成するために、切り出し位置を特定し、画像の補正処理を決定する。すなわち、画像の特徴量（例えば、エッジ成分、色成分、輝度成分等）を検出し、２枚の画像から立体的に見える画像を生成するための切り出し位置を特定する。また撮影画角の微妙な変化や回転などを補正する処理を決定する。

続いて、３Ｄ画像の生成を行う（Ｓ１３５）。ここでは、ステップＳ１３１において画像処理され、ステップＳ１３３において切り出し位置が決定され補正処理が決定された２枚の画像データを用いて、３Ｄ画像生成部１１５が３Ｄ画像を生成する。メニュー画面で特殊効果（アートフィルタ）が設定されていた場合には、設定に応じた色やコントラスト（ガンマ）に処理された画像で３Ｄ画像が生成される。

３Ｄ画像の生成を行うと、次に、特殊画像処理を行うか否かの判定を行う（Ｓ１３７）。特殊効果（アートフィルタ）が設定されていた場合に、設定に応じた彩度やガンマについては、ステップＳ１３１において画像処理がなされている。しかし、撮影時に光学フィルタやレンズを用いて光学的に形成されたような効果であるクロスフィルタ処理、ソフトフォーカス処理、ノイズ付加処理、シェーディング処理、周辺輝度アップ処理、周辺ぼかし処理、フィルム独特の粒状感を再現するようなノイズ付加処理、現像焼き付け工程で行うようなソフトフォーカス処理などの特殊画像処理については、行われていない。そこで、このステップでは、これらの特殊画像処理が必要か否かの判定を行う。なお、特殊効果（アートフィルタ）が設定されている場合であっても、ポップアート、ナチュラル（不図示）、ビビット（不図示）の場合には、彩度やガンマを変更するだけであるので、さらなる特殊画像処理は必要ない。

ステップＳ１３７における判定の結果、特殊画像処理が必要な場合には、特殊画像処理を実行する（Ｓ１３９）。ここでは、図５に示した特殊画像処理のフローに従って、特殊画像処理部１０９ｂが画像処理を行う。なお、特殊画像処理の内、シェーディング、周辺輝度アップ、および周辺ぼかしについては、画像処理の中心点からの距離に応じて変化させている。３Ｄ画像の場合の画像処理の中心点について、図１０を用いて後述する。

特殊画像処理を行うと、またはステップＳ１３７における判定の結果、特殊画像処理が必要でない場合には、画像処理・３Ｄ生成のフローを終了し、元のフローに戻る。

図１０は、３Ｄ撮影モードが設定された場合において、第１の位置で撮影された左目用画像４０１と、第２の位置で撮影された右目用画像４０３を示しており、被写体として人物４１１と山４１３が写っている。山４１３は遠方にあるため、左目用画像４０１と右目用画像４０３では略同じ位置に写っているが、人物４１１は近距離に位置しているため、両画像において写っている位置が異なっている。すなわち、図１０に示す例では、左目用画像４０１では中心より右側に距離ａだけ離れて人物４１１が位置し、また右目用画像４０３では中心より左側に距離ｂだけ離れて人物４１１が位置し、人物４１１の位置が異なっている。３Ｄ画像処理の中心点は、３Ｄ画像を生成した際に違和感が生じない主被写体の位置を選択する。例えば、近距離側の被写体や、顔検出部によって検出された顔位置やペットの位置等を選択すればよい。

左右画像のそれぞれの画像処理中心を決めるには、まず、いずれか一方を基準画像として決める。今、左目用画像４０１を基準画像として決めると、左目用画像４０１の画像処理中心点４２１ａに対応する右目用画像４０３上の位置は、画像処理中心点４２１ｂとなる。したがって、画像処理中心点４２１ａと４２１ｂは、それぞれ同一被写体の同一位置に対応する。但し、この位置は多少ずれても３Ｄ画像として画像処理後に違和感がない範囲であればよい。

このように、本実施形態においては、基準とする画像の所定位置を画像中心点として決め、他方の画像でこれに対応する位置も画像中心点と決める。この画像中心点４２１ａ、４２１ｂを中心としてシェーディング処理等、中心位置からの距離に応じて変化する特殊効果を施すようにしている。このため、右目画像と左目画像に対して違和感のない画像となる。

次に、本実施形態において３Ｄ撮影モードを設定した際の画像データの流れと処理の関係について図７を用いて説明する。３Ｄ撮影モードが設定されている際には、第１の位置で左目用のＲＡＷデータが取得される（＃２０１Ｌ、図２のＳ２９）。この左目用のＲＡＷデータはガンマおよび彩度等の基本的な画像処理がなされ（２０３Ｌ、図６のＳ１３１）、仕上がりに応じた左目用の画像を得る（＃２０５Ｌ）。一方、第２の位置で右目用のＲＡＷデータが取得され（＃２０１Ｒ、図３のＳ５３）、ガンマおよび彩度等の基本的な画像処理がなされ（２０３Ｒ、図６のＳ１３１）、仕上がりに応じた右目用の画像を得る（＃２０５Ｒ）。

左目用と右目用の仕上がりに応じた画像を取得すると、３Ｄ用切り出し位置と補正処理の決定がなされ（＃２１１、図６のＳ１３３）、３Ｄ画像が生成され（＃２２１、図６のＳ１３５）、右目用および左目用の画像に対してそれぞれ特殊画像処理がなされ（＃２２３、図６のＳ１３９）、３Ｄアート画像が生成される（＃２２５）。

このように、第１実施形態においては、ＲＡＷデータに対してガンマ処理（階調処理）および彩度処理（色補正処理）を施し（＃２０３Ｌ、＃２０３Ｒ）、この画像処理された画像データを用いて３Ｄ画像を生成するための切り出し位置、または画像回転や台形補正等の幾何学変換による補正処理を行って３Ｄ画像を生成する（＃２１１、＃２２１）。この３Ｄ画像のための画像処理がなされた画像データに対して、光学的に形成される画像に類似した３Ｄ画像のための画像処理がなされた画像データに対して、写真フィルム及び現像焼き付け工程で形成される画像に類似した特殊効果の処理を施すようにしている（＃２２３）。このため、３Ｄ画像とアート（特殊効果）画像を共に高品質で再生できる３Ｄアート画像を生成することができる。

なお、本実施形態においては、基本的な画像処理において（＃２０３Ｌ、＃２０３Ｒ、Ｓ１３１）において、ガンマ処理（階調処理）および彩度処理（色補正処理）の両方を行っていたが、ここでは階調処理のみを行うようにしてもよい。また、左目用と右目用の仕上がりに応じた画像が生成された後に、３Ｄ用切り出し位置および補正処理を決定していたが（＃２１１、Ｓ１３３）、いずれか一方だけでもよい。

次に、本発明の第２実施形態について、図１１および図１２を用いて説明する。第１実施形態においては、第１および第２の位置で撮影した２枚のＲＡＷデータから画像処理・３Ｄ生成を行う際のステップＳ１３１における画像処理において、設定された特殊効果（アートフィルタ）に応じたガンマ処理および彩度処理を行い、この処理された画像データを用いて３Ｄ画像の生成を行っていた。これに対して、第２実施形態においては、第１および第２の位置で撮影した２枚のＲＡＷデータから画像処理・３Ｄ生成を行う際には、仕上がり画像がＮａｔｕｒａｌに対応するガンマ処理および彩度処理を行い、この画像を用いて３Ｄ画像の切り出し位置と補正処理を決定する。そして別途、ＲＡＷデータに仕上がり画像に応じたガンマ処理及び彩度処理を行った画像に対して、３Ｄ画像の切り出しと補正処理を行って３Ｄ画像を生成して特殊効果を適用するようにしている。

第２実施形態における構成は図１に示した第１実施形態と同様であり、また動作も図２ないし図５に示したフローと同様であり、図６に示した画像処理・３Ｄ生成のフローを図１１に示すフローに変更するだけである。そこで、図１１に示す画像処理・３Ｄ生成のフローについて説明する。なお、図６と同一の処理を行うステップについては同一のステップ番号を付し、詳しい説明を省略する。なお、図１１に示すフローチャートも、フラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が実行する。

図１１の画像処理・３Ｄ生成のフローに入ると、まず、画像処理を行う（Ｓ１３２）。ここでは、基本画像処理部１０９ａが、ステップＳ２９およびＳ５３において取得した２枚のＲＡＷデータに対して、それぞれ図４に示した画像処理のフローの内、ステップＳ７１〜Ｓ８３を実行する。このフロー中、ステップＳ７９のガンマ変換・色補正においては、仕上がり画像をＮａｔｕｒａｌに設定して画像処理を行う。なお、標準の仕上がりに近い特殊効果であれば、Ｎａｔｕｒａｌ以外の処理でもよい。

ステップＳ１３２において画像処理を実行すると、次に、３Ｄ用切り出し位置と補正処理を決定する（Ｓ１３３）。ここでは、第１実施形態の場合と同様、３Ｄ画像生成部１１５が、ステップＳ１３２において画像処理された２枚の画像を用いて、画像の特徴量（例えば、エッジ成分、色成分、輝度成分）を検出し、２枚の画像から立体的に見える画像を生成するための切り出し位置の特定と、撮影画角の微妙な変化や回転などを補正する処理を決定する。

続いて、画像処理を実行する（Ｓ１３４）。ここでは、ステップＳ１３２において処理された画像ではなく、ステップＳ２９およびＳ５３において取得した２枚のＲＡＷデータに対して、それぞれ図４に示した画像処理のフローの内、ステップＳ７１〜Ｓ８３を実行する。このフロー中、ステップＳ７９のガンマ変換・色補正においては、メニュー画面で設定された仕上がり画像に応じたガンマや彩度等のパラメータを設定して画像処理を行う。

ステップＳ１３４において画像処理を行うと、３Ｄ画像生成を行う（Ｓ１３６）。ここでは、ステップＳ１３３において決定された３Ｄ用切り出し位置と補正処理に基づいて、ステップＳ１３４において画像処理された左右２枚の画像を用いて３Ｄ画像を生成する。

３Ｄ画像を生成すると、次に、第１実施形態と同様に、特殊画像処理が必要か否かを判定し（Ｓ１３７）、この判定の結果、特殊画像処理が必要であれば特殊画像処理を行い（Ｓ１３９）、元のフローに戻る。

本実施形態における画像データの流れと、画像処理の関係について、図１２を用いて説明する。３Ｄ撮影モードが設定されている際には、第１の位置で左目用のＲＡＷデータが取得される（＃２０１Ｌ、図２のＳ２９）。この左目用のＲＡＷデータは仕上がりとしてナチュラルとなるようにガンマおよび彩度等のパラメータが設定されて画像処理がなされ（＃２０４Ｌ、図１１のＳ１３２）、ナチュラル設定の仕上がりに応じた左目用の画像を得る（＃２０７Ｌ）。一方、第２の位置で右目用のＲＡＷデータが取得され（＃２０１Ｒ、図３のＳ５３）、仕上がりとしてナチュラルとなるようにガンマおよび彩度等のパラメータが設定され画像処理がなされ（２０４Ｒ、図１１のＳ１３２）、ナチュラル設定の仕上がりに応じた右目用の画像を得る（＃２０７Ｒ）。

左目用と右目用のナチュラル設定の仕上がりに応じた画像を取得すると、３Ｄ用切り出し位置と補正処理の決定がなされる（＃２１１、図１１のＳ１３３）。一方、左目用のＲＡＷデータを用いて、設定された特殊効果（アートフィルタ）に応じた仕上がりとなるように画像処理がなされ（＃２１３Ｌ、図１１のＳ１３４）、仕上がりに応じた左目用の画像を得る（＃２１５Ｌ）。また右目用のＲＡＷデータを用いて、設定された特殊効果（アートフィルタ）に応じた仕上がりとなるように画像処理がなされ（＃２１３Ｒ、図１１のＳ１３４）、仕上がりに応じた右目用の画像を得る（＃２１５Ｒ）。

仕上がりに応じた左右用の画像（＃２１５Ｌ、＃２１５Ｒ）に対して、決定された３Ｄ切り出し位置と補正処理（＃２１１）を用いて３Ｄ画像を生成する（＃２２１、図１１のＳ１３６）。ここで生成された右目用および左目用の３Ｄ画像に対してそれぞれ特殊画像処理がなされ（＃２２３、Ｓ１３９）、３Ｄアート画像が生成される（＃２２５）。

このように、第２実施形態においては、ＲＡＷデータに対してガンマ補正（階調処理）および彩度補正（色補正処理）はナチュラルのパラメータを用いて処理し（＃２０４Ｌ、＃２０４Ｒ）、この画像処理された画像データを用いて３Ｄ画像を生成するための切り出し位置、または幾何学変換等の補正処理を行うようにしている。また＃２０４Ｌ、＃２０４Ｒでの画像処理とは別に、左目用と右目用のＲＡＷデータを用いて、設定された特殊効果（アートフィルタ）に応じたガンマ補正（階調処理）および彩度補正（色補正処理）のパラメータを用いて画像処理を行い（＃２１３Ｌ、＃２１３Ｒ）、仕上がりに応じた画像を得ている（＃２１５Ｌ、＃２１５Ｒ）。３Ｄ画像の生成にあたっては、＃２１１において決定された３Ｄ切り出し位置と補正処理に従って、＃２１５Ｌ、＃２１５Ｒにおいて取得した画像から３Ｄ画像を生成している。本実施形態においては、３Ｄ画像生成のための切り出し位置や補正処理については、ナチュラル処理された画像に基づいて決定していることから、正確に切り出し位置や補正処理を決定することが可能となり、３Ｄ画像とアート（特殊効果）画像を共に高品質で再生できる３Ｄアート画像を生成することができる。

また、第２実施形態においては、フラッシュメモリ１２５が、階調変換部として機能する基本画像処理部１０９ａにおける画像処理内容を決定するガンマテーブル（第１の画像処理パラメータ）と、特殊効果に応じて階調変換部として機能する基本画像処理部１０９ａにおける画像処理内容を決定する、第１の画像処理パラメータとは異なる特殊効果用の第２の画像処理パラメータを記憶する画像処理パラメータ記憶部として機能する。ここで第１の画像処理パラメータは、ナチュラル等、自然な感じの画像処理であり、第２の画像処理パラメータは、メニュー画面において設定された特殊効果（アートフィルタ）に対応した画像処理パラメータである。特殊効果（アートフィルタ）では、ナチュラルのパラメータと比較して、コントラストが強調されたり、コントラストが軟調になるような画像処理パラメータや、暗部（黒）が浮いたガンマや飽和部（白）が最大値にならないような画像処理パメータ等を用いる。そして、Ｎａｔｕｒａｌ基準で３Ｄ処理を予め行っておき、その後、アートフィルタで、通常（Ｎａｔｕｒａｌ）とは大きく異なるガンマを用いて特殊効果を施す。そして、第２実施形態においては、第１の画像処理パラメータを用いて階調処理部で画像処理された画像を用いて３Ｄ画像生成部１１５（立体画像データ処理部）で行う処理内容を決定し、階調変換部が第２の画像処理パラメータを用いて特殊効果による画像処理を行い、３Ｄ画像生成部１１５（立体画像データ処理部）で特殊効果による画像処理を行った画像に対して立体画像を生成するようにしている。

なお、本実施形態においても、基本的な画像処理において（＃２１３Ｌ、＃２１３Ｒ、図１１のＳ１３４）において、ガンマ補正（階調処理）および彩度補正（色補正処理）の両方を行っていたが、ここでは階調処理のみを行うようにしてもよい。また、左目用と右目用の仕上がりに応じた画像が生成された後に、３Ｄ用切り出し位置および補正処理を決定していたが（＃２１１、Ｓ１３３）、いずれか一方だけでもよい。

次に、本発明の第３実施形態について、図１３ないし図１６を用いて説明する。第１及び第２実施形態においては、撮影レンズ２０１は１つのみであり、視差のある画像を得るために、第１の位置で撮影した後に第２の位置にカメラを移動させて撮影を行っていた。これに対して、第３実施形態においては、撮影レンズを２つ備え、同時に視差のある２枚の画像を取得するようにしている点で相違する。

第３実施形態における構成は、図１に示したブロック図において、撮影レンズ２０１を２つの撮影レンズ２０１ａ、２０１ｂに置き換え、また絞り２０３を２つの絞り２０３ａ、２０３ｂに置き換え、また撮像素子１０３を撮像素子１０４に置き換えているだけである。そこで、相違点のみ説明し、同一の部材については同一の符号を付して詳しい説明を省略する。

右目用撮影レンズ２０１ａと左目用撮影レンズ２０１ｂは、同一平面上に配置され（図１３では作図上ずらした位置として描いている）、それぞれ右目用と左目用の被写体光束を同時に撮影できるように配置されている。右目用撮影レンズ２０１ａの光軸上には右目用絞り２０３ａが配置され、また左目撮影レンズ２０１ｂの光軸上には左目用絞り２０３ｂが配置され、それぞれ通過する被写体光束の光量を制御する。

右目用撮影レンズ２０１ａと左目用撮影レンズ２０１ｂの光軸上には、撮像素子１０４が配置されている。この撮像素子１０４に、すなわち１つの撮像素子に、左目用画像と右目用画像が結像する。

また、操作部１２３内には、動画の撮影を開始させ、また終了させるための動画釦が配置されている。初期状態では動画未撮影状態であるので、この状態で動画釦を押すと動画の撮影を開始し、動画撮影中に動画釦を押すと、動画の撮影を終了する。従って、動画釦を押すたびに、動画の撮影開始と終了を交互に繰り返す。

なお、第３実施形態においては、撮影レンズ２０１ａ、２０１ｂをそれぞれ別々に設けているが、レンズを１つだけ設け、撮像素子や遮光部材の活用により、左用と右用の被写体光束を分離するようにしてもよい。また、撮影レンズは交換式ではなく固定式としてもよい。また、１つの撮像素子１０４で左用と右用の画像を受光するようにしたが、２つの撮像素子を配置し、別々に画像信号を取得するようにしてもよい。

次に、第３実施形態の動作について図１４ないし図１６に示すフローチャートを用いて説明する。これらのフローチャートは、第１及び第２実施形態と同様、フラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が実行する。

図１４および図１５は、本実施形態におけるメインフローである。このメインフローにおいて、第１実施形態における図２および図３に示すフローと同一の処理を行うステップについては、同一のステップ番号を付し、詳しい説明を省略する。第１実施形態と比較し、本実施形態においては、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになると、同時に２枚の画像が取得され（Ｓ２７、Ｓ３０）、３Ｄ撮影モードが設定されている場合には、撮影終了後、直ちに画像処理・３Ｄ生成がなされる（Ｓ３１、Ｓ３７）点で相違する。また、動画釦が操作されると動画の記録がなされ（Ｓ１１〜Ｓ１７）、３Ｄ撮影モードが設定されている場合には、動画撮影中に３Ｄ画像と特殊効果が施されて動画記録がなされる（Ｓ６５〜Ｓ６９）。

メインフローがスタートすると、初期化（Ｓ１）を行う。ここでは、機械的およびフラグの初期化等の電気的初期化を行う。ここで、各種フラグ等の初期化として、記録中フラグの初期化を行う。この記録中フラグは、動画の記録中であるか否かを示すフラグであり、オンの場合には動画を記録中であることを示し、オフの場合には動画の記録を行っていないことを示す。

初期化を行うと、次に、再生釦が押されたか否かの判定を行い（Ｓ３）、押されていた場合には、再生処理を行い（Ｓ５）、ステップＳ３に戻る。再生処理の際に、一覧表から選択した画像が動画の場合には、時系列的に先頭フレームから順次動画再生を行う。また選択された画像が静止画の場合には、確定した静止画を表示する。

ステップＳ３における判定の結果、再生釦が押されていなかった場合には、メニュー釦が押されたか否かの判定を行う（Ｓ７）。この判定の結果、メニュー釦が押されていた場合には、カメラ設定を行い（Ｓ９）、ステップＳ３に戻る。カメラ設定では第１実施形態と同様、種々の設定ができ、３Ｄ撮影モードや特殊効果（アートフィルタ）もここで行う。

ステップＳ７における判定の結果、メニュー釦が押されていなかった場合には、次に、動画釦が押されたか否かを判定する（Ｓ１１）。このステップでは、操作部１２３において、動画釦の操作状態を検知し、この検知結果に基づいて判定する。

ステップＳ１１における判定の結果、動画釦が押された場合には、次に、記録中フラグの反転を行う（Ｓ１３）。前述したように、動画釦は押されるたびに、動画撮影開始と終了を交互に繰り返すので、このステップでは、記録中フラグがオフであった場合にはオンに、またオンであった場合にはオフに、記録中フラグを反転させる。

ステップＳ１３において記録中フラグの反転を行うと、次に、動画の記録中か否かの判定を行う（Ｓ１５）。記録中フラグが動画の記録状態を示しているので、このステップでは、記録中フラグがオンであるか否かの判定を行う。この判定の結果、動画記録中の場合には、動画ファイルの生成を行う（Ｓ１７）。ここでは、ＭＰＥＧ等の動画ファイルを生成する。なお、動画ファイルの記録は後述するステップＳ６９において行う。

ステップＳ１７において動画ファイルの生成を行うと、またはステップＳ１５における判定の結果、動画記録中でなかった場合には、またはステップＳ１１における判定の結果、動画釦が押されていなかった場合には、次に、ステップＳ１５と同様に、動画記録中であるか否かの判定を行う（Ｓ１９）。

ステップＳ１９における判定の結果、動画記録中でなかった場合には、次に、第１実施形態と同様に、レリーズ釦が半押しされ、ファーストレリーズスイッチがオフからオンに遷移したか否かを判定する（Ｓ２１）。この判定の結果、レリーズ釦のファーストレリーズスイッチがオフからオンに遷移した場合には、ＡＥ動作およびＡＦ動作を実行する（Ｓ２３）。ここでは、絞りおよびシャッタ速度等の露出制御値の演算および撮影レンズ２０１ａ、２０１ｂのピント合わせを行う。したがって、動画記録中ではない場合に、すなわち静止画撮影モード時に、レリーズ釦が半押しされると、その時点で、露出制御値の演算および撮影レンズ２０１のピント合わせを行う。

ステップＳ２１における判定の結果、レリーズ釦のファーストレリーズスイッチがオフからオンに遷移しなかった場合には、次に、第１実施形態と同様に、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになったか否かの判定を行う（Ｓ２７）。この判定の結果、セカンドレリーズがなされた場合には、メカシャッタによる撮影を行う（Ｓ３０）。第１実施形態においては、３Ｄ撮影モードが設定されている場合であっても１枚の画像しか取得できなかったが、本実施形態においては、撮像素子１０４から右目用の画像と左目用の２枚の画像を同時に取得することができる。なお、３Ｄ撮影モードが設定されていない場合には、１枚の画像を取得する。

メカシャッタによる撮影を行うと、次に、第１実施形態と同様に、３Ｄ撮影モードか否かを判定し（Ｓ３１）、この判定の結果、３Ｄ撮影モードでなければ、ステップＳ３０において取得した１枚の画像について画像処理を行い（Ｓ３３）、静止画記録を行う（Ｓ３５）。

ステップＳ３１における判定の結果、３Ｄ撮影モードであった場合には、画像処理・３Ｄ生成を行う（Ｓ３７）。前述したように、ステップＳ３０において視差のある２枚の画像を取得することから、このステップでは、２枚の画像を画像処理し、３Ｄ画像を生成する。この画像処理・３Ｄ生成の詳しい動作については、図１６を用いて後述する。３Ｄ画像を生成すると、記録媒体１３１に３Ｄ画像の記録を行う（Ｓ３９）。

ステップＳ２７における判定の結果、セカンドレリーズスイッチがオンとなっていなかった場合、またはステップＳ１９における判定の結果、動画記録中であった場合には、次に、第１実施形態と同様に、ＡＥ動作を行う（Ｓ６１）。このステップＳ６１以下を実行する場合は、静止画撮影モードでレリーズ釦が何ら操作されておらず単にライブビュー表示がなされている場合か、または動画記録中の場合である。

ステップＳ６１において、ＡＥ動作を行うと、次に、第１実施形態と同様に電子シャッタによる撮影を行い（Ｓ６３）、画像処理を行う（Ｓ６５）。ここでは、ライブビュー表示もしくは動画撮影のためにＡＥ動作を行って適正露出を得ると共に、画像処理を行う。この画像処理では、図４に示したフローを実行するので、基本的な画像処理を行うと共に、３Ｄ撮影モードが設定されていなければ特殊効果（アートフィルタ）の画像処理も実行する。

画像処理を行うと、第１実施形態と同様に、ライブビュー表示を行う（Ｓ６７）。ステップＳ６５において画像処理された画像データを用いて、ＬＣＤ１３５にライブビュー表示を行う。撮影者はライブビュー表示を観察することにより構図を決め、また静止画撮影中ならシャッタタイミングを、また動画撮影中なら撮影終了のタイミングを決定することができる。

ライブビュー表示を行うと、次に、ステップＳ１５、Ｓ１９と同様に、動画記録中か否かの判定を行う（Ｓ６８）。動画記録中であるか否かは記録中フラグに基づいて判定する。この判定の結果、動画記録中の場合には、動画記録を行う（Ｓ６９）。ここでは、ステップＳ６５において画像処理された画像データを画像圧縮展開部１１７によって圧縮し、記録媒体１３１に記録する。

ステップＳ６９において動画記録を行うと、またはステップＳ６８における判定の結果、動画記録中でなかった場合、またはステップＳ３９において３Ｄ画像記録を行うと、またはステップＳ３５において静止画記録を行うと、またはステップＳ２３においてＡＥ・ＡＦを行うと、次に、電源オフか否かの判定を行う（Ｓ２５）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインのフローの終了動作を行ったのち、メインフローを終了する。

次に、ステップＳ３７における画像処理・３Ｄ生成の詳しい動作について、図１６を用いて説明する。画像処理・３Ｄ生成のフローに入ると、まず、画像処理を行う（Ｓ１３１ａ）。ステップＳ３０におけるメカシャッタ撮影によって、右目部分および左目部分が写っている１枚のＲＡＷ画像データを取得しているので、このステップでは、ＲＡＷ画像データのそれぞれの部分について、画像処理のフローを実行する。このフローでは、第１実施形態の場合と同様、特殊効果（アートフィルタ）が設定されている場合には、設定された特殊効果に応じたガンマ補正（階調補正）や彩度補正（色補正）を行う。この画像処理のフローは、図４に示した画像処理のフローにおいてステップＳ７１〜Ｓ８３であり、ステップＳ８５以下は、ここでは省略し、実行しない。なお、右目用と左目用で異なる撮像素子が配置されている場合には、２枚のＲＡＷデータについてそれぞれ画像処理を行う。

ステップＳ１３１ａにおいて画像処理を行うと、３Ｄ用切り出し位置と補正処理を決定する（Ｓ１３３ａ）。第１実施形態においては、右目用画像と左目用画像を別々に撮影していたので、また撮影画角の微妙な変化や回転などを補正する処理を決定していた。第３実施形態においては、２つの画像を同一の撮像素子で受光していることから、第１実施形態のような補正は必要ないが、製造する段階で生じる誤差等があることから、この誤差を補正するようにしている。すなわち、上述の誤差を吸収するための画角の補正情報を交換式レンズ２００内のフラッシュメモリ２０９に保持しておき、レンズとの通信によって取得し、切り出し位置の補正や画角補正方法を決定する。なお、撮像素子が複数ある場合には、撮像素子の位置ズレも考慮するようにしてもよい。

次に、３Ｄ画像生成を行う（Ｓ１３５）。ここでは、３Ｄ画像生成部１１５が、ステップＳ１３１ａにおいて画像処理され、ステップＳ１３３ａにおいて３Ｄ用切り出し位置と補正処理の決定を用いて、３Ｄ画像を生成する。

３Ｄ画像を生成すると、次に、特殊画像処理を行うか否かを判定する（Ｓ１３７）。ここでは、特殊効果（アートフィルタ）が設定されている場合に、第１実施形態と同様に、追加の特殊画像処理が必要か否かを判定する。この判定の結果、特殊画像処理が必要な場合には、第１実施形態と同様に、その特殊画像処理を実行する（Ｓ１３９）。特殊画像処理を行うと、またはステップＳ１３７における判定の結果、特殊画像処理が必要でなかった場合には、画像処理・３Ｄ生成のフローを終了し、元のフローに戻る。

このように、本発明の第３実施形態においては、右目用の画像と左目用の画像を同時に取得し、この取得した画像について、ガンマ補正（階調補正）や彩度補正（色補正）等の画像処理を行った後、３Ｄ用切り出し位置と補正処理を決定している。ここで決定された切り出し位置と補正処理に従って、３Ｄ画像を生成し、３Ｄ画像生成後、必要な特殊画像処理を行うようにしている。このため、３次元画像を生成する過程で行われる画像の切り出しや回転・台形補正等を行う際に、画像が著しく変化することがなく、３次元画像を違和感なく生成することができる。

次に、本発明の第１ないし第３実施形態に係わるカメラが適用可能なマルチレコーディングについて、図１７を用いて説明する。図１７は、風景＋人物を撮影した全体画像４３１を示しており、全体画像４３１は、山４３５や人物４３７を含んでいる。カメラは全体画像４３１と共に、人物４３７を含む主要な被写体の部分画像４３３を全体画像４３１とは別に記録媒体１３１に記録する。このような１回の撮影から得られる複数の画像を別々に記録する方式をマルチレコーディングという。

マルチレコーディングを行う場合には、全体画像４３１と部分画像４３３のように複数の画像を記録することができる（図１７の例では２枚の画像を記録）。マルチレコーディングを行う際に、３Ｄ撮影モードを設定してもよく、この場合（図１７の例）には３Ｄ画像を生成するために右目用全体画像、左目用全体画像、右目用部分画像、左目用部分画像を記録媒体１３１に記録する。３Ｄ撮影モードと共に特殊効果（アートフィルタ）が設定されている場合には、本発明の第１ないし第３実施形態において説明したような手順により、特殊効果を施した３Ｄ画像を生成することができる。

例えば、第２実施形態における特殊効果を施した３Ｄ画像生成を利用すると、通常の二次元画像、３Ｄ画像、および特殊効果を施した３Ｄ画像を生成する。すなわち、図１２において、＃２０４Ｌおよび＃２０４Ｒから通常の２次元画像を取得することができる。また、＃２０７Ｌおよび＃２０７Ｒを＃２１５Ｌおよび＃２１５Ｒに置き換えて３Ｄ画像を生成することにより特殊効果を施さない３Ｄ画像を生成することができる。

＃２２３において特殊画像処理を行う場合には、図１０を用いて説明したように、左目用画像と右目用画像で被写体の略同一の場所を画像処理中心として、特殊画像処理を行う。マルチレコーディングを行う場合には、全体画像４３１と部分画像４３３で、それぞれの画像に相応しい画像処理中心を決めて画像処理を行うとよい。

特殊効果を施した３Ｄ画像を生成する際に、３Ｄ用切り出し位置や補正処理の決定にあたって使用する画像は、基本画像処理部１０９ａによって階調変換等を行うことにより、回転・台形補正によって変化することなく、また視覚的な効果に非常に影響するコントラストや彩度を変換する際のビット精度不足による階調トビを防止することができ、違和感のない立体画像を生成することができる。

このように、マルチレコーディング可能なカメラにおいては、階調変換（ガンマ補正）を行う基本画像処理部１０９ａは、特殊効果を施した３Ｄ画像以外の画像データを共に生成する場合は、階調変換の他にＲＡＷデータを立体視特殊画像効果以外の生成画像に対応した階調に変換する処理を行うようにしている。このため、マルチレコーディングやライブビューの切換えの際に、通常の２次元画像、３Ｄ画像のみ、特殊効果を施した３Ｄ画像を共に生成することが可能となる。なお、この３種類の画像の全てを生成せずに、このうちの２種類の画像を生成するようにしてもよい。

次に、本発明の第１ないし第３実施形態に係わるカメラが適用可能なデュアルエンジンについて、図１８を用いて説明する。図１および図１３に示すブロック図においては、画像処理部１０９は、１つしか設けておらず、右目用の画像データおよび左目用の画像データを順次、時系列で処理していた。画像処理部１０９の基本画像処理部１０９ａおよび特殊画像処理部１０９ｂをそれぞれ２つ設け、すなわちデュアルエンジンとすると、右目用の画像データと左目用の画像データを同時に処理することが可能となる。

図１８は、第１実施形態における図７に対応し、画像処理部１０９をデュアルエンジンにした場合の画像データと処理の流れを示す図である。図１８において、左目用画像について、＃２０１Ｌ、＃２０３Ｌ、＃２０５Ｌ、＃２２３Ｌを、画像処理部１０９の一方の処理部によって処理し、右目用画像について、＃２０１Ｒ、＃２０３Ｒ、＃２０５Ｒ、＃２２３Ｒを、画像処理部１０９の他方の処理部によって処理する。また、＃２１１および＃２２１は、３Ｄ画像生成部１１５によって処理する。

このように、画像処理部１０９をデュアルエンジンとすることにより、右目用画像データと左目用画像データを並列に画像処理することが可能となる。このため、画像処理のための時間を短縮することができる。特に、上述の第３実施形態と組み合わせると、左右の画像を同時に撮像可能であることから、特殊効果を施した３Ｄアート動画を容易に実現することができる。

以上説明したように、本発明の各実施形態やその応用例においては、ＲＡＷデータに対して特殊効果（ナチュラル等の自然の感じの処理を含む）に対応した階調に変換した画像データを用いて、立体視する画像データとして切り出すか、または幾何学変換の少なくとも１つの処理を行ってから立体画像データを生成し、この生成された立体画像データに対して特殊効果を施すようにしている。このため、特殊効果を施した立体画像が違和感なく自然に見ることができ、かつ処理時間や必要なメモリを増大させることがなく生成することができる。

なお、本発明の各実施形態においては、３Ｄ撮影モードや特殊効果（アートフィルタ）をメニュー画面において設定するようにしていたが、この設定はメニュー画面等の設定画面に限らず、例えば、専用釦を設け、この専用釦を操作によって設定するようにしてもよい。また、３Ｄ画像生成用に２枚の画像を使用したが、３枚以上であっても勿論かまわない。

また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、視差のある複数の画像に対して特殊効果を付与して立体画像を生成するための画像処理のための機器であれば、本発明を適用することができる。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００ カメラ本体
１０１ メカシャッタ
１０３ 撮像素子
１０４ 撮像素子
１０５ アナログ処理部
１０７ Ａ／Ｄ変換部
１０９ 画像処理部
１０９ａ 基本画像処理部
１０９ｂ 特殊画像処理部
１１０ バス
１１１ ＡＥ処理部
１１３ ＡＦ処理部
１１５ ３Ｄ画像生成部
１１７ 画像圧縮展開部
１２１ マイクロコンピュータ
１２３ 操作部
１２５ フラッシュメモリ
１２７ ＳＤＲＡＭ
１２９ メモリＩ／Ｆ
１３１ 記録媒体
１３３ ＬＣＤドライバ
１３５ ＬＣＤ
２００ 交換式レンズ
２０１ 撮影レンズ
２０１ａ 右目用撮影レンズ
２０１ｂ 左目用撮影レンズ
２０３ 絞り
２０３ａ 右目用絞り
２０３ｂ 左目用絞り
２０５ ドライバ
２０７ マイクロコンピュータ
２０９ フラッシュメモリ
３００ Ｉ／Ｆ
４０１ 左目用画像
４０３ 右目用画像
４１１ 人物
４１３ 山
４２１ａ 画像処理中心
４２１ｂ 画像処理中心
４３１ 全体画像
４３３ 部分画像
４３５ 山
４３７ 人物

本発明の第１の発明に係わる立体画像処理装置は、撮影して得られたＲＡＷデータに画像処理を施すことにより、視覚的に特殊効果を施し、且つ立体視が可能な画像データを生成する画像処理装置において、上記ＲＡＷデータを階調変換する階調変換部と、上記階調変換部によって階調変換された画像データを、立体視する画像データとして切り出すか、または幾何学変換のいずれかの処理を少なくとも行い、立体画像データを生成する立体画像データ処理部と、上記立体画像データ処理部で生成された上記立体画像データに対して、光学的に形成される画像類似した特殊効果または写真フィルム及び現像焼き付け工程で形成された画像に類似した特殊効果を施す特殊画像処理を行い、立体特殊画像を生成する特殊効果画像処理部と、を具備する。

第５の発明に係わる立体画像処理装置は、上記第１の発明において、上記ＲＡＷデータは、２つ以上である。
第６の発明に係わる立体画像処理装置は、上記第１の発明において、上記階調変換部は、上記立体特殊画像以外の画像データを共に生成する場合は、上記階調変換の他に上記ＲＡＷデータを上記立体特殊画像効果以外の生成画像に対応した階調に変換する処理を行う。
第７の発明に係わる立体画像処理装置は、上記第１の発明において、上記特殊効果画像処理部によって処理された立体画像データを記憶する記憶部を更に有し、この記憶部は、上記立体画像データを生成する際に行った処理を特定するためのデータを記憶する。
第８の発明に係わる立体画像処理装置は、上記第１の発明において、さらに、複数の画像データを記憶するマルチレコーディング部を有し、通常の二次元画像、３Ｄ画像、および特殊効果を施した３Ｄ画像の内の少なくとも２以上の画像データを記憶する。

第９の発明に係わる立体画像処理方法は、撮影して得たＲＡＷデータに画像処理を施すことにより、視覚的な特殊効果を表し、且つ立体視が可能な画像データを生成する画像処理方法において、上記ＲＡＷデータを階調変換し、上記階調変換された画像データを、立体視する画像データとして切り出すか、または幾何学変換の何れかの処理を少なくとも行い、立体画像データを生成し、上記立体画像データに対して、光学的に形成される画像類似した特殊効果または写真フィルム及び現像焼付工程で形成された画像に類似した特殊効果を施す特殊画像処理し、立体特殊画像を生成する。
第１０の発明に係わる立体画像処理方法は、上記第９の発明において、上記ＲＡＷデータの上記特殊効果に対応した画像処理に先だって、エッジ強調処理を実行した後に、ノイズリダクション処理を行う。

第１１の発明に係わる立体画像処理プログラムを記録した記憶媒体は、撮影して得たＲＡＷデータに画像処理を施すことにより、視覚的な特殊効果を表し、且つ立体視が可能な画像データを生成することをコンピュータに実行させるための立体画像処理プログラムを記録した記憶媒体であって、上記ＲＡＷデータを階調変換し、上記階調変換された画像データを、立体視する画像データとして切り出すか、または幾何学変換の何れかの処理を少なくとも行い、立体画像データを生成し、上記立体画像データに対して、光学的に形成される画像類似した特殊効果または写真フィルム及び現像焼付工程で形成された画像に類似した特殊効果を施す特殊画像処理し、立体特殊画像を生成する。

Claims (11)

1. 撮影して得られたＲＡＷデータに画像処理を施すことにより、視覚的に特殊効果を施し、且つ立体視が可能な画像データを生成する画像処理装置において、
   上記ＲＡＷデータを上記特殊効果に対応して階調に変換する階調変換部と、
   上記階調変換部によって階調変換された画像データを、立体視する画像データとして切り出すか、または幾何学変換のいずれかの処理を少なくとも行い、立体画像データを生成する立体画像データ処理部と、
   上記立体画像データ処理部で生成された上記立体画像データに対して、光学的に形成される画像類似した特殊効果または写真フィルム及び現像焼き付け工程で形成された画像に類似した特殊効果を施す特殊画像処理を行い、立体特殊画像を生成する特殊効果画像処理部と、
   を具備することを特徴とする立体画像処理装置。
2. 上記特殊効果画像処理部は、上記立体画像データを生成する複数の画像データのうち、基準とする画像データの所定位置に対応した画像データの位置を基に各画像データに対して上記特殊画像処理を行うことを特徴とする請求項１に記載の立体画像処理装置。
3. 上記特殊効果画像処理部は、画像データにおける座標位置により異なる画像処理を行う、または隣接する画素とは異なる処理が行われた画像データを合成することを特徴とする請求項１に記載の立体画像処理装置。
4. 上記階調変換部における画像処理内容を決定する第１の画像処理パラメータと、上記階調変換部における画像処理内容を決定する、上記第１の画像処理パラメータとは異なる特殊画像処理のための第２の画像処理パラメータとを記憶する画像処理パラメータ記憶部を更に具備し、
   上記第１の画像処理パラメータを用いて上記階調処理部で画像処理された画像を用いて上記立体画像データ処理部で行う処理内容を決定し、
   上記第２の画像処理パラメータを用いて上記特殊効果による画像処理を行い、
   上記立体画像データ処理部で上記特殊効果による画像処理を行った画像に対して立体画像を生成する、
   ことを特徴とする請求項１に記載の立体画像処理装置。
5. 上記ＲＡＷデータは、２つ以上であることを特徴とする請求項１に記載の立体画像処理装置。
6. 上記階調変換部は、上記立体視特殊画像以外の画像データを共に生成する場合は、上記階調変換の他に上記ＲＡＷデータを上記立体視特殊画像効果以外の生成画像に対応した階調に変換する処理を行うことを特徴とする請求項１に記載の立体画像処理装置。
7. 上記特殊効果画像処理部によって処理された立体画像データを記憶する記憶部を更に有し、この記憶部は、上記立体画像データを生成する際に行った処理を特定するためのデータを記憶することを特徴とする請求項１に記載の立体画像処理装置。
8. さらに、複数の画像データを記憶するマルチレコーディング部を有し、通常の二次元画像、３Ｄ画像、および特殊効果を施した３Ｄ画像の内の少なくとも２以上の画像データを記憶することを特徴とする請求項１に記載の立体画像処理装置。
9. 撮影して得たＲＡＷデータに画像処理を施すことにより、視覚的な特殊効果を表し、且つ立体視が可能な画像データを生成する画像処理方法において、
   上記ＲＡＷデータを上記特殊効果に対応した階調に変換し、
   上記階調変換された画像データを、立体視する画像データとして切り出すか、または幾何学変換の何れかの処理を少なくとも行い、立体画像データを生成し、
   上記立体画像データに対して、光学的に形成される画像類似した特殊効果または写真フィルム及び現像焼付工程で形成された画像に類似した特殊効果を施す特殊画像処理し、立体特殊画像を生成する、
   ことを特徴とする立体画像処理方法。
10. 上記ＲＡＷデータの上記特殊効果に対応した画像処理に先だって、エッジ強調処理を実行した後に、ノイズリダクション処理を行うことを特徴とする請求項９に記載の立体画像処理方法。
11. 撮影して得たＲＡＷデータに画像処理を施すことにより、視覚的な特殊効果を表し、且つ立体視が可能な画像データを生成することをコンピュータに実行させるための立体画像処理プログラムを記録した記憶媒体であって、
    上記ＲＡＷデータを上記特殊効果に対応した階調に変換し、
    上記階調変換された画像データを、立体視する画像データとして切り出すか、または幾何学変換の何れかの処理を少なくとも行い、立体画像データを生成し、
    上記立体画像データに対して、光学的に形成される画像類似した特殊効果または写真フィルム及び現像焼付工程で形成された画像に類似した特殊効果を施す特殊画像処理し、立体特殊画像を生成する、
    立体画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images