JP5668466B2 - 画像処理装置、その制御方法およびプログラム - Google Patents

Description

本発明は、画像処理装置に関し、特に、立体視画像を扱う画像処理装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、人物等の被写体を撮像して撮像画像（画像データ）を生成し、この生成された撮像画像を画像コンテンツ（画像ファイル）として記録するデジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置が普及している。例えば、撮像装置において生成された撮像画像は、所定の記録フォーマットを用いて記録媒体に記録される。

ここで、撮像画像の記録に用いられる記録フォーマットでは、アスペクト比が定められていることが多い。例えば、動画像の記録フォーマットの場合には、アスペクト比として１６：９（＝横：縦）または４：３（＝横：縦）等が定められていることが多い。また、近年では、このようなアスペクト比を扱う技術が開発されている。

例えば、複数種類のアスペクト比を互いに判別し、最適なアスペクト比で画像を出力する映像信号処理装置が提案されている（例えば、特許文献１参照。）。

特開２００９−３２４０号公報

上述の従来技術では、横長のアスペクト比を有する画像の間でアスペクト比を最適化することができる。

ここで、撮像時における撮像装置は一定の姿勢であるとは限らない。このため、撮像装置の姿勢によっては、被写体の上下と、画像再生時におけるユーザ（視聴者）の上下とが異なること（例えば、被写体が逆となる場合、被写体が横倒しとなる場合）も想定される。そこで、撮像時における撮像装置の姿勢を考慮した画像変換処理を行うことにより、被写体の上下と、画像再生時におけるユーザ（視聴者）の上下とが適切な関係となるように表示することができる。

ここで、立体視画像について記録処理や表示処理を行う場合を想定する。立体視画像は、左右眼の視差を利用して立体的な視覚を得るため、例えば、左眼視用画像および右眼視用画像に含まれる被写体が水平方向にズレている。このため、立体視画像（左眼視用画像および右眼視用画像）を見る場合には、表示される立体視画像に対して、ユーザ（視聴者）は所定の位置および姿勢で見る必要がある。このため、撮像時における撮像装置の姿勢を考慮した画像変換処理を行った場合には、立体視画像における上下方向を正しく表示することができるが、その立体視画像から立体的な視覚を得ることができなくなる。

本発明はこのような状況に鑑みてなされたものであり、画像に応じて適切に画像処理を行うことを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、画像の縦横を変換する縦横変換処理を行う画像変換部と、撮像装置に備えられた撮像部によって立体視画像撮像モードで撮像された立体視画像については、上記画像変換部による上記縦横変換処理を行わず、上記撮像部によって平面画像撮像モードで撮像された平面画像については、上記平面画像の撮像時の上記撮像装置の姿勢に基づいて、上記画像変換部による上記縦横変換処理の有無を制御する制御部とを具備し、上記制御部は、上記平面画像撮像モードが設定されている場合に、動画の記録が行われるときには、上記動画の記録開始時に検出された上記撮像装置の姿勢に基づいて、当該記録開始後の当該動画についての上記画像変換部による上記縦横変換処理の有無を決定する画像処理装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、立体視画像撮像モードで撮像された立体視画像については、縦横変換処理を行わず、平面画像撮像モードで撮像された平面画像については、平面画像の撮像時の撮像装置の姿勢に基づいて、縦横変換処理の有無を制御し、平面画像撮像モードが設定されている場合に、動画の記録が行われるときには、動画の記録開始時に検出された撮像装置の姿勢に基づいて、その記録開始後のその動画についての縦横変換処理の有無を決定するという作用をもたらす。

また、この第１の側面において、上記制御部は、上記立体視画像については、上記縦横変換処理が行われていない画像を記録し、上記平面画像については、上記姿勢に基づいて、上記縦横変換処理が行われていない画像と上記縦横変換処理が行われた画像の一方を記録するようにしてもよい。これにより、立体視画像については、縦横変換処理が行われていない画像を記録し、平面画像については、撮像装置の姿勢に基づいて、縦横変換処理が行われていない画像と縦横変換処理が行われた画像の一方を記録するという作用をもたらす。

また、この第１の側面において、上記制御部は、上記立体視画像については、上記縦横変換処理が行われていない画像を外部の記憶装置に送信する制御を行い、上記平面画像については、上記姿勢に基づいて、上記縦横変換処理が行われていない画像と上記縦横変換処理が行われた画像の一方を上記外部の記憶装置に送信する制御を行うようにしてもよい。これにより、立体視画像については、縦横変換処理が行われていない画像を外部の記憶装置に送信する制御を行い、平面画像については、撮像装置の姿勢に基づいて、縦横変換処理が行われていない画像と縦横変換処理が行われた画像の一方を外部の記憶装置に送信するという作用をもたらす。

また、この第１の側面において、上記制御部は、外部の表示装置に送信する画像に関しては、上記立体視画像か上記平面画像かに関わらず表示対象画像の上記縦横変換処理を行わないようにしてもよい。これにより、外部の表示装置に送信する画像に関しては、立体視画像か平面画像かに関わらず表示対象画像の縦横変換処理を行わないという作用をもたらす。

また、この第１の側面において、上記撮像装置の姿勢を検出する姿勢検出部を備えるようにしてもよい。これにより、姿勢検出部により撮像装置の姿勢を検出するという作用をもたらす。

また、この第１の側面において、上記画像変換部は、上記縦横変換処理と合わせて上記画像を縮小する縮小処理を行うようにしてもよい。これにより、縦横変換処理と合わせて画像を縮小する縮小処理を行うという作用をもたらす。

また、本発明の第２の側面は、画像の縦横を変換する縦横変換処理を行う画像変換部と、表示部への表示対象画像が立体視画像である場合には、上記画像変換部による上記縦横変換処理を行わず、上記表示対象画像が平面画像である場合には、上記表示対象画像の記録処理時に上記表示対象画像について上記縦横変換処理が行われたか否かと画像処理装置の姿勢とに基づいて、上記画像変換部による上記縦横変換処理の有無を制御する制御部とを具備する画像処理装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、表示対象画像が立体視画像である場合には、縦横変換処理を行わず、表示対象画像が平面画像である場合には、表示対象画像の記録処理時に表示対象画像について縦横変換処理が行われたか否かと画像処理装置の姿勢とに基づいて、縦横変換処理の有無を制御するという作用をもたらす。

また、この第２の側面において、上記制御部は、上記表示対象画像が平面画像である場合において、上記記録処理時に上記表示対象画像について上記縦横変換処理が行われた場合には、上記画像変換部による上記縦横変換処理を行わず、上記記録処理時に上記表示対象画像について上記縦横変換処理が行われていない場合には、上記画像処理装置の姿勢に基づいて、上記画像変換部による上記縦横変換処理の有無を判断するようにしてもよい。これにより、表示対象画像が平面画像である場合において、記録処理時に表示対象画像について縦横変換処理が行われた場合には、縦横変換処理を行わず、記録処理時に表示対象画像について縦横変換処理が行われていない場合には、画像処理装置の姿勢に基づいて、縦横変換処理の有無を判断するという作用をもたらす。
また、この第２の側面において、上記立体視画像を、撮像時に上記縦横変換処理が行われていない画像とするようにしてもよい。これにより、撮像時に上記縦横変換処理が行われていない画像を立体画像として用いるという作用をもたらす。
また、この第２の側面において、上記制御部は、上記表示対象画像が、上記平面画像か上記立体視画像かをメタデータに基づいて判断するようにしてもよい。これにより、表示対象画像が、平面画像か立体視画像かをメタデータに基づいて判断するという作用をもたらす。
また、この第２の側面において、上記制御部は、外部の表示装置に送信する画像に関しては、上記立体視画像か上記平面画像かに関わらず上記表示対象画像の上記縦横変換処理を行わないようにしてもよい。これにより、外部の表示装置に送信する画像に関しては、立体視画像か平面画像かに関わらず表示対象画像の縦横変換処理を行わないという作用をもたらす。
また、この第２の側面において、上記姿勢を検出する姿勢検出部を備えるようにしてもよい。これにより、姿勢検出部により画像処理装置の姿勢を検出するという作用をもたらす。
また、この第２の側面において、上記表示部を備えるようにしてもよい。これにより、表示対象画像を表示部に表示させるという作用をもたらす。

本発明によれば、画像に応じて適切に画像処理を行うことができるという優れた効果を奏し得る。

本発明の第１の実施の形態における撮像装置１００の外観構成例を示す図である。 本発明の第１の実施の形態における撮像装置１００の外観構成例を示す図である。 本発明の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。 本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。 本発明の第１の実施の形態における撮像装置１００を用いて行われる撮像動作と、この撮像動作により生成される撮像画像との関係を示す図である。 本発明の第１の実施の形態における撮像装置１００を用いて行われる撮像動作と、この撮像動作により生成される撮像画像との関係を示す図である。 本発明の第１の実施の形態における撮像装置１００の撮像動作時の姿勢と、その姿勢により生成される撮像画像との関係例を示す図である。 本発明の第１の実施の形態における撮像装置１００の撮像動作時の姿勢と、その姿勢により生成される撮像画像との関係例を示す図である。 本発明の第１の実施の形態における撮像装置１００の撮像動作時の姿勢と、画像変換部１７２により画像変換処理が行われた画像との関係例を示す図である。 本発明の第１の実施の形態における撮像装置１００の撮像動作時の姿勢と、画像変換部１７２により画像変換処理が行われた画像との関係例を示す図である。 本発明の第１の実施の形態における撮像装置１００の撮像動作時の姿勢と、撮像部１９０により生成される立体視画像との関係例を示す図である。 本発明の第１の実施の形態における撮像装置１００の撮像動作時の姿勢と、撮像部１９０により生成される立体視画像との関係例を示す図である。 本発明の第１の実施の形態における撮像装置１００による画像変換制御処理の処理手順の一例を示すフローチャートである。 本発明の第１の実施の形態における撮像装置１００により記録された画像を再生させる場合における画像再生例を示す図である。 本発明の第１の実施の形態における撮像装置１００により記録された画像を再生させる場合における画像再生例を示す図である。 本発明の第１の実施の形態における撮像装置１００による画像変換制御処理の処理手順の一例を示すフローチャートである。

以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画像変換制御：撮像部により生成された画像について画像変換処理を行う場合にその画像変換処理を撮像モードに応じて変更する例）
２．変形例

＜１．第１の実施の形態＞
［撮像装置の外観構成例］
図１および図２は、本発明の第１の実施の形態における撮像装置１００の外観構成例を示す図である。

図１（ａ）は、撮像装置１００の正面（すなわち、被写体に向けられるレンズが設けられている面）の外観を示す正面図である。また、図１（ｂ）は、撮像装置１００の背面（すなわち、撮影者に向けられる入出力パネル１５１の面）の外観を示す背面図である。また、図２（ａ）は、撮像装置１００の正面（図１（ａ）に示す状態から矢印１０２方向に９０度回転させた状態）の外観を示す正面図である。また、図２（ｂ）は、撮像装置１００の背面（図１（ｂ）に示す状態から矢印１０３方向に９０度回転させた状態）の外観を示す背面図である。なお、撮像装置１００は、例えば、立体視撮像対応の２つの撮像部を備え、被写体を撮像して２つの画像（画像データ）を生成し、これらの各画像（左眼視用画像および右眼視用画像）を関連付けて記録することが可能な撮像装置により実現される。この撮像装置は、例えば、生成された各画像を静止画コンテンツまたは動画コンテンツとしてとして記録媒体に記録することが可能なデジタルスチルカメラ、デジタルビデオカメラ（例えば、カメラ一体型レコーダ）等である。なお、撮像装置１００は、特許請求の範囲に記載の画像処理装置の一例である。

撮像装置１００は、第１撮像部１１０と、第２撮像部１２０と、電源スイッチ１４１と、シャッターボタン１４２と、操作ボタン群１４３と、上下左右ボタン１４４と、録画ボタン１４５と、入出力パネル１５１とを備える。

第１撮像部１１０および第２撮像部１２０は、被写体を撮像してその被写体を含む画像を生成するものである。例えば、平面画像（２Ｄ画像）を記録するための平面画像撮像モード（２Ｄ撮像モード）が設定されている場合には、第１撮像部１１０が、被写体を撮像してその被写体を含む画像（平面画像）を生成する。また、例えば、立体視画像（３Ｄ画像）を記録するための立体視画像撮像モード（３Ｄ撮像モード）が設定されている場合には、第１撮像部１１０および第２撮像部１２０が、立体視画像を生成する。すなわち、第１撮像部１１０が、立体視画像を生成するための左眼視用画像を生成し、第２撮像部１２０が、立体視画像を生成するための右眼視用画像を生成する。また、例えば、立体視画像の撮像動作を行う場合には、図２（ａ）および（ｂ）に示す状態で撮像動作が行われる。なお、本発明の第１の実施の形態では、図２（ａ）および（ｂ）に示す状態を撮像装置１００の横長状態（または、横姿勢）と称する。すなわち、撮像装置１００の横長状態は、第１撮像部１１０および第２撮像部１２０が設けられている面（正面）を被写体に向けた状態で、水平方向と撮像装置１００の長手方向とを同一方向とした状態である。また、本発明の第１の実施の形態では、図１（ａ）および（ｂ）に示す状態を撮像装置１００の縦長状態（または、縦姿勢）と称する。すなわち、撮像装置１００の縦長状態は、第１撮像部１１０および第２撮像部１２０が設けられている面（正面）を被写体に向けた状態で、垂直方向と撮像装置１００の長手方向とを同一方向とした状態である。なお、第１撮像部１１０および第２撮像部１２０については、図３、図４を参照して詳細に説明する。

電源スイッチ１４１は、撮像装置１００の電源をオン／オフする際に用いられる操作部材である。

シャッターボタン１４２は、第１撮像部１１０および第２撮像部１２０のうちの少なくとも１つにより生成された画像（画像データ）をコンテンツ（静止画コンテンツ）として記録する際にユーザにより押下される操作部材である。例えば、立体視画像撮像モード（３Ｄ撮像モード）が設定されている場合において、シャッターボタン１４２が半押しされた場合には、オートフォーカスを行うためのフォーカス制御が行われる。また、シャッターボタン１４２が全押しされた場合には、そのフォーカス制御が行われ、この全押しの際に第１撮像部１１０および第２撮像部１２０により生成された画像（画像データ）がコンテンツ（静止画（立体視画像）コンテンツ）として記録される。この記録処理により、コンテンツ（静止画（立体視画像）コンテンツ）が、例えば、図３に示す記憶部１８０に記録される。

操作ボタン群１４３は、各種操作を行う際に用いられる操作ボタンである。

上下左右ボタン１４４は、上下左右に関する各種操作を行う際に用いられる操作ボタンである。

録画ボタン１４５は、第１撮像部１１０および第２撮像部１２０の少なくとも１つにより生成された画像（画像データ）をコンテンツ（動画コンテンツ）として記録する際にユーザにより押下される操作部材である。例えば、立体視画像撮像モードが設定されている場合において、録画ボタン１４５が押下された場合には、第１撮像部１１０および第２撮像部１２０により生成された画像（画像データ）の記録処理が開始される。また、録画ボタン１４５が再度押下された場合には、画像（画像データ）の記録処理が終了する。この記録処理により、コンテンツ（動画（立体視画像）コンテンツ）が、例えば、図３に示す記憶部１８０に記録される。

入出力パネル１５１は、各種画像を表示するとともに、表示面に近接または接触する物体の検出状態に基づいてユーザからの操作入力を受け付けるものである。なお、入出力パネル１５１は、タッチスクリーンまたはタッチパネルとも称される。入出力パネル１５１は、操作受付部および表示パネルを備える。例えば、操作受付部として、導電性を有する物体（例えば、人物の指）の接触または近接を、静電容量の変化に基づいて検出する静電式（静電容量方式）のタッチパネルを用いることができる。また、例えば、表示パネルとして、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）パネル等の表示パネルを用いることができる。そして、入出力パネル１５１は、例えば、表示パネルの表示面上に、透明なタッチパネルを重ね合わせることにより構成される。

［撮像装置の内部構成例］
図３は、本発明の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。

撮像装置１００は、第１撮像部１１０と、第２撮像部１２０と、姿勢検出部１３０と、操作受付部１４０と、表示部１５０と、通信部１６０と、ＤＳＰ（Digital Signal Processor）１７０と、記憶部１８０とを備える。

第１撮像部１１０および第２撮像部１２０は、左眼視用画像および右眼視用画像を生成するため、光学系、撮像素子のそれぞれが左右１組となるように構成されている。すなわち、第１撮像部１１０は、撮像光学系１１１と、撮像素子１１２と、ＴＧ（Timing Generator）１１３と、光学部品駆動部１１４、１１５とを備える。また、第２撮像部１２０は、撮像光学系１２１と、撮像素子１２２と、ＴＧ１２３と、光学部品駆動部１２４、１２５とを備える。

なお、第１撮像部１１０および第２撮像部１２０の各構成（各光学系、各撮像素子等）は、配置位置が異なる点以外は略同一である。このため、以下では、これらの左右の構成のうち何れかについては一部の説明を省略して説明する。

撮像光学系１１１は、一方向の被写体を撮像するために光学設計された光学系であり、フォーカスレンズ、ズームレンズ等の各種レンズ、不要な波長を除去する光学フィルタ、絞り等の光学部品を備える。被写体から入射された光学像（被写体像）は、撮像光学系１１１における各光学部品を介して撮像素子１１２の露光面に結像される。また、撮像光学系１１１には、撮像光学系１１１を構成する光学部品を駆動するための光学部品駆動部１１４、１１５が機械的に接続されている。

撮像素子１１２は、撮像光学系１１１から供給される光学像を光電変換して電気信号（アナログの画像信号）を生成するものであり、この生成された電気信号をＤＳＰ１７０に出力する。撮像素子１１２として、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子（イメージセンサ）を用いることができる。

ＴＧ１１３は、ＤＳＰ１７０の制御に基づいて、撮像素子１１２に必要な動作パルスを生成するタイミングジェネレータである。ＴＧ１１３は、例えば、垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルス等の各種パルスを生成し、撮像素子１１２に供給する。そして、ＴＧ１１３による撮像素子１１２の駆動により被写体像が撮像される。また、ＴＧ１１３が、撮像素子１１２のシャッタースピードを調整することにより、撮像画像の露光量や露光期間が制御される（電子シャッタ機能）。

光学部品駆動部１１４、１１５は、ＤＳＰ１７０の制御に基づいて、撮像光学系１１１を構成する光学部品を駆動させるものであり、例えば、ズームモータ、フォーカスモータ等により構成される。光学部品駆動部１１４、１１５は、例えば、撮像光学系１１１を構成するズームレンズ、フォーカスレンズ等を移動させ、絞りを調整する。

姿勢検出部１３０は、撮像装置１００の加速度、動き、傾き等を検出することにより撮像装置１００の姿勢を検出するものであり、検出された姿勢に関する情報（姿勢情報）をＤＳＰ１７０に出力する。姿勢検出部１３０は、例えば、ジャイロセンサを用いて実現される。このジャイロセンサにより、撮像装置１００の角速度（３軸方向の回転角速度）が検出され、撮像装置１００の姿勢が検出される。なお、ジャイロセンサ以外の他のセンサ（例えば、加速度センサ、磁気センサ）を用いて、撮像装置１００の加速度、動き、傾き等を検出し、この検出結果に基づいて、撮像装置１００の姿勢およびその変化を検出するようにしてもよい。

操作受付部１４０は、ユーザからの操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作信号をＤＳＰ１７０に出力する。操作受付部１４０は、例えば、図１および図２に示す電源スイッチ１４１、シャッターボタン１４２、操作ボタン群１４３、上下左右ボタン１４４、録画ボタン１４５、入出力パネル１５１に対応する。

表示部１５０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬディスプレイ等により構成される。表示部１５０は、ＤＳＰ１７０の制御に基づいて、入力された各種の画像データを表示する。例えば、表示部１５０は、撮像動作中にＤＳＰ１７０からリアルタイムで入力される撮像中の撮像画像（スルー画像）を表示する。この撮像動作中では、撮像装置１００の姿勢とは無関係に撮像画像（スルー画像）が表示される。これにより、ユーザは、撮像動作中の画像を表示部１５０で見ながら、撮像装置１００を操作することができる。また、記憶部１８０に記憶されているコンテンツの再生指示操作が行われた場合には、表示部１５０は、ＤＳＰ１７０から入力されたコンテンツを表示する。これにより、ユーザは、記憶部１８０に記憶されているコンテンツの内容を確認することができる。表示部１５０は、例えば、図１および図２に示す入出力パネル１５１に対応する。

通信部１６０は、第１撮像部１１０および第２撮像部１２０により生成された撮像画像、記憶部１８０に記憶されている画像等を外部装置（例えば、表示装置）に出力するための通信部である。通信部１６０は、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）を含む。

ＤＳＰ１７０は、撮像画像の画像処理や、撮像装置１００の動作制御を行うための演算処理装置である。ＤＳＰ１７０は、図４に示す信号処理部１７１、画像変換部１７２、モード設定部１７３、制御部１７４、記録制御部１７５および表示制御部１７６を備える。例えば、制御部１７４は、ＤＳＰ１７０に設けられているマイクロコントローラ等の演算処理装置で構成され、撮像装置１００の全体の動作を制御する。制御部１７４は、例えば、記憶部１８０に含まれるフラッシュＲＯＭ（Read Only Memory）等に格納されているプログラムに基づいて動作することにより、制御のために必要な各種の演算処理を実行する。この演算処理には、記憶部１８０に含まれるＤＲＡＭ（Dynamic Random Access Memory）を用いるようにしてもよい。なお、そのプログラムとして、ディスク状記録媒体、またはメモリカード等のリムーバブル記憶媒体に格納されて撮像装置１００に供給されるものを用いるようにしてもよい。また、ＬＡＮ（Local Area Network）、インターネット等のネットワークを介して撮像装置１００にダウンロードされるものを用いるようにしてもよい。

また、例えば、制御部１７４は、ＴＧ１１３、１２３や光学部品駆動部１１４、１１５、１２４、１２５を制御し、第１撮像部１１０による撮像動作を制御する。また、制御部１７４は、撮像光学系１１１、１２１の絞りの調整、撮像素子１１２、１２２の電子シャッタースピードの設定、信号処理部１７１のＡＧＣのゲイン設定等により、自動露光制御を行う（ＡＥ機能）。また、制御部１７４は、撮像光学系１１１、１２１のフォーカスレンズを移動させ、特定の被写体に対して撮像光学系１１１、１２１の焦点を自動的に合わせるオートフォーカス制御を行う（ＡＦ機能）。また、制御部１７４は、撮像光学系１１１、１２１のズームレンズを移動させ、撮像画像の画角を調整する。また、制御部１７４は、記録制御部１７５による画像データの記録処理、表示制御部１７６による画像データの再生処理を制御する。さらに、制御部１７４は、表示部１５０に各種の表示データを表示させるための表示制御を行う。なお、ＤＳＰ１７０を構成する各部については、図４を参照して詳細に説明する。

記憶部１８０は、各種データ（例えば、撮像装置１００における各処理に用いられるデータ）を格納する記憶部である。記憶部１８０として、例えば、半導体メモリ、光ディスクまたはハードディスク等を用いることができる。なお、半導体メモリとして、フラッシュＲＯＭ（Read Only Memory）、ＤＲＡＭ（Dynamic Random Access Memory）等を用いることができる。また、光ディスクとして、ＢＤ（Blu-ray Disc）、ＤＶＤ（Digital Versatile Disc）、ＣＤ（Compact Disc）等を用いることができる。記憶部１８０として、撮像装置１００に内蔵される記憶装置を用いるようにしてもよく、撮像装置１００に着脱可能なメモリカード等のリムーバブルメディア（記録媒体）を用いるようにしてもよい。また、記憶部１８０として、複数の種類の記憶装置またはリムーバブルメディアを用いるようにしてもよい。

［撮像装置の機能構成例］
図４は、本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。なお、図３に示す機能構成と同一の部分については、同一の符号を付してこれらの説明の一部を省略する。また、信号線等の一部については、その図示および説明を省略する。

撮像装置１００は、撮像部１９０と、姿勢検出部１３０と、操作受付部１４０と、表示部１５０と、通信部１６０とを備える。また、撮像装置１００は、信号処理部１７１と、画像変換部１７２と、モード設定部１７３と、制御部１７４と、記録制御部１７５と、表示制御部１７６と、記憶部１８０とを備える。なお、撮像部１９０は、第１撮像部１１０および第２撮像部１２０を備える。

撮像部１９０は、被写体を撮像してその被写体を含む平面画像またはその被写体を立体視するための立体視画像を生成する撮像部であり、モード設定部１７３により設定された撮像モードに応じた撮像処理を行う。すなわち、モード設定部１７３により平面画像撮像モード、立体視画像撮像モードおよび再生モードの何れかのモードが設定される。平面画像撮像モードは、平面画像を記録する撮像モードである。また、立体視画像撮像モードは、立体視画像を記録するための撮像モードである。なお、これらの各撮像モードについては、静止画を記録するための静止画撮像モードと、動画を記録するための動画撮像モードとの何れについても設定することができるものとする。すなわち、平面画像撮像モードおよび立体視画像撮像モードの何れかの撮像モードが設定されている場合には、ユーザ操作に基づいて、静止画の記録動作および動画の記録動作の何れについても行うことができる。また、再生モードは、記憶部１８０に記憶されている画像コンテンツの再生を行うためのモードである。

具体的には、撮像部１９０は、第１撮像部１１０および第２撮像部１２０を備える。例えば、平面画像撮像モードが設定されている場合には、第１撮像部１１０は、特定方向（例えば、光軸方向）の被写体を撮像して平面画像を生成する。また、立体視画像撮像モードが設定されている場合には、第１撮像部１１０および第２撮像部１２０により立体視画像が生成される。すなわち、第１撮像部１１０は、特定方向の被写体を撮像して立体視画像を表示するための第１画像（左眼視用画像）を生成し、第２撮像部１２０は、その立体視画像を表示するための第２画像（右眼視用画像）を生成する。そして、撮像部１９０は、このように生成された画像（画像データ）を信号処理部１７１に出力する。

姿勢検出部１３０は、撮像装置１００の姿勢を検出するものであり、検出された姿勢に関する姿勢情報を制御部１７４に出力する。

操作受付部１４０は、ユーザからの操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作信号を制御部１７４に出力する。例えば、操作受付部１４０は、静止画の記録動作の指示操作や動画の記録動作開始（または記録動作終了）の指示操作を受け付ける。また、操作受付部１４０は、モードを設定する設定操作を受け付ける。

信号処理部１７１は、制御部１７４の制御に基づいて、撮像部１９０から出力された画像（画像データ）に対して所定の信号処理を実行するものであり、信号処理後の画像（画像データ）を画像変換部１７２に供給する。例えば、信号処理部１７１は、図３に示す撮像素子１１２、１２２から出力された画像信号（アナログの画像信号）に対して所定の信号処理を実行し、信号処理後の画像信号（デジタルの画像信号）を各部に供給する。また、信号処理部１７１は、例えば、アナログ信号処理部、Ａ／Ｄ（アナログ／デジタル）変換部、デジタル信号処理部により構成される。アナログ信号処理部は、画像信号を前処理する処理部（いわゆる、アナログフロントエンド）である。このアナログ信号処理部は、例えば、撮像素子１１２、１２２から出力された画像信号に対して、ＣＤＳ（correlated double sampling：相関２重サンプリング）処理、プログラマブルゲインアンプ（ＰＧＡ）によるゲイン処理等を行う。Ａ／Ｄ変換部は、アナログ信号処理部から出力された画像信号（アナログの画像信号）をデジタル画像信号に変換してデジタル信号処理部に出力する。デジタル信号処理部は、Ａ／Ｄ変換部から出力されたデジタル画像信号に対して、例えば、ノイズ除去、ホワイトバランス調整、色補正、エッジ強調、ガンマ補正等のデジタル信号処理を行い、各部に出力する。なお、信号処理部１７１は、必ずしもアナログおよびデジタル信号処理を実行しなくてもよい。例えば、第１撮像部１１０および第２撮像部１２０がデジタル画像信号を出力し、信号処理部１７１がデジタル信号処理のみを実行するようにしてもよい。

画像変換部１７２は、制御部１７４の制御に基づいて信号処理部１７１から出力された画像（画像データ）について各種画像変換処理を行うものであり、画像変換処理が行われた画像を通信部１６０、記録制御部１７５または表示制御部１７６に出力する。また、画像変換部１７２は、再生モードの設定時には、制御部１７４の制御に基づいて表示制御部１７６から出力された画像（画像データ）について各種画像変換処理を行い、画像変換処理が行われた画像を通信部１６０または表示制御部１７６に出力する。また、画像変換部１７２は、モード設定部１７３により設定されているモードに応じた画像処理を行う。例えば、画像変換部１７２は、撮像部１９０により生成された画像（信号処理部１７１から出力された画像）について、縦横変換処理、縮小処理、回転処理（１８０度の回転）を行うことにより、その画像を変換する。また、画像変換部１７２は、記憶部１８０に記録されている画像（表示制御部１７６により取得された画像）について、縦横変換処理および拡大処理を行うことにより、その画像を変換する。なお、画像変換部１７２は、画像変換が不要な場合には、信号処理部１７１から出力された画像（画像データ）について画像変換処理を行わずに、通信部１６０、記録制御部１７５または表示制御部１７６に出力する。また、画像変換部１７２は、撮像モードの設定時において表示部１５０にスルー画像を表示する場合には、信号処理部１７１から出力された画像（画像変換処理が行われていない画像）を表示制御部１７６に出力する。

モード設定部１７３は、制御部１７４の制御に基づいて撮像モードまたは再生モードを設定するものである。具体的には、モード設定部１７３は、平面画像撮像モードと、立体視画像撮像モードと、再生モードとの何れかを設定する。例えば、操作受付部１４０により受け付けられるユーザ操作に基づいて各モードが設定される。

制御部１７４は、撮像装置１００全体の制御を行うものである。例えば、制御部１７４は、操作受付部１４０により受け付けられたユーザからの操作入力に応じた制御を行う。

また、例えば、制御部１７４は、立体視画像撮像モードの設定時には、姿勢検出部１３０により検出された撮像装置１００の姿勢にかかわらず、立体視画像を記憶部１８０に記録させる制御を行う。また、制御部１７４は、平面画像撮像モードの設定時には、姿勢検出部１３０により検出された撮像装置１００の姿勢に基づいて、平面画像と、画像変換部１７２により平面画像が変換された画像（変換画像）との何れかを記憶部１８０に記録させる制御を行う。この場合に、制御部１７４は、平面画像撮像モードの設定時において、撮像装置１００の筐体の長手方向と水平方向とが一致する姿勢（第１姿勢（基本姿勢））が検出された場合には、平面画像を記憶部１８０に記録させる制御を行う。一方、撮像装置１００の筐体の長手方向と垂直方向とが一致する姿勢（第２姿勢（縦姿勢））が検出された場合には、その変換画像を記憶部１８０に記録させる制御を行う。

ただし、平面画像撮像モードの設定時において、第１姿勢（基本姿勢）を基準として撮像装置１００の筐体の上下方向が逆となっている姿勢（逆姿勢）が検出された場合を想定する。この場合には、制御部１７４は、画像変換部１７２により平面画像が回転処理（１８０度の回転）された画像を記憶部１８０に記録させる制御を行う。また、第２姿勢（縦姿勢）を基準として撮像装置１００の筐体の上下方向が逆となっている姿勢（縦姿勢かつ逆姿勢）が検出された場合を想定する。この場合には、制御部１７４は、画像変換部１７２により変換画像がさらに回転処理（１８０度の回転）された画像を記憶部１８０に記録させる制御を行う。

また、制御部１７４は、平面画像撮像モードの設定時には、操作受付部１４０により動画の記録動作開始の指示操作が受け付けられた際に姿勢検出部１３０により検出された撮像装置１００の姿勢を基準として上述した画像変換処理を行わせる。すなわち、その指示操作が受け付けられた際に姿勢検出部１３０により検出された撮像装置１００の姿勢に基づいて、平面画像と、変換画像との何れかをその指示操作に係る動画として記憶部１８０に記録させるかを決定する。

また、制御部１７４は、立体視画像撮像モードの設定時には、姿勢検出部１３０により検出された撮像装置１００の姿勢にかかわらず立体視画像を表示させるための立体視画像情報を外部の表示装置に送信する制御を行う。また、制御部１７４は、平面画像撮像モードの設定時には、姿勢検出部１３０により検出された撮像装置１００の姿勢に基づいて、平面画像と変換画像との何れかの画像を表示させるための画像情報をその表示装置に送信する制御を行う。

また、制御部１７４は、再生モードの設定時において、表示対象画像が立体視画像である場合には、姿勢検出部１３０により検出された撮像装置１００の姿勢にかかわらず、立体視画像を表示部１５０に表示させる制御を行う。また、制御部１７４は、表示対象画像が立体視画像でない場合には、その検出された姿勢と、表示対象画像が変換画像であるか否かとに基づいて、平面画像と変換画像と画像変換部１７２による新たな変換画像との何れかを表示部１５０に表示させる制御を行う。

記録制御部１７５は、制御部１７４の制御に基づいて、画像変換部１７２から出力された画像の圧縮記録処理を行うものである。例えば、記録制御部１７５は、撮像モードの設定時において、録画ボタン１４５（図１等に示す）が押下された場合には、所定の記録フォーマットにより撮像画像（フレーム）を圧縮する。そして、その圧縮された画像データを、動画コンテンツとして記憶部１８０に記録させる。なお、所定の記録フォーマットとして、例えば、ＭＰＥＧ（Moving Picture Experts Group）４を用いることができる。また、記録制御部１７５は、撮像モードが設定されている場合においてシャッターボタン１４２（図２等に示す）が押下された場合には、撮像画像（静止画）を所定の圧縮符号化方式で圧縮し、静止画コンテンツとして記憶部１８０に記録させる。また、記録制御部１７５は、画像変換部１７２から出力された画像を記憶部１８０に記録させる際に、その画像に関するメタデータ（付随情報）を付加して記録させる。

表示制御部１７６は、制御部１７４の制御に基づいて、画像変換部１７２から出力された画像または記憶部１８０に記憶されている画像を表示部１５０に表示させるものである。例えば、表示制御部１７６は、撮像モードが設定されている場合には、画像変換部１７２から出力された画像（画像変換処理がされていない画像）をスルー画像として表示部１５０に表示させる。また、表示制御部１７６は、再生モードが設定されている場合には、操作受付部１４０からの再生指示操作に係る画像コンテンツを記憶部１８０から取得して圧縮画像データを伸張して表示部１５０に表示させる。また、表示制御部１７６は、記憶部１８０から取得された画像コンテンツに付加されているメタデータを取得し、これを制御部１７４に出力する。このメタデータに基づいて、画像コンテンツに対応する画像について、画像変換部１７２による画像変換処理が必要な場合には、表示制御部１７６は、その画像コンテンツを画像変換部１７２に出力する。そして、画像変換部１７２は、その画像コンテンツに対応する画像について画像変換処理を行い、表示制御部１７６に出力する。

［撮像動作例およびこれにより生成される画像例］
図５および図６は、本発明の第１の実施の形態における撮像装置１００を用いて行われる撮像動作と、この撮像動作により生成される撮像画像との関係を示す図である。

図５（ａ）には、撮像装置１００を用いた撮像動作の対象（撮像対象）となる人物４０１、４０２を示す。図５（ｂ）には、図５（ａ）に示す人物４０１、４０２を被写体とする画像を記録する場合における撮像動作（人物４０３による撮像動作）を側面から見た場合を示す。なお、図５等では、説明の容易のため、人物４０１、４０２およびその背景を簡略化して示す。

図６（ａ）には、横長状態とされた撮像装置１００を用いて、図５（ｂ）に示す状態で撮像動作が行われた場合に入出力パネル１５１に表示されるスルー画像の一例を示す。

図６（ｂ）には、平面画像撮像モードが設定されている場合において、図６（ａ）に示す状態でシャッターボタン１４２が全押しされた際に記録される画像（平面画像４３０）を示す。このように平面画像撮像モードが設定されている場合には、第１撮像部１１０により生成された画像（平面画像４３０）が記録対象画像となる。この平面画像４３０は、人物４０１、４０２が並んで配置された横長画像である。

図６（ｃ）には、立体視画像撮像モードが設定されている場合において、図６（ａ）に示す状態でシャッターボタン１４２が全押しされた際に記録される画像（立体視画像４４０）を示す。このように立体視画像撮像モードが設定されている場合には、第１撮像部１１０および第２撮像部１２０により生成された画像（立体視画像４４０）が記録対象画像となる。この立体視画像４４０は、第１撮像部１１０により生成された左眼視用画像４４１と、第２撮像部１２０により生成された右眼視用画像４４２とにより構成される。左眼視用画像４４１および右眼視用画像４４２は、立体視画像を表示するための１組の画像であり、撮像範囲に含まれる被写体（人物４０１、４０２）が水平方向にズレている（矢印４４５で示す）。なお、点線の楕円４４４は、右眼視用画像４４２に含まれる人物４０１の顔の輪郭を表す。

このように、撮像装置１００を用いて撮像動作を行う場合には、複数種類の撮像画像を記録することができる。また、撮像装置１００の姿勢を変化させることにより、他の構図となる撮像画像を記録することができる。この例を図７および図８に示す。

［撮像装置の姿勢と撮像画像との関係例］
図７および図８は、本発明の第１の実施の形態における撮像装置１００の撮像動作時の姿勢と、その姿勢により生成される撮像画像との関係例を示す図である。

図７（ａ）乃至（ｄ）には、人物４０１、４０２を被写体として撮像動作を行う撮像装置１００の姿勢として４種類の姿勢を示す。なお、光軸方向を軸として撮像装置１００を９０度回転（矢印４５１乃至４５４）させることにより、図７（ａ）乃至（ｄ）に示す各姿勢とすることができる。

ここで、人物４０１、４０２を被写体として撮像動作を行う場合には、例えば、図７（ａ）に示す横長状態で撮像動作が行われる。ここで、以下では、図７（ａ）に示す横長状態を基本姿勢と称して説明する。また、人物４０１のみを被写体として撮像動作を行う場合には、例えば、図７（ｂ）に示す横長状態（縦姿勢）で撮像動作が行われる。しかしながら、例えば、人物４０３が左手のみで撮像装置１００を操作する場合等も想定される。この場合には、撮像装置１００の姿勢が図７（ｃ）および（ｄ）に示す姿勢となることも想定される。

そこで、以下では、撮像装置１００の姿勢について、２つの分類を用いて説明する。例えば、図７（ａ）乃至（ｄ）に示す撮像装置１００の各姿勢のうち、図７（ｂ）および（ｄ）に示す撮像装置１００の姿勢を縦姿勢と称する。また、図７（ｃ）および（ｄ）に示す撮像装置１００の姿勢を逆姿勢と称する。なお、ここでは、撮像装置１００の姿勢として、撮像装置１００を用いて撮像動作を行う場合における姿勢について説明するが、撮像装置１００が画像を表示する場合についても同様の名称（基本姿勢、縦姿勢、逆姿勢）を用いるものとする。

最初に、図７（ｂ）および（ｄ）に示すように、撮像装置１００が縦姿勢である場合について説明する。この場合に生成される撮像画像は、撮像装置１００が横長状態とされている場合に生成される撮像画像と比較すると、縦横が逆転した画像となる。

次に、図７（ｃ）および（ｄ）に示すように、撮像装置１００が逆姿勢である場合について説明する。例えば、人物４０３が撮像装置１００を手に持った状態で撮像動作（静止画の撮像動作）を行う場合には、入出力パネル１５１が見える状態で右手（例えば、人差し指や親指）をシャッターボタン１４２にかける。そして、所望のタイミングでシャッターボタン１４２を押下することにより撮像動作を行う。このため、一般に、人物が撮像装置１００を手に持った状態で撮像動作（静止画の撮像動作）を行う場合には、図７（ａ）または（ｂ）に示す姿勢で行われることが多い。これに対して、図７（ｃ）に示す姿勢は、一般に行われる図７（ａ）に示す姿勢と比べて上下が逆転した姿勢となる。このため、上述したように、図７（ｃ）に示す撮像装置１００の姿勢を逆姿勢と称する。

また、上述したように、撮像装置１００の縦姿勢として、図７（ｂ）および（ｄ）に示す撮像装置１００の姿勢の２種類がある。そこで、本発明の第１の実施の形態では、その２種類の姿勢を区別するため、縦姿勢についても逆姿勢であるか否かに応じて名称を区別して用いる。

上述したように、一般に、人物が撮像装置１００を手に持った状態で撮像動作（静止画の撮像動作）を行う場合には、図７（ａ）または（ｂ）に示す姿勢で行われることが多い。これに対して、図７（ｄ）に示す姿勢は、一般に行われる図７（ｂ）に示す姿勢と比べて上下が逆転した姿勢となる。そこで、図７（ｄ）に示す撮像装置１００の姿勢を縦姿勢かつ逆姿勢と称する。

図８（ａ）には、撮像装置１００が縦姿勢である場合に、第１撮像部１１０により生成される撮像画像の一例（平面画像４６０）を示す。図８（ａ）に示す撮像装置１００の姿勢は、図７（ａ）に示す撮像装置１００の姿勢（基準姿勢）から光軸方向を軸として、ＣＣＷ（Counter ClockWise：反時計回り）方向に撮像装置１００を−９０°回転させた姿勢である。この場合には、第１撮像部１１０も撮像装置１００の回転に応じてＣＣＷ方向に−９０°回転しているため、第１撮像部１１０により生成される平面画像４６０においても人物４０１が９０°回転した横倒しの状態となる。

図８（ｂ）には、撮像装置１００が縦姿勢かつ逆姿勢である場合に、第１撮像部１１０により生成される撮像画像の一例（平面画像４７０）を示す。図８（ｂ）に示す撮像装置１００の姿勢は、図７（ａ）に示す撮像装置１００の姿勢（基準姿勢）から光軸方向を軸としてＣＣＷ方向に撮像装置１００を１８０°回転させた姿勢である。この場合には、第１撮像部１１０も撮像装置１００の回転に応じて１８０°回転しているため、第１撮像部１１０により生成される平面画像４７０においても人物４０１、４０２が１８０°回転した状態となる。

図８（ａ）および（ｂ）に示す撮像装置１００の姿勢により生成された平面画像４６０、４７０を入出力パネル１５１に表示させる場合には、撮像装置１００の姿勢による影響が生じる。例えば、図７（ａ）に示す撮像装置１００の姿勢で撮像動作が行われて記録された平面画像を、図７（ｂ）に示す撮像装置１００の姿勢で再生させる場合を想定する。この場合には、入出力パネル１５１に表示される平面画像（再生画像）において、人物４０１、４０２は、ＣＣＷ方向に−９０°回転した横倒しの状態として表示される。

また、例えば、図７（ａ）に示す撮像装置１００の姿勢で撮像動作が行われて記録された平面画像を、図７（ｃ）に示す撮像装置１００の姿勢で再生させる場合を想定する。この場合には、入出力パネル１５１に表示される平面画像（再生画像）において、人物４０１、４０２がＣＣＷ方向に１８０°回転した状態（すなわち、上下が逆転した状態）として表示される。

このように、撮像動作時における撮像装置１００の姿勢および画像再生時における撮像装置１００の姿勢によっては、画像再生時において表示画像を適切に表示することができないおそれがある。そこで、本発明の第１の実施の形態では、撮像動作時における撮像装置１００の姿勢に基づいて撮像画像を変換して記録する。

［画像変換例］
図９および図１０は、本発明の第１の実施の形態における撮像装置１００の撮像動作時の姿勢と、画像変換部１７２により画像変換処理が行われた画像との関係例を示す図である。

図９（ａ）には、撮像装置１００を縦姿勢として撮像動作が行われている場合における入出力パネル１５１の表示例を示す。なお、図９（ａ）に示す表示例は、図７（ｂ）と同一である。

図９（ｂ）には、撮像装置１００が縦姿勢である場合（すなわち、図９（ａ）に示す姿勢である場合）に、記録制御部１７５により記録される変換画像５１０を示す。

図９（ｃ）には、撮像装置１００が縦姿勢である場合（すなわち、図９（ａ）に示す姿勢である場合）に、通信部１６０から表示装置５２０に出力された画像を表示装置５２０において表示する場合を簡略化して示す。なお、表示装置５２０が備える表示部の表示面におけるアスペクト比は横長であるものとする。

図９（ａ）に示す例では、撮像装置１００は、基本姿勢（すなわち、図７（ａ）に示す姿勢）からＣＣＷ方向に−９０°回転された姿勢（縦姿勢）となっている。この場合、画像変換部１７２は、制御部１７４の制御に基づいて、第１撮像部１１０により生成された撮像画像について縦横変換処理および縮小処理を行い、その撮像画像を変換する。また、記録制御部１７５は、制御部１７４の制御に基づいて、画像変換部１７２により変換された画像（変換画像５１０）を記憶部１８０に記録させる。また、通信部１６０は、制御部１７４の制御に基づいて、画像変換部１７２により変換された画像（変換画像５１０）を外部の表示装置５２０に出力する。すなわち、表示面におけるアスペクト比が横長である表示装置５２０を用いて、変換画像５１０（図９（ｂ）に示す）を表示する場合には、変換画像５１０がそのまま表示される。また、この場合に、表示装置５２０が備える表示部の表示面に対応する拡大縮小処理等が適宜行われる。

このように、図９（ａ）に示す姿勢（縦姿勢）で撮像動作が行われて記憶部１８０に記憶された画像（変換画像５１０）は、縦姿勢で撮像装置１００により生成された画像であるため、縦長の画像として表示部１５０に表示されるようにする。しかしながら、記憶部１８０に記憶される画像（変換画像５１０）は横長である。そこで、第１撮像部１１０により生成された画像について、縦横変換処理および縮小処理が行われ、長手方向の両側に黒画像が付加される。その縮小処理では、その縦サイズが記録対象画像のサイズを超えないように縮小される。

同様に、図９（ａ）に示す姿勢（縦姿勢）で撮像動作が行われて表示装置５２０に表示される画像は、縦姿勢で撮像装置１００により生成された画像であるため、縦長の画像として表示装置５２０に表示されるようにする。この場合についても、上述したように、縦横変換処理および縮小処理が行われ、長手方向の両側に黒画像が付加される。

すなわち、制御部１７４は、姿勢検出部１３０からの姿勢情報に基づいて撮像装置１００の姿勢を判断する。そして、撮像装置１００が縦姿勢であると判断された場合には、画像変換部１７２は、制御部１７４の制御に基づいて、第１撮像部１１０および信号処理部１７１により生成された撮像画像を、縦横変換画像に変換する。具体的には、画像変換部１７２は、その撮像画像をＣＣＷ方向に９０°回転させる。この回転により、撮像画像の縦横が変換される。撮像装置１００が縦姿勢の場合、基本姿勢の場合と比較して、撮像画像の縦横が逆転しているため、その撮像画像の縦横をさらに逆転させることにより、撮像画像の縦横を元に戻すことができる。

続いて、画像変換部１７２は、縦横変換された画像を縮小する。ここで、本発明の第１の実施の形態では、記録フォーマットとして、１６：９（＝横：縦）のアスペクト比が定められている例を示す。上述したように、縦横変換処理後の画像のアスペクト比は、９：１６（＝横：縦）となるため、縦サイズが、記録フォーマットにより記録可能なサイズを超えてしまう。そこで、記録対象画像の縦サイズが記録フォーマットにより記録可能なサイズを超えないように画像を縮小する。なお、他のアスペクト比（例えば、４：３（＝横：縦））が定められている場合についても、本発明の第１の実施の形態を適用することができる。

続いて、画像変換部１７２は、縮小された画像に所定画像（例えば、黒画像）を付加する。すなわち、縮小後の画像については、横長のアスペクト比の画像に、縮小した縦長の画像が含まれるため、画像の左右が開いてしまう。そこで、画像変換部１７２は、画像の左右両側に所定画像（例えば、水平方向におけるサイズＷ１の領域）を付加する。なお、この画像付加処理では、画像の開いている部分を埋めることができればよいため、所定画像以外の表示要素（例えば、壁紙等の画像）を代わりに付加するようにしてもよい。これらの各処理により、撮像画像と同じサイズの変換画像が生成される。

なお、撮像装置１００が縦姿勢でない場合には、制御部１７４は、撮像画像について縦横変換処理および縮小処理を行わないと判断する。

図１０（ａ）には、撮像装置１００を逆姿勢として撮像動作が行われている場合における入出力パネル１５１の表示例を示す。なお、図１０（ａ）に示す表示例は、図７（ｃ）と同一である。

図１０（ｂ）には、撮像装置１００が逆姿勢である場合（すなわち、図１０（ａ）に示す姿勢である場合）に、記録制御部１７５により記録される変換画像５４０を示す。

図１０（ｃ）には、撮像装置１００が逆姿勢である場合（すなわち、図１０（ａ）に示す姿勢である場合）に、通信部１６０から表示装置５５０に出力された画像を表示装置５５０において表示する場合を簡略化して示す。なお、表示装置５５０が備える表示部の表示面におけるアスペクト比は横長であるものとする。

図１０（ａ）に示す例では、撮像装置１００は、基本姿勢（すなわち、図７（ａ）に示す姿勢）から１８０°回転された姿勢（逆姿勢）となっている。この場合、画像変換部１７２は、制御部１７４の制御に基づいて、第１撮像部１１０により生成された撮像画像について回転処理を行い、その撮像画像を変換する。また、記録制御部１７５は、制御部１７４の制御に基づいて、画像変換部１７２により変換された画像（変換画像５４０）を記憶部１８０に記録させる。また、通信部１６０は、制御部１７４の制御に基づいて、画像変換部１７２により変換された画像（変換画像５４０）を外部の表示装置５５０に出力する。すなわち、表示面におけるアスペクト比が横長である表示装置５５０を用いて、変換画像５４０を表示する場合には、変換画像５４０がそのまま表示される。また、この場合に、表示装置５５０が備える表示部の表示面に対応する拡大縮小処理等が適宜行われる。

すなわち、制御部１７４は、姿勢検出部１３０からの姿勢情報に基づいて撮像装置１００の姿勢を判断する。そして、撮像装置１００が逆姿勢であると判断された場合には、画像変換部１７２は、制御部１７４の制御に基づいて、第１撮像部１１０および信号処理部１７１により生成された撮像画像を回転させる。具体的には、画像変換部１７２は、その撮像画像を１８０°回転させる。この回転により、撮像画像の上下が変換される。撮像装置１００が逆姿勢の場合、基本姿勢の場合と比較して、撮像画像の上下が逆転しているため、その撮像画像の上下をさらに逆転させることにより、撮像画像の上下関係を元に戻すことができる。なお、撮像画像自体は横長であるため、サイズを変更しなくてもよい。

なお、撮像装置１００が逆姿勢でない場合には、制御部１７４は、撮像画像について回転処理を行わないと判断する。

また、撮像装置１００が縦姿勢かつ逆姿勢である場合（すなわち、図７（ｂ）に示す姿勢である場合）には、上述した縦横変換処理および縮小処理と、回転処理とが順次行われる。

ここで、制御部１７４は、記録制御部１７５が動画の記録を開始する場合には、姿勢検出部１３０からの姿勢情報に基づいてその開始時における撮像装置１００の姿勢を判断し、以後もその判断結果を継続して用いるようにする。すなわち、制御部１７４は、動画の撮像動作により記録制御部１７５による画像の記録が継続して行われる場合でも、記録制御部１７５による画像の記録開始時における撮像装置１００の姿勢に基づいて、画像変換部１７２を制御する。例えば、撮像画像の記録が開始された後の撮像装置１００の姿勢の変化は、ユーザが意図的に行っていることが多いため、このような構成が有効である。ただし、制御部１７４は、記録制御部１７５による動画の記録の間、姿勢検出部１３０からの姿勢情報に基づいて撮像装置１００の姿勢を判断し続け、その判断された姿勢に基づいて画像変換部１７２を順次制御するようにしてもよい。また、これらの判断のタイミングについては、ユーザ操作により設定内容を変更するようにしてもよい。

また、上述した各処理（縦横変換処理、縮小処理、回転処理等）により変換された変換画像が画像コンテンツとして記憶部１８０に記録される場合には、変換された画像である旨を示すメタデータ（付随情報）がその画像コンテンツに含めて記録される。例えば、記録制御部１７５は、制御部１７４の制御に基づいて、変換された画像である旨を示すメタデータ（付随情報）を、画像ファイルに含まれるタグ情報として記録させる。このメタデータには、変換画像の種類（縦横変換処理および縮小処理がされた画像、回転処理がされた画像、立体視画像等）についても記録される。

ここで、上述した各処理（縦横変換処理、縮小処理、回転処理等）により画像（記録対象画像、外部機器への出力対象画像）が変換された場合でも、入出力パネル１５１には、第１撮像部１１０により生成された撮像画像がスルー画像として表示される。すなわち、入出力パネル１５１は撮像装置１００に設けられているため、入出力パネル１５１は、第１撮像部１１０とともに回転している。このため、撮像装置１００の姿勢に関わらず、入出力パネル１５１に表示されるスルー画像については縦横または上下が逆転しないため、入出力パネル１５１に表示される画像を変換する必要がない。

このように、平面画像撮像モードが設定されている場合において、撮像装置１００が縦姿勢または逆姿勢である場合には画像変換処理を行うことにより、表示画像における上下方向を正しく表示することができる。次に、立体視画像撮像モードが設定されている場合において、撮像装置１００が縦姿勢または逆姿勢である場合について説明する。

［立体視画像撮像モード設定時における画像生成例］
図１１および図１２は、本発明の第１の実施の形態における撮像装置１００の撮像動作時の姿勢と、撮像部１９０により生成される立体視画像との関係例を示す図である。

図１１（ａ）には、立体視画像撮像モードが設定されている場合において、撮像装置１００を縦姿勢とした状態で行われている撮像動作中における撮像装置１００の背面側を示す。すなわち、図１１（ａ）に示す例では、人物４０１のみを被写体として撮像動作を行う場合における入出力パネル１５１の表示例を示す。

図１１（ｂ）には、図１１（ａ）に示す状態でシャッターボタン１４２が全押しされた際に生成される立体視画像５６０を示す。上述したように、立体視画像５６０は、第１撮像部１１０により生成される左眼視用画像５６１と、第２撮像部１２０により生成される右眼視用画像５６２とにより構成される。左眼視用画像５６１および右眼視用画像５６２は、立体視画像を表示するための１組の画像であり、撮像範囲に含まれる被写体（人物４０１）が水平方向にズレている（矢印５６５で示す）。なお、点線の楕円５６４は、右眼視用画像５６２に含まれる人物４０１の顔の輪郭を表す。

図１２（ａ）には、立体視画像撮像モードが設定されている場合において、撮像装置１００を逆姿勢とした状態で行われている撮像動作中における撮像装置１００の背面側を示す。すなわち、図１２（ａ）に示す例では、人物４０１、４０２を被写体として撮像動作を行う場合における入出力パネル１５１の表示例を示す。

図１２（ｂ）には、図１２（ａ）に示す状態でシャッターボタン１４２が全押しされた際に生成される立体視画像５７０を示す。上述したように、立体視画像５７０は、第１撮像部１１０により生成される左眼視用画像５７１と、第２撮像部１２０により生成される右眼視用画像５７２とにより構成される。左眼視用画像５７１および右眼視用画像５７２は、立体視画像を表示するための１組の画像であり、撮像範囲に含まれる被写体（人物４０１、４０２）が水平方向にズレている（矢印５７５で示す）。なお、点線の楕円５７４は、右眼視用画像５７２に含まれる人物４０１の顔の輪郭を表す。

図１１（ｂ）および図１２（ｂ）に示すように、立体視画像は、左右眼の視差を利用して立体的な視覚を得るため、左眼視用画像および右眼視用画像に含まれる被写体が水平方向にズレている。このように構成されている立体視画像（左眼視用画像および右眼視用画像）を見る場合には、表示される立体視画像に対して、ユーザは所定の位置および姿勢で見る必要がある。このため、立体視画像撮像モードが設定されている場合において、上述した画像変換処理を行った場合には、立体視画像における上下方向を正しく表示することができるが、その立体視画像から立体的な視覚を得ることができなくなる。そこで、本発明の第１の実施の形態では、立体視画像撮像モードが設定されている場合には、上述した画像変換処理を行わないようにする。これにより、平面画像撮像モードまたは立体視画像撮像モードの何れの撮像モードが設定されている場合でも、適切な画像を記録することができる。

［撮像装置の動作例］
次に、本発明の第１の実施の形態における撮像装置１００の動作について図面を参照して説明する。

図１３は、本発明の第１の実施の形態における撮像装置１００による画像変換制御処理の処理手順の一例を示すフローチャートである。この例では、撮像モードが設定され、動画の記録処理が行われている場合における画像変換制御処理例を示す。

最初に、制御部１７４が、立体視画像撮像モードが設定されているか否かを判断する（ステップＳ９０１）。立体視画像撮像モードが設定されている場合には（ステップＳ９０１）、上述した画像変換処理を行わずに、画像変換制御処理の動作を終了する。

また、立体視画像撮像モードが設定されていない場合（すなわち、平面画像撮像モードの設定時）には（ステップＳ９０１）、制御部１７４が、姿勢検出部１３０からの姿勢情報に基づいて、撮像装置１００が縦姿勢であるか否かを判断する（ステップＳ９０２）。撮像装置１００が縦姿勢でない場合には（ステップＳ９０２）、ステップＳ９０６に進む。

一方、撮像装置１００が縦姿勢である場合には（ステップＳ９０２）、画像変換部１７２が、制御部１７４の制御に基づいて、第１撮像部１１０から信号処理部１７１を経て出力される撮像画像について縦横変換処理を行う（ステップＳ９０３）。具体的には、画像変換部１７２が、撮像画像をＣＣＷ方向に９０°回転させることにより、縦横変換処理を行う（ステップＳ９０３）。

続いて、画像変換部１７２が、縦横変換処理後の画像について縮小処理を行う（ステップＳ９０４）。続いて、画像変換部１７２が、その縮小された画像に所定画像（例えば、黒画像）を付加する画像付加処理を行う（ステップＳ９０５）。

続いて、制御部１７４が、姿勢検出部１３０からの姿勢情報に基づいて、撮像装置１００が逆姿勢であるか否かを判断する（ステップＳ９０６）。撮像装置１００が逆姿勢でない場合には（ステップＳ９０６）、画像変換制御処理の動作を終了する。

一方、撮像装置１００が逆姿勢である場合には（ステップＳ９０６）、画像変換部１７２は、制御部１７４の制御に基づいて、対象画像について回転処理を行う（ステップＳ９０７）。ここで、対象画像は、第１撮像部１１０から信号処理部１７１を経て出力される撮像画像、または、ステップＳ９０３乃至Ｓ９０５における各画像変換処理により生成された変換画像である。具体的には、画像変換部１７２が、対象画像を１８０°回転させる（ステップＳ９０７）。なお、ステップＳ９０１は、特許請求の範囲に記載の判断手順の一例である。また、ステップＳ９０２、Ｓ９０６は、特許請求の範囲に記載の姿勢検出手順の一例である。また、ステップＳ９０３乃至Ｓ９０５、Ｓ９０７は、特許請求の範囲に記載の制御手順の一例である。

このように画像変換処理（ステップＳ９０３乃至Ｓ９０５、Ｓ９０７）が行われた変換画像、または、画像変換処理が行われなかった撮像画像（立体視画像、平面画像）については、記録制御部１７５が、制御部１７４の制御に基づいて画像記録処理を行う。また、画像コンテンツが記憶部１８０に記録される場合には、上述したように、画像の種類を示すメタデータ（付随情報）がその画像コンテンツに含めて記録される。

また、上述したように、画像変換処理により画像が変換された場合でも、入出力パネル１５１には、撮像部１９０により生成された撮像画像がスルー画像として表示される。

なお、この例では、画像を記憶部１８０に記録する例を示したが、第１撮像部１１０および第２の撮像部１２０の少なくとも１つにより生成される画像を外部の表示装置に出力する場合についても同様に適用することができる。この場合には、画像記録処理の代わりに、通信部１６０が、制御部１７４の制御に基づいて、画像出力処理を行う。

また、この例では、記録制御部１７５による動画の記録の間、姿勢検出部１３０からの姿勢情報に基づいて撮像装置１００の姿勢を判断し続け（ステップＳ９０２）、その判断された姿勢に基づいて画像変換部１７２を順次制御する例を示した。ただし、上述したように、姿勢検出部１３０からの姿勢情報に基づいて、動画の記録の開始時における撮像装置１００の姿勢を判断し、以後もその判断結果を継続して用いるようにしてもよい。

［画像再生例］
図１４および図１５は、本発明の第１の実施の形態における撮像装置１００により記録された画像を再生させる場合における画像再生例を示す図である。

図１４（ａ）には、平面画像撮像モードが設定されている場合において、撮像装置１００が縦姿勢となっている状態で記録処理が行われた変換画像６００を示す。変換画像６００は、図９（ｂ）に示す変換画像５１０と同一であり、水平方向における両側に黒画像（サイズＷ１の領域）が付加されている。

図１４（ｂ）には、再生モードが設定されている場合において、撮像装置１００が縦姿勢となっている状態で、図１４（ａ）に示す変換画像６００が表示される場合における表示例を示す。図１４（ｂ）では、撮像装置１００が、基本姿勢からＣＣＷ方向に−９０°回転されて縦姿勢となっている。

このように表示対象画像が変換画像であり、撮像装置１００が縦姿勢である場合には、表示対象画像を変換して表示させる。すなわち、画像変換部１７２は、制御部１７４の制御に基づいて、表示制御部１７６が記憶部１８０から取得した変換画像６００から黒画像を削除し、黒画像が削除された変換画像６００を拡大することにより表示画像に変換する。そして、表示制御部１７６は、制御部１７４の制御に基づいて、変換画像６００の代わりに表示画像（変換画像６００に対して黒画像削除処理、拡大処理が施された画像）を入出力パネル１５１に表示させる。このように変換画像６００を表示させることにより、図１４（ｂ）に示すように、人物４０１を含む画像の上下方向がユーザの上下方向と一致するように表示させることができる。

すなわち、撮像装置１００が縦姿勢であり、入出力パネル１５１の表示面におけるアスペクト比が縦長になっている場合には、変換画像は、その縮小サイズから撮像時のサイズに拡大されて表示される。

図１４（ｃ）には、表示装置６１０を用いて変換画像６００（図１４（ａ）に示す）を表示する場合における表示例を示す。なお、表示装置６１０が備える表示部の表示面におけるアスペクト比は横長であるものとする。このように、表示面におけるアスペクト比が横長である表示装置６１０を用いて、変換画像６００（図１４（ａ）に示す）を表示する場合には、変換画像６００から黒画像が削除されずにそのまま表示される。また、この場合に、表示装置６１０が備える表示部の表示面に対応する拡大縮小処理等が適宜行われる。

図１５（ａ）には、平面画像撮像モードが設定されている場合において、撮像装置１００が基本姿勢となっている状態で記録処理が行われた平面画像６２０を示す。平面画像６２０は、図６（ｂ）に示す平面画像４３０と同一である（すなわち、平面画像６２０は、変換画像ではない）。

図１５（ｂ）には、再生モードが設定されている場合において、撮像装置１００が縦姿勢となっている状態で、図１５（ａ）に示す平面画像６２０が表示される場合における表示例を示す。図１５（ｂ）では、撮像装置１００が、基本姿勢からＣＣＷ方向に−９０°回転されて縦姿勢となっている。

このように表示対象画像が変換画像でなく、撮像装置１００が縦姿勢である場合には、表示対象画像を変換して表示させる。すなわち、画像変換部１７２は、制御部１７４の制御に基づいて、表示制御部１７６が記憶部１８０から取得した平面画像６２０をＣＣＷ方向に９０度回転させて縮小し、所定画像（例えば、黒画像）を付加することにより表示画像に変換する。この縮小処理では、例えば、平面画像６２０における横のサイズが、入出力パネル１５１の表示面において表示可能なサイズとなるように縮小が行われる。

そして、表示制御部１７６は、制御部１７４の制御に基づいて、平面画像６２０の代わりに表示画像（平面画像６２０に回転処理、縮小処理、黒画像付加処理が施された画像）を入出力パネル１５１に表示させる。このように平面画像６２０を表示させることにより、図１５（ｂ）に示すように、人物４０１、４０２を含む画像の上下方向がユーザの上下方向と一致するように表示させることができる。

すなわち、撮像装置１００が縦姿勢であり、入出力パネル１５１の表示面におけるアスペクト比が縦長になっている場合には、平面画像（横長のアスペクト比）は、回転処理、縮小処理、黒画像付加処理が施されて表示される。

図１５（ｃ）には、表示装置６４０を用いて平面画像６２０（図１５（ａ）に示す）を表示する場合における表示例を示す。なお、表示装置６４０が備える表示部の表示面におけるアスペクト比は横長であるものとする。このように、表示面におけるアスペクト比が横長である表示装置６４０を用いて、平面画像６２０を表示する場合には、平面画像６２０がそのまま表示される。この場合に、表示装置６４０が備える表示部の表示面に対応する拡大縮小処理等が適宜行われる。

ここで、変換画像６００（図１４（ａ）に示す）または平面画像６２０（図１５（ａ）に示す）を表示する場合に、撮像装置１００が逆姿勢、または、縦姿勢かつ逆姿勢である場合を想定する。この場合には、上述した各処理を行った場合でも、表示される画像の上下方向と、ユーザの上下方向とが逆転していることになる。そこで、撮像装置１００が逆姿勢、または、縦姿勢かつ逆姿勢である場合には、表示対象画像について回転処理を行うことにより変換して表示させるようにする。すなわち、画像変換部１７２は、制御部１７４の制御に基づいて、上述した各処理が施された表示対象画像を１８０°回転させる。この回転により、上述した各処理が施された表示対象画像の上下を逆転させることができる。

このように、撮像装置１００が縦姿勢または逆姿勢である場合には画像変換処理を行うことにより、表示画像における上下方向を正しく表示することができる。

ここで、再生モードが設定されている場合において、表示対象画像が立体視画像である場合を想定する。上述したように、立体視画像（左眼視用画像および右眼視用画像）を見る場合には、表示される立体視画像に対して、ユーザは所定の位置および姿勢で見る必要がある。このため、再生モードが設定されている場合において、上述した画像変換処理を行った場合には、立体視画像における上下方向を正しく表示することができるが、その立体視画像から立体的な視覚を得ることができなくなるおそれがある。そこで、本発明の第１の実施の形態では、再生モードが設定されている場合において、表示対象画像が立体視画像である場合には、上述した画像変換処理を行わないようにする。これにより、再生モードが設定されている場合において、立体視画像が表示される場合でも、適切な画像を表示させることができる。

［撮像装置の動作例］
次に、本発明の第１の実施の形態における撮像装置１００の動作について図面を参照して説明する。

図１６は、本発明の第１の実施の形態における撮像装置１００による画像変換制御処理の処理手順の一例を示すフローチャートである。この例では、撮像装置１００により記録された画像（平面画像（縦横変換画像および逆転画像を含む）または立体視画像）を表示させる場合における画像変換制御処理例を示す。また、この例では、ユーザ操作に基づいて表示制御部１７６により取得された画像について表示処理を行う場合における画像変換制御処理例を示す。

最初に、制御部１７４は、表示対象画像が立体視画像であるか否かを判断する（ステップＳ９２１）。例えば、画像コンテンツに含まれるメタデータ（付随情報（例えば、画像ファイルに含まれるタグ情報）に基づいて、表示対象画像が立体視画像であるか否かが判断される。表示対象画像が立体視画像である場合には（ステップＳ９２１）、画像変換制御処理の動作を終了する。一方、表示対象画像が立体視画像である場合には（ステップＳ９２１）、制御部１７４は、表示対象画像が縦横変換画像であるか否かを判断する（ステップＳ９２２）。例えば、画像コンテンツに含まれるメタデータ（付随情報（例えば、画像ファイルに含まれるタグ情報）に基づいて、表示対象画像が縦横変換画像であるか否かが判断される。

表示対象画像が縦横変換画像である場合には（ステップＳ９２２）、制御部１７４は、姿勢検出部１３０からの姿勢情報に基づいて、撮像装置１００が縦姿勢であるか否かを判断する（ステップＳ９２３）。撮像装置１００が縦姿勢でない場合には（ステップＳ９２３）、ステップＳ９３０に進む。一方、撮像装置１００が縦姿勢である場合には（ステップＳ９２３）、画像変換部１７２が、制御部１７４の制御に基づいて記憶部１８０から表示制御部１７６が取得した表示対象画像（画像コンテンツ）について画像変換処理を行う（ステップＳ９２４、Ｓ９２５）。すなわち、画像変換部１７２は、縦横変換画像（表示対象画像）の水平方向における両側に付加されている所定画像（例えば、黒画像）を削除する（ステップＳ９２４）。続いて、画像変換部１７２は、黒画像が削除された縦横変換画像について拡大処理を行う（ステップＳ９２５）。例えば、黒画像が削除された縦横変換画像のサイズが、表示部１５０の表示面のサイズに合うように拡大処理が行われる。

表示対象画像が縦横変換画像でない場合には（ステップＳ９２２）、制御部１７４は、姿勢検出部１３０からの姿勢情報に基づいて、撮像装置１００が縦姿勢であるか否かを判断する（ステップＳ９２６）。撮像装置１００が縦姿勢でない場合には（ステップＳ９２６）、ステップＳ９３０に進む。

また、撮像装置１００が縦姿勢である場合には（ステップＳ９２６）、画像変換部１７２が、制御部１７４の制御に基づいて画像変換処理を行う（ステップＳ９２７乃至Ｓ９２９）。すなわち、画像変換部１７２が、制御部１７４の制御に基づいて、表示制御部１７６が記憶部１８０から取得した表示対象画像（画像コンテンツ）について縦横変換処理（ＣＣＷ方向に９０度回転）を行う（ステップＳ９２７）。続いて、画像変換部１７２が、縦横変換された表示対象画像について縮小処理を行う（ステップＳ９２８）。例えば、表示対象画像の水平方向のサイズが、表示部１５０の表示面のサイズを超えないように縮小処理が行われる（ステップＳ９２８）。続いて、画像変換部１７２が、表示対象画像の垂直方向における両側に所定画像（例えば、黒画像）を付加する画像付加処理を行う（ステップＳ９２９）。すなわち、図１５（ｂ）に示すように、縮小処理が施された画像が縦長状態の入出力パネル１５１に表示される場合には、縮小された横長状態の表示対象画像が表示されるため、表示対象画像の上下が開いてしまう。そこで、画像変換部１７２は、表示対象画像の上下両側に所定画像（例えば、黒画像）を付加する。なお、黒画像を付加する代わりに、黒画像以外の表示要素（例えば、壁紙等の画像）を付加するようにしてもよい。

続いて、制御部１７４は、姿勢検出部１３０から姿勢情報に基づいて、撮像装置１００が逆姿勢であるか否かを判断する（ステップＳ９３０）。撮像装置１００が逆姿勢でない場合には（ステップＳ９３０）、画像変換制御処理の動作を終了する。一方、撮像装置１００が逆姿勢である場合（ステップＳ９３０）、画像変換部１７２は、制御部１７４の制御に基づいて表示対象画像について回転処理を行う（ステップＳ９３１）。すなわち、画像変換部１７２は、表示対象画像を１８０°回転させる（ステップＳ９３１）。この表示対象画像は、ステップＳ９２４、Ｓ９２５、Ｓ９２７乃至Ｓ９２９により画像処理が行われた画像を含む。この回転処理により、表示対象画像の上下が逆転する。すなわり、撮像装置１００が逆姿勢の場合には、表示対象画像をそのまま入出力パネル１５１に表示させると、上下が逆転してしまう。このため、表示対象画像の上下を逆転させることにより、入出力パネル１５１に正しい上下の画像を表示させることができる。

また、この例では、表示制御部１７６による表示処理の間、姿勢検出部１３０からの姿勢情報に基づいて撮像装置１００の姿勢を判断し続け（ステップＳ９２２）、その判断された姿勢に基づいて画像変換部１７２を順次制御する例を示した。ただし、姿勢検出部１３０からの姿勢情報に基づいて、表示処理の開始時における撮像装置１００の姿勢を判断し、以後もその判断結果を継続して用いるようにしてもよい。

なお、この例では、画像を表示部１５０に表示する例を示した。ここで、記憶部１８０に記憶されている画像を外部の表示装置に出力する場合については、上述した画像変換処理を行わない。すなわち、外部の表示装置は、撮像装置１００の姿勢に関わらず一定の姿勢であると想定されるため、撮像装置１００の姿勢にかかわらず、表示対象画像と、外部の表示装置に表示される画像との間では縦横または上下が逆転しない。このため、上述した画像変換処理を行う必要がない。

このように、本発明の第１の実施の形態では、平面画像撮像モードの設定時において、撮像時の撮像装置１００が縦姿勢や逆姿勢であっても、被写体の上下とユーザの上下とが一致する画像を記録することができる。ただし、撮像装置１００における入出力パネル１５１には、撮像部１９０により生成された画像をスルー画像として表示させる。これにより、被写体の上下とユーザの上下とが一致するスルー画像を表示させることができる。

また、再生モード設定時における平面画像の表示時は、撮像装置１００が縦姿勢や逆姿勢であっても、被写体の上下とユーザの上下とが一致する画像を表示させることができる。

また、外部の表示装置の姿勢は撮像装置１００の姿勢に影響されない。このため、外部の表示装置に画像を出力する場合には、外部の表示装置において、上述した画像変換処理をすることなく、被写体の上下とユーザの上下とが一致する画像を表示させることができる。

また、本発明の第１の実施の形態では、立体視画像撮像モードの設定時には、上述した画像変換処理を行わない。これにより、立体視画像から立体的な視覚を得ることができる画像コンテンツを適切に記録することができる。すなわち、平面画像撮像モードまたは立体視画像撮像モードの何れの撮像モードが設定されている場合でも、撮像モードに応じて適切に画像処理を行うことができ、適切な画像を記録することができる。また、再生モードの設定時において表示対象画像が立体視画像（立体視画像コンテンツ）である場合には、上述した画像変換処理を行わない。これにより、表示される立体視画像から立体的な視覚を適切に得ることができる。すなわち、平面画像撮像モードまたは立体視画像撮像モードの何れの撮像モードにより記録された画像コンテンツであっても、撮像モードに応じて適切に画像処理を行うことができ、適切な画像を表示することができる。

なお、本発明の第１の実施の形態では、撮像部１９０により生成された画像（画像データ）を撮像装置１００の記憶部１８０に記憶させる例を示した。ただし、例えば、その画像（画像データ）を通信部１６０を介して外部の記憶装置に記憶させる場合についても、本発明の第１の実施の形態を適用することができる。

また、本発明の第１の実施の形態では、再生時において撮像装置１００の記憶部１８０から画像（画像データ）を読み出す例を示した。ただし、例えば、再生時において、通信部１６０を介して外部の記憶装置から画像（画像データ）を読み出し、これを表示対象画像とする場合についても、本発明の第１の実施の形態を適用することができる。

また、本発明の第１の実施の形態では、画像コンテンツに付加されるメタデータによって、画像の種類を判断する例を示した。ただし、例えば、記憶部１８０に別途作成されるプロパティファイルにそのメタデータを記録させておき、そのメタデータを用いて、画像の種類を判断するようにしてもよい。

＜２．変形例＞
本発明の第１の実施の形態では、２つの撮像部を備える撮像装置（いわゆる、２眼式３Ｄカメラ）を例にして説明した。ただし、１つの撮像部により立体視画像および平面画像を生成することが可能な撮像装置（いわゆる、１眼式３Ｄカメラ）についても本発明の第１の実施の形態を適用するようにしてもよい。

また、本発明の実施の形態では、画像処理装置の一例として撮像装置を例にして説明した。ただし、各種画像（平面画像、立体視画像等）を扱うことが可能な携帯電話機、ナビゲーションシステム、携帯型メディアプレイヤー等の画像処理装置（例えば、撮像機能付電子機器）に本発明の実施の形態を適用することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

１００ 撮像装置
１１０ 第１撮像部
１１１、１２１ 撮像光学系
１１２、１２２ 撮像素子
１１３、１２３ ＴＧ
１１４、１１５、１２４、１２５ 光学部品駆動部
１２０ 第２撮像部
１３０ 姿勢検出部
１４０ 操作受付部
１４１ 電源スイッチ
１４２ シャッターボタン
１４３ 操作ボタン群
１４４ 上下左右ボタン
１４５ 録画ボタン
１５０ 表示部
１５１ 入出力パネル
１６０ 通信部
１７０ ＤＳＰ
１７１ 信号処理部
１７２ 画像変換部
１７３ モード設定部
１７４ 制御部
１７５ 記録制御部
１７６ 表示制御部
１８０ 記憶部
１９０ 撮像部
５２０、５５０、６１０、６４０ 表示装置

Claims (17)

1. 画像の縦横を変換する縦横変換処理を行う画像変換部と、
   撮像装置に備えられた撮像部によって立体視画像撮像モードで撮像された立体視画像については、前記画像変換部による前記縦横変換処理を行わず、前記撮像部によって平面画像撮像モードで撮像された平面画像については、前記平面画像の撮像時の前記撮像装置の姿勢に基づいて、前記画像変換部による前記縦横変換処理の有無を制御する制御部とを具備し、
   前記制御部は、前記平面画像撮像モードが設定されている場合に、動画の記録が行われるときには、前記動画の記録開始時に検出された前記撮像装置の姿勢に基づいて、当該記録開始後の当該動画についての前記画像変換部による前記縦横変換処理の有無を決定する
   画像処理装置。
2. 前記制御部は、前記立体視画像については、前記縦横変換処理が行われていない画像を記録し、前記平面画像については、前記姿勢に基づいて、前記縦横変換処理が行われていない画像と前記縦横変換処理が行われた画像の一方を記録する請求項１記載の画像処理装置。
3. 前記制御部は、前記立体視画像については、前記縦横変換処理が行われていない画像を外部の記憶装置に送信する制御を行い、前記平面画像については、前記姿勢に基づいて、前記縦横変換処理が行われていない画像と前記縦横変換処理が行われた画像の一方を前記外部の記憶装置に送信する制御を行う請求項１記載の画像処理装置。
4. 前記制御部は、外部の表示装置に送信する画像に関しては、前記立体視画像か前記平面画像かに関わらず表示対象画像の前記縦横変換処理を行わない請求項１記載の画像処理装置。
5. 前記撮像装置の姿勢を検出する姿勢検出部を備える請求項１記載の画像処理装置。
6. 前記画像変換部は、前記縦横変換処理と合わせて前記画像を縮小する縮小処理を行う請求項１記載の画像処理装置。
7. 画像の縦横を変換する縦横変換処理を行う画像変換部と、
   表示部への表示対象画像が立体視画像である場合には、前記画像変換部による前記縦横変換処理を行わず、前記表示対象画像が平面画像である場合には、前記表示対象画像の記録処理時に前記表示対象画像について前記縦横変換処理が行われたか否かと画像処理装置の姿勢とに基づいて、前記画像変換部による前記縦横変換処理の有無を制御する制御部と
   を具備する画像処理装置。
8. 前記制御部は、前記表示対象画像が平面画像である場合において、前記記録処理時に前記表示対象画像について前記縦横変換処理が行われた場合には、前記画像変換部による前記縦横変換処理を行わず、前記記録処理時に前記表示対象画像について前記縦横変換処理が行われていない場合には、前記画像処理装置の姿勢に基づいて、前記画像変換部による前記縦横変換処理の有無を判断する請求項７記載の画像処理装置。
9. 前記立体視画像は、撮像時に前記縦横変換処理が行われていない画像である請求項７記載の画像処理装置。
10. 前記制御部は、前記表示対象画像が、前記平面画像か前記立体視画像かをメタデータに基づいて判断する請求項７記載の画像処理装置。
11. 前記制御部は、外部の表示装置に送信する画像に関しては、前記立体視画像か前記平面画像かに関わらず前記表示対象画像の前記縦横変換処理を行わない請求項７記載の画像処理装置。
12. 前記姿勢を検出する姿勢検出部を備える請求項７記載の画像処理装置。
13. 前記表示部を備える請求項７記載の画像処理装置。
14. 画像の縦横を変換する縦横変換処理を行う画像変換手順と、
    撮像装置に備えられた撮像部によって立体視画像撮像モードで撮像された立体視画像については、前記縦横変換処理を行わず、前記撮像部によって平面画像撮像モードで撮像された平面画像については、前記平面画像の撮像時の前記撮像装置の姿勢に基づいて、前記縦横変換処理の有無を制御する制御手順とを具備し、
    前記制御手順は、前記平面画像撮像モードが設定されている場合に、動画の記録が行われるときには、前記動画の記録開始時に検出された前記撮像装置の姿勢に基づいて、当該記録開始後の当該動画についての前記縦横変換処理の有無を決定する
    画像処理装置の制御方法。
15. 画像の縦横を変換する縦横変換処理を行う画像変換手順と、
    表示部への表示対象画像が立体視画像である場合には、前記縦横変換処理を行わず、前記表示対象画像が平面画像である場合には、前記表示対象画像の記録処理時に前記表示対象画像について前記縦横変換処理が行われたか否かと画像処理装置の姿勢とに基づいて、前記縦横変換処理の有無を制御する制御手順と
    を具備する画像処理装置の制御方法。
16. 画像の縦横を変換する縦横変換処理を行う画像変換手順と、
    撮像装置に備えられた撮像部によって立体視画像撮像モードで撮像された立体視画像については、前記縦横変換処理を行わず、前記撮像部によって平面画像撮像モードで撮像された平面画像については、前記平面画像の撮像時の前記撮像装置の姿勢に基づいて、前記縦横変換処理の有無を制御する制御手順とをコンピュータに実行させるプログラムであって、
    前記制御手順は、前記平面画像撮像モードが設定されている場合に、動画の記録が行われるときには、前記動画の記録開始時に検出された前記撮像装置の姿勢に基づいて、当該記録開始後の当該動画についての前記縦横変換処理の有無を決定する
    プログラム。
17. 画像の縦横を変換する縦横変換処理を行う画像変換手順と、
    表示部への表示対象画像が立体視画像である場合には、前記縦横変換処理を行わず、前記表示対象画像が平面画像である場合には、前記表示対象画像の記録処理時に前記表示対象画像について前記縦横変換処理が行われたか否かと画像処理装置の姿勢とに基づいて、前記縦横変換処理の有無を制御する制御手順と
    をコンピュータに実行させるプログラム。

Images