JP5526929B2 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、３次元画像（３Ｄ画像）等の多視点画像と２次元画像（２Ｄ画像）である単視点画像の表示処理を行う画像処理装置、および画像処理方法、並びにプログラムに関する。

昨今、３次元画像等の多視点画像の再生を可能としたテレビなどの表示装置、あるいは３次元画像等の多視点画像の記録を可能としたカメラなどが急速に普及している。

例えば、３次元画像等の多視点画像を記録可能としたカメラはモードの切り替えにより、３次元画像と２次元画像の撮影／記録処理が可能な構成を持つ。３次元画像撮影モードで撮影された画像は、例えばＭＰＯ（Ｍｕｌｔｉ−Ｐｉｃｔｕｒｅ Ｆｏｒｍａｔ）形式等、所定の３次元画像ファイル形式に従って記録され、２次元画像（２Ｄ画像）撮影モードで撮影された画像は、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式等、所定の２次元画像ファイル形式に従って記録される。

これらの撮影画像を含むファイルは、例えば、カメラの撮影データの記録方式に関する規格であるＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）に従って記録される。この記録処理では、３Ｄ画像コンテンツファイルと、２Ｄ画像コンテンツファイルの混在したフォルダも設定できる。これらの記録データを再生する場合の再生シーケンスは、様々な設定が可能である。例えば、フォルダ内の様々な画像ファイルを一括して再生したり、日付ごと、イベントごとに選択したフォルダやファイルを順次、再生するなど、何らかの関連付けられた単位で再生するといったことができる。

なお、表示画像が２Ｄ画像であるか３Ｄ画像であるかの制御情報を利用して表示切替を行う方式を提案した従来技術として特許文献１（特開２００８−４２６４５号公報）がある。

しかし、このように再生コンテンツ中に３Ｄ画像と２Ｄ画像とが混在し、３Ｄ画像表示と２Ｄ画像表示の切り替えが必要な場合、その切り替え処理には時間を要してしまう。特に、コンテンツの解析を実行して３Ｄ画像であるか２Ｄ画像を判別して表示処理態様を変更する場合には、画像解析が必要となり、切り替え時間に多くの時間が必要となる。このような場合には、画像再生が一時的にストップしてしまうことになる。また、ユーザが３Ｄを見るための装置、例えばシャッタ式メガネなどを着脱する必要がある場合は、画像切り替え毎に、メガネの装着または取り外しといった作業が必要となる。このように、３Ｄ画像と２Ｄ画像の切り替え表示には、切り替え時間やユーザの負担が発生することになる。

この画像切り替えに伴う処理時間やユーザ負担を回避するためには、例えば２Ｄ画像等の単視点画像と３Ｄ画像等の多視点画像が混在した画像の再生を行わない。あるいは、再生時に２Ｄ画像または３Ｄ画像、いずれか一方のみの再生方式に従ってすべての画像を表示するといった処理が有効であると考えられる。しかし３Ｄ画像を強制的に全て２Ｄ表示してしまうのは、そもそもの３Ｄ表示したいという要求を拒絶してしまうことになる。

すべての画像を３Ｄ画像として表示するため、本来、２Ｄ画像である単視点画像を擬似的に立体的に見せる画像処理を施して表示するといったことも、技術的には可能である。例えば特許文献２（特開２００８−２４４８３５号公報）にこのようなデータ変換を利用した表示制御方式が開示されている。しかし、このようなデータ変換は、あくまで擬似的なものであり、２Ｄ画像を正しく自然な立体感を奏する３Ｄ画像に変換するのは困難な場合が多い。また、すべての表示装置にこのような処理を実行させることは現実的には困難である。

また、特許文献３（特開２００２−１９９４１６号公報）は、３Ｄ画像と２Ｄ画像との混在画像の表示を行うために、表示装置を分割して分割領域の各々に３Ｄ画像または２Ｄ画像を表示する構成を開示している。
しかし、このような表示装置は一般的ではなく、特殊な構成が必要となり、コスト高となるという問題がある。

特開２００８−４２６４５号公報 特開２００８−２４４８３５号公報 特開２００２−１９９４１６号公報

本発明は、例えば上記問題点に鑑みてなされたものであり、３次元画像（３Ｄ画像）等の多視点画像と２次元画像（２Ｄ画像）等の単視点画像とを切り替え表示する構成において、切り替え処理時間の長期化を防止し、またユーザのメガネの着脱といった処理も不要としたスムーズな画像切り替え表示を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
単視点画像と多視点画像を入力して表示部への出力データを生成する再生制御部を有し、
前記再生制御部は、
表示部が多視点画像の表示モードでの表示を実行している場合において、
多視点画像を出力する場合は、多視点画像転送フォーマットに従って規定される各視点画像の展開位置に多視点画像を構成する各視点画像を展開した出力データを生成して出力し、
単視点画像を出力する場合は、多視点画像転送フォーマットに従って規定される各視点画像の展開位置に同一の単視点画像を展開した出力データを生成して出力する処理を実行する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記再生制御部は、表示部が３次元画像の表示モードでの表示を実行している場合において、３次元画像を出力する場合は、３次元画像転送フォーマットに従って規定される左右各視点対応の画像展開位置に左右の各視点画像を展開した出力データを生成して出力し、２次元画像を出力する場合は、３次元画像転送フォーマットに従って規定される左右各視点対応の画像展開位置に同一の２次元画像を展開した出力データを生成して出力する処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記再生制御部は、前記３次元画像転送フォーマットがサイドバイサイド方式である場合、３次元画像の出力時には、１つのフレーム画像中の左右の各位置に左右各視点対応の画像を展開した出力データを生成して出力し、２次元画像の出力時には、１つのフレーム画像中の左右の各位置に同一の２次元画像を展開した出力データを生成して出力する処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記再生制御部は、前記３次元画像転送フォーマットがオーバーアンドアンダー方式である場合、３次元画像の出力時には、１つのフレーム画像中の上下の各位置に左右各視点対応の画像を展開した出力データを生成して出力し、２次元画像の出力時には、１つのフレーム画像中の上下の各位置に同一の２次元画像を展開した出力データを生成して出力する処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記再生制御部は、前記３次元画像転送フォーマットがフレームシーケンシャル方式である場合、３次元画像の出力時には、フレーム毎に左右各視点対応の画像を交互に展開した出力データを生成して出力し、２次元画像の出力時には、２つの連続フレーム毎に同一の２次元画像を展開した出力データを生成して出力する処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記再生制御部は、入力画像が単視点画像であるか多視点画像であるかを、各画像ファイルの拡張子に基づいて判別する処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記再生制御部は、表示部側からＮ個の視点画像の要求があり、取得可能な多視点画像がＮ未満の視点の画像である場合、Ｎ未満の視点の画像の一部の画像をコピーしてＮ視点画像として出力する処理を実行する。

さらに、本発明の第２の側面は、
画像処理装置において、画像出力制御を実行する画像処理方法であり、
再生制御部が、単視点画像と多視点画像を入力して表示部への出力データを生成する出力データ生成ステップを実行し、
前記出力データ生成ステップは、
表示部が多視点画像の表示モードでの表示処理を実行している場合において、
多視点画像出力時には、多視点画像転送フォーマットに従って規定される各視点画像の展開位置に多視点画像を構成する各視点画像を展開した出力データを生成して出力し、
単視点画像出力時には、多視点画像転送フォーマットに従って規定される各視点画像の展開位置に同一の単視点画像を展開した出力データを生成して出力する処理を実行する画像処理方法にある。

さらに、本発明の第３の側面は、
画像処理装置において、画像出力制御を実行させるプログラムであり、
再生制御部に、単視点画像と多視点画像を入力して表示部への出力データを生成させる出力データ生成ステップを実行させ、
前記出力データ生成ステップは、
表示部が多視点画像の表示モードでの表示処理を実行している場合において、
多視点画像出力時には、多視点画像転送フォーマットに従って規定される各視点画像の展開位置に多視点画像を構成する各視点画像を展開した出力データを生成して出力する処理を実行させ、
単視点画像の出力時には、多視点画像転送フォーマットに従って規定される各視点画像の展開位置に同一の単視点画像を展開した出力データを生成して出力する処理を実行させるステップであるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、多視点画像と単視点画像の表示を表示部側での処理切り替えを行うことなく表示することが可能となる。表示部が多視点画像の表示モードでの表示を実行している場合、３次元画像等の多視点画像を出力する際には、多視点画像転送フォーマットに従って規定される各視点画像の展開位置に多視点画像を構成する各視点画像を展開した出力データを生成して表示制御部へ出力し、２次元画像等の単視点画像を出力する場合は、多視点画像転送フォーマットに従って規定される各視点画像の展開位置に同一の単視点画像を展開した出力データを生成して表示制御部へ出力する。この処理により、表示部側での処理切り替えを行うことなく多視点画像と単視点画像をスムーズに切り換えて表示することが可能となる。

本発明の画像処理装置の構成例について説明する図である。 記憶部に格納されるデータの構成例について説明する図である。 記憶部に格納されるデータの構成例について説明する図である。 多視点画像の表示を行う場合の再生制御部の処理例について説明する図である。 単視点画像の表示を行う場合の再生制御部の処理例について説明する図である。 本発明の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。

以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．画像処理装置の構成例について
２．記録データの構成例について
３．画像再生処理について
４．本発明の画像処理装置の表示制御シーケンスについて
５．変形例について

［１．画像処理装置の構成例について］
図１を参照して本発明の画像処理装置の構成例について説明する。なお、以下の実施例では、画像処理装置の一例として撮像装置の例を説明する。ただし、本発明の画像処理装置は画像を自装置の表示部、あるいは出力部を介して接続した外部の表示装置に画像を出力可能な機器であればよい。本発明の画像処理装置には、撮像装置に限らず、例えばＰＣ、ＴＶ、プレーヤ等の様々な装置が含まれる。以下では、本発明の画像処理装置の一例として撮像装置の例について説明する。

図１は、本発明の画像処理装置の一例である撮像装置１００の構成を示すブロック図である。
撮像装置１００は、図１に示すように、レンズ１０１、撮影制御部１０２、記録制御部１０３、再生制御部１０４、ＵＩ（ユーザインタフェース）制御部１０５、表示制御部１０６、表示部１０７、出力部１０８、入力デバイス１０９、入力部１１０、記録媒体１１１、メモリ１１２、画像処理部１１３を有する。

利用者（ユーザ）の操作情報は、入力デバイス１０９を介して入力部１１０に入力される。入力部１１０の入力情報と、表示部１０７に表示中のメニューなどから利用者の意図する機能の実行をＵＩ制御部１０５が解釈し、解釈に従った処理を開始する。なお、処理の種類としては、例えば、大きく区分すると撮影記録処理、再生処理などである。さらに、詳細処理としては、撮影記録処理におけるモード設定処理、撮影開始、終了処理などの様々な処理がある。

撮影処理を実行する場合は、撮影制御部１０２の制御下でレンズ１０１を介して撮りこまれた画像がメモリ１１２に一時記憶された後、記録制御部１０３に提供され、記録制御部１０３の制御下で記録媒体１１１に記録する処理が実行される。なお画像記録処理に際しては、画像処理部１１３において、予め規定されたフォーマットに従った画像のエンコードなどの処理が行われる。

例えば、撮影画像が、３次元画像等の多視点画像である場合はＭＰＯ（Ｍｕｌｔｉ−Ｐｉｃｔｕｒｅ Ｆｏｒｍａｔ）形式、２次元画像等の単視点画像である場合は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式で記録処理が行われる。また、記録媒体１１１に対する記録処理は、例えば、カメラの撮影データの記録方式に関する規格であるＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）に従った記録処理として行われる。ＤＣＦ規格に従った記録データの構成例については、後段で図２を参照して説明する。

記録媒体１１１に記録されたデータの再生を行う場合は、再生制御部１０４の制御の下で、記録媒体１１１からのデータ取得が行われる。取得データはメモリ１１２に一次的に格納された後、画像処理部１１３においてデコード処理が実行され、表示制御部１０６を介して表示部１０７に出力される。あるいは出力部１０８を介して外部の表示装置１５０に出力される。

なお、この再生処理に際して、再生制御部１０４は、画像の再生順番や表示方法を決定する。具体的には、例えば、再生制御部１０４は、表示予定データが３次元画像等の多視点画像であるか、２次元画像等の単視点画像であるかの識別処理を実行する。
この識別結果に応じて、再生制御部１０４は、表示制御部に出力する画像の態様を変更する。この処理の具体例については、図４、図５を参照して後段で説明する。

表示制御部１０５は、再生制御部１０４から受領した画像を表示部１０７に出力する。あるいは、出力部１０８が、再生制御部１０４から受領した画像を外部の表示装置１５０に出力する。
なお、一連の処理の中で、撮影された画像データの他、ユーザに提示するためのメニュー等のＧＵＩデータ、さらに、レンズから得られる連続画像等も表示制御部１０６において合成され、表示部１０７や、出力部１０８を介して接続されている表示装置１５０へ出力される。

［２．記録データの構成例について］
次に、図１に示す撮像装置１００において撮影されたデータの記録媒体１１１における記録構成例について、図２を参照して説明する。
先に説明したように、記録処理は、例えば、カメラの撮影データの記録方式に関する規格であるＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）に従って行われる。

このＤＣＦ規格に対応するディレクトリ構成例について図２を参照して説明する。なお、ＤＣＦ規格は、デジタルスチルカメラやプリンタ等の機器間で、記録媒体を介して画像の相互利用を実現するためのファイルシステム規格である。ＤＣＦ規格では、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）をベースにして記録媒体に記録する場合におけるファイル名の付け方やフォルダの構成が規定されている。Ｅｘｉｆは、画像ファイルの中に画像データおよびカメラ情報を付加するための規格であり、画像ファイルを記録するための形式（ファイルフォーマット）を規定するものである。また、ＤＣＦ規格では、ディレクトリ構造により画像ファイルが記録媒体に記録される。

図２は、ＤＣＩＭディレクトリ２００の構成例を示す図である。
図２に示すように、標準的なＤＣＦ規格では、ルートディレクトリ（ＲＯＯＴ）の直下に、ディレクトリ「ＤＣＩＭ」２０１が配置される。ディレクトリ「ＤＣＩＭ」２０１の下に、画像フォルダ、例えば、「１０１ＡＡＡＡＡ」２０２、「１０２ＡＡＡＡＡ」２０３が配置される。この画像フォルダ名は８文字であり、第１文字乃至第３文字は１００から９９９までのディレクトリ番号である。また、第４文字乃至第８文字までの５文字は、半角英数大文字のみが使用される自由文字と呼ばれる文字である。

画像フォルダの下位に、画像ファイルが配置される。例えば、フォルダ「１０１ＡＡＡＡＡ」２０２には、画像ファイル２１１〜２１３（ＡＡＡＡ０００ｎ．ｘｘｘ）が配置される。ｘｘｘは拡張子を示す。

この画像ファイルのファイル名は、拡張子を除いて８文字であり、第１文字乃至第４文字は半角英数大文字のみが使用される自由文字である。また、第５文字乃至第８文字は０００１から９９９９のファイル番号である。なお、画像ファイル２１１〜２１３は、撮影制御部１０２により生成された画像データにより構成される画像ファイル（画像コンテンツ）である。

なお、記録画像が２次元画像等の単視点画像である場合は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式を示す静止画ファイルの拡張子として「．ＪＰＧ」が用いられる。
また、３次元画像等の多視点画像である場合は、ＭＰＯ（Ｍｕｌｔｉ−Ｐｉｃｔｕｒｅ Ｆｏｒｍａｔ）形式を示す画像ファイルの拡張子として「．ＭＰＯ」が用いられる。

図２に示すように、記憶媒体には２Ｄ画像等の単視点画像と、３Ｄ画像等の多視点画像が混在して保持することができる。これらは、それぞれ異なる拡張子が設定され、
例えば再生制御部１０４は、拡張子に基づいて解析することにより２Ｄ画像／３Ｄ画像の判別を行うことが可能である。

図２に示す例では、画像フォルダ１０１ＡＡＡＡＡ，２０２の下位に、以下の画像ファイルまたはファイルセットが設定された例を示している。
単視点画像（２Ｄ画像）ファイル２１１である画像ファイル［ＡＡＡＡ０００１．ＪＰＧ］、
単視点画像（２Ｄ画像）ファイルと多視点画像（３Ｄ画像）ファイルのファイルセット２１２である画像ファイル［ＡＡＡＡ０００２．ＪＰＧ］＆［ＡＡＡＡ０００２．ＭＰＯ］、
多視点画像（３Ｄ画像）ファイル２１３である画像ファイル［ＡＡＡＡ０００３．ＭＰＯ］、
これらのファイルを示している。

単視点画像（２Ｄ画像）ファイルと３Ｄ画像等の多視点画像ファイルのファイルセット２１２、すなわち、画像ファイル［ＡＡＡＡ０００２．ＪＰＧ］＆［ＡＡＡＡ０００２．ＭＰＯ］のセットは、ファイル名が同じで拡張子のみが異なる２つのファイルから構成されるファイルセットである。このファイルセットは、２Ｄ画像と３Ｄ画像の混在ファイルである。例えばこのファイルセットを再生する場合は、必ず２Ｄ画像３Ｄ画像との切り替えが発生する。

前述のように、記録画像が、２次元画像等の単視点画像である場合は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式で記録処理が実行され、３次元画像等の多視点画像である場合は、ＭＰＯ（Ｍｕｌｔｉ−Ｐｉｃｔｕｒｅ Ｆｏｒｍａｔ）形式で記録される。

図３を参照して、これらの各形式に従ったファイル構成例について説明する。
図３（ａ）は、２次元画像等の単視点画像の記録ファイルであるＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式に従ったファイル構成である。
図３（ｂ）は、３次元画像等の多視点画像の記録ファイルである、ＭＰＯ（Ｍｕｌｔｉ−Ｐｉｃｔｕｒｅ Ｆｏｒｍａｔ）形式に従ったファイル構成である。

図３（ａ）に示すように、２次元画像等の単視点画像の記録ファイルであるＪＰＥＧファイルは、画像情報および画像データからなる構造を有するファイルである。
画像情報には、画像データを管理するための各種管理情報、例えば、画像が生成（撮像）された日時、その画サイズ、サムネイル画像等の属性情報が記録される。
画像データには、画像データが記録される。

一方、図３（ｂ）に示すように、３次元画像等の多視点画像の記録ファイルであるＭＰＯファイルは、画像情報、画像管理情報、左視点情報、画像データ（左）、画像情報、右視点情報、画像データ（右）、これらのデータによって構成される。画像データ（左）は３次元画像表示処理に際して、左目において観察される画像データであり、画像データ（右）は３次元画像表示処理に際して、右目において観察される画像データである。

画像管理情報には、画像情報に格納されている画像データを管理するための各種管理情報、例えば、ファイル内の画像数や属性、例えば、視点情報や代表画情報等が記録されている。視点情報は、画像ファイル内に何視点の情報が格納されているかを示す情報であり、代表画情報は、画像ファイル内に格納されている各視点のうちの代表画像に対応する視点を示す情報である。図３（ｂ）に示す例では、視点として、左視点および右視点の情報が格納されているため、視点情報には「２視点」が記録される。また、左視点および右視点のうち、左視点画像を代表画像とするため、代表画情報には「左視点画像」が格納される。

画像情報は、各画像データ（左）（右）に対応して設定され、各画像データを管理するための各種管理情報、例えば、画像が生成（撮像）された日時、その画サイズ、サムネイル画像等の情報が記録される。

左視点情報および右視点情報には、基線長や角度等の各視点の位置に関する情報が格納される。ここで、基線長は、対応する画像ファイルの撮像時における２つの視点間の距離であり、人間の２つの目の間の長さに相当する値である。また、角度は、対応する画像ファイルの撮像時における２つの視点と、被写体（１点）とを結ぶ２線により特定される角度（その１点を中心とする角度）であり、人間の２つの目と、被写体（１点）とを結ぶ２線により特定される角度に対応する。

前述のように、画像データ（左）、画像データ（右）には、それぞれ左視点対応の画像データ、右視点対応の画像データが記録される。
表示処理の際にはこれら２つの画像を例えば切り替えて表示し、ユーザが、この表示切り替えタイミングと同期して動作するシャッタ式メガネを装着して、左目用画像を左目で観察し、右目用画像を右目で観察するといった処理がなされる。
ただし、３次元画像の表示方式は、このようなシャッタ式メガネを利用した構成に限らず、様々な方式があり、本発明は表示方式については限定するものではない。

［３．画像再生処理について］
次に、記録媒体１１１などに格納された画像を再生する場合の処理について、図４以下を参照して説明する。
再生処理は、再生制御部１０４の制御の下、記録媒体１１１からユーザの指定するファイルが取得され、再生制御部１０４が取得ファイルに対して所定の処理を実行して表示制御部１０６に出力して表示部１０７に表示する処理が行われる。あるいは、外部の表示装置１５０に対する表示処理を実行する場合は、再生制御部１０４から出力部１０８を介して外部の表示装置１５０に出力される。

再生制御部１０４では、まず、ユーザの指定情報に従って、再生フォルダや再生ファイルを選択し、さらに、ユーザ指定情報あるいは予め設定済みのデフォルト情報に従って再生順番を決定する。具体的には、例えば、画像ファイルの記録順や、日付順、データーベースなどに記載されたまとまりの単位で再生順番を決定する。その決定順に従って画像処理部１１３におけるデコード処理を実行させて、表示制御部１０６または出力部１０８に提供する。

この処理に際して、再生制御部１０４は、再生画像が、２次元画像等の単視点画像であるか、３次元画像等の多視点画像であるかを識別し、いずれの画像であるかに応じて異なる処理を実行する。

なお、以下において説明する処理例は、表示部１０７や表示装置１５０が３次元画像の表示モードに設定されている場合の処理例である。
このような設定状態において、再生制御部１０４の実行する処理について、図４、図５を参照して説明する。
図４は、出力画像が３次元画像（多視点画像）である場合の処理例を示している。
図５は、出力画像が２次元画像（単視点画像）である場合の処理例を示している。

なお、再生制御部１０４は、出力画像が３次元画像である場合は図４に示す処理を実行し、出力画像が３次元画像から２次元画像に切り替わった場合は、図４に示す処理から図５に示す処理に即座に処理態様を変更する。逆も同様であり、出力画像が２次元画像である場合は図５に示す処理を実行し、出力画像が２次元画像から３次元画像に切り替わった場合は、図５に示す処理から図４に示す処理に即座に処理態様を変更する。なお、出力画像が２次元画像であるか３次元画像であるかは、例えばファイルに設定された拡張子に基づいて判定することができる。

まず図４を参照して、出力画像が３次元画像である場合に再生制御部１０４の実行する処理例について説明する。再生制御部１０４、例えば、再生しようとする画像が多視点画像である場合は、任意の画像データを左視点用の画像として選択し、それにあわせて基線長や角度などから右視点用の画像を選択するといった処理を行う。例えばファイルに記載された画像管理情報や各視点情報に基づいて選択する処理を行う。

図４には、複数の異なる３次元画像のデータ転送フォーマットに従った処理例を示している。
３次元画像のデータ転送フォーマットとしては、図４に示すように、例えば、
（ａ）サイドバイサイド方式、
（ｂ）オーバーアンドアンダー方式、
（ｃ）フレームシーケンシャル方式、
例えばこれらの方式がある。

（ａ）サイドバイサイド方式は、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を１つの画像フレームの左半分と右半分に分けて出力する方式である。
（ｂ）オーバーアンドアンダー方式は、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を１つの画像フレームの上半分と下半分に分けて出力する方式である。
（ｃ）フレームシーケンシャル方式は、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を個別のフレームに設定して交互に出力する方式である。

表示制御部や、表示装置側で、これらの左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を適用して各表示方式に従って３次元画像の表示を行う。なお、３次元画像の転送フォーマットと、表示方式は独立であり、表示制御部や表示装置では、様々な転送フォーマットで入力する画像を自装置の表示部の表示方式に併せて３次元画像の表示を行うことになる。

図４に示す例は、出力画像が３次元画像である場合、再生制御部１０４が、各転送フォーマット（（ａ）〜（ｃ））に従って画像を各画像フレームデータに対応する画像データのメモリ上の描画態様を示している。
再生制御部１０４は、図４（ａ）〜（ｃ）の各方式に応じて、図に示すようなフレーム対応の画像データを転送データとして設定し、表示制御部１０６、または出力部１０８に出力する。

（ａ）サイドバイサイド方式の場合は、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を１つの画像フレームの左半分と右半分に分けて出力する。
（ｂ）オーバーアンドアンダー方式の場合は、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を１つの画像フレームの上半分と下半分に分けて出力する。
（ｃ）フレームシーケンシャル方式の場合は、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を個別のフレームに設定して交互に出力する。
これらの各処理は、一般的な３次元画像の出力方式と同様である。

このような設定の３次元画像を入力した表示制御部１０８、あるいは出力部を介して入力した表示装置１５０は、入力画像を所定の３次元画像表示方式に従って表示する。例えば、前述のシャッタ方式のメガネを装着したユーザに提示するための表示処理として、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を交互に出力する設定とした３次元画像表示を行う。

次に、図５を参照して、出力画像が２次元画像である場合に再生制御部１０４の実行する処理例について説明する。
図５にも、図４と同様、複数の異なる３次元画像のデータ転送フォーマットに従った処理例を示している。すなわち、
（ａ）サイドバイサイド方式、
（ｂ）オーバーアンドアンダー方式、
（ｃ）フレームシーケンシャル方式、
これらの方式において、再生制御部１０４の実行する２次元画像の出力処理例を示している。

図５に示すように、再生制御部１０４は、各転送フォーマットに従って以下の処理を実行する。
（ａ）サイドバイサイド方式の場合は、１つの画像フレームの左半分と右半分の双方に、同じ２次元（単視点）画像を格納して出力する。
（ｂ）オーバーアンドアンダー方式の場合は、１つの画像フレームの上半分と下半分の双方に、同じ２次元（単視点）画像を格納して出力する。
（ｃ）フレームシーケンシャル方式の場合は、３次元画像転送の場合の左目用画像（Ｌ画像）格納フレームと右目用画像（Ｒ画像）格納フレームの１組ごとに、同じ２次元（単視点）画像を格納して出力する。

このような設定の２次元画像（単視点画像）を入力した表示制御部１０８、あるいは出力部を介して入力した表示装置１５０は、入力する２次元画像を３次元画像と全く同様の処理で表示を行う。例えば、前述のシャッタ方式のメガネを装着したユーザに提示するための表示処理ではね３次元画像表示の場合、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を交互に出力する設定とした３次元画像表示を行っていた。

図５に示す２次元画像（単視点画像）を入力した場合も、表示制御部１０８、あるいは出力部を介して入力した表示装置１５０は、処理を切り換えることなく、同様の処理を行う。
すなわち、３次元画像における左目用画像（Ｌ画像）の提示処理の代わりに２次元画像（単視点画像）を提示し、左目用画像（Ｌ画像）の提示処理の代わりに同様の２次元画像（単視点画像）を提示する処理を行う。
この場合、例えばシャッタ方式のメガネを装着したユーザは左目でも右目でも同一の２次元（単視点）画像を観察することになり、通常の平面的な画像を観察すると同様の画像観察を行うことができる。

このような処理を行うことで、表示部や表示装置では、画像の出力方式を変更する必要がなくなる。従って表示態様の変更処理に伴う時間ロスがは発生しない。
また、ユーザがシャッタ方式等、３次元画像観察用のメガネを装着している場合も、取り外す必要がなくなり、ユーザ負担が軽減される。

このように、本発明の画像処理装置の再生制御部１０４は、表示部が多視点画像の表示モードでの表示を実行している場合において、多視点画像を出力する場合は、多視点画像転送フォーマットに従って規定される各視点画像の展開位置に多視点画像を構成する各視点画像を展開した出力データを生成して表示制御部等へ出力し、単視点画像を出力する場合は、多視点画像転送フォーマットに従って規定される各視点画像の展開位置に同一の単視点画像を展開した出力データを生成して表示制御部等へ出力する処理を実行する。

具体的には、３次元画像転送フォーマットがサイドバイサイド方式である場合、３次元画像の出力時には、１つのフレーム画像中の左右の各位置に左右各視点対応の画像を展開した出力データを生成して表示制御部等へ出力し、２次元画像の出力時には、１つのフレーム画像中の左右の各位置に同一の２次元画像を展開した出力データを生成して表示制御部等へ出力する。

また、３次元画像転送フォーマットがオーバーアンドアンダー方式である場合、３次元画像の出力時には、１つのフレーム画像中の上下の各位置に左右各視点対応の画像を展開した出力データを生成して表示制御部等へ出力し、２次元画像の出力時には、１つのフレーム画像中の上下の各位置に同一の２次元画像を展開した出力データを生成して表示制御部等へ出力する処理を実行する。

また、３次元画像転送フォーマットがフレームシーケンシャル方式である場合、３次元画像の出力時には、フレーム毎に左右各視点対応の画像を交互に展開した出力データを生成して表示制御部等へ出力し、２次元画像の出力時には、２つの連続フレーム毎に同一の２次元画像を展開した出力データを生成して表示制御部等へ出力する。

これらの処理により、表示部側での処理切り替えを行うことなく多視点画像と単視点画像をスムーズに切り換えて表示することが可能となる。

［４．本発明の画像処理装置の表示制御シーケンスについて］
次に、図６に示すフローチャートを参照して、本発明の画像処理装置の表示制御シーケンスについて説明する。
図６に示すフローは、先に図４、図５を参照して説明した処理に対応し、表示部の設定が３次元画像表示モードに設定されている場合に、再生制御部において実行する処理シーケンスを説明するフローチャートである。

ステップＳ１０１において、再生制御部１０４は、記録媒体１１１に記録された画像ファイル群を取得して、例えばメニュー画面を出力する。具体的には、表示部に書く画像ファイルのタイトル表示などを行う。
ステップＳ１０２において、ユーザ操作に基づいて、再生指定された画像を選択する。

次に、ステップＳ１０３において、再生制御部１０４は、再生する選択画像が２次元（単視点）画像であるか３次元画像等の多視点画像であるかを判別する。なお、この判別処理は、例えば各ファイルの拡張子（ＪＰＧ／ＭＰＯ）等に基づいて行うことがてきる。

ステップＳ１０３において、再生する選択画像が２次元（単視点）画像であると判定した場合は、ステップＳ１０４に進む。再生する選択画像が３次元画像等の多視点画像であると判定した場合は、ステップＳ１０６に進む。

再生する選択画像が２次元（単視点）画像である場合は、ステップＳ１０４において、取得した１つの画像データを、３次元画像転送フォーマットにおける左目用画像転送領域に描画して、表示制御部に出力する。
さらに、ステップＳ１０５において、同じ画像データを、３次元画像転送フォーマットにおける右目用画像転送領域に描画して、表示制御部に出力する。
この処理は、先に図５を参照して説明した処理に対応する処理である。

一方、再生する選択画像が３次元画像等の多視点画像である場合は、ステップＳ１０６において、取得した左目用画像を、３次元画像転送フォーマットにおける左目用画像転送領域に描画して、表示制御部に出力する。
次に、ステップＳ１０７において、取得した右目用画像を、３次元画像転送フォーマットにおける右目用画像転送領域に描画して、表示制御部に出力する。
この処理は、先に図４を参照して説明した処理に対応する処理である。

次に、ステップＳ１０８において、再生制御部から表示制御部に入力されたデータを、表示制御部が表示部に出力する。この処理は３次元画像の表示方式に従って実行され、入力画像が２次元画像である場合も３次元画像である場合も同じ処理として実行されることになる。

ステップＳ１０９では３次元画像表示モードの終了判定を実行し、終了されていない場合は、ステップＳ１０２に戻り、同様の処理を繰り返す。ステップＳ１０９で３次元画像表示モードが終了したと判定した場合は処理を終了する。

［５．変形例について］
次に本発明の画像処理装置の異なる実施例について説明する。
上述した実施例は、画像処理装置の例として撮像装置の例を示したが、前述したように、本発明の画像処理装置は画像を自装置の表示部、あるいは出力部を介して接続した外部の表示装置に画像を出力可能な機器であればよく、撮像装置に限らず、例えばＰＣ、ＴＶ、プレーヤ等の様々な装置でっあってもよい。

また、画像データを格納した記憶部を備えた装置でなくてもよく、例えば、通信ケーブルやネットワークを介して画像データを入力して再生制御処理を行う装置であってもよい。
また、画像処理装置内部にデーターベース、およびデーターベース処理部を設け、データーベースから情報を取得するデータ処理部を設け、データ処理部が、データーベースから得た情報を用いて表示態様を決定するといつた構成としてもよい。

上述した実施例では、表示部における表示モードが３Ｄ画像の表示モードである場合の例について説明したが、この表示モードは、例えばユーザの入力によって手動でも切り換えることが可能である。
なお、上述の処理例では、多視点画像の例として左目用画像と右目用画像の２視点の画像の例を説明したが、さらに、３視点以上のＮ視点データを表示する多視点画像表示を実行する表示部に出力する場合は、再生制御部１０４は、Ｎ視点の各画像に対して同一の単視点画像を対応づけて出力するといった処理を行う。

さらに、画像処理装置の再生制御部は、表示部側の制御部からＮ個の視点画像の要求があり、取得可能な多視点画像がＮ未満の視点の画像である場合、Ｎ未満の視点の画像の一部の画像をコピーしてＮ視点画像として出力する処理を実行する構成としてもよい。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、多視点画像と単視点画像の表示を表示部側での処理切り替えを行うことなく表示することが可能となる。表示部が多視点画像の表示モードでの表示を実行している場合、３次元画像等の多視点画像を出力する際には、多視点画像転送フォーマットに従って規定される各視点画像の展開位置に多視点画像を構成する各視点画像を展開した出力データを生成して表示制御部へ出力し、２次元画像等の単視点画像を出力する場合は、多視点画像転送フォーマットに従って規定される各視点画像の展開位置に同一の単視点画像を展開した出力データを生成して表示制御部へ出力する。この処理により、表示部側での処理切り替えを行うことなく多視点画像と単視点画像をスムーズに切り換えて表示することが可能となる。

１００ 撮像装置
１０１ レンズ
１０２ 撮影制御部
１０３ 記録制御部
１０４ 再生制御部
１０５ ＵＩ制御部
１０６ 表示制御部
１０７ 表示部
１０８ 出力部
１０９ 入力デバイス
１１０ 入力部
１１１ 記録媒体
１１２ メモリ
１１３ 画像処理部
２００ ＤＣＩＭディレクトリ

Claims (8)

1. 多視点画像を出力する場合は、多視点画像転送フォーマットに従って規定される各視点画像の展開位置に多視点画像を構成する各視点画像を展開した出力データを生成し、
   単視点画像を出力する場合は、多視点画像転送フォーマットに従って規定される各視点画像の展開位置に同一の単視点画像を展開した出力データを生成する処理を実行する制御部を備え、
   前記制御部は、表示部側からＮ個の視点画像の要求があり、取得可能な多視点画像がＮ未満の視点の画像である場合、Ｎ未満の視点の画像の一部の画像をコピーしてＮ視点画像とする画像処理装置。
2. 前記制御部は、
   表示部が３次元画像の表示モードでの表示を実行している場合において、
   ３次元画像を出力する場合は、３次元画像転送フォーマットに従って規定される左右各視点対応の画像展開位置に左右の各視点画像を展開した出力データを生成し、
   ２次元画像を出力する場合は、３次元画像転送フォーマットに従って規定される左右各視点対応の画像展開位置に同一の２次元画像を展開した出力データを生成する請求項１に記載の画像処理装置。
3. 前記制御部は、
   前記３次元画像転送フォーマットがサイドバイサイド方式である場合、
   ３次元画像の出力時には、１つのフレーム画像中の左右の各位置に左右各視点対応の画像を展開した出力データを生成し、
   ２次元画像の出力時には、１つのフレーム画像中の左右の各位置に同一の２次元画像を展開した出力データを生成する請求項２に記載の画像処理装置。
4. 前記制御部は、
   前記３次元画像転送フォーマットがオーバーアンドアンダー方式である場合、
   ３次元画像の出力時には、１つのフレーム画像中の上下の各位置に左右各視点対応の画像を展開した出力データを生成し、
   ２次元画像の出力時には、１つのフレーム画像中の上下の各位置に同一の２次元画像を展開した出力データを生成する請求項２に記載の画像処理装置。
5. 前記制御部は、
   前記３次元画像転送フォーマットがフレームシーケンシャル方式である場合、
   ３次元画像の出力時には、フレーム毎に左右各視点対応の画像を交互に展開した出力データを生成し、
   ２次元画像の出力時には、２つの連続フレーム毎に同一の２次元画像を展開した出力データを生成する請求項２に記載の画像処理装置。
6. 前記制御部は、
   入力画像が単視点画像であるか多視点画像であるかを、各画像ファイルの拡張子に基づいて解析することにより判別する処理を実行する請求項１〜５いずれかに記載の画像処理装置。
7. 画像処理装置において、画像制御を実行する画像処理方法であり、
   制御部が、多視点画像出力時には、多視点画像転送フォーマットに従って規定される各視点画像の展開位置に多視点画像を構成する各視点画像を展開した出力データを生成し、
   単視点画像の出力時には、多視点画像転送フォーマットに従って規定される各視点画像の展開位置に同一の単視点画像を展開した出力データを生成し、
   表示部側からＮ個の視点画像の要求があり、取得可能な多視点画像がＮ未満の視点の画像である場合、Ｎ未満の視点の画像の一部の画像をコピーしてＮ視点画像とする画像処理方法。
8. 画像処理装置において、画像制御を実行させるプログラムであり、
   制御部に、
   多視点画像出力時には、多視点画像転送フォーマットに従って規定される各視点画像の展開位置に多視点画像を構成する各視点画像を展開した出力データを生成させ、
   単視点画像の出力時には、多視点画像転送フォーマットに従って規定される各視点画像の展開位置に同一の単視点画像を展開した出力データを生成させ、
   表示部側からＮ個の視点画像の要求があり、取得可能な多視点画像がＮ未満の視点の画像である場合、Ｎ未満の視点の画像の一部の画像をコピーしてＮ視点画像とする処理を実行させるプログラム。