JP5924978B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は複数の撮像部を備えた多眼方式の撮像装置を用いて得られる画像を表示するための表示方法に関する。

従来、複数の撮像部を備えた多眼方式の撮像装置（以降、多眼カメラと呼ぶ）によって一度に得られる複数の撮像画像を表示するものとして、２枚の撮像画像を水平に並べて表示する一覧表示技術が知られている（例えば、特許文献１）。この一覧表示技術は、２つの撮像部で撮像された視差のある２枚の撮像画像を水平方向に並べてディスプレイ上に同時に出力することにより、両方の撮像画像について一度にフレーミングや露出の確認を行えるようにすることを可能とするものであった。

一方で、単一の撮像部を備えた一般的なデジタルカメラを用いて得られる撮像画像を表示する際には、撮像時のカメラの向きに合わせて撮像画像の向きを回転させて表示する表示回転技術が一般的に用いられている。例えば、カメラを縦向きに構えて撮像を行った場合、そのままでは被写体が横になった状態の画像が表示されることになるが、撮像画像を90°回転させて表示することにより撮像時のカメラの向きと表示される撮像画像の向きとを一致させることが可能となる。

特開平１１−８８９１２号公報

上記従来の表示回転技術では、表示対象となる撮像画像の画像中心を軸として画像を回転させることで撮像時のカメラの向きと表示される撮像画像の向きとを一致させている。これを、多眼カメラを縦向きに構えて撮像した撮像画像群の一覧表示に適用すると、個々の撮像画像がそれぞれの画像中心を原点として回転することになる。しかしながら、一覧表示の並び順（すなわち、表示される撮像画像の配置）は回転の前後で変化しない。そうなると、画像を回転させる必要がない横向きに構えて撮像した場合はよいが、縦向きに構えて撮像した場合には表示される撮像画像の配置が多眼カメラ内の撮像部の配置と一致しないという問題が生じてしまう。つまり、撮像時の多眼カメラの向き（角度）によって、撮像部の配置と表示される撮像画像の配置とが一致したり一致しなかったりするので、両者の対応関係が把握しにくいという課題があった。

本発明に係る画像処理装置は、互いに異なる視点に対応する複数の画像を撮像するための複数の撮像部を有する撮像装置で撮像して得られた撮像画像データを取得する第一の取得手段と、前記撮像画像データが示す複数の画像を表示する際の前記複数の画像の回転度合い、又は前記複数の画像を撮像した際の前記撮像装置の傾き度合いを示す回転情報を取得する第二の取得手段と、前記撮像画像データが示す複数の画像を、並べて表示する表示手段と、前記表示手段により前記複数の画像を並べて表示する際の各画像の向きと配置とを、前記回転情報に基づいて決定する決定手段と、を有し、前記決定手段で決定される各画像の配置は、前記撮像画像データの撮像時における前記複数の撮像部の配置と一致するように決定されることを特徴とする。

本発明によれば、撮像画像とそれを撮像した多眼カメラの撮像部との対応関係が直観的に把握することが可能となる。これにより、多眼カメラで撮像した画像データの内容把握や管理が容易となる。

実施例１に係る多眼カメラの正面外観を示した図である。 実施例１に係る多眼カメラの内部構成を示す機能ブロック図である。 多眼カメラで撮像された画像がＲＡＭに格納される際のデータ構造の一例を示す図である。 実施例１に係る画像処理部における一連の処理の流れを示すフローチャートである。 多眼カメラを縦向きに構えて被写体を撮像している様子を説明する図である。実施例２における画像出力処理の流れを示すフローチャートである。 縦向きで撮像された視差のある撮像画像を示す図である。 （ａ）は撮像部配置情報として記憶されるテーブルの一例であり、（ｂ）は当該テーブルに対応する画像配置の一例を示す図である。 画像出力処理の流れを示すフローチャートである。 表示角度θ=＋90°の場合に生成される角度補正画像データを示す図である。 表示角度θ=＋90°の場合の新たな配置が決定される様子を説明する図である。 （ａ）〜（ｃ）は、表示部に表示されるＵＩ画面の一例を示す図である。 実施例２に係る撮像画像データのデータ構造の一例を示す図である。 実施例２における出力例を示す図である。 実施例３で用いる多眼カメラの外観を示した図である。 実施例３に係る画像出力処理の流れを示すフローチャートである。 実施例３に係る各角度補正画像の変更後の配置を示す図である。 実施例３に係る合成画像表示領域を含むＵＩ画面の一例を示す図である。 （ａ）〜（ｅ）は、実施例３に係るＵＩ画面の出力例を示す図である。 （ａ）は実施例４に係る多眼カメラの正面外観を示した図であり、（ｂ）及び（ｃ）はそのＵＩ画面の一例である。 （ａ）は実施例４に係る多眼カメラの正面外観を示した図であり、（ｂ）及び（ｃ）はそのＵＩ画面の一例である。 （ａ）は実施例４に係る多眼カメラの正面外観を示した図であり、（ｂ）及び（ｃ）はそのＵＩ画面の一例である。

［実施例１］
以下、本発明の好適な実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

図１は、本実施例に係る多眼方式の撮像装置（多眼カメラ）の正面外観を示した図である。同図において、多眼カメラ１００の筐体は、画像を取得する９個の撮像部１０１〜１０９と、撮像ボタン１１０を備えている。撮像ボタン１１０が押下されると、撮像部１０１〜１０９が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換されて、複数の撮像画像を含む撮像画像データ（デジタルデータ）が同時に取得される。このような多眼カメラにより、同一の被写体を複数の視点から捉えた撮像画像群を得ることができる。

ここで、９個の撮像部１０１〜１０９は、図１に示すようなＮ×Ｎ（ここでは、Ｎ＝３）の正方形の格子点上に位置している。つまり、撮像部１０１〜１０３、撮像部１０４〜１０６、撮像部１０７〜１０９の各列は、地面と平行に並んでいることになる。そして、多眼カメラ１００を横向きに構えて撮像して得られる撮像画像データの場合、各撮像画像は上記撮像部１０１〜１０９の配置と常に一致するように表示されることになる（後述の図１３の撮像画像データ１２０４を参照）。なお、この場合において撮像部（レンズ）は被写体に向けられているため、図１の撮像部１０１〜１０９の配置がｙ軸を中心に線対称になった配置となっている。

一方、多眼カメラ１００を、例えば時計方向に９０度傾けて（縦向きで）撮像した場合には、撮像ボタン１１０のある筐体上面が地面と垂直な状態になっているので、その際の撮像部の上記各列の並びは、地面に対して垂直になる。したがって、各撮像画像を９０度回転させただけでそのまま表示してしまうと、上記各列が地面に対して垂直に並んだ撮像部の配置とは一致しないことになる（後述の図１１の（ｂ）を参照）。

そこで、本実施例では、多眼カメラによって得られた撮像画像データを表示する際、撮像時の多眼カメラの向きに応じて各撮像画像の向きを回転させるとともに、上記のような不一致が生じないように各撮像画像の配置を適宜変更して表示を行う。

なお、図１の例では撮像部の数を９個としたが撮像部の数は９個に限定されない。また、撮像部の配置はＮ×Ｎの正方形状に限られるものではなく、例えば、放射状や直線状に配置してもよいし、まったくランダムに配置してもよい。

図２は、多眼カメラ１００の内部構成を示す機能ブロック図である。中央処理装置（ＣＰＵ）２０１は、以下に述べる各部を統括的に制御する。ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能し、撮像部１０１〜１０９で取得された撮像画像データの一時的な格納なども行う。ＲＯＭ２０３は、ＣＰＵ２０１で実行される制御プラグラム等を格納している。バス２１３は各種データの転送経路であり、例えば、撮像部１０１〜１０９によって取得された撮像画像データはこのバス２１３を介して所定の処理部に送られる。ユーザが入力操作を行うための操作部２０４は、ボタンやモードダイヤルなどが含まれる。撮像画像や文字の表示を行う表示部２０６は、例えば、液晶ディスプレイが用いられる。表示部２０６はタッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部２０４の入力として扱うことも可能である。表示制御部２０５は、表示部２０６に表示される撮像画像や文字の表示制御を行う。撮像部制御部２０７は、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、ＣＰＵ２０１からの指示に基づいた撮像系の制御を行う。デジタル信号処理部２０８は、バス２１３を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。エンコーダ部２０９は、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。外部メモリ制御部２１０は、ＰＣやその他のメディア２１１（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に繋ぐためのインターフェースである。画像処理部２１２は、撮像部１０１〜１０９で取得された撮像画像データ或いは、デジタル信号処理部２０８から出力されるデジタル画像データを利用して画像処理を行う。

図３は、多眼カメラ１００で撮像された画像がＲＡＭ２０２に撮像画像データとして格納される際のデータ構造の一例を示している。図３の例では、３回の撮像分の画像データ３０１〜３０３が含まれており、各撮像画像データは、画像ファイル（ここでは、ｊｐｅｇ形式）、同時撮像フラグ、同時撮像インデックスで構成される。撮像画像データ３０１は撮像部１０１〜１０９で同時に撮像された９個の画像ファイルを含んでいる。そして、複数の撮像部によって同時に撮像されたものであることを示すフラグ（同時撮像フラグ）“１”、他の同時撮像された画像データと区別するためのインデックス（同時撮像Ｉｎｄｅｘ）“００１”が与えられている。撮像画像データ３０３も、撮像画像データ３０１と同様に９個の画像ファイルを含み、同時撮像フラグに“１”、同時撮像Ｉｎｄｅｘとして“００２”が与えられている。一方、撮像画像データ３０２は、単一の撮像部（ここでは、撮像部１０５）で撮像された画像であるため１個の画像ファイルのみからなる。この場合において、同時撮像フラグの値“０”は、複数の撮像部によって同時に撮像されたものでないことを示している。

なお、画像ファイル名、同時撮像フラグ、同時撮像Ｉｎｄｅｘの内容は、撮像で得られたデジタルデータが撮像画像データとしてＲＡＭ２０２に格納される際に、ＣＰＵ２０１によって自動で割り当てられる。

図４は、画像処理部２１２における一連の処理の流れを示すフローチャートである。なお、この処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ２０３からＲＡＭ２０２上に読み込んだ後、ＣＰＵ２０１によって該プログラムを実行することによって実施される。

ステップ４０１において、画像処理部２１２は、撮像画像データと、当該撮像画像データの撮像に用いられた多眼カメラ内の撮像部の配置情報を取得する。

ステップ４０２において、画像処理部２１２は、撮像画像データを表示部２０６に表示する際の表示角度を設定する（表示角度設定処理）。

ステップ４０３において、画像処理部２１２は、取得された撮像部の配置情報および設定された表示角度に基づき、撮像画像データ内の各画像を回転させるとともに各画像の配置を決定し、撮像画像データを表示する（画像出力処理）。

なお、このような画像処理部２１２の機能は、例えばＵＳＢメモリ等に格納された撮像画像データをＰＣに取り込んで表示させる際にも有効に適用できるものである。すなわち、ＰＣのモニタ上に多眼カメラで撮像された撮像画像データを表示する際に、ＰＣ内で同様の画像処理を行った上で表示させることができる。つまり、本実施例に係る画像処理部２１２は、独立した画像処理装置として成立し得るものであり、適宜、多眼カメラ本体やＰＣ等に組み込まれることにより実施可能なものである。

以下、画像処理部２１２で行う各処理の詳細について説明する。

＜撮像画像データおよび撮像部の配置情報の取得＞
ステップ４０１で取得される撮像画像データについては、上述したとおりである。ステップ４０１では、同時に、当該撮像画像データの撮像に用いた多眼カメラの撮像部の配置に関する情報（以下、「撮像部配置情報」と呼ぶ。）を取得する。この撮像部配置情報は、多眼カメラの筺体に対する各撮像部の相対位置関係を示す情報であり、撮像時にＲＡＭ２０２等に記憶しておいたものが読み出される。なお、本実施例では、撮像画像データはすべて上述の多眼カメラ１００で撮像されることを前提としているため、予めＲＡＭ等に記憶しておいた撮像部配置情報を別途取得する構成としている。しかし、例えば、外部メモリに格納された多くの撮像画像データを表示するような場合には、撮像部の数など仕様の異なる多眼カメラで撮像された撮像画像データが混在していることも考えられる。このような場合には、撮像画像データ自体に当該撮像に用いた多眼カメラの撮像部配置情報を関連付けておき、撮像画像データと一緒に取得するようにしてもよい。

本実施例における以下の説明では、図１に示す多眼カメラ１００を用いて、縦向きで被写体を撮像して得られた９個の画像ファイルからなる撮像画像データ（図３の３０１に相当）を表示部２０６に表示する場合を例に説明するものとする。

図５は、多眼カメラ１００を縦向きに構えて被写体である木５０１を撮像している様子を説明する図である。筐体の上部にある撮像ボタン１１０が、右側面の下部に位置しており、原点Ｏを通るｘ軸とｙ軸とが入れ替わっていることから、多眼カメラ１００が時計方向に９０度傾けられた状態で被写体５０１に対して向けられていることが分かる。

図６は、図５に示す状態で撮像された視差のある撮像画像６０１〜６０９を示しており、撮像画像６０１が撮像部１０１、撮像画像６０２が撮像部１０２、・・・撮像画像６０９が撮像部１０９といったようにそれぞれ対応している。

そして、図７の（ａ）はＲＡＭ２０２等に撮像部配置情報として記憶されるテーブルの一例である。図７に示すテーブルにおいて、nは撮像部を識別するためのインデックス、x及び yは多眼カメラ１００の筺体上の点Oを原点とする二次元座標である。例えばインデックスｎ＝１は撮像部１０１に対応し、原点Ｏからの距離がｘ及びｙ方向にそれぞれ１５であることを示している。図７の（ｂ）はこのテーブルに対応する画像配置を示しており、矩形内の数字１〜９は撮像部を識別するインデックスｎを、その下の括弧書きは対応する撮像部１０１〜１０９を示している。なお、撮像部配置情報は多眼カメラ１００の筺体に対する撮像部の配置が分かるデータであればよく、データの形式は上述したテーブルの例に限るものではない。

＜表示角度設定処理＞
ステップ４０２の表示角度設定処理では、取得した撮像画像データを表示部２０６に表示する際の角度を設定する。詳細には、操作部２０４を介してユーザが指定した角度（例えば、0°、＋90°、−90°、180°など）を表示角度θとして取得し、ＲＡＭ２０２に記憶する。

なお、ユーザが指定した角度を表示角度θとして設定するのに代えて、例えば、表示対象となる撮像画像データ撮像時の多眼カメラの傾きに関する情報（以下、「撮像時傾き情報」と呼ぶ。）を取得して、それを表示角度θとして設定してもよい。取得するための撮像時傾き情報は、例えば、撮像時に操作部２０４を介してユーザが指定した内容（例えば、回転なし、右回転、左回転、上下逆など）をＲＡＭ２０２等に記憶しておけばよい。或いは、筐体に加速度センサを取り付け、鉛直方向に対する筺体の回転角度ψを撮像時に自動で取得して、当該撮像された画像データと関連付けてＲＡＭ２０２等に記憶しておいてもよい。その上で、ＲＡＭ２０２等から読み出した撮像時傾き情報（回転角度ψ）に基づき表示角度θを設定するようにすればよい。

そして、撮像時傾き情報をユーザに指定させる場合には、指定された内容に応じて表示角度θを設定（例えば、回転なしの場合は表示角度θ＝０度）する。また、加速度センサによって撮像時に自動で取得された撮像時傾き情報（回転角度ψ）を使用する場合は、取得した回転角度ψに応じて、式（１）に従い表示角度θを算出して設定する。

このように、加速度センサを用いて撮像時のカメラの傾きに関する情報を自動で取得し、その傾き情報に応じて表示角度を自動で設定することもできる。この場合は、表示角度の設定に要するユーザの手間を大幅に軽減することができる。

＜画像出力処理＞
ステップ４０３の画像出力処理では、取得した撮像部配置情報と設定された表示角度θに基づき撮像画像データ中の各画像を回転させ、さらに回転後の各画像の配置が撮像時における各撮像部の配置と一致するようにその配置を決定して、撮像画像データを表示する。以下、詳しく説明する。

図８は、画像出力処理の流れを示すフローチャートである。なお、上述のとおり、ここでは縦向きで被写体を撮像して得られた９個の画像ファイルからなる撮像画像データ（図３の３０１）を表示部２０６に表示する場合について説明するものとする。

ステップ８０１において、画像処理部２１２は、ステップ４０２で設定された表示角度θが０度以外かどうかを判定する。表示角度θが０度以外の場合はステップ８０２に進む。一方、表示角度θが０度の場合はステップ８０８に進み、ステップ４０１で取得した撮像画像データを表示部２０６にそのまま（同時撮像フラグが“１”の場合は画像配置情報に従って）出力する。

ステップ８０２において、画像処理部２１２は、ステップ４０１で取得した撮像画像データ３０１中の同時撮像フラグを参照し、撮像画像データ３０１内の各画像ファイルが同時に撮像されたものかどうかを判定する。同時撮像の画像ファイルであると判定された場合には、ステップ８０３に進む。一方、同時撮像の画像ファイルではないと判定された場合はステップ８０６に進む。撮像画像データ３０１の同時撮像フラグは“１”であるため、ステップ８０３に進むことになる。

ステップ８０３において、画像処理部２１２は、ステップ４０１で取得した撮像画像データ３０１内の９個の画像ファイルに係る個々の画像を、ステップ４０２で設定された表示角度θだけ回転させて、角度補正画像群（角度補正画像データ）を生成する。図９は、前述の図６で示した９個の撮像画像６０１〜６０９を基に、表示角度θ=＋90°の場合に生成される角度補正画像９０１〜９０９からなる角度補正画像データを示している。同図において、角度補正画像９０１〜９０９はそれぞれ図６の撮像画像６０１〜６０９にそれぞれ対応している。

ステップ８０４において、画像処理部２１２は、ステップ４０１で取得した撮像部配置情報とステップ４０２で設定された表示角度θに基づいて、生成された角度補正画像データ内の各角度補正画像９０１〜９０９の配置を変更する。具体的には、撮像部配置情報を参照し、各角度補正画像の並び（本実施例の場合は上下左右）が、撮像時における多眼カメラ１００を被写体に向けて構えた状態を基準とした場合の各撮像部の並びと同じになるよう、新たな配置を決定する。図１０は、表示角度θ=＋90°の場合にどのように新たな配置が決定されるのかを説明する図である。図１０の（ａ）は撮像時（多眼カメラ１００を時計方向に９０度傾けた状態）を基準とした被写体に対する各撮像部の相対的な位置関係を示すテーブルであり、図１０の（ｂ）はこれに対応するように変更された角度補正画像の配置を示している。多眼カメラ１００を時計方向に９０度傾けて撮像した場合の撮像画像データの場合、撮像部１０１による撮像画像が右上、撮像部１０３による撮像画像が右下、撮像部１０７による撮像画像が左上、撮像部１０９による撮像画像が左下、の配置となることが分かる。

ステップ８０５において、画像処理部２１２は、ステップ８０３で生成した角度補正画像９０１〜９０９をステップ８０４で決定した配置に従って並び替え、配置の変更された角度補正画像データを表示部２０６に出力する。図１１の（ａ）〜（ｃ）は、表示部２０６上に表示されるＵＩ画面の一例を示している。図１１の（ａ）は、角度補正も配置変更も行わずそのまま撮像画像データを出力した場合の表示例であり、図１１の（ｂ）は、角度補正のみを行い配置変更は行わなかった場合の表示例である。いずれの場合も、画像９０１〜９０９の配置が多眼カメラを縦向きに構えた際の各撮像部の配置と一致していないのが分かる。図１１の（ｃ）は、角度補正後に配置変更を行った場合の表示例であり、画像９０１〜９０９の配置が多眼カメラを縦向きに構えた際の各撮像部の配置（図１０の（ｂ）を参照）と一致しているのが分かる。

ステップ８０６において、画像処理部２１２は、ステップ４０１で取得した撮像画像データ内の各画像ファイルを、ステップ４０２で設定された表示角度θだけ回転させて、角度補正画像（角度補正画像データ）を生成する。

ステップ８０７において、画像処理部２１２は、ステップ８０５で生成した角度補正画像データを表示部２０６に出力する。

このようにして、表示部における各画像の配置は、各画像の位置関係が、複数の撮像部の位置関係と同じになるように決定される。

以上のとおり、本実施例に係る発明によれば、撮像画像データの表示上の配置と当該画像を撮像した際の撮像部の配置とが一致し、撮像画像とそれを撮像した撮像部との対応関係が直観的に把握することができる。

［実施例２］
実施例１では、１回の撮像に係る９個の画像ファイルからなる撮像画像データを表示する場合について説明した。次に、複数回の撮像に係る撮像画像データであって、その中に撮像部が単一である一般的なデジタルカメラで撮像した撮像画像データも混在している場合の表示について、実施例２として説明する。なお、実施例１と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。

図１２は、本実施例における撮像画像データのデータ構造の一例を示している。参照符号１２０１、１２０２、１２０５、１２０６で示す撮像画像データは、撮像部が単一のデジタルカメラで撮像された１の画像ファイルからなるデータである。参照符号１２０３及び１２０４で示す撮像画像データは、撮像部１０１〜１０９を有する多眼カメラ１００で同時に撮像された９個の画像ファイルからなるデータである。撮像画像データ１２０３及び１２０４に前述の撮像時傾き情報が付加されている点で、図３と相違している。また、図１２には図示されていないが、撮像画像データ１２０３及び１２０４は、前述の撮像部配置情報も付加されている。

この場合はまず、撮像画像データ１２０１〜１２０６に対し図４のフローチャートのステップ４０１及びステップ４０２の処理を実行し、各撮像画像データを表示部２０６に表示する際の表示角度θを撮像画像データ毎に設定する。

そして、ステップ４０３の画像出力処理において、設定された表示角度θ及び同時撮像フラグの内容に応じて、撮像画像データ毎に、必要な角度補正画像データの生成及び角度補正画像の配置変更がなされる。そして、適宜配置が変更された角度補正画像データやその他の撮像画像データを含めた全体の配置を決定する。

上記の処理において、１回の撮像分の撮像画像データであるかどうかは、同時撮像フラグ及び同時撮像Ｉｎｄｅｘを参照することにより判断される。具体的には、同時撮像フラグが“０”であれば、その画像ファイルは単独の撮像画像データとして扱い、同時撮像フラグが“１”であれば、さらに同時撮像Ｉｎｄｅｘが共通する画像ファイル群を１つの撮像画像データとして扱う。なお、一般的なデジタルカメラによる撮像画像データ、及び複数の撮像部のうち１つのみを用いて撮像された多眼カメラによる撮像画像データは、いずれも１の画像ファイルからなり、両者を同等のものとして扱えば足りる。

そして、上記のようにして決定された全体配置に従って各角度補正画像又は角度補正されないままの撮像画像を配置して、表示部２０６に出力する。

図１３は、上述のような処理により、図１２で示した撮像画像データ１２０１〜１２０９が表示部２０６に表示される様子を示している。一般的なデジタルカメラで撮像した撮像画像データ１２０１、１２０２、１２０５、１２０６は、表示角度が補正されることなく表示されている。また、多眼カメラを横向きに構えて撮像した撮像画像データ１２０４も、表示角度が補正されることなく、またその配置も変更されることなく表示されている。これに対し、多眼カメラを縦向きに構えて撮像した撮像画像データ１２０３は、表示角度が補正された上に配置が撮像時の撮像部の配置と同じになるように変更されて表示されている。

本実施例によれば、様々な種類の撮像画像データが混在しているような場合でも、すべての撮像画像データについて撮像画像データの表示上の配置と当該画像を撮像した際の撮像部の配置とを一致させることができる。

［実施例３］
次に、多眼カメラから得られる複数の撮像画像のうち、ユーザが選択した撮像画像のみを表示する態様について実施例３として説明する。なお、実施例１及び２と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。

図１４は、本実施例で用いる多眼カメラの外観を示した図である。同図において、多眼カメラ１４００の筐体は、画像を取得する２５個の撮像部１４０１〜１４２５と、撮像ボタン１４１０を備えている。撮像部の数が異なる以外、その内部構成などは実施例１における多眼カメラ１００と同様であり、画像処理部２１２における大まかな処理の流れも共通である。本実施例の特徴は、図４のフローチャートにおけるステップ４０３の画像出力処理にあるので、以下、画像出力処理の内容を中心に説明する。

図１５は、本実施例に係る画像出力処理の流れを示すフローチャートである。

ステップ４０１で取得された撮像画像データと撮像部配置情報に基づき、ステップ４０２で表示角度が設定されると、設定された表示角度θが０度以外かどうか、同時撮像かどうかが判定される（ステップ１５０１及び１５０２）。ステップ１５０１及び１５０２で “No”と判定された場合のステップ１５１０〜ステップ１５１２の各処理は、実施例１の図８のフローチャートにおけるステップ８０６〜ステップ８０８に対応する。ここでは、本実施例の特徴が最も出るケース（ステップ１５０１及び１５０２で共に“Yes”と判定されるケース）のステップ１５０３以降の処理について詳しく説明するものとする。また、以下では、図１４で示した多眼カメラ１４００を前述の図５で示されるように縦向きに構えて被写体５０１を撮像して得られた撮像画像データを処理する場合を例に説明する。

ステップ１５０３において、画像処理部２１２は、ステップ４０１で取得した撮像画像データ内の２５個の画像ファイルに係る個々の画像を、ステップ４０２で設定された表示角度θだけ回転させて、角度補正画像データを生成する。

ステップ１５０４において、画像処理部２１２は、ステップ４０１で取得した撮像部配置情報とステップ４０２で設定された表示角度θに基づいて、生成された角度補正画像データ内の各角度補正画像の配置を変更する。図１６は変更された各角度補正画像の配置を示している。矩形内の数字１〜２５は撮像部を識別するインデックスｎを示しており、その下の括弧書きは対応する撮像部１４０１〜１４２５を示している。実施例１に係る図１０の（ｂ）の場合と同様、ここでの撮像画像データは、撮像部１４０１による撮像画像が右上、撮像部１４０５による撮像画像が右下、撮像部１４２１による撮像画像が左上、撮像部１４２５による撮像画像が左下、の配置となることが分かる。

ステップ１５０５において、画像処理部２１２は、変更後の配置に対応付けられた画像選択ボタンを含むＵＩ画面を作成し、表示部２０６に表示する。この場合において、表示部２０６はタッチスクリーン機能を有し、ユーザによる画像の選択がタッチスクリーンを介して行われるものとする。図１７は、２５個の画像選択ボタン１７０１〜１７０５を含む画像選択領域１７００、選択された画像を表示する選択画像表示領域１７３０、選択された画像の合成画像を表示する合成画像表示領域１７４０を含むＵＩ画面の一例である。この場合において、画像選択ボタン１７０１〜１７２５は、それぞれ撮像部１４０１〜１４２５に関連付けられている。ユーザは、画像選択ボタン１７０１〜１７２５の中から任意の画像選択ボタンを選んで、選択画像表示領域１７３０に表示させる角度補正画像を選択する。

ステップ１５０６において、画像処理部２１２は、上記ＵＩ画面を介してユーザによって選択された画像選択ボタンに対応する角度補正画像を、選択画像表示領域１７３０に表示する画像（以下、「表示画像」と呼ぶ。）に決定する。例えば、ユーザによって、画像選択ボタン１７０１、１７０２、１７０６、１７０７が押下された場合には、それらのボタンに関連付けられた撮像部１４０１、１４０２、１４０６、１４０７に対応する角度補正画像が表示画像として決定される。

ステップ１５０７において、画像処理部２１２は、ステップ１５０３で生成された角度補正画像データ内のすべての角度補正画像を合成し、１の合成画像データ（全合成画像データ）を生成する。ここでの合成処理としては、例えば既知のリフォーカス処理や超解像処理などが適用可能である。

ステップ１５０８において、画像処理部２１２は、ステップ１５０６で決定された表示画像を合成し、１の合成画像データ（選択合成画像データ）を生成する。合成処理の内容はステップ１５０７と同様である。

ステップ１５０９において、画像処理部２１２は、ステップ１５０６で決定した表示画像をステップ１５０４で決定した画像配置に従って並べ替え、ＵＩ画面上の選択画像表示領域に表示する。さらに、ステップ１５０７で生成された全合成画像データ及びステップ１５０８で生成された選択合成画像データを合成画像表示領域１７４０に表示する。このような合成画像データの表示によって自らが選択した画像の合成結果などを同時に把握することが可能となる。

図１８の（ａ）〜（ｅ）は、それぞれステップ１５０９におけるＵＩ画面の出力例を示している。これらの図において、画像選択領域１７００内の黒塗りの矩形箇所はユーザが選択したことを示しており、当該黒塗りの矩形に対応するように選択画像表示領域１７３０内に角度補正画像が表示されているのが分かる。なお、図１８の例では、全合成画像データが左側の合成画像表示領域１７４０に、選択合成画像データが右側の合成画像表示領域１７４０にそれぞれ表示されている。

なお、ステップ１５０１で“No”（表示角度θ＝０度）と判定され、かつ、同時撮像フラグが“１”の場合にも、上記ステップ１５０５〜ステップ１５０８の各処理が同様に実行され、図１８のようなＵＩ画面で撮像画像データが表示されることになる。

本実施例によれば、撮像時における撮像部の配置に対応付けられた画像選択ボタンによって表示させたい画像をユーザは選択することができ、さらに、選択された一部の撮像画像と撮像部の全体の配置との関係を容易に把握することが可能となる。

［実施例４］
次に、多眼カメラにおける撮像部の配置がＮ×Ｎの正方形以外の場合について、実施例４として説明する。なお、実施例１〜３と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。

図１９の（ａ）は、１２個の撮像部が直径の異なる２つの同心円上に配置された多眼カメラ１９００の正面外観を示した図である。１９１０は撮像ボタンである。また、図２０の（ａ）は、１２個の撮像部がＮ×Ｍ（ここでは、Ｎ＝３、Ｍ＝４）の長方形の格子点上に配置された多眼カメラ２０００の正面外観を示した図である。２０１０は撮像ボタンである。多眼カメラ１９００及び２０００の内部構成や、各処理部の内容については実施例１に準じるのでここでは説明を省略する。

上記のような多眼カメラ１９００及び２０００を時計方向に９０度傾けて撮像した場合の撮像画像データをそのまま（表示角度θ＝０度）で出力した場合には、それぞれ図１９の（ｂ）及び図２０の（ｂ）に示すようなＵＩ画面が表示部２０６に表示される。なお、両図において括弧内は対応する撮像部を表している。

そして、図１９の（ｃ）及び図２０の（ｃ）は、表示角度θ＝＋９０度で出力した場合の表示部２０６に表示されるＵＩ画面を示している。さらに、図２１の（ａ）〜（ｃ）は、上述の多眼カメラ２０００と同じ構造の多眼カメラ２１００を時計方向に９０度傾けて撮像した場合の撮像画像データのうち、黒印の撮像部で撮像されたものを用いなかった場合の出力例を示している。いずれにおいても、撮影画像とそれを撮影した時の撮像部の配置との対応関係が直観的に把握可能になっている。

（その他の実施形態）
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (17)

1. 互いに異なる視点に対応する複数の画像を撮像するための複数の撮像部を有する撮像装置で撮像して得られた撮像画像データを取得する第一の取得手段と、
   前記撮像画像データが示す複数の画像を表示する際の前記複数の画像の回転度合い、又は前記複数の画像を撮像した際の前記撮像装置の傾き度合いを示す回転情報を取得する第二の取得手段と、
   前記撮像画像データが示す複数の画像を、並べて表示する表示手段と、
   前記表示手段により前記複数の画像を並べて表示する際の各画像の向きと配置とを、前記回転情報に基づいて決定する決定手段と、
   を有し、
   前記決定手段で決定される各画像の配置は、前記撮像画像データの撮像時における前記複数の撮像部の配置と一致するように決定される
   ことを特徴とする画像処理装置。
2. 前記複数の撮像部は、垂直及び水平方向にそれぞれ複数であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第二の取得手段は、ユーザによって入力された、前記複数の画像を表示する際の前記複数の画像の回転度合いを含む前記複数の画像の回転指示を取得し、
   前記決定手段は、前記回転指示に基づいて前記複数の画像の向きと配置とを決定する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第二の取得手段は、前記複数の画像撮像時の前記撮像装置の傾き度合いを取得し、
   前記決定手段は、前記傾き度合いに基づいて前記複数の画像の向きと配置とを決定する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記決定手段は、所定の間隔で設定された複数の角度のうち、前記傾き度合いが示す角度に最も近い角度を選択し、該選択した角度に基づいて前記複数の画像の向きと配置とを決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記撮像装置は加速度センサを備え、前記第二の取得手段は、前記加速度センサからの出力に基づいて前記撮像装置の傾き度合いを取得することを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記第二の取得手段は、前記複数の画像に対応する複数の視点の間の位置関係を示す位置関係情報を更に取得し、
   前記決定手段は、前記位置関係情報に更に基づいて前記複数の画像の向きと配置とを決定する
   ことを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記決定手段により決定された向きと配置で並べて表示された前記複数の画像に対して入力された、前記複数の画像のうちの一部を選択するユーザ指示を取得する第三の取得手段と、
   前記第三の取得手段により取得された前記ユーザ指示で特定される選択された画像を合成することで合成画像を生成する合成手段と
   を有することを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 前記複数の画像のうち、前記ユーザ指示で特定される選択された画像を示す画像と、前記合成画像とを表示する表示画像を生成する生成手段を更に有することを特徴とする請求項８に記載の画像処理装置。
10. 互いに異なる視点に対応する複数の画像を撮像するための複数の撮像部を有する撮像装置で撮像して得られた撮像画像データを取得する第一の取得手段と、
    前記撮像画像データが示す複数の画像の回転度合いを含む、ユーザによって入力された前記複数の画像の回転指示、又は前記複数の画像を撮像した際の前記撮像装置の傾き度合いを示す回転情報を取得する第二の取得手段と、
    前記撮像画像データが示す複数の画像を、並べて表示する表示手段と、
    前記表示手段により前記複数の画像を並べて表示する場合の前記複数の画像の向きと配置とを示す情報を、前記回転情報に基づいて決定する決定手段と
    を有し、
    前記決定手段で決定される情報における各画像の配置は、前記撮像画像データの撮像時における前記複数の撮像部の配置と一致するように決定される
    ことを特徴とする画像処理装置。
11. 互いに異なる視点に対応する複数の画像を撮像するための複数の撮像部を有する撮像装置で撮像して得られた撮像画像データを取得する第一の取得手段と、
    前記撮像画像データが示す複数の画像の回転度合いを含む、ユーザによって入力された前記複数の画像の回転指示、又は前記複数の画像を撮像した際の前記撮像装置の傾き度合いを示す回転情報を取得する第二の取得手段と、
    前記撮像画像データが示す複数の画像を並べて表示する表示手段と、
    を有し、
    前記表示手段により前記複数の画像を表示する際の前記複数の画像の回転度合い、又は前記複数の画像を撮像した際の前記撮像装置の傾き度合いが変更された場合に、前記表示において、前記複数の画像の向きと配置との両方が連動して、かつ、各画像の配置が前記撮像画像データの撮像時における前記複数の撮像部の配置と一致するように変化する
    ことを特徴とする画像処理装置。
12. 前記撮像装置は、複数の撮像部を備えた多眼方式の撮像装置であることを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理装置。
13. 請求項１乃至１２のいずれか一項に記載の画像処理装置を有する、互いに異なる視点に対応する複数の画像を撮像する撮像装置。
14. 互いに異なる視点に対応する複数の画像を撮像するための複数の撮像部を有する撮像装置で撮像して得られた撮像画像データを取得するステップと、
    前記撮像画像データが示す複数の画像を表示する際の前記複数の画像の回転度合い、又は前記複数の画像を撮像した際の前記撮像装置の傾き度合いを示す回転情報を取得するステップと、
    前記複数の画像を並べて表示する際の各画像の向きと配置とを、前記回転情報に基づいて決定するステップと、
    前記決定するステップで決定された向きと配置に従って、前記複数の画像を、並べて表示するステップと、
    を有し、
    前記決定するステップでは、各画像の配置が、前記撮像画像データの撮像時における前記複数の撮像部の配置と一致するように決定される
    ことを特徴とする画像処理方法。
15. 互いに異なる視点に対応する複数の画像を撮像するための複数の撮像部を有する撮像装置で撮像して得られた撮像画像データを取得するステップと、
    前記撮像画像データが示す複数の画像の回転度合いを含む、ユーザによって入力された前記複数の画像の回転指示、又は前記複数の画像を撮像した際の前記撮像装置の傾き度合いを示す回転情報を取得するステップと、
    前記複数の画像を並べて表示する場合の前記複数の画像の向きと配置とを示す情報を、前記回転情報に基づいて決定するステップと、
    前記決定するステップで決定された向きと配置に従って、前記複数の画像を、並べて表示するステップと、
    を有し、
    前記決定するステップで決定される情報における各画像の配置は、前記撮像画像データの撮像時における前記複数の撮像部の配置と一致するように決定される
    ことを特徴とする画像処理方法。
16. 互いに異なる視点に対応する複数の画像を撮像するための複数の撮像部を有する撮像装置で撮像して得られた撮像画像データを取得するステップと、
    前記撮像画像データが示す複数の画像の回転度合いを含む、ユーザによって入力された前記複数の画像の回転指示、又は前記複数の画像を撮像した際の前記撮像装置の傾き度合いを示す回転情報を取得するステップと、
    前記撮像画像データが示す複数の画像を並べて表示するステップと
    を有し、
    前記複数の画像を表示する際の前記複数の画像の回転度合い、又は前記複数の画像を撮像した際の前記撮像装置の傾き度合いが変更された場合に、前記表示において、前記複数の画像の向きと配置との両方が連動して、かつ、各画像の配置が前記撮像画像データの撮像時における前記複数の撮像部の配置と一致するように変化する
    ことを特徴とする画像処理方法。
17. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置として機能さ
    せるためのプログラム。

Images