JP6016180B2 - 画像処理方法及び画像処理装置 - Google Patents

Description

本開示は、複数の画像に基づいて３Ｄ表示用の画像処理を行う画像処理方法及び画像処理装置に関する。

特許文献１は、同一シーンを異なる視点から撮影した複数の画像の画像データを記憶部に記憶し、画像の表示やその観察に係る条件の変更に応じて、記憶部から適切な２つの画像データを選択して用いて３Ｄ表示用の画像処理を行う技術を開示する。この画像処理は、視差調整等のアライメント調整、トリミング等である。２つの画像データの選択は、選択した２つの画像データに基づく３Ｄ画像が所定の条件（例えば見易い視差角に係る条件、空間再現性に係る条件等）を満たすように行われる。これにより、観察者に適切な立体感が与えられる。

国際公開ＷＯ２０１２／１３７４５４号パンフレット

本開示は、特定の被写体を異なる視点から撮影した複数の画像から適宜画像を選択して３Ｄ表示を行う場合に観察者の見易さを従来よりも向上させるべく、特定の被写体の表示位置の変動を抑制するための画像処理を行う画像処理方法及び画像処理装置を提供する。

本開示における画像処理方法は、同一の被写体を異なる３以上の視点から撮影して得られる画像群からの選択を経て特定された、３Ｄ表示用の画像を形成する第１視点画像及び第２視点画像に、画像処理を行う画像処理方法であって、所定の基準位置及び前記第１視点画像に係る撮影位置に基づいて、前記第１視点画像における前記被写体の位置を、当該第１視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第１視点画像に対して施し、前記基準位置及び前記第２視点画像に係る撮影位置に基づいて、前記第２視点画像における前記被写体の位置を、当該第２視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第２視点画像に対して施す画像処理方法である。

また、本開示における画像処理装置は、プロセッサ及びメモリを備え、同一の被写体を異なる３以上の視点から撮影して得られる画像群からの選択を経て特定された、３Ｄ表示用の画像を形成する第１視点画像及び第２視点画像に、画像処理を行う画像処理装置であって、前記プロセッサは、前記メモリに格納された制御プログラムを実行することにより、所定の基準位置及び前記第１視点画像に係る撮影位置に基づいて、前記第１視点画像における前記被写体の位置を、当該第１視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第１視点画像に対して施し、前記基準位置及び前記第２視点画像に係る撮影位置に基づいて、前記第２視点画像における前記被写体の位置を、当該第２視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第２視点画像に対して施す画像処理装置である。

本開示における画像処理方法及び画像処理装置は、特定の被写体を異なる視点から撮影した複数の画像から適宜画像を選択して３Ｄ表示を行う場合において、その特定の被写体の表示位置を基準に揃えるので、観察者（ユーザ）にとっての見易さが向上する。

図１は、実施の形態１における画像処理装置の構成を示すブロック図である。 図２は、実施の形態１に係るＳＢ情報を説明するための図である。 図３は、実施の形態１に係る記憶部の記憶内容の構成及び内容例を示す図である。 図４は、実施の形態１における画像処理装置の動作を示すフローチャートである。 図５は、実施の形態１に係るインターフェースを用いて表示倍率の変更を示す入力がなされる様子を示す図である。 図６は、実施の形態１に係る調整部の動作を示すフローチャートである。 図７は、実施の形態１に係る調整部による画像処理（調整）を説明するための図である。 図８は、平行式２眼カメラで撮影する場合に生じる視差を説明するための図である。 図９は、平行式２眼カメラで撮影した画像についてのアライメント調整を説明するための図である。 図１０は、実施の形態１における同じ被写体を含む複数の画像についての撮影の様子を示す図である。 図１１は、実施の形態１に係る調整部によるアライメント調整を説明するための図である。 図１２は、他の実施の形態に係る画像の撮影位置（ＳＢ情報）を説明するための図である。

特定の被写体を異なる視点から撮影した複数の画像から適宜画像を選択して３Ｄ表示を行う場合に、その特定の被写体の表示位置の変動を抑制すべく、本開示における画像処理方法は、同一の被写体を異なる３以上の視点から撮影して得られる画像群からの選択を経て特定された、３Ｄ表示用の画像を形成する第１視点画像及び第２視点画像に、画像処理を行う画像処理方法であって、所定の基準位置及び前記第１視点画像に係る撮影位置に基づいて、前記第１視点画像における前記被写体の位置を、当該第１視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第１視点画像に対して施し、前記基準位置及び前記第２視点画像に係る撮影位置に基づいて、前記第２視点画像における前記被写体の位置を、当該第２視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第２視点画像に対して施す画像処理方法である。

これにより、どの撮影位置において撮影した画像においても、基準位置から撮影した画像において特定の被写体が現れるはずの位置に、その特定の被写体が揃えられることとなるため、どの画像が選択されても特定の被写体の位置が変動しなくなる。例えば、３Ｄ表示における左眼用画像と右眼用画像として用いるための各撮影位置で撮影された画像群のうち、どの２枚の画像が選択されて形成される３Ｄ画像においても、特定の被写体の水平位置（左右方向における位置）が同一となる。このため、例えば画面サイズの変更等の３Ｄ画像の観察条件の変化に応じて、適切に３Ｄ表示を行うべく３Ｄ画像を形成する２枚の画像の組を変更するような選択をしても、３Ｄ画像中の被写体の位置が変動せず、観察者（ユーザ）にとっての見易さが向上する。なお、観察条件は、３Ｄ表示用の画像の観察者による観察（視聴）の環境及び状況に関する条件であり、例えば３Ｄ表示がなされるディスプレイの画面サイズ、そのディスプレイからユーザまでの距離、ユーザの眼間距離や画像の拡大率（表示倍率）等である。また、３Ｄ表示用の画像を形成する第１視点画像及び第２視点画像として特定された２枚の画像は、例えば、画像群から選択された２枚の画像そのものや、画像群から選択された２枚の画像に拡大又は縮小の倍率変更処理を施して得られる２枚の画像等である。

ここで、例えば、前記画像処理方法は、３Ｄ表示用の画像についての観察条件に応じて前記選択を行う第１選択ステップと、前記第１選択ステップにおける前記選択を経て特定された前記第１視点画像及び前記第２視点画像に、それぞれ対応する前記調整処理を施す第１調整ステップと、前記観察条件が変更される際に一定条件下で当該変更後の観察条件に応じて前記選択を行う第２選択ステップと、前記第２選択ステップにおける前記選択を経て特定された前記第１視点画像及び前記第２視点画像のうち少なくとも１枚の画像に、対応する前記調整処理を施す第２調整ステップとを含むこととしてもよい。

これにより、３Ｄ表示用の画像の観察条件の変化に応じて、選択された２枚の画像のうち少なくとも１枚が観察条件の変化前とは異なり得るところ、変更された画像における被写体の位置が、基準位置で撮影した場合と同じ位置に揃えられる。このため、ユーザにとっての見易さが向上する。

また、例えば、前記第２調整ステップでは、前記第２選択ステップにおける前記選択を経て特定された前記第１視点画像及び前記第２視点画像のうち、当該選択の前において特定されていた前記第１視点画像及び前記第２視点画像から変更されていない画像がある場合においては、当該変更されていない画像に対しては前記調整処理を施さないこととしてもよい。

これにより、３Ｄ表示用の画像の観察条件の変化に応じて選択された２枚の画像のうち１枚が観察条件の変化前と同じであれば、調整処理を省略して、処理効率を向上させることができる。

また、例えば、前記第１選択ステップ及び前記第２選択ステップにおける前記選択は、前記画像群からの２枚の画像の選択であり、前記第１調整ステップにおける前記調整処理の対象となる、前記第１視点画像及び前記第２視点画像として特定された２枚の画像は、前記第１選択ステップにおける前記選択の結果としての２枚の画像それぞれに倍率変更処理を施して得られる２枚の画像であり、前記第２調整ステップにおける前記調整処理の対象となる、特定された前記第１視点画像及び前記第２視点画像のうち少なくとも１枚の画像は、前記第２選択ステップにおける前記選択の結果としての２枚の画像のうちの少なくとも１枚に倍率変更処理を施して得られる少なくとも１枚の画像であることとしてもよい。

これにより、画像に倍率変更処理（拡大、縮小等）を施して３Ｄ表示する場合においても、その倍率変更処理後の画像における被写体の位置を仮に基準位置で撮影した場合における被写体の位置と同じ位置に揃えることができるので、見易さが向上する。

また、例えば、前記画像処理方法は、前記画像群におけるいずれか２枚の画像の撮影位置間の所定位置を、前記基準位置として決定する決定ステップを含み、前記第１調整ステップ及び前記第２調整ステップにおける前記調整処理は、前記決定ステップにより決定された前記基準位置に基づいて行われることとしてもよい。

これにより、例えば画像群の全撮影位置の平均値や全撮影位置のうち両端に位置する２枚の画像の撮影位置の平均値等といった所定位置を基準位置として決定することができ、画像をシフトする調整処理により生じる画像の部分的欠落をある程度抑制し得る。

また、例えば、前記画像処理方法は、前記第１選択ステップにおける前記選択に先行して、前記画像群、及び、当該画像群における各画像の撮影位置を示す情報を記憶媒体に記憶する記憶ステップを含み、前記記憶媒体に記憶される前記画像群におけるいずれか２枚の画像の組合せに係る撮影位置間の距離は、当該画像群における他のいずれの２枚の画像の組合せに係る撮影位置間の距離とも異なることとしてもよい。

これにより、３Ｄ表示用の画像の観察条件の変化に対応して適切な３Ｄ表示を迅速に行うために記憶媒体に格納しておく画像群を、効率的に記憶媒体に格納しておくことが可能となる。

また、例えば、前記画像処理方法は、前記調整処理が施された前記第１視点画像及び前記第２視点画像を表示する表示ステップを含むこととしてもよい。

これにより、３Ｄ表示用の画像を表示し、その表示を観察するための観察条件の変更があったときにその観察条件に対応して適切な表示を行うべく３Ｄ画像を形成する２枚の画像の組を変更するものの、３Ｄ画像での被写体の位置を変動させない。このため、ユーザにとっての見易さが向上する。

また、例えば、前記第１選択ステップ及び前記第２選択ステップにおける前記選択は、前記画像群からの２枚の画像の選択であり、前記第１調整ステップにおける前記調整処理の対象となる、前記第１視点画像及び前記第２視点画像として特定された２枚の画像は、前記第１選択ステップにおける前記選択の結果としての２枚の画像であり、前記第２調整ステップにおける前記調整処理の対象となる、特定された前記第１視点画像及び前記第２視点画像のうち少なくとも１枚の画像は、前記第２選択ステップにおける前記選択の結果としての２枚の画像のうちの少なくとも１枚の画像であることとしてもよい。

これにより、画像に倍率変更処理（拡大、縮小等）を施さずに３Ｄ表示する場合においても、３Ｄ画像を形成する各画像における被写体の位置を仮に基準位置で撮影した場合における被写体の位置と同じ位置に揃えることができるので、見易さが向上する。

また、例えば、前記第１視点画像における前記被写体の位置をシフトする前記調整処理は、前記第１視点画像における前記被写体の位置を、当該第１視点画像を撮影した場合とカメラの光軸を平行にして仮に前記基準位置から当該被写体を撮影したとするときに得られる画像において現れる当該被写体の位置と、同じ位置まで移動させるべく当該第１視点画像をシフトする処理であり、前記第２視点画像における前記被写体の位置をシフトする前記調整処理は、前記第２視点画像における前記被写体の位置を、当該第２視点画像を撮影した場合とカメラの光軸を平行にして仮に前記基準位置から当該被写体を撮影したとするときに得られる画像において現れる当該被写体の位置と、同じ位置まで移動させるべく当該第２視点画像をシフトする処理であることとしてもよい。

これにより、例えば、３Ｄ表示における左眼用画像及び右眼用画像として用いるための、各撮影位置でカメラの光軸を平行にして撮影された画像群のうち、どの２枚の画像の組で形成される３Ｄ画像においても、被写体の水平位置が同一となる。このため、ユーザにとっての見易さが向上する。また、３Ｄ画像を形成する２枚の画像のそれぞれについて、例えば平行式でない撮影の場合に生じる台形歪を補正するための台形補正等の処理を行うことなく、調整処理を行うことができる。

また、本開示における画像処理装置は、プロセッサ及びメモリを備え、同一の被写体を異なる３以上の視点から撮影して得られる画像群からの選択を経て特定された、３Ｄ表示用の画像を形成する第１視点画像及び第２視点画像に、画像処理を行う画像処理装置であって、前記プロセッサは、前記メモリに格納された制御プログラムを実行することにより、所定の基準位置及び前記第１視点画像に係る撮影位置に基づいて、前記第１視点画像における前記被写体の位置を、当該第１視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第１視点画像に対して施し、前記基準位置及び前記第２視点画像に係る撮影位置に基づいて、前記第２視点画像における前記被写体の位置を、当該第２視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第２視点画像に対して施す画像処理装置である。

これにより、選択された画像が、どの撮影位置において撮影した画像であっても、基準位置から撮影した画像において被写体が現れるはずの位置に、被写体が位置付くような画像処理がなされるため、ユーザにとって見易い３Ｄ表示が実現される。

なお、これらの包括的又は具体的な各種態様には、装置、システム、方法、集積回路、コンピュータプログラム、コンピュータで読み取り可能な記録媒体等の１つ又は複数の組合せが含まれる。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。即ち、以下の具体例を用いた説明で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、並びに、ステップ（工程）及びステップの順序等は、一例であって、請求の範囲に記載の主題を限定するものではない。以下の実施の形態における構成要素のうち、請求の範囲における独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。

（実施の形態１）
実施の形態１では、主に、特定の被写体（例えば人体）を異なる視点から撮影した複数の画像から適宜画像を選択して３Ｄ表示を行う場合においてその被写体の表示位置の変動を抑制する画像処理方法を実現する一例としての画像処理装置１００について説明する。

以下、図１〜１１を用いて、実施の形態１を説明する。

［１−１．構成］
図１は、実施の形態１における画像処理装置１００の構成を示すブロック図である。

画像処理装置１００は、ハードウェア面において、メモリ（主記憶装置）、ハードディスク装置等（補助記憶装置）、プロセッサ、入力装置、通信インターフェース等を備えるコンピュータ及びディスプレイ装置で構成される。この画像処理装置１００は、機能面では、同図に示すように、インターフェース１０１、選択部１０２、記憶部１０４、調整部１０５及び表示部１０６を備える。メモリはＲＯＭ、ＲＡＭ等である。メモリには各機能部の処理を実現するための制御プログラムやその制御プログラムで利用するための設定値等が予め格納され、また、メモリは、制御プログラムのプロセッサによる実行に際して用いられる各値を一時的に格納するためにも用いられる。

以下、各機能構成要素について詳細に説明する。

インターフェース１０１は、画像処理装置１００の入力インターフェースとして、キーボード、マウス、スイッチ、タッチパネル等の入力装置で構成されユーザからの入力を受け付ける機能を有する。入力装置がタッチパネルである場合においてタッチパネルはディスプレイ装置（表示部１０６）の表面に配置されていてもよい。受け付ける入力内容としては、３Ｄ表示用の画像のユーザによる観察（視聴）に関する観察条件等が挙げられる。なお、観察条件は、例えば、表示部１０６におけるディスプレイの画面サイズ（ウィンドウサイズであってもよい）、そのディスプレイからユーザまでの距離である観察距離、及びユーザの眼間距離を含む情報であり、表示条件を包含する。表示条件は、例えば、表示部１０６に３Ｄ表示用の画像を表示する際に拡大又は縮小を行う倍率変更処理を施すときのその度合いを示す表示倍率（拡大率）を含む情報である。この表示倍率（拡大率）は、表示部１０６におけるディスプレイサイズ（画面サイズ）を基準（１．０倍）としたもの（拡大又は縮小の度合い）であってもよいし、ディスプレイ上でのウィンドウサイズを基準（１．０倍）としたものであってもよい。なお、表示部１０６におけるディスプレイが、３Ｄメガネ式（ヘッドマウントディスプレイ）であった場合には、観察条件に３Ｄメガネのサイズが含まれることとしてもよい。また、画面サイズとして仮想画面サイズ（ユーザからの見かけ上の画面サイズ）が入力され、観察距離として仮想観察距離（ユーザからの見かけ上の画面までの距離）が入力されることとしてもよい。なお、インターフェース１０１は、入力された情報を、選択部１０２に伝達し、記憶部１０４に格納する。

選択部１０２は、インターフェース１０１、表示部１０６及び記憶部１０４から得られる情報に基づいて、記憶部１０４に保持される画像群の中から、表示部１０６に表示する３Ｄ表示用の画像を形成する基礎となる２枚の画像を選択する機能を有する。この機能は、メモリに格納された制御プログラムがプロセッサにより実行されることで実現される。２枚の画像の選択方法については後述する。なお、選択部１０２は、インターフェース１０１から、観察条件を示す情報そのものを取得することとしてもよい。また、選択部１０２は、インターフェース１０１から表示倍率等の表示条件を含む観察条件を特定するために必要な情報を取得して、記憶部１０４内の情報に基づいて、観察条件を特定することとしてもよい。

記憶部１０４は、例えばメモリで構成され、同一の被写体を異なる複数の視点から撮影して得られる複数の画像（３Ｄ画像データ１１０）、その３Ｄ画像データ１１０に関する情報（撮影条件に関する情報等）を保持する機能を有する。また、記憶部１０４は、予め設定された表示倍率を示す情報や、インターフェース１０１を介してユーザから受け付けた情報を格納する機能を有する。また、記憶部１０４は、メモリ以外の記憶媒体、即ち、ハードディスク、ＣＤ、ＤＶＤ、ＢＤ、ＳＤカード等やネットワーク（インターネット、イントラネット）上に設けられた外部ストレージで構成されてもよい。なお、記憶部１０４に保持されている３Ｄ画像データ１１０を構成する複数の画像のうち、２枚を選択し、表示部１０６により再生することで３Ｄ画像をユーザに観察させることができる。これは、両眼視差をもって左右の映像（画像）を撮影し、撮影した左右の映像（画像）を独立して左右の眼に投影できるディスプレイ装置に表示することにより３Ｄ画像をユーザに観察させる既存技術を応用したものである。この３Ｄ画像データ１１０を構成するところの、同一の被写体を異なる視点から撮影して得られる複数の画像については、撮影に関連する撮影時刻や画角や記録画素数等が必ずしも同一である必要はない。なお、これら複数の画像を撮影するカメラの撮像素子（イメージセンサ）は、可視光を高感度に受光するものであってもよいし、赤外線、Ｘ線等のいずれの波長領域に対応するものであってもよい。

記憶部１０４に保持される３Ｄ画像データ１１０に関する情報には、基準位置情報１１４や、撮影条件に関する情報である、ＳＢ情報１１１、距離情報１１２及び画角情報１１３等が含まれる。

基準位置情報１１４は、３Ｄ画像データ１１０を構成するところの、同一の被写体を異なる視点から撮影して得られる各画像の撮影位置（視点の位置）に関する表現の基準とするための基準位置を示す情報である。この基準位置として、例えば、３Ｄ画像データ１１０を構成するいずれか特定の画像の撮影位置、各画像の撮影位置の平均位置、或いは、各画像の撮影位置範囲内の中心位置やその範囲内のいずれか特定の位置等が予め定められている。特に、後述するアライメント調整（画像シフト）による画像の欠落を抑える観点からは、例えば３Ｄ画像データ１１０を構成する全ての画像のうちいずれか２枚の画像の撮影位置間の所定位置を基準位置と決定しておくこと等が有効となる。なお、このいずれか２枚の画像の撮影位置間の位置とは、全ての画像の撮影位置の平均値や、全ての画像の撮影位置のうち両端に位置する２枚の画像の撮影位置の平均値等を含む。また、撮影位置は、具体的には例えばカメラの焦点位置である。

ＳＢ情報１１１は、３Ｄ画像データ１１０を構成する各画像の撮影位置間のＳＢ（ステレオベース：基線長）に関する情報であり、各画像の撮影位置を原点からの距離で表現した情報である。カメラを移動させて撮影位置を逐次変更する場合において、原点は例えば最初の撮影位置である。ＳＢ情報１１１は、具体的には例えばカメラの焦点位置と原点との差によって表わされる。撮影位置（例えばカメラの焦点位置）は、ＧＰＳ（Global Positioning System ）に基づいて取得しても、各位置で撮影された画像を解析して算定しても、その他の方法で取得してもよい。また、撮影位置は、厳密にカメラの焦点位置でなくても、カメラの概略位置等であってもよい。

図２は、ＳＢ情報１１１を説明するための図である。同図は、同一の被写体を複数の視点で撮影する場合の各撮影位置の例も示している。

図２に示すように、原点を同図中のａの位置とすると、ａの位置で撮影した画像のＳＢ情報１１１は、０ｃｍとなる。同様にｂの位置で撮影した画像のＳＢ情報１１１は１ｃｍとなり、ｃで撮影した画像のＳＢ情報１１１は、３ｃｍとなる。３Ｄ画像を形成するための２つの視点の画像として、例えば、ａの位置で撮影した画像と、ｂの位置で撮影した画像とを選択した場合には、両画像間のＳＢは１ｃｍ（ＳＢ情報の差分：１ｃｍ−０ｃｍ）となる。また、ｂの位置で撮影した画像と、ｃの位置で撮影した画像とを選択した場合には、ＳＢは２ｃｍ（ＳＢ情報の差分：３ｃｍ−１ｃｍ）となる。

距離情報１１２は、３Ｄ画像データ１１０を構成する各画像に撮影されている被写体までの距離に関する情報である。なお、被写体までの距離は、具体的には例えばカメラの焦点位置からの距離であり、カメラの位置として画像毎に撮影した視点（位置）からの距離や、基準位置からの距離でもよい。なお、被写体までの距離としては、例えば、カメラの横に測距センサを置き、その測定値を用いてもよいし、複数の画像を用いてステレオマッチングなどのマッチング技術によって得られた値を用いてもよい。また、距離情報１１２に、被写体までの距離として最近距離と最遠距離の２つの距離を示す情報を用いてもよく、また、最近距離と最遠距離の２つ以外の距離を示す情報を含めてもよい。また、その最近距離と最遠距離とが同一の値であるようにしてもよい。

画角情報１１３は、３Ｄ画像データ１１０を構成する各画像を撮影したカメラの画角に関する情報である。画角情報１１３は、例えば、カメラのレンズの焦点距離及び撮像素子（イメージセンサ）のセンササイズで表され、例えば、３５ｍｍフルサイズのセンサを有するカメラについては単にレンズの焦点距離、或いは画角（角度）で表される。なお、歪のないレンズを用いる場合において、画角はレンズの焦点距離及びセンササイズにより特定される。

記憶部１０４に保持される３Ｄ画像データ１１０、ＳＢ情報１１１、距離情報１１２、画角情報１１３、基準位置情報１１４については、特に保持の形式を問わず、例えば、データベースに登録されており検索によって利用されることとしてもよし、ファイルシステムで管理されるファイルとして保持されていてもよい。また、３Ｄ画像データ１１０を構成する各画像は、ＭＰＥＧ等の動画フォーマットで保持されていてもよい。更に、ＭＰＦ（マルチピクチャフォーマット）等の画像フォーマットを用いて保持されていてもよい。

図３は、記憶部１０４の記憶内容の構成の一具体例を示す図である。

同図の例では、３Ｄ画像データ１１０を構成する画像群は、１０枚の画像であり、それぞれＪＰＥＧ画像ファイル（ファイル名における拡張子はｊｐｇ）に格納されている。この１０枚の画像群は、同一のシーンにおいて撮影された画像群（つまり同一の被写体を異なる視点から撮影して得られた１０枚の画像）である。この画像群における２枚の異なる組合せから形成される３Ｄ表示用の画像（立体視される画像）それぞれはカメラ間距離（ＳＢ）が異なる。このため、選択部１０２は、２枚（一組）を選択することで、カメラ間距離が異なる複数組のうち一組の画像を選択することが可能となる。画像テーブル１１６は、データベースにおいて、３Ｄ画像データ１１０に関する情報であるＳＢ情報１１１、距離情報１１２及び画角情報１１３を、３Ｄ画像データ１１０と関連付けるための画像番号１１５と共に対応付けたテーブルである。画像番号１１５は、例えば、３Ｄ画像データ１１０を構成する１０枚の画像のファイル名中に００１〜０１０という通番が付されるとした場合において、ファイル名で表される。なお、図３の例において、ＪＰＥＧ画像ファイル「００１．ｊｐｇ」に関連する「０ｃｍ」というＳＢ情報１１１は、このファイルの画像の撮影位置が、原点の位置と同一であることを示している。また、ＪＰＥＧ画像ファイル「００１．ｊｐｇ」に関連する「２ｍ〜１０ｍ」という距離情報１１２は、例えば画像における最も近い被写体がカメラから２ｍに位置しており、最も遠い被写体がカメラから１０ｍに位置していることを示している。

調整部１０５は、記憶部１０４に保持される画像群のうち、選択部１０２により選択された２枚の画像に対して、画像処理（調整）を施して、その結果となる２枚の画像を表示部１０６に送出する機能を有する。この機能は、メモリに格納された制御プログラムがプロセッサにより実行されることで実現される。なお、調整部１０５における具体的な画像処理（調整）の内容については後述する。

表示部１０６は、ディスプレイ装置で実現され、３Ｄ表示用の画像を表示する機能を有する。３Ｄ表示ができれば、３Ｄメガネを用いるメガネ式や、３Ｄメガネを用いない裸眼式等どのような表示方式でも構わない。例えば、フレームシーケンシャル方式で、アクティブシャッター方式を採用している３Ｄメガネを利用したディスプレイでもよく、また、例えば、２視点のパララックスバリア方式を採用しているディスプレイでもよい。また、表示部１０６は、表示に関する情報を、ＨＤＭＩ（登録商標、High-Definition Multimedia Interface）等を介して、選択部１０２及び調整部１０５に伝える機能を有する。表示に関する情報は、観察条件に含まれる要素であるディスプレイの画面サイズ又はウィンドウサイズや３Ｄメガネの情報等である。なお、表示部１０６が例えば３Ｄ表示機能を有するＰＣ（Personal Computer）の場合には、ユーザによりウィンドウサイズの変更が随時行われ得るため、変更の都度、表示部１０６は表示に関する情報を選択部１０２及び調整部１０５に伝える。なお、表示に関する情報を、表示部１０６が選択部１０２及び調整部１０５に伝達できない構成とした場合には、表示に関する情報は、インターフェース１０１により入力されることとしてもよい。また、表示に関する情報は、予め定められた固定値であるとしてもよい。

［１−２．動作］
以上のように構成された画像処理装置１００について、その動作を以下説明する。

［１−２−１．全体的な動作］
図４は、画像処理装置１００の動作を示すフローチャートである。同図では、概ね、ユーザが表示倍率を変更する操作（表示倍率の入力操作）を行った場合に、３Ｄ画像データを構成する複数の視点各々から撮影されてなる画像群から選択した２枚一組の画像に画像処理（調整）を行って表示する処理を示す。記憶部１０４に、３Ｄ画像データ１１０、撮影条件に関する情報等が保持されており、表示部１０６により一旦画像が表示された状態において、図４の処理が開始されると、表示倍率が変更（拡大又は縮小）された画像が新たに表示されることになる。

画像処理装置１００のインターフェース１０１は、観察条件の要素であるディスプレイの画面サイズＷ０、観察距離Ｌ、眼間距離Ｓ等のユーザによる入力を受け付けて、入力された観察条件を示す情報を記憶部１０４に格納する（処理ステップＳ１００）。

次に、画像処理装置１００の選択部１０２は、インターフェース１０１から、表示条件としての表示倍率の変更を示す入力がなされたか否かを検査し、表示倍率の変更に係る入力を検出できない間は、検出できるまで待機する（処理ステップＳ１０１）。

図５は、インターフェース１０１を用いて表示倍率の変更を示す入力がなされる様子を示す図である。同図では、インターフェース１０１が、表示部１０６のディスプレイ（画面）の前面に設けられた透明のタッチパネルとして実装された例を示す。この場合、インターフェース１０１はユーザからのタッチ操作を受け付ける。図５において（ａ）に示すように、ユーザが表示部１０６の画面上（つまりインターフェース１０１であるタッチパネル）をタッチすると、インターフェース１０１は、そのタッチ操作に対応した情報を選択部１０２に伝達する。選択部１０２は、記憶部１０４（タッチ操作に対応して表示倍率を特定するための情報を予め記憶させておく）を参照すること等により、インターフェース１０１から伝達された情報に対応する表示倍率を特定する。なお、拡大又は縮小を表す表示倍率の他に、拡大又は縮小の中心となる位置（座標）も入力されることとしてもよい。例えば図５において（ａ）に示すように指でタッチされた、画像中の人物の顔が、（ｂ）に示す例では、拡大の中心となって、２倍に拡大されている。

処理ステップＳ１０１において、表示倍率がインターフェース１０１から入力された場合には、選択部１０２は、３Ｄ表示に用いる２枚の画像を選択する（処理ステップＳ１０２）。この各視点から撮影された画像群からの２枚の画像の選択は、撮影に係るステレオベース（基線長）の異なる組合せの中から一組を選択していることに相当する。３Ｄ表示をユーザが観察する環境（表示条件を含む観察条件）が相違すると、ユーザにとって見易いものとなる３Ｄ表示に用いられる２枚の画像の組合せは異なる。

具体的には選択部１０２は、表示部１０６のディスプレイ（画面）サイズＷ０、観察距離Ｌ、眼間距離Ｓといった観察条件と記憶部１０４に保持されている撮影条件とから、観察（立体視）が容易となるように３Ｄ表示できる２枚の画像を選択する。選択部１０２は、例えば複数の視点各々から撮影されてなる画像群のうち２枚一組の各組合せについて３Ｄ画像を形成した場合の視野角を各条件（観察、撮影条件）から算定し、最大視差角と最小視差角が−１°から１°の範囲内となる２枚を選択する。一般的に、３Ｄ表示の奥行きについて、飛出し１°、引き込み−１°以内の視差角であれば、被写体が違和感なく立体として認識できることが知られているからである。なお、観察距離Ｌについては、インターフェース１０１から入力されなくても、記憶部１０４に予め固定値としての観察距離Ｌを記憶しておき、これを用いることとしてもよいし、表示部１０６の画面サイズに基づいて観察距離Ｌを算定（推定）することしてもよい。例えば、観察距離Ｌは、画面高の３倍の値と推定することができる。また、眼間距離Ｓについては、インターフェース１０１から入力されなくても、人間の平均的な眼間距離である６．５ｃｍを眼間距離Ｓとして用いることとしてもよいし、３Ｄメガネの情報に基づいて眼間距離Ｓを算定（推定）することとしてもよい。

なお、選択部１０２が３Ｄ表示用の２枚の画像を選択する方法として、３Ｄ観察（立体視）が容易となるものを選ぶほか、他の選択方法を採用してもよい。即ち、２枚の画像が間違った３Ｄ表示（例えば左眼用画像と右眼用画像とが逆となる３Ｄ表示）でなければ、３Ｄ表示用の２枚の画像をいかなる選択方法で選択してもよい。例えば、３Ｄ効果が高くかつ立体視が容易となるものを選ぶために、飛出し１°、引き込み−１°以内の視差角となる２枚の３Ｄ画像の内、最も大きな視差角となる２枚の３Ｄ画像を選択することとしてもよい。また、３Ｄ表示における空間再現率（飛出し及び引き込み距離の再現率）の高いものを選ぶこととしてもよい。なお、空間再現率とは、撮影時における被写体までの実際の距離と３Ｄ表示した際の見かけ上の被写体までの距離との関係を表す指標である。空間再現率の高い３Ｄ表示とは、観察者（ユーザ）にとって実際の撮影空間を見た感じに近く、ユーザに違和感を与えにくい表示である。また、２枚の画像を選択する方法として、調整部１０５にて視差調整等のアライメント調整（画像シフト）を行った結果として視野角を飛出し１°、引き込み−１°以内に収めることができるような２枚を選ぶこととしてもよい。

なお、観察条件が変更されても、既に選択されていた２枚の画像が、最大視差角と最小視差角が−１°から１°の範囲内等といった所定の判断条件（上述の各選択方法と対応する条件）を満たしているような場合には、再選択を行わず処理ステップＳ１０１に戻る。

選択部１０２により３Ｄ表示用の２枚の画像が選択された後に、調整部１０５は、その選択された２枚の画像について、被写体の表示位置の調整に係る画像処理を施す（処理ステップＳ１０３）。この調整部１０５による具体的な画像処理（調整）の内容については、後述する。

調整部１０５により２枚の画像について画像処理（調整）が施された後に、表示部１０６は、調整された２枚の画像に基づいて３Ｄ表示を行う（処理ステップＳ１０４）。その後、再び処理ステップＳ１０１に戻る。

［１−２−２．調整部１０５の具体的な動作］
図６は、調整部の動作を示すフローチャートである。

まず、調整部１０５は、選択部１０２により選択された２枚の画像が、現在選択している２枚の画像とは異なるか否か、即ち、選択された画像が変更されるか否かを、検査する（処理ステップＳ２０１）。選択された画像の変更がない場合には、アライメント調整等を省略する。

選択された画像の変更がある場合には、調整部１０５は、観察条件（表示条件を含む）を取得する（処理ステップＳ２０２）。具体的には、調整部１０５は、記憶部１０４、表示部１０６又は選択部１０２から、表示倍率、ディスプレイの画面サイズＷ０を取得する。

次に、調整部１０５は、選択部１０２により選択された２枚の画像についての撮影条件に係る情報及び基準位置情報を取得する（処理ステップＳ２０３）。具体的には、調整部１０５は、記憶部１０４から、ＳＢ情報１１１（カメラ間距離ＳＢ）、距離情報１１２（距離Ｒ）、画角情報１１３（カメラの焦点距離ｆ、撮像素子のセンササイズｐｗ）及び基準位置情報１１４を取得する。なお、撮影条件に係る情報及び基準位置情報１１４がユーザにより入力されることとして、調整部１０５は、これらを記憶部１０４からではなく、インターフェース１０１から取得することとしてもよい。

それから、調整部１０５は、処理ステップＳ２０２及びＳ２０３において取得した情報に基づき、選択部１０２により選択された２枚の画像について、見易い奥行き（飛出し量）の３Ｄ画像を形成するためのアライメント調整量を算出する（処理ステップＳ２０４）。アライメント調整量の具体的な算出方法については後述する。

アライメント調整量を算出した後に、調整部１０５は、選択部１０２により選択された２枚の画像について画像処理（アライメント調整等）を行って、その結果となる画像を表示部１０６に出力する（処理ステップＳ２０５）。具体的には、調整部１０５は、画像処理として、定められた表示倍率（図４、処理ステップＳ１０１参照）となるように画像の拡大又は縮小を行い、アライメント調整（画像シフト）を施す。なお、拡大又は縮小に際して、拡大又は縮小の中心となる位置（座標）の入力がなされている場合には、拡大又は縮小の中心点が画面中央となるように画像のトリミングも行う。

図７は、調整部１０５による画像処理（調整）を説明するための図である。

図７において（ａ）に示すように、ユーザが表示部１０６の画面上（タッチパネル上）をタッチすることで所定の拡大動作を行うとする。ここでは、拡大率は固定的に２倍である例を想定して説明する。インターフェース１０１からタッチした位置のＸＹ２次元座標（ＣＸ，ＣＹ）が得られ、調整部１０５は、タッチ位置（ＣＸ，ＣＹ）、２倍という表示倍率、トリミングサイズ（画像サイズの半分）を取得する。このタッチ位置（ＣＸ，ＣＹ）は、拡大する際の画像の中心となる。なお、ここではタッチ位置を拡大する画像の中心とするような一例を挙げているが、拡大や縮小の前後で画像の中心を変更しないこととしてもよい。

調整部１０５は、図７において（ｂ）に示すように、処理ステップＳ２０４で算出したアライメント調整量ＤＬの半分だけ画像（画素データ）をシフトし、ＤＬの半分をＣＸから減算して得られた（ＣＸ−ＤＬ／２，ＣＹ）を中心としてトリミングを行う。トリミングは、画像サイズの半分（面積では１／４）の大きさとなるように行う。そして、トリミングの結果を表示倍率が２倍（縦横２倍）に拡大して得られる画像（画像処理の結果）は、図７において（ｃ）に示した画像になる。なお、図７において（ｃ）に示すように、画像処理の結果としての画像は、アライメント調整量ＤＬ分のアライメント調整（画像シフト）による黒領域（例えば画素データ値がゼロの領域）を含んだ拡大画像となる。なお、アライメント調整を水平方向（Ｘ方向）の画像シフトとして説明したが、２枚の画像から形成される３Ｄ画像としての左右の縦ずれを調整するために垂直方向（Ｙ方向）への画像シフトも併用してもよい。

また、調整部１０５は、アライメント調整とトリミングと拡大又は縮小との他に更なる画像処理を行うこととしてもよい。例えば、記憶部１０４にカメラのヨー角、ロー角、ピッチ角や水平ずれ量などの撮影に関連する情報を格納するようにして、これらの情報を利用して、調整部１０５は撮影した被写体を３Ｄ表示において高精度に再現するための各種調整を行うこととしてもよい。また、タッチ位置を拡大（又は縮小）される際の中心とする例について説明したが、拡大又は縮小の中心を、固定値や撮影時の保存値で示される部分としてもよく、画像における特定の被写体の位置に基づいて算定すること等としてもよい。また、タッチ位置から何らかの演算により拡大又は縮小後における画像の中心等を算定することとしてもよい。

［１−２−３．調整部１０５におけるアライメント調整量の算出］
以下、調整部１０５におけるアライメント調整量の算出（処理ステップＳ２０４）について、詳細に説明する。

説明の便宜上、光軸が平行な平行式２眼カメラにおけるアライメント調整量の算出方法を示し、次に、画像処理装置１００において同一被写体を３以上の視点で撮影した画像群から２枚の画像を選択して調整部１０５で行うアライメント調整量の算出方法を示す。

図８は、平行式２眼カメラで撮影する場合に生じる視差を説明するための図である。同図に示すように、平行式２眼カメラ（２台のカメラ）の場合、被写体までの距離Ｒ、カメラの焦点距離ｆ、カメラ間距離ＳＢが既知ならば、次式によって撮影時の視差量Ｑ‘ｘを求めることができる。

Ｑ‘ｘ＝ｆ＊ＳＢ／Ｒ （式１）

図９は、平行式２眼カメラで撮影した画像についてのアライメント調整を説明するための図である。図９において（ａ）に、図８（式１）で求まった視差量と、撮影された画像をディスプレイに表示する際（観察する際）の視差角との関係を示す。図８での視差量は、撮像素子上の視差量である。このため、Ｑ‘ｘをディスプレイ上における視差量Ｑｘに変換する必要がある。ここで、ディスプレイ上では、撮像素子のセンササイズｐｗに対するディスプレイサイズＷ０の比に、ユーザが指定した画像の拡大率（表示倍率）を乗算した視差量になる。この関係により、ディスプレイ上の被写体の視差量は、次式で表現される。

Ｑｘ＝Ｗ０／ｐｗ＊ｆ＊ＳＢ／Ｒ＊（拡大率） （式２）

図９において、（ａ）で示した視差量がゼロになるように、画像を左右方向（水平方向）にシフトするアライメント調整を（ｂ）に示す。一般的な平行式２眼カメラでは、被写体の飛出しをディスプレイ上に合わせるよう調整する（飛出しをゼロにする）ことで、３Ｄ表示を見易くしている。左眼用画像及び右眼用画像のアライメント調整量ＤＬ及びＤＲは次式で表現される。

ＤＬ＝Ｑｘ／２ （式３）
ＤＲ＝Ｑｘ／２ （式４）

なお、上述のアライメント調整の例は、一般的な調整方法の例であり、３Ｄ画像の撮影者や制作者の意図を反映するような場合におけるアライメント調整はこの限りではない。

次に、画像処理装置１００の調整部１０５におけるアライメント調整量の算出方法を示す。説明の便宜上、光軸が平行である複数台のカメラ（平行式多眼カメラ）におけるアライメント調整量の算出方法を示す。

図１０は、画像処理装置１００が扱うところの、同じ被写体を含む複数の画像についての撮影の様子を示す図である。同図には、同じ被写体を異なる視点から撮影する５台のカメラＣａｍ１、Ｃａｍ２、Ｃａｍ３、Ｃａｍ４及びＣａｍ５を示している。これら５台のカメラにおける視差量は、式１と同様に次式により表される。

Ｑ‘ｘ（ＳＢ）＝ｆ＊ＳＢ／Ｒ （式５）

但し、式５における変数ＳＢは次のＳＢ値（ＳＢ１、ＳＢ２、ＳＢ３、ＳＢ４、ＳＢ５）のいずれかである。即ち、原点（例えばカメラＣａｍ１の位置）と各カメラＣａｍ１、Ｃａｍ２、Ｃａｍ３、Ｃａｍ４、Ｃａｍ５の位置との差の値であるＳＢ１、ＳＢ２、ＳＢ３、ＳＢ４、ＳＢ５のいずれかである。

図１１は、画像処理装置１００の調整部１０５によるアライメント調整を説明するための図である。同図は、カメラＣａｍ１及びカメラＣａｍ５によりそれぞれ撮影された２枚の画像で３Ｄ画像を形成する場合において、３Ｄ表示において特定の被写体（例えば人体）の飛出しをディスプレイ上に合わせるよう調整する（飛出し量をゼロにする）方法を示す。画像中に被写体が複数存在するような場合においては特定の被写体を決めるためにどのような方法を用いてもよい。調整部１０５は、選択部１０２によって選択された２枚の画像の撮影条件であるＳＢ情報（ＳＢ値）等に基づいて、アライメント調整量を次式により算出する。

Ｄ（ＳＢ）＝Ｗ０／ｐｗ＊ｆ＊（ＳＢｂ−ＳＢ）／Ｒ＊（拡大率） （式６）

但し、式６における変数ＳＢも次のＳＢ値（ＳＢ１、ＳＢ２、ＳＢ３、ＳＢ４、ＳＢ５）のいずれかである。即ち、原点と各カメラＣａｍ１、Ｃａｍ２、Ｃａｍ３、Ｃａｍ４、Ｃａｍ５の位置との差の値であるＳＢ１、ＳＢ２、ＳＢ３、ＳＢ４、ＳＢ５のいずれかである。ＳＢｂは、基準位置情報１１４で示される基準位置についての原点からの相対位置で表現したＳＢ値である。Ｄ（ＳＢ）は、撮影位置ＳＢにおいて撮影された画像Ａと、仮に基準位置において撮影されたら得られるはずの画像Ｂとにより形成される３Ｄ画像において、ディスプレイ上での視差量をゼロにするために画像Ａだけにアライメント調整を施す量に相当する。これにより、各カメラで撮影された画像についてのアライメント調整量Ｄ（ＳＢ）は、他の画像とは独立して算定可能となる。

そして図１１に示すように調整部１０５はカメラＣａｍ１で撮影された画像にはアライメント調整量Ｄ（ＳＢ１）だけアライメント調整（画像シフト）を施し、カメラＣａｍ５で撮影された画像にはアライメント調整量Ｄ（ＳＢ５）だけ画像シフトを施す。調整部１０５は、このようなアライメント調整を行うことで、選択部１０２によって選択された３Ｄ画像を形成する２枚の画像の組合せに依存することなく、いつでも被写体を略同一の位置に表示することができる。

この調整部１０５によるアライメント調整と、一般的な平行式２眼カメラにおけるアライメント調整（図８及び図９参照）との違いは次のように説明することができる。

一般的な平行式２眼カメラにおけるアライメント調整量の算出方法は、式２の表現を変えたものである次式のように表される。

Ｄ‘（ＳＢ）＝Ｗ０／ｐｗ＊ｆ＊｛（ＳＢＲ＋ＳＢＬ）／２−ＳＢ｝／Ｒ＊（拡大率） （式７）

但し、変数ＳＢは、左眼用画像のＳＢ値であるＳＢＬもしくは右眼用画像のＳＢ値であるＳＢＲである。また、基準位置となるＳＢｂとしては、一般的には左眼用画像及び右眼用画像の撮影位置の中心である（ＳＢＲ＋ＳＢＬ）／２を用いる。式７を用いると、左眼用画像及び右眼用画像のアライメント調整量ＤＬ及びＤＲは次式で表される。

ＤＬ＝Ｄ（ＳＢＬ）＝Ｗ０／ｐｗ＊ｆ＊｛（ＳＢＲ＋ＳＢＬ）／２−ＳＢＬ｝／Ｒ＊（拡大率） （式８）
ＤＲ＝Ｄ（ＳＢＲ）＝Ｗ０／ｐｗ＊ｆ＊｛（ＳＢＲ＋ＳＢＬ）／２−ＳＢＲ｝／Ｒ＊（拡大率） （式９）

このように、式８及び式９から、一般的な平行式２眼カメラにおけるアライメント調整は、組合せ相手となる左眼用画像又は右眼用画像の撮影位置に依存してなされるものであることが分かる。

一方、画像処理装置１００が用いる画像処理方法によれば、１枚の画像について、３Ｄ画像を構成する２枚一組の組合せ相手に依存せず、独立的に式６によりアライメント調整量を算出することができる。

［１−３．効果等］
以上のように、本実施の形態において、画像処理装置１００は、記憶部１０４に同一の被写体を異なる３以上の視点から撮影して得られる画像群を格納し、選択部１０２により、その画像群のうち観察条件に応じて２枚の画像を選択する。選択された２枚の画像に対して調整部１０５で必要に応じて倍率変更（拡大又は縮小）のためのトリミングを行い３Ｄ表示用の画像を形成する左眼用画像及び右眼用画像として特定し、アライメント調整を施す。この調整部１０５によるアライメント調整は、記憶部１０４に格納されたＳＢ情報１１１及び基準位置情報１１４等に基づいて、次のように行われる。即ち、左眼用画像における特定の被写体（例えば人体）の位置を、その画像の撮影位置が仮に基準位置であったとするときに得られる画像において表れるその特定の被写体の位置と同じ位置にするまで画像をシフトする調整処理を左眼用画像に施す。そして右眼用画像についても同様の調整処理を施す。これにより、観察条件に応じていずれの視点の画像が左眼用画像及び右眼用画像のそれぞれとして選択されても、画像毎に予め任意に設定した基準位置を基準として画像のシフトを行うことができるので、３Ｄ表示において特定の被写体の位置を揃えることができる。

また、本実施の形態において、画像処理装置１００は、３Ｄ表示用の画像についての観察条件に応じて３Ｄ表示用の画像を形成するための２枚の画像の選択を行う第１選択ステップとしての処理ステップＳ１０２を行う。そして、第１選択ステップにおける選択を経て特定された左眼用画像及び右眼用画像に、それぞれ対応するアライメント調整等の調整処理を施す第１調整ステップとしての処理ステップＳ１０３を行って、３Ｄ画像を表示する。その後、画像処理装置１００は、観察条件（表示倍率）が変更されると処理ステップＳ１０１で判断すると、所定の判断条件が満たされていなければ、変更後の観察条件に応じて前記選択を行う第２選択ステップとしての処理ステップＳ１０２を行う。続いて、第２選択ステップにおける選択を経て特定された左眼用画像及び右眼用画像のうち少なくとも１枚の画像に、対応するアライメント調整等の調整処理を施す第２調整ステップとしての処理ステップＳ１０３を行って、３Ｄ画像を表示する。これにより、３Ｄ表示用の画像の観察条件の変化に応じて、左眼用画像及び右眼用画像のうち少なくとも１枚について変更がなされても、変更された画像における被写体の位置が、調整処理により基準位置で撮影した場合と同じ位置に揃えられる。このため、ユーザにとっての見易さが向上する。

また、本実施の形態において、画像処理装置１００の選択部１０２により選択された２枚の画像それぞれがその選択前における２枚の画像のいずれかと同じであれば、調整部１０５では、処理ステップＳ２０１での判断結果としてアライメント調整等を省略する。これにより、処理効率を向上させることができる。

また、本実施の形態において、画像処理装置１００の選択部１０２により選択された２枚の画像に対して、調整部１０５で倍率変更（拡大等）を施して得られる画像に対して基準位置を視点とした位置に被写体を移動させるようなアライメント調整を行う。これにより、画像に倍率変更処理（拡大、縮小等）を施して３Ｄ表示する場合においても、その倍率変更処理後の画像における被写体の位置を変動させることがなくなる。なお、倍率変更処理とアライメント調整（画像シフト）との相互の独立性をできるだけ高めて処理するような実装例においては、選択の前後で変更がなされなかった画像については、アライメント調整を行わないので、処理効率を向上させることができる。

また、本実施の形態において、同一の被写体を異なる視点から撮影した画像群のうちいずれか２枚の画像の撮影位置間の所定位置を基準位置として決定する場合には、選択部１０２が選択した２枚の画像の撮影位置がその基準位置を挟む確率がある程度高まる。このため、調整部１０５でのアライメント調整の結果として左眼用画像及び右眼用画像について画像シフトで生じた欠落部分を、ある程度減少させ得るようになる。

また、本実施の形態において、画像処理装置１００の調整部１０５により調整処理がなされた左眼用画像及び右眼用画像は、表示部１０６により表示される。これにより、ユーザは３Ｄ画像を観察でき、観察条件を変更した場合においても、３Ｄ表示において特定の被写体（例えば人体）の水平位置の変動がないため、楽に観察をすることができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。

実施の形態１では、複数枚の画像群から２枚の画像を選択する構成としたが、３枚以上の画像を表示する多視差の裸眼式３Ｄディスプレイに用いる構成であっても構わない。その場合、選択部１０２は３枚以上の画像を選択し、調整部１０５は選択された画像それぞれに対して、上記と同様のアライメント調整等を行う。また、実施の形態１で示したディスプレイ装置は、液晶ディスプレイ、有機ＥＬディスプレイ等の装置表面に画面を有するものであっても、プロジェクタのようにスクリーンに映像（画像）を投影することで画面を形成するものであってもよい。

また、実施の形態１では、表示倍率が変更されることを契機として、複数枚の画像群から２枚の画像を再選択して、調整処理を行って３Ｄ画像を表示する例（図４）を示した。しかし、表示倍率が変更される他にも、上述した観察条件に変更があればそれを契機として再選択、調整処理等を行うこととしてもよい。

また、実施の形態１では、被写体について複数の異なる視点から撮影する場合の各撮影位置を、図２に示すようにしたが、図１２に示す撮影位置ａ〜ｅのようにしてもよい。

図１２に示すように、原点をａの位置とすると、ａの位置は０ｃｍ、ｂの位置は０．５ｃｍ、ｃの位置は１．５ｃｍ、ｄの位置は３．５ｃｍ、ｅの位置は７．５ｃｍである。このような５つの撮影位置で撮影した５枚の画像から、３Ｄ画像を形成するための２枚を選ぶ組合せの数は、１０通りある。その１０通りの組合せでの２画像間のＳＢの値は、重複無く１０値のうちのいずれかとなる。このように、全画像数を抑えてより多くのステレオベースに対応可能とするよう撮影位置数を適切に選定することも、画像群を格納する記憶媒体の利用効率に鑑みれば有用となる。例えば、画像処理装置においては３Ｄ表示用の画像を形成する左眼用画像及び右眼用画像を特定するために２枚の画像を選択する前提として、その選択候補となる画像群を記憶部（記憶媒体）に格納しておく。この場合、その画像群のいずれか２枚の画像の組合せに係る撮影位置間の距離がその画像群における他のいずれの２枚の画像の組合せに係る撮影位置間の距離とも異なるような画像群を、記憶部に格納していれば、記憶効率がよい。

また、実施の形態１では、ＳＢ情報は、各撮影位置を原点からの距離（相対位置）であるＳＢ値で表すこととしたが、各撮影位置を、決定した基準位置からの相対位置であるＳＢ値で表すこととしてもよい。この場合には、ＳＢ情報を記憶部１０４に記憶させれば、基準位置自体を示す情報は不要となる。即ち、式６におけるＳＢｂをゼロとして、ＳＢ情報に基づいて式６から各画像のアライメント調整量を算出することができるようになる。

また、実施の形態１では、被写体を各撮影位置で撮影した各カメラの光軸は平行である例を用いて説明したが、必ずしも平行でなくてもよい。各カメラの光軸が平行でなく交差法でのトーイン（toe-in）撮影をした場合においては、画像の台形歪を除くための台形補正を施すことにより、光軸が平行である場合と同様に処理することができる。また、実施の形態１では、被写体を固定してカメラを移動させて撮影位置を変更する例を示したが、カメラを固定して被写体を回転や移動させて、異なる各視点から被写体を見た場合と同等の画像を得ることとしてもよい。また、複数のカメラにより撮影することとしてもよい。

また、実施の形態１では、アライメント調整は、３Ｄ表示において特定の被写体の飛出しをディスプレイ上に合わせる（飛出し量をゼロにする）ようになされる例について説明したが、必ずしもディスプレイ上に合わせる必要がある訳ではない。特定の被写体がディスプレイから所定量だけ奥側に引っ込む位置或いは所定量だけ手前に飛び出す位置となるように調整する（アライメント調整量に一律にオフセット量を加算又は減算する）調整方法を統一的に用いることとしてもよい。

また、実施の形態１では、画像に倍率変更処理（拡大、縮小等）を施す場合にも対応可能な例を示し、式６において拡大率の変数を含ませたが、必ずしも拡大又は縮小を行う必要はない。従って、画像の拡大及び縮小を行わないこととして、式６における拡大率を定数「１」に置き換えることとしてもよい。例えば、３Ｄ表示用の画像を形成する左眼用画像及び右眼用画像として、倍率変更処理を行わず撮影されたままの画像にアライメント調整を施して、利用してもよい。

また、実施の形態１で説明した画像処理装置において、各機能構成要素（機能ブロック）は、ＩＣ（Integrated Circuit）、ＬＳＩ（Large Scale Integration）等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

また、実施の形態１の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、或いは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。更に、ソフトウェア及びハードウェアの混在により実現してもよい。なお、上記実施形態に係る画像処理装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、便宜上、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

また、実施の形態１における処理方法の実行順序は、必ずしも、実施の形態１に記載した通りの順序に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

また、実施の形態１で示した画像処理装置１００の各機能構成要素を、分離した別個の装置内にそれぞれ設置することとしてもよい。分離した各装置内の各機能構成要素は、互いに有線又は無線で通信することにより連携して動作し、実施の形態１で示した画像処理装置１００と同様の画像処理方法が実現されるようになる。

また、実施の形態１で説明した選択部１０２を搭載した立体表示装置、テレビ、携帯情報端末、ＰＣ、デジタルスチルカメラ、ムービー、情報記録再生装置、映像記録再生装置、映像処理装置等を実現するようにしてもよい。なお、この場合、同一被写体を複数の異なる視点から撮影することにより得られた複数枚の画像は、これらの装置に対して、外部から入力させるものであってもよい。また、実施の形態１で説明した調整部１０５を搭載した立体表示装置、テレビ、携帯情報端末、ＰＣ、デジタルスチルカメラ、ムービー、情報記録再生装置、映像記録再生装置、映像処理装置等を実現するようにしてもよい。この場合には、これらの装置に対して、３Ｄ表示用の画像を形成するための選択された２枚の画像とその撮影条件に係る情報及び基準位置情報とがこれらの装置の外部から伝達されることとしてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。

従って、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略等を行うことができる。

本開示は、３Ｄ画像を表示する装置に適用可能である。

１００ 画像処理装置
１０１ インターフェース
１０２ 選択部
１０４ 記憶部
１０５ 調整部
１０６ 表示部
１１０ ３Ｄ画像データ
１１１ ＳＢ情報
１１２ 距離情報
１１３ 画角情報
１１４ 基準位置情報
１１５ 画像番号

Claims (10)

1. 同一の被写体を異なる３以上の視点から撮影して得られる画像群からの選択を経て特定された、３Ｄ表示用の画像を形成する第１視点画像及び第２視点画像に、画像処理を行う画像処理方法であって、
   所定の基準位置及び前記第１視点画像に係る撮影位置に基づいて、前記第１視点画像における前記被写体の位置を、当該第１視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第１視点画像に対して施し、
   前記基準位置及び前記第２視点画像に係る撮影位置に基づいて、前記第２視点画像における前記被写体の位置を、当該第２視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第２視点画像に対して施す
   画像処理方法。
2. 前記画像処理方法は、
   ３Ｄ表示用の画像についての観察条件に応じて前記選択を行う第１選択ステップと、
   前記第１選択ステップにおける前記選択を経て特定された前記第１視点画像及び前記第２視点画像に、それぞれ対応する前記調整処理を施す第１調整ステップと、
   前記観察条件が変更される際に一定条件下で当該変更後の観察条件に応じて前記選択を行う第２選択ステップと、
   前記第２選択ステップにおける前記選択を経て特定された前記第１視点画像及び前記第２視点画像のうち少なくとも１枚の画像に、対応する前記調整処理を施す第２調整ステップとを含む
   請求項１記載の画像処理方法。
3. 前記第２調整ステップでは、前記第２選択ステップにおける前記選択を経て特定された前記第１視点画像及び前記第２視点画像のうち、当該選択の前において特定されていた前記第１視点画像及び前記第２視点画像から変更されていない画像がある場合においては、当該変更されていない画像に対しては前記調整処理を施さない
   請求項２記載の画像処理方法。
4. 前記第１選択ステップ及び前記第２選択ステップにおける前記選択は、前記画像群からの２枚の画像の選択であり、
   前記第１調整ステップにおける前記調整処理の対象となる、前記第１視点画像及び前記第２視点画像として特定された２枚の画像は、前記第１選択ステップにおける前記選択の結果としての２枚の画像それぞれに倍率変更処理を施して得られる２枚の画像であり、
   前記第２調整ステップにおける前記調整処理の対象となる、特定された前記第１視点画像及び前記第２視点画像のうち少なくとも１枚の画像は、前記第２選択ステップにおける前記選択の結果としての２枚の画像のうちの少なくとも１枚に倍率変更処理を施して得られる少なくとも１枚の画像である
   請求項３記載の画像処理方法。
5. 前記画像処理方法は、前記画像群におけるいずれか２枚の画像の撮影位置間の所定位置を、前記基準位置として決定する決定ステップを含み、
   前記第１調整ステップ及び前記第２調整ステップにおける前記調整処理は、前記決定ステップにより決定された前記基準位置に基づいて行われる
   請求項２記載の画像処理方法。
6. 前記画像処理方法は、前記第１選択ステップにおける前記選択に先行して、前記画像群、及び、当該画像群における各画像の撮影位置を示す情報を記憶媒体に記憶する記憶ステップを含み、
   前記記憶媒体に記憶される前記画像群におけるいずれか２枚の画像の組合せに係る撮影位置間の距離は、当該画像群における他のいずれの２枚の画像の組合せに係る撮影位置間の距離とも異なる
   請求項２記載の画像処理方法。
7. 前記画像処理方法は、
   前記調整処理が施された前記第１視点画像及び前記第２視点画像を表示する表示ステップを含む
   請求項２記載の画像処理方法。
8. 前記第１選択ステップ及び前記第２選択ステップにおける前記選択は、前記画像群からの２枚の画像の選択であり、
   前記第１調整ステップにおける前記調整処理の対象となる、前記第１視点画像及び前記第２視点画像として特定された２枚の画像は、前記第１選択ステップにおける前記選択の結果としての２枚の画像であり、
   前記第２調整ステップにおける前記調整処理の対象となる、特定された前記第１視点画像及び前記第２視点画像のうち少なくとも１枚の画像は、前記第２選択ステップにおける前記選択の結果としての２枚の画像のうちの少なくとも１枚の画像である
   請求項２記載の画像処理方法。
9. 前記第１視点画像における前記被写体の位置をシフトする前記調整処理は、前記第１視点画像における前記被写体の位置を、当該第１視点画像を撮影した場合とカメラの光軸を平行にして仮に前記基準位置から当該被写体を撮影したとするときに得られる画像において現れる当該被写体の位置と、同じ位置まで移動させるべく当該第１視点画像をシフトする処理であり、
   前記第２視点画像における前記被写体の位置をシフトする前記調整処理は、前記第２視点画像における前記被写体の位置を、当該第２視点画像を撮影した場合とカメラの光軸を平行にして仮に前記基準位置から当該被写体を撮影したとするときに得られる画像において現れる当該被写体の位置と、同じ位置まで移動させるべく当該第２視点画像をシフトする処理である
   請求項１記載の画像処理方法。
10. プロセッサ及びメモリを備え、同一の被写体を異なる３以上の視点から撮影して得られる画像群からの選択を経て特定された、３Ｄ表示用の画像を形成する第１視点画像及び第２視点画像に、画像処理を行う画像処理装置であって、
    前記プロセッサは、前記メモリに格納された制御プログラムを実行することにより、
    所定の基準位置及び前記第１視点画像に係る撮影位置に基づいて、前記第１視点画像における前記被写体の位置を、当該第１視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第１視点画像に対して施し、
    前記基準位置及び前記第２視点画像に係る撮影位置に基づいて、前記第２視点画像における前記被写体の位置を、当該第２視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第２視点画像に対して施す
    画像処理装置。

Images