JP7395296B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、立体画像を表示する技術に関するものである。

近年、立体画像を表示する表示装置として、専用の眼鏡を必要とせずユーザが裸眼によって自然な立体画像を閲覧することができる裸眼立体ディスプレイが考えられている。特許文献１には、表示対象の３次元形状モデルを仮想的なカメラで撮影して生成された画像を、レンズアレイを介してユーザに見せることで、立体画像の表示を実現する立体表示装置が開示されている。また、表示対象を取り囲むように配置された撮影装置により撮影された画像から３次元モデルを生成することが開示されている。

特許第５４５２８０１号公報

特許文献１に記載の技術のように立体表示装置を用いて立体画像を表示する場合において、ユーザにとっての利便性をより向上させることが求められる。例えば、サッカーやラグビー等の試合が行われる競技場を表示対象とする立体画像を表示する場合において、どのような視点位置から競技場を見た画像を立体表示させるかをユーザが指定することができれば、ユーザはより意図に沿った画像を見ることができる。また例えば、立体表示される競技場の向きと立体表示装置の設置に係る姿勢とを適合させることができれば、ユーザにとって立体画像の見やすさが向上する。

本発明は上記の課題に鑑み、立体表示装置を用いて立体画像を表示する場合におけるユーザにとっての利便性を向上させることを目的とする。

上述の課題を解決するため、本発明に係る画像処理装置は、例えば以下の構成を有する。すなわち、配列された複数のレンズ素子を有するレンズアレイに画像表示面から入射する光を前記複数のレンズ素子により屈折させることで、前記画像表示面に対するユーザの目の位置に応じて異なる立体画像を当該ユーザに対して表示する立体表示装置のための、表示用の画像データを生成する画像処理装置であって、対象領域をそれぞれ異なる方向から撮影する複数の撮影装置による撮影に基づく複数の画像を取得する画像取得手段と、前記立体表示装置が設置された設置面に対する前記立体表示装置の姿勢を特定する特定手段と、前記対象領域に関連付けられた空間における仮想視点の位置及び前記仮想視点からの視線方向であって、前記立体表示装置の姿勢に基づいて前記仮想視点の位置及び前記仮想視点からの視線方向を設定する第１設定手段と、前記第１設定手段により設定された仮想視点の位置及び前記仮想視点からの視線方向を基準として、前記立体表示装置の構成に応じた数の仮想視点の位置及び前記仮想視点からの視線方向を設定する第２設定手段と、前記画像取得手段により取得された前記複数の画像と、前記第１設定手段及び前記第２設定手段により設定された複数の仮想視点の位置及び前記仮想視点からの視線方向とに基づいて、記表示用の画像データを生成する生成手段と、を有する。

本発明によれば、立体表示装置を用いて立体画像を表示する場合におけるユーザにとっての利便性を向上させることができる。

画像処理システムの構成例を示す図である。 画像処理装置の構成例を示す図である。 立体表示装置とその設置情報について説明するための図である。 仮想視点について説明するための図である。 基準視点と従属視点について説明するための図である。 画像処理装置の動作の一例を示すフローチャートである。 立体画像の表示例について説明するための図である。 画像処理装置の動作の一例を示すフローチャートである。 複数の立体表示装置１０６による表示について説明するための図である。 画像処理装置の動作の一例を示すフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。なお、以下で説明する実施形態は、本発明を具体的に実施した場合の一例を示すものであり、本発明は以下の実施形態に限定されるものではない。

［システム構成］
図１に、本実施形態における画像処理システム１００の構成について説明するための図を示す。図１（ａ）は、画像処理システム１００の構成例を示すブロック図である。画像処理システム１００は、センサシステム１０１ａ、からセンサシステム１０１ｎのｎ台のセンサシステムを有し、各センサシステムは少なくとも１台の撮影装置であるカメラを有する。以降では特に説明がない限り、ｎ台のセンサシステムを区別せずに、センサシステム１０１と表記する。

図１（ｂ）は、複数のセンサシステム１０１の設置例を示す図である。複数のセンサシステム１０１は、撮影の対象領域である領域１２０を囲むように設置され、それぞれ異なる方向から領域１２０を撮影する。本実施形態の例では、撮影対象の領域１２０をサッカーの試合が行われるスタジアムのフィールドとし、フィールドを囲むようにｎ台（例えば３０台）のセンサシステム１０１が設置される。ただし、設置されるセンサシステム１０１の数は限定されない。また、撮影対象の領域１２０はスタジアムのフィールドに限らない。領域１２０にスタジアムの客席が含まれてもよいし、領域１２０が屋内のスタジオや舞台等であってもよい。また、センサシステム１０１は領域１２０の全周にわたって設置されていなくてもよく、設置場所の制限等によっては領域１２０の周囲の一部にのみ設置されていてもよい。また、複数のセンサシステム１０１が有する複数のカメラには、望遠カメラと広角カメラなど機能が異なる撮影装置が含まれていてもよい。

複数のセンサシステム１０１が有する複数のカメラは同期して撮影を行う。これらのカメラの撮影により得られる複数の画像を複数視点画像と呼ぶ。なお、本実施形態における複数視点画像のそれぞれは、撮影画像であってもよいし、撮影画像に対して例えば所定の領域を抽出する処理などの画像処理を行うことで得られた画像であってもよい。画像記録部１０２は、センサシステム１０１からの画像取得により複数視点画像を取得し、データベース１０３に記憶させる。

なお、各センサシステム１０１は、カメラに加えてマイク（不図示）を有していてもよい。複数のセンサシステム１０１それぞれのマイクは同期して音声を収音する。この収音された音声に基づいて、立体表示装置１０６における画像の表示と共に再生される音響信号を生成することができる。以降では説明の簡略化のため、音声についての記載を省略するが、基本的に画像と音声は共に処理されるものとする。

画像処理装置１０４は、データベース１０３から複数視点画像を取得し、操作部１０５から操作情報を取得する。操作情報は、操作部１０５に対するユーザ操作に応じた入力を示す情報である。また画像処理装置１０４は、立体表示装置１０６の設置に関する設置情報を取得する。そして画像処理装置１０４は、操作情報と設置情報とに基づいて仮想視点１１０を設定し、仮想視点１１０に応じた仮想視点画像を複数視点画像に基づいて生成する。設置情報と操作情報の詳細については後述する。

画像処理装置１０４が生成する仮想視点画像は、指定された仮想視点１１０からの見えを表す画像である。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作に基づいて行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。仮想視点１１０は、領域１２０に関連付けられた仮想空間内に設定され、複数のセンサシステム１０１のどのカメラとも異なる視点から領域１２０を閲覧できる。仮想視点１１０は、仮想空間内における仮想視点の位置及び向きを示す視点情報により表される。なお、視点情報は仮想視点に応じた画角や焦点距離を示す情報を含んでいてもよい。視点情報の詳細については後述する。

立体表示装置１０６による立体画像の表示を実現するために、画像処理装置１０４は、複数の仮想視点を設定して、各仮想視点に応じた仮想視点画像を生成する。具体的には、画像処理装置１０４は、操作情報及び設置情報に基づいて基準となる１つの仮想視点１１０を決定し、その仮想視点１１０を基準として、立体表示装置１０６の構成に応じた数の仮想視点を設定する。以降では、基準となる仮想視点１１０を基準視点と表記し、基準視点に基づいて設定される仮想視点を従属視点と呼ぶ。基準視点と従属視点の詳細については後述する。

そして画像処理装置１０４は、基準視点と従属視点の位置及び向きに基づいて複数視点画像から生成された複数の仮想視点画像を合成して、立体表示装置１０６のための表示用の画像データを生成する。画像処理装置１０４は、生成した出力画像を立体表示装置１０６へ出力する。画像処理装置１０４が実行する処理の詳細に関しては、フローチャートを用いて後述する。

操作部１０５は、例えばジョイスティックやタッチパネル、キーボード、又はマウス等を介してユーザによる操作を受け付け、ユーザ操作に応じた操作情報を画像処理装置へ出力する。立体表示装置１０６は、画像処理装置１０４から取得した画像データを用いて立体画像の表示を行う。立体表示装置の構成の詳細については後述する。

なお、画像処理システム１００の構成は図１（ａ）に示すものに限定されない。例えば、複数の操作部１０５や複数の立体表示装置１０６が画像処理装置１０４と接続されてもよい。また、複数の画像処理装置１０４がデータベース１０３に接続されてもよい。

［画像処理装置の構成］
図２を用いて、画像処理装置１０４の構成を説明する。図２（ａ）は、画像処理装置１０４の機能構成例を示す図である。画像処理装置１０４は、図２（ａ）に示す機能を組み合わせて、立体表示装置１０６のための表示用の画像データを生成する。

情報取得部２０５は、立体表示装置１０６から設置情報を取得し管理する。設置情報の詳細は図３を用いて後述するが、例えば立体表示装置１０６の設置時の位置（座標）や姿勢（回転）を示す情報が設置情報に含まれる。また、設置情報には、立体表示装置１０６を構成するレンズアレイに関する情報が含まれていても良い。基準視点設定部２０１は、操作部１０５からユーザ操作に応じた入力として操作情報を取得する。

モデル生成部２０２は、データベース１０３から取得した複数視点画像に基づいて領域１２０内のオブジェクトの３次元形状を表す三次元モデルを生成する。具体的には、複数視点画像から、人物やボールなどの所定のオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像が取得される。そしてモデル生成部２０２は、複数の前景画像に基づいて前景の三次元モデルを生成する。三次元モデルは、例えばＶｉｓｕａｌ Ｈｕｌｌ等の形状推定方法により生成され、点群で構成されるものである。ただし、オブジェクトの形状を表す３次元形状データの形式はこれに限定されない。背景の三次元モデルは、予め外部の装置により取得されてもよい。

従属視点設定部２０３は、表示用の画像データの生成に必要となる複数の仮想視点を基準視点に基づいて設定する。基準視点と従属視点については図５を用いて後述する。画像生成部２０４は、基準視点及び従属視点の位置、向き、及び焦点距離等に基づき、三次元モデルから仮想視点画像を生成する。具体的には、三次元モデルを構成する点毎に、複数視点画像から適切な画素値を取得して色付け処理を行う。そして色付けされた三次元モデルを三次元の仮想空間に配置し、仮想視点へ投影してレンダリングすることで、仮想視点画像が生成される。ただし、仮想視点画像の生成方法はこれに限定されず、三次元モデルを用いずに撮像画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。画像出力部２０６は、複数の仮想視点に基づいて生成された複数の仮想視点画像を合成して表示用の画像データを生成し、立体表示装置１０６へ出力する。

なお、画像処理装置１０４の機能構成は図２（ａ）に示すものに限定されない。例えば、図２（ａ）に示す画像処理装置１０４の構成要素の少なくとも一部が、立体表示装置１０６や別の装置に実装されていてもよい。また、画像処理装置１０４と立体表示装置１０６とが一体となって構成されていてもよい。

次に、画像処理装置１０４のハードウェア構成について説明する。図２（ｂ）は、画像処理装置１０４のハードウェア構成例を示す図である。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１２やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１３に格納されるプログラムやデータを用いて処理する。ＣＰＵ２１１は、画像処理装置１０４の全体の動作制御を行い、図２（ａ）に示す各機能を実現するための処理を実行する。なお、画像処理装置１０４がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＯＭ２１３は、プログラムやデータを保持する。ＲＡＭ２１２は、ＲＯＭ２１３から読み出されるプログラムやデータを一時的に記憶するワークエリアを有する。また、ＲＡＭ２１２は、ＣＰＵ２１１が各処理を実行する際に用いるワークエリアを提供する。入力部２１４は、例えば操作部１０５から入力される情報を取得する。外部インターフェース２１５は、例えば、ＬＡＮなどを介した通信により、データベース１０３や立体表示装置１０６などの外部の装置と情報の送受信を行う。出力部２１６は、例えば、ＨＤＭＩ（登録商標）やＳＤＩ等の画像出力ポートを介して、画像データを立体表示装置１０６へ出力する。なお、出力部２１６による情報の出力方法はこれに限定されず、イーサネット（登録商標）等を介したネットワーク伝送を用いて画像データが出力されてもよい。

［立体表示装置の設置情報］
図３を参照し、立体表示装置１０６の構成及び設置情報について説明する。図３（ａ）は立体表示装置１０６の一例である表示装置３０１が、テーブル３００に設置された様子を示したものである。表示装置３０１は、投影面３０２と、ガラスやアクリル等の高屈折率材料からなる透明部材３０３、及び表示装置３０１の姿勢を支える支持部３０４を有する。

図３（ｂ）は投影面３０２を上（投影面３０２と平行な方向）から見たものである。投影面３０２は、画像が表示される液晶パネル３０８と、液晶パネル３０８上に２次元配列された複数のレンズ素子を備えるマイクロレンズアレイ３０９を有する。マイクロレンズアレイ３０９が有する複数のレンズ素子は分離していてもよいし一体となって構成されていてもよい。表示装置３０１の構成は、例えば、レンズ素子の数、レンズピッチ、及び画素数等のパラメータにより規定される。後述するように、表示装置３０１による立体画像の表示に必要となる複数の従属視点は、表示装置３０１の構成に応じて決定される。

画像表示面としての液晶パネル３０８からマイクロレンズアレイ３０９に入射する光が複数のレンズ素子により屈折されて視聴者３１０の目に届くことで、視聴者３１０は画像表示面に対する目の位置に応じて異なる画像を見ることができる。これにより、表示装置３０１は立体画像を視聴者３１０に対して表示することができる。また、視聴者３１０が視点位置を左右上下に移動すると、その方向にずらした立体的な画像を見ることができる。

なお、立体表示装置１０６の構成は上記の表示装置３０１の例に限定されず、立体画像を表示できる構成であれば良い。例えば、液晶パネル３０８の代わりに有機ＥＬパネルが用いられてもよいし、マイクロレンズアレイ３０９の代わりに複数のレンズ素子が１次元的に配列されたレンズアレイが用いられてもよい。また、立体表示装置１０６が設置できれば、設置する場所はテーブル３００等の平面に限定されない。

図３（ｃ）を用いて、表示装置３０１の設置情報を表現するための座標系について説明する。座標系には、Ｘ軸・Ｙ軸・Ｚ軸から構成される一般的な三次元空間の直交座標系が用いられる。また、Ｘ軸まわりの回転を「ｒｏｌｌ」、Ｙ軸まわりの回転を「ｐｉｔｃｈ」、Ｚ軸まわりの回転を「ｙａｗ」とする。この様な座標系を用いて、設置された表示装置３０１の位置（座標）と姿勢（回転）が表現される。

説明を簡単にするため、Ｚ軸がテーブル３００の平面に対して垂直方向になり、Ｙ軸がディスプレイ面に平行な方向になるように、座標系が設定されるものとする。ただし、座標系の設定はこれに限定されない。

図３（ｄ）から図３（ｆ）を用いて表示装置３０１の設置情報の例を説明する。図３（ｄ）は図３（ａ）に示す表示装置３０１をＹ軸の負方向から見たものである。図３（ｄ）における表示装置３０１は、原点（０，０，０）を中心位置とし、姿勢がｐｉｔｃｈ方向へ回転（傾斜）して設置されている。この回転の大きさをｐｉ１とした場合の設置情報を図３（ｆ）の（ｉｄ＝１）の行に示す。設置情報は、位置（ｘ，ｙ，ｚ）＝（０，０，０）、姿勢（ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ）＝（０，ｐｉ１，０）の様に表現される。

表示装置３０１の設置時の位置や姿勢は限定されない。例えば、図３（ｅ）に示す様にテーブル３００の垂直方向を表示方向とする仰向けの様な姿勢で表示装置３０１が設置されてもよい。この場合の設置情報を図３（ｆ）の（ｉｄ＝２）の行に示す。設置情報は、位置（ｘ，ｙ，ｚ）＝（０，０，ｚ２）、姿勢（ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ）＝（０，ｐｉ２，０）の様に表現される。

なお、設置情報における位置と姿勢の値は、実測によって取得されても良いし、立体表示装置１０６に装着されたジャイロセンサや位置測位装置の検出結果から取得されてもよい。また、設置情報には、立体表示装置１０６を構成する投影面３０２に関する先述のパラメータ等が含まれていても良い。以上で説明した設置情報は、情報取得部２０５が、図３（ｆ）に示した設置情報管理テーブルで管理する。設置情報管理テーブルは複数の設置情報を管理できる。

［仮想視点の位置と向き］
図４を用いて、仮想視点（基準視点及び従属視点）の位置と向きについて説明する。仮想視点は、１つの座標系を用いて位置と向きが表現される。座標系としては、図４（ａ）に示すように、Ｘ軸・Ｙ軸・Ｚ軸により規定される一般的な３次元空間の直交座標系が用いられる。なお、図４（ａ）に示す仮想視点を表現するための座標系と、図３（ｃ）に示す設置情報を表現するための座標系は別のものである。

図４（ａ）に示す座標系は、センサシステム１０１により撮影される領域１２０に関連付けて設定される。被写体としての領域１２０及び領域１２０に位置するオブジェクトも、図４（ａ）に示す座標系で表現される。例えば図４（ｂ）に示す様に、被写体には、領域１２０としてのスタジアムのフィールドと、その上にあるボール４２２や選手４２３等が含まれる。なお、被写体には、フィールド周辺の客席等が含まれても良い。

フィールドに関連付けられた座標系を設定するために、例えばフィールドの中心に座標系の原点（０、０、０）が設定される。また、Ｘ軸をフィールドの長辺方向とし、Ｙ軸をフィールドの短辺方向とし、Ｚ軸をフィールドに対する鉛直方向とするように座標系が設定される。なお、座標系の設定方法は、これらに限定されない。

次に、図４（ｃ）及び図４（ｄ）を用いて、仮想視点について説明する。仮想視点は、仮想視点画像を生成するために用いられる視点である。図４（ｃ）に示される四角錐において、頂点が仮想視点の位置４０１を表し、頂点から伸びるベクトルが仮想視点の向き４０２を表す。仮想視点の向き４０２は仮想視点の位置４０１からの視線の方向であり、仮想視点の位置４０１からどの方向を見た様子を表す仮想視点画像を生成すべきかを示す。仮想視点の位置は三次元空間の座標（ｘ，ｙ，ｚ）で表現され、向きは各軸の成分をスカラーとする単位ベクトルで表現される。

仮想視点の向き４０２は、前方クリップ面４０３と後方クリップ面４０４の中心点を通る。前方クリップ面４０３と後方クリップ面に挟まれた空間４０５を仮想視点の視錐台と呼び、３次元空間のうち視錐台の内部の範囲が、仮想視点画像に表示される範囲となる。

図４（ｄ）を用いて、仮想視点の移動と回転について説明する。仮想視点は、三次元座標で表現された空間内において移動及び回転する。仮想視点の移動４１１は、仮想視点の位置４０１の変化であり、各軸の成分（ｘ、ｙ、ｚ）で表現される。仮想視点の回転４１２は、仮想視点の向き４０２の変化であり、図４（ａ）に示す様に、Ｚ軸回りの回転である（ｙａｗ）、Ｙ軸回りの回転である（ｐｉｔｃｈ）、Ｘ軸回りの回転である（ｒｏｌｌ）で表現される。仮想視点を領域１２０に関連付けられた三次元空間で移動及び回転させることで、領域１２０を任意の位置及び方向から見た仮想視点画像を生成できる。

［基準視点と従属視点］
図５（ａ）及び図５（ｃ）を参照し、基準視点について説明する。基準視点は、操作部１０５から入力された操作情報に応じて、領域１２０に関連付けられた三次元空間内で移動及び回転する仮想視点である。画像処理装置１０４により生成される仮想視点画像は、領域１２０を囲むように設置された複数カメラで撮影した複数視点画像に基づいて生成される。そのため、撮影対象の領域１２０がサッカーやラグビー等のフィールドの様な大規模なものであっても、仮想視点画像に対応する仮想視点である基準視点は、領域１２０内の任意の位置で移動及び回転できる。

視点情報の例を図５（ｃ）に示す。視点情報は、仮想視点の位置（ｘ，ｙ，ｚ）と向き（ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ）を示す。なお、視点情報の形式はこれに限定されず、少なくとも仮想視点の位置及び向きを示す情報であればよい。視点情報には、仮想視点の焦点距離や画角を示す情報が含まれてもよい。すなわち、視点情報により示される仮想視点は、位置、向き、及び画角等で規定される。

操作部１０５から入力される操作情報は、ユーザ操作に応じた仮想視点の移動量及び回転量の少なくとも何れかを示す情報である。例えば、基準視点が原点に設定されている場合に、仮想視点の位置をｘ軸方向にｘ０だけ移動させることを示す操作情報が入力されると、基準視点設定部２０１は位置がｘ０に変更された基準視点を示す視点情報を生成する。同様に、基準視点の向きを回転させることを示す操作情報が入力されると、基準視点設定部２０１は向きが変更された基準視点を示す視点情報を生成する。なお、基準視点をズームさせることを示す操作情報が入力されることに応じて、基準視点の画角又は焦点距離が変更されてもよい。

また、操作情報は、基準視点の移動量及び回転量を示すものに限定されず、ユーザ操作により指定された基準視点の位置及び向きを示すものであってもよい。この場合、基準視点設定部２０１は、操作情報が示す位置及び向きに従って基準視点を設定する。例えば、図５（ａ）は領域１２０をＺ軸方向から見たものである。視点の位置及び向きを指定する操作情報５９０が入力された場合に、基準視点設定部２０１はその操作情報に応じて、位置５０１ａを基準視点５００ａの位置に設定し、方向５０２ａを基準視点５００ａの向きに設定することができる。

次に図５（ｂ）、図５（ｄ）、及び図５（ｅ）を参照し、従属視点について説明する。図３を用いて説明した様に、立体表示装置１０６により表示される画像には、視聴者３１０の位置に応じた画像を視聴者３１０に見せるために、複数の視聴方向５１０ａ～５１０ｎのそれぞれに対応する仮想視点画像が含まれる。そのため、画像処理装置１０４は、設定された複数の仮想視点の位置及び向きにそれぞれ対応する複数の仮想視点画像を複数視点画像に基づいて生成する。

まず、基準視点の位置及び向きに応じた仮想視点画像が、表示装置３０１の正面から見る視聴方向５１０ａに対応付けられる。そして、その他の視聴方向５１０ｂ～５１０ｎは、基準視点を基準として設定された従属視点の位置及び向きに応じた仮想視点画像に対応付けられる。従属視点の数は、図３を用いて説明した表示装置３０１の構成を示すパラメータに基づいて決定される。例えば、従属視点設定部２０３は、表示装置３０１が有するレンズアレイに含まれるレンズ素子の数に応じた数の従属視点の位置及び向きを設定する。レンズアレイが４５個のレンズ素子を配列したものである場合には、１つの基準視点と４４個の従属視点が設定される。ただし、従属視点の数がレンズ素子の数よりも少なくてもよい。従属視点設定部２０３により設定される複数の従属視点は、少なくとも位置及び向きの何れかが異なる。

なお、従属視点に対応する視聴方向は、１次元的に並んでいてもよいし、２次元的に並んでいてもよい。例えば、表示装置３０１に対して視聴者３１０が左右に移動することで視聴者３１０が見える画像が変化し、表示装置３０１に対して視聴者３１０が上下に移動しても視聴者３１０が見える画像は変化しなくてもよい。一方、表示装置３０１に対して視聴者３１０が左右に移動しても上下に移動しても、視聴者３１０が見える画像が変化してもよい。

本実施形態では、各従属視点の位置と向きが、基準視点の位置と向きに対するオフセット（調整量）により管理される。各従属視点を表現する情報を図５（ｄ）に示す。従属視点設定部２０３は、基準視点の位置と向きを基準として、複数の従属視点それぞれの位置と向きを、図５（ｄ）に示されるオフセットに基づいて設定する。具体的には、従属視点設定部２０３は、基準視点設定部２０１から基準視点の位置及び向きを示す視点情報を取得し、その視点情報の値をオフセットに応じて変更することで、従属視点の位置及び向きを示す視点情報を生成する。オフセットの大きさは、立体表示装置１０６の構成に応じて予め決められていてもよいし、ユーザ操作に応じて変更可能であってもよい。

続いて、図５（ｂ）を参照し、３次元空間における基準視点と従属視点の位置と向きの関係を説明する。図５（ｂ）は、図５（ａ）の基準視点５００ａ（位置５０１ａと向き５０２ａで規定される視点）付近を拡大したものである。図５（ｂ）において、従属視点５００ｂ～５００ｎは、基準視点が捉える対象（基準視点５００ａの視錐体に含まれるオブジェクト）を異なる位置から異なる向きで捉える。

なお、図５（ｂ）はＺ軸方向から見て基準視点と異なる位置及び向きに設定された従属視点を表したものであるが、Ｘ軸方向又はＹ軸方向から見た場合にも位置及び向きが基準視点と異なる従属視点が設定されても良い。従属視点は図５（ｄ）に示す基準視点に対する位置と向きのオフセットを維持する。すなわち、基準視点の移動及び回転に応じて、各従属視点も連動して移動及び回転することになる。これにより、基準視点が変化しても基準視点と従属視点の関係性を保つことができる。

上記の様な撮影対象の領域（フィールド）１２０内における基準視点と従属視点の位置と向きの指定は、従来技術においては、フィールド内にカメラを配置して撮影しなければ実現できないものであった。サッカーやラグビー等の様なフィールドスポーツにおいて、フィールド内にカメラを配置することは難しい。しかし本実施形態によれば、その様な制約を受けることなく、フィールド内の任意に指定された位置及び向きの基準視点と従属視点を用いて仮想視点画像を生成し、それらを合成した画像データを立体表示装置１０６へ出力できる。

更に、本実施形態によれば、基準視点の向きの初期値を、立体表示装置１０６の設置情報に応じて決定することも可能である。例えば、図３（ｄ）の（ｉｄ＝１）に示す表示装置３０１の設置情報が画像処理装置１０４に入力された場合、基準視点設定部２０１は、設置情報に基づいて表示装置３０１の姿勢（ｐｉｔｃｈ＝ｐｉ１）を特定する。そして基準視点設定部２０１は、表示装置３０１の姿勢に応じた視点の向きを基準視点の向きの初期値として表す視点情報を生成してもよい。この場合、表示装置３０１により表示される立体画像におけるフィールド面をテーブル３００の面と平行にすることができ、視聴者３１０にとってより見やすい表示を行うことができる。この場合の立体画像の表示例を図７（ａ）及び図７（ｂ）を用いて後述する。ただし、立体画像におけるフィールド面が所定の傾きを有するように基準視点が設定されてもよい。また、視聴者３１０が立体画像の向きや表示対象の範囲を変えたい場合には、操作部１０５を介した操作により基準視点を初期値から変更することで、視聴者３１０は所望の視点に応じた立体画像を視聴できる。

［画像データの生成処理］
図６と図７を参照し、立体表示装置１０６へ出力するための表示用の画像データの生成処理について説明する。図６は、画像処理装置の動作について説明するためのフローチャートである。

図６に示す処理は、画像処理装置１０４のＣＰＵ２１１がＲＯＭ２１３に格納されたプログラムをＲＡＭ２１２に展開して実行することで実現される。なお、図６に示す処理の少なくとも一部を、ＣＰＵ２１１とは異なる１又は複数の専用のハードウェアにより実現してもよい。図６に示す処理は、画像処理装置１０４と立体表示装置１０６とが接続され、仮想視点画像の生成に係る処理を行うための指示が画像処理装置１０４に入力されたタイミングで開始される。ただし、図６に示す処理の開始タイミングはこれに限定されない。なお、図６を用いた以下の説明においては、予めデータベース１０３に記憶された複数のフレームから構成される動画の複数視点画像に基づいて、動画の立体画像が生成されるものとする。ただし、複数視点画像の取得と並行してリアルタイムで動画の立体画像が生成されてもよい。また、静止画の立体画像が生成されてもよい。

Ｓ６０１では、情報取得部２０５が、立体表示装置１０６から設置情報を取得する。Ｓ６０２では、基準視点設定部２０１が、Ｓ６０１で取得した設置情報に基づき、基準視点の位置及び向きの初期値を決定することで、基準視点を設定する。Ｓ６０３では、従属視点設定部２０３が、Ｓ６０１で取得した設置情報に含まれる立体表示装置１０６の構成を示すパラメータに基づき、基準視点を基準として設定される仮想視点の数（従属視点の数）を決定する。Ｓ６０４では、従属視点設定部２０３が、Ｓ６０１で取得した設置情報とＳ６０２で決定された基準視点の位置及び向きとに基づき、従属視点の位置及び向きの初期値を決定する。従属視点の位置及び向きの初期値は、基準視点の位置及び向きの初期値に、各従属視点に対応するオフセットを適用することで決まる。これにより、基準視点を基準とする複数の従属視点が設定される。

Ｓ６０５～Ｓ６１６の処理は、動画フレーム毎に処理を繰り返される。Ｓ６０６では、モデル生成部２０２が、複数視点画像に基づいて三次元モデルを生成して取得する。Ｓ６０７では、基準視点設定部２０１が、操作部１０５から入力された操作情報を受け取る。Ｓ６０８では、基準視点設定部２０１が、Ｓ６０７で取得した操作情報に基づいて変更（移動又は回転）された基準視点を設定する。

Ｓ６０９～Ｓ６１１の処理は、Ｓ６０４で設定された従属視点ごとに繰り返される。Ｓ６１０では、従属視点設定部２０３が、Ｓ６０８における基準視点の変更量と従属視点のオフセットに基づいて変更（移動又は回転）された従属視点を設定する。

Ｓ６１２～Ｓ６１４の処理は、全ての仮想視点（基準視点と従属視点）について処理を繰り返される。Ｓ６１３では、画像生成部２０４が、設定された各仮想視点に応じた仮想視点画像を生成する。Ｓ６１５では、画像出力部２０６が、Ｓ６１３で生成された複数の仮想視点画像を合成して画像データを生成し、立体表示装置１０６へ出力する。

なお、本実施形態では、画像処理装置１０４による画像データの生成において、複数の仮想視点に応じた複数の仮想視点画像を生成した上でそれらの仮想視点画像が合成されるものとする。ただし画像データの生成方法はこれに限定さない。例えば画像処理装置１０４は、画像データの画素ごとに、複数の仮想視点のうち当該画素に対応する仮想視点を特定し、その仮想視点に基づいて複数視点画像から抽出された画素値を用いて当該画素の値を決定してもよい。

なお、Ｓ６０１の設置情報の取得は、動画フレーム毎に行われてもよい。これにより、立体画像表示中に立体表示装置１０６の姿勢などが変わった場合に、それに応じて基準視点の向きを変更し、立体画像における表示範囲を変更することができる。

なお、図６のフローチャートは画像処理装置１０４の動作の一例を示したものであり、画像処理装置１０４の動作はこれに限定されない。例えば、画像処理装置１０４は、基準視点及び従属視点の初期値を、予め定められたデフォルトの値やユーザ操作に応じて指定された値に設定してもよい。この場合、画像処理装置１０４はＳ６０１の処理を行わなくてもよい。また例えば、画像処理装置１０４はＳ６０７における操作情報の取得を行わなくてもよい。すなわち、基準視点及び従属視点が、ユーザ操作によらずに、立体表示装置１０６の設置情報等に応じて設定されてもよい。また例えば、画像処理装置１０４は、基準視点の位置及び向きを示す視点情報を他の装置から取得してもよい。

［立体画像の表示例］
図７（ａ）及び図７（ｂ）は、図６に示す処理により出された画像データを用いて立体表示装置１０６により表示される立体画像の例を示す。図７（ａ）は、図３（ａ）に示した表示装置３０１に立体画像が表示されている様子を示す。図７（ｂ）は、図７（ａ）をＹ軸（横）から見たものである。図３を用いて説明した様に、表示装置３０１において、実際の画像は液晶パネル３０８に表示されるが、その上に配置されたマイクロレンズアレイ３０９を介すことによって、視聴者３１０には透明部材３０３の空間内に立体が存在しているような立体画像が見える。図７では視聴者３１０により知覚される立体画像を模式的に表している。

図７（ａ）において、フィールド７０１、ボール７０２、選手７０３、及び選手７０４が立体的に表示されている。この表示例では、図５において説明した様に、設置情報の姿勢（傾斜）に応じて基準視点の向きを決定することによって、テーブル３００の面とフィールド７０１の面が平行になる様な立体画像が表示されている。すなわち、基準視点の向きに平行な直線（視線方向）と空間における基準平面であるフィールド７０１の面とがなす角の大きさが、表示装置３０１の投影面３０２の法線と水平面であるテーブル３００の面とがなす角の大きさに対応する。フィールド７０１の上にあるボール７０２、選手７０３、及び選手７０４も同様に、テーブル３００と平行な面に立つ様に表示される。この様に表示することによって、例えば、撮影対象をサッカーやラグビー等のフィールドスポーツとした場合に、テーブル３００に置かれた表示装置３０１により見やすい立体画像が表示され、視聴者３１０はスポーツ観戦をより楽しむことができる。

以上に述べた様に、立体表示装置１０６の設置情報に応じて、撮影対象の領域１２０に関連付けられた空間内における仮想視点の位置及び向きを設定し、立体表示装置１０６の設置状況に応じた立体画像を表示させることができる。また、三軸コントローラなどを使用して仮想視点の位置及び向きを変更可能とすることで、習熟を必要とする繊細な操作を行うことなく、ユーザは立体表示装置１０６に所望の視点に応じた立体画像を表示させることができる。

［操作の制限］
以下では、立体表示装置１０６の設置情報に基づき、ユーザ操作による基準視点の変更を制限して、基準視点及び従属視点に応じた画像データを出力する場合の例について説明する。

図７（ｃ）を参照し、ユーザ操作による基準視点の変更を制限するための制限情報を説明する。図７（ｃ）に示す様に制限情報は、図５（ｃ）に示した視点情報の各パラメータに対しての変更を有効（ｏｎ）とするか、無効（ｏｆｆ）とするかを示す。制限情報において無効（ｏｆｆ）に設定されているパラメータについては、操作情報に応じた変更が制限される。図７（ｃ）に示す例では、位置（ｙ，ｚ）と、姿勢（ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ）の項目が無効に設定されており、位置（ｘ）の項目のみ有効に設定されている。この場合、基準視点はユーザ操作に応じてＸ軸方向にのみ移動することが可能となる。

なお、制限情報における識別子（ｉｄ）の値は、設置情報における識別子（ｉｄ）と対応させ、該当する立体表示装置１０６に対する制限情報として管理される。すなわち、画像処理システム１００が複数の立体表示装置１０６を有する場合には、立体表示装置１０６ごとに異なる制限情報を設定してもよい。

なお、画像処理装置１０４は、制限情報に応じた基準視点の変更の制限を行うか否かを、ユーザ操作に応じて切り替え可能としてもよい。この場合、画像処理装置１０４が切り替え操作に応じた入力を操作部１０５から受け付け、基準視点設定部２０１は基準視点の設定において制限を行うか否かを決定する。例えば、基準視点設定部２０１は、操作部１０５に対して所定の操作が行われたか否かに基づいて、基準視点の向きのユーザ操作に応じた変化を所定の方向の変化に制限するか否かを決定してもよい。なお、切り替え操作は、立体表示装置１０６により受付けられてもよい。

図８を用いて、操作の制限がされる場合の画像処理装置１０４の動作について説明する。以下では、図６を用いて説明した処理との差分を中心に説明する。Ｓ８０１では情報取得部２０５が設置情報を取得し、Ｓ８０２では基準視点設定部２０１が設置情報に基づいて基準視点を設定する。

Ｓ８０３では、基準視点設定部２０１が制限情報を設定する。制限情報の設定方法としては、例えば、立体表示装置１０６又は操作部１０５に、視点情報の各パラメータに対する制限の有無を設定するためのボタン等の入力部を設けてもよい。そして、基準視点設定部２０１がその入力部に対するユーザ操作に応じた入力を受け付けて制限情報を設定してもよい。また例えば、基準視点設定部２０１が、基準視点の位置及び向きの初期値等に応じて制限情報を設定してもよい。Ｓ８０４では、Ｓ６０３及びＳ６０４と同様に、基準視点及び立体表示装置１０６の構成に応じて従属視点が設定される。

Ｓ８０５～Ｓ８１５の処理は、動画フレーム毎に繰り返される。Ｓ８０６ではモデル生成部２０２が三次元モデルを取得し、Ｓ８０７では基準視点設定部２０１が操作情報を受け取る。Ｓ８０８では、基準視点設定部２０１が、視点情報の各パラメータについて、制限情報による制限が設定されているかを判定する。この判定はパラメータごとに行われ、制限が設定されているパラメータ（変更が無効のパラメータ）についてはＳ８０９へ進み、基準視点設定部２０１は操作情報のうち該当パラメータに対応する情報を無効にする。一方、制限が設定されていないパラメータ（変更が有効のパラメータ）については、操作情報が変更されることなくＳ８１０へ進む。各従属視点は基準視点に対するオフセットに応じて設定されるため、基準視点の変更が無効となった項目と同じ項目に関して従属視点の変更も無効となる。図７（ｃ）の例では、基準視点と従属視点のいずれもＸ軸方向の位置に関してのみユーザ操作に応じて変化し、その他の位置及び向きに関してはユーザ操作に応じて変化しない。

Ｓ８１０では、基準視点設定部２０１が、Ｓ８０７で取得され又はＳ８０９で変更された操作情報に基づき、基準視点を移動・回転させる。Ｓ８１１では、Ｓ６０９からＳ６１１の処理と同様に、全ての従属視点について操作情報に応じた変更がなされる。Ｓ８１２では、Ｓ６１２～Ｓ６１４の処理と同様に、基準視点と従属視点に応じた仮想視点画像が生成される。Ｓ８１４では、画像出力部２０６が複数の仮想視点画像を合成して生成された画像データを立体表示装置１０６へ出力する。

図７（ｃ）に示す制限情報の例では、基準視点及び従属視点がユーザ操作に応じてＸ軸方向（図７（ｃ）の方向７５１）にのみ移動可能となる。つまり、基準視点の初期値に応じた立体画像においてフィールド７０１がテーブル３００と平行になる状態であれば、ユーザ操作に応じて、フィールド面の平行を維持したまま仮想視点の位置がＸ軸方向にのみ移動する。

別の制限情報の例を、図７（ｆ）に示す。図７（ｆ）の例では、位置（ｚ）と姿勢（ｒｏｌｌ，ｐｉｔｃｈ）の変更が無効に設定されている。この場合、Ｘ軸方向又はＹ軸方向の移動、及び、Ｚ軸周りの回転（ｙａｗ回転）のみが有効となる。基準視点の初期値に応じた立体画像においてフィールド７０１がテーブル３００と平行になる状態であれば、ユーザ操作に応じて、図７（ｇ）に示す様にフィールド面の平行及び高さを維持したまま、仮想視点がＸ軸方向７６１及びＹ軸方向７６２に移動する。また、仮想視点がｙａｗ方向７６３に回転する。なお、制限情報で無効にできる項目や、その組み合わせは上記の例に限定されない。

上記の様な方法によれば、例えばオブジェクトが位置するフィールド７０１とテーブル３００の面の平行を維持したまま、仮想視点を移動及び回転させることができる。すなわち、ユーザにとっての立体画像の見やすさを維持しつつ、ユーザの意図に応じて仮想視点を変更することができる。これにより、ボールや選手などの被写体がフィールド内を頻繁に動くサッカーやラグビーの様なフィールドスポーツが撮影対象であっても、立体表示装置１０６を用いた分かりやすいスポーツ観戦を提供することができる。

以上に述べた様に、立体表示装置１０６の設置情報に基づいて仮想視点の初期値を設定し、かつ、操作情報に応じた仮想視点の特定の変化を制限することができる。これにより、例えば三軸コントローラなどの操作部１０５を特定の軸方向にのみ操作することが難しい場合であっても、仮想視点がユーザの意図しない方向に変化することを抑制できる。

［複数の立体表示装置による表示］
以下では、画像処理システム１００が複数の立体表示装置１０６を有し、各立体表示装置１０６にそれぞれ異なる立体画像が表示される場合の例について説明する。画像処理装置１０４には複数の立体表示装置１０６が接続され、画像処理装置１０４はそれぞれの立体表示装置１０６に表示用の画像データを出力する。

図９（ａ）に、表示装置３０１と表示装置９０１という複数の立体表示装置１０６をテーブル３００に設置した例を示す。図９（ａ）の例では、図３（ｄ）の例と同じ位置及び姿勢で設置された表示装置３０１と背中合わせに、別の表示装置９０１が設置されている。表示装置９０１の構成は表示装置３０１と同様である。ただし、それぞれ構成の異なる複数の立体表示装置１０６が画像処理装置１０４に接続されてもよい。この場合には、ある立体表示装置１０６のための画像データの生成に用いられる従属視点の数と、他の立体表示装置１０６のための画像データの生成に用いられる従属視点の数とが異なっていてもよい。

表示装置３０１と表示装置９０１の位置関係９１０は、表示装置３０１の位置を基準とした表示装置９０１の相対位置を示すオフセット値で表現される。図９（ａ）の例では、原点に置かれＸ軸方向を向いた表示装置３０１に対して、背中合わせの位置（Ｘ軸方向に異なる位置）に表示装置９０１が置かれているため、位置関係を示すオフセット値が（ｘ，ｙ，ｚ）＝（ｘ１２，０，０）の様になる。この様な複数の立体表示装置１０６の位置関係は、設置情報管理テーブルにおいて管理される。なお、表示装置３０１と表示装置９０１の姿勢の関係、すなわち表示装置３０１の姿勢に対する表示装置９０１の相対的な姿勢も、位置関係と同様にあらわされてもよい。

図９（ｃ）の設置情報管理テーブルは、縦軸に各立体表示装置１０６に対応するｉｄが並び、横軸に項目が並ぶ。項目には、図３（ｆ）に示した設置情報が有する識別子（ｉｄ）、位置、姿勢、及びレンズアレイ情報に加え、位置関係が含まれる。位置関係が（ｘ，ｙ，ｚ）＝（０，０，０）となっている立体表示装置１０６は、位置関係を示すための基準となる。図９（ａ）の例では、表示装置３０１が基準となる立体表示装置１０６である。

なお、複数の立体表示装置１０６の設置状況を示す設置情報の項目はこれらに限定されない。また、複数の立体表示装置１０６の設置方法は、２台の背中合わせに限定されず、例えば四角形の各辺に立体表示装置１０６を置く様な配置でも良いし、楕円の円周上に数十台の立体表示装置１０６並べるように配置しても良い。配置の方法によらず、各立体表示装置１０６の設置情報は、基準となる立体表示装置１０６に対するオフセットで表現される。ただし、各立体表示装置１０６の設置情報がそれぞれ絶対値で表現されてもよいし、基準となる立体表示装置１０６が複数存在してもよい。

続いて、設置情報が示す位置関係と姿勢の関係に応じて、各立体表示装置１０６に対応する基準視点のオフセットを設定する処理を説明する。図９（ｄ）及び図９（ｅ）を参照し、基準視点のオフセットについて説明する。上述した立体表示装置１０６が１つの場合の例では、１つの操作部１０５を使用して１つの基準視点を操作し、１台の立体表示装置１０６で立体画像を表示していた。一方、複数の立体表示装置１０６を用いる場合においては、１つの操作部１０５を使用して基準となる１台の立体表示装置１０６に対応する基準視点（以降、ベースとなる基準視点）が操作される。そして、その他の立体表示装置１０６における基準視点が、ベースとなる基準視点に対するオフセットに応じて設定される。つまり、仮想視点の位置及び向きの少なくとも何れかを変更するためのユーザ操作に応じて、複数の立体表示装置１０６それぞれに対応する基準視点が連動して変化する。また、複数の立体表示装置１０６それぞれに対応する複数の従属視点も、同様に連動して変化する。

図９（ｃ）の設置情報（ｉｄ＝１，２）の例では、表示装置３０１と表示装置９０１が背中合わせに並んだ状態を示している。この設置情報から、図９（ｄ）に示す基準視点のオフセットが設定される。図９（ｄ）におけるｉｄ＝１の行は、ベースとなる基準視点を示すため、全ての値が０に設定される。すなわち、（ｘ，ｙ，ｚ）＝（０，０，０）、（ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ）＝（０，０，０）となる。

ｉｄ＝２の行は、表示装置３０１に対して背中合わせに設置された表示装置９０１の基準視点のオフセットを示し、（ｘ，ｙ，ｚ）＝（ｘ２１，０，０）、（ｒｏｌｌ，ｐｉｔｃｈ、ｙａｗ）＝（０，０，ｙａ２１）となる。なお、オフセット値は、２つの基準視点の視錐体が部分的に重なる様に設定されてもよい。例えば、撮影対象がサッカーやラグビーの様な球技であれば、所定のオブジェクトであるボール４２２が、表示装置３０１の表示対象の範囲９５０と表示装置９０１の表示対象の範囲９６０の両方に含まれるようにオフセットが設定されてもよい。なお、範囲９５０は表示装置３０１に対応する仮想視点の視野に含まれ、範囲９６０は表示装置９０１に対応する仮想視点の視野に含まれる。

図９（ｅ）に示す、フィールドをＺ軸方向（上方向）から見た図において、ベースとなる基準視点９３０ａの位置は座標９３１ａに設定され、向きは方向９３２ａに設定されている。また、ｉｄ＝２の基準視点９４０ａの位置は座標９４１ａに設定され、向きは方向９４２ａに設定されている。これは、図９（ａ）に示すように２つの立体表示装置１０６が背中合わせに設置された場合の設置情報に応じて、各立体表示装置１０６に対応する基準視点９３０ａと基準視点９４０ａが向かい合わせとなる様にオフセットが設定された例となる。すなわち、基準視点９３０ａの向きと基準視点９４０ａの向きとの差は、表示装置３０１と画像表示面の法線方向と表示装置９０１の画像表示面の法線方向との差に対応する。

例えば、撮影対象をサッカーやラグビー等のフィールドスポーツとすると、ホーム（自陣）とアウェイ（敵陣）に別れゲームが進行することになるが、それぞれの攻撃方向に合わせて基準視点を設定することができる。なお、基準視点のオフセットは向かい合わせに限定されず、複数の立体表示装置１０６の設置情報に含まれる位置関係に応じて設定される。

図１０を用いて、複数台の立体表示装置１０６を用いて立体画像を表示する場合の画像処理装置１０４の動作について説明する。以下では、図６を用いて説明した処理との差分を中心に説明する。

Ｓ１００１では、情報取得部２０５が、複数の立体表示装置１０６の設置情報を取得する。Ｓ１００２では、基準視点設定部２０１が、Ｓ１００１で取得した設置情報のうち基準となる立体表示装置１０６の設置情報とその他の立体表示装置１０６の設置情報とを判別する。基準となる立体表示装置１０６の設置情報については特に処理を行わずＳ１００４に進む。その他の立体表示装置１０６の設置情報についてはＳ１００３の処理を行う。Ｓ１００３において、基準視点設定部２０１が、各立体表示装置１０６の設置情報が示す位置関係及び姿勢の関係に応じて、該立体表示装置１０６に対応する基準視点のオフセットを設定する。

Ｓ１００４では、基準視点設定部２０１が、設置情報及び基準視点のオフセットに基づいて各立体表示装置１０６に対応する基準視点を設定し、各立体表示装置１０６のための表示用の画像データを生成して出力する。具体的には、基準視点設定部２０１はベースとなる基準視点を示す視点情報と、その他の基準視点を示す視点情報とを生成する。従属視点設定部２０３はそれらの視点情報を取得し、ベースとなる基準視点を基準とした仮想視点群（従属視点群）の位置及び向きを設定し、且つ、その他の基準視点を基準とした従属視点群の位置及び向きを設定する。そして画像生成部２０４は、一方の従属視点群の位置及び向きに基づいて基準となる立体表示装置１０６のための表示用の画像データを生成し、且つ、他方の従属視点群の位置及び向きに基づいて他の立体表示装置１０６のための表示用の画像データを生成する。

図１０に示す処理を、図９（ｃ）の設置情報、及び図９（ｄ）の基準視点のオフセットを用いて実行した場合の、表示される立体画像の例を図９（ｂ）に示す。図９（ｂ）の例では、範囲９５０を表示対象とする基準視点９３０ａに応じた立体画像が表示装置３０１により表示され、範囲９６０を表示対象とする基準視点９４０ａに応じた立体画像が表示装置９０１により表示された様子を表す。表示装置３０１に表示される立体画像は、フィールドのＸ軸正方向に攻めるチームの視点に応じた画像となり、表示装置９０１に表示される立体画像は、Ｘ軸負方向に攻めるチームの視点に応じた画像となる。このような方法によれば、視聴者３１０が移動していずれの立体表示装置１０６をいずれの方向から見るかを変えることで、視聴者３１０は領域１２０の様子を所望の方向から観察することができる。

なお、上記では１台の画像処理装置１０４が複数の立体表示装置１０６のための画像データを生成する場合を中心に説明したが、これに限定されない。画像処理システム１００が複数の画像処理装置１０４を有し、各画像処理装置１０４が自装置に対応する立体表示装置１０６のための画像データを生成してもよい。これにより、画像データを生成する処理の負荷分散を図ることができる。

この場合、基準となる立体表示装置１０６とは別の立体表示装置１０６のための画像データを生成する画像処理装置１０４は、基準となる立体表示装置に表示される画像に対応する基準視点の位置及び向きを特定する。そして画像処理装置１０４は、自装置に対応する立体表示装置１０６の姿勢と基準となる立体表示装置の姿勢の関係を示す設置情報と、ベースとなる基準視点の位置及び向きとに基づいて、自装置に対応する立体表示装置１０６のための基準視点を設定する。ベースとなる基準視点の情報は、例えば複数の画像処理装置１０４間の通信によりやり取りされる。

なお、ベースとなる基準視点は、操作情報と設置情報に応じて設定されるものに限定されず、撮影対象の領域１２０内の所定のオブジェクトの位置に基づいて設定されてもよい。例えば、フィールド上にあるボール４２２に位置測位装置が装着され、画像処理装置１０４は、位置測位装置によるボール４２２の位置の検出結果を示すオブジェクト情報を取得してもよい。そして基準視点設定部２０１は、ベースとなる基準視点９３０ａをボール４２２の位置情報に応じて設定してもよい。また基準視点設定部２０１は、他の基準視点９４０ａを、ベースとなる基準視点９３０ａに対するオフセットに応じて設定するため、基準視点９４０ａもボール４２２の位置情報に応じて決まることになる。

このように、図９（ｂ）及び図９（ｅ）に示したように視点が向かい合わせとなる２つの立体画像を、ボール４２２の位置情報に応じてオフセットを維持したまま変化させることによって、ボール４２２が両方の立体画像に表示させ続けることができる。なお、基準視点設定部２０１は、ボール４２２の位置に応じて決まった基準視点９４０ａを維持し続けてもよいし、上述した実施形態と同様にユーザ操作に応じた操作情報に基づいて基準視点９４０ａを変更してもよい。

なお、基準視点の設定に用いられる情報は所定のオブジェクトの位置に限定されず、所定のオブジェクトの向きが用いられてもよい。例えば、画像処理装置１０４が、ユーザ操作により指定されたフィールド内の特定の人物の位置及び向きを示すオブジェクト情報を取得し、その人物の位置及び向きに基づいてベースとなる基準視点の視点情報を生成してもよい。これにより、フィールド内の人物の視点や人物の背後を見るような視点の立体画像を表示できる。なお、立体表示装置１０６が１台の場合にもこのようなオブジェクト情報を用いた仮想視点設定を適用できる。

以上に述べた様に、複数の立体表示装置１０６の位置関係等を含む設置情報に基づき、その位置関係を反映させた複数の立体画像を、それぞれの立体表示装置１０６へ出力することができる。例えば、サッカーやラグビー等のフィールドスポーツにおいて、自陣と敵陣の攻撃方向に合わせた視点の向きでボールを追従するような立体画像を、それぞれの立体表示装置１０６へ表示することによって、新しい態様でスポーツ観戦することが出来るようになる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、特定用途向け集積回路）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

１００ 画像処理システム
１０１ センサシステム
１０４ 画像処理装置
１０５ 操作部
１０６ 立体表示装置

Claims (20)

1. 配列された複数のレンズ素子を有するレンズアレイに画像表示面から入射する光を前記複数のレンズ素子により屈折させることで、前記画像表示面に対するユーザの目の位置に応じて異なる立体画像を当該ユーザに対して表示する立体表示装置のための、表示用の画像データを生成する画像処理装置であって、
   対象領域をそれぞれ異なる方向から撮影する複数の撮影装置による撮影に基づく複数の画像を取得する画像取得手段と、
   前記立体表示装置が設置された設置面に対する前記立体表示装置の姿勢を特定する特定手段と、
   前記対象領域に関連付けられた空間における仮想視点の位置及び前記仮想視点からの視線方向であって、前記立体表示装置の姿勢に基づいて前記仮想視点の位置及び前記仮想視点からの視線方向を設定する第１設定手段と、
   前記第１設定手段により設定された仮想視点の位置及び前記仮想視点からの視線方向を基準として、前記立体表示装置の構成に応じた数の仮想視点の位置及び前記仮想視点からの視線方向を設定する第２設定手段と、
   前記画像取得手段により取得された前記複数の画像と、前記第１設定手段及び前記第２設定手段により設定された複数の仮想視点の位置及び前記仮想視点からの視線方向とに基づいて、前記表示用の画像データを生成する生成手段と、を有することを特徴とする画像処理装置。
2. 前記生成手段は、前記複数の仮想視点の位置及び前記仮想視点からの視線方向にそれぞれ対応する複数の仮想視点画像を、前記画像取得手段により取得された前記複数の画像に基づいて生成し、前記複数の仮想視点画像を合成して前記表示用の画像データを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記画像取得手段により取得された画像に基づいて前記対象領域に位置するオブジェクトの３次元形状を表す形状データを生成し、前記形状データと前記複数の仮想視点の位置及び前記仮想視点からの視線方向とに基づいて前記複数の仮想視点画像を生成することを特徴とする請求項２に記載の画像処理装置。
4. 仮想視点の位置及び前記仮想視点からの視線方向の少なくとも何れかを指定するためのユーザ操作に応じた入力を受け付ける受付手段を有し、
   前記第１設定手段は、前記受付手段により受け付けられた入力に基づいて仮想視点の位置及び前記仮想視点からの視線方向を設定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記第１設定手段により設定される仮想視点の向きの前記ユーザ操作に応じた変化を所定の方向の変化に制限するか否かを決定する決定手段を有し、
   前記第１設定手段は、前記受付手段により受け付けられた入力と前記決定手段による決定とに基づいて仮想視点の位置及び前記仮想視点からの視線方向を設定することを特徴とする請求項４に記載の画像処理装置。
6. 前記対象領域に位置する所定のオブジェクトの位置及び向きの少なくとも何れかを示すオブジェクト情報を取得する情報取得手段を有し、
   前記第１設定手段は、前記情報取得手段により取得された前記オブジェクト情報に基づいて仮想視点の位置及び前記仮想視点からの視線方向を設定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
7. 前記第１設定手段により設定される仮想視点の向きに平行な直線と前記空間における基準平面とがなす角の大きさは、前記立体表示装置の前記画像表示面の法線と前記設置面とがなす角の大きさに対応することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記特定手段は、他の立体表示装置により表示される画像に対応する仮想視点の位置及び前記仮想視点からの視線方向を特定し、
   前記第１設定手段は、前記立体表示装置の姿勢と前記他の立体表示装置の姿勢の関係と、前記特定手段により特定された仮想視点の位置及び前記仮想視点からの視線方向と、に基づいて仮想視点の位置及び前記仮想視点からの視線方向を設定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
9. 前記第１設定手段は、前記空間における第１の仮想視点の位置及び前記仮想視点からの視線方向と第２の仮想視点の位置及び前記仮想視点からの視線方向とを設定し、
   前記第２設定手段は、前記第１の仮想視点の位置及び前記仮想視点からの視線方向を基準として、第１の立体表示装置の構成に応じた数の仮想視点を含む第１仮想視点群の位置及び向きを設定し、且つ、前記第２の仮想視点の位置及び前記仮想視点からの視線方向を基準として、第２の立体表示装置の構成に応じた数の仮想視点を含む第２仮想視点群の位置及び向きを設定し、
   前記生成手段は、前記複数の画像と前記第１仮想視点群の位置及び向きとに基づいて前記第１の立体表示装置のための表示用の画像データを生成し、且つ、前記複数の画像と前記第２仮想視点群の位置及び向きとに基づいて前記第２の立体表示装置のための表示用の画像データを生成することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
10. 前記第１の仮想視点の向きと前記第２の仮想視点の向きとの差は、前記第１の立体表示装置の画像表示面の法線方向と前記第２の立体表示装置の画像表示面の法線方向との差に対応することを特徴とする請求項９に記載の画像処理装置。
11. 仮想視点の位置及び前記仮想視点からの視線方向の少なくとも何れかを変更するためのユーザ操作に応じた入力を受け付ける受付手段を有し、
    前記第１仮想視点群の位置及び向きと前記第２仮想視点群の位置及び向きは、前記受付手段により受け付けられた入力に応じて連動して変化することを特徴とする請求項９又は１０に記載の画像処理装置。
12. 前記第１仮想視点群に含まれる仮想視点に応じた視野と、前記第２仮想視点群に含まれる仮想視点に応じた視野との両方に、前記対象領域に位置する所定のオブジェクトが含まれることを特徴とする請求項９乃至１１の何れか１項に記載の画像処理装置。
13. 前記第２設定手段は、前記第１設定手段により設定された仮想視点の位置及び前記仮想視点からの視線方向と、前記立体表示装置の構成に応じた数の複数の仮想視点それぞれについて予め定められた調整量とに基づいて、前記複数の仮想視点の位置及び前記仮想視点からの視線方向を設定することを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。
14. 前記第２設定手段は、前記立体表示装置が有する前記レンズ素子の数に応じた数の仮想視点の位置及び前記仮想視点からの視線方向を設定し、
    前記第１設定手段及び前記第２設定手段により設定される前記複数の仮想視点は、少なくとも位置及び向きの何れかが異なることを特徴とする請求項１乃至１３の何れか１項に記載の画像処理装置。
15. 請求項１乃至１４の何れか１項に記載の画像処理装置と前記立体表示装置とを有することを特徴とする画像処理システム。
16. 配列された複数のレンズ素子を有するレンズアレイに画像表示面から入射する光を前記複数のレンズ素子により屈折させることで、前記画像表示面に対するユーザの目の位置に応じて異なる立体画像を当該ユーザに対して表示する立体表示装置のための、表示用の画像データを生成する画像処理方法であって、
    対象領域をそれぞれ異なる方向から撮影する複数の撮影装置による撮影に基づく複数の画像を取得する画像取得工程と、
    前記立体表示装置が設置された設置面に対する前記立体表示装置の姿勢を特定する特定工程と、
    前記対象領域に関連付けられた空間における仮想視点の位置及び前記仮想視点からの視線方向であって、前記立体表示装置の姿勢に基づいて前記仮想視点の位置及び前記仮想視点からの視線方向を設定する第１設定工程と、
    前記第１設定工程において設定された仮想視点の位置及び前記仮想視点からの視線方向を基準として、前記立体表示装置の構成に応じた数の仮想視点の位置及び前記仮想視点からの視線方向を設定する第２設定工程と、
    前記画像取得工程において取得された前記複数の画像と、前記第１設定工程及び前記第２設定工程において設定された複数の仮想視点の位置及び前記仮想視点からの視線方向とに基づいて、前記表示用の画像データを生成する生成工程と、を有することを特徴とする画像処理方法。
17. 前記生成工程は、前記複数の仮想視点の位置及び前記仮想視点からの視線方向にそれぞれ対応する複数の仮想視点画像を、前記画像取得工程において取得された前記複数の画像に基づいて生成し、前記複数の仮想視点画像を合成して前記表示用の画像データを生成することを特徴とする請求項１６に記載の画像処理方法。
18. 仮想視点の位置及び前記仮想視点からの視線方向の少なくとも何れかを指定するためのユーザ操作に応じた入力を受け付ける受付工程を有し、
    前記第１設定工程は、前記受付工程において受け付けられた入力に基づいて仮想視点の位置及び前記仮想視点からの視線方向を設定することを特徴とする請求項１６又は１７に記載の画像処理方法。
19. 前記第１設定工程により設定される仮想視点の向きに平行な直線と前記空間における基準平面とがなす角の大きさは、前記立体表示装置の前記画像表示面の法線と前記設置面とがなす角の大きさに対応することを特徴とする請求項１６乃至１８の何れか１項に記載の画像処理方法。
20. コンピュータを、請求項１乃至１４の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images