JP6868288B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、及び画像処理方法に関する。

コンテンツの供給者は、撮影装置を用いて、コンサート及びスポーツなどのイベントの映像を撮影する。そして、供給者は、撮影した映像を記録媒体に記録してユーザに供給する。ユーザは、表示装置を用いて記録媒体に記録された映像を再生することにより、供給されたコンテンツを視聴することができる、という技術が知られている。また、複数の視点から撮影された映像を用いて、表示する映像を切り替えることにより、ユーザの要求に応じた映像を表示する技術が知られている。

例えば、特許文献１には、複数の視点映像から成る多視点映像コンテンツを再生する技術が開示されている。特許文献１には、複数の視点からの映像を連結して、所定の視点における視聴映像を切り出したり、複数の視点映像を補完処理により所望の映像を生成したりすることが開示されている。

また、特許文献２には、或るグループのライブコンサートの複数の画像から、或る特定のメンバーが映っている画像を選択して表示させる技術が開示されている。

特開２０１６−２２０２３０号公報 特開２０１８−２５７３４号公報

例えば、特許文献１に記載された、複数の映像データを連結して所定の視点における視聴画像を切り出す技術では、切り出す映像データは、別の視点からの映像データそのものである。したがって、映像中のいろいろな対象物の見え方は、別の視点からの見え方となっており、所定の視点からの映像としては違和感がある映像になってしまう。また、特許文献１には、複数の映像データを補完処理により映像を生成すると開示されているが、どのように補完処理をすれば所定の視点において適切な映像となるかについては何ら開示されていない。

一方、或る特定のメンバーの画像を表示する特許文献２の技術は、特定のメンバーを撮影されている画像を切り替えてストリーミング配信する技術であり、撮影された画像によっては、メンバーが画像中の好ましい位置にいるとは限らず、必ずしもユーザが所望する画像であるとは限らない。

本発明は、一側面として、複数の視点から撮影された画像を用いて、或る視点から対象を観た画像を適切に生成する技術を提供する。

上記目的を達成するため、第１の観点に係る画像処理装置は、複数の視点から見た画像から、仮想的な観察者の右目視点に近い視点から見た、対象を含む複数の第１視点画像と、仮想的な観察者の左目視点に近い視点から見た、対象を含む複数の第２視点画像とを選択する画像選択部と、対象の位置が互いに重なるように、複数の第１視点画像に含まれる画像を合成するとともに、複数の第２視点画像に含まれる画像を合成する画像合成部と、を備える。

上記画像処理装置において、さらに、対象を含む表示領域を決定し、複数の前記第１視点画像について、表示領域に対応する、第１視点画像の第１対応領域を特定するとともに、複数の第２視点画像について、表示領域に対応する、第２視点画像の第２対応領域を特定する対応領域特定部を備え、画像合成部は、複数の第１対応領域の画像を合成するとともに、複数の第２対応領域の画像を合成するようにしてもよい。

また、上記画像処理装置において、画像処理装置は、さらに、対象を含む表示領域を決定し、複数の第１視点画像について、表示領域に対応する、第１視点画像の第１対応領域を特定するとともに、複数の第２視点画像について、表示領域に対応する第２視点画像の第２対応領域を特定する対応領域特定部と、複数の第１対応領域の画像を、表示領域の形の、第１変形画像に変形するとともに、複数の第２対応領域の画像を、表示領域の形の、第２変形画像に変形する画像変形部と、を備え、画像合成部は、複数の第１変形画像を合成するとともに、複数の第２変形画像を合成するようにしてもよい。

また、上記画像処理装置において、画像処理装置は、さらに、対象の位置に応じて、右目視点と、左目視点との位置を決定する視点決定部を備えるようにしてもよい。

また、上記画像処理装置において、さらに、対象の指定を受け付ける対象受付部を備え、記画像選択部は、対象と複数の視点との位置関係に応じて、第１視点画像と第２視点画像とを選択するようにしてもよい。

また、上記画像処理装置において、さらに、右目視点と複数の第１視点画像を撮影した視点との位置関係に応じて各画像の合成時の重みを決定するとともに、左目視点と複数の第２視点画像を撮影した視点との位置関係に応じて、各画像の合成時の重みを決定する重み指定部を備え、画像合成部は、決定した重みを用いて、複数の第１視点画像に含まれる画像を合成するとともに、複数の第２視点画像に含まれる画像を合成するようにしてもよい。

また、上記画像処理装置において、さらに、対象の方向の指定を受け付ける方向受付部と、複数の第１視点画像と、複数の第２視点画像とに含まれる対象となる候補を特定し、指定を受けた方向に位置する候補を対象に決定する対象決定部と、を備えるようにしてもよい。

また、上記画像処理装置において、さらに、対象の方向の指定を受け付ける方向受付部
を備え、画像選択部は、指定を受けた方向の所定の位置を前記対象とするようにしてもよい。

また、上記画像処理装置において、画像合成部により合成された画像がユーザの頭部に装着される表示装置で表示されるようになっており、対象方向受付部は、表示装置の向きを検出する向き検出部により検出された向きに応じて、対象の方向の指定を受け付けるようにしてもよい。

また、上記画像処理装置において、複数の視点から見た画像は、仮想的な観察者の右目視点から左目視点までの距離以内の間隔で並べられた複数の撮影装置により撮影された画像であってもよい。

また、上記目的を達成するため、第２の観点に係る画像処理システムは、カメラアレイと、画像処理装置とを備える画像処理システムであって、カメラアレイは、仮想的な観察者の右目視点から左目視点までの距離以内の間隔で並べられた、画像を撮影する複数の撮影部を備え、前記画像処理装置は、複数の視点から見た画像から、仮想的な観察者の右目視点に近い視点から見た、対象を含む複数の第１視点画像と、仮想的な観察者の左目視点に近い視点から見た、対象を含む複数の第２視点画像とを選択する画像選択部と、対象の位置が互いに重なるように、複数の第１視点画像に含まれる画像を合成するとともに、複数の第２視点画像に含まれる画像を合成する画像合成部と、を備える。

また、上記目的を達成するため、第３の観点に係る画像処理方法は、コンピュータによって実行される画像処理方法であって、コンピュータは、複数の視点から見た画像から、仮想的な観察者の右目視点に近い視点から見た、対象を含む複数の第１視点画像と、仮想的な観察者の左目視点に近い視点から見た、対象を含む複数の第２視点画像とを選択し、対象の位置が互いに重なるように、複数の第１視点画像に含まれる画像を合成するとともに、複数の第２視点画像に含まれる画像を合成する。

また、上記目的を達成するため、第４の観点に係る画像生成プログラムは、複数の視点から見た画像から、仮想的な観察者の右目視点に近い視点から見た、対象を含む複数の第１視点画像と、仮想的な観察者の左目視点に近い視点から見た、対象を含む複数の第２視点画像とを選択し、対象の位置が互いに重なるように、複数の第１視点画像に含まれる画像を合成するとともに、複数の第２視点画像に含まれる画像を合成する処理をコンピュータに実行させる。

また、上記目的を達成するため、第５の観点に係るデータ構造は、画像処理装置で用いられる画像生成用データ構造であって、複数の視点から見た画像と、複数の視点と、対象の位置とを含む情報を備え、画像処理装置が、情報を用いて、複数の視点から見た画像から、対象の方向を向いた仮想的な観察者の右目視点に近い視点から見た、対象を含む複数の第１視点画像と、仮想的な観察者の左目視点に近い視点から見た、対象を含む複数の第２視点画像とを選択し、対象の位置が互いに重なるように、複数の第１視点画像に含まれる画像を合成するとともに、複数の第２視点画像に含まれる画像を合成する処理に用いられる。

また、上記目的を達成するため、第６の観点に係る画像処理装置は、複数の視点から見た画像から、対象を含む３以上の選択画像を選択する画像選択部と、対象の位置が互いに重なるように、選択した選択画像を合成する画像合成部と、を備える。

本発明によれば、複数の視点から撮影された画像を用いて、或る視点から対象を観た画像を適切に生成することができる。

図１は、第１実施形態に係る画像処理システムの一実施例の全体構成図である。 図２は、第１実施形態に係るカメラアレイの一例を説明する図である。 図３は、第１実施形態に係る撮影処理装置による位置割出処理の一例示すフローチャートである。 図４は、第１実施形態に係る画像処理装置による画像生成処理の一例を示すフローチャートである 図５は、第１実施形態に係る作成用画像の選択処理の一例を説明する図である。 図６は、第１実施形態に係る表示領域と対応領域との関係を説明する図である。 図７は、第１実施形態に係る対応領域の特定、対応領域の画像の変形、及び複数の変形画像の合成処理の一例を説明する図である。 図８は、第１実施形態に係る変形処理の一例を説明する図である。 図９は、第１実施形態に係る画像の合成時の重みの決定処理の一例を説明する図である。 図１０は、第１実施形態に係る画像処理装置を用いて生成された画像を示す図である。 図１１は、第２実施形態に係る画像処理システムの一実施例の全体構成図である。 図１２は、第１変形例に係るカメラアレイの構成を示す図である。 図１３は、第２変形例に係るカメラアレイの構成を示す図である。

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

第１実施形態に係る画像処理システムについて説明する。
図１は、第１実施形態に係る画像処理システムの一実施例の全体構成図である。
以下の説明において、画像を表現する画像データのことを、単に画像ともいう。なお、画像処理装置は、動画を処理するとき、動画を表現する各フレームに対応する画像に対して実施形態で説明する画像処理を実行する。

画像処理システム１００は、例えば、舞台８上の演者９を撮影し、撮影した画像をユーザに供給するシステムである。画像処理システム１００は、カメラアレイ１と、カメラ２と、撮影処理装置３と、記録媒体４と、画像処理装置５と、選択装置６と、表示装置７とを備える。カメラアレイ１とカメラ２とは、撮影処理装置３とケーブル、ネットワーク等を介して接続されている。選択装置６と、表示装置７とは、例えば、ケーブル、ネットワーク等を介して画像処理装置５と接続されている。

カメラ２は、舞台８上の演者９の位置を特定するための画像を撮影するカメラである。カメラ２は、例えば、舞台８上の演者９の移動範囲の全体が撮影可能となるように、舞台８の上方に配置される。演者９の位置は、例えば、舞台８を上から見た平面における演者９の位置であり、２次元座標（Ｘ，Ｙ）で表現される。なお、本実施形態では、演者９の移動範囲の全体を１台のカメラ２を用いて撮影する例を示しているが、複数のカメラを用いて演者９の移動範囲の全体を撮影してもよい。

カメラアレイ１は、例えば、円弧状に配置された複数のカメラ１１を備える。カメラアレイ１は、舞台８の方向を向けて設置されることにより、舞台８を複数の視点から見た画像を撮影する。以下の説明において、カメラ２の視点とは、カメラ２がある撮影位置のことをいう。カメラ１１の視点とは、カメラ１１がある撮影位置のことをいう。
カメラ１１は、例えば、仮想的な観察者が設定されたとき、仮想的な観察者の右目視点から左目視点までの距離（瞳孔間距離）以内の間隔で並べて配置されることが好ましい。すなわち、カメラ１１は、仮想的な観察者の瞳孔間距離の間に複数台配置されることが好ましい。以下の説明では、仮想的な観察者の右目視点と左目視点とは、仮想的な観察者の右目のある位置と左目のある位置とのことをいう。また、仮想的な観察者の右目視点と左目視点とのことを、まとめて視聴視点ともいう。

撮影処理装置３は、例えば、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ（ＰＣ）により構成さる。撮影処理装置３は、プロセッサの一例であるＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３１と、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ（ＨＤＤ）３２と、メモリ３３とを備える。

ＨＤＤ３２は、ＣＰＵ３１の処理で用いられるデータ、ＣＰＵ３１の処理により作成されたデータ、カメラアレイ１及びカメラ２により撮影された画像、並びにＣＰＵ３１によって実行されるプログラム等を格納する。以下の説明では、カメラ２及びカメラ１１で撮影された画像のことを、単に撮影画像ともいう。

また、ＨＤＤ３２は、カメラ情報を格納する。カメラ情報は、例えば、ワールド座標系におけるカメラアレイ１の基準位置Ｐの座標と、カメラアレイ１を配置した向きと、基準位置Ｐを基準とする座標系における各カメラ１１の位置及び視線と、各カメラ１１の画角と、に関する情報を含む。カメラ１１の視線とは、カメラ１１と、カメラ１１の画角の中心とを結ぶ線のことをいう。

さらに、ＨＤＤ３２は、演者情報を格納する。演者情報は、例えば、演者９を識別する識別情報（演者ＩＤ）と、時刻と、各時刻における演者９のワールド座標系に対応する３次元位置とを含む。
また、ＨＤＤ３２は、圧縮部３１ｂにより圧縮されたカメラ１１の撮影画像に、撮影したカメラ１１の識別情報と、撮影時刻（例えば、撮影開始時刻）とを関連付けた画像情報を格納する。

メモリ３３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等であり、ＣＰＵ３１に実行されるプログラム（撮影処理プログラム等）や、各種情報を記憶する。
ＣＰＵ３１は、ＨＤＤ３２に格納されているプログラムをメモリ３３に読み出して実行することにより各種処理を実行する。本実施形態では、ＣＰＵ３１は、撮影処理プログラムを実行することにより、歪み補正部３１ａと、圧縮部３１ｂと、位置割出部３１ｃと、処理制御部３１ｄとを構成する。

歪み補正部３１ａは、カメラのレンズ特性に起因して発生する、カメラ２及びカメラ１１の撮影画像の歪みを補正する歪み補正処理を行う。なお、歪み補正部３１ａは、カメラ２及びカメラ１１の撮影画像を受信するごとに、リアルタイムで歪み補正処理を実行してもよい。または、歪み補正部３１ａは、受信した撮影画像をＨＤＤ３２に格納した後に、歪み補正処理を実行してもよい。なお、カメラ２及びカメラ１１が歪み補正処理を実行する場合には、撮影処理装置３は、歪み補正部３１ａを備えなくてもよい。圧縮部３１ｂは、歪み補正部３１ａにより歪み補正処理が行われた画像を圧縮する。

位置割出部３１ｃは、カメラ２の撮影画像から、画像に含まれる演者９を特定する。そして、位置割出部３１ｃは、各演者９について、各時刻におけるワールド座標系での３次元位置を特定する。

位置割出部３１ｃは、例えば、カメラ２の撮影画像から演者９の舞台８の平面（Ｘ−Ｙ平面とする）における２次元座標（ｘ、ｙ）を特定する。また、位置割出部３１ｃは、舞台８の高さ方向（Ｚ方向）の座標に基づいて演者９の高さ方向の座標（ｚ）を特定する。これにより、位置割出部３１ｃは、演者９の３次元座標（ｘ、ｙ、ｚ）を割り出す。

位置割出部３１ｃは、予め登録された演者９の画像を用いて、カメラ２の撮影画像から演者９を特定してもよい。また、位置割出部３１ｃは、カメラ２の撮影画像から、移動する物体の画像を認識し、認識した画像を演者９と特定してもよい。演者９の高さ方向の座標（ｚ）は、例えば、舞台８の高さに演者９の身長又は想定される身長を考慮した座標として特定してもよい。

処理制御部３１ｄは、圧縮部３１ｂにより圧縮されたカメラ１１の撮影画像に、撮影したカメラ１１の識別番号と、撮影時刻とを関連付けて画像情報としてＨＤＤ３２に格納する。また、処理制御部３１ｄは、ＨＤＤ３２に格納された画像情報と、カメラ情報と、演者情報とを、記録媒体４に格納する。

記録媒体４は、例えば、フラッシュメモリや、Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）等の不揮発性記録媒体（非一時的記録媒体）である。そして、記録媒体４は、撮影処理装置３と、画像処理装置５とに対して、着脱可能に接続される。記録媒体４は、複数の異なる視点により撮影された複数の画像情報４１と、カメラ情報４２と、演者情報４３とを記憶する。画像情報４１と、カメラ情報４２と、演者情報４３とは、ＨＤＤ３２に格納された情報と同じ情報である。

選択装置６は、例えば、複数のボタンを有する装置であり、ユーザの操作により、注目する演者９の指定を受け付ける。以下の説明では、指定を受け付けた注目する演者９のことを単に対象ともいう。
選択装置６は、例えば、各ボタンに対して、それぞれ１人ずつ演者９を対応付けておき、押下されるボタンにより対象の指定を受け付けてもよい。また、選択装置６は、ユーザがボタンを押下するごとに、指定する対象の切り替えを受け付けてもよい。

表示装置７は、画像処理装置５から立体視用の画像として供給される、右目視点に対応する画像と、左目視点に対応する画像とを表示する。これにより、ユーザは、立体画像を視聴可能となる。以下の説明では、右目視点に対応する画像のことを、右目用画像ともいう。また、左目視点に対応する画像のことを、左目用画像ともいう。また、右目用画像と左目用画像とのことを、まとめて立体画像ともいう。

表示装置７は、例えば、異なる吸収軸を持つように右目用画像と、左目用画像とを偏光させる偏光方式の表示装置でもよい。偏光方式の表示装置を用いるとき、ユーザは、右目用画像と左目用画像とのそれぞれに、吸収軸を合わせた２枚の偏光板を有する眼鏡をかけて立体画像を視聴する。

表示装置７は、例えば、右目用画像と、左目用画像とを切り替えて表示するシャッター方式の表示装置であってもよい。シャッター方式の表示装置を用いるとき、ユーザは、右目用画像と左目用画像との切り替えに同期して、左右のレンズの開閉を行う眼鏡をかけて立体画像を視聴する。

表示装置７は、例えば、左目用の表示画面と、右目用の表示画面とを備え、ユーザの頭部に装着して用いられるヘッドマウントディスプレイであってもよい。

表示装置７は、例えば、バリア又はレンチキュラーレンズが貼付されたディスプレイを備え、ユーザの右目と左目とに対して、それぞれ右目用画像と左目用画像とを出力する裸眼３Ｄディスプレイであってもよい。

画像処理装置５は、例えば、グラフィックＬＳＩにより構成されており、プロセッサの一例としてのＣＰＵ５１と、メモリ５２と、描画回路５３と、復号回路５４と、表示回路５５と、ドライブ５６とを含む。

メモリ５２は、例えば、ＲＡＭ等であり、ＣＰＵ５１に実行されるプログラム（画像処理プログラム等）や、各種情報を記憶する。

ＣＰＵ５１は、メモリ５２に記憶されているプログラムを実行することにより各種処理を実行する。本実施形態では、ＣＰＵ５１は、メモリ５２の画像処理プログラムを実行する。これにより、ＣＰＵ５１は、対象受付部５１ａと、画像選択部の一例としての画像選択部５１ｂと、対応領域特定部の一例としての座標指定部５１ｃと、重み指定部５１ｄと、変形指定部５１ｅとを構成する。

対象受付部５１ａは、例えば、ユーザの指示に応じて、対象の選択を受け付ける。そして、対象受付部５１ａは、演者情報４３に基づいて、対象の３次元位置を特定し、画像選択部５１ｂに通知する。

画像選択部５１ｂは、例えば、位置を固定したまま仮想的な観察者の方向を変えたとき、視聴視点がカメラアレイ１に含まれるカメラ１１の視点を結ぶ線上を移動するように、仮想的な観察者の大きさを設定する。そして、画像選択部５１ｂは、例えば、対象の３次元位置に基づいて、仮想的な観察者の視聴位置を特定する。

画像選択部５１ｂは、仮想的な観察者の右目視点と左目視点との位置に基づいて、複数のカメラ１１で撮影された画像から、右目用画像の作成に使用する複数の画像と、左目用画像の作成に使用する複数の画像とを選択する。以下の説明では、立体画像の作成に使用する複数の画像のことを、作成用画像ともいう。

画像選択部５１ｂは、例えば、複数のカメラ１１で撮影された画像から、仮想的な観察者の右目視点に近い視点から見た、対象を含む複数の画像と、仮想的な観察者の左目視点に近い視点から見た、対象を含む複数の画像とを選択する。そして、画像選択部５１ｂは、選択した画像を示す選択情報を描画回路５３の後述する画像取得部５３ａに通知する。

座標指定部５１ｃは、例えば、対象の３次元位置と、カメラ情報４２とに基づいて、ユーザの望む画角に対応する形状及び大きさの領域に対象が中心に位置するように、表示装置７に表示する立体画像の表示領域を決定する。表示領域とは、例えば、図７に示す変形画像ＴＦｆ、ＴＦｇ、ＴＦｈに対応する表示装置７に表示する作成用画像の一部または全体の領域のことである。以下の説明では、右目用画像の作成用画像を用いて生成される変形画像のことを、右目用の変形画像ともいう。また、左目用画像の作成用画像を用いて生成される変形画像のことを、左目用の変形画像ともいう。

座標指定部５１ｃは、右目用画像の作成用画像に含まれる、表示領域に対応する対応領域を表示領域の形状に変形したとき、対象が中心にくるように特定する。さらに、座標指定部５１ｃは、左目用画像の作成用画像に含まれる、表示領域に対応する対応領域を表示領域の形状に変形したとき、対象が中心にくるように特定する。対応領域とは、例えば、図７に示す対応領域ＤＡｆ、ＤＡｇ、ＤＡｈであり、表示領域に対応する画像を含む領域のことである。 そして、座標指定部５１ｃは、それぞれの画像に含まれる対応領域の座標を後述する変形処理部５３ｂに通知する。

重み指定部５１ｄは、例えば、仮想的な観察者の右目視点の位置と、右目用画像の作成用画像を撮影したカメラ１１との位置関係に基づいて、作成用画像を用いて生成される画像を合成する際の重みの値を決定する。

さらに、重み指定部５１ｄは、例えば、仮想的な観察者の左目視点の位置と、左目用画像の作成用画像を撮影したカメラ１１との位置関係に基づいて、作成用画像を用いて生成される画像を合成する際の重みの値を決定する。そして、重み指定部５１ｄは、決定した各重みの値を画像合成部５３ｃに通知する。

変形指定部５１ｅは、例えば、座標指定部５１が特定した対応領域の画像を表示領域の形状の画像へ変形する際に必要な変形情報を決定し、変形情報を変形処理部５３ｂに通知する。

描画回路５３は、描画処理に必要な処理を高速に実行可能に形成された回路であり、プログラムに従って描画処理を実行することにより、画像取得部５３ａと、変形処理部５３ｂ（画像変形部）と、画像合成部５３ｃとを構成する。

画像取得部５３ａは、例えば、画像選択部５１ｂから通知された選択情報に応じて、右目用画像の作成用画像と、左目用画像の作成用画像とを、復号回路５４から取得する。

変形処理部５３ｂは、例えば、画像取得部５３ａが取得した各作成用画像に含まれる対応領域を、変形指定部５１ｅにより指定された変形情報に応じて変形する。これにより、変形処理部５３ｂは、表示領域の形状の変形画像を生成する。

画像合成部５３ｃは、例えば、変形処理部５３ｂにより生成された右目用の複数の変形画像を、重み指定部５１ｄにより指定された重みを用いて合成し、右目用画像を生成する。そして、画像合成部５３ｃは、右目用画像を表示回路５５に出力する。

また、画像合成部５３ｃは、例えば、変形処理部５３ｂにより生成された左目用の複数の変形画像を、重み指定部５１ｄにより指定された重みを用いて合成し、左目用画像を生成する。そして、画像合成部５３ｃは、左目用画像を表示回路５５に出力する。

以上により、画像合成部５３ｃは、複数の視点から見た画像に含まれる、対象が中心に位置する同じ表示領域の画像を合成する。すなわち、画像合成部５３ｃは、対象の位置が互いに重なるように各対象の位置を合わせて、選択された複数の画像に含まれる表示領域に対応する画像を合成する処理を実行する。これにより、画像合成部５３ｃは、立体画像を生成する。なお、画像合成部５３ｃは、画像取得部５３ａと、変形処理部５３ｂとを含んでもよい。

復号回路５４は、画像処理装置５に接続された記録媒体４から複数の画像を取得し、複数の画像を並行して復号する。本実施形態では、複合回路５４は、記録媒体４の同一のイベントの全視点（全カメラ１１）の画像を並行して復号する。表示回路５５は、画像合成部５３ｃにより合成された立体画像を表示装置７に出力する。

ドライブ５６は、記録媒体８０を着脱可能であり、記録媒体８０からのデータ、プログラムの読み出し、及び記録媒体８０へのデータの書き込みを行う。記録媒体８０としては、例えば、ＳＤメモリーカード、ＦＤ（フロッピーディスク：登録商標）、ＣＤ、ＤＶＤ、ＢＤ（登録商標）、フラッシュメモリ等の非一時的記録媒体（不揮発性記録媒体）がある。本実施形態においては、記録媒体８０に、画像処理プログラムを格納しておき、ドライブ５６により、これを読み出して、利用するようにしてもよい。

次に、カメラアレイ１の構成を詳細に説明する。
図２は、第１実施形態に係るカメラアレイの一例を説明する図である。
カメラアレイ１は、円弧状に並べて配置された複数のカメラ１１を備えている。そして、カメラアレイ１は、観察者の頭部１２の中心である基準位置Ｐを軸として、頭部１２を回転させたとき、左右の眼球１３Ｌ，１３Ｒが向く複数の視点から見た画像を取得する。

各カメラ１１で撮影される画像は、複数の画像を合成することにより、対象に焦点を合わせた画像を生成する処理に用いられる。よって、各カメラ１１で撮影する画像は、対象に焦点が合っていることが求められる。したがって、各カメラ１１には、対象として選択される可能性がある、動く演者９に対して焦点を合わし続けることができる、被写界深度が深いカメラを用いることが好ましい。

合成処理を用いて精度良く立体視用の画像を生成するために、各カメラ１１は、瞳孔間距離以内の間隔で並べて配置されることが好ましい。しかし、カメラの性能、サイズ、及びコスト面の制約により、人間の瞳孔間距離以内の間隔でカメラを配置することは困難である。そこで、本実施形態では、人間の想定サイズよりも大きいサイズのモデルを仮想的な観察者として、仮想的な観察者の瞳孔間距離以内の間隔でカメラを配置する。ただし、カメラ１１の性能、サイズ、及びコストの制約を満たし、仮想的な観察者の瞳孔間距離以内の間隔でカメラ１１を配置可能であれば、仮想的な観察者は、人間の想定サイズ以下の大きさに設定してもよい。

より具体的には、カメラアレイ１は、基準位置Ｐを中心とする部分円弧状（例えば、半円弧状）に、円の外側に向けて配置された複数のカメラ１１を含む。基準位置Ｐは、観察者の頭部の中心である。

さらに、カメラアレイ１では、隣り合うカメラ１１と基準位置Ｐとを結ぶ２本の直線のなす角が等しくなるように、複数のカメラ１１が配置されている。また、カメラアレイ１では、隣り合うカメラ１１と基準位置Ｐとを結ぶ２本の直線のなす角が、右目１３Ｒ及び左目１３Ｌのそれぞれと基準位置Ｐとを結ぶ２本の直線のなす角（眼間角度という）よりも狭くなるように複数のカメラ１１を配置している。以上により、カメラアレイ１は、仮想的な観察者の瞳孔間距離内に複数のカメラ１１が配置される構成となる。図２の例では、１８０度の円弧に１６個のカメラ１１を配置している。

本実施形態では、人間よりも大きいサイズを仮想的な観察者としたときの右目を仮想右目１４Ｒとし、仮想右目１４Ｒの視点に相当する部分を右目視点ＲＰＶとし、左目を仮想左目１４Ｌとし、仮想左目１４Ｌの視点に相当する部分を左目視点ＬＰＶとする。また、基準位置Ｐから仮想右目１４Ｒの方向を右目方向ＲＥＤとし、基準位置Ｐから仮想左目１４Ｌの方向を左目方向ＬＥＤとする。

次に、画像処理システム１００における処理動作について説明する。
撮影者は、カメラアレイ１を舞台８の方向に向けて配置する。カメラアレイ１は、例えば、舞台８の横方向の中央位置と、カメラ１１が配置されている部分円弧の中点と、基準位置Ｐとが直線で結ばれる位置に、複数のカメラ１１を舞台８の方向に向けて配置してもよい。また、カメラアレイ１は、舞台８上にいる演者９と同じ高さに配置されるのが好ましい。

そして、撮影者が、カメラアレイ１の基準位置Ｐのワールド座標系の３次元座標を特定し、撮影処理装置３のＨＤＤ３２に記憶する。
カメラ２は、舞台８において１以上の演者９（９ａ、９ｂ、９ｃ等）による演技等が行われるとき、舞台８の上面を撮影する。このとき、カメラアレイ１は、各カメラ１１を用いて、舞台８を正面から撮影する。カメラアレイ１及びカメラ２は、撮影画像を撮影処理装置３に入力する。

撮影処理装置３では、歪み補正部３１ａは、カメラ２及びカメラ１１の撮影画像の歪みを補正する。圧縮部３１ｂは、歪みを補正した撮影画像を圧縮する。そして、圧縮部３１ｂは、圧縮された撮影画像と、カメラ１１の識別情報と、画像の撮影時刻と、を対応付けて画像情報４１としてＨＤＤ３２に格納する。

一方、カメラ２により撮影された画像については、位置割出部３１ｃが位置割出処理を実行して、舞台８における各演者９の位置を割り出す。そして、処理制御部３１ｄは、演者９の位置を含む演者情報４３を出力する。

図３は、第１実施形態に係る撮影処理装置による位置割出処理の一例を示すフローチャートである。以下の説明では、一例として、カメラ２で撮影された動画から、演者９の位置を割り出す処理について説明する。

位置割出処理は、カメラ２の撮影画像を受信するごとにリアルタイムに実行してもよい。また、位置割出処理は、カメラ２の撮影画像をＨＤＤ３２に格納し、別の時点に実行してもよい。

まず、撮影処理装置３は、カメラ２で撮影された動画が入力されると、フレーム毎の撮影画像にループ１の処理（ステップＳ１１〜Ｓ１４）を実行する。カメラ２で撮影された動画とは、カメラ２のフレームレートに応じて撮影画像を時系列に表示するものである。以下の説明では、カメラ２で撮影された動画のことを単に、カメラ２の撮影動画ともいう。
位置割出部３１ｃは、カメラ２の撮影画像に含まれる演者９を認識し、各演者９の位置を特定する（ステップＳ１１）。そして、処理制御部３１ｄは、認識した各演者９にループ２の処理（ステップＳ１２〜Ｓ１４）を実行する。

具体的には、処理制御部３１ｄは、認識された演者９がカメラ２の撮影動画においてはじめて認識された新たな演者９であるか否かを判定する（ステップＳ１２）。この結果、認識された演者９が新たな演者９でない場合（ステップＳ１２：Ｎｏ）には、処理制御部３１ｄは、ステップＳ１４の処理を実行する。

一方、認識された演者９が新たな演者である場合（ステップＳ１２：Ｙｅｓ）には、処理制御部３１ｄは、この演者９に対して演者９を識別する演者ＩＤを決定し（ステップＳ１３）、ステップＳ１４の処理を実行する。

ステップＳ１４では、処理制御部３１ｄは、演者ＩＤと、演者ＩＤに対応する演者９の３次元位置と、時刻とを含む演者情報４３をＨＤＤ３２に出力する。３次元位置とは、舞台上の２次元座標と、舞台８の高さに応じた座標とを含む。舞台８の高さに応じた座標とは、舞台８の高さ座標又は舞台８の高さ座標に演者９の高さを考慮した座標のことである。演者９の高さは、想定される高さを用いてもよい。

認識した演者９の全てに対してループ２の処理を実行した場合には、処理制御部３１ｄは、次のフレームの撮影画像に対するループ１の処理を実行する。そして、制御処理部３１ｄは、カメラ２の撮影動画に含まれる全ての撮影画像に対してループ１の処理を実行したか否かを判定する。処理制御部１３は、カメラ２の撮影動画に含まれる全ての撮影画像に対してループ１の処理を実行していない場合、Ｓ１１の処理を実行する。また、処理制御部３１ｄは、カメラ２の撮影動画に含まれる全ての撮影画像に対してループ１の処理を実行した場合、位置割出処理を終了する。

位置割出処理を実行することにより、撮影処理装置３は、カメラ２の撮影動画に含まれる各演者９の各時点における３次元座標を含む演者情報を作成することができる。

この後、処理制御部３１ｄは、ＨＤＤ３２に格納した複数の画像情報、カメラ情報、及び演者情報を記録媒体４に格納する。

次に、画像処理装置５により表示装置７に立体画像を表示させる画像生成処理について説明する。
図４は、第１実施形態に係る画像処理装置による画像生成処理の一例を示すフローチャートである。なお、画像生成処理を実行するとき、記録媒体４は画像処理装置５に接続される。

まず、画像処理装置５は、記録媒体４に記録されたカメラ１１で撮影された動画に含まれるフレームの撮影画像毎にループ３の処理（ステップＳ２１〜Ｓ２８）を実行する。カメラ１１で撮影された動画とは、カメラ１１のフレームレートに応じて撮影画像を時系列に表示するものである。以下の説明では、カメラ１１で撮影された動画のことを単に、カメラ１１の撮影動画ともいう。

ここで、表示装置７の１秒間の表示フレーム数は、記録媒体４に格納されたカメラ１１の撮影動画の１秒間のフレーム数と同じであっても、異なっていてもよい。表示装置７の１秒間の表示フレーム数が、記録媒体４に格納されたカメラ１１の撮影動画の１秒間のフレーム数よりも多い場合には、表示装置７は、同じフレームを複数回表示してもよい。また、表示装置７の１秒間の表示フレーム数が、記録媒体４に格納されたカメラ１１の撮影動画の１秒間のフレーム数よりも少ない場合には、表示装置７は、記録媒体４に格納されたカメラ１１の撮影動画のフレームを間引いて表示してもよい。

まず、対象受付部５１ａは、選択装置６によるユーザの指示に応じて、演者９の中から対象の選択を受け付ける。そして、対象受付部５１ａは、演者情報４３を参照し、対象の３次元位置を特定し、特定した対象の３次元位置を画像選択部５１ｂに通知する（ステップＳ２１）。

画像選択部５１ｂは、対象の３次元位置に応じて、仮想的な観察者が対象の方向を向いたときの、仮想的な観察者の視聴視点を特定する（ステップＳ２２）。次いで、画像選択部５１ｂは、仮想的な観察者の視聴視点の位置に応じて、立体画像の作成用画像を選択し、描画回路５３の画像取得部５３ａに通知する。これにより、画像取得部５３ａは、選択された複数の作成用画像を復号回路５４から取得する（ステップＳ２３）。

座標指定部５１ｃは、対象の演者９の３次元位置と、カメラ情報４２と、ユーザが指定する画角とに応じて、立体画像の表示領域を決定する（ステップＳ２４）。

座標指定部５１ｃは、右目用画像の作成用画像に含まれる、表示領域に対応する対応領域を特定する。また、座標指定部５１ｃは、左目用画像の作成用画像に含まれる、表示領域に対応する対応領域を特定する。そして、座標指定部５１ｃは、それぞれの作成用画像に含まれる対応領域の座標を変形処理部５３ｂに通知する（ステップＳ２５）。

変形指定部５１ｅは、座標指定部５１が特定した各画像の対応領域から表示領域の形状の画像へ変形する際に必要な変形情報を決定し、変形情報を変形処理部５３ｂに通知する。変形処理部５３ｂは、変形情報に応じて、画像取得部５３ａが取得した各作成用画像に含まれる、対応領域について変形を行うことにより、立体画像の表示領域の形状に対応する右目用の変形画像及び左目用の変形画像を生成する（ステップＳ２６）。

重み指定部５１ｄは、右目用画像の作成用画像を撮影したカメラ１１と、右目視点の位置との位置関係に応じて、各右目用の変形画像を合成する処理において用いられる、各右目用の変形画像の重みを決定する。また、重み指定部５１ｄは、左目用画像の作成用画像を撮影したカメラ１１と、左目視点の位置との位置関係に応じて、各左目用の変形画像を合成する処理において用いられる、各左目用の変形画像の重みを決定する。そして、重み指定部５１ｄは、決定した各変形画像を合成する重みを画像合成部５３ｃに通知する（ステップＳ２７）。

次いで、画像合成部５３ｃは、変形処理部５３ｂにより生成された複数の右目用の変形画像を、重み指定部５１ｄにより指定された重みを用いて合成することにより、右目用画像を生成して表示回路５５に出力する。また、画像合成部５３ｃは、変形処理部５３ｂにより生成された複数の左目用の変形画像を、重み指定部５１ｄにより指定された重みを用いて合成することにより、左目用画像を生成して表示回路５５に出力する（ステップＳ２８）。以上により、表示回路５５は、立体画像を表示装置７に表示する。したがって、ユーザは、視聴視点から見た立体動画を観ることができる。

ステップＳ２８の処理が終了すると、表示装置７に表示させる立体動画を作成する元となる、カメラ１１の撮影動画の次のフレームについてループ３の処理（ステップＳ２１〜Ｓ２８）を実行する。画像処理装置５は、ループ３の処理を繰り返し実行することにより、立体動画に含まれる各フレームに対応する立体画像を生成することができる。立体動画とは、カメラ１１の撮影動画に含まれる画像を処理することに生成される、立体画像をフレームとして含む動画のことである。なお、表示装置７に表示させる立体動画に含まれる全てのフレームに対応する撮影画像について、画像処理が終了すると、画像処理装置５は、画像生成処理を終了する。

図５は、第１実施形態に係る作成用画像の選択処理の一例を説明する図である。
画像生成処理において、右目視点と左目視点とを特定し、右目用画像の作成に使用する複数のカメラ１１の撮影画像と、左目用画像の作成に使用する複数のカメラ１１の撮影画像とを選択する処理（ステップＳ２２、Ｓ２３）について、図２及び図５を参照して説明する。

画像選択部５１ｂは、図２に示すように、対象がカメラアレイ１に正対する位置にいるとき、対象のワールド座標系の３次元座標と、カメラアレイ１のワールド座標系の基準位置Ｐの座標及び向きとを参照し、対象に対するカメラアレイ１の位置と向きとを特定する。また、画像選択部５１ｂは、基準位置Ｐを挟んだ仮想右目１４Ｒと、仮想左目１４Ｌとの眼間角度を参照し、仮想的な観察者が対象の方向を向いたときの仮想右目１４Ｒの右目視点ＲＰＶの位置と、仮想左目１４Ｌの左目視点ＬＰＶの位置とを特定する。

そして、画像選択部５１ｂは、図２に示すように、基準位置Ｐと演者９とを結ぶ線（演者方向線）と、基準位置Ｐと右目視点ＲＰＶとを結ぶ線との角度が眼間角度の半分の角度となる位置に右目視点ＲＰＶがあると特定する。画像選択部５１ｂは、右目視点ＲＰＶの位置の特定と同様に、左目視点ＬＰＶの位置も特定する。なお、眼間角度は、ユーザの指定した値である。ユーザは、例えば、立体感を強くしたい場合には、眼間角度を大きくする。また、立体感を弱くしたい場合には、眼間角度を小さくする。

画像選択部５１ｂは、図２に示す場合には、右目視点ＲＰＶに基づいて、右目用画像の作成に使用する複数の画像として、右目視点ＲＰＶに近い複数台（実施形態では、例えば３台）のカメラ１１（カメラ１１ｅ、１１ｆ、１１ｇ）の撮影画像を選択する。また、画像選択部５１ｂは、図２に示す場合には、左目視点ＬＰＶの位置に基づいて、左目用画像の作成に使用する複数の画像として、左目視点ＬＰＶに近い複数台（実施形態では、例えば３台）のカメラ１１（カメラ１１ｊ、１１ｋ、１１ｌ）の撮影画像を選択する。

ここで、各カメラ１１の視線に対する対象の方向の角度（演者方向角度）は、基準位置Ｐ、カメラ１１の視点、対象の位置との３点を結ぶ三角形の各辺の長さを特定し、例えば、余弦定理を用いて三角形の内角を特定し、三角形の内角に基づいて特定することができる。
図５を参照して説明する。カメラ１１ｇについての例を示すと、基準位置Ｐと対象との距離Ｌ１と、基準位置Ｐとカメラ１１ｇの視点との距離Ｌ２と、カメラ１１ｇの位置と対象との距離Ｌ３とは、対象の位置座標、基準位置Ｐの位置座標、及び基準位置Ｐに対するカメラ１１ｇの位置（カメラ情報４２）に基づいて特定する。そして、距離Ｌ１、距離Ｌ２、及び距離Ｌ３の値を用いて、余弦定理により、基準位置Ｐとカメラ１１ｇの視点と対象とを結ぶ三角形の内角を特定する。カメラ１１ｇの演者方向角度Ｇは、１８０度から距離Ｌ２と距離Ｌ３とのなす角を減算することにより得られる。カメラ１１の演者方向角度によると、このカメラ１１の撮影画像に含まれる対象の画像の位置（画素の位置）を特定することができる。より具体的には、カメラ１１の撮影画像の横方向の長さがカメラ１１の画角に対応している。したがって、撮影画像に含まれる対象の横方向の位置は、距離Ｌ３に、画角の半分の角度と演者方向角度とのタンジェント値をそれぞれ乗算することにより求められる値の比率を用いて特定することができる。撮影画像に含まれる対象の横方向の位置は、演者９の３次元座標の高さを用いて特定することができる。

図２に示す位置から図５に示す位置に対象（演者９）が移動したとき、画像選択部５１ｂは、基準位置Ｐに基づいて、仮想的な観察者が対象の方向を向いたとした場合の仮想右目１４Ｒの右目視点ＲＰＶと、仮想左目１４Ｌの左目視点ＬＰＶの位置とを特定する。次いで、画像選択部５１ｂは、右目視点ＲＰＶに基づいて、右目用画像の作成用画像として、右目視点ＲＰＶに近い複数台（実施形態では、例えば３台）のカメラ１１（カメラ１１ｆ、１１ｇ、１１ｈ）の撮影画像を選択する。また、画像選択部５１ｂは、左目視点ＬＰＶの位置に基づいて、左目用画像の作成用画像として、左目視点ＬＰＶに近い複数台（実施形態では、例えば３台）のカメラ１１（カメラ１１ｋ、１１ｌ、１１ｍ）の撮影画像を選択する。このように、対象が移動したとき、対象の移動に合わせて移動する、右目視点ＲＰＶと左目視点ＬＰＶの位置とに近い複数台のカメラ１１の撮影画像が、作成用画像として選択される。すなわち、画像選択部５１ｂは、仮想的な観察者の視聴視点から近い位置にあるカメラ１１の撮影画像を選択する。

図６は、第１実施形態に係る表示領域と対応領域との関係を説明する概念図である。図７は、第１実施形態に係る対応領域の特定、対応領域の画像の変形、及び複数の変形画像の合成処理の一例を説明する図である。

画像生成処理において、表示領域を決定し、視聴視点から表示領域に対応する対応領域を特定する処理（ステップＳ２４、Ｓ２５）について、図６及び図７を参照して説明する。

座標指定部５１ｃは、右目視点ＲＰＶから見た右目用画像として表示する表示領域ＤＡｒｐｖを、対象（演者９）の３次元位置と、右目視点ＲＰＶとに基づいて、図６に示すように対象が領域の中心となるような長方形の領域に決定する。表示領域ＤＡｒｐｖの大きさは、表示領域ＤＡｒｐｖの右目視点ＲＰＶからの距離及び表示領域ＤＡｒｐｖに表示する画角の少なくとも一方に基づいて決定される。表示領域ＤＡｒｐｖの右目視点ＲＰＶからの距離及び表示領域ＤＡｒｐｖに表示する画角は、予め設定されている値としてもよく、また、ユーザの指定に応じて変更するようにしてもよい。座標指定部５１ｃは、左目視点ＬＰＶの画像として表示する表示領域ＤＡｌｐｖも表示領域ＤＡｒｐｖの決定と同様の処理により決定する。

座標指定部５１ｃは、表示領域ＤＡｒｐｖの３次元座標を、各カメラ１１（カメラ１１ｆ、１１ｇ、１１ｈ）のスクリーン（ＳＣｆ、ＳＣｇ、ＳＣｈ）上の座標に変換することにより、右目用画像に使用する複数の作成用画像における対応領域（ＤＡｆ、ＤＡｇ、ＤＡｈ）を特定する。すなわち、座標指定部５１ｃは、変形処理部５３ｂによって対応領域の画像を表示領域の形状の画像に変形したとき、対象が中央に位置するように対応領域の座標を指定する。なお、３次元座標をスクリーン上の座標に変換する方法については公知であるのでここでは詳細な説明を省略する。また、座標指定部５１ｃは、左目用画像に使用する複数の画像における対応領域についても同様に特定する。

図６に示す表示領域ＤＡｒｐｖに対応する対応領域ＤＡｆ、ＤＡｇ、ＤＡｈは、例えば、カメラ１１ｆ、１１ｇ、１１ｈの撮影画像ＩＭｆ、ＩＭｇ、ＩＭｈに含まれる、図７の（１）に示す形状である。カメラ１１の撮影画像に含まれる対応領域の大きさや形状は、表示領域ＤＡｒｖｐとカメラ１１のスクリーンとの位置関係等により決まる。

図８は、第１実施形態に係る変形処理の一例を説明する図である。図９は、第１実施形態に係る画像の合成時の重みの決定処理の一例を説明する図である。

画像生成処理において、対応領域の画像を表示領域用画像へ変形する処理（ステップＳ２６）、変形画像を合成する際の重みを決定する処理（ステップＳ２７）、及び変形画像を合成する処理（ステップＳ２８）について、図７、図８、及び図９を参照して説明する。

変形指定部５１ｅは、座標指定部５１ｃが特定した各画像の対応領域（ＤＡｆ、ＤＡｇ、ＤＡｈ）から表示領域ＤＲｒｐｖの画像（変形画像ＴＦｆ、ＴＦｇ、ＴＦｈ（図７（２）））へ変形する際に必要な変形情報を決定する。

対応領域から変形画像への変形は、例えば、図８に示すように行われる。ここで、対応領域ＤＡｈを表示領域ＤＲｒｐｖ用の変形画像ＴＦｈに変形する場合を例に説明する。

まず、対応領域ＤＡｈを複数の部分領域２０ａ〜２０ｐに分割する。部分領域２０ａ〜２０ｐは、対応領域ＤＡｈの垂直な左右の辺のそれぞれを所定数（図８では、４）となるように分割して繋いだ線と、横方向の上下の辺のそれぞれを所定数（図８では、４）となるように分割して繋いだ線とによって区分される領域である。なお、分割する所定数については、これに限られず、より大きな数とすると、変形処理における処理量が増加するがより高精度な変形を行うことができる。

そして、各部分領域２０ａ〜２０ｐのそれぞれを、変形画像ＴＦｈの対応する部分領域２１ａ〜２１ｐに変形する。部分領域２１ａ〜２１ｐは、変形画像ＴＦｈの上下方向と、左右方向とを対応領域ＤＡｈの部分領域と同様に同数に分割した領域である。なお、部分領域２１ａ〜２１ｐは、長方形形状となっている。

変形指定部５１ｅは、部分領域２０ａを部分領域２１ａに変形する。このとき、変形指定部５１ｅは、部分領域２０ａを部分領域２１ａと同じ形状になるようにするための、部分領域２０ａの垂直方向、水平方向の変形率（拡大率又は縮小率）を算出する。そして、変形指定部５１ｅは、変形率に基づいて、部分領域２１ａの各画素の画素値を、部分領域２０ａの対応する画素の画素値に基づいて決定する。ここで、変形指定部５１ｅが決定する変形情報は、部分領域２０ａの画素値に基づいて、部分領域２１ａの各画素にどのように設定していくかを示す情報となる。より具体的には、部分領域２０ａの横幅が、部分領域２１ａの横幅よりも短い場合には、部分領域２０ａの横方向の画素値により、部分領域２１ａの各画素の画素値がリニア（線形）で変化するようにする情報（例えば、変形率）である。

変形処理部５３ｂは、変形情報に基づいて、画像取得部５３ａが取得した各画像における、対応領域について変形を行うことにより、左目用画像及び右目用画像として用いる表示領域に対応する変形画像（図７（２））を生成する。これにより、対象は、変形画像の中央に位置するようになる。

重み指定部５１ｄは、右目視点ＲＰＶと、右目用画像の作成用画像を撮影したカメラ１１との位置関係に基づいて、各変形画像を合成する際の重みを決定する。例えば、カメラ１１ｇ、カメラ１１ｈ、カメラ１１ｊの３つの撮影画像から得られた変形画像を合成する場合には、右目視点ＲＰＶに近いカメラ１１ほど重みが大きくなるようにしてもよい。より具体的には、例えば、図９（ａ）に示すように、カメラ１１ｈと、カメラ１１ｉとが右目視点ＲＰと等距離にある場合には、カメラ１１ｈの撮影画像の変形画像に対する重みを０．５とし、カメラ１１ｉの撮影画像の変形画像に対する重みを０．５とし、カメラ１１ｇの撮影画像の変形画像に対する重みを０としてもよい。また、図９（ｂ）に示すように、右目視点ＲＰＶがカメラ１１ｈの視点に近い場合には、カメラ１１ｈの撮影画像の変形画像に対する重みを０．６とし、カメラ１１ｉの撮影画像の変形画像に対する重みを０．３とし、カメラ１１ｇの撮影画像の変形画像に対する重みを０．１としてもよい。なお、重み指定部５１ｄは、左目視点ＬＰＶ側も同様な処理を実行する。このようにすると、右目視点ＲＰＶ（又は左目視点ＬＰＶ）に近い視点の画像の影響度の重みを大きくすることができるので、それぞれの視点から見た画像に近い右目用画像（又は左目用画像）を生成することができる。

画像合成部５３ｃは、右目用画像の作成用画像を用いて生成された変形画像に対して、重み指定部５１ｄにより指定されたそれぞれの重みを乗算して合成（アルファブレンディング）する。これにより、画像合成部５３ｃは、右目用画像を生成する（図７（３））。また、画像合成部５３ｃは、左目用画像の作成用画像を用いて生成された複数の変形画像に対して、重み指定部５１ｄにより指定されたそれぞれの重みを乗算して合成する。これにより、画像合成部５３ｃは、左目用画像を生成する。

上述のように、実施形態の画像処理装置５は、複数の視点から撮影した被写界深度の深い画像を用いて、選択した被写体（対象）が中心にくる複数の右目用の変形画像と複数の左目用の変形画像とを生成する。また、画像処理装置５は、仮想的な観察者の視点から各作成用画像を撮影したカメラまでの距離に応じて、生成した各変形画像に重み付けをする。そして、画像処理装置５は、生成した複数の右目用の変形画像と複数の左目用の変形画像とを、それぞれ重みに応じて合成（例えば、アルファブレンド）する。これにより、画像処理装置５は、対象に焦点が合い、他の被写体の焦点がずれた、視聴視点から見た立体画像を生成する。したがって、画像処理装置５は、ユーザが選択した対象のみが鮮明に見える立体画像を生成することができる。

実施形態の画像処理装置５は、立体画像の中心に対象が表示されるようにしていたが、ユーザが指定した位置に対象が表示されるようにしてもよい。この場合には、画像処理装置５は、複数の視点から撮影した被写界深度の深い画像を用いて、選択した被写体（対象）がユーザの指定の位置にくる右目用の変形画像と左目用の変形画像とを生成する。また、画像処理装置５は、仮想的な観察者の視点から各作成用画像を撮影したカメラまでの距離に応じて、生成した各変形画像に重み付けをする。そして、画像処理装置５は、生成した右目用の変形画像と左目用の変形画像とを、それぞれ重みに応じて合成する。これにより、画像処理装置５は、ユーザが指定した位置に表示された対象に焦点が合い、他の被写体の焦点がずれた、視聴視点から見た立体画像を生成する。したがって、画像処理装置５は、ユーザが指定した位置に表示された対象のみが鮮明に見える立体画像を生成することができる。

図１０は、第１実施形態に係る画像処理装置を用いて生成された画像を示す図である。

図１０を参照して、実施形態の画像処理装置５による画像の生成処理と、生成処理によって得られる画像とについて、３つの画像を合成する処理を一例として説明する。図１０（ａ）は、カメラ１１の仮想的な観察者の視点から近い３つのカメラ（例えば、カメラ１１ｆ、、１１ｇ、１１ｇ）により撮影された３つの画像に対応する変形画像である。図１０（ｂ）は、画像処理装置５によって合成された画像である。

カメラアレイ１に含まれる各カメラ１１は、被写界深度が深いので、撮影された画像を変形させた変形画像（ＴＦｆ、ＴＦｇ、ＴＦｈ）は、図１０（ａ）に示すように、被写体までの距離によらず、撮影画像全体に焦点が合う。画像処理装置５は、ユーザから選択された被写体（対象Ｔ）の選択を受け付ける。また、画像処理装置５は、図７を用いて説明したように、仮想的な観察者の視点から近い３つの撮影画像（ＩＭｆ、ＩＭｇ、ＩＭｈ）を選択し、選択した各撮影画像を変形して対象（Ｔａ、Ｔｂ、Ｔｃ）の位置を中央の同じ位置にした表示領域に対応する３つの変形画像（ＴＦｆ、ＴＦｇ、ＴＦｈ）を生成する。そして、画像処理装置５は、仮想的な観察者の視点から近いカメラ１１で撮影した撮影画像から得られた変形画像ほど大きい重みを付けて３つの変形画像を合成する。画像処理装置５は、同様の処理をすることにより、左目用画像も生成する。

以上のように、画像処理装置５は、対象の位置が同じ位置にあり、他の被写体の位置は各カメラ１１の視点に応じてずれた変形画像を合成することにより、視聴視点から見た画像を生成する。これにより、視聴視点から見た画像は、図１０（ｂ）に示すように、対象に焦点があったような状態（対象が鮮明な状態）であり、他の被写体に焦点があっていないような状態（他の被写体がぼけた状態）の画像になる。したがって、画像処理装置５によって生成される視聴視点からの立体画像は、対象に焦点が合ったようになり、他の被写体に焦点があっていないような画像、すなわち、視聴視点から立体画像を観た場合に得られるような状態の画像になる。

第２実施形態に係る画像処理システムについて説明する。

図１１は、第２実施形態に係る画像処理システムの一実施例の全体構成図である。なお、第２実施形態においては、第１実施形態に係る画像処理システムと同様な部分には、同一の符号を付す。

第２実施形態に係る画像処理システム１０１において、画像処理装置５Ａは、第１実施形態に係る画像処理装置５において、対象受付部５１ａに代えて対象受付部５１ｆを備える。対象受付部５１ｆは、対象方向受付部及び対象決定部の一例である。また、表示装置７Ａは、第１実施形態に係る表示装置７に対してさらに向き検出部７１を備える。

表示装置７Ａは、例えば、ユーザの頭部に装着するヘッドマウントディスプレイである。向き検出部７１は、表示装置７Ａを装着したユーザの向き（例えば、顔の正面）を検出し、ユーザの向きの情報を画像処理装置５Ａに通知する。

画像処理装置５Ａの対象受付部５１ｆは、対象受付部５１ａの機能に加えて、向き検出部７１により検出されたユーザの向きの情報（ユーザ向き情報）に基づいて、対象を特定する。具体的には、対象受付部５１ａは、ユーザ向き情報に基づいて、舞台８における注視している方向を特定する。また、対象受付部５１ｆは、演者情報４３と、特定した方向とに基づいて、特定した方向又は特定した方向に近い位置にいる演者９を対象として特定する。なお、注目する演者９を決定した以降の処理については、第１実施形態と同様である。

第２実施形態に係る画像処理システム１０１においては、表示装置７Ａを装着したユーザが向きを変えることにより、容易且つ適切に注目する演者９を変更して、その演者９に注目した画像を適切に表示させることができる。

本実施形態に係るカメラアレイの第１変形例について説明する。

図１２は、第１変形例に係るカメラアレイの構成を示す図である。

カメラアレイ１Ａは、円弧状の中心近傍に演者９を配置させて撮影する装置であり、円弧状に、円の中心に向けて複数のカメラ１１（１１ａ〜１１ｐ）を配置させている。なお、円弧状だけではなく、全円状にカメラ１１を配置させるようにしてもよい。このようなカメラアレイ１Ａにより撮影された複数の視点の画像に対しても上記同様な処理により、演者９を中心にしたいろいろな位置からの演者９の立体画像を生成することができる。

図１３は、第２変形例に係るカメラアレイの構成を示す図である。
本実施形態に係るカメラアレイの第２変形例について説明する。

カメラアレイ１Ｂは、直線状に間隔をあけて、演者９側に向けて複数のカメラ１１を配置させた装置である。このようなカメラアレイ１Ｂにより撮影された複数の視点の画像に対しても上記同様な処理により、演者９に対して、カメラアレイ１Ｂのカメラ１１を配置する直線方向のいろいろな位置の視点からの演者９の立体画像を生成することができる。なお、カメラアレイ１Ｂを用いる場合には、より立体感を強調する場合には、右目視点ＲＰＶと、左目視点ＬＰＶとする位置との間隔を広くするようにし、逆に立体感を抑える場合には、右目視点ＲＰＶと、左目視点ＬＰＶとする位置との間隔を狭くするようにしてもよい。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。

例えば、上記実施形態では、撮影処理装置３から、画像処理装置５に対して、記録媒体４を介して、画像情報４１、カメラ情報４２、及び演者情報４３を受け渡すようにしていた。本発明はこれに限られず、画像情報４１、カメラ情報４２、及び演者情報４３を、ネットワークを介して送信するようにしてもよい。

また、上記実施形態では、カメラ２により、舞台８平面（Ｘ−Ｙ平面）における演者９の位置（Ｘ座標、Ｙ座標）を特定し、舞台８のワールド座標系の高さ方向（Ｚ方向）の座標に基づいて演者９の高さ（Ｚ座標）を特定することにより、演者９のワールド座標系の３次元座標を特定するようにしていた。本発明はこれに限られず、例えば、舞台８が平面上ではなく、段差等が形成されている場合には、舞台８の形状に基づく３次元座標を予め用意しておき、カメラ２により特定された演者９のＸ、Ｙ座標と、舞台８の３次元座標とに基づいて、演者９の位置における舞台８の高さ（Ｚ座標）を特定する。そして、本発明では、特定した舞台８の高さに基づいて、演者９のＺ座標を特定することにより、演者９のワールド座標系の３次元座標を特定するようにしてもよい。

また、上記実施形態では、カメラ２により演者９の３次元座標を特定するようにしていたが。本発明はこれに限られず、複数のカメラによって演者９の３次元座標を特定するようにしてもよく、要は、演者９の３次元座標を特定することができる構成であればよい。

また、上記実施形態では、演者９の位置情報として、ワールド座標系の３次元座標を用いていたが、本発明はこれに限られず、カメラアレイ１の各カメラ１１の位置及び向きと演者９との相対的な位置関係が把握できる情報であればよく、例えば、演者９の位置情報を、カメラアレイ１側のローカル座標系での３次元座標としてもよい。

また、上記実施形態では、画像選択部５１ｂは、右目視点ＲＰＶに近い複数台のカメラ１１の撮影画像と、左目視点ＬＰＶに近い複数台のカメラ１１の撮影画像とを選択するようにしていた。本発明はこれに限られず、例えば、基準位置Ｐと演者９とを結ぶ演者方向線から近い複数台のカメラ１１の撮影画像を選択するようにしてもよい。画像選択部５１ｂは、例えば、演者方向線の右側の演者方向線に近いほうから複数台のカメラ１１（演者方向線上のカメラ１１を含んでもよい）の画像を右目用画像の作成用画像として選択してもよい。また、画像選択部５１ｂは、例えば、演者方向線の左側の演者方向線に近いほうから複数台のカメラ１１（演者方向線上のカメラ１１を含んでもよい）の画像を左目用画像の作成用画像として選択してもよい。

また、上記実施形態では、重み指定部５１ｄは、右目視点ＲＰＶ（左目視点ＬＰＶ）から近いカメラ１１の撮影画像を用いて生成される変形画像の重みを、大きくするようにしていた。本発明はこれに限られず、例えば、演者方向線により近いカメラ１１の撮影画像を用いて生成される変形画像についての重みほど大きくないようにしてもよい。このようにすると、演者９によりピントの合った画像の影響が大きくなるので、より演者９を鮮明にし、且つその周りをぼやかした画像を生成することができる。

また、上記第２実施形態では、ユーザの向き、又はその向きに近い演者９を注目する対象としていた。本発明はこれに限られず、ユーザの向きの所定の距離（例えば、舞台８の所定の位置までの距離等）の部分を注目対象として、その注目対象の画像を生成するようにしてもよい。このようにした場合には、記録媒体４に演者９の位置情報を格納しておかなくてもよい。

また、上記実施形態において、画像処理装置５においてＣＰＵ５１がプログラムを実行することにより構成していた機能部の少なくとも一部を、専用のハードウェア回路により実行するようにしてもよく、また、画像処理装置５において、回路が実行していた処理を、ＣＰＵ５１がプログラムを実行することにより構成される機能部により実行するようにしてもよい。

１，１Ａ，１Ｂ…カメラアレイ、２…カメラ、３…撮影処理装置、４…記録媒体、５…画像処理装置、６…選択装置、７…表示装置、１１…カメラ、５１…ＣＰＵ、５１ａ…対象受付部、５１ｂ…画像選択部、５１ｃ…座標指定部、５１ｄ…重み指定部、５１ｅ…変形指定部、５２…メモリ、５３…描画回路、５４…復号回路、５５…表示回路、１００，１０１…画像処理システム

Claims (9)

1. 注目する対象の指定を受け付け、前記対象の位置を特定する対象受付部と、
   複数の視点から見た画像から、特定した前記対象の位置と前記複数の視点の位置との位置関係に応じて、仮想的な観察者の右目視点に近い異なる複数の視点から見た前記対象を含む複数の第１視点画像と、前記仮想的な観察者の左目視点に近い異なる複数の視点から見た前記対象を含む複数の第２視点画像とを選択する画像選択部と、
   前記対象の位置が互いに重なるように、複数の前記第１視点画像に含まれる画像を合成するとともに、複数の前記第２視点画像に含まれる画像を合成する画像合成部と、
   表示装置に表示する前記対象を含む表示領域を決定し、複数の前記第１視点画像について、前記第１視点画像に含まれる第１対応領域であって、前記表示領域の形状に変形したとき、変形後の複数の第１変形画像において、前記対象が指定の同じ位置にくる前記第１対応領域を特定するとともに、複数の前記第２視点画像について、前記第２視点画像に含まれる第２対応領域であって、前記表示領域の形状に変形したとき、変形後の複数の第２変形画像において、前記対象が指定の同じ位置にくる前記第２対応領域を特定する対応領域特定部と、
   複数の前記第１対応領域の画像を、前記表示領域の形状の前記第１変形画像に変形するとともに、複数の前記第２対応領域の画像を、前記表示領域の形状の前記第２変形画像に変形する画像変形部と、
   を備え、
   前記画像合成部は、
   複数の前記第１変形画像を合成するとともに、複数の前記第２変形画像を合成する
   画像処理装置。
2. 前記仮想的な観察者は、
   人間の想定サイズよりも大きいサイズのモデルであり、
   前記複数の視点から見た画像は、
   前記仮想的な観察者を中心とする円弧上に配置された複数の撮影装置であって、仮想的な観察者の右目視点から左目視点までの距離以内の間隔で並べられた前記複数の撮影装置により撮影された画像である
   請求項１に記載の画像処理装置。
3. 前記画像処理装置は、さらに、
   前記右目視点と複数の前記第１視点画像を撮影した複数の第１撮影視点との位置関係に応じて、前記右目視点と前記第１撮影視点とが近い第１視点画像ほど重みが大きくなるように各第１視点画像の合成時の重みを決定するとともに、前記左目視点と複数の前記第２視点画像を撮影した複数の第２撮影視点との位置関係に応じて、前記左目視点と前記第２撮影視点とが近い第２視点画像ほど重みが大きくなるように各第２視点画像の合成時の重みを決定する重み指定部
   を備え、
   前記画像合成部は、前記決定した重みを用いて、複数の前記第１視点画像に含まれる画像を合成するとともに、複数の前記第２視点画像に含まれる画像を合成する
   請求項１または請求項２に記載の画像処理装置。
4. 前記対応領域特定部は、
   前記第１対応領域を前記表示領域の形状に変形したとき、前記対象が中心にくるように前記第１対応領域を特定するとともに、前記第２対応領域を前記表示領域の形状に変形したとき、前記対象が中心にくるように前記第２対応領域を特定する
   請求項１に記載の画像処理装置。
5. 注目する演者の指定を受け付け、前記演者の位置を特定する対象受付部と、
   複数の視点から見た画像から、特定した前記演者の位置と前記複数の視点の位置との位置関係に応じて、仮想的な観察者の右目視点に近い異なる複数の視点から見た前記演者を含む複数の第１視点画像と、前記仮想的な観察者の左目視点に近い異なる複数の視点から見た前記演者を含む複数の第２視点画像とを選択する画像選択部と、
   前記演者の位置が互いに重なるように、複数の前記第１視点画像に含まれる画像を合成するとともに、複数の前記第２視点画像に含まれる画像を合成する画像合成部と、
   を備える画像処理装置。
6. 前記画像処理装置は、さらに、
   表示装置に表示する前記演者を含む表示領域を決定し、複数の前記第１視点画像について、前記第１視点画像に含まれる第１対応領域であって、前記表示領域の形状に変形したとき、変形後の複数の第１変形画像において、前記演者が指定の同じ位置にくる前記第１対応領域を特定するとともに、複数の前記第２視点画像について、前記第２視点画像に含まれる第２対応領域であって、前記表示領域の形状に変形したとき、変形後の複数の第２変形画像において、前記演者が指定の同じ位置にくる前記第２対応領域を特定する対応領域特定部と、
   複数の前記第１対応領域の画像を、前記表示領域の形状の前記第１変形画像に変形するとともに、複数の前記第２対応領域の画像を、前記表示領域の形状の前記第２変形画像に変形する画像変形部と、
   を備え、
   前記画像合成部は、
   複数の前記第１変形画像を合成するとともに、複数の前記第２変形画像を合成する
   請求項５に記載の画像処理装置。
7. カメラアレイと、画像処理装置とを備える画像処理システムであって、
   前記カメラアレイは、
   仮想的な観察者の右目視点から左目視点までの距離以内の間隔で並べられた、画像を撮影する複数の撮影部
   を備え、
   前記画像処理装置は、
   注目する対象の指定を受け付け、前記対象の位置を特定する対象受付部と、
   複数の視点から見た画像から、特定した前記対象の位置と前記複数の視点の位置との位置関係に応じて、前記仮想的な観察者の右目視点に近い異なる複数の視点から見た前記対象を含む複数の第１視点画像と、前記仮想的な観察者の左目視点に近い異なる複数の視点から見た前記対象を含む複数の第２視点画像とを選択する画像選択部と、
   前記対象の位置が互いに重なるように、複数の前記第１視点画像に含まれる画像を合成するとともに、複数の前記第２視点画像に含まれる画像を合成する画像合成部と、
   表示装置に表示する前記対象を含む表示領域を決定し、複数の前記第１視点画像について、前記第１視点画像に含まれる第１対応領域であって、前記表示領域の形状に変形したとき、変形後の複数の第１変形画像において、前記対象が指定の同じ位置にくる前記第１対応領域を特定するとともに、複数の前記第２視点画像について、前記第２視点画像に含まれる第２対応領域であって、前記表示領域の形状に変形したとき、変形後の複数の第２変形画像において、前記対象が指定の同じ位置にくる前記第２対応領域を特定する対応領域特定部と、
   複数の前記第１対応領域の画像を、前記表示領域の形状の前記第１変形画像に変形するとともに、複数の前記第２対応領域の画像を、前記表示領域の形状の前記第２変形画像に変形する画像変形部と、
   を備え、
   前記画像合成部は、
   複数の前記第１変形画像を合成するとともに、複数の前記第２変形画像を合成する
   画像処理システム。
8. コンピュータによって実行される画像処理方法であって、
   前記コンピュータは、
   注目する対象の指定を受け付け、前記対象の位置を特定し、
   複数の視点から見た画像から、特定した前記対象の位置と前記複数の視点の位置との位置関係に応じて、仮想的な観察者の右目視点に近い異なる複数の視点から見た対象を含む複数の第１視点画像と、前記仮想的な観察者の左目視点に近い異なる複数の視点から見た前記対象を含む複数の第２視点画像とを選択し、
   前記対象の位置が互いに重なるように、複数の前記第１視点画像に含まれる画像を合成するとともに、複数の前記第２視点画像に含まれる画像を合成し、
   さらに、
   表示装置に表示する前記対象を含む表示領域を決定し、複数の前記第１視点画像について、前記第１視点画像に含まれる第１対応領域であって、前記表示領域の形状に変形したとき、変形後の複数の第１変形画像において、前記対象が指定の同じ位置にくる前記第１対応領域を特定するとともに、複数の前記第２視点画像について、前記第２視点画像に含まれる第２対応領域であって、前記表示領域の形状に変形したとき、変形後の複数の第２変形画像において、前記対象が指定の同じ位置にくる前記第２対応領域を特定し、
   複数の前記第１対応領域の画像を、前記表示領域の形状の前記第１変形画像に変形するとともに、複数の前記第２対応領域の画像を、前記表示領域の形状の前記第２変形画像に変形し、
   前記画像の合成において、
   複数の前記第１変形画像を合成するとともに、複数の前記第２変形画像を合成する
   ことを実行する画像処理方法。
9. 注目する対象の指定を受け付け、前記対象の位置を特定し、
   複数の視点から見た画像から、特定した前記対象の位置と前記複数の視点の位置との位置関係に応じて、仮想的な観察者の右目視点に近い異なる複数の視点から見た対象を含む複数の第１視点画像と、前記仮想的な観察者の左目視点に近い異なる複数の視点から見た前記対象を含む複数の第２視点画像とを選択し、
   前記対象の位置が互いに重なるように、複数の前記第１視点画像に含まれる画像を合成するとともに、複数の前記第２視点画像に含まれる画像を合成し、
   表示装置に表示する前記対象を含む表示領域を決定し、複数の前記第１視点画像について、前記第１視点画像に含まれる第１対応領域であって、前記表示領域の形状に変形したとき、変形後の複数の第１変形画像において、前記対象が指定の同じ位置にくる前記第１対応領域を特定するとともに、複数の前記第２視点画像について、前記第２視点画像に含まれる第２対応領域であって、前記表示領域の形状に変形したとき、変形後の複数の第２変形画像において、前記対象が指定の同じ位置にくる前記第２対応領域を特定し、
   複数の前記第１対応領域の画像を、前記表示領域の形状の前記第１変形画像に変形するとともに、複数の前記第２対応領域の画像を、前記表示領域の形状の前記第２変形画像に変形し、
   前記画像の合成において、
   複数の前記第１変形画像を合成するとともに、複数の前記第２変形画像を合成する
   処理をコンピュータに実行させる画像処理プログラム。

Images