JP7322703B2 - 画像処理装置、画像処理装置の画像処理方法、プログラム - Google Patents

Description

本技術は、撮像された被写体を三次元空間上で表した三次元情報に基づき、三次元空間上の視点からの観察画像を仮想視点画像として生成する画像処理装置、及びその方法、さらには仮想視点画像を生成するためのプログラムの技術分野に関する。

撮像された被写体を三次元空間上で表した三次元情報に基づき、三次元空間上の任意視点からの観察画像に相当する仮想視点画像（自由視点画像又は自由視点映像とも呼ばれる）を生成する技術が知られている。

なお、関連する従来技術については下記特許文献１を挙げることができる。
該特許文献１では、複数の撮像装置による撮像画像に基づいて３Ｄモデルを生成し、被写体（人物）の注目部位が画像上見えるように視点を設定し、設定した視点による仮想視点画像を生成することが開示されている。本文献では、被写体としての人物が移動することを前提としておらず、一度視点を設定すると、視点は固定されたままであり、仮に、対象としている被写体が移動したときには視点が追従しないものとなる。

特開２０１６－７７３４６号公報

仮想視点画像では、視点を自由に動かすことが可能であり、特に動画像としての仮想視点画像では時間経過と共に視点がダイナミックに変化する臨場感の高い画像を提供可能となる。

しかしながら、従来、仮想視点画像の視点設定は、一般的に画像編集者等が手動により行っている。これは、仮想視点画像の生成に係る作業負担を増大させており、望ましくない。

本技術は上記の事情に鑑み為されたものであり、仮想視点画像の生成に係る作業負担の軽減を図ることを目的とする。

本技術に係る画像処理装置は、撮像された被写体を三次元空間上で表した三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成する仮想視点画像生成部を備え、前記仮想視点画像生成部は、前記被写体の動きに追従して前記視点を設定するものである。

上記のように被写体の動きに追従した視点設定とすることで、視点の設定に係る操作負担を軽減することが可能とされる。

上記した本技術に係る画像処理装置においては、前記三次元情報に基づいて前記被写体の解析情報を取得する被写体解析部を備え、前記仮想視点画像生成部は、前記解析情報に基づき、前記仮想視点画像の視点設定に用いられる基準位置を設定することが望ましい。

これにより、基準位置に基づいた多様な視点設定が可能とされると共に、視点の被写体への追従が容易化される。

上記した本技術に係る画像処理装置においては、複数の撮像装置の撮像画像と前記撮像画像に対応する撮像条件とを含む撮像情報に基づいて前記三次元情報を生成する三次元情報生成部を備えることが望ましい。

このように複数の撮像装置の撮像画像と撮像条件とを含む撮像情報を用いることで、適切な三次元情報が得られるようにする。

上記した本技術に係る画像処理装置においては、前記被写体として人物が対象とされており、前記仮想視点画像生成部は、前記基準位置を前記人物の身体的中心に設定することが望ましい。

身体的中心は、例えば人物の両肩間の中心、胴体の上下左右中心、顔中心、或いは足下中心等、人物の身体的な中心を意味する。

上記した本技術に係る画像処理装置においては、前記仮想視点画像生成部は、前記視点を前記被写体の位置情報に基づき設定することが望ましい。

これにより、被写体を捉え易い視点設定が可能とされる。

上記した本技術に係る画像処理装置においては、前記被写体として人物が対象とされており、前記仮想視点画像生成部は、前記視点を前記被写体の属性情報に基づき設定することが望ましい。

これにより、被写体の属性情報から特定される被写体の位置に基づいて視点を自動設定することが可能とされる。

上記した本技術に係る画像処理装置においては、前記仮想視点画像生成部は、前記視点を前記三次元空間上に指定されたエリア情報に基づき設定することが望ましい。

これにより、三次元空間上の特定エリア内に存在する被写体の位置に基づいて視点を自動設定することが可能とされる。

上記した本技術に係る画像処理装置においては、前記仮想視点画像生成部は、前記視点を操作入力に基づき設定することが望ましい。

これにより、視点設定の操作負担軽減を図りながら、使用者の意図を反映した視点設定が可能となる。

上記した本技術に係る画像処理装置においては、前記仮想視点画像を表示する表示部を備え、前記表示部は、前記視点の設定手法が異なる複数の前記仮想視点画像を候補視点画像として順送りに表示し、前記仮想視点画像生成部は、前記候補視点画像についての選択操作に基づき前記視点を設定することが望ましい。

これにより、使用者に対して実際に画像内容を確認させながら好みの視点を選択させることが可能とされる。また、順送り表示であるため比較的大きな候補視点画像の表示ができ、使用者に画像細部まで確認させながらの視点選択を行わせることが可能とされる。

上記した本技術に係る画像処理装置においては、前記仮想視点画像を表示する表示部を備え、前記表示部は、前記視点の設定手法が異なる複数の前記仮想視点画像を候補視点画像として並べて表示し、前記仮想視点画像生成部は、前記候補視点画像についての選択操作に基づき前記視点を設定することが望ましい。

これにより、使用者に対して実際に画像内容を確認させながら好みの視点を選択させることが可能とされる。また、候補視点画像を並べて表示するため使用者に複数の候補視点画像を同時比較させながらの視点選択を行わせることが可能とされる。

上記した本技術に係る画像処理装置においては、前記仮想視点画像生成部は、前記視点として、前記被写体を観察する視点と前記被写体から外方を観察する視点との切り替えを可能とすることが望ましい。

これにより、設定可能な視点の多様化が図られる。

上記した本技術に係る画像処理装置においては、前記仮想視点画像生成部は、前記視点を、操作に応じて前記被写体の周囲を覆う球面に沿って設定することが望ましい。

これにより、使用者が操作により設定可能な視点位置の自由度が高まる。

上記した本技術に係る画像処理装置においては、前記被写体として人物が対象とされており、前記仮想視点画像生成部は、前記視点として、前記被写体から外方を観察する視点である一人称視点を設定すると共に、前記一人称視点からの視線方向の設定手法を、前記被写体の向きに係る解析情報の取得状況に基づき選択することが望ましい。

これにより、例えば被写体の顔の向きや身体向き等、被写体の向きに係る解析情報の取得状況に応じた適切な視線方向の設定を行うことが可能とされる。

上記した本技術に係る画像処理装置においては、前記仮想視点画像生成部は、前記視線方向の設定手法を、前記取得状況と前記被写体の向きの変化速度とに基づき選択することが望ましい。

これにより、例えば被写体の顔の向きや身体向き等、被写体の向きに係る解析情報が取得されていても、その変化速度が速い場合には該解析情報を用いずに視線方向を設定する等、被写体の向きの変化速度に応じた視線方向の設定を行うことが可能とされる。

上記した本技術に係る画像処理装置においては、前記仮想視点画像生成部は、前記視線方向を、前記取得状況と前記被写体の進行方向とに基づき設定することが望ましい。

これにより、被写体の向きに係る解析情報が取得できないときは被写体の進行方向（被写体の位置の変化方向）に基づき視線方向を設定することが可能とされる。

上記した本技術に係る画像処理装置においては、前記被写体として人物が対象とされており、前記仮想視点画像生成部は、前記視点として、前記被写体から外方を観察する視点である一人称視点を設定し、前記視点からの視線方向を前記被写体の向きに係る解析情報に基づき設定し、前記視線方向と前記被写体の視線の向きとのずれに応じた情報をユーザに報知するための処理を行う報知処理部を備えることが望ましい。

上記のような視線方向と被写体の視線の向きとのずれに応じた情報の報知が行われることで、ユーザは、仮想視点画像の視線方向を被写体の視線の向きに合わせ易くなる。

上記した本技術に係る画像処理装置においては、前記報知処理部は、前記仮想視点画像の視線方向を前記被写体の視線の向きに一致させるための視線合わせ案内情報を前記仮想視点画像と共に表示させるための処理を行うことが望ましい。

上記のような視線合わせ案内情報が仮想視点画像と共に表示されることで、ユーザは、仮想視点画像の視線方向を被写体の視線の向きに合わせ易くなる。

上記した本技術に係る画像処理装置においては、前記報知処理部は、前記被写体の視線の向きに基づき前記被写体の視野を推定し、前記仮想視点画像における前記被写体の視野との重複部分と非重複部分とについて、両部分を異なる表示態様で表示させる処理を行うことが望ましい。

仮想視点画像における被写体の視野との重複部分と非重複部分とで表示態様が異なることで、被写体の視線との向き合わせのために視線方向を何れの方向に変化させるべきかをユーザに理解させ易くなる。

また、本技術に係る画像処理方法は、撮像された被写体を三次元空間上で表した三次元情報を取得し、前記三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成し、前記仮想視点画像を生成するときに前記被写体の動きに追従して前記視点を設定する画像処理装置の画像処理方法である。

このような画像処理方法によっても、上記した本技術に係る画像処理装置と同様の作用が得られる。

また、本技術に係るプログラムは、撮像された被写体を三次元空間上で表した三次元情報を取得し、前記三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成し、前記仮想視点画像を生成するときに前記被写体の動きに追従して前記視点を設定することをコンピュータ装置に実行させるプログラムである。

このようなプログラムにより、上記した本技術に係る画像処理装置が実現される。

本技術によれば、仮想視点画像の生成に係る作業負担の軽減を図ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

実施形態としての画像処理装置を備えた画像処理システムの構成例を示した図である。 実施形態としての画像処理装置が備える仮想視点画像生成部の機能ブロック図である。 仮想視点画像の視点についての説明図である。 被写体の簡易モデルについての説明図である。 実施形態における選手属性管理情報を例示した図である。 実施形態における被写体解析情報を例示した図である。 実施形態における「被写体を観察する視点」に対応した視点及び視線方向の設定例を説明するための図である。 実施形態における「被写体から外方を観察する視点」に対応した視点及び視線方向の設定例を説明するための図である。 複数の候補視点画像の表示手法についての説明図である。 実施形態における簡易設定モードについての説明図である。 実施形態としての視点設定手法を実現するための具体的な処理の手順を示したフローチャートである。 仮想視点画像として複数の選手の動きに追従する画像を得る場合に対応した設定例の説明図である。 一つの注目被写体に対する視点設定についての変形例を説明するための図である。 第二変形例における視線方向の設定手法についての説明図である。 顔の向きのみが取得できた場合において、被写体が移動状態であるときの視線方向の設定手法の例を示した図である。 被写体の身体向きについての説明図である。 顔の向きと姿勢の双方が取得できた場合において、被写体が移動状態であるときの視線方向の設定手法の例を示した図である。 第二変形例としての視線方向の設定を実現するために行われるべき具体的な処理の手順を示したフローチャートである。 第三変形例としての画像処理システムの構成についての説明図である。 一人称視点による仮想視点画像の視線方向と被写体の視線の向きとの関係を説明するための図である。 第三変形例における被写体の視線の向きの設定手法を説明するための図である。 顔の向きから視線の向きを推定する際の視点のオフセットについての説明図である。 視線方向と視線の向きとのずれが生じている場合における被写体の視野とユーザの視野との関係を例示した図である。 視線方向と視線の向きとのずれに応じた情報報知の一例についての説明図である。 目標方向情報の提示についての説明図である。 視線方向と視線の向きとのずれに応じた情報報知の別例についての説明図である。 被写体の向きに係る解析情報の取得状況に基づき視線の向きの設定手法を選択するための処理についてのフローチャートである。 視線合わせ案内情報の表示に係る処理のフローチャートである。 第五変形例における画像処理システムの構成例を示した図である。 第六変形例における画像処理システムの構成例を示した図である。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図３３に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。

＜１．実施形態の画像処理システム＞
［1-1．画像処理システムの構成］
［1-2．実施形態の視点設定手法］
［1-3．処理手順］
＜２．変形例＞
［2-1．第一変形例］
［2-2．第二変形例］
［2-3．第三変形例］
［2-4．第四変形例］
［2-5．第五変形例］
［2-6．第六変形例］
［2-7．第七変形例］
［2-8．第八変形例］
＜３．実施形態のまとめ＞
＜４．その他変形例＞
＜５．本技術＞

＜１．実施形態の画像処理システム＞
［1-1．画像処理システムの構成］

図１に、本技術に係る実施形態としての画像処理装置１を備えた画像処理システム１００の構成例を示す。
画像処理システム１００は、画像処理装置１に加え、複数の撮像装置２と、画像記録装置３と、パラメータ記録装置４と、キャリブレーション装置５と、入力装置６と、表示装置７と、画像記録装置８とを備え、複数の撮像装置２から取得される撮像情報に基づき、三次元空間上の任意視点からの観察画像に相当する仮想視点画像（自由視点画像又は自由視点映像とも呼ばれる）を生成する。

各撮像装置２は、例えばＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）センサ等による撮像素子を有したデジタルカメラ装置として構成され、デジタルデータとしての撮像画像（撮像画像データ）を得る。本例では、各撮像装置２は動画像による撮像画像を得る。
各撮像装置２は、本例ではバスケットボールやサッカー等の球技が行われている様子を撮像するものとされ、それぞれが球技の開催される競技会場における所定位置において所定の向きに配置されている。本例では、撮像装置２の数は３以上としているが、仮想視点画像の生成を可能とする上では撮像装置２の数は少なくとも２以上あればよい。撮像装置２の数を多くし、対象とする被写体をより多くの角度から撮像することで、被写体の三次元復元の精度向上が図られ、仮想視点画像の画質向上を図ることができる。

画像記録装置３は、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等のデータ記録部と、該データ記録部についてデータの記録再生制御を行う制御部とを備え、各撮像装置２による撮像画像を記録し、また記録した撮像画像を要求に応じて外部装置（本例では画像処理装置１）に送信する。

なお、各撮像装置２による撮像画像を画像記録装置３に記録することで、それら撮像画像に基づく仮想視点画像の生成処理を撮像現場（本例では競技会場）で必ずしも行う必要がなくなり、仮想視点画像の閲覧を任意タイミングで行うことが可能となる。但し、この記録は撮像現場で仮想視点画像の生成処理が実施される場合には必ずしも必須ではなく、各撮像装置２の撮像画像を画像処理装置１へ直接的に送信させてもよい。その場合、画像記録装置３での記録処理が省略される分、仮想視点画像の生成を高速化することが可能となる。

本例において、各撮像装置２による撮像画像にはタイムコードが付され、画像処理装置１における後段処理においてフレーム同期をとることが可能とされている。

パラメータ記録装置４は、例えばＳＳＤやＨＤＤ等のデータ記録部と、該データ記録部についてデータの記録再生制御を行う制御部とを備え、各撮像装置２から取得したカメラ内部パラメータを記録し、記録したカメラ内部パラメータを要求に応じて外部装置（本例ではキャリブレーション装置５）に送信する。
仮想視点画像の生成において、カメラ内部パラメータとしては、カメラの焦点距離、画素のアスペクト比、レンズ歪等の情報を取得する。パラメータ記録装置４は、カメラ内部パラメータを取得元の撮像装置２の識別情報とタイムコードとに対応づけて記録する。

キャリブレーション装置５は、パラメータ記録装置４から取得したカメラ内部パラメータに基づいて、キャリブレーションを実施する。ここで、後述する３Ｄモデル生成部１１では、複数の撮像装置２間で共通に観測される点を検出し、三角測量の原理に基づいて被写体の三次元構造を復元する。ここでのキャリブレーションは、そのような被写体の三次元復元の精度を高めるためのカメラパラメータを求める処理を行う。具体的に、キャリブレーション装置５は、取得したカメラ内部パラメータに基づいて各撮像装置２の位置や撮像方向（視線方向）を表すカメラパラメータを抽出する。抽出したカメラパラメータは、何れの撮像装置２についてのパラメータであるかを識別可能な状態で画像処理装置１に転送される。

ここで、上記のカメラパラメータは、本技術における「撮像画像に対応する撮像条件」を表す情報に相当するものであり、上記した各撮像装置２の位置や撮像方向は「撮像画像に対応する撮像条件」の一例である。

なお、上記のようにパラメータ記録装置４でカメラ内部パラメータを記録することで、上記の画像記録装置３の場合と同様に仮想視点画像の閲覧を任意タイミングで行うことが可能となる。但し、パラメータ記録装置４を設けることは必須でなく、各撮像装置２からカメラ内部パラメータを直接的にキャリブレーション装置５へ送信させてもよい。

入力装置６は、画像処理装置１（仮想視点画像生成部１３）に対する操作入力を行うための装置とされ、例えば各種のキーやボタン等の所要の操作子を有する操作部６１と、画像表示が可能な例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスを有した表示部６２とを備えている。
本例における操作部６１は、操作子として、使用者によるタッチ操作を可能とするタッチパネル６１ａを有している。タッチパネル６１ａは、表示部６２における表示画面上に形成され、使用者は表示画面に対するタッチ操作によって各種の情報入力を行うことができる。

表示部６２は、入力装置６で生成された各種の情報や、画像処理装置１から入力された情報の表示を行う。

入力装置６は、操作部６１で得られた使用者による操作情報を画像処理装置１に送信する。

画像処理装置１は、３Ｄモデル生成部１１、被写体解析部１２、及び仮想視点画像生成部１３とを有している。
これら３Ｄモデル生成部１１、被写体解析部１２、及び仮想視点画像生成部１３は、画像処理装置１が有する例えばＤＳＰ（Digital Signal Processor）等による画像処理プロセッサとして構成されている。

３Ｄモデル生成部１１は、画像記録装置３より入力した各撮像装置２による撮像画像とキャリブレーション装置５より入力した撮像装置２ごとのカメラパラメータとに基づいて、被写体を三次元空間上で表した（つまり二次元画像から被写体の三次元構造を復元した）３Ｄモデルデータを生成する。具体的に、３Ｄモデルデータは、被写体を（Ｘ，Ｙ，Ｚ）による三次元座標系で表したデータを含む。
３Ｄモデル生成部１１が生成した３Ｄモデルデータは、被写体解析部１２と仮想視点画像生成部１３とに入力される。

ここで、３Ｄモデル生成部１１が３Ｄモデルデータを生成するために入力する各撮像装置２による撮像画像、及び撮像装置２ごとのカメラパラメータは、本技術における「撮像情報」の一例に相当する。
また、上記の３Ｄモデルデータは、撮像された被写体を三次元空間上で表した「三次元情報」の一例に相当する。

被写体解析部１２は、３Ｄモデルデータに基づき、人物（選手）としての被写体について位置や向き、姿勢についての解析を行う。具体的に、被写体解析部１２は、被写体の位置の推定、被写体の簡易モデルの生成、被写体の向き（本例では顔の向き）の推定を行う。また、本例の被写体解析部１２は、被写体の同定処理も行う。具体的には、選手の同定、及び競技ボールの同定を行う。
なお、被写体解析部１２が行う簡易モデルの生成や選手の同定のための処理については後述する。競技ボールの同定は、例えば被写体の形状、サイズ等に基づく基準テンプレートとのマッチング処理等により行うことができる。

仮想視点画像生成部１３は、３Ｄモデル生成部１１より入力した３Ｄモデルデータと被写体解析部１２による被写体解析情報（以下「被写体解析情報Ｉａ」と表記）とに基づき、仮想視点画像を生成する。特に、本実施形態の仮想視点画像生成部１３は、例えば選手としての動く被写体を対象として、該被写体の動きに追従して仮想視点画像の視点の位置を変化させる（設定する）。
また、仮想視点画像生成部１３は、入力装置６からの操作情報に基づいて、仮想視点画像の視点の位置を、上記のような被写体の動きへの追従を維持させつつ変化させる。
ここで、被写体の動きに伴い変化する該被写体の三次元情報と該被写体の解析情報とに基づき、例えば一定の時間間隔（フレームレート）ごとに仮想視点画像の視点位置を設定することにより、ある時点に設定された視点位置は、その直前（異なる時点）に設定された視点位置と異なる。すなわち、被写体の動きに追従して視点位置が変化することにより、結果としてこの視点位置に基づいて生成される仮想視点画像も被写体の動きに追従することになる（画枠内に該被写体を映し続ける画像となる）。

なお、図１に示した画像処理システム１０では、複数の撮像装置２による撮像画像を画像記録装置３において記録するが、この際、記録容量の削減を図るため、例えば注目シーン等としての一部の画像部分（動画部分）のみを記録するようにしてもよい。具体的には、被写体解析部１２による被写体解析の情報を利用して、注目シーンを特定して記録することが考えられる。例えば、注目シーンの特定手法としては、競技ボールの位置情報とゴールの位置情報とに基づきゴールシーンを特定したり、競技ボールの位置情報と選手の位置情報とに基づいて競技ボールがインターセプトされたシーンを特定したりすることが考えられる。

図２は、仮想視点画像生成部１３の機能ブロック図である。
図示のように仮想視点画像生成部１３は、視点設定処理部１３ａ、及びレンダリング処理部１３ｂとしての機能を有している。
視点設定処理部１３ａは、被写体解析部１２による被写体解析情報Ｉａと入力装置６からの操作情報に基づいて、仮想視点画像の視点を設定する。

確認のため、図３を参照して仮想視点画像の視点について述べておく。
図３Ａでは、三次元空間上に設定した所要の視点から被写体を捉えた仮想視点画像のイメージを示している。この場合の仮想視点画像では、被写体Ｓ１が略正面視され、被写体Ｓ２が略背面視されている。
図３Ｂでは、視点の位置を図３Ａの矢印Ｃ方向に変化させ、被写体Ｓ１を略背面視する視点が設定された場合の仮想視点画像のイメージを示している。この図３Ｂの仮想視点画像では、被写体Ｓ２が略正面視され、また図３Ａでは映し出されていなかった被写体Ｓ３やバスケットゴールが映し出されている。

ここで、以下、仮想視点画像における視点を「視点Ｐｖ」と表記する。
本実施形態としての視点Ｐｖの設定手法については後に改めて説明する。

図２において、レンダリング処理部１３ｂは、視点設定処理部１３ａが設定した視点Ｐｖと３Ｄモデルデータとに基づき、視点Ｐｖからの観察画像（二次元画像）である仮想視点画像を生成する。
後述するように、本例では、仮想視点画像として視点Ｐｖから三次元空間上の何れの方向を観察した画像を生成すべきかを使用者の操作に基づき設定可能としている（後述する「内向き」「外向き」の視点モード）。以下、このような視点Ｐｖからの観察方向については、「視線方向Ｄｖ」と表記する。

図１において、仮想視点画像生成部１３（レンダリング処理部１３ｂ）で得られた仮想視点画像は、表示装置７、及び画像記録装置８に送信される。
表示装置７は、例えばＬＣＤや有機ＥＬディスプレイ等のディスプレイデバイスを有した表示部を備え、仮想視点画像の表示を行う。
画像記録装置８は、例えばＳＳＤやＨＤＤ等のデータ記録部と、該データ記録部についてデータの記録再生制御を行う制御部とを備え、仮想視点画像をデータ記録部に記録する。仮想視点画像を画像記録装置８に記録することで、使用者に任意のタイミングで仮想視点画像を閲覧させることが可能となる。

［1-2．実施形態の視点設定手法］

本実施形態では、選手としての動く被写体に追従した視点Ｐｖの設定を行う。このとき、追従対象としての被写体が「注目被写体」として予め設定される。注目被写体の設定は、仮想視点画像生成部１３における視点設定処理部１３ａが行う。
なお、本例では注目被写体が選手としての人とされる場合を例示するが、注目被写体は選手以外の人とされてもよいし、また人の部位の一部や人以外のものを注目被写体として設定することもできる。

注目被写体の設定手法としては下記を挙げることができる。

（１）被写体解析部１２による被写体解析情報Ｉａに基づき、競技ボールを持っている選手を注目被写体として設定する。
（２）所定の背番号又は名前の選手を注目被写体として設定する。
（３）三次元空間上の所定のエリアに位置する選手を注目被写体として設定する。

上記（１）については、被写体解析部１２により同定された競技ボールとしての被写体の位置情報、及び、選手としての被写体の位置情報を用いて行うことができる。例えば、競技ボールの位置に対して最も近い位置の選手を注目被写体として設定する。

上記（２）については、被写体解析部１２による選手の同定処理結果を用いる。

ここで、選手の同定処理を含めた、被写体解析部１２による解析処理について説明しておく。
被写体解析部１２においては、画像解析により対象の被写体、具体的に本例では選手としての被写体及び競技ボールとしての被写体を検出する。この際、検出した被写体に対しては識別子（以下「被写体ＩＤ」と表記）を割り振る。

被写体解析部１２は、選手としての被写体については、被写体の向きを検出する。被写体の向きは、本例では顔検出技術を利用して被写体の顔の向きとして検出する。
また、選手としての被写体については、被写体の姿勢を把握可能な簡易モデルを生成する。簡易モデルは、例えば図４に例示するように、選手としての被写体を、主に関節等の検出点（図中の黒丸部）と検出点を結ぶ線の情報で簡易化したモデルである。
例えば、腰部、頭部、首、手足の関節部分など、主に姿勢に応じて変位する箇所を検出点とする。各検出点は、それぞれ特定の他の検出点と線で結ばれる。各検出点は、それぞれ線で結ばれている検出点が規定されていることで、点と線により人体を表現する簡易モデルが形成される。

後述するように、本例では、このような簡易モデルが表す検出点、すなわち選手の要部位置を表す情報に基づいて視点Ｐｖの設定を行うことが可能とされる。

さらに、被写体解析部１２は、選手としての被写体について、選手の同定処理を行う。
本例では、選手の同定処理は背番号の検出結果に基づき行う。
被写体解析部１２には、例えば図５に示すような選手属性管理情報Ｉｂが記憶されている。図示のように選手属性管理情報Ｉｂは、選手の識別子である選手ＩＤごとに、選手属性情報として例えば選手名、所属チーム、背番号等、選手の属性を表す情報が対応づけられた情報とされる。

被写体解析部１２は、このような選手属性管理情報Ｉｂに基づいて選手の同定処理を行う。具体的には、検出した選手としての被写体について、画像解析により所属チームの判定、及び背番号の識別を行い、選手属性管理情報Ｉｂにおいてこれら所属チーム及び背番号の情報が対応づけられている選手ＩＤを特定する。
ここで、所属チームの判定は、例えばユニフォームや帽子等の選手の装着物の色や配色パターンの差違等に基づいて行うことができる。

なお、選手の同定手法については上記手法に限定されるものではなく、例えば被写体の身体的特徴情報（例えば身長や肩幅、走り方等）についてテンプレートとのマッチングを行う等、多様な手法が考えられる。

図６は、被写体解析部１２が仮想視点画像生成部１３（視点設定処理部１３ａ）に出力する被写体解析情報Ｉａの例を示している。
被写体解析情報Ｉａは、被写体ＩＤごとに、被写体の位置、被写体の種別（本例では選手又は競技ボール）、被写体の向き（選手のみ）、簡易モデル（選手のみ）、及び上記の同定処理で特定した選手ＩＤの情報が対応づけられた情報とされる。

被写体解析部１２は、上記のような被写体解析情報Ｉａを毎フレーム生成し、視点設定処理部１３ａに出力する。このとき、被写体解析情報Ｉａは、３Ｄモデルデータとのフレーム同期が図られるように、例えばタイムコードが対応づけられて視点設定処理部１３ａに出力される。

視点設定処理部１３ａは、上記（２）としての注目被写体の設定をこのような被写体解析情報Ｉａに基づいて行う。
本例においては、視点設定処理部１３ａには、図５に示したものと同様に選手ＩＤごとに選手属性情報が対応づけられた選手属性管理情報Ｉｂが記憶されている。そして、視点設定処理部１３ａは、選手属性管理情報Ｉｂにおける所定の所属チーム及び背番号が対応づけられた選手ＩＤ、又は所定の名前が対応づけられた選手ＩＤを特定し、被写体解析情報Ｉａにおいて該選手ＩＤが対応づけられた被写体を注目被写体として設定する。

上述した（３）については、三次元空間上の所定のエリア、例えば、ゴール近傍となる所定エリアや競技コートのセンターサークル近傍となる所定エリアに位置する選手を注目被写体として設定する。なお、所定エリア内に複数の選手が位置する場合には、予め定められた位置に最も近い選手を注目被写体として設定する等、所定の設定条件に従って一つの注目被写体を設定する。
ここで、（３）について、エリア情報とは、三次元空間上の領域を表す情報である。

続いて、視点設定処理部１３ａによる視点Ｐｖの設定手法について説明する。
先ず、本例では、「視点モード」として、「注目被写体を観察する視点Ｐｖ」が設定されるモードと、「注目被写体から外方を観察する視点Ｐｖ」が設定されるモードとの切り替えが可能とされている。
さらに、「視点設定モード」として、使用者が視点Ｐｖの設定操作を行わずとも自動的に視点Ｐｖの設定が行われる「自動設定モード」と、使用者が簡易な操作により視点Ｐｖ又は視線方向Ｄｖを自由に設定可能な「簡易設定モード」との切り替えが可能とされる。
これら視点モード、視点設定モードの切り替えは、例えば入力装置６（操作部６１）を介した使用者の操作入力に応じて行われる。

先ず、図７及び図８を参照し、「注目被写体を観察する視点Ｐｖ」「注目被写体から外方を観察する視点Ｐｖ」のそれぞれについて、視点Ｐｖ及び視線方向Ｄｖの設定例を説明する。

図７は、「注目被写体を観察する視点Ｐｖ」に対応した視点Ｐｖ及び視線方向Ｄｖの設定例の説明図である。ここでは、図７Ａ、図７Ｂに示す二つの設定例を挙げる。なお、図７及び図８では、注目被写体、競技ボールとしての被写体の符号をそれぞれ「Ｓｔ」「ｓｂ」としている。

先ず、本例では、「注目被写体を観察する視点Ｐｖ」「注目被写体から外方を観察する視点Ｐｖ」に拘わらず、視点Ｐｖの設定にあたっては注目被写体Ｓｔの基準位置Ｐｒを設定する。ここでは、基準位置Ｐｒは、注目被写体Ｓｔの身体的中心に設定する。身体的中心は、例えば両肩間の中心や胴体の上下左右中心（例えば上下中心線と左右中心線の交点）、両足下間の中心等、人物としての被写体の身体的な中心を意味する。
なお、基準位置Ｐｒを被写体の身体的中心に設定することはあくまで一例であり、基準位置Ｐｒとしては、少なくとも被写体の位置に基づいた任意の位置に設定することができる。

図７Ａの設定例は、基準位置Ｐｒを両肩間の中心に設定した例を示している。注目被写体Ｓｔの各肩位置の情報は、被写体解析情報Ｉａにおける簡易モデルの情報から取得することができる。
図７Ａの設定例では、このような両肩間の中心とされた基準位置Ｐｒと同じ高さで、基準位置Ｐｒから注目被写体Ｓｔの「被写体の向き」の方向に所定距離離間した位置に視点Ｐｖを設定する。そして、「注目被写体を観察する視点Ｐｖ」であるため、この場合の視線方向Ｄｖとしては視点Ｐｖから基準位置Ｐｒに向かう方向に設定する（注目被写体Ｓｔの「被写体の向き」の方向とは逆方向に設定する）。
図７Ａの場合、基準位置Ｐｒと視点Ｐｖとの離間距離は、例えば仮想視点画像において注目被写体Ｓｔの少なくとも上半身部が画角内に収まる距離に設定する。例えば、「４０ｃｍ」程度の距離に設定することが望ましい。なお、この「４０ｃｍ」は、撮像素子がＡＰＳ－Ｃサイズであり焦点距離が３５ｍｍ程度である場合の画角を想定した場合に、「２４ｃｍ」程度の距離で上半身部分が該画角内に収まることに基づいたものである。

この図７Ａの設定例によれば、仮想視点画像として、プレー中の選手の動き（移動）に追従しながら選手の上半身部を捉えた臨場感の高い画像を提供することができる。特に、バスケットボール等、手を使用する競技について選手の動きの分析や研究に好適な仮想視点画像を提供することができる。

図７Ｂの設定例は、注目被写体Ｓｔが競技ボールを持っている場合に対応した例である。
本設定例では、注目被写体Ｓｔの身体的中心として設定した基準位置Ｐｒと、競技ボールとしての被写体Ｓｂの位置とを結ぶ直線上で、基準位置Ｐｒから注目被写体Ｓｔの「被写体の向き」の方向に所定距離離間した位置に視点Ｐｖを設定する。なお、ここでは、被写体Ｓｂの位置は、被写体Ｓｂの中心位置としている。この場合も「注目被写体を観察する視点Ｐｖ」であるため、視線方向Ｄｖとしては視点Ｐｖから基準位置Ｐｒに向かう方向に設定する。
図７Ｂの例では、基準位置Ｐｒは注目被写体Ｓｔの顔中心に設定している。
図７Ｂの例において、基準位置Ｐｒと視点Ｐｖとの離間距離は、少なくとも基準位置Ｐｒと被写体Ｓｂの位置までの離間距離よりも大きな距離に設定する。例えば、仮想視点画像において注目被写体の全身が画角内に収まる距離に設定することが考えられ、その場合、基準位置Ｐｒと視点Ｐｖとの離間距離は、例えば「８０ｃｍ」程度の距離とすることが望ましい。

図７Ｂの設定例によれば、プレー中の選手の動きに追従しながら競技ボール越しに注目被写体Ｓｔの顔の表情を捉えた臨場感の高い仮想視点画像を提供することができる。

図８は、「注目被写体から外方を観察する視点Ｐｖ」に対応した視点Ｐｖ及び視線方向Ｄｖの設定例の説明図である。
図８Ａ及び図８Ｂの設定例としても、基準位置Ｐｒを注目被写体Ｓｔの身体的中心に設定する例となる。具体的に、図８Ａの設定例では基準位置Ｐｒを注目被写体Ｓｔの両肩間の中心に設定している。この場合、「注目被写体から外方を観察する視点Ｐｖ」であるため、視点Ｐｖは基準位置Ｐｒと同一位置に設定する。そして、視線方向Ｄｖは、注目被写体Ｓｔの「被写体の向き」の方向に設定する。

図８Ｂの設定例は、注目被写体が競技ボールを持っている場合に対応した例である。
この場合、基準位置Ｐｒは注目被写体Ｓｔの顔中心に設定している。「注目被写体から外方を観察する視点Ｐｖ」であるため、この場合も視点Ｐｖは基準位置Ｐｒと同一位置に設定する。
本例では、視線方向Ｄｖは、視点Ｐｖから被写体Ｓｂの位置（例えば中心位置）に向かう方向として設定する。

図８Ａの設定例によれば、バスケットボール競技等、手を使用する競技について選手の動きの分析や研究に好適な仮想視点画像を提供することができる。
また、図８Ｂの設定例によれば、プレー中の選手の目から見える状況を刻々と映し出した臨場感の高い仮想視点画像を提供することができる。特に、他選手に競技ボールをパスするシーンやシュートシーンなどにおいて、競技ボールに対する選手の挙動を映し出した仮想視点画像を提供でき、選手の動きの分析や研究に好適である。

なお以下、「注目被写体を観察する視点Ｐｖ」については簡略的に「内向き視点」と表記することもある。また「注目被写体から外方を観察する視点Ｐｖ」については簡略的に「外向き視点」と表記することもある。

続いて、「視点設定モード」としての「自動設定モード」と「簡易設定モード」について説明する。
自動設定モードは、例えば上記した図７や図８などの手法によって視点設定処理部１３ａが視点Ｐｖをいわば自動的に設定するモードである。
本例の場合、自動設定モードでは、視点設定処理部１３ａが視点Ｐｖの設定手法を順時切り替えることとしている。具体的に、本例では、注目被写体Ｓｔの設定手法を順時切り替えることで、使用者に対し、順時異なる被写体Ｓを基準とする視点Ｐｖの設定された仮想視点画像が表示されるようにする。

図９Ａは、このような自動設定モード中における注目被写体Ｓｔの切り替えによって使用者に閲覧される仮想視点画像のイメージを示している。
本例では、仮想視点画像生成部１３が生成した仮想視点画像は表示装置７の表示画面、及び入力装置６における表示部６２の表示画面に表示されるため、ここではそれらの画面上に表示される仮想視点画像のイメージを示している。なお、図９Ａでは視点モードが「内向き視点」（注目被写体を観察する視点Ｐｖ）の場合を例示しているが、外向き視点の場合も同様の切り替えが行われる。

本例の自動設定モードでは、上記のように仮想視点画像が順時切り替えて表示される下で、入力装置６に対する所定の入力操作があった場合には、視点Ｐｖの設定手法切り替えを停止する。具体的には、切り替え表示される仮想視点画像のうちから任意の仮想視点画像を選択する操作が行われたことに応じ、注目被写体Ｓｔの設定手法の切り替えを停止する。

本例では、上記の選択操作は、操作部６１におけるタッチパネル６１ａに対する操作として行われる。すなわち、例えばタップやダブルタップ等、タッチパネル６１ａに対する所定のタッチ操作が行われたことに応じ、その時点で表示されている仮想視点画像の視点Ｐｖの設定手法（本例では注目被写体Ｓｔの設定手法）を維持する。

ここで、上記のような挙動は、視点Ｐｖの設定手法が異なる複数の仮想視点画像を候補視点画像として使用者に対して順送りに表示させ、候補視点画像についての選択操作に基づき視点Ｐｖを設定するものと換言することができる。

なお、上記のような候補視点画像の順送り表示手法に代えて、例えば図９Ｂに示すように、複数の候補視点画像を使用者に同時表示させる手法を採ることもできる。
この場合、仮想視点画像生成部１３においては、注目被写体Ｓｔについてそれぞれ異なる設定手法で視点Ｐｖを設定した仮想視点画像を並行して生成する。すなわち、視点設定処理部１３ａがそれぞれ異なる手法で設定した注目被写体Ｓｔについての視点Ｐｖをそれぞれ設定し、レンダリング処理部１３ｂがそれら設定された視点Ｐｖによる仮想視点画像を並行して生成する。そして、これら生成した仮想視点画像を表示装置７や入力装置６の表示部６２に出力する。
表示装置７や表示部６２では、それら複数の仮想視点画像をそれぞれ表示画面内の所定領域に表示する。
この場合、入力装置６の操作部６１は、タッチパネル６１ａに対する所定のタッチ操作が検知された場合には、該タッチ操作が行われた画面領域の情報を仮想視点画像生成部１３に送信する。
仮想視点画像生成部１３は、該画面領域の情報に基づき、タッチ操作により選択された仮想視点画像を特定し、以降は、視点設定処理部１３ａにおいて該特定した仮想視点画像の視点Ｐｖの設定手法により視点Ｐｖの設定を行い、レンダリング処理部１３ｂは、複数の候補視点画像の生成を停止し、該設定された視点Ｐｖによる仮想視点画像を生成、出力する。

次に、「簡易設定モード」について説明する。
本例の簡易設定モードは、注目被写体Ｓｔの基準位置Ｐｒに基づいて、視点Ｐｖの位置又は視線方向Ｄｖを使用者が操作により変更可能とされたモードとされる。

図１０は、簡易設定モードについての説明図である。
簡易設定モードでは、視点モードが「内向き視点」のモードである場合には、使用者の操作に応じ、図示のように基準位置Ｐｒを中心とした球面Ｓｓに沿って視点Ｐｖを変化させる。なお、「内向き視点」のモードであるため、この場合における視線方向Ｄｖは視点Ｐｖから基準位置Ｐｒに向かう方向に設定される。

この場合の視点Ｐｖの変更操作は、例えばタッチパネル６１ａの操作（例えば、視点Ｐｖを移動させたい方向に指をなぞる操作等）、或いは操作部６１に設けた十字キーやジョイスティック等の多方向操作子による操作等とすることができる。
なお、タッチパネル６１ａを用いた入力装置６の形態は、例えばタブレット端末のような装置として実現可能であり、仮想視点画像を閲覧するためのパネルと一体に操作部を設けることが可能であるため、導入のための機材コストを削減できるというメリットがある。
一方、ジョイスティック等のゲームコントローラ式の形態を採る場合には、操作入力のために専用機器を要するが、より細かな入力が可能であるため操作性の向上が図られるメリットがある。

上記のような「内向き視点」の場合に対応した視点Ｐｖの簡易設定について、本例では、基準位置Ｐｒと視点Ｐｖとの離間距離（つまり球面Ｓｓの半径）は固定とする例を挙げるが、該離間距離は操作に応じて可変としてもよい。
また、球面Ｓｓは、必ずしも中心が基準位置Ｐｒと一致するものである必要はなく、「注目被写体を観察する視点Ｐｖ」の観点においては、少なくとも注目被写体Ｓｔの周囲を覆う球面として設定されていればよい。

簡易設定モードにおいて、視点モードが「外向き視点」（注目被写体から外方を観察する視点Ｐｖ）のモードである場合には、視点Ｐｖを基準位置Ｐｒと同一位置に設定した上で、操作に応じて視線方向Ｄｖを変化させる。この場合の視線方向Ｄｖは、図１０に示すものとは逆に、視点Ｐｖから外向き方向となる。

なお、「外向き視点」のモード時における簡易設定モードにおいて、視線方向Ｄｖのみでなく、視点Ｐｖの位置も操作に応じて変化させるようにすることもできる。

上記のような簡易設定モードでは、視点Ｐｖの設定に注目被写体Ｓｔの基準位置Ｐｒを用いるため、使用者が三次元空間上の任意位置に視点Ｐｖを設定する場合と比べて、視点Ｐｖの設定にあたっての操作負担（作業負担）軽減が図られる。

［1-3．処理手順］

図１１のフローチャートを参照し、上記により説明した実施形態としての視点設定手法を実現するための具体的な処理の手順を説明する。
本例では、図１１に示す処理は、ＤＳＰで構成された仮想視点画像生成部１３が実行する。
なお、図１１では自動設定モード時における候補視点画像の表示手法として、図９Ａのような順送り表示手法が採られる場合に対応した処理を例示する。

先ず、ステップＳ１０１で仮想視点画像生成部１３は、視点モードの確認処理として、現在の視点モードが「内向き視点」「外向き視点」の何れのモードであるかを判定し、「内向き視点」のモードであればステップＳ１０２に進み、「外向き視点」のモードであれば後述するステップＳ１１３に進む。

ステップＳ１０２で仮想視点画像生成部１３は、視点設定モードの確認処理として、現在の視点設定モードが「自動設定モード」「簡易設定モード」の何れであるかを判定し、「自動設定モード」であればステップＳ１０３に進み、「簡易設定モード」であれば後述するステップＳ１０７に進む。

ステップＳ１０３で仮想視点画像生成部１３は、注目被写体Ｓｔの設定処理を行う。すなわち、例えば前述した（１）（２）（３）等の手法により注目被写体Ｓｔを設定する。前述のように、本例では注目被写体Ｓｔの設定手法が異なる複数の候補視点画像を順送り表示するため、ステップＳ１０３の処理は、例えば実行ごとに手法を変えて注目被写体Ｓｔの設定を行う。

続くステップＳ１０４で仮想視点画像生成部１３は、候補視点画像の生成を開始する。具体的には、ステップＳ１０３で設定された注目被写体Ｓｔについて、図７で例示したような注目被写体Ｓｔの基準位置Ｐｒに基づいた視点Ｐｖの設定、及び視線方向Ｄｖの設定を行い、設定した視点Ｐｖ及び視線方向Ｄｖによる仮想視点画像の生成を開始する。
なお、ステップＳ１０４で先の図７Ｂで例示した視点Ｐｖの設定手法を採る場合は、ステップＳ１０３の設定処理で前述した（１）の手法により注目被写体Ｓｔが設定されることが条件となる。
また、本例では、基準位置Ｐｒの設定は仮想視点画像生成部１３が行うものとしているが、被写体解析部１２が設定した基準位置Ｐｒの情報を仮想視点画像生成部１３が取得する構成も採り得る。

ステップＳ１０４で候補視点画像の生成が開始されることで、入力装置６における表示部６２において該候補視点画像の表示が開始される。

仮想視点画像生成部１３は、上記のように候補視点画像の生成を開始したことに応じ、ステップＳ１０５及びＳ１０６の処理により、画像選択操作、表示切替タイミングの到来の何れかを待機する。すなわち、入力装置６のタッチパネル６１ａに対する所定操作、候補視点画像の表示切替タイミングの到来の何れかを待機する。なお、候補視点画像の表示切替は、本例では一定の周期で行われる。このため仮想視点画像生成部１３は、ステップＳ１０４で候補視点画像の生成を開始してから一定時間が経過したことに応じ、ステップＳ１０６で表示切替タイミングが到来したと判定する。

ステップＳ１０６において、表示切替タイミングが到来したと判定した場合、仮想視点画像生成部１３はステップＳ１０３に戻る。これにより、注目被写体Ｓｔの設定手法が切り替えられ、異なる被写体を対象として設定された視点Ｐｖによる新たな候補視点画像の生成、及び表示部６２での表示が開始される。
このような候補視点画像の切り替え表示は、ステップＳ１０５で画像選択操作が行われるまで繰り返される。

ステップＳ１０５において、画像選択操作があったと判定した場合、仮想視点画像生成部１３はこの図に示す一連の処理を終える。
これにより、注目被写体Ｓｔが、最新に行われたステップＳ１０３の処理で設定された注目被写体Ｓｔで維持される。

続いて、ステップＳ１０２で「簡易設定モード」と判定した場合の処理を説明する。
ステップＳ１０７で仮想視点画像生成部１３は、ステップＳ１０３と同様に注目被写体の設定処理を行い、続くステップＳ１０８で初期視点による仮想視点画像の生成を開始する。初期視点は、簡易設定モードにおける視点Ｐｖの設定操作（変更操作）を受け付けるにあたって初期的に設定される視点Ｐｖである。初期視点としては、少なくともステップＳ１０７で設定した注目被写体Ｓｔを対象に設定した基準位置Ｐｒに基づく視点Ｐｖであればよい。例えば、図７Ａで説明した手法等により設定すればよい。注目被写体Ｓｔが前述した（１）の手法で設定された場合には、図７Ｂで説明した手法で設定することもできる。

初期視点による仮想視点画像の生成を開始したことに応じ、仮想視点画像生成部１３はステップＳ１０９で視点変更操作を待機する。すなわち、入力装置６の操作部６１からの所定の操作入力、具体的には、視点Ｐｖの変更方向を指示する所定の操作入力を待機する。
視点変更操作があった場合、仮想視点画像生成部１３はステップＳ１１０の視点変更処理として、該操作に応じた視点Ｐｖの変更を行う。具体的に本例では、該操作に応じて、注目被写体Ｓｔの基準位置Ｐｒを中心とした球面Ｓｓに沿って視点Ｐｖを変化させる。

続くステップＳ１１１で仮想視点画像生成部１３は、変更後の視点による仮想視点画像の生成を開始する。これにより、表示部６２や表示装置７において、表示中の仮想視点画像の視点Ｐｖが操作に応じて変更される。

ステップＳ１１１に続くステップＳ１１２で仮想視点画像生成部１３は、処理の終了条件が成立したか否かを判定する。該終了条件としては、例えば仮想視点画像の生成停止を指示する所定の操作入力等を挙げることができる。
終了条件が成立していないと判定した場合、仮想視点画像生成部１３はステップＳ１０９に戻って視点変更操作を待機する。これにより、終了条件が成立するまでの間、視点変更操作に応じて視点Ｐｖの変更が行われる。

ステップＳ１１２において終了条件が成立したと判定した場合、仮想視点画像生成部１３はこの図に示す一連の処理を終える。

続いて、視点モードが「外向き視点」のモードであった場合について説明する。
先の説明から理解されるように、「外向き視点」のモードでは、「内向き視点」のモードと比較して視点Ｐｖが基準位置Ｐｒに設定され、視線方向Ｄｖが視点Ｐｖから外向きとされる点を除き、全体的な処理の流れは上記した「内向き視点」のモード時と同様となる。

先ず、ステップＳ１１３で仮想視点画像生成部１３は、ステップＳ１０２と同様に視点設定モードの別を確認し、「自動設定モード」であれば、ステップＳ１１４以降の処理を実行し、「簡易設定モード」であればステップＳ１１８以降の処理を実行する。

「自動設定モード」時に対応したステップＳ１１４～Ｓ１１７の処理は、上記のように視点Ｐｖや視線方向Ｄｖの設定手法が異なる以外、先のステップＳ１０３～Ｓ１０６の処理と同様となるため重複説明は避ける。

簡易設定モード時において、仮想視点画像生成部１３はステップＳ１１８で、先のステップＳ１０３やＳ１０７と同様に注目被写体の設定処理を行い、続くステップＳ１１９で、初期視点による仮想視点画像の生成を開始する。ステップＳ１１９の処理は、視点Ｐｖや視点方向Ｄｖを外向き視点のモードに対応したものとすること以外は先のステップＳ１０８の処理と同様となる。

続くステップＳ１２０で仮想視点画像生成部１３は、視線方向変更操作を待機する。すなわち、入力装置６の操作部６１からの所定の操作入力、具体的には、視線方向Ｄｖの変更方向を指示する所定の操作入力を待機する。
そして、仮想視点画像生成部１３は、視線方向変更操作があった場合は、ステップＳ１２１で視線方向Ｄｖの変更を行い、ステップＳ１２２で変更後の視線方向Ｄｖによる仮想視点画像の生成を開始する。

ステップＳ１２２に続くステップＳ１２３で仮想視点画像生成部１３は、先のステップＳ１１２と同様に終了条件の成立有無を判定し、終了条件が成立していなければステップＳ１２０に戻って再び視線方向変更操作を待機し、終了条件が成立していればこの図に示す一連の処理を終える。

なお、上記説明では、仮想視点画像生成部１３が注目被写体Ｓｔを自動設定する例を挙げたが、注目被写体Ｓｔは仮想視点画像生成部１３が操作に基づき設定することもできる。
例えば、背番号や名前等、所定の選手属性情報の入力を受け付け、入力された選手属性情報から特定される選手としての被写体を注目被写体Ｓｔとして設定することができる。
或いは、それぞれに異なる選手が映し出された画像を候補画像として表示部６２に順送りで表示（或いは同時表示）させ、操作により選択された候補画像の選手を注目被写体Ｓｔとして設定することもできる。
さらには、使用者が操作により三次元空間上に指定した位置（ターゲット位置）から近い順に選手の画像を順送りで表示（或いは同時表示）させ、選択された画像の選手を注目被写体Ｓｔとして設定することもできる。或いは、この際の選手の順送りは、選手の背番号（又は名前）の順番や、競技ボールの位置に近い順番等とすることもできる。

また、上記では、競技ボールの例として主にバスケットボールを挙げたが、競技ボールとしては、バスケットボール競技やサッカー、野球等で用いられる略球状のボールに限らず、ラグビーやアメリカンフットボール等で用いられる略回転楕円体状のボールや、ホッケーで用いられるパック、バドミントンで用いられるシャトル等も広く含むものとする。

また、上記では、「外向き視点」「内向き視点」による「視点モード」を設ける例を挙げたが、このような「視点モード」を設けることは必須でない。「視点モード」を設けない場合、例えば、上述した順送り表示や同時表示による候補視点画像の表示について、外向き視点による候補視点画像と内向き視点による候補視点画像とを混在させて表示することもできる。

なお、仮想視点画像は、撮像装置２による撮像画像の全フレームについて生成することは必須ではなく、一部のフレームを間引いて生成することもできる。このとき、視点Ｐｖの設定は、全フレームについて行ってもよいし必要な一部のフレームについてのみ行ってもよい。例えば、視点Ｐｖの設定は毎フレーム行い、仮想視点画像のレンダリングは、各フレームに設定された視点Ｐｖの情報に基づき一定間隔のフレームでのみ行うとった例が考えられる。

＜２．変形例＞
［2-1．第一変形例］

以下、実施形態の変形例について説明する。
第一変形例は、視点Ｐｖの設定に係る変形例であり、図１２と図１３の設定例を挙げる。これら図１２、図１３の設定例は、上述した「内向き視点」のモードに対応した視点Ｐｖの設定例となる。

図１２の設定例は、仮想視点画像として複数の選手の動きに追従する画像を得る場合に対応した設定例である。ここでは、３人の選手の動きに追従する場合を例示する。
先ず、図１２Ａに示すように、３人の選手としての被写体Ｓ１、Ｓ２、Ｓ３について、各被写体Ｓ同士の位置を通る直線Ｌ１２、Ｌ１３、Ｌ２３上で、各被写体Ｓから外挿される位置に基準位置Ｐｒ１２、Ｐｒ２１、Ｐｒ１３、Ｐｒ３１、Ｐｒ２３、Ｐｒ３２を設定する。なお、この設定は、例えば仮想視点画像生成部１３が行う。
図示のように、直線Ｌ１２は被写体Ｓ１、Ｓ２の各位置を通る直線、直線Ｌ１３は被写体Ｓ１、Ｓ３の各位置を通る直線、直線Ｌ２３は被写体Ｓ２、Ｓ３の各位置を通る直線である。
基準位置Ｐｒ１２は、直線Ｌ１２上にあって、被写体Ｓ１と被写体Ｓ２との中点から見て被写体Ｓ１の奥側に位置されている。基準位置Ｐｒ２１は、直線Ｌ１２上にあって、被写体Ｓ１と被写体Ｓ２との中点から見て被写体Ｓ２の奥側に位置されている。
基準位置Ｐｒ１３は、直線Ｌ１３上にあって、被写体Ｓ１と被写体Ｓ３との中点から見て被写体Ｓ１の奥側に位置され、基準位置Ｐｒ３１は、直線Ｌ１３上にあって、被写体Ｓ１と被写体Ｓ３との中点から見て被写体Ｓ３の奥側に位置されている。
また、基準位置Ｐｒ２３は、直線Ｌ２３上にあって、被写体Ｓ２と被写体Ｓ３との中点から見て被写体Ｓ２の奥側に位置され、基準位置Ｐｒ３２は、直線Ｌ２３上にあって、被写体Ｓ２と被写体Ｓ３との中点から見て被写体Ｓ３の奥側に位置されている。

上記のような各基準位置Ｐｒを設定した上で、仮想視点画像生成部１３は、図１２Ｂに示すように直線Ｌ１２、Ｌ１３、Ｌ２３の各直線Ｌ同士がなす角度α１、α２、α３をそれぞれ求める。すなわち、直線Ｌ１２と直線Ｌ１３とがなす角度である角度α１、直線Ｌ１２と直線Ｌ２３とがなす角度である角度α２、直線Ｌ１３と直線Ｌ２３とがなす角度である角度α３を求める。
そして、これら角度α１、α２、α３のうち最小の角度を特定し、該最小の角度をなす直線Ｌの組を特定する。つまり図の例では直線Ｌ１３と直線Ｌ２３の組が特定される。

さらに、仮想視点画像生成部１３は、上記のように最小の角度をなす二つの直線Ｌについて、それら直線Ｌ上に設定されている合計四つの基準位置Ｐｒのうち、それら直線Ｌ同士の交点により近い側の二つの基準位置Ｐｒを特定する。つまり、図の例では、直線Ｌ１３上に設定されている基準位置Ｐｒ１３、Ｐｒ３１と、直線Ｌ２３上に設定されている基準位置Ｐｒ２３、Ｐｒ３２のうち、直線Ｌ１３と直線Ｌ２３の交点（つまり被写体Ｓ３の位置）により近い基準位置Ｐｒ３１、Ｐｒ３２が特定される。
その上で仮想視点画像生成部１３は、このように特定した二つの基準位置Ｐｒの中点を視点Ｐｖとして設定する（図１２Ｃ）。このとき、視線方向Ｄｖとしては、視点Ｐｖから直近の被写体（図の例では被写体Ｓ３）の位置に向かう方向に設定する。

なお、上記では、全ての直線Ｌに二つの基準位置Ｐｒを設定した上で視点Ｐｖを設定する例としたが、基準位置Ｐｒは、視点Ｐｖの設定に直接的に用いられる二つのみ（図１２の例では基準位置Ｐｒ３１、Ｐｒ３２）を少なくとも設定すればよい。

上記のような視点Ｐｖの設定により、仮想視点画像として、複数の被写体を画枠内のできる限り中央部に映し出す画像を提供することができる。すなわち、複数の被写体を同時観察し易い仮想視点画像を提供することができる。

なお、４人以上の選手に追従する場合も上記手法と同様の要領で視点Ｐｖを設定することができる。
また、２人の選手に追従する場合には、例えば、選手としての二つの被写体を通る直線に対し所定角度をなす直線上に視点Ｐｖを設定する等の手法を採ることが考えられる。

ここで、図１２で説明した視点Ｐｖの設定手法は、例えば、注目被写体Ｓｔの設定手法として前述した（３）の手法が採られた場合で、所定のエリアに位置する選手が３人以上検出されたケース等に好適である。

図１３は、一つの注目被写体Ｓｔに対する視点Ｐｖの設定についての変形例を説明するための図である。
具体的に、図１３の変形例は、競技ボールを持っている注目被写体Ｓｔに対する視点Ｐｖの設定例であり、この場合の仮想視点画像生成部１３は、競技ボールの到達先、例えばゴールの位置に視点Ｐｖを設定し、視線方向Ｄｖは視点Ｐｖから競技ボールとしての被写体Ｓｂの位置方向に設定する。
なお、ゴールの位置は、例えば被写体解析部１２で解析し、その結果を仮想視点画像生成部１３が取得するものとすればよい。或いは、仮想視点画像生成部１３にゴールの位置情報を予め記憶させておくこともできる。

［2-2．第二変形例］

第二変形例は、「外向き視点」時における視線方向Ｄｖを被写体の向きに係る解析情報に基づき設定するものである。
ここで、以下の説明において、「外向き視点」、すなわち被写体から外方を観察する視点のことを「一人称視点」とも表記する。

一人称視点による仮想視点画像を生成する上では、注目被写体Ｓｔとしての人物が目にしている視覚情報を再現すること、すなわち注目被写体Ｓｔの視野を再現することが望ましい。このため、第二変形例では、一人称視点による仮想視点画像について、その視線方向Ｄｖを注目被写体Ｓｔの向きに係る解析情報に基づいて設定する。

図１４は、第二変形例における視線方向Ｄｖの設定手法についての説明図である。
先ず前提として、本例では、注目被写体Ｓｔの向きに係る解析情報として、顔の向きと姿勢の情報とを用いる。本例における被写体解析部１２は、３Ｄモデル生成部１１が生成した３Ｄモデルデータに基づき、人物としての被写体についてこれら顔の向き、姿勢の推定を行う。

顔の向きは、被写体の顔が向く方向であり、例えば、被写体の顔における目や鼻、口等の各パーツの位置等の情報に基づき推定する。なお、顔の向きの具体的な推定手法については種々の手法が提案されており、特定の手法に限定されない。
姿勢は、前述した被写体の簡易モデルが該当する（図４参照）。後述するように本例では、このような簡易モデルから注目被写体Ｓｔの身体向きを推定する。

ここで、これら顔の向きや姿勢等、被写体の向きに係る解析情報については、例えば撮像装置２等の撮影機材や被写体解析部１２の演算処理能力による影響等、何らかの要因でデータの欠損が生じ得るもので、常時取得できることが保証されるものではない。

このため本例では、注目被写体Ｓｔの向きに係る解析情報の取得状況に応じて、一人称視点による仮想視点画像について視線方向Ｄｖの設定手法を選択する。
具体的には、図１４に示すように、注目被写体Ｓｔの顔の向きと姿勢について、何れも取得できていない状況と、顔の向きのみが取得できている状況と、顔の向きと姿勢の双方が取得できている状況の三つの場合に大別する。そして本例では、これらの各場合について、さらに注目被写体Ｓｔの状態に応じた場合分け、具体的には停止（初期状態）、停止（定常状態）、及び移動の場合分けを行って、それぞれの場合に対応した手法によって視線方向Ｄｖの設定を行う。
ここで、停止（初期状態）について、初期状態とは、注目被写体Ｓｔについて一人称視点としての視点Ｐｖを設定した仮想視点画像（動画像）の開始タイミングを意味する。すなわち、停止（初期状態）とは、該初期状態において注目被写体Ｓｔが停止していることを意味する。
停止（定常状態）は、上記の初期状態以外で、注目被写体Ｓｔが停止している状態を意味する。
なお本例では、注目被写体Ｓｔの位置の情報については常時取得できる前提としている。

先ず、顔の向きと姿勢の何れも取得できない場合について説明する。
顔の向きと姿勢の何れも取得できない場合において、注目被写体Ｓｔが停止（初期状態）の状態のときは、視線方向Ｄｖは予め定めた向きに設定する。具体的に、この場合の視線方向Ｄｖは、コンテンツの種類に応じて予め定めた向きに設定する。例えば、被写体が競技選手でありコンテンツの種類がサッカーやバスケットボール等のゴール競技である場合には、予め定めた向きは、相手陣のゴール方向（自陣の得点源となるゴールの方向）とする。また、コンテンツがテニスやバドミントン等のコート競技である場合には、予め定めた向きは、注目被写体Ｓｔの自陣のコート側から見て相手陣のコート側の方向とする。また、注目被写体Ｓｔが通路を歩いているシーンであれば、予め定めた向きは通路の出口方向とする。

次いで、顔の向きと姿勢の何れも取得できない場合において、注目被写体Ｓｔが移動状態のときは、視線方向Ｄｖは、注目被写体Ｓｔの進行方向とする。注目被写体Ｓｔの進行方向は、注目被写体Ｓｔの位置の変化方向として求める。
なお、上記の進行方向は、注目被写体Ｓｔの位置が変化する方向を意味するものであり、注目被写体Ｓｔの向きに係る解析情報ではなく、位置に係る解析情報に該当する。

さらに、顔の向きと姿勢の何れも取得できない場合において、注目被写体Ｓｔが停止（定常状態）の状態のときは、視線方向Ｄｖは直前結果を保持する。すなわち、停止（初期状態）の状態から停止（定常状態）の状態に遷移した際には、視線方向Ｄｖは上述した「予め定めた向き」で維持され、また移動の状態から停止（定常状態）の状態に遷移した際には、視線方向Ｄｖはそれまでの進行方向で維持される。
なお、停止（定常状態）の状態が所定時間以上継続した際には、視線方向Ｄｖは「予め定めた向き」に変更してもよい。

続いて、顔の向きと姿勢のうち顔の向きのみが取得できた場合について説明する。
顔の向きのみが取得できた場合においては、注目被写体Ｓｔが停止の状態であるとき、つまり初期状態、定常状態を問わず停止の状態のとき、視線方向Ｄｖは顔の向きから推定した向きとする。具体的に、この際の視線方向Ｄｖは、処理対象時刻を含む特定期間内における顔の向きの代表値とする。
ここで、「処理対象時刻」は、本例では処理対象としているフレームを意味し、処理対象時刻を含む特定期間とは、処理対象のフレームを含む複数フレームの期間を意味する。本例では、処理対象時刻を含む特定期間としては、処理対象時刻から過去側の期間のみでなく、処理対象時刻から未来側の期間を含む期間としている。
顔の向きの代表値としては、例えば上記特定期間内における顔の向きの平均値を用いる。すなわち、例えば上記特定期間が、処理対象のフレームを基準とした過去側３フレーム、及び未来側３フレームの計７フレームの期間であるとしたとき、顔の向きの平均値は、これら７つの各フレームについて得られた顔の向きの値の平均値とする。
或いは、顔の向きの代表値としては、上記特定期間内における顔の向きの中央値とすることもできる。ここで、中央値は、有限個のデータを小さい順に並べたとき中央に位置する値を意味する。例えば、上記特定期間を上記した７つのフレームによる期間として、各フレームの時刻を過去から未来側にかけて時刻［ｔ－３］［ｔ－２］［ｔ－１］［ｔ］［ｔ＋１］［ｔ＋２］［ｔ＋３］としたとき、これら時刻ごとの顔の向きの値が仮に「５」「７」「６」「１０」「５」「９」「８」であれば、顔の向きの中央値は、各値を小さい順に並べたときの中央の値、すなわち「５」「５」「６」「７」「８」「９」「１０」の中央に位置する値である「７」となる。なお、有限個のデータの数が偶数であり、中央に位置する値が二つとなる場合、中央値は該二つの値の平均値とする。

また、顔の向きと姿勢のうち顔の向きのみが取得できた場合について、注目被写体Ｓｔが移動の状態であるときは、視線方向Ｄｖは進行方向と進行速度、顔の向き、及び顔の向きの変化速度に基づく向きとする。

具体的に、該移動の状態であるときの視線方向Ｄｖは、図１５に示すように設定する。
先ず、注目被写体Ｓｔの進行速度と顔の向きの変化速度について、それぞれ「速い」「遅い」の組合わせによる計４通りの場合分けを行う。そして、これら４通りの各場合について、さらに注目被写体Ｓｔの進行方向と顔の向きが同じ場合、異なる場合の２通りの場合分けを行い、合計で８通りの場合に分ける。

ここで、注目被写体Ｓｔの進行速度については、例えば単位をｋｍ／ｈ（時）として求め、また顔の向きの変化速度については、例えば単位をｄｅｇ／ｓ（秒）として求める。そして、進行速度についての閾値ＴＨｓ、及び顔の向きの変化速度についての閾値ＴＨｆをそれぞれ定めておき、これら閾値ＴＨｓ、閾値ＴＨｆとの大小関係を比較した結果に基づきそれぞれの速度の「遅い」「速い」を判定する。例えば、進行速度、顔の向きの変化速度が閾値ＴＨｓ未満、閾値ＴＨｆ未満であればそれぞれ「遅い」の判定結果を、閾値ＴＨｓ以上、閾値ＴＨｆ以上であればそれぞれ「速い」の判定結果を得る。
進行速度について、「遅い」の目安としては、例えば平均的な歩行速度である５ｋｍ／ｈ程度を挙げることができ、「速い」の目安として例えばジョギング程度の速度である１２ｋｍ／ｈ程度を挙げることができる。
また、顔の向きの変化速度について、「遅い」の目安は例えば５０ｄｅｇ／ｓ程度を挙げることができ、「速い」の目安は例えば９０ｄｅｇ／ｓ程度を挙げることができる。
なお、閾値ＴＨｓ、閾値ＴＨｆについては、例えばコンテンツの種類等に応じて可変とすることもできる。

また、進行方向と顔の向きの「同じ」「異なる」については、それぞれの代表値（特定期間内での代表値）を基準として判定する。

図１５に示す通り、本例では、進行速度と顔の向きの変化速度が共に「遅い」場合において、進行方向と顔の向きが同じであるときは、視線方向Ｄｖは進行方向に設定し、また同場合において、進行方向と顔の向きが異なるときは、視線方向Ｄｖは顔の向きの代表値に設定する。
また、進行速度が「遅い」、顔の向きの変化速度が「速い」場合において、進行方向と顔の向きが同じであるときは、視線方向Ｄｖは進行方向に設定し、また同場合において、進行方向と顔の向きが異なるときは、視線方向Ｄｖは顔の向きの代表値に設定する。
すなわち、進行速度が「遅い」場合には、顔の向きの変化速度に拘わらず、進行方向と顔の向きが同じであれば視線方向Ｄｖを進行方向に設定し、進行方向と顔の向きが異なれば視線方向Ｄｖを顔の向きの代表値に設定する。

次いで、進行速度が「速い」、顔の向きの変化速度が「遅い」場合において、進行方向と顔の向きが同じであるときは、視線方向Ｄｖは進行方向に設定し、また同場合において、進行方向と顔の向きが異なるときは、視線方向Ｄｖは顔の向きの代表値に設定する。
また、進行速度と顔の向きの変化速度が共に「速い」場合においては、進行方向と顔の向きが同じであるか否かに拘わらず、視線方向Ｄｖは進行方向に設定する。
すなわち、進行速度が「速い」状況においては、顔の向きの変化速度が遅ければ視線方向Ｄｖを顔の向きに追従させ、顔の向きの変化速度が速ければ視線方向Ｄｖを顔の向きに追従させず、進行方向に設定するものとしている。これにより、仮想視点画像の表示内容が目まぐるしく変化することの防止が図られ、仮想視点画像を観察するユーザの違和感や疲労（例えば目の疲れ等）の緩和を図ることができる。

続いて、図１４において、顔の向きと姿勢の双方が取得できた場合における視線方向Ｄｖの設定手法を説明する。
該場合において、注目被写体Ｓｔが停止の状態（この場合も初期状態、定常状態を問わず）であるときは、視線方向Ｄｖは姿勢から推定した向きに設定する。
また、注目被写体Ｓｔが移動の状態であれば、視線方向Ｄｖは姿勢から推定した向き、該向きの変化速度、及び進行方向に基づく向きに設定する。

本例では、注目被写体Ｓｔの姿勢から推定される向きとして、注目被写体Ｓｔの身体向きの推定を行う。
この身体向きは、被写体解析部１２で得られる注目被写体Ｓｔの簡易モデルから推定されるもので、具体的には、図１６に示すように、簡易モデルにおける胴体部（例えば四角形）の法線方向として求められる。ここで、該法線方向としては互いが逆方向の関係となる二つの方向が存在するが、身体向きとしては、該法線方向のうち、注目被写体Ｓｔの鼻が存在する側の方向を選択する。すなわち、ここでの身体向きとは、注目被写体Ｓｔの正面の向きと換言できるものである。

ここで、本例では、注目被写体Ｓｔの簡易モデルは、注目被写体Ｓｔの顔の向きの情報を用いて生成される。すなわち、該簡易モデルは顔の向きの情報が得られる場合に生成されるものである。
このため本例では、注目被写体Ｓｔの向きに係る解析情報の取得状況について、図１４に示したような場合分けを行っている。

図１７は、顔の向きと姿勢の双方が取得でき、注目被写体Ｓｔが移動の状態であった場合における視線方向Ｄｖの設定手法についての説明図である。
図示のように該場合については、身体向きの変化速度の「遅い」「速い」による場合分けを行うと共に、身体向きの変化速度が「速い」場合について、さらに進行方向と身体向きの「同じ」「異なる」による場合分けを行っている。

身体向きの変化速度については、例えば単位をｄｅｇ／ｓとして求める。身体向きの変化速度の「遅い」「速い」の判定については、該変化速度についての閾値ＴＨｂを定めておき、該閾値ＴＨｂとの比較結果に基づき行う。例えば、該変化速度が閾値ＴＨｂ未満であれば「遅い」、閾値ＴＨｂ以上であれば「速い」の判定結果を得る。
身体向きについては、上述した顔の向きとの比較で下肢や体幹の旋回速度も加わりより速い回転が可能となるので、その点を考慮して閾値ＴＨｂは上述した閾値ＴＨｆよりも大きな値とすることが考えられる。
なお、閾値ＴＨｂについてもコンテンツの種類等に応じて可変とすることもできる。

また、進行方向と身体向きの「同じ」「異なる」の判定において、進行方向及び身体向きは共に特定期間内における代表値を用いる。

上記した場合ごとの視線方向Ｄｖの設定については、先ず、身体向きの変化速度が「遅い」場合については、視線方向Ｄｖは身体向きの代表値とする。
一方、身体向きの変化速度が「速い」場合において、進行方向と身体向きとが「同じ」場合は、視線方向Ｄｖは身体向きの代表値とし、進行方向と身体向きとが「異なる」場合は、視線方向Ｄｖは進行方向とする。
このように身体向きについても、変化速度が「速い」場合には、視線方向Ｄｖを向きの変化に追従させないようにしている。

図１８のフローチャートを参照し、上記により説明した視線方向Ｄｖの設定を実現するために行われるべき具体的な処理の手順を説明する。
なお、本例において、図１８に示す処理の実行主体は仮想視点画像生成部１３である。

先ず、仮想視点画像生成部１３はステップＳ２０１で、顔の向きが取得できているか否かを判定する。すなわち、被写体解析部１２より注目被写体Ｓｔの顔の向きの情報が取得できているか否かを判定する。
顔の向きが取得できていれば、仮想視点画像生成部１３はステップＳ２０２に進み、姿勢の情報が取得できているか否か、すなわち被写体解析部１２より注目被写体Ｓｔの簡易モデルの情報が取得できているか否かを判定する。
これらステップＳ２０１及びＳ２０２の処理により、注目被写体Ｓｔの向きに係る解析情報として顔の向き、姿勢の何れも取得できていない場合、顔の向きのみが取得できている場合、又は顔の向きと姿勢の双方が取得できている場合の何れの場合に該当するかが判定される。

ステップＳ２０１で顔の向きが取得できていないと判定した場合、すなわち顔の向き、姿勢の何れも取得できていない場合、仮想視点画像生成部１３はステップＳ２０３に進み、注目被写体Ｓｔが移動の状態であるか否かを判定する。そして、移動の状態でないと判定した場合、仮想視点画像生成部１３はステップＳ２０４に進んで初期状態であるか否かを判定する。
これらステップＳ２０３及びＳ２０４の処理により、注目被写体Ｓｔの状態が、停止（初期状態）の状態、停止（定常状態）の状態、移動の状態の何れの状態に該当するかが判定される。
なお、注目被写体Ｓｔの移動／停止に係る判定は、被写体解析部１２で得られる注目被写体Ｓｔの位置の情報に基づいて行う。

ステップＳ２０４において、初期状態であると判定した場合（つまり停止（初期状態）の状態の場合）、仮想視点画像生成部１３はステップＳ２０５に進み、視線方向Ｄｖを予め定めた向きに設定して図１８に示す処理を終える。なお、「予め定めた向き」については既に説明済みであるため重複説明は避ける。

また、ステップＳ２０４において、初期状態ではないと判定した場合、仮想視点画像生成部１３はステップＳ２０６に進み、視線方向Ｄｖとして直前結果を保持する処理を行って、図１８に示す処理を終える。

また、先のステップＳ２０３において、注目被写体Ｓｔが移動の状態であると判定した場合、仮想視点画像生成部１３はステップＳ２０７に進み、視線方向Ｄｖを注目被写体Ｓｔの進行方向とし、図１８に示す処理を終える。
なお、視線方向Ｄｖを進行方向とする際、進行方向としては、特定期間内の代表値を用いることもできる。

また、先のステップＳ２０２において、注目被写体Ｓｔの姿勢が取得できていないと判定した場合、すなわち、顔の向きのみが取得できている場合、仮想視点画像生成部１３はステップＳ２０８に進み、注目被写体Ｓｔが移動の状態であるか否かを判定する。
移動の状態でなければ、仮想視点画像生成部１３はステップＳ２１０に進み、視線方向Ｄｖを顔の向きから推定した向きとする、すなわち視線方向Ｄｖを顔の向きの特定期間内における代表値とする処理を行って、図１８に示す処理を終える。

一方ステップＳ２０８で移動の状態であると判定した場合、仮想視点画像生成部１３はステップＳ２１１に進み、視線方向Ｄｖを、注目被写体Ｓｔの進行方向と進行速度、顔の向き、及び顔の向きの変化速度に基づく向きに設定する処理を行い、図１８に示す処理を終える。
なお、注目被写体Ｓｔの進行方向と進行速度、顔の向き、及び顔の向きの変化速度に基づく向きの具体的な設定手法については、既に図１４を参照して説明済みであるため重複説明は避ける。

続いて、ステップＳ２０２において、姿勢を取得できていると判定した場合（顔の向きと姿勢の双方を取得できている場合）、仮想視点画像生成部１３はステップＳ２０９に進み、注目被写体Ｓｔが移動の状態であるか否かを判定する。
移動の状態でなければ、仮想視点画像生成部１３はステップＳ２１２に進み、視線方向Ｄｖを身体向きとする、すなわち視線方向Ｄｖを身体向きの特定期間内における代表値とする処理を行って、図１８に示す処理を終える。

一方ステップＳ２０９で移動の状態であると判定した場合、仮想視点画像生成部１３はステップＳ２１３に進み、視線方向Ｄｖを、注目被写体Ｓｔの身体向き、身体向きの変化速度、及び進行方向に基づく向きに設定する処理を行い、図１８に示す処理を終える。
なお、注目被写体Ｓｔの進行方向と進行速度、身体向き、及び身体向きの変化速度に基づく向きの具体的な設定手法は、図１７を参照して説明した手法と同様の手法であり、重複説明は避ける。

上記のように第二変形例においては、仮想視点画像生成部１３は、一人称視点からの視線方向Ｄｖの設定手法を、注目被写体Ｓｔの向きに係る解析情報の取得状況に基づき選択している。
これにより、例えば注目被写体Ｓｔの顔の向きや身体向き等、被写体の向きに係る解析情報の取得状況に応じた適切な視線方向Ｄｖの設定を行うことが可能とされる。従って、一人称視点の仮想視点画像として、適切な視線方向Ｄｖによる画像を提供することができる。

［2-3．第三変形例］

第三変形例は、仮想視点画像の視線方向Ｄｖと被写体の視線の向きとのずれに応じた情報をユーザに報知するものである。
図１９は、第三変形例としての画像処理システム１００’の構成についての説明図である。
図１に示した画像処理システム１００との差異点は、画像処理装置１に代えて画像処理装置１’が設けられた点と、表示装置７に代えてＨＭＤ（ヘッドマウントディスプレイ）５１が設けられた点である。
なお図示は省略したが、図１９に示す画像処理システム１００’としても、図１に示した画像処理システム１００と同様に、複数の撮像装置２とパラメータ記録装置４とを備えている。また、画像処理システム１００’においても、図１に示した画像記録装置８が設けられてもよい。

画像処理装置１’は、画像処理装置１と比較して、仮想視点画像生成部１３に代えて仮想視点画像生成部１３’が設けられた点が異なる。仮想視点画像生成部１３’は、第二変形例で説明した一人称視点からの視線方向Ｄｖの設定を行うと共に、視線方向Ｄｖと被写体の視線の向きとのずれに応じた報知をユーザに対して行うための報知処理部５２を有している。

画像処理システム１００’においては、ＨＭＤ５１を装着したユーザに、仮想視点画像生成部１３’が生成した一人称視点による仮想視点画像を提示する。
本例の画像処理システム１００’は、ＨＭＤ５１の画面上に表示される仮想視点画像の視線方向Ｄｖを、ＨＭＤ５１が装着されたユーザの頭部の動き（回動）に応じて変更する機能を有する。このために、ＨＭＤ５１には、ユーザの頭部の動きを検出するための例えばジャイロセンサ等の動き検出デバイスが搭載されている。仮想視点画像生成部１３’は、ＨＭＤ５１の動き検出デバイスによる検出信号に基づき、ＨＭＤ５１に出力する仮想視点画像の視線方向Ｄｖを変更可能に構成されている。

ここで、ＨＭＤ５１に一人称視点による仮想視点画像を表示する場合、該仮想視点画像の視線方向Ｄｖとしては、第二変形例で説明したような注目被写体Ｓｔの身体向きや顔の向きに基づく向きに設定することが考えられる。
しかしながら、注目被写体Ｓｔの身体向きや顔の向きは、必ずしも注目被写体Ｓｔの視線の向きと一致するものとは言えず、これら身体向きや顔の向きと視線の向きとが一致しない場合には、ユーザに表示する仮想視点画像として、注目被写体Ｓｔの視野を適切に再現した画像を提供することができない。

図２０に具体例を示す。
先ず、以下の説明では、仮想視点画像の視線方向Ｄｖと注目被写体Ｓｔの視線の向きとの混同防止のため、注目被写体Ｓｔの視線の向きは「視線の向きＤｒｖ」と表記する。
なお確認しておくと、視線方向Ｄｖは、仮想視点画像の視野を決定づける要素の一つであって、視線Ｐｖから何れの方向を観察した画像とするかを定めるためのパラメータである。この意味で、「視線方向Ｄｖ」については、仮想視点画像の「観察方向」と表記することもある。

図２０では、ＨＭＤ５１を装着したユーザと、注目被写体Ｓｔとを対比して示している。
ＨＭＤ５１を装着したユーザは、常に頭部を左右に振るということは考え難く、基本的には、顔が正面側を向いていることを前提とすることができる。そのため、仮想視点画像の視線方向Ｄｖは、注目被写体Ｓｔの身体向きと一致させることが望ましい。このように視線方向Ｄｖを注目被写体Ｓｔの身体向きと一致させることで、ユーザと注目被写体Ｓｔとの間で身体向きを揃えることができる。
なお、第二変形例で説明した視線方向Ｄｖの設定手法によると、身体向きの情報が取得できない場合には顔の向きに基づく視線方向Ｄｖが設定され、顔の向きも取得できない場合には進行方向が視線方向Ｄｖとして設定される。

図２０において、ＨＭＤ５１を装着したユーザの上側に示した注目被写体Ｓｔは、身体向きと視線の向きＤｒｖが一致している。すなわち、この場合における仮想視点画像は、視線方向Ｄｖが注目被写体Ｓｔの視線の向きＤｒｖと一致することになり、注目被写体Ｓｔについての一人称視点による仮想視点画像をユーザに表示した場合、注目被写体Ｓｔの視野と一致した視野による仮想視点画像を表示できる。

一方、ユーザの下側に示した注目被写体Ｓｔは、身体向きと視線の向きＤｒｖが一致していない。従って、この場合における仮想視点画像は、視線方向Ｄｖが注目被写体Ｓｔの視線の向きＤｒｖと一致せず、注目被写体Ｓｔについての一人称視点による仮想視点画像をユーザに表示した場合、注目被写体Ｓｔの視野を再現することができない。

上記のように注目被写体Ｓｔについては、身体向きと視線の向きＤｒｖが不一致の場合もあり、その場合に生成される仮想視点画像によっては、注目被写体Ｓｔの視野が適切に再現されない。

そこで、本例では、注目被写体Ｓｔの視線の向きＤｒｖを推定し、推定した視線の向きＤｒｖと視線方向Ｄｖとのずれに応じた情報、具体的には、これらの方向を一致させるための案内情報をユーザに提示する。

先ず、注目被写体Ｓｔの視線の向きＤｒｖの推定について説明する。
本例では、視線の向きＤｒｖについても、第二変形例の場合と同様に注目被写体Ｓｔの向きに係る解析情報の取得状況に基づき、設定手法を選択するものとしている。

具体的には、図２１に示すように、顔の向き、瞳の向きの取得状況に基づき、視線の向きＤｒｖの設定手法を選択する。
ここで、注目被写体Ｓｔの瞳の向きは、被写体解析部１２により推定する。
ここでの「瞳」とは、瞳孔のみを指す狭義の意味だけでなく、瞳孔と虹彩とを合わせた部分を指す広義の意味も含むものとする。本例では、瞳の向きは、顔の向きの情報と瞳についての検出情報とに基づいて推定される。換言すれば、瞳の向きは顔の向きが取得されている場合に取得可能な情報とされる。

図示のように、本例では、顔の向きと瞳の向きの何れも取得できない場合には、視線の向きＤｒｖについての提示を行わないものとする。すなわち、視線方向Ｄｖと視線の向きＤｒｖとのずれに応じた情報報知は行わない。

また、顔の向きと瞳の向きのうち顔の向きのみが取得できている場合には、顔の向きに基づき視線の向きＤｒｖを推定する。
本例では、顔の向きに対して所定の回転を加えた方向を視線の向きＤｒｖの推定値とする。このような推定値の特定期間内における代表値を視線の向きＤｒｖとして取得する。

なお、顔の向きから視線の向きＤｒｖを推定するにあたっては、視点Ｐｖの位置をオフセットさせてもよい。
図２２は、その一例を示しており、視点Ｐｖの位置が注目被写体Ｓｔの目の位置付近に設定されるように視点Ｐｖにオフセットを加えている。

図２１において、顔の向きと瞳の向きの双方が取得できている場合は、瞳の向きに基づき視線の向きＤｒｖを設定する。具体的に本例では、瞳の向きの特定期間内における代表値を視線の向きＤｒｖとして設定する。

上記のように顔の向きのみ、又は顔の向きと瞳の向きの双方が取得された場合に対応して注目被写体Ｓｔの視線の向きＤｒｖが設定された場合は、仮想視点画像の視線方向（観察方向）Ｄｖと視線の向きＤｒｖのずれを検出し、該ずれに応じた情報をユーザに報知する。

図２３乃至図２６を参照して、視線方向Ｄｖと視線の向きＤｒｖとのずれに応じた情報の報知例を説明する。
図２３は、視線方向Ｄｖと視線の向きＤｒｖとのずれが生じている場合における注目被写体Ｓｔの視野とユーザの視野との関係を例示している。
図中の画像Ｇａは、視点Ｐｖを注目被写体Ｓｔの一人称視点とした場合における全天球画像による仮想視点画像を表している。図中に表示画像Ｇｔとして示す、ＨＭＤ５１に表示させる仮想視点画像は、図示のように画像Ｇａの一部を切り取ったものに相当すると言うことができる。ユーザの視野は、この表示画像Ｇｔにより定まる。

図中の点ｐｇは、視点Ｐｖ（一人称視点）からの視線方向Ｄｖを模式的に表したもので、点ｐｓは注目被写体Ｓｔの視線の向きＤｒｖを模式的に表したものである。これら点ｐｇと点ｐｓとのずれとして表されるように、視線方向Ｄｖと視線の向きＤｒｖとの間にずれが生じていると、表示画像Ｇａにおいて、注目被写体Ｓｔの視野が適切に再現されない。

図２４は、視線方向Ｄｖと視線の向きＤｒｖとのずれに応じた情報報知の一例についての説明図である。
本報知例では、視線方向Ｄｖと視線の向きＤｒｖとのずれに応じた情報として、視線方向Ｄｖを視線の向きＤｒｖに一致させるための視線合わせ案内情報を提示する。具体的には、図２４Ａに示すように、視線方向Ｄｖを視線の向きＤｒｖに一致させるための方向指示情報Ｈ１（本例では矢印状の図形としている）が表示画像Ｇａにおいて提示されるようにする。
図２４Ｂは、図２４Ａに示す表示画像Ｇｔを抽出して示した図である。

このような方向指示情報Ｈ１を提示することで、視線方向Ｄｖと視線の向きＤｒｖとの方向合わせのために視線方向Ｄｖを左右何れの方向に変化させればよいか（本例では頭部を何れの方向に動かせばよいか）をユーザに的確且つ直感的に認識させることができる。

また、本報知例では、上記の方向指示情報Ｈ１と併せて、注目被写体Ｓｔの視線の向きＤｒｖを表す情報としての目標方向情報Ｈ２の提示を行う。
図２５は、図２４Ｂの状態から視線方向Ｄｖが視線の向きに一致する側に変化された場合の表示画像Ｇｔを示している。目標方向情報Ｈ２は、視線の向きＤｒｖが表示画像Ｇｔの視野内にある状態において、表示画像Ｇｔ内に提示する。なお、図中では目標方向情報Ｈ２として十字形状の図形を提示する例を示しているが、目標方向情報Ｈ２の提示態様はこれに限定されるものではない。
このような目標方向情報Ｈ２の提示により、方向合わせの目標をユーザに的確且つ直感的に認識させることができる。

図２６は、視線方向Ｄｖと視線の向きＤｒｖとのずれに応じた情報報知の別例の説明図である。
本報知例では、表示画像Ｇｔにおける注目被写体Ｓｔの視野との重複部分と非重複部分とについて、両部分を異なる表示態様で表示させる。すなわち、図２６Ａに示すように、表示画像Ｇｔにおける注目被写体Ｓｔの視野と重複する部分を重複部分Ａｉ、重複しない部分を非重複部分Ａｏとしたとき、これら重複部分Ａｉと非重複部分Ａｏとを異なる表示態様で表示させる。具体的に、本例では、重複部分Ａｉをカラー表示し、非重複部分Ａｏはモノクロ表示等、重複部分Ａｉよりも彩度を落とした表示とする。
このような重複部分Ａｉと非重複部分Ａｏの表示によると、視線の向きＤｒｖが左右何れの方向に存在しているかが示される。すなわち、これら重複部分Ａｉと非重複部分Ａｏとによる情報の提示は前述した視線合わせ案内情報の提示に該当する。

なお、図２６では方向指示情報Ｈ１や目標方向情報Ｈ２の提示も併せて行う例としたが、本報知例において、これら方向指示情報Ｈ１や目標方向情報Ｈ２の提示を行うことは必須ではない。

上記のような視線合わせ案内情報の報知に係る処理は、図１９に示した報知処理部５２が行う。

図２７は、上記で説明した第三変形例としての処理のうち、注目被写体Ｓｔの向きに係る解析情報の取得状況に基づき視線の向きＤｒｖの設定手法を選択する処理についてのフローチャートである。
本例では、図２７に示す処理は仮想視点画像生成部１３’が実行する。

先ず、仮想視点画像生成部１３’はステップＳ３０１で、顔の向きが取得できているか否かを判定する。顔の向きが取得できていない場合、仮想視点画像生成部１３’は図２７に示す処理を終える。つまりこの場合は、視線の向きＤｒｖは設定されず、視線方向Ｄｖと視線の向きＤｒｖとのずれに応じた情報の報知は行われない。

一方、顔の向きが取得できていれば、仮想視点画像生成部１３’はステップＳ３０２に進み、瞳の向きが取得できているか否かを判定する。
瞳の向きが取得できていない場合（つまり顔の向きのみが取得できている場合）、仮想視点画像生成部１３’はステップＳ３０３に進み、視線の向きＤｒｖを、顔の向きに基づき推定した向きとする処理を行って図２７に示す処理を終える。つまり本例では、顔の向きに対して所定の回転を加えた方向を視線の向きＤｒｖの推定値とし、該推定値の特定期間内における代表値を視線の向きＤｒｖとする処理を行う。

また、ステップＳ３０２で瞳の向きが取得できている場合（顔の向きと瞳の向きの双方が取得できている場合）、仮想視点画像生成部１３’はステップＳ３０４に進み、視線の向きＤｒｖを瞳の向きとする処理を行って図２７に示す処理を終える。具体的に、この場合の視線の向きＤｒｖは、瞳の向きの特定期間内における代表値とする。

図２８は、視線合わせ案内情報の表示に係る処理のフローチャートである。
なお、図２８に示す処理は、本例では仮想視点画像生成部１３’が前述した報知処理部５２の処理として実行する。

図２８において、仮想視点画像生成部１３’はステップＳ４０１で、視線方向（観察方向）Ｄｖと視線の向きＤｒｖとが一致しているか否かを判定し、視線方向Ｄｖと視線の向きＤｒｖとが一致していれば図２８に示す処理を終え、一致していなければステップＳ４０２に処理を進める。

ステップＳ４０２で仮想視点画像生成部１３’は、視線合わせ案内情報の表示処理を実行する。具体的には、先ず、視線方向Ｄｖと視線の向きＤｒｖとのずれを検出し、検出したずれに応じた視線合わせ案内情報を表示画面Ｇｔ内に表示させるための処理を行う。例えば、前述した方向指示情報Ｈ１については、視線方向Ｄｖに対して視線の向きＤｒｖが右方向にずれていれば右向きの矢印、左方向にずれていれば左向きの矢印を生成した仮想視点画像（表示画像Ｇｔ）に重畳表示させるための処理を行う。なお、目標方向情報Ｈ２については、視線の向きＤｒｖが表示画像Ｇｔの視野内にある状態において重畳表示させる。
また、図２６の報知例の場合には、視線の向きＤｒｖに基づいて注目被写体Ｓｔの視野を推定し、推定した視野に基づいて仮想視点画像（表示画像Ｇｔ）における重複部分Ａｉと非重複部分Ａｏとを特定し、例えば重複部分Ａｉをカラー、非重複部分Ａｏを低彩度とした仮想視点画像を生成する。

仮想視点画像生成部１３’は、ステップＳ４０２の表示処理を実行したことに応じ、図２８に示す処理を終える。

なお、第三変形例において、報知する情報は視覚的な情報に限らず、音としての聴覚的情報や、振動等の触覚的情報とすることもできる。例えば、聴覚的情報とする場合、方向指示は、Ｌｃｈ、Ｒｃｈのスピーカのうち片側のｃｈのスピーカのみから音を出力して行うことが考えられる。また、触覚的情報とする場合には、特にＨＭＤ５１等、ユーザが装着する表示デバイスの場合には、左右に触覚刺激デバイス（例えば振動や風圧等、触覚刺激を与えるデバイス）を設けた構成としておき、方向指示は、左右何れかのデバイスのみから触覚刺激を与えることで行う等が考えられる。

［2-4．第四変形例］

第四変形例は、一人称視点と三人称視点の切り替えに係るものである。
ここで、三人称視点は、前述した「内向き視点」、すなわち被写体を観察する視点と同義である。
第四変形例において、仮想視点画像により提供するコンテンツはスポーツであるとする。

三人称視点と一人称視点との切り替えは、コンテンツの種類に応じて行うことができる。
例えば、サッカー等の多人数且つ広い空間を移動する競技については、全体的な競技の把握を優先させて三人称視点を自動設定することが考えられる。また、ボクシング等の少人数且つ狭い空間を移動する競技については、臨場感を優先させて一人称視点を自動設定することが考えられる。
また、注目被写体Ｓｔがインプレイかアウトプレイかの状態差違に応じて三人称視点と一人称視点の切り替えを行うこともできる。例えば、バスケットボール競技であれば、注目被写体Ｓｔがボールを持っていれば一人称視点、ボールをもっていなければ三人称視点に切り替えることが考えられる。
また、注目被写体Ｓｔが野球のバッターであるとき、ボールを打つまでは一人称視点、打った後は三人称視点に切り替えることも考えられる。

また、三人称視点と一人称視点との切り替えは、注目被写体Ｓｔの姿勢の情報の有無に応じて行ってもよい。具体的には、姿勢の情報があれば一人称視点、姿勢の情報がなければ三人称視点に切り替えを行う。

さらに、三人称視点と一人称視点との切り替えは、表示デバイスの種類に応じて行うこともできる。
例えば、仮想視点画像の表示デバイスがＨＭＤ５１等の特定表示デバイスであれば一人称視点、特定表示デバイス以外の場合には三人称視点に切り替えを行う等である。

或いは、三人称視点と一人称視点との切り替えは、コンテンツの再生回数に応じて行うこともできる。例えば、一回目の再生時は三人称視点（又は一人称視点）、２回目以降の再生時には一人称視点（又は三人称視点）に切り替えることが考えられる。

また、三人称視点と一人称視点との切り替えは、視点切替操作以外の操作に連動して行うこともできる。
例えば、再生中に巻き戻し操作が行われたとき、巻き戻し後の再生時に三人称視点から一人称視点、又は一人称視点から三人称視点への切り替えを行うことが考えられる。このような巻き戻し操作に応じた切り替えは、例えばクロスプレーなどもう一度視点を変えて見たい場合等に好適である。

また、実際に視点切り替えを行うのではなく、ユーザに切り替えを提案するための情報を提示してもよい。一例としては、切り替えについての「はい」「いいえ」を選択するポップアップ画面を表示し、ユーザの指示を待ち、一定期間応答が無い場合は「はい」と判定する等の手法がある。或いは、切り替えを行うことについての報知を音声により行い、ユーザの指示を待ち、一定期間、ユーザの音声による応答が無い場合は切り替えを行う意思がないと判定する等の手法も考えられる。なお、上記の一定期間は、スポーツコンテンツであることから短いことが望まれ、例えば２秒程度とすることが考えられる。

［2-5．第五変形例］

第五変形例は、システム構成に係る変形例である。
図２９は、第五変形例における画像処理システム１００Ａの構成例を示している。
なお以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。

第五変形例は、画像処理装置１による処理をクラウドコンピューティングにより実現するようにした例である。
画像処理システム１００Ａにおいては、先の図１に示した画像処理システム１００と比較して、データ記録装置９が追加され、またこのデータ記録装置９と画像処理装置１、入力装置６、表示装置７、及び画像記録装置８がそれぞれネットワーク５０を介して通信可能に接続されている点が異なる。
なお、ネットワーク５０は、例えばインターネットとされる。

データ記録装置９は、例えばＳＳＤやＨＤＤ等のデータ記録部と、該データ記録部についてデータの記録再生制御を行う制御部とを備え、画像記録装置３に記録された各撮像装置２による撮像画像、及びキャリブレーション装置５で得られたカメラパラメータの情報を取得して記録する。

この場合、画像処理装置１は、ネットワーク５０を介して、データ記録装置９から各撮像装置２による撮像画像とカメラパラメータの情報とを取得する。なお、これら撮像画像とカメラパラメータの情報に基づき画像処理装置１が行う処理についてはこれまでで説明したものと同様となるため重複説明は避ける。

なお、画像処理システム１００Ａにおいて、入力装置６は、ネットワーク５０を介さず、画像処理装置１と直接的に通信可能に接続されてもよい。

［2-6．第六変形例］

図３０は、第六変形例における画像処理システム１００Ｂの構成例を示している。
第六変形例は、第五変形例と同様のデータ記録装置９を設けて、仮想視点画像の生成をオフライン処理として実現可能とするものである。
図３０では、一例として、３Ｄモデルデータと被写体解析情報Ｉａとをデータ記録装置９に記録しておき、これら記録された３Ｄモデルデータと被写体解析情報Ｉａを表示装置７Ａが取得して仮想視点画像の生成を行う場合を例示する。

画像処理システム１００Ｂは、画像処理システム１００Ａと比較して、画像処理装置１、入力装置６、画像記録装置８が省略される一方で、３Ｄモデル生成装置１１’、被写体解析装置１２’が設けられると共に、表示装置７に代えて表示装置７Ａが設けられた点が異なる。
データ記録装置９と表示装置７Ａは、ネットワーク５０を介して相互にデータ通信を行うことが可能とされている。

この場合、画像記録装置３に記録された各撮像装置２による撮像画像、及びキャリブレーション装置５で得られたカメラパラメータの情報は３Ｄモデル生成装置１１’に入力される。３Ｄモデル生成装置１１’は、これら画像記録装置３に記録された撮像画像とカメラパラメータの情報に基づいて、３Ｄモデル生成部１１と同様に３Ｄモデルデータを生成する。
被写体解析装置１２’は、３Ｄモデル生成装置１１’が生成した３Ｄモデルデータに基づいて被写体解析部１２と同様の被写体解析処理を行って被写体解析情報Ｉａを得る。
３Ｄモデル生成装置１１’が生成した３Ｄモデルデータ、及び被写体解析情報Ｉａはデータ記録装置９に記録される。

表示装置７Ａは、操作部６１、表示部６２を備えると共に、仮想視点画像生成部１３を備えており、仮想視点画像生成部１３は、データ記録装置９に記録された３Ｄモデルデータ及び被写体解析情報Ｉａをネットワーク５０を介して取得し、仮想視点画像を生成する。そして、生成した仮想視点画像を表示部６２が表示する。この場合も仮想視点画像生成部１３は、操作部６１を介した操作入力に基づいて視点Ｐｖや視線方向Ｄｖの設定を行う。また、画像処理装置１の場合と同様に、設定された「視点モード」や「視点設定モード」の別に応じた処理（図１１参照）を行う。
このような表示装置７Ａは、例えばノート型のパーソナルコンピュータや携帯電話機、タブレット端末等、可搬性を有する情報処理装置として実現することが可能である。

ここで、画像処理システム１００Ｂにおいて、例えばネットワーク５０の通信トラフィックや表示装置７Ａの処理負担等を考慮し、表示装置７Ａは、必要とされる一部シーンのデータのみをデータ記録装置９から取得して仮想視点画像の生成を行うこともできる。この場合、必要とされるシーンの選択は操作部６１を介した操作入力に基づき行うことができる。

また、データ記録装置９における３Ｄモデルデータ及び被写体解析情報Ｉａの記録は、各撮像装置２による撮像画像における一部区間の画像部分についてのみ行うようにしてもよい。

なお、画像処理システム１００Ｂにおいて、表示装置７Ａが生成した仮想視点画像は所要の記録装置に記録することもできる。

また、上記では、表示装置７Ａにおける仮想視点画像生成部１３が視点Ｐｖの設定を行うことを前提としたが、例えば外部装置において設定された視点Ｐｖの情報を表示装置７Ａが取得し、該取得した視点Ｐｖの情報に基づいて仮想視点画像生成部１３が仮想視点画像の生成を行うことも可能である。
この場合、被写体の位置に基づいた視点Ｐｖの設定は、例えば上記の外部装置が少なくとも３Ｄモデルデータと被写体解析情報Ｉａに基づいて行う。そして、表示装置７Ａにおける仮想視点画像生成部１３は、このように設定された視点Ｐｖの情報に基づいて仮想視点画像の生成を行う。なお、この場合も仮想視点画像生成部１３としては、被写体の動きに追従して視点Ｐｖが変化される仮想視点画像を生成していることに変わりはない。

［2-7．第七変形例］

本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。

図３１は、本開示に係る技術が適用され得る手術室システム５１００の全体構成を概略的に示す図である。図３１を参照すると、手術室システム５１００は、手術室内に設置される装置群が視聴覚コントローラ（AV Controller）５１０７及び手術室制御装置５１０９を介して互いに連携可能に接続されることにより構成される。

手術室には、様々な装置が設置され得る。図３１では、一例として、内視鏡下手術のための各種の装置群５１０１と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ５１８７と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ５１８９と、複数の表示装置５１０３Ａ～５１０３Ｄと、レコーダ５１０５と、患者ベッド５１８３と、照明５１９１と、を図示している。

ここで、これらの装置のうち、装置群５１０１は、後述する内視鏡手術システム５１１３に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム５１１３に属する各装置は医療用機器とも呼称される。一方、表示装置５１０３Ａ～５１０３Ｄ、レコーダ５１０５、患者ベッド５１８３及び照明５１９１は、内視鏡手術システム５１１３とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム５１１３に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ５１０７及び／又は手術室制御装置５１０９は、これら医療機器及び非医療機器の動作を互いに連携して制御する。

視聴覚コントローラ５１０７は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム５１００が備える装置のうち、装置群５１０１、シーリングカメラ５１８７及び術場カメラ５１８９は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置とも呼称する）であり得る。また、表示装置５１０３Ａ～５１０３Ｄは、表示情報が出力される装置（以下、出力先の装置とも呼称する）であり得る。また、レコーダ５１０５は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ５１０７は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報等）等である。

具体的には、視聴覚コントローラ５１０７には、装置群５１０１から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ５１８７から、表示情報として、当該シーリングカメラ５１８７によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ５１８９から、表示情報として、当該術場カメラ５１８９によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム５１００に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ５１０７は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。

あるいは、例えば、レコーダ５１０５には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ５１０７によって記録されている。視聴覚コントローラ５１０７は、表示情報として、レコーダ５１０５から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ５１０５には、手術に関する各種の情報も事前に記録されていてもよい。

視聴覚コントローラ５１０７は、出力先の装置である表示装置５１０３Ａ～５１０３Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮影された画像や、手術に関する各種の情報）を表示させる。図示する例では、表示装置５１０３Ａは手術室の天井から吊り下げられて設置される表示装置であり、表示装置５１０３Ｂは手術室の壁面に設置される表示装置であり、表示装置５１０３Ｃは手術室内の机上に設置される表示装置であり、表示装置５１０３Ｄは表示機能を有するモバイル機器（例えば、タブレットＰＣ（Personal Computer））である。

また、図３１では図示を省略しているが、手術室システム５１００には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ５１０７は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。

手術室制御装置５１０９は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置５１０９は、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１の駆動を制御する。

手術室システム５１００には、集中操作パネル５１１１が設けられており、ユーザは、当該集中操作パネル５１１１を介して、視聴覚コントローラ５１０７に対して画像表示についての指示を与えたり、手術室制御装置５１０９に対して非医療機器の動作についての指示を与えることができる。集中操作パネル５１１１は、表示装置の表示面上にタッチパネルが設けられて構成される。

図３２は、集中操作パネル５１１１における操作画面の表示例を示す図である。図３２では、一例として、手術室システム５１００に、出力先の装置として、２つの表示装置が設けられている場合に対応する操作画面を示している。図３２を参照すると、操作画面５１９３には、発信元選択領域５１９５と、プレビュー領域５１９７と、コントロール領域５２０１と、が設けられる。

発信元選択領域５１９５には、手術室システム５１００に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域５１９５に表示されているいずれかの発信元装置から選択することができる。

プレビュー領域５１９７には、出力先の装置である２つの表示装置（Monitor1、Monitor2）に表示される画面のプレビューが表示される。図示する例では、１つの表示装置において４つの画像がＰｉｎＰ表示されている。当該４つの画像は、発信元選択領域５１９５において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、４つの画像が表示される領域の下部には、ステータス表示領域５１９９が設けられており、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）が適宜表示され得る。

コントロール領域５２０１には、発信元の装置に対して操作を行うためのＧＵＩ（Graphical User Interface）部品が表示される発信元操作領域５２０３と、出力先の装置に対して操作を行うためのＧＵＩ部品が表示される出力先操作領域５２０５と、が設けられる。図示する例では、発信元操作領域５２０３には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作（パン、チルト及びズーム）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域５１９５において選択されている発信元の装置がレコーダである場合（すなわち、プレビュー領域５１９７において、レコーダに過去に記録された画像が表示されている場合）には、発信元操作領域５２０３には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのＧＵＩ部品が設けられ得る。

また、出力先操作領域５２０５には、出力先の装置である表示装置における表示に対する各種の操作（スワップ、フリップ、色調整、コントラスト調整、２Ｄ表示と３Ｄ表示の切り替え）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、表示装置における表示を操作することができる。

なお、集中操作パネル５１１１に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル５１１１を介して、手術室システム５１００に備えられる、視聴覚コントローラ５１０７及び手術室制御装置５１０９によって制御され得る各装置に対する操作入力が可能であってよい。

図３３は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ５１８７及び術場カメラ５１８９は、手術室の天井に設けられ、患者ベッド５１８３上の患者５１８５の患部に対して処置を行う術者（医者）５１８１の手元及び手術室全体の様子を撮影可能である。シーリングカメラ５１８７及び術場カメラ５１８９には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明５１９１は、手術室の天井に設けられ、少なくとも術者５１８１の手元を照射する。照明５１９１は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。

内視鏡手術システム５１１３、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１は、図３１に示すように、視聴覚コントローラ５１０７及び手術室制御装置５１０９（図３３では図示せず）を介して互いに連携可能に接続されている。手術室内には、集中操作パネル５１１１が設けられており、上述したように、ユーザは、当該集中操作パネル５１１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。

以下、内視鏡手術システム５１１３の構成について詳細に説明する。図示するように、内視鏡手術システム５１１３は、内視鏡５１１５と、その他の術具５１３１と、内視鏡５１１５を支持する支持アーム装置５１４１と、内視鏡下手術のための各種の装置が搭載されたカート５１５１と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５１３９ａ～５１３９ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５１３９ａ～５１３９ｄから、内視鏡５１１５の鏡筒５１１７や、その他の術具５１３１が患者５１８５の体腔内に挿入される。図示する例では、その他の術具５１３１として、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７が、患者５１８５の体腔内に挿入されている。また、エネルギー処置具５１３５は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５１３１はあくまで一例であり、術具５１３１としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５１１５によって撮影された患者５１８５の体腔内の術部の画像が、表示装置５１５５に表示される。術者５１８１は、表示装置５１５５に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５１３５や鉗子５１３７を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７は、手術中に、術者５１８１又は助手等によって支持される。

（支持アーム装置）
支持アーム装置５１４１は、ベース部５１４３から延伸するアーム部５１４５を備える。図示する例では、アーム部５１４５は、関節部５１４７ａ、５１４７ｂ、５１４７ｃ、及びリンク５１４９ａ、５１４９ｂから構成されており、アーム制御装置５１５９からの制御により駆動される。アーム部５１４５によって内視鏡５１１５が支持され、その位置及び姿勢が制御される。これにより、内視鏡５１１５の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡５１１５は、先端から所定の長さの領域が患者５１８５の体腔内に挿入される鏡筒５１１７と、鏡筒５１１７の基端に接続されるカメラヘッド５１１９と、から構成される。図示する例では、硬性の鏡筒５１１７を有するいわゆる硬性鏡として構成される内視鏡５１１５を図示しているが、内視鏡５１１５は、軟性の鏡筒５１１７を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５１１７の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５１１５には光源装置５１５７が接続されており、当該光源装置５１５７によって生成された光が、鏡筒５１１７の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５１８５の体腔内の観察対象に向かって照射される。なお、内視鏡５１１５は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５１１９の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５１５３に送信される。なお、カメラヘッド５１１９には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５１１９には撮像素子が複数設けられてもよい。この場合、鏡筒５１１７の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５１５３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５１１５及び表示装置５１５５の動作を統括的に制御する。具体的には、ＣＣＵ５１５３は、カメラヘッド５１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１５３は、当該画像処理を施した画像信号を表示装置５１５５に提供する。また、ＣＣＵ５１５３には、図３１に示す視聴覚コントローラ５１０７が接続される。ＣＣＵ５１５３は、画像処理を施した画像信号を視聴覚コントローラ５１０７にも提供する。また、ＣＣＵ５１５３は、カメラヘッド５１１９に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５１６１を介して入力されてもよいし、上述した集中操作パネル５１１１を介して入力されてもよい。

表示装置５１５５は、ＣＣＵ５１５３からの制御により、当該ＣＣＵ５１５３によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５１１５が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５１５５としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５１５５として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５１５５が設けられてもよい。

光源装置５１５７は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５１１５に供給する。

アーム制御装置５１５９は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５１４１のアーム部５１４５の駆動を制御する。

入力装置５１６１は、内視鏡手術システム５１１３に対する入力インタフェースである。ユーザは、入力装置５１６１を介して、内視鏡手術システム５１１３に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５１６１を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５１６１を介して、アーム部５１４５を駆動させる旨の指示や、内視鏡５１１５による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５１３５を駆動させる旨の指示等を入力する。

入力装置５１６１の種類は限定されず、入力装置５１６１は各種の公知の入力装置であってよい。入力装置５１６１としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５１６１としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５１５５の表示面上に設けられてもよい。

あるいは、入力装置５１６１は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５１６１は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５１６１は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５１６１が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５１８１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５１６３は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５１３５の駆動を制御する。気腹装置５１６５は、内視鏡５１１５による視野の確保及び術者の作業空間の確保の目的で、患者５１８５の体腔を膨らめるために、気腹チューブ５１３３を介して当該体腔内にガスを送り込む。レコーダ５１６７は、手術に関する各種の情報を記録可能な装置である。プリンタ５１６９は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム５１１３において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置５１４１は、基台であるベース部５１４３と、ベース部５１４３から延伸するアーム部５１４５と、を備える。図示する例では、アーム部５１４５は、複数の関節部５１４７ａ、５１４７ｂ、５１４７ｃと、関節部５１４７ｂによって連結される複数のリンク５１４９ａ、５１４９ｂと、から構成されているが、図３３では、簡単のため、アーム部５１４５の構成を簡略化して図示している。実際には、アーム部５１４５が所望の自由度を有するように、関節部５１４７ａ～５１４７ｃ及びリンク５１４９ａ、５１４９ｂの形状、数及び配置、並びに関節部５１４７ａ～５１４７ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５１４５は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５１４５の可動範囲内において内視鏡５１１５を自由に移動させることが可能になるため、所望の方向から内視鏡５１１５の鏡筒５１１７を患者５１８５の体腔内に挿入することが可能になる。

関節部５１４７ａ～５１４７ｃにはアクチュエータが設けられており、関節部５１４７ａ～５１４７ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５１５９によって制御されることにより、各関節部５１４７ａ～５１４７ｃの回転角度が制御され、アーム部５１４５の駆動が制御される。これにより、内視鏡５１１５の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５１５９は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５１４５の駆動を制御することができる。

例えば、術者５１８１が、入力装置５１６１（フットスイッチ５１７１を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５１５９によってアーム部５１４５の駆動が適宜制御され、内視鏡５１１５の位置及び姿勢が制御されてよい。当該制御により、アーム部５１４５の先端の内視鏡５１１５を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５１４５は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５１４５は、手術室から離れた場所に設置される入力装置５１６１を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５１５９は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５１４５が移動するように、各関節部５１４７ａ～５１４７ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５１４５に触れながらアーム部５１４５を移動させる際に、比較的軽い力で当該アーム部５１４５を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５１１５を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５１１５が支持されていた。これに対して、支持アーム装置５１４１を用いることにより、人手によらずに内視鏡５１１５の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５１５９は必ずしもカート５１５１に設けられなくてもよい。また、アーム制御装置５１５９は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５１５９は、支持アーム装置５１４１のアーム部５１４５の各関節部５１４７ａ～５１４７ｃにそれぞれ設けられてもよく、複数のアーム制御装置５１５９が互いに協働することにより、アーム部５１４５の駆動制御が実現されてもよい。

（光源装置）
光源装置５１５７は、内視鏡５１１５に術部を撮影する際の照射光を供給する。光源装置５１５７は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５１５７において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５１５７は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５１５７は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５１５７は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図３４を参照して、内視鏡５１１５のカメラヘッド５１１９及びＣＣＵ５１５３の機能についてより詳細に説明する。図３４は、図３３に示すカメラヘッド５１１９及びＣＣＵ５１５３の機能構成の一例を示すブロック図である。

図３４を参照すると、カメラヘッド５１１９は、その機能として、レンズユニット５１２１と、撮像部５１２３と、駆動部５１２５と、通信部５１２７と、カメラヘッド制御部５１２９と、を有する。また、ＣＣＵ５１５３は、その機能として、通信部５１７３と、画像処理部５１７５と、制御部５１７７と、を有する。カメラヘッド５１１９とＣＣＵ５１５３とは、伝送ケーブル５１７９によって双方向に通信可能に接続されている。

まず、カメラヘッド５１１９の機能構成について説明する。レンズユニット５１２１は、鏡筒５１１７との接続部に設けられる光学系である。鏡筒５１１７の先端から取り込まれた観察光は、カメラヘッド５１１９まで導光され、当該レンズユニット５１２１に入射する。レンズユニット５１２１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５１２１は、撮像部５１２３の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５１２３は撮像素子によって構成され、レンズユニット５１２１の後段に配置される。レンズユニット５１２１を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５１２３によって生成された画像信号は、通信部５１２７に提供される。

撮像部５１２３を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５１８１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５１２３を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５１８１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５１２３が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５１２１も複数系統設けられる。

また、撮像部５１２３は、必ずしもカメラヘッド５１１９に設けられなくてもよい。例えば、撮像部５１２３は、鏡筒５１１７の内部に、対物レンズの直後に設けられてもよい。

駆動部５１２５は、アクチュエータによって構成され、カメラヘッド制御部５１２９からの制御により、レンズユニット５１２１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５１２３による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５１２７は、ＣＣＵ５１５３との間で各種の情報を送受信するための通信装置によって構成される。通信部５１２７は、撮像部５１２３から得た画像信号をＲＡＷデータとして伝送ケーブル５１７９を介してＣＣＵ５１５３に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５１８１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５１２７には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５１７９を介してＣＣＵ５１５３に送信される。

また、通信部５１２７は、ＣＣＵ５１５３から、カメラヘッド５１１９の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５１２７は、受信した制御信号をカメラヘッド制御部５１２９に提供する。なお、ＣＣＵ５１５３からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５１２７には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５１２９に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５１５３の制御部５１７７によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５１１５に搭載される。

カメラヘッド制御部５１２９は、通信部５１２７を介して受信したＣＣＵ５１５３からの制御信号に基づいて、カメラヘッド５１１９の駆動を制御する。例えば、カメラヘッド制御部５１２９は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５１２３の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５１２９は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５１２５を介してレンズユニット５１２１のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５１２９は、更に、鏡筒５１１７やカメラヘッド５１１９を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット５１２１や撮像部５１２３等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５１１９について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５１５３の機能構成について説明する。通信部５１７３は、カメラヘッド５１１９との間で各種の情報を送受信するための通信装置によって構成される。通信部５１７３は、カメラヘッド５１１９から、伝送ケーブル５１７９を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５１７３には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５１７３は、電気信号に変換した画像信号を画像処理部５１７５に提供する。

また、通信部５１７３は、カメラヘッド５１１９に対して、カメラヘッド５１１９の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５１７５は、カメラヘッド５１１９から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５１７５は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部５１７５は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５１７５が複数のＧＰＵによって構成される場合には、画像処理部５１７５は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５１７７は、内視鏡５１１５による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５１７７は、カメラヘッド５１１９の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５１７７は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５１１５にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５１７７は、画像処理部５１７５による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５１７７は、画像処理部５１７５によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５１５５に表示させる。この際、制御部５１７７は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５１７７は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５１３５使用時のミスト等を認識することができる。制御部５１７７は、表示装置５１５５に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５１８１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド５１１９及びＣＣＵ５１５３を接続する伝送ケーブル５１７９は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル５１７９を用いて有線で通信が行われていたが、カメラヘッド５１１９とＣＣＵ５１５３との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５１７９を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５１７９によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る手術室システム５１００の一例について説明した。なお、ここでは、一例として手術室システム５１００が適用される医療用システムが内視鏡手術システム５１１３である場合について説明したが、手術室システム５１００の構成はかかる例に限定されない。例えば、手術室システム５１００は、内視鏡手術システム５１１３に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

本開示に係る技術は、以上説明した構成のうち、術場カメラ５１８９やシーリングカメラ５１８７等の撮像装置による撮像画像に基づいて仮想視点画像を生成する場合に好適に適用され得る。具体的には、例えば術場カメラ５１８９やシーリングカメラ５１８７等の撮像装置を複数設け、それら複数の撮像装置による撮像画像に基づいて被写体を三次元空間上で表した三次元情報を取得し、該三次元情報に基づき、三次元空間上の視点からの観察画像を仮想視点画像として生成することが可能である。
例えば、術場カメラ５１８９を用いて仮想視点画像を生成する場合、被写体は術者（執刀医、助手、看護師等）、患者、術器具等が対象となる。シーリングカメラ５１８７を用いて仮想視点画像を生成する場合、被写体は術器具や患者の臓器等が対象となり得る。

［2-8．第八変形例］

本開示に係る技術は、例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図３５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図３５に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図３５では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図３６は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図３６には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図３５に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３５の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図３５に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

＜３．実施形態のまとめ＞

以上説明してきたように実施形態の画像処理装置（同１又は１’又は表示装置７Ａ）は、撮像された被写体を三次元空間上で表した三次元情報に基づき、三次元空間上の視点からの観察画像を仮想視点画像として生成する仮想視点画像生成部（同１３又は１３’）を備え、仮想視点画像生成部は、被写体の動きに追従して前記視点を設定している。

上記のように被写体の動きに追従した視点設定とすることで、視点の設定に係る操作負担を軽減することが可能とされる。例えば、従来では、視点の設定操作は作業者が毎フレーム手動で行うことが一般的とされていたが、これと比較して視点の設定操作負担は大幅に軽減することが可能となる。
従って、仮想視点画像の生成に係る作業負担の軽減を図ることができる。

また、実施形態としての画像処理装置（同１又は１’）においては、三次元情報に基づいて被写体の解析情報を取得する被写体解析部（同１２）を備え、仮想視点画像生成部は、解析情報に基づき、仮想視点画像の視点設定に用いられる基準位置を設定している。

これにより、基準位置に基づいた多様な視点設定が可能とされると共に、視点の被写体への追従が容易化される。
従って、視点の設定自由度の向上を図りつつ、視点の被写体への追従精度の向上を図ることができる。

また、実施形態としての画像処理装置（同１又は１’）においては、複数の撮像装置（同２）の撮像画像と撮像画像に対応する撮像条件とを含む撮像情報に基づいて三次元情報を生成する三次元情報生成部（３Ｄモデル生成部１１）を備えている。

このように複数の撮像装置の撮像画像と撮像条件とを含む撮像情報を用いることで、適切な三次元情報が得られるようにする。
適切な三次元情報が得られることで、仮想視点画像の画質向上を図ることができる。

さらに、実施形態としての画像処理装置においては、被写体として人物が対象とされており、仮想視点画像生成部は、基準位置を人物の身体的中心に設定している。

身体的中心は、例えば人物の両肩間の中心、胴体の上下左右中心、顔中心、或いは足下中心等、人物の身体的な中心を意味する。
例えば、基準位置が人物の両肩中心に設定されることで、例えばバスケットボール競技等、手を使用する競技について特に選手の技能を捉えやすい視点設定が可能とされる。また、基準位置が例えば人物の顔中心に設定されることで、仮想視点画像として選手の顔の表情を映し出す画像や、選手の目から見える状況を刻々と映し出した臨場感の高い画像を得ることが可能とされる。
従って、競技選手等の人物の動きの分析や研究に好適な仮想視点画像を提供することができる。

さらに、実施形態としての画像処理装置においては、仮想視点画像生成部は、視点を被写体の位置情報に基づき設定している。

これにより、被写体を捉え易い視点設定が可能とされる。
従って、選手の動きについての分析や研究に好適な仮想視点画像を提供することができる。

さらにまた、実施形態としての画像処理装置においては、被写体として人物が対象とされており、仮想視点画像生成部は、視点を被写体の属性情報に基づき設定している。

これにより、被写体の属性情報から特定される被写体の位置に基づいて視点を自動設定することが可能とされる。
従って、仮想視点画像の生成に係る作業負担の軽減を図ることができる。
なお、被写体の属性情報は、例えばＩＤや名前等、被写体の属性に関する情報を意味する。

また、実施形態としての画像処理装置においては、仮想視点画像生成部は、視点を三次元空間上に指定されたエリア情報に基づき設定している。

これにより、三次元空間上の特定エリア内に存在する被写体の位置に基づいて視点を自動設定することが可能とされる。
従って、仮想視点画像の生成に係る作業負担の軽減を図ることができる。

さらに、実施形態としての画像処理装置においては、仮想視点画像生成部は、視点を操作入力に基づき設定している。

これにより、視点設定の操作負担軽減を図りながら、使用者の意図を反映した視点設定が可能となる。
従って、視点の設定自由度の向上を図りつつ、仮想視点画像の生成に係る作業負担の軽減を図ることができる。

さらにまた、実施形態としての画像処理装置（表示装置７Ａ）においては、仮想視点画像を表示する表示部（同６２）を備え、表示部は、視点の設定手法が異なる複数の仮想視点画像を候補視点画像として順送りに表示し、仮想視点画像生成部は、候補視点画像についての選択操作に基づき視点を設定している。

これにより、使用者に対して実際に画像内容を確認させながら好みの視点を選択させることが可能とされる。また、順送り表示であるため比較的大きな候補視点画像の表示ができ、使用者に画像細部まで確認させながらの視点選択を行わせることが可能とされる。
従って、仮想視点画像の生成に係る作業負担の軽減を図る上で、使用者が視点選択を行い易い優れたユーザインタフェースを実現することができる。

また、実施形態としての画像処理装置（表示装置７Ａ）においては、仮想視点画像を表示する表示部（同６２）を備え、表示部は、視点の設定手法が異なる複数の仮想視点画像を候補視点画像として並べて表示し、仮想視点画像生成部は、候補視点画像についての選択操作に基づき視点を設定している。

これにより、使用者に対して実際に画像内容を確認させながら好みの視点を選択させることが可能とされる。また、候補視点画像を並べて表示するため使用者に複数の候補視点画像を同時比較させながらの視点選択を行わせることが可能とされる。
従って、仮想視点画像の生成に係る作業負担の軽減を図る上で、使用者が視点選択を行い易い優れたユーザインタフェースを実現することができる。

さらに、実施形態としての画像処理装置においては、仮想視点画像生成部は、視点として、被写体を観察する視点と被写体から外方を観察する視点との切り替えを可能としている。

これにより、設定可能な視点の多様化が図られる。
従って、選手等の被写体の動きを多角的に捉える仮想視点画像を生成することができ、被写体の動きの分析や研究に好適である。

さらにまた、実施形態としての画像処理装置においては、仮想視点画像生成部は、視点を、操作に応じて被写体の周囲を覆う球面に沿って変化させている。

これにより、使用者が操作により設定可能な視点位置の自由度が高まる。
従って、仮想視点画像の生成に係る作業負担の軽減を図りつつ、視点設定位置の自由度向上を図ることができる。

また、実施形態としての画像処理装置（同１’）においては、被写体として人物が対象とされており、仮想視点画像生成部（同１３’）は、視点として、被写体から外方を観察する視点である一人称視点を設定すると共に、一人称視点からの視線方向の設定手法を、被写体の向きに係る解析情報の取得状況に基づき選択している（第二、第三変形例を参照）。

これにより、例えば被写体の顔の向きや身体向き等、被写体の向きに係る解析情報の取得状況に応じた適切な視線方向の設定を行うことが可能とされる。
従って、一人称視点の仮想視点画像として、適切な視線方向による画像を提供することができる。

さらに、実施形態としての画像処理装置においては、仮想視点画像生成部は、視線方向の設定手法を、取得状況と被写体の向きの変化速度とに基づき選択している。

これにより、例えば被写体の顔の向きや身体向き等、被写体の向きに係る解析情報が取得されていても、その変化速度が速い場合には該解析情報を用いずに視線方向を設定する等、被写体の向きの変化速度に応じた視線方向の設定を行うことが可能とされる。
従って、仮想視点画像の視線方向が頻繁に変化する画像を見せられることによるユーザの画像酔いの発生防止を図ることができる。

さらにまた、実施形態としての画像処理装置においては、仮想視点画像生成部は、視線方向を、取得状況と被写体の進行方向とに基づき設定している。

これにより、被写体の向きに係る解析情報が取得できないときは被写体の進行方向（被写体の位置の変化方向）に基づき視線方向を設定することが可能とされる。
例えば競技選手等の人物が進行中（移動中）である場合、該人物は進行方向を向いている可能性が高い。従って、進行方向に基づき視線方向を設定することで、被写体の向きに係る解析情報が得られなくとも、被写体が向いている可能性の高い方向を視線方向とした適切な仮想視点画像を提供することができる。

また、実施形態としての画像処理装置（同１’）においては、被写体として人物が対象とされており、仮想視点画像生成部（同１３’）は、視点として、被写体から外方を観察する視点である一人称視点を設定し、視点からの視線方向を被写体の向きに係る解析情報に基づき設定し、視線方向と被写体の視線の向きとのずれに応じた情報をユーザに報知するための処理を行う報知処理部（同５２）を備えている（第三変形例を参照）。

上記のような視線方向と被写体の視線の向きとのずれに応じた情報の報知が行われることで、ユーザは、仮想視点画像の視線方向を被写体の視線の向きに合わせ易くなる。
従って、ユーザが仮想視点画像の視線方向を被写体の視線の向きに合わせる際の利便性を高めることができる。
また、上述した第三変形例では、被写体の視線の向きの変化に連動して仮想視点画像の視線方向を（自動的に）変化させるものとはせず、視線方向はユーザの操作（本例では頭部の動き）によって変化させる手法としているので、被写体の視線の向きが目まぐるしく変わる場合に視線方向も連動して目まぐるしく変わるといったことの防止が図られ、画像酔いの防止を図ることができる。

さらに、実施形態としての画像処理装置においては、報知処理部は、仮想視点画像の視線方向を被写体の視線の向きに一致させるための視線合わせ案内情報を仮想視点画像と共に表示させるための処理を行っている。

上記のような視線合わせ案内情報が仮想視点画像と共に表示されることで、ユーザは、仮想視点画像の視線方向を被写体の視線の向きに合わせ易くなる。
従って、ユーザが仮想視点画像の視線方向を被写体の視線の向きに合わせる際の利便性を高めることができる。

さらにまた、実施形態としての画像処理装置においては、報知処理部は、被写体の視線の向きに基づき被写体の視野を推定し、仮想視点画像における被写体の視野との重複部分と非重複部分とについて、両部分を異なる表示態様で表示させる処理を行っている。

仮想視点画像における被写体の視野との重複部分と非重複部分とで表示態様が異なることで、被写体の視線との向き合わせのために視線方向を何れの方向に変化させるべきかをユーザに認識させ易くなる。
従って、ユーザが仮想視点画像の視線方向を被写体の視線の向きに合わせる際の利便性を高めることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜４．その他変形例＞

本技術は上記した具体例に限定されるものではなく、多様な変形例が考えられる。
例えば、上記では、被写体解析や視点の設定、仮想視点画像の生成に係る処理がＤＳＰによる画像処理プロセッサにより行われる例としたが、これらの処理のうち少なくとも一部については、ＣＰＵやＧＰＵによるソフトウェア処理として実現することもできる。該ソフトウェア処理は、プログラムに基づき実行され、該プログラムは、上記のＣＰＵやＧＰＵ等のコンピュータ装置が読み出し可能な記憶装置に記憶される。

また、本技術は、競技ボールを用いる競技以外の他の競技が撮像対象とされる場合にも好適に適用でき、さらには、競技以外の他のイベントが撮像対象とされる場合にも好適に適用することができる。
さらに、本技術において、撮像画像としてはＲ（赤）Ｇ（緑）Ｂ（青）による撮像画像のみでなく、近赤外光や赤外光、或いは偏光を受光して得られる撮像画像も含み得るものである。

＜５．本技術＞

なお本技術は以下のような構成も採ることができる。
（１）
撮像された被写体を三次元空間上で表した三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成する仮想視点画像生成部を備え、
前記仮想視点画像生成部は、
前記被写体の動きに追従して前記視点を設定する
画像処理装置。
（２）
前記三次元情報に基づいて前記被写体の解析情報を取得する被写体解析部を備え、
前記仮想視点画像生成部は、前記解析情報に基づき、前記仮想視点画像の視点設定に用いられる基準位置を設定する
前記（１）に記載の画像処理装置。
（３）
複数の撮像装置の撮像画像と前記撮像画像に対応する撮像条件とを含む撮像情報に基づいて前記三次元情報を生成する三次元情報生成部を備える
前記（１）又は（２）に記載の画像処理装置。
（４）
前記被写体として人物が対象とされており、
前記仮想視点画像生成部は、前記基準位置を前記人物の身体的中心に設定する
前記（２）又は（３）に記載の画像処理装置。
（５）
前記仮想視点画像生成部は、前記視点を前記被写体の位置情報に基づき設定する
前記（１）乃至（４）の何れかに記載の画像処理装置。
（６）
前記被写体として人物が対象とされており、
前記仮想視点画像生成部は、前記視点を前記被写体の属性情報に基づき設定する
前記（１）乃至（４）の何れかに記載の画像処理装置。
（７）
前記仮想視点画像生成部は、前記視点を前記三次元空間上に指定されたエリア情報に基づき設定する
前記（１）乃至（４）の何れかに記載の画像処理装置。
（８）
前記仮想視点画像生成部は、前記視点を操作入力に基づき設定する
前記（１）乃至（７）の何れかに記載の画像処理装置。
（９）
前記仮想視点画像を表示する表示部を備え、
前記表示部は、前記視点の設定手法が異なる複数の前記仮想視点画像を候補視点画像として順送りに表示し、
前記仮想視点画像生成部は、前記候補視点画像についての選択操作に基づき前記視点を設定する
前記（８）に記載の画像処理装置。
（１０）
前記仮想視点画像を表示する表示部を備え、
前記表示部は、前記視点の設定手法が異なる複数の前記仮想視点画像を候補視点画像として並べて表示し、
前記仮想視点画像生成部は、前記候補視点画像についての選択操作に基づき前記視点を設定する
前記（８）に記載の画像処理装置。
（１１）
前記仮想視点画像生成部は、前記視点として、前記被写体を観察する視点と前記被写体から外方を観察する視点との切り替えを可能とする
前記（１）乃至（１０）の何れかに記載の画像処理装置。
（１２）
前記仮想視点画像生成部は、前記視点を、操作に応じて前記被写体の周囲を覆う球面に沿って設定する
前記（１）乃至（１１）の何れかに記載の画像処理装置。
（１３）
前記被写体として人物が対象とされており、
前記仮想視点画像生成部は、
前記視点として、前記被写体から外方を観察する視点である一人称視点を設定すると共に、
前記一人称視点からの視線方向の設定手法を、前記被写体の向きに係る解析情報の取得状況に基づき選択する
前記（１）乃至（１２）の何れかに記載の画像処理装置。
（１４）
前記仮想視点画像生成部は、
前記視線方向の設定手法を、前記取得状況と前記被写体の向きの変化速度とに基づき選択する
前記（１３）に記載の画像処理装置。
（１５）
前記仮想視点画像生成部は、
前記視線方向を、前記取得状況と前記被写体の進行方向とに基づき設定する
前記（１３）又は（１４）に記載の画像処理装置。
（１６）
前記被写体として人物が対象とされており、
前記仮想視点画像生成部は、
前記視点として、前記被写体から外方を観察する視点である一人称視点を設定し、前記視点からの視線方向を前記被写体の向きに係る解析情報に基づき設定し、
前記視線方向と前記被写体の視線の向きとのずれに応じた情報をユーザに報知するための処理を行う報知処理部を備える
前記（１）乃至（１５）の何れかに記載の画像処理装置。
（１７）
前記報知処理部は、
前記仮想視点画像の視線方向を前記被写体の視線の向きに一致させるための視線合わせ案内情報を前記仮想視点画像と共に表示させるための処理を行う
前記（１６）に記載の画像処理装置。
（１８）
前記報知処理部は、
前記被写体の視線の向きに基づき前記被写体の視野を推定し、前記仮想視点画像における前記被写体の視野との重複部分と非重複部分とについて、両部分を異なる表示態様で表示させる処理を行う
前記（１６）又は（１７）に記載の画像処理装置。

１００、１００Ａ、１００Ｂ 画像処理システム、１，１’ 画像処理装置、１１ ３Ｄモデル生成部、１１’ ３Ｄモデル生成装置、１２ 被写体解析部、１２’ 被写体解析装置、１３、１３’ 仮想視点画像生成部、１３ａ 視点設定処理部、１３ｂ レンダリング処理部、２ 撮像装置、６ 入力装置、６１ 操作部、６１ａ タッチパネル、６２ 表示部、７、７Ａ 表示装置、５０ ネットワーク、５１ ＨＭＤ（ヘッドマウントディスプレイ）、５２ 報知処理部、Ｐｖ 視点、Ｄｖ 視線方向、Ｐｒ 基準位置、Ｄｒｖ 視線の向き、Ｈ１ 方向指示情報、Ｈ２ 目標方向情報、Ａｉ 重複部分、Ａｏ 非重複部分

Claims (12)

1. 撮像された被写体を三次元空間上で表した三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成する仮想視点画像生成部を備え、
   前記仮想視点画像生成部は、
   前記被写体の動きに追従して前記視点を設定すると共に、前記視点を、操作に応じて前記被写体の周囲を覆う球面に沿って設定する
   画像処理装置。
2. 撮像された被写体を三次元空間上で表した三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成する場合に、前記被写体の動きに追従して前記視点を設定すると共に、前記視点を、操作に応じて前記被写体の周囲を覆う球面に沿って設定する
   画像処理方法。
3. 撮像された被写体を三次元空間上で表した三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成する場合に、前記被写体の動きに追従して前記視点を設定すると共に、前記視点を、操作に応じて前記被写体の周囲を覆う球面に沿って設定する処理を、コンピュータ装置に実行させる
   プログラム。
4. 撮像された被写体を三次元空間上で表した三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成する仮想視点画像生成部を備え、
   前記被写体として人物が対象とされており、
   前記仮想視点画像生成部は、
   前記被写体の動きに追従して前記視点を設定し、前記視点として、前記被写体から外方を観察する視点である一人称視点を設定すると共に、前記一人称視点からの視線方向の設定手法を、前記被写体の向きに係る解析情報の取得状況に基づき選択する
   画像処理装置。
5. 前記仮想視点画像生成部は、
   前記視線方向の設定手法を、前記取得状況と前記被写体の向きの変化速度とに基づき選択する
   請求項４に記載の画像処理装置。
6. 前記仮想視点画像生成部は、
   前記視線方向を、前記取得状況と前記被写体の進行方向とに基づき設定する
   請求項４に記載の画像処理装置。
7. 撮像された人物としての被写体を三次元空間上で表した三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成する場合に、前記被写体の動きに追従して前記視点を設定し、前記視点として、前記被写体から外方を観察する視点である一人称視点を設定すると共に、前記一人称視点からの視線方向の設定手法を、前記被写体の向きに係る解析情報の取得状況に基づき選択する
   画像処理方法。
8. 撮像された人物としての被写体を三次元空間上で表した三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成する場合に、前記被写体の動きに追従して前記視点を設定し、前記視点として、前記被写体から外方を観察する視点である一人称視点を設定すると共に、前記一人称視点からの視線方向の設定手法を、前記被写体の向きに係る解析情報の取得状況に基づき選択する処理を、コンピュータ装置に実行させる
   プログラム。
9. 撮像された被写体を三次元空間上で表した三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成する仮想視点画像生成部を備え、
   前記被写体として人物が対象とされており、
   前記仮想視点画像生成部は、
   前記被写体の動きに追従して前記視点を設定すると共に、前記視点として、前記被写体から外方を観察する視点である一人称視点を設定し、前記視点からの視線方向を前記被写体の向きに係る解析情報に基づき設定し、
   前記視線方向と前記被写体の視線の向きとのずれに応じた情報をユーザに報知するための処理を行う報知処理部を備え、
   前記報知処理部は、
   前記被写体の視線の向きに基づき前記被写体の視野を推定し、前記仮想視点画像における前記被写体の視野との重複部分と非重複部分とについて、両部分を異なる表示態様で表示させる処理を行う
   画像処理装置。
10. 前記報知処理部は、
    前記仮想視点画像の視線方向を前記被写体の視線の向きに一致させるための視線合わせ案内情報を前記仮想視点画像と共に表示させるための処理を行う
    請求項９に記載の画像処理装置。
11. 撮像された人物としての被写体を三次元空間上で表した三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成する場合に、前記被写体の動きに追従して前記視点を設定すると共に、前記視点として、前記被写体から外方を観察する視点である一人称視点を設定し、前記視点からの視線方向を前記被写体の向きに係る解析情報に基づき設定し、
    前記視線方向と前記被写体の視線の向きとのずれに応じた情報をユーザに報知するための処理において、前記被写体の視線の向きに基づき前記被写体の視野を推定し、前記仮想視点画像における前記被写体の視野との重複部分と非重複部分とについて、両部分を異なる表示態様で表示させる
    画像処理方法。
12. 撮像された人物としての被写体を三次元空間上で表した三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成する場合に、前記被写体の動きに追従して前記視点を設定すると共に、前記視点として、前記被写体から外方を観察する視点である一人称視点を設定し、前記視点からの視線方向を前記被写体の向きに係る解析情報に基づき設定する処理と、
    前記視線方向と前記被写体の視線の向きとのずれに応じた情報をユーザに報知するための処理において、前記被写体の視線の向きに基づき前記被写体の視野を推定し、前記仮想視点画像における前記被写体の視野との重複部分と非重複部分とについて、両部分を異なる表示態様で表示させる処理と、をコンピュータ装置に実行させる
    プログラム。

Images