JP7467612B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本開示の技術は、画像処理装置、画像処理方法、及びプログラムに関する。

特開２０１９－０４５９９５号公報には、複数の撮影装置により撮影された複数の画像を用いて生成される仮想視点画像に係る視点の位置を決定する情報処理装置が開示されている。特開２０１９－０４５９９５号公報に記載の情報処理装置は、仮想視点画像の生成に係るシーンを判定する判定手段と、判定手段により判定されたシーンに基づいて、判定手段により判定されたシーンにおける仮想視点画像に係る視点の位置を決定する決定手段と、を有する。

特開２０１９－１９７４０９号公報には、設定された仮想視点に対応する仮想視点画像を生成する生成手段と、仮想視点画像に含まれる１つ以上の表示制御対象のオブジェクトを指定する指定手段と、設定された仮想視点の速度に応じて、仮想視点画像における指定されたオブジェクトの表示態様を制御する表示制御手段と、を有する画像処理装置が開示されている。

特開２０２０－００９０２１号公報には、複数のカメラから得られる多視点画像に基づく仮想視点画像の生成に係る第１仮想視点を設定する設定手段と、設定手段により設定された第１仮想視点とは位置及び向きの少なくとも何れかが異なる第２仮想視点であって、第１仮想視点と共通の時刻に対応する第２仮想視点を示す視点情報を、設定手段により設定された第１仮想視点に基づいて生成する生成手段と、を備える情報処理装置が開示されている。

国際公開２０１８／２１１５７０号には、コンピュータに、複数のカメラにより対象物が複数の方向から撮影された複数の撮像フレームを合成することで、３次元空間内の対象物の３次元モデルを生成し、３次元空間内の対象物の位置を基にして、３次元空間上の仮想カメラを配置する位置を決定する処理を実行させることを特徴とする映像生成プログラムが開示されている。

本開示の技術に係る一つの実施形態は、仮想視点画像で対象物の位置及び向きがそのまま再現される場合に比べ、対象物の位置及び向きの時間変化が仮想視点画像の観賞者に与える不快感を軽減することができる画像処理装置、画像処理方法、及びプログラムを提供する。

本開示の技術に係る第１の態様は、プロセッサと、プロセッサに内蔵又は接続されたメモリと、を備え、プロセッサが、撮像位置及び撮像方向のうちの少なくとも一方が異なる複数の撮像装置によって撮像領域が撮像されることで得られた複数の画像に基づいて、撮像領域に含まれる対象物の位置及び向きを基準にして仮想視点画像を生成して出力し、仮想視点画像の表示態様を位置及び向きのうちの少なくとも一方の時間変化量に応じて制御する画像処理装置である。

本開示の技術に係る第２の態様は、プロセッサが、実際の対象物の位置及び向きの時間変化量よりも少ない時間変化量に応じて表示態様を制御する第１の態様に係る画像処理装置である。

本開示の技術に係る第３の態様は、プロセッサが、時間変化量を平滑化することで位置及び向きに基づく調整位置及び調整向きを生成し、調整位置及び調整向きを基準にして仮想視点画像を生成して出力することで表示態様を制御する第１の態様又は第２の態様に係る画像処理装置である。

本開示の技術に係る第４の態様は、プロセッサは、位置及び向きの時系列の変化量を移動平均することで時間変化量を平滑化する第３の態様に係る画像処理装置である。

本開示の技術に係る第５の態様は、プロセッサが、時間変化量が既定範囲である場合に、仮想視点画像の表示態様を時間変化量に応じて制御する第１の態様から第４の態様の何れか１つの態様に係る画像処理装置である。

本開示の技術に係る第６の態様は、プロセッサが、仮想視点画像を生成する時間間隔を時間変化量に応じて変更する第１の態様から第５の態様の何れか１つの態様に係る画像処理装置である。

本開示の技術に係る第７の態様は、プロセッサが、時間変化量が第１既定値以上の場合に、時間間隔を第１基準時間間隔よりも短くする第６の態様に係る画像処理装置である。

本開示の技術に係る第８の態様は、プロセッサが、時間変化量が第１既定値未満であり、かつ、時間間隔が第２基準時間間隔と異なる場合に、時間間隔を第２基準時間間隔にする第７の態様に係る画像処理装置である。

本開示の技術に係る第９の態様は、プロセッサが、時間変化量が第１既定値以下の場合に、時間間隔を第２基準時間間隔よりも長くする第６の態様に係る画像処理装置である。

本開示の技術に係る第１０の態様は、プロセッサが、時間変化量が第１既定値を超え、かつ、時間間隔が第２基準時間間隔と異なる場合に、時間間隔を第２基準時間間隔にする第９の態様に係る画像処理装置である。

本開示の技術に係る第１１の態様は、プロセッサが、更に、仮想視点画像を生成する時間間隔を、受付デバイスによって受け付けられた指示に従って変更する第６の態様から第１０の態様の何れか１つの態様に係る画像処理装置である。

本開示の技術に係る第１２の態様は、指示が、仮想視点画像の表示速度に関する指示である第１１の態様に係る画像処理装置である。

本開示の技術に係る第１３の態様は、プロセッサが、指示が表示速度を第１基準表示速度よりも遅くする指示の場合に、時間間隔を第３基準時間間隔よりも短くする第１２の態様に係る画像処理装置である。

本開示の技術に係る第１４の態様は、プロセッサが、指示が表示速度を第２基準表示速度よりも速くする指示の場合に、時間間隔を第４基準時間間隔よりも長くする第１２の態様又は第１３の態様に係る画像処理装置である。

本開示の技術に係る第１５の態様は、仮想視点画像の表示領域が、向きと正対している正対領域と正対領域を取り囲む周辺領域とに分けられ、プロセッサが、周辺領域の解像度を正対領域の解像度よりも低くする第１の態様から第１４の態様の何れか１つの態様に係る画像処理装置である。

本開示の技術に係る第１６の態様は、プロセッサが、周辺領域の解像度を正対領域から離れるほど低くする第１５の態様に係る画像処理装置である。

本開示の技術に係る第１７の態様は、プロセッサが、仮想視点画像とは異なる表示用画像であって、撮像領域のうちの少なくとも一部を示す表示用画像を得るための撮像方向と向きとのずれに基づいて、表示用画像と仮想視点画像との位置関係を示す情報を生成して出力する第１の態様から第１６の態様の何れか１つの態様に係る画像処理装置である。

本開示の技術に係る第１８の態様は、位置関係を示す情報が、仮想視点画像の観賞者に対して視覚的に認識させる情報である第１７の態様に係る画像処理装置である。

本開示の技術に係る第１９の態様は、位置関係を示す情報が、表示用画像の位置から仮想視点画像の位置への方向を指し示す矢印である第１８の態様に係る画像処理装置である。

本開示の技術に係る第２０の態様は、プロセッサが、矢印の長さを、表示用画像の位置と仮想視点画像の位置との間の距離に応じて伸縮させる第１９の態様に係る画像処理装置である。

本開示の技術に係る第２１の態様は、位置関係を示す情報が、仮想視点画像の観賞者に対して触覚的に認識させる情報、及び聴覚的に認識させる情報のうちの少なくとも一方を含む情報である第１７の態様から第２０の態様の何れか１つの態様に係る画像処理装置である。

本開示の技術に係る第２２の態様は、プロセッサが、表示用画像がディスプレイに表示されている状態で、表示用画像から仮想視点画像への切替指示が与えられたことを条件に、ディスプレイに対して表示させる画像を表示用画像から仮想視点画像に切り替える制御を行う第１７の態様から第２１の態様の何れか１つの態様に係る画像処理装置である。

本開示の技術に係る第２３の態様は、プロセッサが、仮想視点画像を時系列で並べた表示用画面を生成して出力する第１の態様から第２２の態様の何れか１つの態様に係る画像処理装置である。

本開示の技術に係る第２４の態様は、対象物が、特定の人物であり、位置が、人物の視点位置であり、向きが、人物の視線方向である第１の態様から第２３の態様の何れか１つの態様に係る画像処理装置である。

本開示の技術に係る第２５の態様は、撮像位置及び撮像方向のうちの少なくとも一方が異なる複数の撮像装置によって撮像領域が撮像されることで得られた複数の画像に基づいて、撮像領域に含まれる対象物の位置及び向きを基準にして仮想視点画像を生成して出力すること、並びに、仮想視点画像の表示態様を位置及び向きのうちの少なくとも一方の時間変化量に応じて制御することを含む画像処理方法である。

本開示の技術に係る第２６の態様は、コンピュータに、撮像位置及び撮像方向のうちの少なくとも一方が異なる複数の撮像装置によって撮像領域が撮像されることで得られた複数の画像に基づいて、撮像領域に含まれる対象物の位置及び向きを基準にして仮想視点画像を生成して出力すること、並びに、仮想視点画像の表示態様を位置及び向きのうちの少なくとも一方の時間変化量に応じて制御することを含む処理を実行させるためのプログラムである。

第１及び第２実施形態に係る画像処理システムの外観構成の一例を示す概略斜視図である。 第１及び第２実施形態に係る画像処理システムによって生成される仮想視点画像の一例を示す概念図である。 第１及び第２実施形態に係る画像処理装置の電気系のハードウェア構成の一例を示すブロック図である。 第１及び第２実施形態に係るユーザデバイスの電気系のハードウェア構成の一例を示すブロック図である。 対象人物の視点位置及び視線方向の時間変化の態様の一例、並びに仮想視点画像の時間変化の態様の一例を示す概念図である。 第１実施形態に係る画像処理装置の要部機能の一例を示すブロック図である。 第１実施形態に係る画像生成部の処理内容の一例を示す概念図である。 第１実施形態に係る画像生成部及び出力部の処理内容の一例を示す概念図である。 第１実施形態に係る画像生成部及び視点視線算出部の処理内容の一例を示す概念図である。 第１実施形態に係る視点視線算出部及び取得部の処理内容の一例を示す概念図である。 第１実施形態に係る視点位置視線方向生成部の処理内容の一例を示す概念図である。 第１実施形態に係る画像生成部及び視点視線算出部の処理内容の一例を示す概念図である。 第１実施形態に係る視点視線生成処理の流れの一例を示すフローチャートである。 第１実施形態に係る画像生成出力処理の流れの一例を示すフローチャートである。 第２実施形態に係る変更部の処理内容の一例を示す概念図である。 第２実施形態に係る視点視線生成処理の流れの一例を示すフローチャートである。 図１６Ａに示すフローチャートの続きである。 図１６Ａ及び図１６Ｂに示すフローチャートの続きである。 第２実施形態に係る視点視線生成処理の流れの第１変形例を示すフローチャートである。 図１７Ａに示すフローチャートの続きである。 第２実施形態に係る視点視線生成処理の流れの第２変形例を示すフローチャートである。 第２実施形態に係る変更部の処理内容の変形例を示す概念図である。 図１９に示す変更部の処理内容の具体例を示す概念図である。 仮想視点画像の生成態様及び表示態様の一例を示す概念図である。 図２１に示す仮想視点画像の生成態様及び表示態様の第１変形例を示す概念図である。 画像生成部、位置関係情報生成部、及び出力部の処理内容の一例を示す概念図である。 図２３に示す重畳矢印の長さが短くされた態様の一例を示す概念図である。 別画像から仮想視点画像に切り替える場合の処理内容を示す概念図である。 ユーザデバイスとしてヘッドマウントディスプレイを用いる場合の使用例を示す概念図である。 仮想視点画像が時系列で並べられた表示用画面の態様の一例を示す概念図である。 表示用画面内のうちの正対領域の解像度よりも周辺領域の解像度が低い態様の一例を示す概念図である。 画像処理装置プログラムが記憶されている記憶媒体から画像処理装置のコンピュータに画像処理装置プログラムがインストールされる態様の一例を示すブロック図である。

添付図面に従って本開示の技術の画像処理装置、画像処理方法、及びプログラムに係る実施形態の一例について説明する。

先ず、以下の説明で使用される文言について説明する。

ＣＰＵとは、“Central Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＷＡＮとは、“Wide Area Network”の略称を指す。ＬＡＮとは、“Local Area Network”の略称を指す。３Ｄとは、“3 Dimensions”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。５Ｇとは、“5th Generation”の略称を指す。ＬＴＥとは、“Long Term Evolution”の略称を指す。ＷｉＦｉとは、“Wireless Fidelity”の略称を指す。ＲＴＣとは、“Real Time Clock”の略称を指す。ＦＩＦＯとは、“First In First Out”の略称を指す。ＳＮＴＰとは、“Simple Network Time Protocol”の略称を指す。ＮＴＰとは、“Network Time Protocol”の略称を指す。ＧＰＳとは、“Global Positioning System”の略称を指す。Ｅｘｉｆとは、"Exchangeable image file format for digital still ｃａｍｅｒａｓ”の略称を指す。ＧＮＳＳとは、“Global Navigation Satellite System”の略称を指す。以下では、説明の便宜上、本開示の技術に係る「プロセッサ」の一例として、ＣＰＵを例示しているが、本開示の技術に係る「プロセッサ」は、ＣＰＵ及びＧＰＵ等のように複数の処理装置の組み合わせであってもよい。本開示の技術に係る「プロセッサ」の一例として、ＣＰＵ及びＧＰＵの組み合わせが適用される場合、ＧＰＵは、ＣＰＵの制御下で動作し、画像処理の実行を担う。

また、本明細書の説明において、「一致」とは、完全な一致の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合い（本開示の技術の趣旨に反しない程度の誤差を含めた意味合い）での一致を指す。

［第１実施形態］
一例として図１に示すように、画像処理システム１０は、画像処理装置１２、ユーザデバイス１４、及び複数の撮像装置１６を備えている。ユーザデバイス１４は、ユーザ１８によって使用される。

本第１実施形態では、ユーザデバイス１４の一例として、スマートフォンが適用されている。但し、スマートフォンは、あくまでも一例に過ぎず、例えば、パーソナル・コンピュータであってもよいし、タブレット端末又はヘッドマウントディスプレイ等の携帯型の多機能端末であってもよい。また、本第１実施形態では、画像処理装置１２の一例として、サーバが適用されている。サーバの台数は、１台であってもよいし、複数台であってもよい。サーバは、あくまでも一例に過ぎず、例えば、少なくとも１台のパーソナル・コンピュータであってもよいし、少なくとも１台のサーバと少なくとも１台のパーソナル・コンピュータとの組み合わせであってもよい。このように、画像処理装置１２は、画像処理を実行することが可能な少なくとも１台のデバイスであればよい。

ネットワーク２０は、例えば、ＷＡＮ及び／又はＬＡＮを含んで構成されている。図１に示す例では、図示が省略されているが、ネットワーク２０は、例えば、基地局を含む。基地局は１ヵ所に限らず、複数存在していてもよい。更に、基地局で使用する通信規格には、５Ｇ規格、ＬＴＥ規格、ＷｉＦｉ（８０２．１１）規格、及又はＢｌｕｅｔｏｏｔｈ（登録商標）規格等の無線通信規格が含まれる。ネットワーク２０は、画像処理装置１２とユーザデバイス１４との間で通信を確立し、画像処理装置１２とユーザデバイス１４との間の各種の情報の送受信を行う。画像処理装置１２は、ネットワーク２０を介してユーザデバイス１４からの要求を受け、要求に応じたサービスを、ネットワーク２０を介して、要求元のユーザデバイス１４に提供する。

なお、本第１実施形態では、ユーザデバイス１４とネットワーク２０との間の通信方式、及び画像処理装置１２とネットワーク２０との間の通信方式の一例として、無線通信方式が適用されているが、これはあくまでも一例に過ぎず、有線通信方式であってもよい。

撮像装置１６は、ＣＭＯＳイメージセンサを有する撮像用のデバイスであり、光学式ズーム機能及び／又はデジタルズーム機能が搭載されている。なお、ＣＭＯＳイメージセンサに代えてＣＣＤイメージセンサ等の他種類のイメージセンサを適用してもよい。

複数の撮像装置１６は、サッカー競技場２２内に設置されている。複数の撮像装置１６は、撮像位置及び撮像方向が異なる。図１に示す例では、複数の撮像装置１６の各々が、サッカーフィールド２４を取り囲むように配置されており、サッカーフィールド２４を含む領域を撮像領域として撮像する。撮像装置１６による撮像とは、例えば、撮像領域を含む画角での撮像を指す。

なお、ここでは、複数の撮像装置１６の各々がサッカーフィールド２４を取り囲むように配置されている形態例を挙げているが、本開示の技術はこれに限定されず、例えば、サッカーフィールド２４の全部を取り囲むように複数の撮像装置１６を配置してもよいし、特定の一部を取り囲むように複数の撮像装置１６を配置してもよい。複数の撮像装置１６の位置及び／又は向きは変更可能であり、生成されることがユーザ１８等によって要求された仮想視点画像に応じて決定される。なお、図示は省略するが、少なくとも１台の撮像装置１６が無人式航空機（例えば、マルチ回転翼型無人航空機）に設置されており、サッカーフィールド２４を含む領域を撮像領域として上空から俯瞰した状態で撮像するようにしてもよい。

画像処理装置１２は、管制室３２に設置されている。複数の撮像装置１６及び画像処理装置１２は、ＬＡＮケーブル３０を介して接続されており、画像処理装置１２は、複数の撮像装置１６を制御し、かつ、複数の撮像装置１６の各々によって撮像されることで得られた画像を取得する。なお、ここでは、ＬＡＮケーブル３０による有線通信方式を用いた接続を例示しているが、これに限らず、無線通信方式を用いた接続であってもよい。

サッカー競技場２２には、サッカーフィールド２４を取り囲むように観戦席２６が設けられており、観戦席２６にはユーザ１８が着座している。ユーザ１８は、ユーザデバイス１４を所持しており、ユーザデバイス１４は、ユーザ１８によって用いられる。なお、ここでは、サッカー競技場２２内にユーザ１８が存在している形態例を挙げて説明しているが、本開示の技術はこれに限定されず、ユーザ１８は、サッカー競技場２２外に存在していてもよい。

一例として図２に示すように、画像処理装置１２は、複数の撮像装置１６の各々の位置から観察した場合の撮像領域を示す撮像画像４６Ｂを複数の撮像装置１６の各々から取得する。撮像画像４６Ｂは、複数の撮像装置１６の各々によって撮像領域が撮像されることで得られた動画像である。なお、ここでは、撮像画像４６Ｂが動画像である場合を例示しているが、撮像画像４６Ｂは、これに限らず、複数の撮像装置１６の各々の位置から観察した場合の撮像領域を示す静止画像であってもよい。

画像処理装置１２は、複数の撮像装置１６によって撮像領域が撮像されることで得られた複数の撮像画像４６Ｂを合成することにより、３Ｄポリゴンを用いた動画像を生成する。そして、画像処理装置１２は、生成した３Ｄポリゴンを用いた動画像に基づき、任意の位置及び任意の方向から撮像領域が観察された場合の観察領域を示す仮想視点画像４６Ｃを生成する。ここで、仮想視点画像４６Ｃは、動画像である。但し、これはあくまでも一例に過ぎず、静止画像であってもよい。

また、画像処理装置１２は、例えば、既定時間分（例えば、数時間～数十時間分）の撮像画像４６Ｂを保持している。そのため、例えば、画像処理装置１２は、既定時間分の撮像画像４６Ｂから、指定された撮像時刻の撮像画像４６Ｂを取得し、取得した撮像画像４６Ｂを用いて仮想視点画像４６Ｃを生成する。

ここで、撮像画像４６Ｂは、物理カメラである撮像装置１６によって撮像されることで得られた画像であるのに対し、仮想視点画像４６Ｃは、任意の位置及び任意の方向から仮想的な撮像装置、すなわち、仮想カメラによって撮像領域が撮像されることで得られた画像であると考えることができる。仮想カメラの位置及び向きは変更可能である。仮想カメラの位置は、視点位置４２である。仮想カメラの向きは、視線方向４４である。ここで、視点位置とは、例えば、仮想的な人物の視点の位置を意味し、視線方向とは、例えば、仮想的な人物の視線の方向を意味する。すなわち、本実施形態では、説明の便宜上、仮想カメラを用いて説明しているが、仮想カメラを用いることは必須ではない。「仮想カメラを設置」とは、仮想視点画像４６Ｃを生成する視点位置、視線方向、又は画角を決めることを意味する。従って、例えばコンピュータ上で撮像領域に対して仮想カメラのようなオブジェクトを設置する態様に限らず、数値で視点位置の座標や方向を指定する等の別の方法でも良い。 また、「仮想カメラによって撮像」とは、「仮想カメラを設置」した位置及び方向から撮像領域を見た場合に相当する仮想視点画像４６Ｃを生成することを意味する。なお、以下では、説明の便宜上、仮想カメラの位置を「仮想カメラ位置」とも称し、仮想カメラの向きを「仮想カメラ向き」とも称する。

図２に示す例では、仮想視点画像４６Ｃの一例として、観戦席２６内の視点位置４２及び視線方向４４、すなわち、観戦席２６内の仮想カメラ位置及び仮想カメラ向きから撮像領域を観察した場合の撮像領域を示す仮想視点画像が示されている。仮想カメラ位置及び仮想カメラ向きは固定されていない。つまり、仮想カメラ位置及び仮想カメラ向きは、ユーザ１８等からの指示に応じて変更可能である。例えば、画像処理装置１２は、サッカーフィールド２４内のサッカープレーヤー及びレフェリー等のうちの対象被写体として指定された人物（以下、「対象人物」とも称する）の位置を仮想カメラ位置として設定し、対象人物の目線方向を仮想カメラ向きとして設定することも可能である。

一例として図３に示すように、画像処理装置１２は、コンピュータ５０、ＲＴＣ５１、受付デバイス５２、ディスプレイ５３、第１通信Ｉ／Ｆ５４、及び第２通信Ｉ／Ｆ５６を備えている。コンピュータ５０は、ＣＰＵ５８、ストレージ６０、及びメモリ６２を備えている。ＣＰＵ５８は、本開示の技術に係る「プロセッサ」の一例であり、メモリ６２は、本開示の技術に係る「メモリ」の一例である。

ＣＰＵ５８、ストレージ６０、及びメモリ６２は、バス６４を介して接続されている。図３に示す例では、図示の都合上、バス６４として１本のバスが図示されているが、複数のバスであってもよい。また、バス６４には、シリアルバス、又は、データバス、アドレスバス、及びコントロールバス等で構成されるパラレルバスが含まれていてもよい。

ＣＰＵ５８は、画像処理装置１２の全体を制御する。ストレージ６０は、各種パラメータ及び各種プログラムを記憶している。ストレージ６０は、不揮発性の記憶装置である。ここでは、ストレージ６０の一例として、ＥＥＰＲＯＭが適用されている。但し、これはあくまでも一例に過ぎず、ＳＳＤ又はＨＤＤ等であってもよい。メモリ６２は、記憶装置である。メモリ６２には、各種情報が一時的に記憶される。メモリ６２は、ＣＰＵ５８によってワークメモリとして用いられる。ここでは、メモリ６２の一例として、ＲＡＭが適用されている。但し、これはあくまでも一例に過ぎず、他の種類の記憶装置であってもよい。

ＲＴＣ５１は、コンピュータ５０用の電源系から切り離された電源系から駆動用電力の供給を受け、コンピュータ５０がシャットダウンした状態であっても、現在時刻（例えば、年月日時分秒）を刻み続ける。ＲＴＣ５１は、現在時刻が更新される毎に、ＣＰＵ５８に現在時刻を出力する。ここでは、ＣＰＵ５８がＲＴＣ５１から現在時刻を取得する形態例を挙げているが、本開示の技術はこれに限定されず、例えば、ＣＰＵ５８は、ネットワーク２０経由で外部装置（図示省略）から提供される現在時刻を取得する（例えば、ＳＮＴＰ及び／又はＮＴＰを利用して取得する）ようにしてもよいし、コンピュータ５０に内蔵又は接続されたＧＮＳＳ機器（例えば、ＧＰＳ機器）から現在時刻を取得するようにしてもよい。

受付デバイス５２は、画像処理装置１２の使用者等からの指示を受け付ける。受付デバイス５２の一例としては、タッチパネル、ハードキー、及びマウス等が挙げられる。受付デバイス５２は、バス６４等に接続されており、受付デバイス５２によって受け付けられた指示は、ＣＰＵ５８によって取得される。

ディスプレイ５３は、バス６４に接続されており、ＣＰＵ５８の制御下で、各種情報を表示する。ディスプレイ５３の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディプレイに限らず、ＥＬディスプレイ（例えば、有機ＥＬディスプレイ又は無機ＥＬディスプレイ）等の他の種類のディスプレイがディスプレイ５３として採用されてもよい。

第１通信Ｉ／Ｆ５４は、ＬＡＮケーブル３０に接続されている。第１通信Ｉ／Ｆ５４は、例えば、ＦＰＧＡを有するデバイスによって実現される。第１通信Ｉ／Ｆ５４は、バス６４に接続されており、ＣＰＵ５８と複数の撮像装置１６との間で各種情報の授受を司る。例えば、第１通信Ｉ／Ｆ５４は、ＣＰＵ５８の要求に従って複数の撮像装置１６を制御する。また、第１通信Ｉ／Ｆ５４は、複数の撮像装置１６の各々によって撮像されることで得られた撮像画像４６Ｂ（図２参照）を取得し、取得した撮像画像４６ＢをＣＰＵ５８に出力する。なお、ここでは、第１通信Ｉ／Ｆ５４は有線通信Ｉ／Ｆとして例示されているが、高速無線ＬＡＮ等の無線通信Ｉ／Ｆであってもよい。

第２通信Ｉ／Ｆ５６は、ネットワーク２０に対して無線通信可能に接続されている。第２通信Ｉ／Ｆ５６は、例えば、ＦＰＧＡを有するデバイスによって実現される。第２通信Ｉ／Ｆ５６は、バス６４に接続されている。第２通信Ｉ／Ｆ５６は、ネットワーク２０を介して、無線通信方式で、ＣＰＵ５８とユーザデバイス１４との間で各種情報の授受を司る。

なお、第１通信Ｉ／Ｆ５４及び第２通信Ｉ／Ｆ５６のうちの少なくとも一方は、ＦＰＧＡの代わりに固定回路で構成することも可能である。また、第１通信Ｉ／Ｆ５４及び第２通信Ｉ／Ｆ５６のうちの少なくとも一方は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等で構成された回路であってもよい。

一例として図４に示すように、ユーザデバイス１４は、コンピュータ７０、ジャイロセンサ７４、受付デバイス７６、ディスプレイ７８、マイクロフォン８０、スピーカ８２、撮像装置８４、及び通信Ｉ／Ｆ８６を備えている。コンピュータ７０は、ＣＰＵ８８、ストレージ９０、及びメモリ９２を備えており、ＣＰＵ８８、ストレージ９０、及びメモリ９２は、バス９４を介して接続されている。図４に示す例では、図示の都合上、バス９４として１本のバスが図示されているが、バス９４は、シリアルバスで構成されているか、或いは、データバス、アドレスバス、及びコントロールバス等を含んで構成されている。

ＣＰＵ８８は、ユーザデバイス１４の全体を制御する。ストレージ９０は、各種パラメータ及び各種プログラムを記憶している。ストレージ９０は、不揮発性の記憶装置である。ここでは、ストレージ９０の一例として、ＥＥＰＲＯＭが適用されている。但し、これはあくまでも一例に過ぎず、ＳＳＤ又はＨＤＤ等であってもよい。メモリ９２には、各種情報が一時的に記憶され、メモリ９２は、ＣＰＵ８８によってワークメモリとして用いられる。ここでは、メモリ９２の一例として、ＲＡＭが適用されている。但し、これはあくまでも一例に過ぎず、他の種類の記憶装置であってもよい。

ジャイロセンサ７４は、ユーザデバイス１４のヨー軸周りの角度（以下、「ヨー角」とも称する）、ユーザデバイス１４のロール軸周りの角度（以下、「ロール角」とも称する）、及びユーザデバイス１４のピッチ軸周りの角度（以下、「ピッチ角」とも称する）を測定する。ジャイロセンサ７４は、バス９４に接続されており、ジャイロセンサ７４によって測定されたヨー角、ロール角、及びピッチ角を示す角度情報は、バス９４等を介してＣＰＵ８８によって取得される。

受付デバイス７６は、本開示の技術に係る「受付デバイス」の一例であり、ユーザ１８（図１及び図２参照）からの指示を受け付ける。受付デバイス７６の一例としては、タッチパネル７６Ａ及びハードキー等が挙げられる。受付デバイス７６は、バス９４に接続されており、受付デバイス７６によって受け付けられた指示は、ＣＰＵ８８によって取得される。

ディスプレイ７８は、バス９４に接続されており、ＣＰＵ８８の制御下で、各種情報を表示する。ディスプレイ７８の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディプレイに限らず、ＥＬディスプレイ（例えば、有機ＥＬディスプレイ又は無機ＥＬディスプレイ）等の他の種類のディスプレイがディスプレイ７８として採用されてもよい。

ユーザデバイス１４は、タッチパネル・ディスプレイを備えており、タッチパネル・ディスプレイは、タッチパネル７６Ａ及びディスプレイ７８によって実現される。すなわち、ディスプレイ７８の表示領域に対してタッチパネル７６Ａを重ね合わせることによって、あるいはディスプレイ７８の内部にタッチパネル機能を内蔵（「インセル」型）することでタッチパネル・ディスプレイが形成される。なお、「インセル」型のタッチパネル・ディスプレイは、あくまでも一例に過ぎず、「アウトセル」型又は「オンセル」型のタッチパネル・ディスプレイであってもよい。

マイクロフォン８０は、収集した音を電気信号に変換する。マイクロフォン８０は、バス９４に接続されている。マイクロフォン８０によって収集された音が変換されて得られた電気信号は、バス９４を介してＣＰＵ８８によって取得される。

スピーカ８２は、電気信号を音に変換する。スピーカ８２は、バス９４に接続されている。スピーカ８２は、ＣＰＵ８８から出力された電気信号を、バス９４を介して受信し、受信した電気信号を音に変換し、電気信号を変換して得た音をユーザデバイス１４の外部に出力する。

撮像装置８４は、被写体を撮像することで、被写体を示す画像を取得する。撮像装置８４は、バス９４に接続されている。撮像装置８４によって被写体が撮像されることで得られた画像は、バス９４を介してＣＰＵ８８によって取得される。なお、撮像装置８４によって撮像されることで得られた画像も、仮想視点画像４６Ｃの生成に用いられるようにしてもよい。

通信Ｉ／Ｆ８６は、ネットワーク２０に対して無線通信可能に接続されている。通信Ｉ／Ｆ８６は、例えば、回路（例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等）で構成されたデバイスによって実現される。通信Ｉ／Ｆ８６は、バス９４に接続されている。通信Ｉ／Ｆ８６は、ネットワーク２０を介して、無線通信方式で、ＣＰＵ８８と外部装置との間で各種情報の授受を司る。ここで、「外部装置」としては、例えば、画像処理装置１２が挙げられる。

一例として図５に示すように、サッカーフィールド２４（図１及び図２参照）内の対象人物９６の視点位置及び視線方向は変化する。対象人物９６は、本開示の技術に係る「対象物」及び「特定の人物」の一例である。図５に示す例では、時刻Ａのときの対象人物９６の視点位置及び視線方向、時刻Ｂのときの対象人物９６の視点位置及び視線方向、並びに、時刻Ｃのときの対象人物９６の視点位置及び視線方向が示されている。また、図５に示す例では、時刻Ａ～時刻Ｂの各時刻での対象人物９６の視点位置及び視線方向を基準にして画像処理装置１２によって生成された仮想視点画像４６Ｃが示されている。

ここで、対象人物９６の視点位置及び視線方向を基準にして生成される仮想視点画像４６Ｃとは、対象人物９６の視点位置を仮想カメラ位置とし、対象人物９６の視線方向を仮想カメラ向きとした場合の仮想カメラによって撮像されることで得られる仮想視点画像を指す。換言すると、対象人物９６の視点位置及び視線方向から対象人物９６が観察している領域を示す仮想視点画像を意味する。

なお、以下では、説明の便宜上、時刻Ａの対象人物９６の視点位置及び視線方向を基準にして生成された仮想視点画像４６Ｃを“時刻Ａの仮想視点画像４６Ｃ”と称する。また、時刻Ｂの対象人物９６の視点位置及び視線方向を基準にして生成された仮想視点画像４６Ｃを“時刻Ｂの仮想視点画像４６Ｃ”と称する。更に、時刻Ｃの対象人物９６の視点位置及び視線方向を基準にして生成された仮想視点画像４６Ｃを“時刻Ｃの仮想視点画像４６Ｃ”と称する。

ところで、時刻Ｂから時刻Ｃにかけての対象人物９６の視点位置及び視線方向の時間変化量（具体的には、時間変化量の絶対値）は、時刻Ａから時刻Ｂにかけての対象人物９６の視点位置及び視線方向の時間変化量よりも多い。そのため、時刻Ｂの仮想視点画像４６Ｃから時刻Ｃの仮想視点画像４６Ｃの変化量も、時刻Ａの仮想視点画像４６Ｃから時刻Ｂの仮想視点画像４６Ｃの変化量よりも多い。例えば、時刻Ａ～時刻Ｃの仮想視点画像４６Ｃが順次にユーザデバイス１４のディスプレイ７８に表示されると、仮想視点画像４６Ｃを観賞しているユーザ１８に対して視覚的な不快感（例えば、酔い）を与えてしまう虞がある。また、このような仮想視点画像４６Ｃを継続して観賞し続けることにより眼精疲労が蓄積することも考えられる。

このような事情に鑑み、一例として図６に示すように、画像処理装置１２では、ストレージ６０に視点視線生成プログラム６０Ａ及び画像生成出力プログラム６０Ｂが記憶されている。ＣＰＵ５８は、視点視線生成プログラム６０Ａに従って、後述の視点視線生成処理（図１３参照）を実行する。また、ＣＰＵ５８は、画像生成出力プログラム６０Ｂに従って、後述の画像生成出力処理（図１４参照）を実行する。なお、以下では、視点視線生成プログラム６０Ａ及び画像生成出力プログラム６０Ｂを区別して説明する必要がない場合、符号を付さずに「画像処理装置プログラム」と称する。また、以下では、視点視線生成処理及び画像生成出力処理を区別して説明する必要がない場合、符号を付さずに「画像処理装置側処理」と称する。

ＣＰＵ５８は、ストレージ６０から画像処理装置プログラムを読み出し、画像処理装置プログラムをメモリ６２上で実行することで、画像生成部１０２、出力部１０４、及び制御部１０６として動作する。制御部１０６は、視点視線算出部１０６Ａ、取得部１０６Ｂ、及び視点位置視線方向生成部１０６Ｃを有する。

画像生成部１０２は、複数の撮像装置１６によって撮像領域が撮像されることで得られた複数の撮像画像４６Ｂに基づいて、撮像領域に含まれる対象人物９６（図５参照）の視点位置及び視線方向を基準にして仮想視点画像４６Ｃ（図５参照）を生成する。出力部１０４は、画像生成部１０２によって生成された仮想視点画像４６Ｃを画像生成部１０２から取得してユーザデバイス１４に出力する。

制御部１０６は、仮想視点画像４６Ｃの表示態様（例えば、ユーザデバイス１４のディスプレイ７８での表示態様）を、対象人物９６の視点位置及び視線方向の時間変化量に応じて制御する。例えば、制御部１０６は、実際の対象人物９６の視点位置及び視線方向の時間変化量よりも少ない時間変化量に応じて、仮想視点画像４６Ｃの表示態様を制御する。換言すると、制御部１０６は、対象人物９６の視点位置及び視線方向の時間変化量を実際の変化量よりも少なくすることで、仮想視点画像４６Ｃの表示態様を制御する。

一例として図７に示すように、複数の撮像装置１６のうちの何れか１つの撮像装置１６によって撮像領域が撮像されることで得られた撮像画像４６Ｂは、ユーザデバイス１４のディスプレイ７８に表示される。ユーザ１８は、撮像画像４６Ｂ内の対象人物９６が写り込んでいる領域を、タッチパネル７６Ａを介して指で指定する。ユーザデバイス１４は、ユーザ１８によって指定された領域を対象人物画像として画像生成部１０２に出力する。

画像生成部１０２は、複数の撮像装置１６から複数の撮像画像４６Ｂ（以下、「撮像画像群」とも称する）を取得する。撮像画像群に含まれる撮像画像４６Ｂの各々には、撮像時刻が付与されている。撮像時刻は、例えば、Ｅｘｉｆ方式で撮像画像４６Ｂに付随している。画像生成部１０２は、撮像画像群及びユーザデバイス１４から入力された対象人物画像に対して画像解析（例えば、カスケード分類器及び／又はパターンマッチング等による画像解析）を行うことで、撮像画像群から、対象人物９６が写り込んでいる複数の撮像画像４６Ｂを特定する。そして、画像生成部１０２は、対象人物９６が写り込んでいる複数の撮像画像４６Ｂに基づいて、対象人物９６を示す仮想視点画像４６Ｃを生成する。

一例として図８に示すように、画像生成部１０２は、生成した仮想視点画像４６Ｃを出力部１０４に出力する。出力部１０４は、画像生成部１０２から入力された仮想視点画像４６Ｃをユーザデバイス１４に出力することで、ユーザデバイス１４のディスプレイ７８に仮想視点画像４６Ｃを表示させる。

一例として図９に示すように、撮像装置１６によって撮像される撮像領域は、三次元領域３６である。三次元領域３６は、サッカーフィールド２４が底面とされた直方体状に形成されている。三次元領域３６は、原点３６Ａを有する三次元座標によって規定されている。図９に示す例では、サッカーフィールド２４の四隅のうちの１つの隅に設定されている。三次元領域３６の高さは、例えば、サッカーフィールド２４の面積に応じて定められる。三次元領域３６の高さは、既定範囲（図９に示す例では、数十メートル）内で定められている。「既定範囲」は、仮想カメラを設定可能な高さとして許容される範囲であり、例えば、複数の撮像装置１６の各々の位置、向き、及び画角等に応じて一意に定められる。なお、三次元領域３６の大きさ及び／又は形状は、与えられた条件に応じて変更されてもよいし、固定されていてもよい。

画像生成部１０２は、生成した仮想視点画像４６Ｃを視点視線算出部１０６Ａに出力する。視点視線算出部１０６Ａは、画像生成部１０２から入力された仮想視点画像４６Ｃに基づいて、対象人物９６の視点位置及び視線方向を算出する。画像生成部１０２では、対象人物９６を示す仮想視点画像４６Ｃを生成するために複数の撮像画像４６Ｂが用いられる。視点視線算出部１０６Ａは、複数の撮像画像４６Ｂを得るための撮像で用いられた複数の撮像装置１６のうちの第１撮像装置及び第２撮像装置の撮像位置及び撮像方向から、三角測量法を用いて、対象人物９６の視点位置を算出する。視点位置は、三次元領域３６の位置を特定可能な三次元座標で表される。

視点視線算出部１０６Ａは、画像生成部１０２から入力された仮想視点画像４６Ｃに対して瞳検出処理を実行することで、画像生成部１０２から入力された仮想視点画像４６Ｃにより示される対象人物９６の瞳を検出する。瞳検出処理については周知技術なので、ここでの説明は省略する。視点視線算出部１０６Ａは、瞳を検出した結果（瞳検出処理結果）を用いて、対象人物９６の視線方向を算出する。具体的には、対象人物９６の眼内での瞳の位置から、パン方向及びチルト方向を特定可能な２次元座標が算出され、算出された２次元座標が、対象人物９６の視線方向として用いられる。

なお、対象人物９６の視線方向の算出方法はこれに限定されず、例えば、仮想視点画像４６Ｃにより示される対象人物９６の顔の向きを対象人物９６の視線方向としてもよい。

取得部１０６Ｂは、タイマ１０６Ｂ１を有する。タイマ１０６Ｂ１は、時間間隔Δｔを計測する。時間間隔Δｔは、仮想視点画像４６Ｃを生成する時間間隔であり、仮想視点画像４６Ｃが出力先（例えば、ユーザデバイス１４）に出力されてディスプレイ７８に表示される時間間隔でもある。

取得部１０６Ｂは、視点視線算出部１０６Ａによって算出された視点位置及び視線方向を視点視線算出部１０６Ａから取得する。取得部１０６Ｂは、視点視線算出部１０６Ａから最初に視点位置及び視線方向を取得した時点での現在時刻（以下、単に「時刻」とも称する）ｔをＲＴＣ５１から取得する。以降、時刻ｔは、時間間隔Δｔが加算されることによって更新される。

取得部１０６Ｂは、視点視線算出部１０６Ａから最初に視点位置及び視線方向を取得した時点から時間間隔Δｔ毎に視点視線算出部１０６Ａから新たに視点位置及び視線方向を取得する。取得部１０６Ｂは、視点視線算出部１０６Ａから新たに視点位置及び視線方向を取得する毎に、１回前に視点位置及び視線方向を取得した時点での時刻ｔに時間間隔Δｔを加算することで時刻ｔを更新する。そして、取得部１０６Ｂは、時刻ｔ毎に視点位置及び視線方向をメモリ６２の第１記憶領域６２Ａに時系列データ１０８として記憶する。

時系列データ１０８は、時刻ｔ、視点位置、及び視線方向が時系列で並べられたデータある。図１０に示す例では、取得部１０６Ｂによる視点位置及び視線方向の取得回数が最新の３回分の時刻ｔ、視点位置、及び視線方向が時系列データ１０８として示されている。第１記憶領域６２Ａには、時刻ｔ、視点位置、及び視線方向がＦＩＦＯ方式で記憶され、これにより、時系列データ１０８が時間間隔Δｔ毎に更新される。

一例として図１１に示すように、視点位置視線方向生成部１０６Ｃは、第１記憶領域６２Ａから、時系列データ１０８内の最も過去の時刻ｔを取得する。ここで、時系列データ１０８内の最も過去の時刻ｔとは、時系列データ１０８のうちの最新の時刻ｔよりも２×Δｔ秒前の時刻ｔを指す。視点位置視線方向生成部１０６Ｃは、第１記憶領域６２Ａから時系列データ１０８内の全ての視点位置（以下、「視点位置群」とも称する）及び全ての視線方向（以下、「視線方向群」とも称する）を取得する。

視点位置視線方向生成部１０６Ｃは、視点位置生成処理を実行することで、視点位置群の時間変化量を実際の時間変化量よりも少なくするように視点位置群を用いて画像生成用視点位置を生成する。

この場合、視点位置群の時間変化量が平滑化されることによって、視点位置群の時間変化量が実際の時間変化量よりも少なくされる。視点位置群の時間変化量の平滑化は、視点位置の時系列の変化量の平滑化によって実現される。視点位置の時系列の変化量の平滑化は、例えば、視点位置群の平滑化によって実現される。視点位置群の平滑化の一例としては、視点位置群の移動平均が挙げられる。視点位置視線方向生成部１０６Ｃは、視点位置群を平滑化することで、視点位置群に基づく画像生成用視点位置を生成する。画像生成用視点位置は、本開示の技術に係る「調整位置」の一例であり、仮想視点画像４６Ｃを再生成する場合において対象人物９６の新たな視点位置として用いられる。

視点位置視線方向生成部１０６Ｃは、視線方向生成処理を実行することで、視線方向群の時間変化量を実際の時間変化量よりも少なくするように視線方向群を用いて画像生成用視線方向を生成する。

この場合、視線方向群の時間変化量が平滑化されることによって、視線方向群の時間変化量が実際の時間変化量よりも少なくされる。視線方向群の時間変化量の平滑化は、視線方向の時系列の変化量の平滑化によって実現される。視線方向の時系列の変化量の平滑化は、例えば、視線方向群の平滑化によって実現される。視線方向群の平滑化の一例としては、視線方向群の移動平均が挙げられる。視点位置視線方向生成部１０６Ｃは、視線方向群を平滑化することで、視線方向群に基づく画像生成用視線方向を生成する。画像生成用視線方向、本開示の技術に係る「調整向き」の一例であり、仮想視点画像４６Ｃを再生成する場合において対象人物９６の新たな視線方向として用いられる。

視点位置視線方向生成部１０６Ｃは、第１記憶領域６２Ａから取得した時刻ｔを画像生成用時刻とし、画像生成用時刻、画像生成用視点位置、及び画像生成用視線方向を関連付けてメモリ６２の第２記憶領域６２Ｂに記憶する。第２記憶領域６２Ｂに対する画像生成用時刻、画像生成用視点位置、及び画像生成用視線方向の記憶は、上書き保存である。従って、第２記憶領域６２Ｂに記憶されている画像生成用時刻、画像生成用視点位置、及び画像生成用視線方向は、視点位置視線方向生成部１０６Ｃによって新たな画像生成用時刻、画像生成用視点位置、及び画像生成用視線方向が第２記憶領域６２Ｂに上書き保存されることで更新される。

一例として図１２に示すように、画像生成部１０２は、第２記憶領域６２Ｂに新たな画像生成用時刻、画像生成用視点位置、及び画像生成用視線方向が記憶されると、第２記憶領域６２Ｂから画像生成用時刻、画像生成用視点位置、及び画像生成用視線方向を取得する。画像生成部１０２は、撮像画像群から、画像生成用時刻と同一の撮像時刻の複数の撮像画像４６Ｂ（以下、「画像生成用時刻画像群」とも称する）を取得する。そして、画像生成部１０２は、画像生成用時刻画像群に基づいて、第２記憶領域６２Ｂから取得した画像生成用視点位置及び画像生成用視線方向を基準にして仮想視点画像４６Ｃを生成する。

画像生成部１０２は、新たなに生成した仮想視点画像４６Ｃを出力部１０４に出力する。出力部１０４は、画像生成部１０２から入力された新たな仮想視点画像４６Ｃをユーザデバイス１４に出力することで、ユーザデバイス１４のディスプレイ７８に新たな仮想視点画像４６Ｃを表示させる。出力部１０４は、ディスプレイ７８に既に仮想視点画像４６Ｃが表示されている状態で、新たな仮想視点画像４６Ｃをユーザデバイス１４に出力することで、ディスプレイ７８に表示されている仮想視点画像４６Ｃを新たな仮想視点画像４６Ｃに更新する。すなわち、出力部１０４は、ディスプレイ７８に表示されている仮想視点画像４６Ｃを新たな仮想視点画像４６Ｃに更新することで、仮想視点画像４６Ｃの表示態様を制御する。

このように、ＣＰＵ５８は、画像生成用視点位置及び画像生成用視線方向を基準にして仮想視点画像４６Ｃを生成してユーザデバイス１４に出力することで、ユーザデバイス１４のディスプレイ７８に表示されている仮想視点画像４６Ｃの表示態様を制御する。

次に、画像処理システム１０の作用について説明する。

先ず、画像処理装置１２のＣＰＵ５８によって視点視線生成プログラム６０Ａに従って実行される視点視線生成処理について図１３を参照しながら説明する。なお、図１３に示す視点視線生成処理及び後述の画像生成出力処理（図１４参照）の流れは、本開示の技術に係る「画像処理方法」の一例である。また、以下の視点視線生成処理及び画像生成出力処理の説明では、説明の便宜上、画像生成部１０２によって、対象人物９６を示す仮想視点画像４６Ｃが既に生成されてユーザデバイス１４のディスプレイ７８に表示されていることを前提としている。

図１３に示す視点視線生成処理では、先ず、ステップＳＴ１０で、取得部１０６Ｂは、ＲＴＣ５１から現在時刻を取得し、その後、視点視線生成処理はステップＳＴ１２へ移行する。

ステップＳＴ１２で、取得部１０６Ｂは、タイマ１０６Ｂ１をオンすることでタイマ１０６Ｂ１に対して計時を開始させ、その後、視点視線生成処理はステップＳＴ１４へ移行する。

ステップＳＴ１４で、視点視線算出部１０６Ａは、仮想視点画像４６Ｃにより示される対象人物９６の視点位置及び視線方向を算出し、その後、視点視線生成処理はステップＳＴ１６へ移行する。

ステップＳＴ１６で、取得部１０６Ｂは、時刻ｔを取得し、かつ、ステップＳＴ１４で算出された視点位置及び視線方向を取得する。時刻ｔは、後述のステップＳＴ３２の処理が実行される毎に時間間隔Δｔが加算されることによって更新される。そして、取得部１０６Ｂは、最新の時刻ｔ、視点位置、及び視線方向を第１記憶領域６２Ａに時系列で記憶することで時系列データ１０８を更新し、その後、視点視線生成処理はステップＳＴ１８へ移行する。

ステップＳＴ１８で、取得部１０６Ｂは、第１記憶領域６２Ａの記憶内容を参照して、取得部１０６Ｂによる視点位置及び視線方向の取得回数が３回以上であるか否かを判定する。ステップＳＴ１８において、取得部１０６Ｂによる視点位置及び視線方向の取得回数が３回未満の場合は、判定が否定されて、視点視線生成処理はステップＳＴ２０へ移行する。ステップＳＴ１８において、取得部１０６Ｂによる視点位置及び視線方向の取得回数が３回以上の場合は、判定が肯定されて、視点視線生成処理はステップＳＴ２４へ移行する。

ステップＳＴ２０で、取得部１０６Ｂは、タイマ１０６Ｂ１により時間間隔Δｔが計測されたか否かを判定する。ステップＳＴ２０において、タイマ１０６Ｂ１により時間間隔Δｔが計測されていない場合は、判定が否定されて、ステップＳＴ２０の判定が再び行われる。ステップＳＴ２０において、タイマ１０６Ｂ１により時間間隔Δｔが計測された場合は、判定が肯定されて、視点視線生成処理はステップＳＴ２２へ移行する。

ステップＳＴ２２で、取得部１０６Ｂは、タイマ１０６Ｂ１をオフしてリセットする。そして、取得部１０６Ｂは、時刻ｔに時間間隔Δｔを加算することで時刻ｔを更新し、その後、視点視線生成処理はステップＳＴ１２へ移行する。

ステップＳＴ２４で、視点位置視線方向生成部１０６Ｃは、第１記憶領域６２Ａ内の時系列データ１０８から、最新の３回分の視点位置及び視線方向、すなわち、視点位置群及び視線方向群を取得し、その後、視点視線生成処理はステップＳＴ２６へ移行する。

ステップＳＴ２６で、視点位置視線方向生成部１０６Ｃは、視点位置群を平滑化することで画像生成用視点位置を生成し、その後、視点視線生成処理はステップＳＴ２８へ移行する。

ステップＳＴ２８で、視点位置視線方向生成部１０６Ｃは、視線方向群を平滑化することで画像生成用視線方向を生成し、その後、視点視線生成処理はステップＳＴ３０へ移行する。

ステップＳＴ３０で、視点位置視線方向生成部１０６Ｃは、画像生成用時刻（図１１に示す例では、時系列データ１０８内の最も過去の時刻ｔ）、ステップＳＴ２６で生成された最新の画像生成用視点位置、及びステップＳＴ２８で生成された最新の画像生成用視線方向を第２記憶領域６２Ｂに上書き保存することで第２記憶領域６２Ｂの記憶内容を更新する。ステップＳＴ３０の処理が実行された後、視点視線生成処理はステップＳＴ３２へ移行する。

ステップＳＴ３２で、視点位置視線方向生成部１０６Ｃは、視点視線生成処理を終了させる条件（以下、「視点視線生成処理終了条件」とも称する）を満足したか否かを判定する。視点視線生成処理終了条件の一例としては、画像処理装置１２に対して、視点視線生成処理を終了させる指示が与えられた、との条件が挙げられる。視点視線生成処理を終了させる指示は、例えば、受付デバイス５２又は７６によって受け付けられる。ステップＳＴ３２において、視点視線生成処理終了条件を満足していない場合は、判定が否定されて、視点視線生成処理はステップＳＴ２０へ移行する。ステップＳＴ３２において、視点視線生成処理終了条件を満足した場合は、判定が肯定されて、視点視線生成処理が終了する。

次に、画像処理装置１２のＣＰＵ５８によって画像生成出力プログラム６０Ｂに従って実行される画像生成出力処理について図１４を参照しながら説明する。

図１４に示す画像生成出力処理では、先ず、ステップＳＴ５０で、画像生成部１０２は、ステップＳＴ３０の処理が実行されることによって第２記憶領域６２Ｂの記憶内容が更新されたか否かを判定する。ステップＳＴ５０において、ステップＳＴ３０の処理が実行されることによって第２記憶領域６２Ｂの記憶内容が更新されていない場合は、判定が否定されて、画像生成出力処理はステップＳＴ６０へ移行する。ステップＳＴ５０において、ステップＳＴ３０の処理が実行されることによって第２記憶領域６２Ｂの記憶内容が更新された場合は、判定が肯定されて、画像生成出力処理はステップＳＴ５２へ移行する。

ステップＳＴ５２で、画像生成部１０２は、第２記憶領域６２Ｂから、画像生成用視点位置、画像生成用視線方向、及び画像生成用時刻を取得し、その後、画像生成出力処理はステップＳＴ５４へ移行する。

ステップＳＴ５４で、画像生成部１０２は、撮像画像群から、ステップＳＴ５２で取得した画像生成用時刻と同一の撮像時刻の複数の撮像画像４６Ｂ、すなわち、画像生成用時刻画像群を取得し、その後、画像生成出力処理はステップＳＴ５６へ移行する。

ステップＳＴ５６で、画像生成部１０２は、ステップＳＴ５４で取得した画像生成用時刻画像群を用いて、ステップＳＴ５２で取得した画像生成用視点位置及び画像生成用視線方向を基準にした仮想視点画像４６Ｃを生成し、その後、画像生成出力処理はステップＳＴ５８へ移行する。

ステップＳＴ５８で、出力部１０４は、ステップＳＴ５６で生成された仮想視点画像４６Ｃをユーザデバイス１４に出力する。ユーザデバイス１４のＣＰＵ８８は、出力部１０４から入力された仮想視点画像４６Ｃをディスプレイ７８に表示させる。ステップＳＴ５８の処理が実行された後、画像生成出力処理はステップＳＴ６０へ移行する。

ステップＳＴ６０で、出力部１０４は、画像生成出力処理を終了させる条件（以下、「画像生成出力処理終了条件」とも称する）を満足したか否かを判定する。画像生成出力処理終了条件の一例としては、画像処理装置１２に対して、画像生成出力処理を終了させる指示が与えられた、との条件が挙げられる。画像生成出力処理を終了させる指示は、例えば、受付デバイス５２又は７６によって受け付けられる。ステップＳＴ６０において、画像生成出力処理終了条件を満足していない場合は、判定が否定されて、画像生成出力処理はステップＳＴ５０へ移行する。ステップＳＴ６０において、画像生成出力処理終了条件を満足した場合は、判定が肯定されて、画像生成出力処理が終了する。

一例として図１４に示すように、視点視線生成処理及び画像生成出力処理を用いずに従来の手法で仮想視点画像４６Ｃが生成される場合と、視点視線生成処理及び画像生成出力処理を用いて仮想視点画像４６Ｃが生成される場合とを比較すると、前者よりも後者の方が仮想視点画像４６Ｃの変化量が少ない。従って、画像処理システム１０によれば、仮想視点画像４６Ｃで対象人物９６の視点位置及び視線方向がそのまま再現される場合に比べ、対象人物９６の視点位置及び視線方向の時間変化が、仮想視点画像４６Ｃの観賞者であるユーザ１８に与える不快感を軽減することができる。

また、画像処理システム１０では、実際の対象物の視点位置及び視線方向の時間変化量よりも少ない時間変化量に応じて表示態様が制御される。すなわち、対象人物９６の視点位置及び視線方向の時間変化量が視点位置視線方向生成部１０６Ｃによって実際の時間変化量よりも少なくされることで、仮想視点画像４６Ｃの表示態様が制御される。従って、本構成によれば、仮想視点画像４６Ｃで対象人物９６の視点位置及び視線方向の時間変化量がそのまま再現される場合に比べ、対象人物９６の視点位置及び視線方向の時間変化が、仮想視点画像４６Ｃの観賞者であるユーザ１８に与える不快感を軽減することができる。

また、画像処理システム１０では、対象人物９６の視点位置及び視線方向の時間変化量が視点位置視線方向生成部１０６Ｃによって平滑化されることで対象人物９６の視点位置及び視線方向に基づく画像生成用視点位置及び画像生成用視線方向が生成される。そして、画像生成用視点位置及び画像生成用視線方向を基準にして仮想視点画像４６Ｃが生成されて出力されることで、仮想視点画像４６Ｃの表示態様が制御される。従って、本構成によれば、対象人物９６の視点位置及び視線方向の時間変化がそのまま仮想視点画像４６Ｃに反映される場合に比べ、仮想視点画像４６Ｃの急峻な変化を抑制することができる。

また、画像処理システム１０では、時系列データ１０８に含まれる視点位置群及び視線方向群が移動平均されることで、対象人物９６の視点位置及び視線方向の時間変化量が平滑化される。従って、本構成によれば、対象人物９６の視点位置及び視線方向が時々刻々変化したとしても、対象人物９６の視点位置及び視線方向の時間変化量の平滑化を追従させることができる。

なお、上記第１実施形態では、複数の撮像装置１６は、互いの撮像位置及び撮像方向が異なっているが、本開示の技術はこれに限定されず、複数の撮像装置１６は、互いの撮像位置又は撮像方向が異なっていてもよい。

また、上記実施形態では、対象人物９６の視点位置及び視線方向の時間変化量に応じて仮想視点画像４６Ｃの表示態様が制御されるようにしたが、本開示の技術はこれに限定されず、対象人物９６の視点位置又は視線方向の時間変化量に応じて仮想視点画像４６Ｃの表示態様が制御されるようにしてもよい。

また、対象人物９６の視点位置の時間変化量及び対象人物９６の視線方向の時間変化量に対して異なる重み値が付与されるようにしてもよい。重み値の一例としては、調整用係数が挙げられる。この場合、例えば、対象人物９６の視線方向の時間変化量よりも対象人物９６の視点位置の時間変化量を少なくするのであれば、対象人物９６の視線方向の時間変化量に対して乗じる調整用係数を“１”とした場合、対象人物９６の視点位置の時間変化量に対して乗じる調整用係数を小数にすればよい。逆に、対象人物９６の視点位置の時間変化量よりも対象人物９６の視線方向の時間変化量を少なくするのであれば、対象人物９６の視点位置の時間変化量に対して乗じる調整用係数を“１”とした場合、対象人物９６の視線方向の時間変化量に対して乗じる調整用係数を小数にすればよい。対象人物９６の視点位置の時間変化量に乗じる調整用係数及び／又は対象人物９６の視点位置の時間変化量に対して乗じる調整用係数は、固定値であってもよいし、与えられた指示及び／又は条件に応じて変更される可変値であってもよい。

調整用係数を可変値とする場合、例えば、視点位置の単位時間当たりの変化量及び視線方向の単位時間当たりの変化量の一方に対する他方の割合に応じて、対象人物９６の視点位置の時間変化量に対して乗じる調整用係数及び対象人物９６の視線方向の時間変化量に対して乗じる調整用係数を異ならせるようにすればよい。

具体的には、視点位置の単位時間当たりの変化量に対する視線方向の単位時間当たりの変化量の割合が基準割合（例えば、１．５）よりも大きい場合に、対象人物９６の視点位置の時間変化量に対して乗じる調整用係数よりも対象人物９６の視線方向の時間変化量に対して乗じる調整用係数を小さくするとよい。逆に、例えば、対象人物９６の視線方向の単位時間当たりの変化量に対する対象人物９６の視点位置の単位時間当たりの変化量の割合が基準割合よりも大きい場合に、対象人物９６の視線方向の時間変化量に対して乗じる調整用係数よりも対象人物９６の視点位置の時間変化量に対して乗じる調整用係数を小さくすればよい。基準割合は、固定値であってもよいし、与えられた指示及び／又は条件に応じて変更される可変値であってもよい。

また、上記第１実施形態では、対象人物９６を例示したが、本開示の技術はこれに限定されず、非人物（人間以外の物体）であってもよい。非人物としては、物体を認識可能なデバイス（例えば、物理カメラと物理カメラに接続されたコンピュータ等を含むデバイス）が搭載されたロボット（例えば、人物、動物又は昆虫等の生物を模したロボット）、動物、及び昆虫等が挙げられる。この場合、非人物の位置及び／又は向きの時間変化量に応じて仮想視点画像の表示態様が制御される。

また、上記第１実施形態では、時間変化量を例示したが、時間変化量の概念には、時間の１回微分の概念、又は時間の２回微分の概念も含まれる。

また、上記第１実施形態では、時間変化量が平滑化される視点位置群として最新の３回分の視点位置を例示し、時間変化量が平滑化される視線方向群として最新の３回分の視線方向を例示したが、本開示の技術はこれに限定されない。最新の２回分の視点位置、又は、最新の４回分以上の視点位置を視点位置群として視点位置群の時間変化量が平滑化されるようにしてもよい。また、最新の２回分の視線方向、又は、最新の４回分以上の視線方向を視線方向群として視線方向群が平滑化されるようにしてもよい。

［第２実施形態］
上記第１実施形態では、時間間隔Δｔが固定されている形態例を挙げて説明したが、本第２実施形態では、時間間隔Δｔが条件に応じて変更される形態例について説明する。なお、本第２実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。本第２実施形態では、上記第１実施形態と異なる部分について説明する。

一例として図１５に示すように、本第２実施形態に係る画像処理装置１２において、ＣＰＵ５８は、更に、変更部１１０として動作する。変更部１１０は、対象人物９６の視点位置及び視線方向の時間変化量に応じて時間間隔Δｔを変更する。なお、ここでは、説明の便宜上、対象人物９６の視点位置及び視線方向の時間変化量を例示しているが、上述したように、対象人物９６の視点位置又は視線方向の時間変化量であっても本開示の技術は成立する。

変更部１１０は、時間変化量算出部１１０Ａ及び時間間隔変更部１１０Ｂを有する。時間変化量算出部１１０Ａは、時系列データ１０８から視点位置群及び視線方向群を取得する。時間変化量算出部１１０Ａは、時系列データ１０８から取得した視点位置群の時間変化量を算出する。ここで、視点位置群の時間変化量の一例としては、第１記憶領域６２Ａに記憶された時刻が隣接する視点位置間の時間変化量の平均値が挙げられる。また、時間変化量算出部１１０Ａは、時系列データ１０８から取得した視線方向群の時間変化量を算出する。ここで、視線方向群の時間変化量の一例としては、第１記憶領域６２Ａに記憶された時刻が隣接する視線方向間の時間変化量の平均値が挙げられる。

時間間隔変更部１１０Ｂは、時間変化量算出部１１０Ａによって算出された時間変化量に応じてタイマ１０６Ｂ１で計測される時間間隔Δｔを変更する。以下、より詳しく説明する。

時間間隔変更部１１０Ｂは、視点位置群の時間変化量が第１閾値以上であり、かつ、視線方向群の時間変化量が第２閾値以上の場合、時間間隔Δｔが通常時間間隔以上であることを条件に、時間間隔Δｔを通常時間間隔よりも短くする。通常時間間隔は、デフォルトで設定された時間間隔である。通常時間間隔は、固定されていてもよいし、与えられた指示及び／又は条件等に応じて変更されるようにしてもよい。ここで、通常時間間隔は、本開示の技術に係る「第１～第４基準時間間隔」の一例である。

なお、以下では、説明の便宜上、視点位置群の時間変化量が第１閾値以上であるとの条件、及び、視線方向群の時間変化量が第２閾値以上の条件を満たした場合を、「時間変化量が閾値以上の場合（時間変化量≧閾値）」とも称する。また、視点位置群の時間変化量が第１閾値以上であるとの条件、及び／又は視線方向群の時間変化量が第２閾値以上であるとの条件を満たしてない場合、「時間変化量が閾値未満の場合（時間変化量＜閾値）」とも称する。また、視点位置群の時間変化量及び視線方向群の時間変化量を総じて「時間変化量」とも称する。ここで、閾値は、本開示の技術に係る「第１既定値」の一例である。

また、時間間隔変更部１１０Ｂは、時間変化量が閾値未満の場合、時間間隔Δｔが通常時間間隔と異なることを条件に、時間間隔Δｔを通常時間間隔にする。

図１６Ａ～図１６Ｃには、本第２実施形態に係る視点視線生成処理の流れの一例が示されている。図１６Ａ～図１６Ｃに示すフローチャートは、図１３に示すフローチャートに比べ、ステップＳＴ１０２～ステップＳＴ１１２を有する点が異なる。

図１６Ａに示すステップＳＴ２４の処理が実行された後、視点視線生成処理はステップＳＴ１０２へ移行する。

ステップＳＴ１０２で、時間変化量算出部１１０Ａは、ステップＳＴ２４で取得した視点位置群及び視線方向群を用いて、時間変化量を算出し、その後、視点視線生成処理はステップＳＴ１０４へ移行する。

ステップＳＴ１０４で、時間間隔変更部１１０Ｂは、ステップＳＴ１０２で算出された時間変化量が閾値未満か否かを判定する。ステップＳＴ１０４において、ステップＳＴ１０２で算出された時間変化量が閾値以上の場合は、判定が否定されて、視点視線生成処理は、図１６Ｂに示すステップＳＴ１０６へ移行する。ステップＳＴ１０４において、ステップＳＴ１０２で算出された時間変化量が閾値未満の場合は、判定が肯定されて、視点視線生成処理は、図１６Ｃに示すステップＳＴ１１０へ移行する。

図１６Ｂに示すステップＳＴ１０６で、時間間隔変更部１１０Ｂは、時間間隔Δｔが通常時間間隔未満であるか否かを判定する。ステップＳＴ１０６において、時間間隔Δｔが通常時間間隔未満の場合は、判定が肯定されて、視点視線生成処理は、図１６Ｃに示すステップＳＴ２６へ移行する。ステップＳＴ１０６において、時間間隔Δｔが通常時間間隔以上の場合は、判定が否定されて、視点視線生成処理はステップＳＴ１０８へ移行する。

ステップＳＴ１０８で、時間間隔変更部１１０Ｂは、時間間隔Δｔを通常時間間隔未満の既定の第１時間間隔に変更し、その後、視点視線生成処理は、図１６Ａに示すステップＳＴ２０へ移行する。なお、ここで、既定の第１時間間隔は、固定されていてもよいし、通常時間間隔未満の範囲内で、与えられた指示及び／又は条件等に応じて変更されてもよい。

図１６Ｃに示すステップＳＴ１１０で、時間間隔変更部１１０Ｂは、時間間隔Δｔが通常時間間隔であるか否かを判定する。ステップＳＴ１１０において、時間間隔Δｔが通常時間間隔でない場合は、判定が否定されて、視点視線生成処理はステップＳＴ１１２へ移行する。ステップＳＴ１１０において、時間間隔Δｔが通常時間間隔の場合は、判定が肯定されて、視点視線生成処理はステップＳＴ２６へ移行する。

ステップＳＴ１１２で、時間間隔変更部１１０Ｂは、時間変化量に関わらず時間間隔Δｔを通常時間間隔に変更し、その後、視点視線生成処理はステップＳＴ３２へ移行する。

以上説明したように、本第２実施形態では、対時間変化量に応じて時間間隔Δｔが変更される。従って、本構成によれば、時間変化量に関わらず時間間隔Δｔが不変の場合に比べ、仮想視点画像４６Ｃの急峻な変化を抑制することができる。

また、本第２実施形態では、時間変化量が閾値以上の場合に、時間間隔Δｔが通常時間間隔よりも短くされる。従って、本構成によれば、時間変化量に関わらず、常に時間間隔Δｔが一定の場合に比べ、対象人物９６の視点位置及び視線方向の細やかな時間変化を、仮想視点画像４６の観賞者であるユーザ１８に対して実感させることができる。

更に、本第２実施形態では、時間変化量が閾値未満であり、かつ、時間間隔Δｔが通常時間間隔と異なる場合に、時間間隔Δｔが通常時間間隔にされる。従って、本構成によれば、時間変化量に関わらず、常に時間間隔Δｔが一定の場合に比べ、対象人物９６の視点位置及び視線方向の時間変化を、仮想視点画像４６Ｃの観賞者であるユーザ１８に対して適度な表示速度で実感させることができる。

なお、上記第２実施形態では、時間間隔変更部１１０Ｂが、時間変化量が閾値以上の場合に、時間間隔Δｔが通常時間間隔以上であることを条件に、時間間隔Δｔを通常時間間隔よりも短くするようにしたが、本開示の技術はこれに限定されない。例えば、時間間隔変更部１１０Ｂは、時間変化量が閾値以下の場合に、時間間隔Δｔが通常時間間隔未満であることを条件に、時間間隔Δｔを通常時間間隔以上にするようにしてもよい。また、時間間隔変更部１１０Ｂは、時間変化量が閾値を超えた場合、時間間隔Δｔが通常時間間隔と異なることを条件に、時間間隔Δｔを通常時間間隔にするようにしてもよい。

この場合、図１６Ａ及び図１６Ｂに示す視点視線生成処理は、図１７Ａ及び図１７Ｂに示す視点視線生成処理に変更される。図１７Ａ及び図１７Ｂに示すフローチャートは、図１６Ａ及び図１６Ｂに示すフローチャートに比べ、ステップＳＴ１０４に代えてステップＳＴ２０４を有する点、ステップＳＴ１０６に代えてステップＳＴ２０６を有する点、及びステップＳＴ１０８に代えてステップＳＴ２０８を有する点が異なる。

図１７Ａに示すステップＳＴ２０４で、時間間隔変更部１１０Ｂは、ステップＳＴ１０２で算出された時間変化量が閾値を超えているか否かを判定する。ステップＳＴ２０４において、ステップＳＴ１０２で算出された時間変化量が閾値以下の場合は、判定が否定されて、視点視線生成処理は、図１７Ｂに示すステップＳＴ２０６へ移行する。ステップＳＴ２０４において、ステップＳＴ１０２で算出された時間変化量が閾値を超えている場合は、判定が肯定されて、視点視線生成処理は、図１６Ｃに示すステップＳＴ１１０へ移行する。

図１７Ｂに示すステップＳＴ２０６で、時間間隔変更部１１０Ｂは、時間間隔Δｔが通常時間間隔以上であるか否かを判定する。ステップＳＴ２０６において、時間間隔Δｔが通常時間間隔以上の場合は、判定が肯定されて、視点視線生成処理は、図１６Ｃに示すステップＳＴ２６へ移行する。ステップＳＴ２０６において、時間間隔Δｔが通常時間間隔未満の場合は、判定が否定されて、視点視線生成処理はステップＳＴ２０８へ移行する。

ステップＳＴ２０８で、時間間隔変更部１１０Ｂは、時間間隔Δｔを通常時間間隔以上の既定の第２時間間隔に変更し、その後、視点視線生成処理は、図１７Ａに示すステップＳＴ２０へ移行する。なお、ここで、既定の第２時間間隔は、固定されていてもよいし、通常時間間隔以上の範囲内で、与えられた指示及び／又は条件等に応じて変更されてもよい。

このように、図１７Ａ及び図１７Ｂに示す視点視線生成処理が実行されると、時間変化量が閾値以下の場合に、時間間隔Δｔが通常時間間隔未満であることを条件に、時間間隔Δｔが時間間隔変更部１１０Ｂによって通常時間間隔以上にされる。従って、本構成によれば、時間変化量に関わらず、常に時間間隔Δｔが一定の場合に比べ、対象人物９６の視点位置及び視線方向の大まかな時間変化を、仮想視点画像４６Ｃの観賞者であるユーザ１８に対して実感させることができる。

また、図１７Ａ及び図１７Ｂに示す視点視線生成処理が実行されると、時間変化量が閾値を超えた場合、時間間隔Δｔが通常時間間隔と異なることを条件に、時間間隔Δｔが時間間隔変更部１１０Ｂによって通常時間間隔にされる。従って、本構成によれば、時間変化量に関わらず、常に時間間隔Δｔが一定の場合に比べ、対象人物９６の視点位置及び視線方向の時間変化を、仮想視点画像４６Ｃの観賞者であるユーザ１８に対して適度な表示速度で実感させることができる。

また、上記第２実施形態では、時間変化量が閾値未満であり、かつ、時間間隔Δｔが通常時間間隔と一致している場合（図１６Ｃに示すステップＳＴ１１０において判定が肯定された場合）に、画像生成用視点位置及び画像生成用視線方向が生成されて、画像生成用視点位置及び画像生成用視線方向を基準にした仮想視点画像４６Ｃが生成されるが（図１４に示すステップＳＴ５６）、本開示の技術はこれに限定されない。例えば、時間間隔変更部１１０Ｂは、時間変化量が既定範囲である場合に、仮想視点画像４６Ｃの表示態様が時間変化量に応じて制御されるようにしてもよい。

この場合、例えば、図１６Ａに示す視点視線生成処理が図１８に示す視点視線生成処理に変更される。図１８に示すフローチャートは、図１６Ａに示すフローチャートに比べ、ステップＳＴ１０４に代えてステップＳＴ３０４を有する点が異なる。

図１８に示すステップＳＴ３０４で、時間間隔変更部１１０Ｂは、時間変化量が閾値未満か否かを判定する。ステップＳＴ３０４において、時間変化量が閾値以上の場合は、判定が否定されて、視点視線生成処理は、図１６Ｃに示すステップＳＴ２６へ移行する。ステップＳＴ３０４において、時間変化量が閾値未満の場合は、判定が肯定されて、視点視線生成処理はステップＳＴ２０へ移行する。

これにより、時間変化量が閾値以上の場合に限り、新たに画像生成用視点位置及び画像生成用視線方向が生成されて（図１６Ｃに示すステップＳＴ２６及びＳＴ２８参照）、画像生成用視点位置及び画像生成用視線方向を基準にした仮想視点画像４６Ｃが生成される。従って、本構成によれば、時間変化量が閾値以上の場合に限り、仮想視点画像４６Ｃの表示態様が時間変化量に応じて制御されるので、時間変化量に関わらず常に画像生成用視点位置及び画像生成用視線方向が生成される場合に比べ、対象人物９６の視点位置及び視線方向の時間変化を、仮想視点画像４６の観賞者であるユーザ１８に対して実感させることができる。

なお、図１８に示す例では、ステップＳＴ３０４で、時間間隔変更部１１０Ｂが、時間変化量が閾値未満か否かを判定するようにしたが、本開示の技術はこれに限定されず、ステップＳＴ３０４にて、時間間隔変更部１１０Ｂが、時間変化量が閾値以上か否かを判定するようにしてもよい。この場合も、同様の効果が期待できる。また、ステップＳＴ３０４にて、時間間隔変更部１１０Ｂが、時間変化量が閾値以上か否かを判定する形態例では、ステップＳＴ３０４において時間変化量が閾値未満の場合、判定が否定されて、視点視線生成処理が、図１７Ｂに示すステップＳＴ２０８へ移行するようにしてもよい。

また、図１８に示す例では、ステップＳＴ３０４において、判定が否定された場合、視点視線生成処理が、図１６Ｃに示すステップＳＴ１１０へ移行する形態例を示したが、本開示の技術はこれに限定されない。例えば、ステップＳＴ３０４において、判定が否定された場合、視点視線生成処理が、図１６Ｂに示すステップＳＴ１０６へ移行するようにしてもよい。

また、上記第２実施形態では、時間間隔変更部１１０Ｂが、時間変化量算出部１１０Ａによって算出された時間変化量に従って時間間隔Δｔを変更するようにしたが、本開示の技術はこれに限定されない。例えば、ＣＰＵ５８が、更に、ユーザデバイス１４の受付デバイス７６によって受け付けられた指示に従って時間間隔Δｔを変更するようにしてもよい。この場合、一例として図１９に示すように、ユーザデバイス１４のタッチパネル７６Ａによって、新たな時間間隔Δｔの指示である時間間隔指示が受け付けられると、時間間隔変更部１１０Ｂが、時間間隔指示に従って時間間隔Δｔを新たな時間間隔Δｔに変更する。ここでは、タッチパネル７６Ａによって時間間隔指示が受け付けられる形態例を挙げて説明したが、ハードキーを用いた時間間隔指示であってもよいし、音声認識処理を用いた時間間隔指示であってもよい。このように、受付デバイス７６によって受け付けられた指示に従って時間間隔Δｔが変更されることで、時間間隔Δｔが短過ぎたり、長過ぎたりしないようにすることができる。この結果、仮想視点画像４６Ｃの観賞者であるユーザ１８に対して、仮想視点画像４６Ｃが表示される時間間隔を短過ぎに感じさせたり、長過ぎに感じさせたりしないようにすることができる。

また、ユーザデバイス１４の受付デバイス７６によって受け付けられた指示に従って時間間隔Δｔが変更される場合、受付デバイス７６によって受け付けられる指示は、一例として図２０に示すように、仮想視点画像４６Ｃの表示速度に関する指示（表示速度指示）であってもよい。表示速度指示は、例えば、仮想視点画像４６Ｃをディスプレイ７８に表示させる速度、すなわち、再生速度の指示である。このように、受付デバイス７６によって受け付けられた指示を表示速度指示とすることで、時間間隔Δｔを仮想視点画像４６Ｃの表示速度に合わせることできる。

ここで、例えば、時間間隔変更部１１０Ｂは、表示速度を基準表示速度と同じにする指示が受付デバイス７６によって受け付けられた場合、時間間隔Δｔを通常時間間隔と同一の時間間隔に変更する。なお、基準表示速度は、本開示の技術に係る「第１基準表示速度」及び「第２基準表示速度」の一例であり、基準表示速度は、固定されていてもよいし、与えられた指示及び／又は条件等に応じて変更されてもよい。

また、例えば、時間間隔変更部１１０Ｂは、表示速度を基準表示速度よりも速くする指示が受付デバイス７６によって受け付けられた場合、時間間隔Δｔを通常時間間隔よりも短くする。これにより、仮想視点画像４６Ｃの表示速度を基準表示速度よりも速くする指示が受け付けられたにも関わらず、時間間隔Δｔが常に一定の場合に比べ、仮想視点画像４６Ｃの表示速度を基準表示速度よりも速くする指示が受け付けられた場合に、対象人物９６の視点位置及び視線方向の大まかな時間変化を、仮想視点画像４６Ｃの観賞者であるユーザ１８に対して実感させることができる。

また、例えば、時間間隔変更部１１０Ｂは、表示速度を基準表示速度よりも遅くする指示が受付デバイス７６によって受け付けられた場合、時間間隔Δｔを通常時間間隔よりも長くする。これにより、仮想視点画像４６Ｃの表示速度を基準表示速度よりも遅くする指示が受け付けられたにも関わらず、時間間隔Δｔが常に一定の場合に比べ、仮想視点画像４６Ｃの表示速度を基準表示速度よりも遅くする指示が受け付けられた場合に、対象人物９６の視点位置及び視線方向の細やかな時間変化を、仮想視点画像４６Ｃの観賞者であるユーザ１８に対して実感させることができる。

また、上記各実施形態では、仮想視点画像４６Ｃ内において解像度が一定とされているが、本開示の技術はこれに限定されない。例えば、図２１に示すように、仮想視点画像４６Ｃの表示領域が、対象人物９６の視線方向と正対している正対領域と、正対領域を取り囲む周辺領域（図２１に示すハッチング領域）とに分けられ、画像生成部１０２は、周辺領域の解像度を正対領域の解像度よりも低くするようにしてもよい。これにより、仮想視点画像４６Ｃの観賞者であるユーザ１８に対して、対象人物９６が注目していると予想される領域（図２１に示す例では、正対領域）とそれ以外の領域（図２１に示す例では、周辺領域）とを区別して実感させることができる。

また、図２２に示すように、画像生成部１０２は、周辺領域（図２２に示すハッチング領域）の解像度を正対領域から離れるほど低くするようにしてもよい。これにより、仮想視点画像４６Ｃの観賞者であるユーザ１８に対して、対象人物９６が注目していると予想される領域（図２２に示す例では、正対領域）とそれ以外の領域（図２２に示す例では、ハッチング領域）とを区別して実感させることができる。

また、ＣＰＵ５８は、仮想視点画像４６Ｃとは異なる別画像であって、撮像領域のうちの少なくとも一部を示す別画像を得るための撮像方向と対象人物９６の視線方向とのずれに基づいて、別画像と仮想視点画像４６Ｃとの位置関係を示す情報を生成して出力するようにしてもよい。この場合、一例として図２３に示すように、ＣＰＵ５８は、更に、位置関係情報生成部１１２として動作する。画像生成部１０２は、外部（例えば、ユーザデバイス１４）から与えられた別画像生成指示に応じて、撮像画像群を用いて別画像４６Ｄを生成する。別画像生成指示は、例えば、生中継用画像、録画された画像（例えば、リプレイ画像）、又は対象人物９６の視点位置及び視線方向とは異なる仮想カメラ位置及び仮想カメラ向きの仮想カメラによって撮像されることで得られた仮想視点画像を生成する指示である。なお、別画像４６Ｄは、本開示の技術に係る「表示用画像」の一例である。

画像生成部１０２は、仮想視点画像４６Ｃと、別画像生成指示に応じて生成した別画像４６Ｄとを位置関係情報生成部１１２に出力する。位置関係情報生成部１１２は、別画像４６Ｄを得るために用いられた撮像方向と対象人物９６の視線方向とを取得する。別画像４６Ｄを得るために用いられた撮像方向は、別画像４６Ｄを得るための撮像が複数の撮像装置１６によって行われた場合、例えば、複数の撮像装置１６の撮像方向の平均値が、別画像４６Ｄを得るために用いられた撮像方向とされる。

位置関係情報生成部１１２は、別画像４６Ｄを得るために用いられた撮像方向と対象人物９６の視線方向とのずれ量及びずれ方向を算出し、ずれ量及びずれ方向に基づいて、画像生成部１０２から入力された仮想視点画像４６Ｃ及び別画像４６Ｄの位置関係を示す位置関係情報を生成する。位置関係情報は、仮想視点画像４６Ｃの観賞者、すなわち、ユーザ１８に対して視覚的に認識させる情報である。図２３に示す例では、位置関係情報の一例として、矢印が挙げられている。矢印が指し示す方向は、別画像４６Ｄから仮想視点画像４６Ｃへの方向である。

位置関係情報生成部１１２は、位置関係情報として矢印を別画像４６Ｄ内に重畳させる。矢印は、別画像４６Ｄの中央部から仮想視点画像４６Ｃの方向を指し示す。矢印が重畳された別画像４６Ｄは、ユーザデバイス１４のディスプレイ７８に表示される。

別画像４６Ｄに重畳される矢印（以下、「重畳矢印」とも称する）の長さは、別画像４６Ｄの位置と仮想視点画像４６Ｃの位置との距離（例えば、ずれ量）に応じて、位置関係情報生成部１１２によって伸縮される。例えば、図２４に示す重畳矢印は、図２３に示す重畳矢印に比べ、短い。図２４に示す重畳矢印の長さは、別画像４６Ｄを得るために用いられた撮像方向と対象人物９６の視線方向とのずれ量に応じて、位置関係情報生成部１１２によって、図２３に示す重畳矢印に戻されたり、図２３に示す重畳矢印よりも長くされたりする。また、別画像４６Ｄを得るために用いられた撮像方向と対象人物９６の視線方向とのずれ方向が変更されると、これに応じて、重畳矢印の向きも位置関係情報生成部１１２によって変更される。

このように、図２３及び図２４に示す例では、別画像を得るための撮像方向と対象人物９６の視線方向とのずれに基づいて、別画像と仮想視点画像４６Ｃとの位置関係を示す位置関係情報が生成されて出力される。また、位置関係情報は、仮想視点画像４６Ｃの観賞者であるユーザ１８に対して、視覚的に認識させる情報である。また、別画像と仮想視点画像４６Ｃとの位置関係を示す位置関係情報として、別画像４６Ｄから仮想視点画像４６Ｃへの方向を指し示す矢印が採用されている。従って、本構成によれば、仮想視点画像４６の観賞者であるユーザ１８に対して、別画像４６Ｄと仮想視点画像４６Ｃとの位置関係を認識させることができる。なお、矢印は、あくまでも一例であり、別画像４６Ｄから仮想視点画像４６Ｃへの方向を視覚的に認識可能な情報であれば、他の画像又はテキスト等であってもよい。

また、図２３及び図２４に示す例では、重畳矢印の長さは、別画像４６Ｄを得るために用いられた撮像方向と対象人物９６の視線方向とのずれ量に応じて、伸縮される。従って、本構成によれば、仮想視点画像４６Ｃの観賞者であるユーザ１８に対して、別画像４６Ｄと仮想視点画像４６Ｃとの距離を視覚的に認識させることができる。

また、ＣＰＵ５８は、別画像４６Ｄがディスプレイ７８に表示されている状態で、別画像４６Ｄから仮想視点画像４６Ｃへの切替指示が与えられたことを条件に、ディスプレイ７８に対して表示させる画像を別画像４６Ｄから仮想視点画像４６Ｃに切り替える制御を行うようにしてもよい。

この場合、一例として図２５に示すように、ＣＰＵ５８は、更に、画像切替指示部１１４として動作する。ディスプレイ７８に表示されている別画像４６Ｄが表示されている状態で、重畳矢印が表示されている位置に対して、ユーザ１８がタッチパネル７６Ａを介して指で触れることでユーザデバイス１４に切替指示を与えると、ユーザデバイス１４は、切替指示信号を画像切替指示部１１４に出力する。ここで、切替指示は、別画像４６Ｄから仮想視点画像４６Ｃへの切り替えの指示であり、切替指示信号は、別画像４６Ｄから仮想視点画像４６Ｃへの切り替えの指示を示す信号である。

画像切替指示部１１４は、切替指示信号が入力されると、画像生成部１０２に対して、別画像４６Ｄから仮想視点画像４６Ｃへの切り替えを指示する。これに応じて、画像生成部１０２は、仮想視点画像４６Ｃを生成する。出力部１０４は、画像生成部１０２によって生成された仮想視点画像４６Ｃをユーザデバイス１４に出力することで、ディスプレイ７８に表示されている別画像４６Ｄを仮想視点画像４６Ｃに切り替える。これにより、ディスプレイ７８に表示される画像を、ユーザ１８が意図するタイミングで、別画像４６Ｄから仮想視点画像４６Ｃに切り替えることができる。

また、上記各実施形態では、ユーザデバイス１４の一例としてスマートフォンを挙げたが、本開示の技術はこれに限定されず、一例として図２６に示すように、ユーザデバイス１４に代えてヘッドマウントディスプレイ１１６を適用しても本開示の技術は成立する。図２６に示す例では、ヘッドマウントディスプレイ１１６は、本体部１１６Ａ及び装着部１１６Ｂを備えている。ユーザ１８にヘッドマウントディスプレイ１１６が装着される場合、本体部１１６Ａはユーザ１８の眼前に位置し、装着部１１６Ｂはユーザ１８の頭部の上半部に位置する。装着部１１６Ｂは、数センチメートル程度の幅を有する帯状部材であり、ユーザ１８の頭部の上半部に対して密着した状態で固定される。

本体部１１６Ａは、各種の電気系デバイスを備えている。各種の電気系デバイスとしては、ユーザデバイス１４のコンピュータ７０に相当するコンピュータ、ユーザデバイス１４の通信Ｉ／Ｆ８６に相当する通信Ｉ／Ｆ、ユーザデバイス１４のディスプレイ７８に相当するディスプレイ、ユーザデバイス１４のマイクロフォン８０に相当するマイクロフォン、ユーザデバイス１４のスピーカ８２に相当するスピーカ、及びユーザデバイス１４のジャイロセンサ７４に相当するジャイロセンサ１１８が挙げられる。

装着部１１６Ｂには、バイブレータ１２０Ａ及び１２０Ｂを備えている。バイブレータ１２０Ａは、ユーザ１８の左側頭部に面するように配置されており、バイブレータ１２０Ｂは、ユーザ１８の右側頭部に面するように配置されている。

本体部１１６Ａの各種の電気系デバイス、バイブレータ１２０Ａ、及びバイブレータ１２０Ｂは、ユーザデバイス１４のバス９４に相当するバスを介して電気的に接続されている。

ここで、例えば、ユーザデバイス１４のディスプレイ７８と同様に、図２５に示す別画像４６Ｄが、ユーザ１８の頭部の上半部に装着された状態のヘッドマウントディスプレイ１１６に表示されている場合について考える。ユーザ１８は、重畳矢印が指し示す方向に向けて首を振ることで、装着部１１６Ｂ内のコンピュータは、ジャイロセンサ１１８による検出結果に基づいて、ユーザ１８が首を振った方向（以下、「首振り方向」とも称する）を検出する。コンピュータは、検出した首振り方向と重畳矢印の指し示す方向とが一致したか否かを判定する。そして、コンピュータは、首振り方向と重畳矢印の指し示す方向とが一致した場合に、ヘッドマウントディスプレイ１１６に表示されている画像を別画像４６Ｄから仮想視点画像４６Ｃに切り替える。

また、別画像４６Ｄと仮想視点画像４６Ｃとの位置関係を示す情報は、仮想視点画像４６Ｃの観賞者であるユーザ１８に対して触覚的に認識させる情報であってもよい。この場合、例えば、コンピュータは、重畳矢印の指し示す方向がユーザ１８から見て左側方向の場合に、バイブレータ１２０Ａを振動させ、コンピュータは、重畳矢印の指し示す方向がユーザ１８から見て右側方向の場合に、バイブレータ１２０Ｂを振動させる。バイブレータ１２０Ｂが振動している状態で、ユーザ１８が右側に首を振ると、コンピュータは、ジャイロセンサ１１８による検出結果に基づいて、首振り方向が右方向であると判定し、ヘッドマウントディスプレイ１１６に表示されている画像を別画像４６Ｄから仮想視点画像４６Ｃに切り替える。また、バイブレータ１２０Ａが振動している状態で、ユーザ１８が左側に首を振ると、コンピュータは、ジャイロセンサ１１８による検出結果に基づいて、首振り方向が左方向であると判定し、ヘッドマウントディスプレイ１１６に表示されている画像を別画像４６Ｄから仮想視点画像４６Ｃに切り替える。

このように、バイブレータ１２０Ａ及び１２０Ｂが選択的に振動することで、仮想視点画像４６Ｃと別画像４６Ｄとの位置関係がユーザ１８によって触覚的に認識される。

また、別画像４６Ｄと仮想視点画像４６Ｃとの位置関係を示す情報は、仮想視点画像４６Ｃの観賞者であるユーザ１８に対して聴覚的に認識させる情報であってもよい。この場合、コンピュータは、重畳矢印の指し示す方向を示す音声がスピーカから出力されるようにスピーカを制御する。これにより、仮想視点画像４６Ｃと別画像４６Ｄとの位置関係がユーザ１８によって聴覚的に認識される。

ここでは、音声がスピーカによってユーザ１８に伝達される形態例を挙げたが、これはあくまでも一例に過ぎず、骨伝導方式でユーザ１８に対して音声を伝達するようにしてもよい。

なお、別画像４６Ｄと仮想視点画像４６Ｃとの位置関係を示す情報は、ユーザ１８に対して視覚的に認識させる情報、ユーザ１８に対して聴覚的に認識させる情報、及びユーザ１８に対して触覚的に認識させる情報のうちの少なくとも１つであればよい。

また、上記各実施形態では、１つの画像生成用時刻に関する仮想視点画像４６Ｃが画像生成部１０２によって生成され、生成された仮想視点画像４６Ｃが出力部１０４によってユーザデバイス１４に出力される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、ＣＰＵ５８は、仮想視点画像４６Ｃを時系列で並べた表示用画面を生成して出力するようにしてもよい。

この場合、例えば、第２記憶領域６２Ｂに新たに画像生成用時刻が記憶される毎に画像生成用視点位置及び画像生成用視線方向を基準にした仮想視点画像４６Ｃが画像生成部１０２によって生成される。そして、一例として図２７に示すように、各画像生成用時刻に関する複数の仮想視点画像４６Ｃを時系列で並べた表示用画面４６Ｅが画像生成部１０２によって生成される。表示用画面４６Ｅ内において、複数の仮想視点画像４６Ｃは、例えば、アルファブレンドされて時系列に並べられる。また、一例として図２８に示すように、表示用画面４６Ｅ内において、正対領域の解像度は、周辺領域の解像度よりも高くてもよい。図２８に示す例では、表示用画面４６Ｅ内のうち、ハッチング領域が他の領域に比べ、解像度が低い。

このようにして画像生成部１０２によって生成された表示用画面４６Ｅは、出力部１０４によってユーザデバイス１４に出力され、ユーザデバイス１４のディスプレイ７８に表示される。これにより、仮想視点画像４６Ｃの観賞者であるユーザ１８は、表示用画面４６Ｅを通して仮想視点画像４６Ｃの変化の過程を把握することができる。

また、上記各実施形態では、サッカー競技場２２を例示したが、これはあくまでも一例に過ぎず、野球場、ラグビー場、カーリング場、陸上競技場、競泳場、コンサートホール、野外音楽場、及び演劇会場等のように、複数の撮像装置１６が設置可能であれば、如何なる場所であってもよい。

また、上記各実施形態では、コンピュータ５０及び７０を例示したが、本開示の技術はこれに限定されない。例えば、コンピュータ５０及び／又は７０に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ５０及び／又は７０に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

また、上記各実施形態では、画像処理装置側処理が画像処理装置１２のＣＰＵ５８によって実行される形態例を挙げて説明したが、本開示の技術はこれに限定されない。画像処理装置側処理に含まれる一部の処理がユーザデバイス１４のＣＰＵ８８によって実行されるようにしてもよい。また、ＣＰＵ８８に代えて、ＧＰＵを採用してもよいし、複数のＣＰＵを採用してもよく、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって各種処理が実行されるようにしてもよい。

また、上記各実施形態では、ストレージ６０に画像処理装置プログラムが記憶されているが、本開示の技術はこれに限定されず、一例として図２９に示すように、任意の可搬型の記憶媒体２００に画像処理装置プログラムが記憶されていてもよい。記憶媒体２００は、非一時的記憶媒体である。記憶媒体２００としては、例えば、ＳＳＤ又はＵＳＢメモリ等が挙げられる。記憶媒体２００に記憶されている画像処理装置プログラムはコンピュータ５０にインストールされ、ＣＰＵ５８は、画像処理装置プログラムに従って、画像処理装置側処理を実行する。

また、通信網（図示省略）を介してコンピュータ５０に接続される他のコンピュータ又はサーバ装置等のプログラムメモリに画像処理装置プログラムを記憶させておき、画像処理装置１２の要求に応じて画像処理装置プログラムが画像処理装置１２にダウンロードされるようにしてもよい。この場合、ダウンロードされた画像処理装置プログラムに基づく画像処理装置側処理がコンピュータ５０のＣＰＵ５８によって実行される。

また、上記各実施形態では、ＣＰＵ５８を例示したが、本開示の技術はこれに限定されず、ＧＰＵを採用してもよい。また、ＣＰＵ５８に代えて、複数のＣＰＵを採用してもよい。つまり、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって画像処理装置側処理が実行されるようにしてもよい。

画像処理装置側処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムに従って画像処理装置側処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、他のプロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで画像処理装置側処理を実行する。

画像処理装置側処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、画像処理装置側処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、画像処理装置側処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、画像処理装置側処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、画像処理装置側処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

また、上述した画像処理装置側処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (25)

1. プロセッサと、
   前記プロセッサに内蔵又は接続されたメモリと、を備え、
   前記プロセッサは、
   撮像位置及び撮像方向のうちの少なくとも一方が異なる複数の撮像装置によって撮像領域が撮像されることで得られた複数の画像に基づいて、前記撮像領域に含まれる対象物の位置及び向きを基準にして仮想視点画像を生成して出力し、
   前記仮想視点画像の表示態様を実際の前記位置及び前記向きの時間変化量である第１時間変化量よりも少ない時間変化量である第２時間変化量に応じて制御する
   画像処理装置。
2. プロセッサと、
   前記プロセッサに内蔵又は接続されたメモリと、を備え、
   前記プロセッサは、
   撮像位置及び撮像方向のうちの少なくとも一方が異なる複数の撮像装置によって撮像領域が撮像されることで得られた複数の画像に基づいて、前記撮像領域に含まれる対象物の位置及び向きを基準にして仮想視点画像を生成して出力し、
   前記位置及び前記向きのうちの少なくとも一方の時間変化量を平滑化することで前記位置及び前記向きに基づく調整位置及び調整向きを生成し、
   前記調整位置及び前記調整向きを基準にして前記仮想視点画像を生成して出力することで前記仮想視点画像の表示態様を制御する
   画像処理装置。
3. 前記プロセッサは、前記位置及び前記向きの時系列の変化量を移動平均することで前記第２時間変化量を平滑化する請求項１に記載の画像処理装置。
4. 前記プロセッサは、前記第２時間変化量が既定範囲である場合に、前記仮想視点画像の表示態様を前記第２時間変化量に応じて制御する請求項１又は請求項３に記載の画像処理装置。
5. プロセッサと、
   前記プロセッサに内蔵又は接続されたメモリと、を備え、
   前記プロセッサは、
   撮像位置及び撮像方向のうちの少なくとも一方が異なる複数の撮像装置によって撮像領域が撮像されることで得られた複数の画像に基づいて、前記撮像領域に含まれる対象物の位置及び向きを基準にして仮想視点画像を生成して出力し、
   前記仮想視点画像の表示態様を前記位置及び前記向きのうちの少なくとも一方の時間変化量に応じて制御し、
   前記仮想視点画像を生成する時間間隔を前記時間変化量に応じて変更する
   画像処理装置。
6. 前記プロセッサは、前記時間変化量が第１既定値以上の場合に、前記時間間隔を第１基準時間間隔よりも短くする請求項５に記載の画像処理装置。
7. 前記プロセッサは、前記時間変化量が前記第１既定値未満であり、かつ、前記時間間隔が第２基準時間間隔と異なる場合に、前記時間間隔を前記第２基準時間間隔にする請求項６に記載の画像処理装置。
8. 前記プロセッサは、前記時間変化量が第１既定値以下の場合に、前記時間間隔を第２基準時間間隔よりも長くする請求項５に記載の画像処理装置。
9. 前記プロセッサは、前記時間変化量が前記第１既定値を超え、かつ、前記時間間隔が第２基準時間間隔と異なる場合に、前記時間間隔を前記第２基準時間間隔にする請求項８に記載の画像処理装置。
10. 前記プロセッサは、更に、前記仮想視点画像を生成する時間間隔を、受付デバイスによって受け付けられた指示に従って変更する請求項５から請求項９の何れか一項に記載の画像処理装置。
11. 前記指示は、前記仮想視点画像の表示速度に関する指示である請求項１０に記載の画像処理装置。
12. 前記プロセッサは、前記指示が前記表示速度を第１基準表示速度よりも遅くする指示の場合に、前記時間間隔を第３基準時間間隔よりも短くする請求項１１に記載の画像処理装置。
13. 前記プロセッサは、前記指示が前記表示速度を第２基準表示速度よりも速くする指示の場合に、前記時間間隔を第４基準時間間隔よりも長くする請求項１１又は請求項１２に記載の画像処理装置。
14. 前記仮想視点画像の表示領域は、前記向きと正対している正対領域と前記正対領域を取り囲む周辺領域とに分けられ、
    前記プロセッサは、前記周辺領域の解像度を前記正対領域の解像度よりも低くする請求項１から請求項１３の何れか一項に記載の画像処理装置。
15. 前記プロセッサは、前記周辺領域の解像度を前記正対領域から離れるほど低くする請求項１４の画像処理装置。
16. 前記プロセッサは、前記仮想視点画像とは異なる表示用画像であって、前記撮像領域のうちの少なくとも一部を示す表示用画像を得るための撮像方向と前記向きとのずれに基づいて、前記表示用画像と前記仮想視点画像との位置関係を示す情報を生成して出力する請求項１から請求項１５の何れか一項に記載の画像処理装置。
17. 前記位置関係を示す情報は、前記仮想視点画像の観賞者に対して視覚的に認識させる情報である請求項１６に記載の画像処理装置。
18. 前記位置関係を示す情報は、前記表示用画像の位置から前記仮想視点画像の位置への方向を指し示す矢印である請求項１７に記載の画像処理装置。
19. 前記プロセッサは、前記矢印の長さを、前記表示用画像の位置と前記仮想視点画像の位置との間の距離に応じて伸縮させる請求項１８に記載の画像処理装置。
20. 前記位置関係を示す情報は、前記仮想視点画像の観賞者に対して触覚的に認識させる情報、及び聴覚的に認識させる情報のうちの少なくとも一方を含む情報である請求項１６から請求項１９の何れか一項に記載の画像処理装置。
21. プロセッサと、
    前記プロセッサに内蔵又は接続されたメモリと、を備え、
    前記プロセッサは、
    撮像位置及び撮像方向のうちの少なくとも一方が異なる複数の撮像装置によって撮像領域が撮像されることで得られた複数の画像に基づいて、前記撮像領域に含まれる対象物の位置及び向きを基準にして仮想視点画像を生成して出力し、
    前記仮想視点画像の表示態様を前記位置及び前記向きのうちの少なくとも一方の時間変化量に応じて制御し、
    前記仮想視点画像とは異なる表示用画像であって、前記撮像領域のうちの少なくとも一部を示す表示用画像を得るための撮像方向と前記向きとのずれに基づいて、前記表示用画像と前記仮想視点画像との位置関係を示す情報を生成して出力し、
    前記表示用画像がディスプレイに表示されている状態で、前記表示用画像から前記仮想視点画像への切替指示が与えられたことを条件に、前記ディスプレイに対して表示させる画像を前記表示用画像から前記仮想視点画像に切り替える制御を行う
    画像処理装置。
22. 前記プロセッサは、前記仮想視点画像を時系列で並べた表示用画面を生成して出力する請求項１から請求項２１の何れか一項に記載の画像処理装置。
23. 前記対象物は、特定の人物であり、
    前記位置は、前記人物の視点位置であり、
    前記向きは、前記人物の視線方向である請求項１から請求項２２の何れか一項に記載の画像処理装置。
24. 撮像位置及び撮像方向のうちの少なくとも一方が異なる複数の撮像装置によって撮像領域が撮像されることで得られた複数の画像に基づいて、前記撮像領域に含まれる対象物の位置及び向きを基準にして仮想視点画像を生成して出力すること、並びに、
    前記仮想視点画像の表示態様を実際の前記位置及び前記向きの時間変化量である第１時間変化量よりも少ない時間変化量である第２時間変化量に応じて制御することを含む
    画像処理方法。
25. コンピュータに、
    撮像位置及び撮像方向のうちの少なくとも一方が異なる複数の撮像装置によって撮像領域が撮像されることで得られた複数の画像に基づいて、前記撮像領域に含まれる対象物の位置及び向きを基準にして仮想視点画像を生成して出力すること、並びに、
    前記仮想視点画像の表示態様を実際の前記位置及び前記向きの時間変化量である第１時間変化量よりも少ない時間変化量である第２時間変化量に応じて制御することを含む処理を実行させるためのプログラム。