JP7319172B2 - 画像処理装置、画像処理方法及び画像処理システム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び画像処理システムに関する。

特許文献１には、コンサートなどのイベントを撮影した画像をリアルタイムに配信するシステムにおいて、コンテンツの提供を受けるユーザー（視聴者）が、視野を自由に変えて画像を視聴できるシステムが記載されている。

また、特許文献２には、イベントを撮影した画像をリアルタイムに配信するシステムにおいて、会場に設置されたディスプレイに視聴者のアバターを観客のような様子で表示するシステムが記載されている。

国際公開第2016/009865号 特開2013-020389号公報

本開示の技術に係る１つの実施形態は、現場にいる人物のプライバシーを保護しつつ、現場の雰囲気を伝えられる画像処理装置、画像処理方法及び画像処理システムを提供する。

（１）特定エリアを含んだ第１画像を入力する第１画像入力部と、第１画像に基づいて、特定エリア内の人物の表情及び／又は感情を推定する第１推定部と、人物がアバターで表わされた特定エリアの画像であって、少なくとも第１推定部で推定した表情及び／又は感情をアバターに反映させた画像を第２画像として生成する第２画像生成部と、第１画像の特定エリアに第２画像を合成して第３画像を生成する第３画像生成部と、を備えた画像処理装置。

（２）第２画像生成部は、特定エリアを複数に分割し、分割エリアごとに１体のアバターを配置して、第２画像を生成する、（１）の画像処理装置。

（３）第１推定部による推定結果に基づいて、分割エリアを代表する表情及び／又は感情を決定する第１決定部を更に備え、第２画像生成部は、第１決定部で決定された表情及び／又は感情を各分割エリアのアバターに反映させて、第２画像を生成する、（２）の画像処理装置。

（４）第１決定部は、分割エリアに属する人物の表情及び／又は感情の標準値に基づいて、分割エリアを代表する表情及び／又は感情を決定する、（３）の画像処理装置。

（５）第１画像に基づいて、特定エリア内の人物の属性を推定する第２推定部と、第２推定部による推定結果に基づいて、分割エリアを代表する属性を決定する第２決定部と、を更に備え、第２画像生成部は、第２決定部で決定された属性を各分割エリアのアバターに反映させて、第２画像を生成する、（２）から（４）のいずれか一の画像処理装置。

（６）属性は、年齢及び性別の少なくとも一方を含む、（５）の画像処理装置。

（７）特定エリアは、分割エリアが人数に応じて分割される、（２）から（６）のいずれか一の画像処理装置。

（８）第２画像生成部は、第１推定部で推定した各人物の表情及び／又は感情を一人に付き複数体のアバターに反映させて、第２画像を生成する、（１）の画像処理装置。

（９）第１画像は、周囲３６０°の範囲を撮影した画像である、（１）から（８）のいずれか一の画像処理装置。

（１０）第１画像は、イベント会場を撮影した画像であり、特定エリアは、イベント会場において観客がいるエリアである、（１）から（９）のいずれか一の画像処理装置。

（１１）第１推定部は、複数種類の表情及び／又は感情のそれぞれの度合いを数値化して、表情及び／又は感情を推定する、（１）から（１０）のいずれか一の画像処理装置。

（１２）（１）から（１１）のいずれか一の画像処理装置と、画像処理装置で生成された第３画像を再生する再生装置と、を備え、再生装置は、第３画像を入力する第３画像入力部と、第３画像の一部を切り出して、表示用の第４画像を生成する第４画像生成部と、表示範囲の切り替えを指示する指示部と、第４画像を出力する第４画像出力部と、を備え、第４画像生成部は、指示部の指示に応じて、第３画像から画像を切り出す範囲を切り替えて、第４画像を生成する、画像処理システム。

（１３）再生装置は、ヘッドマウントディスプレイであり、本体の動きを検出する検出部を備え、指示部は、検出部で検出される本体の動きに応じて、表示範囲の切り替えを指示する、（１２）の画像処理システム。

（１４）特定エリアを含んだ第１画像を入力するステップと、第１画像に基づいて、特定エリア内の人物の表情及び／又は感情を推定するステップと、人物がアバターで表わされた特定エリアの画像であって、少なくとも推定した表情及び／又は感情をアバターに反映させた画像を第２画像として生成するステップと、第１画像の特定エリアに第２画像を合成して第３画像を生成するステップと、を含む画像処理方法。

（１５）第３画像の一部を切り出して、表示用の第４画像を生成するステップと、第４画像を出力するステップと、を更に含み、第４画像を生成するステップは、表示範囲の切り替えの指示を受け付け、受け付けた指示に応じて、第３画像から画像を切り出す範囲を切り替えて、第４画像を生成する、（１４）の画像処理方法。

画像処理システムのシステム構成の概略を示す図 撮影装置の設置の一例を示す図 撮影装置の撮影範囲の一例を示す図 画像処理装置のハードウェア構成の一例を示すブロック図 画像処理装置が実現する機能のブロック図 感情推定部の機能ブロック図 顔の検出の概念図 顔の画像に基づく感情認識の概念図 観客エリアの分割の一例を示す図 分割エリアを代表する感情の求め方の概念図 感情を反映させたアバターの一例を示す図 撮影画像の一部の一例を示す図 観客エリアの画像レイヤーの一例を示す図 ＣＧ画像の一例を示す図 再生装置の構成例を示すブロック図 再生装置の制御部が実現する機能のブロック図 画像処理システムの処理の流れを示すフローチャート 画像処理装置の機能ブロック図 画像処理装置が実現する機能のブロック図 イベント会場の一例を示す平面図 撮影画像の一部の一例を示す図 観客エリアのＣＧ画像の一例を示す図

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

［第１の実施の形態］
［概要］
コンサートなどのイベントを撮影した画像をリアルタイムに配信するシステムにおいて、コンテンツの提供を受けるユーザー（視聴者）が、視野を自由に変えて画像を視聴できるシステムが知られている。この種のシステムでは、より鮮明な画像を提供するため、配信する画像が高精細化している。

しかし、配信する画像が高精細化すると、個々の観客の識別も可能になり、観客のプライバシーが侵害されるおそれがある。

本実施の形態では、コンサートなどのイベントを撮影した画像をリアルタイムに配信するシステムにおいて、会場にいる観客のプライバシーを保護しつつ、現場である会場の雰囲気を伝えられるシステムを提供する。

［画像処理システムの構成］
図１は、本実施の形態の画像処理システムのシステム構成の概略を示す図である。

本実施の形態の画像処理システム１は、コンサート、演劇、演芸、オペラ、バレエ及びスポーツなどのイベントを撮影した画像を配信するシステムである。

図１に示すように、画像処理システム１は、イベントを撮影する撮影装置１０、撮影装置１０で撮影した画像から配信用の画像を生成する画像処理装置１００、画像処理装置１００で生成された画像を配信する配信装置２００、及び、配信装置２００から配信される画像を再生する再生装置３００を備える。

［撮影装置］
撮影装置１０は、イベント会場において、イベントを撮影する。撮影装置１０は、定位置で撮影する。また、撮影装置１０は、少なくとも一部の観客を含む範囲を撮影する。本実施の形態では、撮影装置１０が周囲３６０°の範囲を撮影する。

図２は、撮影装置の設置の一例を示す図である。同図は、コンサート会場（イベント会場の一例）において、コンサート（イベントの一例）を撮影する場合の例を示している。また、同図は、コンサート会場の平面図を示している。

コンサート会場２は、ステージエリア３及び観客エリア４を有する。ステージエリア３は、パフォーマーがパフォーマンスを行うエリアである。ステージエリア３には、ステージ５が備えられる。観客エリア４は、観客が配置されるエリアである。観客エリアは、特定エリアの一例である。観客は、特定エリア内の人物の一例である。観客エリア４には、複数の座席６が備えられる。座席６は、階段状に設置される。観客は、座席６でパフォーマンスを観覧する。

撮影装置１０は、定位置で撮影する。図２では、ステージエリア３と観客エリア４との間に撮影位置Ｐ（撮影装置１０の設置位置）を設定した場合の例を示している。

図３は、撮影装置の撮影範囲の一例を示す図である。

撮影装置１０は、撮影位置Ｐにおいて、周囲３６０°の範囲を撮影する。より具体的には、半球状の範囲（水平方向に３６０°、垂直方向に１８０°の範囲）を撮影する。したがって、ステージエリア３と観客エリア４の双方が同時に撮影される。なお、この種の撮影装置（周囲３６０°の範囲を撮影可能な撮影装置）は、公知のものであるため、その具体的な構成についての説明は省略する（たとえば、広角レンズを使用して１台で周囲３６０°の範囲を撮影する構成のもの、複数台のカメラを放射状に配置し、各カメラで撮影された画像を合成して、周囲３６０°の範囲を撮影した画像を得る構成のもの等）。

撮影装置１０は、あらかじめ定められたフレームレートで画像を撮影する。すなわち、動画として撮影する。撮影装置１０は、撮影した画像を画像処理装置１００に順次出力する。撮影装置１０と画像処理装置１００との間の接続形態（通信形態）は、特に限定されない。

［画像処理装置］
画像処理装置１００は、撮影装置１０で撮影された画像を入力し、配信用の画像を生成する。撮影装置１０は、動画として画像を撮影するので、画像処理装置１００は、フレーム単位で画像を処理し、配信用の画像（動画）を生成する。

配信用の画像は、一部をＣＧ画像（コンピューターグラフィックス（Computer Graphics，ＣＧ）による画像をいう。）で置き替えた画像が生成される。より具体的には、実写画像（撮影装置１０で撮影された画像）の観客エリア４の部分をＣＧ画像で置き替えた画像が生成される。ＣＧ画像は、観客をアバター（観客の分身となるキャラクター）で表わした画像で構成される。

図４は、画像処理装置のハードウェア構成の一例を示すブロック図である。

画像処理装置１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、操作部（たとえば、キーボード及びマウス等）１０５、表示部（たとえば、液晶ディスプレイ（Liquid Crystal Display，ＬＣＤ）、有機エレクトロルミネッセンスディスプレイ（Organic Electro-Luminescence Display、ＯＥＬＤ）等）１０６、入力インターフェース（interface，Ｉ／Ｆ）１０７及び出力インターフェース１０８等を備えたコンピューターで構成される。撮影装置１０で撮影された画像は、入力インターフェース１０７を介して画像処理装置１００に入力される。画像処理装置１００で生成された配信用の画像は、出力インターフェース１０８を介して配信装置２００に出力される。

図５は、画像処理装置が実現する機能のブロック図である。

同図に示すように、画像処理装置１００は、撮影画像入力部１１１、感情推定部１１２、代表感情決定部１１３、ＣＧ画像生成部１１４、合成画像生成部１１５及び画像出力部１１６の機能を有する。各機能は、プロセッサであるＣＰＵ１０１が、所定のプログラムを実行することにより実現される。このプログラムは、たとえば、ＲＯＭ１０２又はＨＤＤ１０４に記憶される。

撮影画像入力部１１１は、撮影装置１０から出力される画像（撮影画像）を入力する。上記のように、本実施の形態の撮影装置１０は、周囲３６０°の範囲を撮影する。したがって、その撮影画像には、観客エリア４の画像が含まれる。撮影画像は、第１画像の一例である。撮影画像入力部１１１は、第１画像入力部の一例である。

感情推定部１１２は、撮影画像を解析し、観客エリア４にいる各観客の感情を推定する。本実施の形態では、観客の顔の画像から感情を推定する。感情推定部１１２は、第１推定部の一例である。

図６は、本実施の形態の感情推定部の機能ブロック図である。

同図に示すように、感情推定部１１２は、人物の顔を検出する顔検出部１１２Ａ、及び、顔の画像から感情を認識する感情認識部１１２Ｂを有する。

顔検出部１１２Ａは、撮影画像から観客エリア４にいる観客の顔を検出する。図７は、顔の検出の概念図である。同図は、撮影画像の一部（観客エリアの方向で撮影される画像の一部）を示している。顔は、撮影画像内での位置（撮影画像に対して設定される座標上での位置）が特定されて検出される。顔の位置は、たとえば、検出した顔を囲う矩形状の枠Ｆの中心の位置（座標位置（ｘ_Ｆ，ｙ_Ｆ））で特定される。顔の検出には、公知の技術が採用される。

感情認識部１１２Ｂは、顔検出部１１２Ａで検出された各観客の顔の画像に基づいて、各観客の感情を認識する。図８は、顔の画像に基づく感情認識の概念図である。本実施の形態では、感情を「怒り(anger)」、「嫌悪(disgust)」、「恐怖(fear)」、「喜び(happiness)」、「悲しみ(sadness)」及び「驚き（surprise）」の６種類に分類し、各感情の度合いを顔の画像から求めて、観客の感情を認識する。より具体的には、各感情の度合い（感情らしさともいう）を数値化して、感情を認識する。各感情の度合いは、感情スコアとして数値化される。感情スコアは、たとえば、百分率で表わされる。この種の感情認識の技術は、公知の技術である。本実施の形態の感情認識部１１２Ｂも公知の技術（たとえば、機械学習、深層学習等により生成した画像認識モデルを用いて感情を認識する手法等）を採用して、顔の画像から感情を認識する。感情の認識結果は、たとえば、各感情の感情スコアを要素値とする感情ベクトルＥ（Ｅ_anger，Ｅdisgust，Ｅfear，Ｅhappiness，Ｅsadness，Ｅsurprise）を用いて表わすことができる。感情認識部１１２Ｂは、感情の認識結果として、感情ベクトルＥを出力する。

なお、すべてのフレームですべての観客の顔を検出できるとは限らない。感情認識部１１２Ｂは、顔が検出された観客を対象にして、感情の認識処理を実行する。

感情推定部１１２は、感情認識部１１２Ｂによる感情の認識結果（感情ベクトルＥ）を感情の推定結果として出力する。各観客の感情の推定結果は、各観客の顔の位置に関連付けられて出力される。

代表感情決定部１１３は、観客エリア４を複数のエリアに分割し、分割された各エリア（分割エリア）を代表する感情を決定する。代表感情決定部１１３は、第１決定部の一例である。

図９は、観客エリアの分割の一例を示す図である。同図は、観客エリア４を１２の分割エリア４Ａ～４Ｌに分割する場合の例を示している。また、同図は、すべて分割エリア４Ａ～４Ｌで座席の数が同じになるように分割する場合の例（すべて分割エリア４Ａ～４Ｌで観客の数がほぼ同じになるように分割する場合の例）を示している。

図１０は、分割エリアを代表する感情の求め方の概念図である。同図に示すように、分割エリアにいる観客の感情ベクトルＥの集合から当該分割エリアを代表する感情を求める。本実施の形態では、分割エリアにいる観客の感情ベクトルＥの集合から感情ベクトルＥの平均値（感情ベクトルＥを構成する要素値ごとの平均値）Ｅ_ＡＶを求め、求めた平均値Ｅ_ＡＶに基づいて、当該分割エリアを代表する感情を求める。具体的には、最も高い要素値の感情を特定して、当該分割エリアを代表する感情を求める。図１０に示す例では、感情ベクトルの平均値Ｅ_ＡＶが、Ｅ_ＡＶ（Ｅ_ＡＶanger，Ｅ_ＡＶdisgust，Ｅ_ＡＶfear，Ｅ_ＡＶhappiness，Ｅ_ＡＶsadness，Ｅ_ＡＶsurprise）＝Ｅ_ＡＶ（３，１，３，８８，２，１０）であり、最も高い要素値は、Ｅ_ＡＶhappiness＝８８である。したがって、図１０に示す分割エリアを代表する感情は「喜び」となる。感情ベクトルＥの平均値は、標準値の一例である。

ＣＧ画像生成部１１４は、観客エリア４のＣＧ画像を生成する。この画像は、観客エリア４にいる観客をアバター（観客の分身となるキャラクター）で表わした画像で構成される。本実施の形態では、観客エリア４を複数のエリアに分割し、分割したエリアごとに１体のアバターを配置して、観客エリア４のＣＧ画像を生成する。分割のパターンは、代表感情決定部１１３による分割のパターンと同じである（図９参照）。ＣＧ画像生成部１１４は、代表感情決定部１１３で決定した各分割エリアの感情（各分割エリアを代表する感情）を、各分割エリアに配置するアバターに反映させて、観客エリア４のＣＧ画像を生成する。感情をアバターに反映させるとは、感情をアバターの表現に反映させることをいう。図１１は、感情を反映させたアバターの一例を示す図である。同図に示すように、本実施の形態では、アバターの顔の表情に感情を反映させる。

観客エリア４のＣＧ画像は、たとえば、観客エリアを模した画像（観客エリアの画像レイヤー）の上にアバターを配置して生成される。以下、このＣＧ画像の生成の概略について説明する。

図１２は、撮影画像（実写画像）の一部の一例を示す図である。同図は、観客エリア４の方向（図２において矢印Ｒで示す方向（真後ろの方向））を撮影した場合に得られる画像を示している。この画像部分は、合成画像を生成する際にＣＧ画像で置き替えられる部分である。なお、同図は、理解を容易にするため、デフォルメして示している。上記のように、撮影装置１０は、定位置で撮影する。このため、観客エリア４が、撮影装置１０によって、どのように撮影されるかは、あらかじめ知ることができる。まず、事前に撮影した画像からベースとなる観客エリアの画像レイヤーを生成する。この画像は、必ずしも実際の観客エリアと同じ画像である必要はない。たとえば、実際の観客エリアをデフォルメした画像を観客エリアの画像レイヤーとして生成できる。図１３は、観客エリアの画像レイヤーの一例を示す図である。観客エリアの画像レイヤーのデータは、たとえば、ＨＤＤ１０４に記憶される。観客エリア４のＣＧ画像は、観客エリアの画像レイヤーの上にアバターを配置して生成される。図１４は、ＣＧ画像の一例を示す図である。アバターは、各分割エリアの位置に対応する位置に配置され、かつ、各分割エリアに１体配置される。また、各分割エリアに配置するアバターは、各分割エリアを代表する感情を反映させたアバターが配置される。図１４は、分割エリア４Ａを代表する感情が「驚き」、分割エリア４Ｂを代表する感情が「喜び」、分割エリア４Ｃを代表する感情が「喜び」、分割エリア４Ｄを代表する感情が「喜び」、分割エリア４Ｅを代表する感情が「喜び」、分割エリア４Ｆを代表する感情が「喜び」、分割エリア４Ｇを代表する感情が「喜び」、分割エリア４Ｈを代表する感情が「喜び」、分割エリア４Ｉを代表する感情が「驚き」、分割エリア４Ｊを代表する感情が「驚き」、分割エリア４Ｋを代表する感情が「喜び」、分割エリア４Ｌを代表する感情が「喜び」の場合の例を示している。この場合、同図に示すように、分割エリア４Ａ、４Ｉ及び４Ｊに「驚き」の感情のアバターが配置され、かつ、分割エリア４Ｂ、４Ｃ、４Ｄ、４Ｅ、４Ｆ、４Ｇ、４Ｈ、４Ｋに「喜び」の感情のアバターが配置されて、観客エリアのＣＧ画像が生成される。なお、各感情に対応したアバターが複数用意される場合（図１１参照）、使用するアバターがランダムに選択される。あるいは、あらかじめ定められた順序で使用される。また、各分割エリア４Ａ～４Ｌに配置されるアバターは、あらかじめ定められたサイズに調整されて表示される。図１４に示す例では、撮影位置からの距離に応じて、各分割エリア４Ａ～４Ｌに表示するアバターのサイズを変えている。すなわち、遠近感を調整して表示している。

ＣＧ画像生成部１１４で生成されたＣＧ画像は、合成画像生成部１１５に加えられる。ＣＧ画像生成部１１４は、第２画像生成部の一例である。また、ＣＧ画像生成部１１４で生成される観客エリアのＣＧ画像は、第２画像の一例である。

合成画像生成部１１５は、ＣＧ画像生成部１１４で生成されたＣＧ画像を撮影画像（実写画像）に合成して、合成画像を生成する。合成画像生成部１１５は、撮影画像内の観客エリアの画像部分にＣＧ画像を合成して、合成画像を生成する。これにより、観客エリアの部分がＣＧ画像で構成された画像（合成画像）が生成される。

合成画像生成部１１５で生成された合成画像は、画像出力部１１６に加えられる。合成画像生成部１１５は、第３画像生成部の一例である。また、合成画像生成部１１５で生成される合成画像は、第３画像の一例である。

画像出力部１１６は、合成画像生成部１１５で生成された合成画像を配信用の画像として、配信装置２００に出力する。画像処理装置１００と配信装置２００との間の接続形態（通信形態）は、特に限定されない。

［配信装置］
配信装置２００は、画像処理装置１００で生成された配信用の画像（動画）を再生装置３００に送信する。配信装置２００は、いわゆる動画配信サーバーであり、クライアントである再生装置３００からの要求に応じて、再生装置３００に配信用の画像を送信する。配信装置２００は、コンピューターで構成され、コンピューターが所定のプログラムを実行することにより、配信装置２００として機能する。すなわち、動画配信サーバーとして機能する。この種の配信装置は、公知のものであるため、その具体的な構成についての説明は省略する。なお、配信装置２００と再生装置３００との間の接続形態（通信形態）は、特に限定されない。たとえば、インターネット等のネットワークを介して相互に通信する形態を採用できる。

［再生装置］
再生装置３００は、配信装置２００から送信される画像（動画）を再生する。再生装置３００は、配信装置２００から送信される画像の一部を切り出して再生する。したがって、ユーザー（視聴者）は、３６０°を撮影した画像の一部を見ることになる。たとえば、図３において、破線で示す領域ＶＡが、画像の表示範囲である。画像の表示範囲（＝画像を切り出す範囲）は、ユーザーからの指示に応じて切り替えられる。

本実施の形態では、再生装置３００がヘッドマウントディスプレイで構成される。ヘッドマウントディスプレイでは、装着したユーザーの頭部の姿勢が検出され、検出された頭部の姿勢に応じて、画像の表示範囲が切り替えられる。より具体的には、検出された頭部の姿勢から推測される視線の方向に応じて、画像の表示範囲が切り替えられる。

図１５は、再生装置の構成例を示すブロック図である。

同図に示すように、ヘッドマウントディスプレイで構成される本実施の形態の再生装置３００は、通信部３０１、検出部３０２、操作部３０３、表示部３０４及び制御部３０６等を備える。

通信部３０１は、配信装置２００との間で相互に通信する。配信装置２００から送信される画像（動画）は、この通信部３０１を介して受信される。

検出部３０２は、再生装置本体（頭部に装着される部分）の動き（姿勢）を検出して、再生装置３００を装着したユーザーの頭部の動き（姿勢）を検出する。検出部３０２は、加速度センサ及び角速度センサなどのヘッドトラッキング用のセンサを備えて構成される。

操作部３０３は、再生装置本体に備えられた複数の操作ボタン等で構成される。再生装置３００に対して行う操作は、この操作部３０３を介して行われる。

表示部３０４は、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイ等で構成される。表示部３０４は、第４画像出力部の一例である。画像は、この表示部３０４に表示（出力）される。

制御部３０６は、再生装置３００の全体の動作を制御する。制御部３０６は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピューターで構成され、所定のプログラムを実行することにより、各種機能を実現する。

図１６は、再生装置の制御部が実現する機能のブロック図である。

同図に示すように、制御部３０６は、再生画像入力部３０６Ａ、視野特定部３０６Ｂ、表示制御部３０６Ｃ等の機能が実現される。

再生画像入力部３０６Ａは、通信部３０１を制御して、配信装置２００から送信される画像を受信し、再生装置３００で再生する画像（再生画像）を入力する。配信装置２００から送信される画像は、画像処理装置１００で生成される合成画像（第３画像）である。したがって、再生画像は第３画像の一例でもある。再生画像入力部３０６Ａは、第３画像入力部の一例である。入力された画像（再生画像）は、表示制御部３０６Ｃに加えられる。

視野特定部３０６Ｂは、検出部３０２の検出結果に基づいて、ユーザーの視野を特定する。「視野」は、ユーザーが見ている範囲であり、表示部３０４に表示される画像の範囲（表示範囲）に相当する。視野特定部３０６Ｂは、検出部３０２で検出されるユーザーの頭部の動き（姿勢）から視野を特定する。視野特定部３０６Ｂで特定された視野の情報は、表示制御部３０６Ｃに加えられる。

表示制御部３０６Ｃは、再生画像入力部３０６Ａに入力された画像から表示用の画像を生成し、表示部３０４に表示させる。表示用の画像は、再生画像入力部３０６Ａに入力された画像（再生画像）から一部を切り出した画像であり、視野に相当する画像である。表示制御部３０６Ｃは、視野特定部３０６Ｂで特定された視野に応じて、画像を切り出す範囲を切り替えて、表示用の画像を生成する。表示用の画像は、第４画像の一例である。また、表示制御部３０６Ｃは、第４画像生成部の一例である。なお、本実施の形態では、視野特定部３０６Ｂで特定された視野に応じて画像の切り出し範囲が切り替えられるので、視野特定部３０６Ｂは指示部の一例である。

［画像処理システムの動作］
図１７は、本実施の形態の画像処理システムの処理の流れを示すフローチャートである。

まず、イベント会場に設置された撮影装置１０で撮影が行われる（ステップＳ１１）。撮影装置１０は、定位置でイベントを撮影する。撮影装置１０で撮影された画像（撮影画像）は、画像処理装置１００に出力される（ステップＳ１２）。この画像は、周囲３６０°の範囲を撮影した画像であり、観客エリアを含む画像である。

画像処理装置１００は、撮影装置１０から出力される画像（撮影画像）を入力し（ステップＳ２１）、所定の処理を行って、配信用の画像を生成する。まず、入力した撮影画像から各観客の感情を推定する処理が行われる（ステップＳ２２）。観客の感情は、観客の顔の画像に基づいて推定される。次に、各観客の感情の推定結果に基づいて、各分割エリアを代表する感情が決定される（ステップＳ２３）。次に、観客エリアのＣＧ画像が生成される（ステップＳ２４）。このＣＧ画像は、観客エリアにいる観客をアバターで表わした画像であり、観客エリアを模した画像（観客エリアの画像レイヤー）の上にアバターを配置して生成される。アバターは、各分割エリアに１体配置され、各分割エリアの位置に対応して配置される。また、各分割エリアに配置されるアバターは、各分割エリアを代表する感情を反映させたアバターが配置される。ＣＧ画像が生成されると、合成画像が生成される（ステップＳ２５）。合成画像は、撮影画像（実写画像）の一部にＣＧ画像を合成して生成される。ＣＧ画像は、撮影画像の観客エリアの部分に合成される。これにより、撮影画像（実写画像）において、観客が写された部分がＣＧ画像でマスクされる。生成された合成画像は、配信用の画像として配信装置２００に出力される（ステップＳ２６）。

配信装置２００は、画像処理装置１００から出力される画像（配信用の画像）を入力し（ステップＳ３１）、再生装置３００に送信する（ステップＳ３２）。

再生装置３００は、配信装置２００から送信される配信用の画像を受信し（ステップＳ４１）、所定の処理を行って、表示部３０４に出力する。すなわち、表示部３０４に表示させる。表示部３０４に表示する画像は、受信した画像の一部を切り出した画像である。再生装置３００は、受信した画像から表示用の画像を生成し（ステップＳ４２）、表示部３０４に表示させる（ステップＳ４３）。

画像を切り出す範囲（表示範囲）は、ユーザーからの指示に応じて切り替えられる。本実施の形態では、再生装置３００が、ヘッドマウントディスプレイで構成されることから、頭部の動き（姿勢）に応じて、切り出す範囲が切り替えられる。

以上説明したように、本実施の形態の画像処理システム１によれば、撮影された画像の一部がＣＧ画像に置き替えられて配信される。ＣＧ画像に置き替えられる部分は、観客が写されたエリアの部分である。これにより、観客のプライバシーを適切に保護できる。また、置き替えるＣＧ画像は、観客をアバターで表わした画像であり、各アバターは、対応する位置の観客の感情が反映されている。これにより、会場いる観客の反応及び雰囲気をユーザー（視聴者）に伝えることができる。また、これにより、現場である会場の雰囲気を共有できる。

また、本実施の形態の画像処理システム１では、実際の観客の数よりも少ない数のアバターで置き替えられて、観客エリアのＣＧ画像が生成される。これにより、実際の画像では、遠くて小さく映る観客の感情を分かりやすく表現できる。したがって、実際の画像（実写画像）を見るよりも、現場である会場の雰囲気をユーザー（視聴者）に伝えやすくできる。特に、大きな会場で行われるイベントでは、実際の画像を見るよりも、適切に現場である会場の雰囲気を伝えることができる。

［変形例］
［各分割エリアを代表する感情の決定方法の変形例］
上記実施の形態では、各分割エリアにいる観客の感情ベクトルの平均値を求めて、各分割エリアを代表する感情を決定しているが、各分割エリアを代表する感情の決定方法は、これに限定されるものではない。たとえば、各分割エリアから一人の観客を抽出し、抽出した観客の感情によって、各分割エリアの感情を代表させてもよい。この場合、観客はランダムに抽出してもよいし、あらかじめ位置（客席）を定めて、抽出してもよい。また、感情ベクトルの中央値、最頻値等を求めて、各分割エリアを代表する感情を求めてもよい。

また、平均値から各分割エリアを代表する感情を決定する場合、必ずしもすべての観客を対象として平均値を求める必要はない。たとえば、各分割エリアにおいて、ランダムに抽出した観客の感情ベクトルの平均値を求めて、各分割エリアを代表する感情を求める構成としてもよい。あるいは、各分割エリアにおいて、あらかじめ定めた位置（客席）にいる観客の感情ベクトルの平均値を求めて、各分割エリアを代表する感情を求める構成としてもよい。

［アバターへの感情の反映の変形例］
上記実施の形態では、６種類の感情（「怒り」、「嫌悪」、「恐怖」、「喜び」、「悲しみ」及び「驚き」）の一つをアバターに反映させているが、アバターに反映させる感情は、これに限定されるものではない。

また、分割エリアを代表する感情の度合い（感情スコア）が閾値以下の場合、感情をアバターに反映させずに、アバターを表示させてもよい。この場合、いわゆる真顔の状態（感情が表出していない状態（無感情、無表情ともいう））のアバターが表示される。あるいは、あらかじめ定めた表情のアバターが表示される。

また、上記実施の形態では、一種類の感情をアバターに反映させているが、複数種類の感情を組み合わせて、１体のアバターに反映させてもよい。また、感情の度合いもアバターに反映させてもよい。

また、上記実施の形態では、撮影画像から観客の感情を推定し、推定した感情（上記実施の形態では、分割エリアを代表する感情）をアバターに反映させる構成としているが、撮影画像から観客の表情を推定し、推定した表情をアバターに反映させる構成としてもよい（分割エリアを代表する表情を求めて、アバターに反映させる場合を含む）。また、撮影画像から観客の感情及び表情を推定し、推定した感情及び表情をアバターに反映させる構成としてもよい（分割エリアを代表する感情及び表情を求めて、アバターに反映させる場合を含む）。

なお、表情の種類は、感情を示す語によって表わすこともできる。この場合、表情及び感情の両方が特定される。

［アバターの表示の変形例］
アバターには、各分割エリアを代表する属性（性別、年齢、人種（骨格、皮膚、毛髪などの形質的特徴等）等）を反映させてもよい。

図１８は、アバターに各分割エリアを代表する属性を反映させて配信用の画像を生成する場合の画像処理装置の機能ブロック図である。同図に示すように、属性推定部１２１及び代表属性決定部１２２が更に備えられる。

属性推定部１２１は、撮影画像入力部１１１から撮影画像を取得し、取得した撮影画像を解析して、観客エリア４にいる各観客の属性を推定する。たとえば、各観客の性別及び年齢を推定する。画像から人物の属性を推定する技術は、公知の技術である。本実施の形態の属性推定部１２１も公知の技術（たとえば、学習済みの画像認識モデルを用いて人物の属性を認識する手法等）を採用する。属性推定部１２１は、第２推定部の一例である。

代表属性決定部１２２は、各分割エリアを代表する属性を決定する。たとえば、性別については、人数の多い方の性別を代表する性別として特定する（いわゆる多数決）。また、年齢については、平均を求めて、代表する年齢を特定する。この他、中央値、最頻値等を求めて、代表する属性を決定する。代表属性決定部１２２は、第２決定部の一例である。

ＣＧ画像生成部１１４は、観客エリア４のＣＧ画像を生成する際、各分割エリアに配置するアバターに、各分割エリアを代表する感情及び属性を反映させて、観客エリア４のＣＧ画像を生成する。

このように、アバターに属性を反映させることにより、ユーザーに対して、会場の雰囲気をよりリアルに伝えることができる。

なお、上記の例では、撮影画像から観客の感情を推定する処理と属性を推定する処理とを別の処理部（感情推定部１１２及び属性推定部１２１）で行う構成としているが、一つの処理部で行う構成とすることもできる。たとえば、学習済みの画像認識モデルを用いて、撮影画像から観客の感情及び属性を推定する構成とすることもできる。

［観客エリアのＣＧ画像の変形例］
上記実施の形態では、観客エリアを模した画像（観客エリアの画像レイヤー）の上にアバターを配置して、観客エリアのＣＧ画像を生成しているが、観客エリアのＣＧ画像の構成は、これに限定されるものではない。ベースとする観客エリアの画像（観客エリアの画像レイヤー）は、必ずしも実際の観客エリアを模した画像である必要はない。たとえば、架空の観客エリアの画像を用意し、この画像をベースの画像レイヤーとして使用してもよい。

［観客エリアの分割の変形例］
上記実施の形態では、観客エリアを１２のエリアに分割する構成としているが、分割の態様は、これに限定されるものではない。人数に応じて分割できる。

また、上記実施の形態では、すべて分割エリアで座席の数が同じになるように、観客エリアを分割しているが、観客エリアの分割の態様は、これに限定されるものではない。たとえば、撮影位置からの距離に応じて、座席の数が多くなるように分割してもよい。すなわち、撮影位置から離れるほど多くの観客が含まれるように分割してもよい。

この他、観客エリア全体の顔を検出した後、近傍の顔をグルーピングして、観客エリアを分割することもできる。

［撮影装置の変形例］
上記実施の形態では、周囲３６０°の範囲として、半球状の範囲（水平方向に３６０°、垂直方向に１８０°の範囲）を撮影する構成としているが、全球状の範囲（水平及び垂直方向に３６０°の範囲）を撮影する構成としてもよい。

一方、撮影範囲は、必ずしも周囲３６０°の範囲である必要はない。撮影される範囲の一部に観客エリア（プライバシーを保護すべき人物がいるエリア）が含まれていればよい。

［再生装置の変形例］
上記実施の形態では、再生装置がヘッドマウントディスプレイで構成される場合を例に説明したが、再生装置の構成は、これに限定されるものではない。この他、たとえば、スマートフォン、タブレット端末、パーソナルコンピュータ等の電子機器で再生装置を構成することもできる。これらの電子機器は、画面にタッチパネルを備え、そのタッチパネルへのタッチ操作で表示範囲の切り替えなどを指示できる。更に、これらの電子機器が備える加速度センサ、ジャイロセンサ、コンパス等を利用して操作指示をすることもできる。またフロントカメラ、顔認証カメラ等を使ってゼスチャーにより操作指示をすることもできる。

［画像の配信の変形例］
上記実施の形態では、イベントを撮影した画像をリアルタイムに配信する場合を例に説明したが、撮影済みの画像を配信する場合にも本発明は適用できる。

［その他の変形例］
上記実施の形態では、特に音声の配信については言及していないが、画像の撮影と同時に会場内の音声を集音し、配信する構成とすることもできる。

［第２の実施の形態］
［概要］
イベントの画像を配信する場合において、会場にいる観客の数が少ないと、コンテンツの提供を受けるユーザー（視聴者）の気分の盛り上がりも低下する。

本実施の形態の画像処理システムでは、一人の観客から複数のアバターを生成して観客エリアのＣＧ画像を生成し、配信用の画像（合成画像）を生成する。

これにより、観客の少ないイベントでも、会場にいる観客の反応（感情）を増幅してユーザーに伝えることができ、娯楽性を高めることができる。

なお、本実施の形態の画像処理システムは、配信用の画像の生成処理が、上記第１の実施の形態の画像処理システム１と異なるだけであるので、以下においては、画像処理装置の構成についてのみ説明する。

［画像処理装置の構成］
ハードウェア構成は、上記第１の実施の形態の画像処理システム１の画像処理装置１００と同じである（図４参照）。すなわち、コンピューターで構成され、ＣＰＵが所定のプログラムを実行することにより、画像処理装置として機能する。

図１９は、本実施の形態の画像処理装置が実現する機能のブロック図である。

同図に示すように、本実施の形態の画像処理装置１００Ａは、撮影画像入力部１３１、感情推定部１３２、ＣＧ画像生成部１３４、合成画像生成部１３５及び画像出力部１３６の機能を有する。各機能は、プロセッサであるＣＰＵ１０１が、所定のプログラムを実行することにより実現される。このプログラムは、たとえば、ＲＯＭ１０２又はＨＤＤ１０４に記憶される。

撮影画像入力部１３１は、撮影装置１０から出力される画像（撮影画像）を入力する。この画像は、観客エリアを一部に含む画像（たとえば、定位置において周囲３６０°の範囲を撮影した画像）である。

感情推定部１３２は、撮影画像を解析し、観客エリアにいる各観客の感情を推定する。感情推定部１３２は、撮影画像から観客エリアにいる各観客の顔を検出し、検出した顔の画像から観客エリアにいる各観客の感情を推定する。この点は、上記第１の実施の形態の感情推定部１１２と同じである。

ＣＧ画像生成部１３４は、観客エリアのＣＧ画像を生成する。この画像は、観客エリアにいる観客をアバターで表わした画像で構成される。本実施の形態では、実際の観客の数よりも多い数のアバターを用いて、観客エリアのＣＧ画像が生成される。具体的には、一人の観客から複数体のアバターを生成し、生成した複数体のアバターをベースとなる画像レイヤー（たとえば、観客エリアを模した画像）の上に配置して、観客エリアのＣＧ画像が生成される。以下に一例を挙げて、観客エリアのＣＧ画像の生成について説明する。

図２０は、イベント会場の一例を示す平面図である。

ここでは、講演会（イベントの一例）を撮影した画像を配信する場合を例に説明する。講演会場（イベント会場の一例）４００は、教壇エリア４１０及び観客エリア４２０を有する。教壇エリア４１０は、講師が講演するエリアである。教壇エリア４１０には、教壇４１１及び教卓４１２等が備えられる。観客エリア４２０は、観客（聴講者）が配置されるエリアである。観客エリア４２０には、複数の座席４２１及び机４２２が備えられる。座席４２１及び机４２２は、階段状に設置される。撮影装置１０は、教壇エリア４１０と観客エリア４２０との間に設定された撮影位置Ｐで撮影する。

図２１は、撮影画像（実写画像）の一部の一例を示す図である。同図は、観客エリア４２０の方向（図２０において矢印Ｒで示す方向（真後ろの方向））を撮影した場合に得られる画像を示している。この画像部分は、合成画像を生成する際に、ＣＧ画像で置き替えられる部分である。なお、同図は、理解を容易にするため、デフォルメして示している。同図に示すように、撮影画像には、実際に観客エリアにいる観客５００が写される。同図では、８人の観客５００がいる場合の例を示している。

図２２は、観客エリアのＣＧ画像の一例を示す図である。

同図に示すように、ＣＧ画像では、観客がアバター６００で表示される。上記のように、本実施の形態では、一人の観客が複数体のアバター６００に置き替えられて表示される。図２２は、一人の観客から１０体のアバター６００を生成して表示する場合の例を示している。実際の観客は８人であるので、８０体のアバター６００が生成されて表示される。各アバター６００は、生成元の観客の感情が反映される。したがって、同じ観客から生成されるアバター６００は、同じ感情が表現されたアバター６００となる。アバター６００は、ベースとなる画像レイヤーの上にランダムに配置される。

このように、ＣＧ画像生成部１３４では、一人の観客から複数体のアバターを生成し、生成した複数体のアバターをベースとなる画像レイヤーの上に配置して、観客エリアのＣＧ画像を生成する。

合成画像生成部１３５は、ＣＧ画像生成部１３４で生成されたＣＧ画像を撮影画像（実写画像）に合成して、合成画像を生成する。これにより、観客エリアの部分がＣＧ画像で構成された画像（合成画像）が生成される。

画像出力部１３６は、合成画像生成部１３５で生成された合成画像を配信用の画像として、配信装置２００に出力する。

［画像処理装置の動作］
画像処理装置１００は、撮影装置１０から出力される画像（撮影画像）を入力し、所定の処理を行って、配信用の画像を生成する。

まず、入力した撮影画像から各観客の顔が検出され、検出された顔の画像に基づいて、各観客の感情が推定される。次に、観客エリアのＣＧ画像が生成される。このＣＧ画像は、観客エリアにいる観客をアバターで表わした画像である。アバターは、一人の観客から複数体生成される。各アバターは、生成元の観客の感情が反映される。ＣＧ画像は、ベースとなる画像レイヤーの上にアバターを配置して生成される。ＣＧ画像が生成されると、合成画像が生成される。合成画像は、撮影画像（実写画像）の一部にＣＧ画像を合成して生成される。ＣＧ画像は、撮影画像の観客エリアの部分に合成される。これにより、撮影画像（実写画像）において、観客が写された部分がＣＧ画像でマスクされる。生成された合成画像は、配信用の画像として配信装置２００に出力される。

以上説明したように、本実施の形態の画像処理装置によれば、一人の観客から複数体のアバターを生成して、合成用のＣＧ画像が生成される。これにより、たとえば、数十人の反応を数百人の観客の反応に増幅でき、娯楽性を高めることができる。

［変形例］
［アバターの配置の変形例］
上記実施の形態では、一人の観客から生成した複数体のアバターをランダムに配置してＣＧ画像を生成する場合を例に説明したが、アバターの配置は、これに限定されるものではない。たとえば、あらかじめ定めた規則に従って配置する構成とすることもできる。

［生成するアバターの数］
一人の観客から生成するアバターの数は、ユーザーが任意に設定できる構成としてもよいし、自動で設定する構成としてもよい。自動で設定する構成の場合は、たとえば、あらかじめＣＧ画像に表示するアバターの数を設定しておき、その数から逆算して、一人の観客から生成するアバターの数を決定する構成とすることができる。たとえば、生成するＣＧ画像に表示するアバターの数を１００とする。この場合、たとえば、撮影画像（実写画像）から検出される観客の数が１０人であるとすると、一人の観客から生成するアバターの数は１０体となる。また、たとえば、撮影画像（実写画像）から検出される観客の数が９人であるとすると、一人の観客から生成するアバターの数は１１体となる（小数点以下切り捨て）。

［一人の観客から生成するアバター］
一人の観客から生成するアバターは、異なるキャラクターで構成することがより好ましい。

［観客エリアのＣＧ画像の変形例］
ベースとする観客エリアの画像（観客エリアの画像レイヤー）は、必ずしも実際の観客エリアを模した画像である必要はない。たとえば、架空の観客エリアの画像を用意し、この画像をベースの画像レイヤーとして使用してもよい。

［その他の実施の形態］
［ＣＧ画像の生成の変形例］
観客エリアのＣＧ画像は、顔が検出されたすべての観客を個別にアバターに置き替えてを生成してもよい。すなわち、顔が検出できた観客を一対一でアバターに置き替えて、観客エリアのＣＧ画像を生成する。この場合、顔が検出された観客の数だけアバターが表示される。

また、上記実施の形態では、アバターの顔の表情に感情を反映させているが、アバターの動き（身振り、手振り等）に感情を反映させてもよい。また、顔の表情と動きの双方に感情を反映させてもよい。

また、上記実施の形態では、フレーム単位で撮影画像を処理し、フレーム単位でＣＧ画像を生成する構成としているが、あらかじめ定めたフレーム間隔でＣＧ画像を生成する構成としてもよい。この場合、配信用の画像は、あらかじめ定められたフレーム間隔で観客エリアの画像部分、すなわち、ＣＧ画像の部分が切り替わる。

［システム構成］
上記実施の形態では、撮影装置１０で撮影した画像から配信用の画像を生成する機能（画像処理装置１００の機能）と、画像を配信する機能（配信装置２００の機能）を別の装置で実現しているが、一つの装置で実現する構成とすることもできる。

［画像処理装置に関して］
画像処理装置の一部又は全部の機能は、各種のプロセッサ（processor）で実現できる。各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。プログラムは、ソフトウェアと同義である。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。たとえば、１つの処理部は、複数のＦＰＧＡ、或いは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

１ 画像処理システム
２ コンサート会場
３ ステージエリア
４ 観客エリア
４Ａ～４Ｌ 分割エリア
５ ステージ
６ 座席
１０ 撮影装置
１００ 画像処理装置
１００Ａ 画像処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０４ ＨＤＤ
１０７ 入力インターフェース
１０８ 出力インターフェース
１１１ 撮影画像入力部
１１２ 感情推定部
１１２Ａ 顔検出部
１１２Ｂ 感情認識部
１１３ 代表感情決定部
１１４ ＣＧ画像生成部
１１５ 合成画像生成部
１１６ 画像出力部
１２１ 属性推定部
１２２ 代表属性決定部
１３１ 撮影画像入力部
１３２ 感情推定部
１３４ ＣＧ画像生成部
１３５ 合成画像生成部
１３６ 画像出力部
２００ 配信装置
３００ 再生装置
３０１ 通信部
３０２ 検出部
３０３ 操作部
３０４ 表示部
３０６ 制御部
３０６Ａ 再生画像入力部
３０６Ｂ 視野特定部
３０６Ｃ 表示制御部
４１０ 教壇エリア
４１１ 教壇
４１２ 教卓
４２０ 観客エリア
４２１ 座席
４２２ 机
５００ 観客
６００ アバター
Ｆ 検出した顔を囲う枠
Ｐ 撮影位置
Ｒ 方向を示す矢印
Ｓ１１～Ｓ４３ 画像処理システムの処理手順
ＶＡ 再生装置での画像の表示範囲

Claims (15)

1. 特定エリアを含んだ第１画像を入力する第１画像入力部と、
   前記第１画像に基づいて、前記特定エリア内の人物の表情及び／又は感情を推定する第１推定部と、
   人物がアバターで表わされた前記特定エリアの画像であって、少なくとも前記第１推定部で推定した表情及び／又は感情を前記アバターに反映させた画像を第２画像として生成する第２画像生成部と、
   前記第１画像の前記特定エリアに前記第２画像を合成して第３画像を生成する第３画像生成部と、
   を備え、
   前記第２画像生成部は、前記特定エリアを複数に分割し、分割エリアごとに１体の前記アバターを配置して、前記第２画像を生成する、
   画像処理装置。
2. 前記第１推定部による推定結果に基づいて、前記分割エリアを代表する表情及び／又は感情を決定する第１決定部を更に備え、
   前記第２画像生成部は、前記第１決定部で決定された表情及び／又は感情を各前記分割エリアの前記アバターに反映させて、前記第２画像を生成する、
   請求項１に記載の画像処理装置。
3. 前記第１決定部は、前記分割エリアにいる人物の表情及び／又は感情の標準値に基づいて、前記分割エリアを代表する表情及び／又は感情を決定する、
   請求項２に記載の画像処理装置。
4. 前記第１画像に基づいて、前記特定エリア内の人物の属性を推定する第２推定部と、
   前記第２推定部による推定結果に基づいて、前記分割エリアを代表する属性を決定する第２決定部と、
   を更に備え、
   前記第２画像生成部は、前記第２決定部で決定された属性を各前記分割エリアの前記アバターに反映させて、前記第２画像を生成する、
   請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記属性は、年齢及び性別の少なくとも一方を含む、
   請求項４に記載の画像処理装置。
6. 前記特定エリアは、前記分割エリアが人数に応じて分割される、
   請求項１から５のいずれか１項に記載の画像処理装置。
7. 特定エリアを含んだ第１画像を入力する第１画像入力部と、
   前記第１画像に基づいて、前記特定エリア内の人物の表情及び／又は感情を推定する第１推定部と、
   人物がアバターで表わされた前記特定エリアの画像であって、少なくとも前記第１推定部で推定した表情及び／又は感情を前記アバターに反映させた画像を第２画像として生成する第２画像生成部と、
   前記第１画像の前記特定エリアに前記第２画像を合成して第３画像を生成する第３画像生成部と、
   を備え、
   前記第２画像生成部は、前記第１推定部で推定した各人物の表情及び／又は感情を一人に付き複数体の前記アバターに反映させて、前記第２画像を生成する、
   画像処理装置。
8. 前記第１画像は、周囲３６０°の範囲を撮影した画像である、
   請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記第１画像は、イベント会場を撮影した画像であり、前記特定エリアは、前記イベント会場において観客がいるエリアである、
   請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記第１推定部は、複数種類の表情及び／又は感情のそれぞれの度合いを数値化して、表情及び／又は感情を推定する、
    請求項１から９のいずれか１項に記載の画像処理装置。
11. 請求項１から１０のいずれか１項に記載の画像処理装置と、
    前記画像処理装置で生成された前記第３画像を再生する再生装置と、
    を備え、
    前記再生装置は、
    前記第３画像を入力する第３画像入力部と、
    前記第３画像の一部を切り出して、表示用の第４画像を生成する第４画像生成部と、
    表示範囲の切り替えを指示する指示部と、
    前記第４画像を出力する第４画像出力部と、
    を備え、前記第４画像生成部は、前記指示部の指示に応じて、前記第３画像から画像を切り出す範囲を切り替えて、前記第４画像を生成する、
    画像処理システム。
12. 前記再生装置は、ヘッドマウントディスプレイであり、
    本体の動きを検出する検出部を備え、
    前記指示部は、前記検出部で検出される前記本体の動きに応じて、前記表示範囲の切り替えを指示する、
    請求項１１に記載の画像処理システム。
13. 特定エリアを含んだ第１画像を入力するステップと、
    前記第１画像に基づいて、前記特定エリア内の人物の表情及び／又は感情を推定するステップと、
    人物がアバターで表わされた前記特定エリアの画像であって、少なくとも推定した表情及び／又は感情を前記アバターに反映させた画像を第２画像として生成するステップであって、前記特定エリアを複数に分割し、分割エリアごとに１体の前記アバターを配置して、前記第２画像を生成するステップと、
    前記第１画像の前記特定エリアに前記第２画像を合成して第３画像を生成するステップと、
    を含む画像処理方法。
14. 特定エリアを含んだ第１画像を入力するステップと、
    前記第１画像に基づいて、前記特定エリア内の人物の表情及び／又は感情を推定するステップと、
    人物がアバターで表わされた前記特定エリアの画像であって、少なくとも推定した表情及び／又は感情を前記アバターに反映させた画像を第２画像として生成するステップであって、前記第１画像に基づいて推定した前記特定エリア内の各人物の表情及び／又は感情を一人に付き複数体の前記アバターに反映させて、前記第２画像を生成するステップと、
    前記第１画像の前記特定エリアに前記第２画像を合成して第３画像を生成するステップと、
    を含む画像処理方法。
15. 前記第３画像の一部を切り出して、表示用の第４画像を生成するステップと、
    前記第４画像を出力するステップと、
    を更に含み、
    前記第４画像を生成するステップは、表示範囲の切り替えの指示を受け付け、受け付けた指示に応じて、前記第３画像から画像を切り出す範囲を切り替えて、前記第４画像を生成する、
    請求項１３又は１４に記載の画像処理方法。

Images