JP6563580B1 - コミュニケーションシステム及びプログラム - Google Patents
コミュニケーションシステム及びプログラム Download PDFInfo
- Publication number
- JP6563580B1 JP6563580B1 JP2018195458A JP2018195458A JP6563580B1 JP 6563580 B1 JP6563580 B1 JP 6563580B1 JP 2018195458 A JP2018195458 A JP 2018195458A JP 2018195458 A JP2018195458 A JP 2018195458A JP 6563580 B1 JP6563580 B1 JP 6563580B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- avatar
- unit
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
Abstract
【課題】アバター画像を動かすに当たって、データ通信量を削減しつつ、配信者のプライバシーに配慮し、人物画像が露出するリスクを排除する。
【解決手段】配信者端末は、撮影手段により撮影された被写体を含む撮影画像を取得する撮影画像取得手段と、撮影画像取得手段により取得された撮影画像の所定の撮影タイミングにおける画像から、被写体の各部に対応する特徴データを取得する特徴取得手段と、特徴取得手段により取得された特徴データを視聴者端末に送信する特徴送信手段を備え、視聴者端末は、特徴送信手段から送信された特徴データを受信する特徴受信手段と、特徴受信手段から受信した特徴データを、アバター画像取得手段で取得したアバター画像に反映させるアバター画像反映手段と、アバター画像反映手段により生成されたアバター画像を表示する表示手段とを備える。
【選択図】図１
【解決手段】配信者端末は、撮影手段により撮影された被写体を含む撮影画像を取得する撮影画像取得手段と、撮影画像取得手段により取得された撮影画像の所定の撮影タイミングにおける画像から、被写体の各部に対応する特徴データを取得する特徴取得手段と、特徴取得手段により取得された特徴データを視聴者端末に送信する特徴送信手段を備え、視聴者端末は、特徴送信手段から送信された特徴データを受信する特徴受信手段と、特徴受信手段から受信した特徴データを、アバター画像取得手段で取得したアバター画像に反映させるアバター画像反映手段と、アバター画像反映手段により生成されたアバター画像を表示する表示手段とを備える。
【選択図】図１
Description
本発明は、コミュニケーションシステム及びプログラムに関する。
オンラインでのコミュニケーションツールとして、アバターが用いられることがある。アバターは、主にユーザ自身に似せた外見のキャラクターを使用するが、他人、動物、架空のキャラクター等を模して使用することもある。例えば、ユーザは、ユーザ自身に似せたアバターをコミュニケーションツールとして用いることが可能である。ユーザがアバターを使用する場合には、好みのアバターを作成し、ユーザの表情やユーザの動作を検出して、作成したアバターに検出したユーザの表情やユーザの動作を反映してアバター画像を生成して表示する。
複数の端末でアバターを使用する場合、一ユーザの端末と他のユーザの端末との間で、アバター画像を送受信している。複数の端末でアバターを使用する場合は、ユーザの表情やユーザの動作を検出する度に、アバター画像全体を送受信する必要があり、送受信するデータの容量が大きくなってしまう。このため、送受信するデータの容量が大きくなると、通信回線の付加が増大し、アバター画像の送受信の速度が遅くなり、受信した端末でのアバター画像の動きに乱れが生じる。
このような問題に対処するため、抽出された顔部分の特徴部分に基づき、人物画像をアバター画像に変換する会議端末装置の技術が知られている（例えば、特許文献１参照）。
しかしながら、特許文献１に記載の技術は、撮影装置で撮影した人物画像を会議端末装置に送信しているので、通信量が大きくなってしまうという問題があった。さらにユーザのプライバシーに配慮し、顔を完全に隠したコミュニケーションを保証できないという問題もあった。
本発明はこのような課題に鑑みてなされたものであり、その目的は、アバター画像を動かすに当たって、データ通信量を削減できるとともに、ユーザのプライバシーに配慮し人物画像を送信しないことを保証することができるコミュニケーションシステムを提供することにある。
本発明は、前記目的を達成するために次の手段をとる。
（１）本発明１のコミュニケーションシステムは、配信者端末及び視聴者端末を有するコミュニケーションシステムであって、配信者端末及び視聴者端末は、配信者端末と視聴者端末との間で通信する通信手段と、被写体の各部について設定された複数のパーツ画像を有するアバター画像を取得するアバター画像取得手段と、を備え、配信者端末は、撮影手段により撮影された被写体を含む撮影画像を取得する撮影画像取得手段と、前記撮影画像取得手段により取得された撮影画像の所定の撮影タイミングにおける画像から、被写体の各部に対応する特徴データを取得する特徴取得手段と、前記特徴取得手段により取得された特徴データを視聴者端末に送信する特徴送信手段と、前記特徴取得手段により取得された特徴データを、前記アバター画像取得手段で取得したアバター画像に反映させるアバター画像反映手段と、 前記アバター画像反映手段により生成されたアバター画像を表示する表示手段と を備え、視聴者端末は、前記特徴送信手段から送信された特徴データを受信する特徴受信手段と、前記特徴受信手段から受信した特徴データを、前記アバター画像取得手段で取得したアバター画像に反映させるアバター画像反映手段と、前記アバター画像反映手段により生成されたアバター画像を表示する表示手段とを備えるコミュニケーションシステム。
（２）本発明２のコミュニケーションシステムは、本発明１であって、前記特徴取得手段は、前記特徴データとして、被写体の各部に対応する部分について複数の特徴点を取得し、前記特徴点の位置に基づいて演算された特徴データを取得するコミュニケーションシステム。
（３）本発明３のコミュニケーションシステムは、本発明２であって前記撮影画像取得手段により取得された撮影画像の所定の撮影タイミングにおける画像から、被写体の各部の標準位置を取得する標準位置取得手段とを備えるコミュニケーションシステム。
（４）本発明４のコミュニケーションシステムは、本発明３であって、前記特徴取得手段により取得された演算結果が、閾値の範囲内か否かを判定する閾値判定手段とを備え、前記パーツ画像反映手段は、前記演算結果が閾値の範囲内か否かに応じて、アバター画像に反映させるパーツ画像を変更するコミュニケーションシステム。
（５）本発明５のコミュニケーションシステムは、本発明４であって、前記標準位置取得手段により被写体の各部の前記標準位置を取得したときに、前記標準位置の状態に応じて取得した仮閾値を前記閾値として仮設定する仮閾値設定手段とを備えるコミュニケーションシステム。
（６）本発明６のコミュニケーションシステムは、本発明５であって、前記特徴取得手段により取得した前記演算結果を蓄積し、前記蓄積した前記演算結果に応じて前記閾値を変更する閾値変更手段とを備えるコミュニケーションシステム。
（１）本発明１のコミュニケーションシステムは、配信者端末及び視聴者端末を有するコミュニケーションシステムであって、配信者端末及び視聴者端末は、配信者端末と視聴者端末との間で通信する通信手段と、被写体の各部について設定された複数のパーツ画像を有するアバター画像を取得するアバター画像取得手段と、を備え、配信者端末は、撮影手段により撮影された被写体を含む撮影画像を取得する撮影画像取得手段と、前記撮影画像取得手段により取得された撮影画像の所定の撮影タイミングにおける画像から、被写体の各部に対応する特徴データを取得する特徴取得手段と、前記特徴取得手段により取得された特徴データを視聴者端末に送信する特徴送信手段と、前記特徴取得手段により取得された特徴データを、前記アバター画像取得手段で取得したアバター画像に反映させるアバター画像反映手段と、 前記アバター画像反映手段により生成されたアバター画像を表示する表示手段と を備え、視聴者端末は、前記特徴送信手段から送信された特徴データを受信する特徴受信手段と、前記特徴受信手段から受信した特徴データを、前記アバター画像取得手段で取得したアバター画像に反映させるアバター画像反映手段と、前記アバター画像反映手段により生成されたアバター画像を表示する表示手段とを備えるコミュニケーションシステム。
（２）本発明２のコミュニケーションシステムは、本発明１であって、前記特徴取得手段は、前記特徴データとして、被写体の各部に対応する部分について複数の特徴点を取得し、前記特徴点の位置に基づいて演算された特徴データを取得するコミュニケーションシステム。
（３）本発明３のコミュニケーションシステムは、本発明２であって前記撮影画像取得手段により取得された撮影画像の所定の撮影タイミングにおける画像から、被写体の各部の標準位置を取得する標準位置取得手段とを備えるコミュニケーションシステム。
（４）本発明４のコミュニケーションシステムは、本発明３であって、前記特徴取得手段により取得された演算結果が、閾値の範囲内か否かを判定する閾値判定手段とを備え、前記パーツ画像反映手段は、前記演算結果が閾値の範囲内か否かに応じて、アバター画像に反映させるパーツ画像を変更するコミュニケーションシステム。
（５）本発明５のコミュニケーションシステムは、本発明４であって、前記標準位置取得手段により被写体の各部の前記標準位置を取得したときに、前記標準位置の状態に応じて取得した仮閾値を前記閾値として仮設定する仮閾値設定手段とを備えるコミュニケーションシステム。
（６）本発明６のコミュニケーションシステムは、本発明５であって、前記特徴取得手段により取得した前記演算結果を蓄積し、前記蓄積した前記演算結果に応じて前記閾値を変更する閾値変更手段とを備えるコミュニケーションシステム。
以上説明したように、本発明のコミュニケーションシステムは、アバター画像を動かすに当たって、データ通信量を削減しつつ、ユーザのプライバシーに配慮し、例えばシステムに不具合が生じた場合でも人物画像を送信しないことを保証する。
〔第一実施形態〕
本発明の第一実施形態のコミュニケーションシステムＣを図面に基づいて詳細に説明する。図１は、コミュニケーションシステムＣが提供するサービスの概要を示す図である。図２は、情報処理装置１の構成を示すブロック図である。本発明の第一実施形態は、図１に示すように、コミュニケーションシステムＣは、例えば、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）等のオンラインサービスを提供する運営業者が、サーバ装置Ｓを使用してユーザに応じたアバター画像を提供するシステムである。
本発明の第一実施形態のコミュニケーションシステムＣを図面に基づいて詳細に説明する。図１は、コミュニケーションシステムＣが提供するサービスの概要を示す図である。図２は、情報処理装置１の構成を示すブロック図である。本発明の第一実施形態は、図１に示すように、コミュニケーションシステムＣは、例えば、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）等のオンラインサービスを提供する運営業者が、サーバ装置Ｓを使用してユーザに応じたアバター画像を提供するシステムである。
〔コミュニケーションシステムＣ〕
図１に示すように、サーバ装置Ｓは、ネットワークＮを介して配信者端末１ａ、視聴者端末１ｂと接続され、コミュニケーションシステムを提供している。配信者Ａは、配信者端末１ａを使用してコミュニケーションシステムＣを使用している。視聴者Ｂは、視聴者端末１ｂを使用してコミュニケーションシステムＣを使用している。ユーザである配信者Ａと視聴者Ｂとは、それぞれの配信者端末１ａと視聴者端末１ｂを使用してコミュニケーションシステムＣを通じて、あらかじめサーバ装置Ｓに保存されているアバター画像をダウンロードする。
図１に示すように、サーバ装置Ｓは、ネットワークＮを介して配信者端末１ａ、視聴者端末１ｂと接続され、コミュニケーションシステムを提供している。配信者Ａは、配信者端末１ａを使用してコミュニケーションシステムＣを使用している。視聴者Ｂは、視聴者端末１ｂを使用してコミュニケーションシステムＣを使用している。ユーザである配信者Ａと視聴者Ｂとは、それぞれの配信者端末１ａと視聴者端末１ｂを使用してコミュニケーションシステムＣを通じて、あらかじめサーバ装置Ｓに保存されているアバター画像をダウンロードする。
配信者端末１ａは、カメラ部で配信者の顔の特徴を取得して、ダウンロードしたアバター画像に、取得した特徴を反映して、表示部に表示する。また、配信者端末１ａは、取得した特徴を視聴者端末１ｂに送信する。視聴者端末１ｂは、ダウンロードしたアバター画像に、取得した特徴を反映して、表示部に表示する。これにより、配信者端末１ａと視聴者端末１ｂとは、コミュニケーションシステムＣを使用することで、少ないデータ量で通信回線に負荷をかけることなく高画質で、また配信者の人物画像が誤って露出するリスクもなく、アバター画像によるコミュニケーションを楽しむことができる。なお、コミュニケーションシステムＣは、Ｗｅｂブラウザや専用のアプリケーション（以下、専用アプリという）を利用して提供できる。
〔情報処理装置１〕
情報処理装置１は、被写体を撮影し、ユーザによるアバターの作成を支援するためのコンピュータ装置である。第一実施形態において、情報処理装置１は、図１に示すように、いわゆるスマートフォンであり、データ通信可能な装置である。情報処理装置１は、データ通信可能な装置であれば、スマートフォンに限らず、携帯電話、タブレット端末、パーソナルコンピュータ及びノートパソコン等でも良い。また、情報処理装置１は、頭部に装着したプレイヤの左右の目に視差画像を表示することで立体映像を表示するヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、以下、「ＨＭＤ」という。）でも良い。
情報処理装置１は、被写体を撮影し、ユーザによるアバターの作成を支援するためのコンピュータ装置である。第一実施形態において、情報処理装置１は、図１に示すように、いわゆるスマートフォンであり、データ通信可能な装置である。情報処理装置１は、データ通信可能な装置であれば、スマートフォンに限らず、携帯電話、タブレット端末、パーソナルコンピュータ及びノートパソコン等でも良い。また、情報処理装置１は、頭部に装着したプレイヤの左右の目に視差画像を表示することで立体映像を表示するヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、以下、「ＨＭＤ」という。）でも良い。
図２に示すように、情報処理装置１は、制御部１０、記憶部２０、入出力部３０、カメラ部４０、スピーカ部５０、マイク部６０及び通信部７０を備える。情報処理装置１は、図２に示す構成のほか、マイクロホン、バイブレータ等を備えても良い。情報処理装置１は、入出力部３０以外の入力手段（キーボード等）や出力手段（ＣＲＴディスプレイ等）を備えても良い。第一実施形態において、情報処理装置１は、配信者Ａが使用するものを配信者端末１ａとし、視聴者Ｂが使用するものを視聴者端末１ｂとして説明をする。
〔アバター〕
なお、アバターとは、ユーザの分身を表すキャラクターであり、ユーザを識別する機能を有するキャラクターである。アバターは、配信者端末１ａのユーザ（例えば、配信者Ａ）以外の他のユーザ（例えば、視聴者Ｂ）が配信者端末１ａのユーザ（配信者Ａ）であることを認識できれば良い。つまり、アバターは、必ずしも配信者Ａ本人に似たキャラクターである必要はない。
なお、アバターとは、ユーザの分身を表すキャラクターであり、ユーザを識別する機能を有するキャラクターである。アバターは、配信者端末１ａのユーザ（例えば、配信者Ａ）以外の他のユーザ（例えば、視聴者Ｂ）が配信者端末１ａのユーザ（配信者Ａ）であることを認識できれば良い。つまり、アバターは、必ずしも配信者Ａ本人に似たキャラクターである必要はない。
配信者Ａは、配信者端末１ａを使用して被写体（配信者Ａ本人又は他人）を撮影し、撮影画像に応じたアバター画像を取得することが可能である。また、配信者Ａは、配信者端末１ａを使用して取得したアバター画像に好みのパーツを選択することができる（図４参照）。なお、ここでいう被写体は、撮影の対象となる人や物であればどんなものでも良い。例えば、被写体は、様々な媒体（テレビや雑誌）に記された人物でもよく、実在する人物であるか否かを問わない。
また、アバターは、３次元又は２次元のキャラクタである。例えば、アバターは、３次元コンピュータグラフィックスを使用して、いわゆるポリゴンの組み合わせて立体的に表しても良い。このように、第一実施形態におけるアバター画像は、３次元又は２次元のキャラクターを画像として表したものである。
〔制御部１０〕
制御部１０は、記憶部２０等が記憶するプログラムを実行することにより、情報処理装置１の各部の動作を制御する装置である。制御部１０は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（以下、「ＣＰＵ１１」という。）等の演算処理装置を１又は複数備え、このＣＰＵ１１にデータバス等のバスラインで接続されたＲＯＭ１２及びＲＡＭ１３とを備えている。ＣＰＵ１１は、アプリケーションプロセッサ、ベースバンドプロセッサ、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（以下、「ＧＰＵ」という。）等を１つのチップに実装したものであっても良い。制御部１０は、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（以下、「ＯＳ」という。）やアプリケーションプログラムを実行することにより、所定の機能を実現することが可能である。制御部１０は、主記憶装置を含んでいる。
制御部１０は、記憶部２０等が記憶するプログラムを実行することにより、情報処理装置１の各部の動作を制御する装置である。制御部１０は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（以下、「ＣＰＵ１１」という。）等の演算処理装置を１又は複数備え、このＣＰＵ１１にデータバス等のバスラインで接続されたＲＯＭ１２及びＲＡＭ１３とを備えている。ＣＰＵ１１は、アプリケーションプロセッサ、ベースバンドプロセッサ、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（以下、「ＧＰＵ」という。）等を１つのチップに実装したものであっても良い。制御部１０は、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（以下、「ＯＳ」という。）やアプリケーションプログラムを実行することにより、所定の機能を実現することが可能である。制御部１０は、主記憶装置を含んでいる。
〔記憶部２０〕
記憶部２０は、データを記憶する装置であり、例えば、ハードディスク、フラッシュメモリ及びその他の記憶媒体を備える。記憶部２０は、制御部１０が実行するプログラムに加え、アバター画像、パーツ画像、標準位置等のデータを記憶している。記憶部２０は、いわゆるメモリカードのような、着脱可能な記憶媒体とそのリーダ／ライタを含んで構成されても良い。
記憶部２０は、データを記憶する装置であり、例えば、ハードディスク、フラッシュメモリ及びその他の記憶媒体を備える。記憶部２０は、制御部１０が実行するプログラムに加え、アバター画像、パーツ画像、標準位置等のデータを記憶している。記憶部２０は、いわゆるメモリカードのような、着脱可能な記憶媒体とそのリーダ／ライタを含んで構成されても良い。
〔入出力部３０〕
入出力部３０は、情報を表示し、ユーザ（配信者Ａ、視聴者Ｂ）の操作を受け付けるタッチパネルやタッチスクリーン等の装置である。入出力部３０は、表示部３１と、センサ部３２とを含んで構成されている。表示部３１は、液晶ディスプレイや有機ＥＬディスプレイによる表示パネルを有し、制御部１０から供給された表示データに応じた画像を表示する。センサ部３２は、表示パネル上における指示体（例えば、ユーザの指、スタイラス等）の位置を検知するためのセンサを有し、検知した位置を表す座標データを制御部１０に供給する。センサ部３２を構成するセンサは、例えば、静電容量方式、光感知方式、抵抗膜方式等があるが、これに限定されない。
入出力部３０は、情報を表示し、ユーザ（配信者Ａ、視聴者Ｂ）の操作を受け付けるタッチパネルやタッチスクリーン等の装置である。入出力部３０は、表示部３１と、センサ部３２とを含んで構成されている。表示部３１は、液晶ディスプレイや有機ＥＬディスプレイによる表示パネルを有し、制御部１０から供給された表示データに応じた画像を表示する。センサ部３２は、表示パネル上における指示体（例えば、ユーザの指、スタイラス等）の位置を検知するためのセンサを有し、検知した位置を表す座標データを制御部１０に供給する。センサ部３２を構成するセンサは、例えば、静電容量方式、光感知方式、抵抗膜方式等があるが、これに限定されない。
〔カメラ部４０〕
カメラ部４０は、被写体を撮影する装置である。カメラ部４０は、画像を電気信号に変換する撮像素子を備え、撮影画像を表す画像データを制御部１０に供給する。カメラ部４０の撮像素子は、例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ、距離画像センサなどが使用される。なお、カメラ部４０は、複数の撮像素子を備えても良い。例えば、情報処理装置１がスマートフォンの場合、表示部３１が設けられた側である表面とその反対の側である裏面とに、カメラ部４０として撮像素子をそれぞれに設けても良い。また、情報処理装置１が、被写体を複数の異なる方向から同時に撮影するいわゆるステレオカメラの場合、カメラ部４０として撮像素子を２つ設けても良い。
カメラ部４０は、被写体を撮影する装置である。カメラ部４０は、画像を電気信号に変換する撮像素子を備え、撮影画像を表す画像データを制御部１０に供給する。カメラ部４０の撮像素子は、例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ、距離画像センサなどが使用される。なお、カメラ部４０は、複数の撮像素子を備えても良い。例えば、情報処理装置１がスマートフォンの場合、表示部３１が設けられた側である表面とその反対の側である裏面とに、カメラ部４０として撮像素子をそれぞれに設けても良い。また、情報処理装置１が、被写体を複数の異なる方向から同時に撮影するいわゆるステレオカメラの場合、カメラ部４０として撮像素子を２つ設けても良い。
図１に示すように、第一実施形態において、配信者Ａは、スマートフォンである配信者端末１ａ（情報処理装置１）を使用して、入出力部３０を確認しながら、表面に設けられたカメラ部４０によって、配信者Ａ自身を撮影する。ただし、配信者Ａは、配信者Ａ自身を被写体とせず、他人等を被写体とする場合には、情報処理装置１の裏面に設けられたカメラ部４０によって被写体を撮影しても良い。
〔スピーカ部５０〕
スピーカ部５０は、制御部１０から供給された音声信号を指示音声として出力する装置である。スピーカ部５０は、情報処理装置１のそれぞれ左側及び右側の位置に知覚可能に取り付けられてもよい。図１に示すように、第一実施形態において、視聴者Ｂは、スマートフォンである視聴者端末１ｂ（情報処理装置１）を使用して、入出力部３０を確認しながら、スピーカ部５０によって、配信者Ａが送信した音声を聞ける。
スピーカ部５０は、制御部１０から供給された音声信号を指示音声として出力する装置である。スピーカ部５０は、情報処理装置１のそれぞれ左側及び右側の位置に知覚可能に取り付けられてもよい。図１に示すように、第一実施形態において、視聴者Ｂは、スマートフォンである視聴者端末１ｂ（情報処理装置１）を使用して、入出力部３０を確認しながら、スピーカ部５０によって、配信者Ａが送信した音声を聞ける。
〔マイク部６０〕
マイク部６０は、ユーザの会話等の音声入力を受け付け、受け付けた音声入力を示す音声データを制御部１０へ出力する装置である。マイク部６０は、情報処理装置１の内部に取り付けられている。図１に示すように、第一実施形態において、配信者Ａは、スマートフォンである配信者端末１ａ（情報処理装置１）を使用して、入出力部３０を確認しながら、マイク部６０によって、配信者Ａが発することができる。
マイク部６０は、ユーザの会話等の音声入力を受け付け、受け付けた音声入力を示す音声データを制御部１０へ出力する装置である。マイク部６０は、情報処理装置１の内部に取り付けられている。図１に示すように、第一実施形態において、配信者Ａは、スマートフォンである配信者端末１ａ（情報処理装置１）を使用して、入出力部３０を確認しながら、マイク部６０によって、配信者Ａが発することができる。
〔通信部７０〕
通信部７０は、データを送受信する装置である。通信部７０は、例えば、アンテナを備え、ネットワークＮを介して、他の端末とデータをやり取りする。
第一実施形態において、配信者端末１ａは、視聴者端末１ｂ及びサーバ装置Ｓとデータをやり取りする。視聴者端末１ｂは、配信者端末１ａ及びサーバ装置Ｓとデータをやり取りする。なお、通信部７０は、赤外線通信、Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ（以下、「ＮＦＣ」という。）等のその他の無線通信方式により、ネットワークＮを介さずに通信しても良いし、有線で通信しても良い。
通信部７０は、データを送受信する装置である。通信部７０は、例えば、アンテナを備え、ネットワークＮを介して、他の端末とデータをやり取りする。
第一実施形態において、配信者端末１ａは、視聴者端末１ｂ及びサーバ装置Ｓとデータをやり取りする。視聴者端末１ｂは、配信者端末１ａ及びサーバ装置Ｓとデータをやり取りする。なお、通信部７０は、赤外線通信、Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ（以下、「ＮＦＣ」という。）等のその他の無線通信方式により、ネットワークＮを介さずに通信しても良いし、有線で通信しても良い。
〔サーバ装置Ｓ〕
サーバ装置Ｓは、配信者端末１ａで作成されたアバターを管理すると共に、アバターを配信者端末１ａと視聴者端末１ｂに配信するためのコンピュータ装置である。図２に示すように、サーバ装置Ｓは、制御部１０Ｓ、記憶部２０Ｓ、入力部３０Ｓ、表示部４０Ｓ、出力部５０Ｓ、通信部６０Ｓ等を備える。サーバ装置Ｓは、図２に示す構成のほか、マイクロホン、バイブレータ等を備えても良い。
サーバ装置Ｓは、配信者端末１ａで作成されたアバターを管理すると共に、アバターを配信者端末１ａと視聴者端末１ｂに配信するためのコンピュータ装置である。図２に示すように、サーバ装置Ｓは、制御部１０Ｓ、記憶部２０Ｓ、入力部３０Ｓ、表示部４０Ｓ、出力部５０Ｓ、通信部６０Ｓ等を備える。サーバ装置Ｓは、図２に示す構成のほか、マイクロホン、バイブレータ等を備えても良い。
制御部１０Ｓは、記憶部２０Ｓ等が記憶するプログラムを実行することにより、サーバ装置Ｓの各部の動作を制御する装置である。第一本実施形態では、ＣＰＵ４１は、配信者端末１ａからアバター画像を受信して、アバター画像の管理を行ったり、配信者端末１ａと視聴者端末１ｂにアバター画像を送信したりする。なお、ＣＰＵ１１Ｓの構成は、ＣＰＵ１１と同様であるため詳細な説明は省略する。
記憶部２０Ｓは、例えば、ハードディスク、フラッシュメモリ及びその他の記憶媒体を備える。記憶部２０Ｓは、制御部１０Ｓが実行するプログラムに加え、アバター画像、パーツ画像、標準位置、閾値、仮閾値等のデータを記憶している。入力部３０Ｓは、担当者の操作を受け付けるキーボード、タッチパネル等の装置である。表示部４０Ｓは、液晶ディスプレイ、有機ＥＬディスプレイ又はＣＲＴディスプレイ等による表示パネルを有し、制御部１０Ｓから供給された表示データに応じた画像を表示する。出力部５０Ｓは、印刷装置等である。
通信部７０Ｓは、データを送受信する装置である。通信部７０Ｓは、例えば、アンテナを備え、ネットワークＮを介して、他の端末とデータをやり取りする。第一実施形態において、サーバ装置Ｓは、配信者端末１ａ及び視聴者端末１ｂ及びサーバ装置Ｓとデータをやり取りする。
〔機能的構成〕
図３は、情報処理装置１の機能的構成を示すブロック図である。図４は、アバターの選択画面を示す図である。図６は、顔の特徴を特定した状態の一例を示す図である。図７は、右目の特徴を特定した状態の一例を示す図である。図８は、右目の特徴を特定した状態の一例を示す図である。図９は、右目の特徴を特定した状態の一例を示す図である。図１０は特徴テーブルの一例を示す図である。図１１は、標準位置取得画面を示す図である。図１２は、標準位置取得画面を出力している状態示す図である。図１３は、アバターを出力している状態示す図である。図１４は、演出効果を持たせたアバターを出力している状態示す図である。
図３は、情報処理装置１の機能的構成を示すブロック図である。図４は、アバターの選択画面を示す図である。図６は、顔の特徴を特定した状態の一例を示す図である。図７は、右目の特徴を特定した状態の一例を示す図である。図８は、右目の特徴を特定した状態の一例を示す図である。図９は、右目の特徴を特定した状態の一例を示す図である。図１０は特徴テーブルの一例を示す図である。図１１は、標準位置取得画面を示す図である。図１２は、標準位置取得画面を出力している状態示す図である。図１３は、アバターを出力している状態示す図である。図１４は、演出効果を持たせたアバターを出力している状態示す図である。
情報処理装置１は、その構成を機能的に分類すると、通信手段１００、アバター画像取得手段１１０、撮影画像取得手段１２０、特徴取得手段１３０、演算手段１４０、特徴送信手段１５０、特徴受信手段１６０、パーツ画像反映手段１７０、アバター画像反映手段１８０、表示手段１９０、標準位置取得手段２００、閾値判定手段２１０、仮閾値設定手段２２０、閾値変更手段２３０、に大別される。
〔通信手段１００〕
通信手段１００は、無線又は有線で他の端末と通信をする手段である。通信手段１００は、制御部１０と通信部７０が協働して実行する。
通信手段１００は、無線又は有線で他の端末と通信をする手段である。通信手段１００は、制御部１０と通信部７０が協働して実行する。
〔アバター画像取得手段１１０〕
アバター画像取得手段１１０は、生成されたアバター画像が既にある場合には、記憶部２０又は記憶部２０Ｓから、アバター画像を取得する手段である。アバター画像取得手段１１０は、生成されたアバター画像が記憶部２０にある場合には、アバター画像を記憶部２０から読み込む。アバター画像取得手段１１０は、アバター画像を記憶部２０から読み込むとき、あわせて、パーツ画像と、標準位置を読み込む。アバター画像取得手段１１０は、生成されたアバター画像が記憶部２０Ｓにある場合には、アバター画像を記憶部２０Ｓからダウンロードする。アバター画像取得手段１１０は、アバター画像を記憶部２０Ｓから読み込むとき、あわせて、パーツ画像と、標準位置もダウンロードする。
アバター画像取得手段１１０は、生成されたアバター画像が既にある場合には、記憶部２０又は記憶部２０Ｓから、アバター画像を取得する手段である。アバター画像取得手段１１０は、生成されたアバター画像が記憶部２０にある場合には、アバター画像を記憶部２０から読み込む。アバター画像取得手段１１０は、アバター画像を記憶部２０から読み込むとき、あわせて、パーツ画像と、標準位置を読み込む。アバター画像取得手段１１０は、生成されたアバター画像が記憶部２０Ｓにある場合には、アバター画像を記憶部２０Ｓからダウンロードする。アバター画像取得手段１１０は、アバター画像を記憶部２０Ｓから読み込むとき、あわせて、パーツ画像と、標準位置もダウンロードする。
アバター画像取得手段１１０は、生成されたアバター画像がない場合には、アバター画像を生成して、記憶部２０又は記憶部２０Ｓにアバター画像を格納する手段である。例えば、アバター画像取得手段１１０は、配信者Ａの撮影画像を元にして所定のプログラムでアバター画像を生成する。例えば、アバター画像取得手段１１０は、図４に示すように、あらかじめ記憶部２０又は記憶部２０Ｓに格納されているパーツ画像を入出力部３０に表示し、配信者Ａが好みで選択したパーツ画像を組み合わせてアバター画像を生成する。
図４（ａ）に示すように、配信者Ａが選択できるパーツ画像には、例えば髪型、輪郭、目、鼻及び口等がある。図４（ｂ）に示すように、配信者Ａが選択できるパーツ画像には、例えば、服、スカート、パンツ、イヤリング及びネックレス等がある。アバター画像取得手段１１０は、アバター画像が生成された場合、記憶部２０及び／又は記憶部２０Ｓにアバター画像を格納する。
〔撮影画像取得手段１２０〕
撮影画像取得手段１２０は、アバター画像の生成に必要な撮影画像を撮影する手段である。撮影画像取得手段１２０は、制御部１０と撮影手段であるカメラ部４０が協働して実行する。撮影画像取得手段１２０は、カメラ部４０による撮影の開始及び終了を制御部１０が制御する手段である。撮影画像取得手段１２０は、配信者Ａの操作に応じて動画を撮影する。ここでいう動画は、複数の静止画の集合であり、所定のフレームレートで撮影される。撮影画像取得手段１２０は、例えば、フレームレートが３０ＦＰＳ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）で撮影される。撮影画像取得手段１２０による動画の撮影時間は、あらかじめ決められていてもよいし、ユーザの操作によって決められても良い。
撮影画像取得手段１２０は、アバター画像の生成に必要な撮影画像を撮影する手段である。撮影画像取得手段１２０は、制御部１０と撮影手段であるカメラ部４０が協働して実行する。撮影画像取得手段１２０は、カメラ部４０による撮影の開始及び終了を制御部１０が制御する手段である。撮影画像取得手段１２０は、配信者Ａの操作に応じて動画を撮影する。ここでいう動画は、複数の静止画の集合であり、所定のフレームレートで撮影される。撮影画像取得手段１２０は、例えば、フレームレートが３０ＦＰＳ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）で撮影される。撮影画像取得手段１２０による動画の撮影時間は、あらかじめ決められていてもよいし、ユーザの操作によって決められても良い。
〔特徴取得手段１３０〕
特徴取得手段１３０は、撮影画像から顔に対応する特徴を特定する手段である。特徴は、髪型、輪郭、目、鼻、口等といった頭部の各部位の位置、形状又は色である。例えば、特徴は、耳、首、眉毛、眼鏡又は髭の有無等も、顔の特徴として含まめても良い。特徴取得手段１３０による特徴の特定方法としては、例えば、撮影画像から人間の顔に対応するもの（以下「顔画像」という。）の検出をし、検出した顔画像に含まれる複数の特徴点を特定することで、顔の各部の特徴を分類する方法がある。
特徴取得手段１３０は、撮影画像から顔に対応する特徴を特定する手段である。特徴は、髪型、輪郭、目、鼻、口等といった頭部の各部位の位置、形状又は色である。例えば、特徴は、耳、首、眉毛、眼鏡又は髭の有無等も、顔の特徴として含まめても良い。特徴取得手段１３０による特徴の特定方法としては、例えば、撮影画像から人間の顔に対応するもの（以下「顔画像」という。）の検出をし、検出した顔画像に含まれる複数の特徴点を特定することで、顔の各部の特徴を分類する方法がある。
図６に示すように、特徴取得手段１３０は、例えば、顔に対応する部分について複数の特徴点（例えば、３０個）を特定し、これらの特徴点の位置に基づいた特徴データ、具体的には特徴点の位置座標に基づいて演算（算出）された顔の特徴を特徴データ（例えば座標や座標間の距離等）として特定する。図７乃至９に示すように、特徴取得手段１３０は、例えば、目に対応する部分について複数の特徴点（例えば、上下左右の４つ端点）を特定し、これらの特徴点の位置に基づいて演算された目の特徴を特徴データとして特定する。特徴取得手段１３０は、特徴点を取得した場合、記憶部２０の特徴テーブルＰＴの現在位置に格納する。例えば、図１０に示すように、特徴取得手段１３０は、右目の特徴点を取得した場合、特徴テーブルＰＴの現在位置（右目）に特徴点Ｐ１乃至Ｐ４のＸ座標及びＹ座標を格納する。
特に図示していないが、特徴取得手段１３０は、目以外の各部（例えば、髪型、輪郭、目、鼻、口）についても、同様にして特徴を特定及び分類し、それぞれの特徴点を取得し、特徴テーブルＰＴに特徴点に基づいた特徴を特徴データとして格納する。なお、撮影画像は、顔画像が必ず含まれるとは限らず、被写体が不鮮明な場合もあり、特徴取得手段１３０は、顔画像の検出に失敗することがある。このような場合、特徴取得手段１３０は、別の撮影画像（例えば、顔画像の検出に失敗した撮影画像の１〜数フレーム後の撮影画像）を用いて顔画像の検出を試みてもよい。なお、特徴取得手段１３０が特定する特徴点の数は、３０個に限らず、使用する端末や環境によって変えても良い。
〔演算手段１４０〕
演算手段１４０は、特徴取得手段で特定された複数の特徴点に基づき演算して演算結果を取得し、演算結果に応じた特徴を特徴データとして取得する手段である。第一実施形態においては、特徴点の標準位置と現在位置との位置関係を比較、演算することで演算結果が得られる。例えば、演算手段１４０は、図７（ａ）に示す右目の標準位置と図７（ｂ）に示す右目の現在位置の位置関係を比較して、演算して演算結果を取得する。
演算手段１４０は、特徴取得手段で特定された複数の特徴点に基づき演算して演算結果を取得し、演算結果に応じた特徴を特徴データとして取得する手段である。第一実施形態においては、特徴点の標準位置と現在位置との位置関係を比較、演算することで演算結果が得られる。例えば、演算手段１４０は、図７（ａ）に示す右目の標準位置と図７（ｂ）に示す右目の現在位置の位置関係を比較して、演算して演算結果を取得する。
例えば、演算手段１４０は、右目の標準位置の特徴点Ｐ２と特徴点Ｐ３との距離が２ｃｍであり、右目の現在位置の特徴点Ｐ２と特徴点Ｐ３との距離が０．８ｃｍの場合において、現在位置の距離を標準位置の距離で割った０．４を演算結果とする。演算手段１４０は、記憶部２０の特徴テーブルＰＴに演算結果０．４を格納する。第一実施形態において、演算手段１４０は、演算結果が０〜１の間になるような演算式を使用しているが、他の検算結果がでるような演算式を使用しても良い。特に図示していないが、演算手段１４０は、目以外の各部（例えば、髪型、輪郭、目、鼻、口）についても、同様にして演算結果を取得し、特徴テーブルＰＴに演算結果を特徴データとして格納する。
〔特徴送信手段１５０〕
特徴送信手段１５０は、特徴取得手段１３０により取得された特徴データを視聴者端末に送信する手段である。また、特徴送信手段１５０は、演算手段１４０により取得された演算結果を特徴データとして視聴者端末に送信する手段である。特徴送信手段１５０は、制御部１０と通信部７０が協働して実行する。なお、特徴送信手段１５０は、前に送信した特徴データと現在送信しようとしている特徴データを比較し、一定以上の乖離がある場合、異常値として判定する。そして、特徴送信手段１５０は、現在送信しようとしている特徴データではなく、前に送信した特徴データを送信する。なお、前に送信した特徴データと現在送信しようとしている特徴データの乖離の範囲は、設定が可能である。
特徴送信手段１５０は、特徴取得手段１３０により取得された特徴データを視聴者端末に送信する手段である。また、特徴送信手段１５０は、演算手段１４０により取得された演算結果を特徴データとして視聴者端末に送信する手段である。特徴送信手段１５０は、制御部１０と通信部７０が協働して実行する。なお、特徴送信手段１５０は、前に送信した特徴データと現在送信しようとしている特徴データを比較し、一定以上の乖離がある場合、異常値として判定する。そして、特徴送信手段１５０は、現在送信しようとしている特徴データではなく、前に送信した特徴データを送信する。なお、前に送信した特徴データと現在送信しようとしている特徴データの乖離の範囲は、設定が可能である。
〔特徴受信手段１６０〕
特徴受信手段１６０は、特徴送信手段１５０から送信された特徴データを受信する手段である。また、特徴受信手段１６０は、特徴送信手段１５０から送信された演算結果を特徴データとして受信する手段である。特徴受信手段１６０は、制御部１０と通信部７０が協働して実行する。特徴受信手段１６０は、送信された特徴データの間隔が十分でなかった場合（例えば、３０ＦＰＳを切った場合）、データ間隔の間をスムーズにするための補完処理を行う。
特徴受信手段１６０は、特徴送信手段１５０から送信された特徴データを受信する手段である。また、特徴受信手段１６０は、特徴送信手段１５０から送信された演算結果を特徴データとして受信する手段である。特徴受信手段１６０は、制御部１０と通信部７０が協働して実行する。特徴受信手段１６０は、送信された特徴データの間隔が十分でなかった場合（例えば、３０ＦＰＳを切った場合）、データ間隔の間をスムーズにするための補完処理を行う。
〔パーツ画像反映手段１７０〕
パーツ画像反映手段１７０は、取得した特徴データをパーツ画像に反映する手段である。ここにおいて、パーツ画像とは、あらかじめ顔の各部について設定された画像であり、顔の各部毎に用意され、所定の動きをするようにモデルデータを用意されている。パーツ画像反映手段１７０は、パーツ画像を表すデータを記憶部２０から読み出し、特徴取得手段１３０により特定された特徴データ及び／又は演算手段１４０により演算された演算結果をパーツ画像に反映する。例えば、パーツ画像として右目は、図７（ｂ）に示すように、右目の開閉がアニメーションでまばたきするようにモデルデータを作成しておき、完全に閉じた状態を０、最大まで開いた状態を１とし、開閉状態を０〜１の小数の間で指定して動かせる。また、閉じた右目の状態は、図８（ａ）に示すように通常の閉じた状態と、図８（ｂ）に示すように笑顔で閉じた状態と、２つのパターン用意しておくと良い。
パーツ画像反映手段１７０は、取得した特徴データをパーツ画像に反映する手段である。ここにおいて、パーツ画像とは、あらかじめ顔の各部について設定された画像であり、顔の各部毎に用意され、所定の動きをするようにモデルデータを用意されている。パーツ画像反映手段１７０は、パーツ画像を表すデータを記憶部２０から読み出し、特徴取得手段１３０により特定された特徴データ及び／又は演算手段１４０により演算された演算結果をパーツ画像に反映する。例えば、パーツ画像として右目は、図７（ｂ）に示すように、右目の開閉がアニメーションでまばたきするようにモデルデータを作成しておき、完全に閉じた状態を０、最大まで開いた状態を１とし、開閉状態を０〜１の小数の間で指定して動かせる。また、閉じた右目の状態は、図８（ａ）に示すように通常の閉じた状態と、図８（ｂ）に示すように笑顔で閉じた状態と、２つのパターン用意しておくと良い。
また、パーツ画像反映手段１７０は、パーツ画像を表すデータを記憶部２０から読み出し、特徴取得手段１３０により特定された特徴点等の特徴データをパーツ画像に反映しても良い。例えば、口は、口を閉じた標準位置を０とし、「あ」「い」「う」「え」「お」等へ変化するアニメーションをそれぞれ０〜１の小数の間で指定して動かせように、モデルデータを用意しておくと良い。なお、口の形状のパターンは、人種、環境及び言語によって、その状態定義は変化する。例えば、眉は、顔の中で上下の移動ができるように、モデルデータを用意しておくと良く、下端の位置を０、上端の位置を１として、０〜１の小数の間で指定して動かせると良い。
例えば、首は、Ｘ座標、Ｙ座標、Ｚ座標に対応して軸回転できるように動かせるように、モデルデータを用意しておくと良い。例えば、虹彩は、目の下端の位置を０、上端の位置を１として、０〜１の小数の間で指定して動かせるように、モデルデータを用意しておくと良い。また、虹彩は、目の左端の位置を０、上端の位置を１として、０〜１の小数の間で指定して動かせると良い。例えば、顔の遠近は、輪郭の特徴点と輪郭の標準位置とを比較し、その広がりの差によって遠近を判定すると良い。なお、パーツ画像は、ビットマップ画像であってもよいし、ベクタ画像であってもよい。また、パーツ画像は、顔の各部の特徴データ毎に用意いても良いし、顔を表す画像がパーツ毎に分かれていなくても良い。
〔アバター画像反映手段１８０〕
アバター画像反映手段１８０は、取得した特徴データをアバター画像に反映する手段である。また、アバター画像反映手段１８０は、パーツ画像反映手段により特徴データが反映された各部のパーツ画像を、アバター画像取得手段で取得したアバター画像に反映させる手段である。さらに、アバター画像反映手段１８０は、組み合わされたパーツ画像の位置に応じてアバター画像の一部の色を決定する手段である。例えば、アバター画像反映手段１８０は、アバター画像に組み合わされたパーツ画像の肌や髪の色を撮影画像に基づいて決定する。例えば、アバター画像反映手段１８０は、アバター画像に組み合わされたパーツ画像の重なりに応じて影をつける位置を決定する。
アバター画像反映手段１８０は、取得した特徴データをアバター画像に反映する手段である。また、アバター画像反映手段１８０は、パーツ画像反映手段により特徴データが反映された各部のパーツ画像を、アバター画像取得手段で取得したアバター画像に反映させる手段である。さらに、アバター画像反映手段１８０は、組み合わされたパーツ画像の位置に応じてアバター画像の一部の色を決定する手段である。例えば、アバター画像反映手段１８０は、アバター画像に組み合わされたパーツ画像の肌や髪の色を撮影画像に基づいて決定する。例えば、アバター画像反映手段１８０は、アバター画像に組み合わされたパーツ画像の重なりに応じて影をつける位置を決定する。
例えば、アバター画像反映手段１８０は、輪郭に重なる髪に応じて輪郭に影の色をつける位置を決定する。アバター画像反映手段１８０は、顔画像のうちの対象とする領域の階調値（例えば、ＲＧＢ表色系の階調値）に応じた色を当該領域の色として決定する。なお、アバター画像反映手段１８０は、パーツ画像に色があらかじめ設定されていない場合には、撮影画像に基づいてパーツ画像の色を決定しても良い。
〔表示手段１９０〕
表示手段１９０は、アバター画像の生成後（又は生成中）に入出力部３０にアバター画像を表示する手段である。表示手段１９０は、制御部１０と入出力部３０（特に、表示部３１０）との協働によって実現される。表示手段１９０は、制御部１０によって実現される手段であり、入出力部３０による画像の表示を制御する手段である。例えば、図１３（ａ）に示すように、表示手段１９０は、配信者Ａがカメラ部４０に向かってウインクをすると、入出力部３０に対して、アバター画像がウインクする動作を表示させる。例えば、図１３（ｂ）に示すように、表示手段１９０は、配信者Ａがカメラ部４０に向かって口を開けると、入出力部３０に対して、アバター画像が口を開ける動作を表示させる。
表示手段１９０は、アバター画像の生成後（又は生成中）に入出力部３０にアバター画像を表示する手段である。表示手段１９０は、制御部１０と入出力部３０（特に、表示部３１０）との協働によって実現される。表示手段１９０は、制御部１０によって実現される手段であり、入出力部３０による画像の表示を制御する手段である。例えば、図１３（ａ）に示すように、表示手段１９０は、配信者Ａがカメラ部４０に向かってウインクをすると、入出力部３０に対して、アバター画像がウインクする動作を表示させる。例えば、図１３（ｂ）に示すように、表示手段１９０は、配信者Ａがカメラ部４０に向かって口を開けると、入出力部３０に対して、アバター画像が口を開ける動作を表示させる。
例えば、図１３（ｃ）に示すように、表示手段１９０は、配信者Ａがカメラ部４０に向かって笑うと、入出力部３０に対して、アバター画像も笑う動作を表示させる。表示手段１９０は、アバター画像の表示領域が表示するアバター画像の大きさに応じてアバター画像をスクロール表示しても良い。また、表示手段１９０は、表示されているアバター画像を正面からだけではなく、異なる方向から表示させても良い。例えば、表示手段１９０は、ユーザによって所定の操作が実行された場合に、所定のカメラワークでアバターを表示させても良い。
表示手段１９０がアバター画像に使用するカメラワークとしては、固定撮影（フィクス）、カメラを振る（パン、ティルト）、カメラレンズの動き（ズーム・イン／アウト、フォーカス・イン／アウト）及び移動撮影（トラック、ドリー・イン／アウト）等がある。また、表示手段１９０は、アバター画像に加え、撮影中の動画をいわゆるライブビュー画像として表示することも可能である。
〔標準位置取得手段２００〕
標準位置取得手段２００は、撮影画像取得手段により取得された撮影画像の所定の撮影タイミングにおける画像から、被写体の各部の標準位置を取得する手段である。標準位置取得手段２００は、制御部１０と撮影手段であるカメラ部４０が協働して実行する。標準位置取得手段２００は、所定のアプリケーションプログラムを実行することや、所定のタイミングによって、図３（ａ）乃至（ｃ）に示すような画面を入出力部３０に表示することができる。標準位置取得手段２００は、例えば、入出力部３０に配信者の画像を表示するための領域と、顔の位置の認識を容易にするための目印やマークが表示される領域とを表示する。
標準位置取得手段２００は、撮影画像取得手段により取得された撮影画像の所定の撮影タイミングにおける画像から、被写体の各部の標準位置を取得する手段である。標準位置取得手段２００は、制御部１０と撮影手段であるカメラ部４０が協働して実行する。標準位置取得手段２００は、所定のアプリケーションプログラムを実行することや、所定のタイミングによって、図３（ａ）乃至（ｃ）に示すような画面を入出力部３０に表示することができる。標準位置取得手段２００は、例えば、入出力部３０に配信者の画像を表示するための領域と、顔の位置の認識を容易にするための目印やマークが表示される領域とを表示する。
図１１に示すように、第一実施形態において、標準位置取得手段２００は、顔の認識をより容易にするために、顔の主要な部分（輪郭、目、鼻、口等）を位置合わせするための目印となる点線を表示する。また、標準位置取得手段２００は、配信者Ａが標準位置を決定したときに、標準位置の計測をするためのカメラ形状のボタンを、入出力部３０に表示する。図１２に示すように、配信者Ａは、入出力部３０に表示されている顔の輪郭、目、鼻、口を目印に合わせて、ボタンを入力することで、標準位置が計測されて、記憶部２０の特徴テーブルＰＴの標準位置に格納する。
計測される標準位置は、いわゆる真顔の状態が良く、例えば、「輪郭：カメラからほどよく距離を置き、傾いていない状態」、「目：開いている状態、かつ力を抜いた通常の状態」、「鼻：力を抜いた通常の状態」及び「口：閉じた状態、かつ力を抜いた通常の状態」が良い。また、これらの状態について、撮影者に気づかせるために、入出力部３０に説明文を表示させても良い。なお、第一実施形態の標準位置取得手段２００は、被写体の標準位置を様々な角度から計測するように、正面、右側面、左側面を計測するように構成されているが、正面のみの標準位置を計測しても良い。
〔閾値判定手段２１０〕
閾値判定手段２１０は、特徴取得手段により取得された演算結果が、閾値の範囲内か否かを判定する手段である。閾値判定手段２１０は、特徴取得手段により取得された演算結果が、所定の閾値を超えた場合、強制的に演算結果の数値を決定する。例えば、演算手段１４０は、演算結果が０〜１の間になるような演算式を使用しているが、閾値を０．２〜０．８と設定してある場合、閾値判定手段２１０は、０．８以上は強制的に１として、０．２以下は強制的に０とする。
閾値判定手段２１０は、特徴取得手段により取得された演算結果が、閾値の範囲内か否かを判定する手段である。閾値判定手段２１０は、特徴取得手段により取得された演算結果が、所定の閾値を超えた場合、強制的に演算結果の数値を決定する。例えば、演算手段１４０は、演算結果が０〜１の間になるような演算式を使用しているが、閾値を０．２〜０．８と設定してある場合、閾値判定手段２１０は、０．８以上は強制的に１として、０．２以下は強制的に０とする。
例えば、右目の開閉について、閾値の設定がない場合、配信者Ａは、右目を完全に開かないと、アバターの目も完全に開かない。しかし、右目の開閉について、閾値を０．２〜０．８と設定した場合、配信者Ａは、右目を完全に開かなくても、演算結果が０．８以上になれば、図９（ａ）に示すように、アバターの目は完全に開く。つまり、図９（ａ）に示す破線部分が演算結果０．８で実際に表示される部分であるが、閾値の設定があるため、入出力部３０には実線部分が表示される。
また、右目の開閉について、閾値を０．２〜０．８と設定した場合、配信者Ａは、右目を完全に閉じなくても、演算結果が０．２以下になれば、図９（ａ）に示すように、アバターの目は完全に閉じる。つまり、図９（ｂ）に示す破線部分が演算結果０．２で実際に表示される部分であるが、閾値の設定があるため、入出力部３０には実線部分が表示される。さらに、右目の開き具合について、閾値を０．４〜０．６と設定した場合、配信者Ａは右目の開き具合が常に一定でなくても、演算結果が０．４〜０．６以内の場合、アバターの目が半開きになるように表示しても良い。
閾値が設定されることによって、配信者Ａは、大げさに表情を変えることなく、アバターの表情をしやすくなる。このため、配信者Ａは、屋外で使用する場合も人目を気にせず使用することができる。また、配信者Ａは、完全に目を閉じることなく、アバターの表情を変えることができるため、配信者端末１ａや周りの状況から目をそらすことなく使用することができる。
〔仮閾値設定手段２２０〕
仮閾値設定手段２２０は、標準位置取得手段により被写体の各部の標準位置を取得したときに、標準位置の状態に応じて取得した仮閾値を前記閾値として仮設定する手段である。
仮閾値設定手段２２０は、標準位置取得手段により被写体の各部の標準位置を取得したときに、標準位置の状態に応じて取得した仮閾値を前記閾値として仮設定する手段である。
〔閾値変更手段２３０〕
閾値変更手段２３０は、特徴取得手段により取得した前記演算結果を蓄積し、前記蓄積した前記演算結果に応じて前記閾値を変更する手段である。
閾値変更手段２３０は、特徴取得手段により取得した前記演算結果を蓄積し、前記蓄積した前記演算結果に応じて前記閾値を変更する手段である。
図５は、メイン処理の一例を示すフローチャートである。
〔アバター画像取得工程ＳＰ１０〕
メイン処理において、配信者端末１ａの制御部１０は、アプリケーションのダウンロード時や初回起動時、または配信者Ａの操作に応じてアバター画像を取得する（ＳＰ１０）。制御部１０は、生成されたアバター画像が既にある場合には、記憶部２０又は記憶部２０Ｓから、アバター画像を取得して、配信者Ａにそのアバターを使用するかの確認をする。制御部は、記憶部２０又は記憶部２０Ｓに生成されたアバター画像がない場合には、配信者Ａにアバター画像を生成するように表示をする。配信者Ａがアバター画像を生成した場合は、そのアバター画像を記憶部２０又は記憶部２０Ｓに格納する。
〔アバター画像取得工程ＳＰ１０〕
メイン処理において、配信者端末１ａの制御部１０は、アプリケーションのダウンロード時や初回起動時、または配信者Ａの操作に応じてアバター画像を取得する（ＳＰ１０）。制御部１０は、生成されたアバター画像が既にある場合には、記憶部２０又は記憶部２０Ｓから、アバター画像を取得して、配信者Ａにそのアバターを使用するかの確認をする。制御部は、記憶部２０又は記憶部２０Ｓに生成されたアバター画像がない場合には、配信者Ａにアバター画像を生成するように表示をする。配信者Ａがアバター画像を生成した場合は、そのアバター画像を記憶部２０又は記憶部２０Ｓに格納する。
〔アバター画像取得工程ＳＰ１１〕
メイン処理において、視聴者端末１ｂの制御部１０は、アプリケーションのダウンロード時や初回起動時、または視聴者Ｂの操作に応じてアバター画像を取得する（ＳＰ１１）。制御部１０は、例えば、配信者ＡとコミュニケーションシステムＣを使用して、アバターを通じたコミュニケーションがされていた場合には、記憶部２０又は記憶部２０Ｓから、アバター画像を取得する。
メイン処理において、視聴者端末１ｂの制御部１０は、アプリケーションのダウンロード時や初回起動時、または視聴者Ｂの操作に応じてアバター画像を取得する（ＳＰ１１）。制御部１０は、例えば、配信者ＡとコミュニケーションシステムＣを使用して、アバターを通じたコミュニケーションがされていた場合には、記憶部２０又は記憶部２０Ｓから、アバター画像を取得する。
〔撮影画像取得工程ＳＰ１２〕
配信者端末１ａの制御部１０は、アバター画像の生成に必要な撮影画像を撮影する（ＳＰ１２）。制御部１０は、配信者Ａの操作に応じて、撮影の開始及び終了を制御をし、動画を撮影する。第一実施形態において、制御部１０は、フレームレートが３０ＦＰＳ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）で撮影をする。
配信者端末１ａの制御部１０は、アバター画像の生成に必要な撮影画像を撮影する（ＳＰ１２）。制御部１０は、配信者Ａの操作に応じて、撮影の開始及び終了を制御をし、動画を撮影する。第一実施形態において、制御部１０は、フレームレートが３０ＦＰＳ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）で撮影をする。
〔特徴取得工程ＳＰ１３〕
配信者端末１ａの制御部１０は、撮影画像取得工程ＳＰ１２で取得した撮影画像から顔に対応する特徴を特徴データとして特定する（ＳＰ１３）。制御部１０は、顔画像の検出をし、検出した顔画像に含まれる複数の特徴点を特定した、顔の各部の特徴を特徴データとして分類する。制御部１０は、図６に示すように、顔に対応する部分について３０個の特徴点を特徴データとして特定し、これらの特徴点の位置関係に基づいて顔の特徴を特定する。
配信者端末１ａの制御部１０は、撮影画像取得工程ＳＰ１２で取得した撮影画像から顔に対応する特徴を特徴データとして特定する（ＳＰ１３）。制御部１０は、顔画像の検出をし、検出した顔画像に含まれる複数の特徴点を特定した、顔の各部の特徴を特徴データとして分類する。制御部１０は、図６に示すように、顔に対応する部分について３０個の特徴点を特徴データとして特定し、これらの特徴点の位置関係に基づいて顔の特徴を特定する。
〔標準位置取得工程ＳＰ１４〕
配信者端末１ａの制御部１０は、撮影画像取得手段により取得された撮影画像の所定の撮影タイミングにおける画像から、被写体の各部の標準位置を取得する（ＳＰ１４）。制御部１０は、配信者Ａが所定のアプリケーションプログラムを実行することや、所定のタイミングによって、標準位置取得工程を実行する。制御部１０は、入出力部３０にカメラ部４０を通じて配信者の画像を表示し、顔の主要な部分（輪郭、目、鼻、口等）を位置合わせするための目印となる点線を表示する。制御部１０は、配信者Ａが入出力部３０に表示されている顔の輪郭、目、鼻、口を目印に合わせて、ボタンを入力したとき、標準位置を計測して、記憶部２０の特徴テーブルＰＴの標準位置に格納する。
配信者端末１ａの制御部１０は、撮影画像取得手段により取得された撮影画像の所定の撮影タイミングにおける画像から、被写体の各部の標準位置を取得する（ＳＰ１４）。制御部１０は、配信者Ａが所定のアプリケーションプログラムを実行することや、所定のタイミングによって、標準位置取得工程を実行する。制御部１０は、入出力部３０にカメラ部４０を通じて配信者の画像を表示し、顔の主要な部分（輪郭、目、鼻、口等）を位置合わせするための目印となる点線を表示する。制御部１０は、配信者Ａが入出力部３０に表示されている顔の輪郭、目、鼻、口を目印に合わせて、ボタンを入力したとき、標準位置を計測して、記憶部２０の特徴テーブルＰＴの標準位置に格納する。
〔音声データ送信工程ＳＰ１５〕
配信者端末１ａの制御部１０は、マイク部６０によって取得された配信者Ａの音声データを、通信部７０を介してサーバ装置Ｓに送信する（ＳＰ１５）。
配信者端末１ａの制御部１０は、マイク部６０によって取得された配信者Ａの音声データを、通信部７０を介してサーバ装置Ｓに送信する（ＳＰ１５）。
〔音声データ受信工程ＳＰ１６〕
サーバ装置Ｓの制御部１０Ｓは、配信者端末１ａから送信された音声データを受信して、記憶部２０Ｓに格納する（ＳＰ１６）。
サーバ装置Ｓの制御部１０Ｓは、配信者端末１ａから送信された音声データを受信して、記憶部２０Ｓに格納する（ＳＰ１６）。
〔音声データ送信工程ＳＰ１７〕
サーバ装置Ｓの制御部１０Ｓは、配信者端末１ａから送信された音声データを、通信部６０Ｓを介して視聴者端末１ｂに送信する（ＳＰ１７）。
サーバ装置Ｓの制御部１０Ｓは、配信者端末１ａから送信された音声データを、通信部６０Ｓを介して視聴者端末１ｂに送信する（ＳＰ１７）。
〔音声データ受信工程ＳＰ１８〕
視聴者端末１ｂの制御部１０は、サーバ装置Ｓから送信された音声データを受信して、記憶部２０に格納する（ＳＰ１８）。
視聴者端末１ｂの制御部１０は、サーバ装置Ｓから送信された音声データを受信して、記憶部２０に格納する（ＳＰ１８）。
〔演算工程ＳＰ１９〕
配信者端末１ａの制御部１０は、特徴取得工程ＳＰ１３で特定された複数の特徴点の間の位置関係を演算して演算結果を取得し、演算結果に応じて特徴を特徴データとして取得する（ＳＰ１９）。第一実施形態においては、制御部１０は、特徴点の標準位置と現在位置との位置関係を比較、演算して演算結果を得る。制御部１０は、右目の標準位置の特徴点Ｐ２と特徴点Ｐ３との距離が２ｃｍであり、右目の現在位置の特徴点Ｐ２と特徴点Ｐ３との距離が０．８ｃｍの場合において、現在位置の距離を標準位置の距離で割った０．４を演算結果とする。制御部１０は、記憶部２０の特徴テーブルＰＴに演算結果０．４を格納する。
配信者端末１ａの制御部１０は、特徴取得工程ＳＰ１３で特定された複数の特徴点の間の位置関係を演算して演算結果を取得し、演算結果に応じて特徴を特徴データとして取得する（ＳＰ１９）。第一実施形態においては、制御部１０は、特徴点の標準位置と現在位置との位置関係を比較、演算して演算結果を得る。制御部１０は、右目の標準位置の特徴点Ｐ２と特徴点Ｐ３との距離が２ｃｍであり、右目の現在位置の特徴点Ｐ２と特徴点Ｐ３との距離が０．８ｃｍの場合において、現在位置の距離を標準位置の距離で割った０．４を演算結果とする。制御部１０は、記憶部２０の特徴テーブルＰＴに演算結果０．４を格納する。
〔特徴送信工程ＳＰ２０〕
配信者端末１ａの制御部１０は、特徴取得工程ＳＰ１３で取得した特徴及び／又は演算工程ＳＰ１９で取得した演算結果を、通信部７０を介してサーバ装置Ｓに送信する（ＳＰ２０）。制御部１０は、前に送信した特徴データと現在送信しようとしている特徴データを比較し、一定以上の乖離がある場合、異常値として判定する。そして、制御部１０は、現在送信しようとしている特徴データではなく、前に送信した特徴データを送信する。
配信者端末１ａの制御部１０は、特徴取得工程ＳＰ１３で取得した特徴及び／又は演算工程ＳＰ１９で取得した演算結果を、通信部７０を介してサーバ装置Ｓに送信する（ＳＰ２０）。制御部１０は、前に送信した特徴データと現在送信しようとしている特徴データを比較し、一定以上の乖離がある場合、異常値として判定する。そして、制御部１０は、現在送信しようとしている特徴データではなく、前に送信した特徴データを送信する。
〔特徴受信工程ＳＰ２１〕
サーバ装置Ｓの制御部１０Ｓは、配信者端末１ａから送信された特徴及び／又は演算結果を受信して、記憶部２０Ｓに格納する（ＳＰ２１）。
サーバ装置Ｓの制御部１０Ｓは、配信者端末１ａから送信された特徴及び／又は演算結果を受信して、記憶部２０Ｓに格納する（ＳＰ２１）。
〔特徴送信工程ＳＰ２２〕
サーバ装置Ｓの制御部１０Ｓは、配信者端末１ａから送信された特徴及び／又は演算結果を、通信部６０Ｓを介して視聴者端末１ｂに送信する（ＳＰ２２）。
サーバ装置Ｓの制御部１０Ｓは、配信者端末１ａから送信された特徴及び／又は演算結果を、通信部６０Ｓを介して視聴者端末１ｂに送信する（ＳＰ２２）。
〔特徴受信工程ＳＰ２３〕
視聴者端末１ｂの制御部１０は、サーバ装置Ｓから送信された特徴及び／又は演算結果を受信して、記憶部２０に格納する（ＳＰ２３）。
視聴者端末１ｂの制御部１０は、サーバ装置Ｓから送信された特徴及び／又は演算結果を受信して、記憶部２０に格納する（ＳＰ２３）。
〔パーツ画像反映工程ＳＰ２４〕
配信者端末１ａ及び視聴者端末１ｂの制御部１０は、取得した特徴及び／又は演算結果に応じてパーツ画像に反映する（ＳＰ２４）。制御部１０は、パーツ画像を表すデータを記憶部２０から読み出し、特徴取得工程１３により特定された特徴及び／又は演算工程１９により演算された演算結果に応じてパーツ画像に反映する。
配信者端末１ａ及び視聴者端末１ｂの制御部１０は、取得した特徴及び／又は演算結果に応じてパーツ画像に反映する（ＳＰ２４）。制御部１０は、パーツ画像を表すデータを記憶部２０から読み出し、特徴取得工程１３により特定された特徴及び／又は演算工程１９により演算された演算結果に応じてパーツ画像に反映する。
〔アバター画像反映工程ＳＰ２５〕
配信者端末１ａ及び視聴者端末１ｂの制御部１０は、パーツ画像反映手段により反映された各部のパーツ画像を、アバター画像取得工程ＳＰ１０で取得したアバター画像に反映させる（ＳＰ２５）。なお、パーツ画像が全て結合されたアバター画像が配信者端末１ａ及び視聴者端末１ｂに既に記憶されており、その中にある該当パーツに特徴データを反映して動かしてもよい。
配信者端末１ａ及び視聴者端末１ｂの制御部１０は、パーツ画像反映手段により反映された各部のパーツ画像を、アバター画像取得工程ＳＰ１０で取得したアバター画像に反映させる（ＳＰ２５）。なお、パーツ画像が全て結合されたアバター画像が配信者端末１ａ及び視聴者端末１ｂに既に記憶されており、その中にある該当パーツに特徴データを反映して動かしてもよい。
〔音声出力工程ＳＰ２６〕
配信者端末１ａの制御部１０は、マイク部６０によって取得された配信者Ａの音声データをスピーカ部５０から出力する（ＳＰ２６）。また、視聴者端末１ｂの制御部１０は、音声データ受信工程ＳＰ１８で受信した音声データをスピーカ部５０から出力する（ＳＰ２６）。
配信者端末１ａの制御部１０は、マイク部６０によって取得された配信者Ａの音声データをスピーカ部５０から出力する（ＳＰ２６）。また、視聴者端末１ｂの制御部１０は、音声データ受信工程ＳＰ１８で受信した音声データをスピーカ部５０から出力する（ＳＰ２６）。
〔表示工程ＳＰ２７〕
配信者端末１ａ及び視聴者端末１ｂの制御部１０は、アバター画像の生成後（又は生成中）に入出力部３０にアバター画像を表示する（ＳＰ２７）。制御部１０は、入出力部３０によりアバター画像の表示に制御をする。例えば、図１３（ａ）に示すように、制御部１０は、配信者Ａがカメラ部４０に向かってウインクをすると、入出力部３０に対して、アバター画像がウインクする動作を表示させる。例えば、図１３（ｂ）に示すように、制御部１０は、配信者Ａがカメラ部４０に向かって口を開けると、入出力部３０に対して、アバター画像が口を開ける動作を表示させる。例えば、図１３（ｃ）に示すように、制御部１０は、配信者Ａがカメラ部４０に向かって笑うと、入出力部３０に対して、アバター画像も笑う動作を表示させる。
配信者端末１ａ及び視聴者端末１ｂの制御部１０は、アバター画像の生成後（又は生成中）に入出力部３０にアバター画像を表示する（ＳＰ２７）。制御部１０は、入出力部３０によりアバター画像の表示に制御をする。例えば、図１３（ａ）に示すように、制御部１０は、配信者Ａがカメラ部４０に向かってウインクをすると、入出力部３０に対して、アバター画像がウインクする動作を表示させる。例えば、図１３（ｂ）に示すように、制御部１０は、配信者Ａがカメラ部４０に向かって口を開けると、入出力部３０に対して、アバター画像が口を開ける動作を表示させる。例えば、図１３（ｃ）に示すように、制御部１０は、配信者Ａがカメラ部４０に向かって笑うと、入出力部３０に対して、アバター画像も笑う動作を表示させる。
配信者Ａは、このようなコミュニケーションシステムＣを使用して、少ないデータ通信量で、かつ高画質なアバターを利用してコミュニケーションをとることが可能である。また、映像データを用いないため、コミュニケーションの過程で配信者Ａの人物画像が露出するリスクもない。配信者Ａは、アバターをさまざまな用途に用いることが可能である。配信者Ａは、例えば、アバター画像をＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）等のオンラインサービスにおいて、自己を表す画像として使用して、視聴者Ｂに対し、配信者Ａの表情やアバターを通じて表現することが可能である。また、配信者Ａは、視聴者Ｂに対して目の前で直接話せないことについて、アバターを通じて伝えることができる。
〔他の実施形態〕
コミュニケーションシステムＣは、アバターの利用に際して、様々な演出をすることもできる。例えば、配信者Ａが、マイク部６０に対して所定の音声を発したり、入出力部３０に対して、所定の動作を行ったときに、アバターやその背景に特別な演出をさせることができる。例えば、図１３（ａ）に示すように、制御部１０は、配信者Ａがマイク部６０に向かって「ウィンク」というと、入出力部３０に対して、アバター画像がウインクする動作をすると共に、アバター画像の目から星がでる演出を表示させる。
コミュニケーションシステムＣは、アバターの利用に際して、様々な演出をすることもできる。例えば、配信者Ａが、マイク部６０に対して所定の音声を発したり、入出力部３０に対して、所定の動作を行ったときに、アバターやその背景に特別な演出をさせることができる。例えば、図１３（ａ）に示すように、制御部１０は、配信者Ａがマイク部６０に向かって「ウィンク」というと、入出力部３０に対して、アバター画像がウインクする動作をすると共に、アバター画像の目から星がでる演出を表示させる。
例えば、図１３（ｂ）に示すように、制御部１０は、配信者Ａがマイク部６０に向かって歌手の名前と曲の名前を言うと、入出力部３０に対して、アバター画像が歌を歌う動作を表示させ、その曲が流れる。例えば、図１３（ｃ）に示すように、制御部１０は、配信者Ａがマイク部６０に向かって「好き」というと、入出力部３０に対して、アバター画像が笑う動作をすると共に、アバター画像の周りがハートで埋め尽くされる演出を表示させる。
以上、本発明の実施形態によれば、アバター画像を動かすに当たって、データ通信量を削減でき、同時に画質を向上させ、さらにユーザのプライバシーに配慮し人物画像を送信しないことを保証することができる。
〔変形例〕
以上、本発明の実施の形態の説明を行ったが、本発明は、この実施の形態に限定されることはなく、本発明の目的、趣旨を逸脱しない範囲内で変更ができ、以下の変形例に示す態様で実施することも可能である。なお、以下の変形例は、必要に応じて、各々を組み合わせて適用してもよい。
以上、本発明の実施の形態の説明を行ったが、本発明は、この実施の形態に限定されることはなく、本発明の目的、趣旨を逸脱しない範囲内で変更ができ、以下の変形例に示す態様で実施することも可能である。なお、以下の変形例は、必要に応じて、各々を組み合わせて適用してもよい。
例えば、制御装置１０は、撮影画像から顔に対応する部分について複数の特徴点を特定し、これらの特徴点の位置関係に基づいて特徴データを特定しているが、他の方法で特徴を特定しても良い。例えば、制御装置１０は、中心位置に基づいて撮影画像の動きを検出した移動ベクトルを特徴データとして特定しても良い。例えば、口の特徴データの演算は、撮影画像からではなくマイク部６０から入力された音声を元に行っても良い。その場合、入力された音声から設定した言語の文字列を取得し、その文字と紐づけた口の動き（例えば「あ」「い」「う」「え」「お」）の値を特徴テーブルＰＴの演算結果に格納する。
アバターは、顔のみではなく全身を表現したものであってもよい。この場合、情報処理装置１は、撮影画像に基づいて衣服の画像を生成してもよい。ここでいう衣服の画像は、上述したパーツ画像のように、あらかじめ用意されたものの中から選択されてもよい。また、被写体は、外観に一定の特徴を有するものであればよく、必ずしも顔に対応するものを含まなくてもよい。この場合、情報処理装置１は、顔認識処理に代えて所定のパターンマッチ等の解析処理を実行して被写体の特徴を特定できればよい。
また、配信者Ａは、複数の装置の協働によって、コミュニケーションシステムＣを使用しても良い。例えば、撮影手段を備えるカメラと、表示手段を備えるディスプレイと、画像生成手段を備える情報処理装置とを備える情報処理システムによって実現されてもよい。また、コミュニケーションシステムＣは、システムを構成する各装置を、ネットワークを介して接続した構成であってもよく、その一部がユーザによって所持、携帯されない構成であってもよい。また、コミュニケーションシステムＣは、配信者から視聴者へ１方向にデータ送信する形式だけでなく、双方が配信者であり視聴者となり、双方向にデータを送受信するシステムによって実現されても良い。例えば、人物画像によるビデオチャットではなく、アバター画像によるビデオチャットを行うシステムである。
１ ：情報処理装置
１０ ：制御部
２０ ：記憶部
３０ ：入出力部
４０ ：カメラ部
５０ ：スピーカ部
６０ ：通信部
Ｓ ：サーバ装置
１０Ｓ ：制御部
２０Ｓ ：記憶部
３０Ｓ ：入出力部
４０Ｓ ：カメラ部
５０Ｓ ：スピーカ部
６０Ｓ ：通信部
１０ ：制御部
２０ ：記憶部
３０ ：入出力部
４０ ：カメラ部
５０ ：スピーカ部
６０ ：通信部
Ｓ ：サーバ装置
１０Ｓ ：制御部
２０Ｓ ：記憶部
３０Ｓ ：入出力部
４０Ｓ ：カメラ部
５０Ｓ ：スピーカ部
６０Ｓ ：通信部
Claims (3)
- 配信者端末及び視聴者端末を有するコミュニケーションシステムであって、
配信者端末及び視聴者端末は、
配信者端末と視聴者端末との間で通信する通信手段と、
被写体の各部について設定された複数のパーツ画像を有するアバター画像を取得するアバター画像取得手段と、
を備え、
配信者端末は、
撮影手段により撮影された被写体を含む撮影画像を取得する撮影画像取得手段と、
前記撮影画像取得手段により取得された撮影画像の所定の撮影タイミングにおける画像から、被写体の各部の標準位置を取得する標準位置取得手段と、
前記撮影画像取得手段により取得された撮影画像の所定の撮影タイミングにおける画像から、被写体の各部対応する部分について複数の特徴点を取得し、前記特徴点の位置に基づいて演算された演算結果を特徴データとして取得する特徴取得手段と、
前記特徴取得手段により取得された特徴データが閾値の範囲内か否かを判定し、前記閾値の範囲外であると判定した場合、前記特徴データを予め定められた値に変更する閾値判定手段と、
前記特徴取得手段により取得された特徴データを視聴者端末に送信する特徴送信手段と、
前記特徴取得手段により取得された特徴データを、前記パーツ画像に反映するパーツ画像反映手段と、
前記パーツ画像反映手段により前記特徴データが反映された前記パーツ画像を、前記アバター画像取得手段で取得したアバター画像に反映させるアバター画像反映手段と、
前記アバター画像反映手段により生成されたアバター画像を表示する表示手段と
を備え、
視聴者端末は、
前記特徴送信手段から送信された特徴データを受信する特徴受信手段と、
前記特徴受信手段から受信した特徴データを、前記パーツ画像に反映するパーツ画像反映手段と、
前記パーツ画像反映手段により前記特徴データが反映された前記パーツ画像を、前記アバター画像取得手段で取得したアバター画像に反映させるアバター画像反映手段と、
前記アバター画像反映手段により生成されたアバター画像を表示する表示手段と、
を備えるコミュニケーションシステム。 - 前記標準位置取得手段により被写体の各部の前記標準位置を取得したときに、前記標準位置の状態に応じて取得した仮閾値を前記閾値として仮設定する仮閾値設定手段、
を備える請求項１に記載のコミュニケーションシステム。 - 視聴者端末と通信可能なコンピュータを、
被写体の各部について設定された複数のパーツ画像を有するアバター画像を取得するアバター画像取得手段、
撮影手段により撮影された被写体を含む撮影画像を取得する撮影画像取得手段、
前記撮影画像取得手段により取得された撮影画像の所定の撮影タイミングにおける画像から、被写体の各部の標準位置を取得する標準位置取得手段、
前記撮影画像取得手段により取得された撮影画像の所定の撮影タイミングにおける画像から、被写体の各部対応する部分について複数の特徴点を取得し、前記特徴点の位置に基づいて演算された演算結果を特徴データとして取得する特徴取得手段、
前記特徴取得手段により取得された特徴データが閾値の範囲内か否かを判定し、前記閾値の範囲外であると判定した場合、前記特徴データを予め定められた値に変更する閾値判定手段、
前記特徴取得手段により取得された特徴データを前記視聴者端末に送信する特徴送信手段、
前記特徴取得手段により取得された特徴データを、前記パーツ画像に反映するパーツ画像反映手段、
前記パーツ画像反映手段により前記特徴データが反映された前記パーツ画像を、前記アバター画像取得手段で取得したアバター画像に反映させるアバター画像反映手段、
前記アバター画像反映手段により生成されたアバター画像を表示する表示手段、
として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018195458A JP6563580B1 (ja) | 2018-10-16 | 2018-10-16 | コミュニケーションシステム及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018195458A JP6563580B1 (ja) | 2018-10-16 | 2018-10-16 | コミュニケーションシステム及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6563580B1 true JP6563580B1 (ja) | 2019-08-21 |
| JP2020064426A JP2020064426A (ja) | 2020-04-23 |
Family
ID=67695609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018195458A Active JP6563580B1 (ja) | 2018-10-16 | 2018-10-16 | コミュニケーションシステム及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6563580B1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7234187B2 (ja) * | 2020-06-29 | 2023-03-07 | グリー株式会社 | 情報処理プログラム、情報処理方法、情報処理装置 |
| CN112102153B (zh) | 2020-08-20 | 2023-08-01 | 北京百度网讯科技有限公司 | 图像的卡通化处理方法、装置、电子设备和存储介质 |
| CN112102154B (zh) * | 2020-08-20 | 2024-04-26 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| JP7488210B2 (ja) | 2021-02-24 | 2024-05-21 | Kddi株式会社 | 端末及びプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4612806B2 (ja) * | 2003-07-18 | 2011-01-12 | キヤノン株式会社 | 画像処理装置、画像処理方法、撮像装置 |
| JP2011048469A (ja) * | 2009-08-25 | 2011-03-10 | Seiko Epson Corp | 画像処理装置、画像処理方法および画像処理プログラム |
| JP2015172883A (ja) * | 2014-03-12 | 2015-10-01 | 株式会社コナミデジタルエンタテインメント | 端末装置、情報通信方法及び情報通信プログラム |
| JP2016018313A (ja) * | 2014-07-07 | 2016-02-01 | 任天堂株式会社 | プログラム、情報処理装置、コミュニケーションシステム及びコミュニケーション方法 |
| JP6152125B2 (ja) * | 2015-01-23 | 2017-06-21 | 任天堂株式会社 | プログラム、情報処理装置、情報処理システム及びアバター画像の生成方法 |
-
2018
- 2018-10-16 JP JP2018195458A patent/JP6563580B1/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020064426A (ja) | 2020-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11983830B2 (en) | Systems and methods for generating and facilitating access to a personalized augmented rendering of a user | |
| JP6563580B1 (ja) | コミュニケーションシステム及びプログラム | |
| KR102581453B1 (ko) | 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스를 위한 이미지 처리 | |
| JP7504968B2 (ja) | アバター表示装置、アバター生成装置及びプログラム | |
| US10360715B2 (en) | Storage medium, information-processing device, information-processing system, and avatar generating method | |
| WO2018153267A1 (zh) | 群组视频会话的方法及网络设备 | |
| JP2024028390A (ja) | 顔に対応する３次元アバターを用いて顔の動きが反映された３ｄアバターを含むイメージを生成する電子装置 | |
| WO2020138107A1 (ja) | 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム | |
| US9710974B2 (en) | Video game processing apparatus and video game processing program | |
| WO2017137948A1 (en) | Producing realistic body movement using body images | |
| KR102491140B1 (ko) | 가상 아바타 생성 방법 및 장치 | |
| US10896322B2 (en) | Information processing device, information processing system, facial image output method, and program | |
| US11673054B2 (en) | Controlling AR games on fashion items | |
| CN108876878B (zh) | 头像生成方法及装置 | |
| US11562548B2 (en) | True size eyewear in real time | |
| JP7234187B2 (ja) | 情報処理プログラム、情報処理方法、情報処理装置 | |
| JP7300925B2 (ja) | キャラクタを使ったライブ通信システム | |
| JP6470387B1 (ja) | ヘッドマウントデバイスを介して情報を提供するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置 | |
| JP2023095862A (ja) | プログラム及び情報処理方法 | |
| JP2019133276A (ja) | 画像処理システム、端末 | |
| JP2020039012A (ja) | プログラム、情報処理装置、および方法 | |
| JP6937803B2 (ja) | 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム | |
| WO2024015220A1 (en) | Method and application for animating computer generated images | |
| TW201730734A (zh) | 傳送人形玩偶圖像或影像之通訊系統、通訊方法與伺服器 | |
| TWM532129U (zh) | 傳送人形玩偶圖像或影像之通訊系統與伺服器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181213 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20181213 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20181219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190521 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190713 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190723 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190724 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6563580 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |