JP5492077B2 - メディア端末から来るｒｔｐストリーム上の人物の外見を向上させるための方法およびシステム - Google Patents

Description

本発明は、メディア端末から来る入力ＲＴＰストリームを、この入力ＲＴＰストリーム上の人物の外見を向上させる環境を組み込んだ出力ＲＴＰストリームに替える方法、およびに該方法を実行可能にするシステムに関する。

人々は、改まった環境（仕事など）から個人的な趣味または活動の環境（例えばバイク乗りの集り）へ移るとき、衣服を着替えなければならない。

実際には、容貌は常に公開されているので、誰でもこれを見ることができる。問題は、社会の慣例が人々にその全体的な外見にある程度の順応を強いることである。極端な衣服、入れ墨またはピアスは、しばしば個人的嗜好または見解のふさわしくない現れであるとみなされる。この主張は、宗教的なシンボルに関しては一層当てはまり、宗教的なシンボルは公の場では禁じられる可能性がある。

したがって、人々は自分自身を表現し、あるコミュニティの一員であることを示すことを望んでも、公の場で常にそうすることができるとは限らない。

場合によっては一部の人々は、あるコミュニティへ自身が所属していることを内密にしておき、所属していることはそのコミュニティの他のメンバーに示すのみとすることを希望する。

さらに様々なオンラインの世界の数は、数年間を通じて激増した。そうしたオンラインの世界では、人々はゲームの中で自分を表すアバターを作成することがよくある。そうして人々は、変更または切り替え可能な様々なアイデンティティおよび容貌を有する。人々は、異なるコミュニティまたはアプリケーションにおいて同時にいくつかの外見を並行して有することさえ可能である。

そうしたアバターは、そのユーザが望む見え方を表現するものであるが、これはまた、コミュニティ（特にオンラインの世界）の他のメンバーがそのユーザを知るための唯一の方法である可能性がある。したがってユーザは、オンラインの世界の他のメンバーが、互いに顔を合わせる機会にその外見となった自分を見ること、または選択した任意の人はユーザが選んだ別の外見となった自分を見ることを望むことができる。

現在、他の人々がどのように見るかを人々が制御できるようにするシステム、すなわち公に受け入れられるように装うことができるが、携帯電話などのメディア端末の使用により、一定の人（コミュニティの他のメンバーなど）には希望する見え方で（例えば共にプレイするオンラインの世界のアバターが）見えるようにするシステムがない。

本発明の目的は、詳細にはメディア端末から来る入力ＲＴＰストリームを、この入力ＲＴＰストリーム上の人物の外見を向上させる環境を組み込んだ出力ＲＴＰストリームに替える方法およびその方法を実行することができるシステムを提案することによって、従来技術の問題を解決することである。

本発明において、ＲＴＰストリーム（Ｒｅａｌ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ−ＩＥＴＦ ＲＦＣ３５５０）とは、ＲＴＰと同様のストリーミングプロトコルと理解されたい。

この目的のために、また第１の態様により、本発明は、入力ＲＴＰストリームを受信する場合、メディア端末から来る入力ＲＴＰストリームを、この入力ＲＴＰストリーム上の人物の外見を向上させる環境を組み込んだ出力ＲＴＰストリームに替える方法を提案し、該方法は：
− メディア端末のユーザおよび該ユーザに向上した外見となった自分を見ることを許可する少なくとも１人の人物を識別することと、
− このような人物が存在する場合、入力ＲＴＰストリーム上の該人物を識別することが、許可を出している人物の間で行われることと、
− 識別されたユーザの入力ＲＴＰストリームに組み込まれるべき環境用データを提供することと、
− 上記入力ＲＴＰストリーム上の人物の外見を向上させる環境用データを入力ＲＴＰストリームに組み込むことと、
− このようにして得られた出力ＲＴＰストリームをメディア端末に返信することと
を提供する。

第２の態様によれば、本発明は、識別されたユーザがメディア端末のユーザを識別するネットワークを介して入力ＲＴＰストリームをサーバに送信するメディア端末を使用する、準リアルタイムの拡張現実の外見を提供するためのシステムを提案し、該システムは：
− 入力ＲＴＰストリームの中で、ユーザが向上した外見となった自分を見る権限を与える人物を識別し、ユーザおよびこの人物のＩＤを環境モジュールに送信することができる認識モジュールと、
− ＲＴＰストリームに組み込まれる環境用データを決定し、環境用データを組込みモジュールに送信することができる環境モジュールと、
− 入力ＲＴＰストリームに環境を組み込み、該得られたＲＴＰストリームをメディア端末に送信することができる組込みモジュールと
を備える。

本発明の一実施形態による方法を実行することができるシステムのアーキテクチャを表す図である。

本発明は、本発明の一実施形態による方法を実行することができるシステムのアーキテクチャを表す添付の図を参照して行う次の説明の中で明らかになる。

メディア端末Ｇは、別の人物のビデオまたはピクチャを作成するために使用される携帯電話である。

より広範な実施形態では、メディア端末は、人（例えば人の目もしくは脳）に内蔵された装置または人の網膜に投影するためなど他の機械であることが可能である。

メディア端末のユーザは、事前にユーザのメディア端末Ｇ上で、入力ＲＴＰストリーム１を出力ＲＴＰストリーム６に替えることができる機能を作動させる。この機能を作動させるために、メディア端末のユーザは、携帯電話を「ＡＲビデオ」（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）モードに切り替える。別の実施形態では、ＡＲビデオモードは、入力ＲＴＰストリーム１を出力ＲＴＰストリーム６に替えることを強制するために、管理人、統治機関、または別の人物／エンティティによって自動的に作動されることが可能である。

次にメディア端末のユーザは、該端末をユーザが選択した人物Ａの方に向けて、メディア端末Ｇを用いてビデオ１を作成する。このビデオは、リアルタイムプロトコル（ＲＴＰ）のストリームに組み込まれて、メディア端末Ｇに保存されることなく、ネットワーク２を介して送信される。

実際には、ＲＴＰストリームは衛星通信によってサーバＢへ直接送信され、該サーバＢが入力ＲＴＰストリームを保存する。

入力ＲＴＰストリームをサーバＢに送信しながらネットワークは、メディア端末のユーザをそのＳＩＭデータによって識別する。実際には関連するオペレータのイネーブラが、サービスを提供するメディア端末のユーザに関するデータを保持する。該データは、メディア端末のＳＩＭカードに組み込まれる。

ネットワークがオペレータのイネーブラによって提供されるデータでメディア端末の所有者を識別できない場合、ユーザはそのメディア端末上で自身を識別できるようにしなければならない。

システムは、上記ユーザに向上した外見で見ることを許可する少なくとも１人の人物を識別する。実際には、システムは、ＲＴＰストリームおよびメディア端末のユーザのＩＤを受信する認識モジュールＣを備える。

より広範な実施形態では、様々な顔のアングルが、様々な環境用データとなることが可能であり、例えば入力ＲＴＰストリームは、その人物が水平より１０％の角度で見上げているときのみ替えられることが可能である。

このモジュールＣは、入力ＲＴＰストリームの中で、ユーザに向上した外見となった自分を見ることを許可する人物を識別することができる。

そのために認識モジュールＣは、メディア端末のユーザのＩＤを使用して、該ユーザに外見を向上した環境を組み込んだ出力ＲＴＰストリームを受信することを許可する人物のリストにあるそのデータベースの中で、すべてのメディア端末のユーザを検索する。

実際には、出力ＲＴＰストリーム上で向上した外見で見られることを希望する人物は事前に認識モジュールＣに：
− 向上した外見に対応する環境用データと、
− 該外見となった見ることができるメディア端末のユーザのリストと
を提供する。

このような人物が存在する場合、入力ＲＴＰストリーム上でのこの人物の識別は、許可を出している人物の間で行われる。この識別は、モジュールＣに事前に組み込まれたピクチャに基づく顔の認識にある。

より広範な実施形態では、人物の認識は、メディア端末の位置と比較した人物の位置を検出することによって行うことができる。上記認識はまた、人物とメディア端末との距離、メディア端末の配向角、および／またはメディア端末の適用ズームを検出することによって行うこともできる。

上記の手段によって入力ＲＴＰストリームの中に人物の位置を検出した場合、本発明によって、検出された位置内のすべての人物の出力ＲＴＰストリームにおける外見を同じように向上させることができる。このようにして、その位置の中のすべての人物が、同じように見えることが可能である。

別のより広範な実施形態では、人物を識別することは：
− 弱くなった（ｗｏｒｎ）シンボル（例えばハンガ（ｈａｎｇｅｒ））または電波など、ユーザから直接取得された要素を識別することによって、
− 人物または人物のグループを識別することができるその他の手段によって
行われることが可能である。

認識モジュールＣはまた、入力ＲＴＰストリームのパラメータを識別することができる。これらのパラメータは、例えば人の頭の位置、明暗状態である。このようなパラメータは、環境用データをカスタマイズするために識別され、このようにカスタマイズされたデータはさらに出力ＲＴＰストリームの中に組み込まれる。こうしたパラメータは、適切に、また同期して、出力ＲＴＰストリームに環境を組み込むことができる。

このユーザのＩＤおよびこの人物のＩＤは、入力ＲＴＰストリーム３と共に環境モジュールＤに送信される。

環境モジュールＤは、ＲＴＰストリームに組み込まれるべき環境用データを決定することができる。

システムは、識別されたユーザの入力ＲＴＰストリームに組み込まれるべき、人物の認識された環境用データを含む。実際には、メディア端末のユーザに向上した外見となった自分を見ることを許可する各人物が、システムに拡張現実の外見に対応する環境用データを提供する。

この人物は、環境用データがメディア端末のユーザごとに異なるように選択することができる。

この人物はまた、時間区間ごとに異なる向上した外見を有することができるように、環境用データが時間にわたって変化するよう決定することができる。

この環境用データは、ＲＴＰストリームに組み込まれる実在または仮想のオブジェクトである。したがって、ＲＴＰストリームに組み込まれる環境は、例えば、花瓶のような物、オンラインの世界のアバターの顔、身体、衣服など人物の異なる外見であることが可能である。

ＲＴＰストリームに組み込まれる上記環境はまた、ある色を色覚異常の人々に適した他の色に変更すること、障害を持つ人々のためにちらつきを軽減すること、または例えばユーザの前の車に内蔵されたメディア端末を使用することによって透けて見えるようにすることである可能性がある。

また環境モジュールＤは、どのカスタマイズモジュールＥが入力ＲＴＰストリームのパラメータで環境用データをカスタマイズすることができるかを識別する。

実際には、ＲＴＰストリームに組み込まれるべき環境（例えばこの人物用の別の顔）が決定されると、システムは、入力ＲＴＰストリームの位置パラメータおよび明暗パラメータを組み込むことによって環境をカスタマイズしなければならない。

環境モジュールＤがビデオの中の人物に対応する環境用データ、該データならびにカスタマイズモジュールＥを識別すると、環境モジュールＤは、環境用データ４を該カスタマイズモジュールＥに送信する。

カスタマイズモジュールＥは、入力ＲＴＰストリームのパラメータで環境をカスタマイズすることができる。このモジュールが入力ＲＴＰストリームのパラメータで各環境用データを適合させると、このモジュールは入力ＲＴＰストリームおよびカスタマイズした環境用データを組込みモジュールＦに送信する。

組込みモジュールＦは、入力ＲＴＰストリームにこの環境を組み込み、得られたＲＴＰストリームをメディア端末Ｇに送信することができる。

環境用データを入力ＲＴＰストリームに組み込むことは、該入力ＲＴＰストリームの中の人物の外見を完全に変更し、それによって向上させるために、データを入力ＲＴＰストリーム上に重ねることによって行われる。

組込みモジュールＦによってこの組込みが行われると、該モジュールは、このようにして得られた出力ＲＴＰストリームをメディア端末Ｇに返信する。

このシステムの結果、環境を含んだ出力ＲＴＰストリームが、準リアルタイムでメディア端末に送信される。

Claims (10)

1. メディア端末から来る入力ＲＴＰ（リアルタイムプロトコル）ストリームを該入力ＲＴＰストリーム上の人物の外見を変更する出力ＲＴＰストリームに替えるための方法であって、
   メディア端末により少なくとも１人の人物の現実の映像データを捕捉し、該メディア端末は該少なくとも１人の人物とは異なるメディア端末ユーザに関連付けられており、
   該メディア端末により、現実の映像データを入力ＲＴＰストリームに組み込み、
   該メディア端末により、該入力ＲＴＰストリームをサーバに送信し、
   該サーバにより、該入力ＲＴＰストリームを受信し、
   該サーバにおいて、該入力ＲＴＰストリーム内の現実の映像データから、該少なくとも１人の人物と、該メディア端末ユーザを識別し、
   該サーバにより、該現実の映像データ内で識別された該少なくとも１人の人物が、該メディア端末ユーザに、変更された外見を有する該少なくとも１人の人物を見ることを許可しているかどうかを決定し、
   該サーバにより、該メディア端末ユーザが該変更された外見を有する該少なくとも１人の人物を見ることを許可されていると判定したことに応答して、該現実の映像データ内で該少なくとも１人の人物の外見を変更する、該入力ＲＴＰストリームに組み込まれたデータを含む、出力ＲＴＰストリームを生成し、
   該サーバにより、該メディア端末ユーザが見るために、該出力ＲＴＰストリームを該メディア端末へ返信することを含む、方法。
2. メディア端末ユーザが、該現実の映像データを入力ＲＴＰストリームに組み込む前に、入力ＲＴＰストリームを出力ＲＴＰストリームに替えることができる機能を作動させる、請求項１に記載の方法。
3. 入力ＲＴＰストリームが、メディア端末に保存されることなくネットワークを介して該サーバへ送信される、請求項１または２に記載の方法。
4. 該サーバにより、ユーザが、ＳＩＭデータによって識別される、請求項１から３に記載の方法。
5. 該サーバにより、入力ＲＴＰストリーム上の人物が、顔の認識によって識別される、請求項１から４に記載の方法。
6. 入力ＲＴＰストリームが、人物の頭の位置および明暗状態を含むパラメータを含み、パラメータに従って出力ＲＴＰストリーム内のデータをカスタマイズする、請求項５に記載の方法。
7. 出力ＲＴＰ上で向上した外見を見られることを希望する人物の変更した外見に対応するデータと、
   変更された外見となった人物を見ることが許可されたメディア端末ユーザのリストが、
   事前に該サーバに組み込まれる、請求項１から６に記載の方法。
8. 出力ＲＴＰストリームが、リアルタイムでメディア端末に送信される、請求項１から７に記載の方法。
9. リアルタイムの拡張現実の外見を提供するためのシステムであって、
   少なくとも１人の人物の現実の映像データを捕捉し、メディア端末は該少なくとも１人の人物とは異なるメディア端末ユーザに関連付けられており、
   現実の映像データを入力ＲＴＰストリームに組み込み、
   該入力ＲＴＰストリームをサーバに送信する、
   ように構成されている該メディア端末と、
   該入力ＲＴＰストリーム内の現実の映像データから、該少なくとも１人の人物と、該メディア端末ユーザを識別し、
   該現実の映像データ内で識別された該少なくとも１人の人物が、該メディア端末ユーザに、変更された外見を有する該少なくとも１人の人物を見ることを許可しているかどうかを決定し、
   該メディア端末ユーザが該変更された外見を有する該少なくとも１人の人物を見ることを許可されていると判定したことに応答して、該現実の映像データ内で該少なくとも１人の人物の外見を変更する、該入力ＲＴＰストリームに組み込まれたデータを含む、出力ＲＴＰストリームを生成し、
   該メディア端末ユーザが見るために、該出力ＲＴＰストリームを該メディア端末へ返信する、
   ように構成されている該サーバを有する、システム。
10. サーバが、入力ＲＴＰストリームのパラメータを識別するように構成され、入力ＲＴＰストリームのパラメータでデータをカスタマイズする、請求項９に記載のシステム。

Images