JP4310916B2 - 映像表示装置 - Google Patents
映像表示装置 Download PDFInfo
- Publication number
- JP4310916B2 JP4310916B2 JP2000339906A JP2000339906A JP4310916B2 JP 4310916 B2 JP4310916 B2 JP 4310916B2 JP 2000339906 A JP2000339906 A JP 2000339906A JP 2000339906 A JP2000339906 A JP 2000339906A JP 4310916 B2 JP4310916 B2 JP 4310916B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- video display
- animation
- face
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【発明の属する技術分野】
本発明は、発話の情景の実写映像を表示する映像表示装置に関する。
【0002】
【従来の技術】
TV放送番組において、人が話す内容を唇の絵や手話で伝えるアニメーション映像を補助情報として主映像に合成することが行われている。特開平11−226050号公報には、あらかじめ用意しておいた唇や手話の画像を、入力されたテキストデータに応じてつなぎ合わせて表示する手法が開示されている。
【0003】
また、翻訳機能を備えたTV会議システムに関して、翻訳音声に合わせて実写映像の一部をアニメーション映像に置き換える公知例がある(特開平6−52290号)。映像の部分的な置換えにより、翻訳音声に合致した自然な人物映像を提供することができる。映像の置き換えの詳細は次のとおりである。(1)あらかじめ人体頭部の3次元モデルと会議出席者の口もとのテクスチャとを用意しておく。(2)会議の様子を伝える実写映像を解析し、話者の頭部の向きを検出する。(3)話者の頭部の動きに合わせて3次元モデルの座標を修正する。(4)3次元モデルに話者のテクスチャを貼り付けてアニメーション映像を生成する。(5)実写画像における話者の口もと部分をアニメーション映像に置き換える。
【0004】
【発明が解決しようとする課題】
従来の補助情報である唇の絵を動かすアニメーションには、主映像に現れる人物の外観情報に基づいていないことから、現実感に乏しいという問題があった。より現実感のある補助情報を提供する手法としては、人物の口もとをクローズアップした実写映像の合成がある。しかし、この手法では、主映像用のカメラとは別のカメラでクローズアップ撮影を行うか、または主映像の一部を抽出して拡大する画像処理を行う必要がある。前者には、撮影が大掛かりになる問題、および主映像と同時に補助情報を作成しなけらばならない制限がある。後者には、主映像において人物の位置が不特定である場合や複数の人物が現れる場合に、自動の画像処理によって話者の特定部分を確実に抽出するのが難しいという問題がある。
【0005】
一方、TV会議やドラマ番組の会話シーンのように複数の人物の映像を表示する場合においては、常に全ての人物の顔が十分な大きさで映像に現れるとは限らない。例えば、多人数の会合の中継では出席者のうちの幾人かがカメラに背を向けることになってしまう場合がある。また、ドラマの独演シーンのように表示対象が一人であっても、人物を背後または遠方から撮影する演出の場合には、顔が映像に現れなかったり、現れても小さかったりする。したがって、映像に現れた人体の一部をアニメーション映像に置き換える従来の装置では、映像を見る人が映像の中のどの人物が何を話しているのかを視覚によって認識することができない場合があるという問題があった。
【0006】
本発明は、発話の情景を撮影した映像を見る人が、映像の内容に係わらず話者を視覚によって認識することができ且つ現実感のある映像表示の実現を目的としている。
【0007】
【課題を解決するための手段】
本発明においては、2次元または3次元の顔モデルを変形させることによって人物の発話状況を表現するアニメーション映像を生成し、主映像の補助情報として表示する。主映像を表示しながらその表示面の一部を用いてアニメーション映像を表示してもよいし、主映像とは別の表示面を用いてアニメーション映像を表示してもよい。主映像が人物の実写映像である場合において、アニメーション生成の元となる顔モデルを、表示対象の人物に対する形状測定の結果に基づいて作成すれば、現実感のあるアニメーションを生成することができる。
【0008】
請求項1の発明の映像表示装置は、通常の映像を表示する映像表示手段と、
前記映像表示手段で表示される映像に付随する音声に基づいて2次元または3次元の顔モデルを変形することによって、人物の発話状況を表現する顔アニメーションを生成する生成手段と、前記生成手段で生成された顔アニメーションを補助映像として表示する補助映像表示手段と、前記映像手段で表示される映像に登場する人物の顔の向きが正面向きであるか否かを判定する判定手段とを備え、前記生成手段は顔の向きが正面向きでない人物のみについて顔アニメーションを生成することを特徴とする。通常の映像とは、補助映像に関連する情報をもつ任意の映像であり、TV放送映像・ビデオカメラまたはスチルカメラの撮影像を含む画像情報を意味する。
【0009】
請求項2の発明の映像表示装置において、前記補助映像表示手段は、前記映像表示手段の表示面の一部を用いて補助映像を表示する。
請求項3の発明の映像表示装置において、前記生成手段が生成する顔アニメーションは正面顔のアニメーションである。
【0010】
請求項4の発明の映像表示装置において、前記生成手段が変形に使用する顔モデルは、映像表示手段で表示される映像中の人物の形状に合わせて予め既存モデルを変形したものである。
【0011】
請求項5の発明の映像表示装置においては、前記映像表示手段で表示される映像に複数の人物が登場する際、前記生成手段が登場人物毎に異なる顔アニメーションを生成する。
【0012】
請求項6の発明の映像表示装置において、前記補助映像表示手段は現在発話中の人物が特定できる形式で顔アニメーションを表示する。
【0014】
【発明の実施の形態】
図1は本発明に係る映像表示装置の構成図である。
映像表示装置1は、信号処理回路10、ディスプレイ20、およびスピーカ30からなる音声再生機能能をもつ表示手段であり、TV会議システムのモニタ装置やTV受信器などとして利用される。
【0015】
信号処理回路10は、図示しない前段回路から入力される映像信号SVおよび音声信号SAに応じて、ディスプレイ20およびスピーカ30を駆動する。駆動の制御は、表示制御ブロック15および音声増幅ブロック16が担う。映像信号SVが人物の発話の情景を撮影した実写映像である場合、信号処理回路10において人物の発話状況を表現するアニメーション映像が生成され、実写映像とその補助情報としてのアニメーション映像とが同時に表示される。信号処理回路10は、アニメーション表示に係わる機能要素として、メモリ11、音声認識ブロック12、モデル変形ブロック13、および補助映像生成ブロック14を備えている。メモリ11は、複数の人物の顔モデルMpを記憶する。顔モデルMpは形状の実測およびテクスチャ撮影の結果に基づく3次元モデルである。音声認識ブロック12は、音声信号SAに基づいて話者を判定するとともに、発話内容を示すテキストデータDTを生成する。モデル変形ブロック13は、話者の顔モデルMpをテキストデータDTに応じて変形させる。補助映像生成ブロック14は、話者の顔モデルMpの外観を表すアニメーション映像を生成する。アニメーション映像は表示制御ブロック15において実写映像と合成される。
【0016】
顔モデルMpの生成方法としては、アニメーション用の標準モデルを用意しておき、表示対象の人物から抽出した形状テータに応じて標準モデルを変形させる方法が効率的である。人物本人の情報を用いて顔モデルMpを作成することにより、補助映像の現実感が高まる。骨格の変位および筋肉の変形が可能なモデルを用いれば、口の動きや表情をより写実的に表現することができる。
【0017】
図2は映像表示の一例を示す図である。図中の参照符号における添字i,jは表示時刻を表す。以下の説明において、時刻を区別しないときには添字を省略する。
【0018】
ディスプレイ20の表示面21には、映像信号SVに対応した主映像Vとともに、補助情報としてのアニメーション映像A1,A2,A3,A4が表示される。例示の主映像Vは、7人によるディスカッションの模様を撮影した動画映像である。アニメーション映像A1〜A4は、ディスカッションの出席者本人のデータに基づくテクスチャ付き3次元顔モデルの正面像であり、出席者の口の動きや表情を表現する。図2では表示サイズが小さくなるのを避けるため、同時に表示するアニメーション映像が3人分に限られている。その3人は、現在の話者とその1つ前および2つ前の話者である。現在の話者に対応したアニメーション映像は、縁取りや色分けなどによって強調される。図において、時刻iでは主映像Vi の左側に3つのアニメーション映像A1i ,A2i ,A3i が上下に並べて表示され、それらのうちのアニメーション映像A1i が強調されている。話者が代わると、それに応じて表示されるアニメーション映像も入れ代わる。時刻jでは、時刻iに表示されていたアニメーション映像A3i に代わってアニメーション映像A4j が表示され、かつ強調されている。
【0019】
以下、映像表示装置の動作をより詳しく説明する。図3は映像表示装置の信号処理動作を示すフローチャートである。
映像表示装置1は、音声信号SAを取り込んで話者を特定する(#11、#12)。あらかじめ出席者の声質を登録しておけば、音声認識技術により話者を特定することができる。また、自動的にカメラを話者に向ける機能をもつTV会議システムの場合には、カメラ制御情報を話者の特定に用いてもよい。複数の人物のそれぞれにマイクロフォンが設けられた多チャンネル音声システムの場合には、音声レベルの検出によって話者を容易に特定することができる。
【0020】
続いて、話者がカメラに対して正面向きであるか否かを判定する(#13)。あらかじめ複数の人物とカメラとの位置関係を登録しておけば、この判定を行うことができる。また、各人物の外観情報を登録し、画像認識によって話者の顔の向きを判断することも可能である。このステップ#13の処理が本発明の判定手段の機能に相当する。判定結果が正面向きであり、かつ主映像において話者が十分に大きく現れていることが確かであれば、すなわち主映像で話者の表情を含む発話状況が明確に判るのであれば、当該話者についてのアニメーション映像の表示を行わない。このように話者の向きによって補助情報を選択する制御は、特に表示面が小さい場合に表示面を有効に利用するのに好適である。ただし、ステップ#13の判定を省略し、顔の向きに係わらず話者のアニメーション映像を表示するようにしてもよい。
【0021】
アニメーション映像を表示する場合には、音声の大きさおよび発話速度を測定し(#14)、話者の感情を認識する(#15)。具体的には、音声の大きさ・抑揚・速度などの情報に基づいて、“平常・喜び・驚き・怒り・悲しみ”などのあらかじめ設定された感情の1つを選択する。そして、既存の音声/テキスト変換技術を用いて発話内容を示すテキストデータDTを生成する(#16)。
【0022】
次に、メモリ11から話者の顔モデルを読み出し、感情の認識結果およびテキストデータDTに合致するように顔モデルを変形させる(#17、#18)。音韻および感情を表す標準モデルを構造化しておけば、感情の認識結果およびテキストデータDTに合致する標準モデルを選択し、標準モデルの変形度を適用して話者の顔モデルを変形するのは容易である。
【0023】
続いて、当該話者について以前に表示した最終の顔モデルから今回の発話に呼応して変形した顔モデルへの変化を表すアニメーション映像を生成する(#19)。その際、発話速度を加味してモデル間の補完を行う。そして、生成したアニメーション映像を主映像に合成して表示する(#20)。
【0024】
図4は表示形態の変形例を示す図である。
図4(A)では、常に固定人数分(例は6人分)のアニメーション映像A1〜A6が表示され、話者が強調される。より多くの人物についてアニメーション映像を表示することにより、臨場感を高めることができる。図4(B)では、複数の人物のそれぞれに対してアニメーション映像を表示する固定領域が割り当てられているものの、同時に表示されるアニメーション映像は現在の話者とその1つ前の話者に対応した2人分に限られている。
【0025】
以上の実施形態において、メモリ11にデータ通信で顔モデルを格納する構成を採用してもよい。例えば、ケーブルTV放送において、ドラマ番組の放送に先立って出演者の顔モデルを伝送しておく。視聴者が伝送の要否を選択するようにしてもよい。ドラマ番組の放送が始まると、映像表示装置1は出演者の発話に同期したアニメーション映像を表示する。
【0026】
顔モデルMpは2次元モデルであってもよい。顔モデルMpが登録されていない人物が表示対象に含まれる場合には、その人物については主映像から抽出したテクスチャを標準モデルに貼り付けて顔モデルを生成してもよい。主映像からの抽出も困難である場合には、あらかじめ用意しておいた複数種の代用顔モデルの中の1つを選択して用いるようにしてもよい。
【0027】
必ずしも主映像とアニメーション映像とを1つの表示面上に並べて表示する必要はなく、図5のように主映像表示装置1Aと別体の補助映像表示装置1Bがアニメーション映像を表示するようにしてもよい。その場合、補助映像表示装置1Bの構成は基本的に図1の映像表示装置1と同様でよい。ただし、補助映像表示装置1Bにおける表示制御ブロック15には映像信号SVを入力する必要はなく、表示制御ブロック15は補助映像生成ブロック14からのアニメーション映像のみの表示制御を行えばよい。また、主映像表示装置1Aが音声再生を受け持つ場合は、補助映像表示装置1Bにおいて音声増幅ブロック16およびスピーカ30を省略することができる。映像信号SVから顔モデルを生成する必要がなければ、映像信号SVを補助映像表示装置1Bに入力する必要はなく、音声信号SAを主映像表示装置1A経由または前段回路からの直接入力の形式で補助映像表示装置1Bに入力すればよい(図示は主映像表示装置経由)。
【0028】
【発明の効果】
請求項1乃至請求項8の発明によれば、発話の情景を撮影した映像を見る人が映像の内容に係わらず話者を視覚によって認識することができ且つ現実感のある映像表示を実現することができる。
【図面の簡単な説明】
【図1】本発明に係る映像表示装置の構成図である。
【図2】映像表示の一例を示す図である。
【図3】映像表示装置の信号処理動作を示すフローチャートである。
【図4】表示形態の変形例を示す図である。
【図5】装置構成の変形例を示す図である。
【符号の説明】
1 映像表示装置
1B 補助映像表示装置(映像表示装置)
SA 音声信号
Mp 顔モデル
A1〜A6 アニメーション映像
V 主映像(映像)
10 信号処理回路(生成手段)
15 表示制御ブロック(補助映像表示手段)
20 ディスプレイ(映像表示手段)
21 表示面
Claims (6)
- 通常の映像を表示する映像表示手段と、
前記映像表示手段で表示される映像に付随する音声に基づいて2次元または3次元の顔モデルを変形することによって、人物の発話状況を表現する顔アニメーションを生成する生成手段と、
前記生成手段で生成された顔アニメーションを補助映像として表示する補助映像表示手段と、
前記映像手段で表示される映像に登場する人物の顔の向きが正面向きであるか否かを判定する判定手段とを備え、
前記生成手段は顔の向きが正面向きでない人物のみについて顔アニメーションを生成する
ことを特徴とする映像表示装置。 - 前記補助映像表示手段は、前記映像表示手段の表示面の一部を用いて補助映像を表示する
請求項1記載の映像表示装置。 - 前記生成手段が生成する顔アニメーションは正面顔のアニメーションである
請求項1記載の映像表示装置。 - 前記生成手段が変形に使用する顔モデルは、映像表示手段で表示される映像中の人物の形状に合わせて予め既存モデルを変形したものである
請求項1記載の映像表示装置。 - 前記映像表示手段で表示される映像に複数の人物が登場する際、前記生成手段は登場人物毎に異なる顔アニメーションを生成する
請求項1記載の映像表示装置。 - 前記補助映像表示手段は現在発話中の人物が特定できる形式で顔アニメーションを表示する
請求項5記載の映像表示装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000339906A JP4310916B2 (ja) | 2000-11-08 | 2000-11-08 | 映像表示装置 |
US09/985,546 US7015934B2 (en) | 2000-11-08 | 2001-11-05 | Image displaying apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000339906A JP4310916B2 (ja) | 2000-11-08 | 2000-11-08 | 映像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002150317A JP2002150317A (ja) | 2002-05-24 |
JP4310916B2 true JP4310916B2 (ja) | 2009-08-12 |
Family
ID=18814905
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000339906A Expired - Fee Related JP4310916B2 (ja) | 2000-11-08 | 2000-11-08 | 映像表示装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7015934B2 (ja) |
JP (1) | JP4310916B2 (ja) |
Families Citing this family (84)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7106887B2 (en) * | 2000-04-13 | 2006-09-12 | Fuji Photo Film Co., Ltd. | Image processing method using conditions corresponding to an identified person |
JP3911527B2 (ja) * | 2002-01-17 | 2007-05-09 | 富士通株式会社 | 携帯端末、携帯端末処理用プログラム及び携帯端末システム |
US20030220971A1 (en) * | 2002-05-23 | 2003-11-27 | International Business Machines Corporation | Method and apparatus for video conferencing with audio redirection within a 360 degree view |
WO2003100703A2 (en) | 2002-05-28 | 2003-12-04 | Casio Computer Co., Ltd. | Composite image output apparatus and composite image delivery apparatus |
CN1320497C (zh) * | 2002-07-03 | 2007-06-06 | 中国科学院计算技术研究所 | 基于统计与规则结合的语音驱动人脸动画方法 |
US20040162637A1 (en) | 2002-07-25 | 2004-08-19 | Yulun Wang | Medical tele-robotic system with a master remote station with an arbitrator |
US20120072024A1 (en) * | 2002-07-25 | 2012-03-22 | Yulun Wang | Telerobotic system with dual application screen presentation |
EP1537731A1 (en) * | 2002-09-04 | 2005-06-08 | Koninklijke Philips Electronics N.V. | Method of displaying an interactive content |
US20050080849A1 (en) * | 2003-10-09 | 2005-04-14 | Wee Susie J. | Management system for rich media environments |
US7813836B2 (en) | 2003-12-09 | 2010-10-12 | Intouch Technologies, Inc. | Protocol for a remotely controlled videoconferencing robot |
US7355623B2 (en) * | 2004-04-30 | 2008-04-08 | Microsoft Corporation | System and process for adding high frame-rate current speaker data to a low frame-rate video using audio watermarking techniques |
US8077963B2 (en) | 2004-07-13 | 2011-12-13 | Yulun Wang | Mobile robot with a head-based movement mapping scheme |
US9578345B2 (en) | 2005-03-31 | 2017-02-21 | Euclid Discoveries, Llc | Model-based video encoding and decoding |
US9743078B2 (en) | 2004-07-30 | 2017-08-22 | Euclid Discoveries, Llc | Standards-compliant model-based video encoding and decoding |
WO2010042486A1 (en) | 2008-10-07 | 2010-04-15 | Euclid Discoveries, Llc | Feature-based video compression |
US7508990B2 (en) * | 2004-07-30 | 2009-03-24 | Euclid Discoveries, Llc | Apparatus and method for processing video data |
US9532069B2 (en) | 2004-07-30 | 2016-12-27 | Euclid Discoveries, Llc | Video compression repository and model reuse |
US8902971B2 (en) | 2004-07-30 | 2014-12-02 | Euclid Discoveries, Llc | Video compression repository and model reuse |
WO2008091485A2 (en) * | 2007-01-23 | 2008-07-31 | Euclid Discoveries, Llc | Systems and methods for providing personal video services |
US9198728B2 (en) | 2005-09-30 | 2015-12-01 | Intouch Technologies, Inc. | Multi-camera mobile teleconferencing platform |
JP2007274176A (ja) * | 2006-03-30 | 2007-10-18 | Pioneer Electronic Corp | 音声会議装置、音声会議システムにおける音声確認方法及びそのプログラム |
JP4507281B2 (ja) | 2006-03-30 | 2010-07-21 | 富士フイルム株式会社 | 画像表示装置、撮像装置および画像表示方法 |
US20070230794A1 (en) * | 2006-04-04 | 2007-10-04 | Logitech Europe S.A. | Real-time automatic facial feature replacement |
US20070288898A1 (en) * | 2006-06-09 | 2007-12-13 | Sony Ericsson Mobile Communications Ab | Methods, electronic devices, and computer program products for setting a feature of an electronic device based on at least one user characteristic |
US8849679B2 (en) | 2006-06-15 | 2014-09-30 | Intouch Technologies, Inc. | Remote controlled robot system that provides medical images |
JP2010526455A (ja) * | 2007-01-23 | 2010-07-29 | ユークリッド・ディスカバリーズ・エルエルシー | 画像データを処理するコンピュータ方法および装置 |
CN101622874A (zh) * | 2007-01-23 | 2010-01-06 | 欧几里得发现有限责任公司 | 对象存档系统和方法 |
US9160783B2 (en) | 2007-05-09 | 2015-10-13 | Intouch Technologies, Inc. | Robot system that operates through a network firewall |
JP4591481B2 (ja) * | 2007-07-27 | 2010-12-01 | カシオ計算機株式会社 | 表示制御装置および表示制御処理プログラム |
US10875182B2 (en) | 2008-03-20 | 2020-12-29 | Teladoc Health, Inc. | Remote presence system mounted to operating room hardware |
US8179418B2 (en) | 2008-04-14 | 2012-05-15 | Intouch Technologies, Inc. | Robotic based health care system |
US8170241B2 (en) | 2008-04-17 | 2012-05-01 | Intouch Technologies, Inc. | Mobile tele-presence system with a microphone system |
US9193065B2 (en) | 2008-07-10 | 2015-11-24 | Intouch Technologies, Inc. | Docking system for a tele-presence robot |
US9842192B2 (en) | 2008-07-11 | 2017-12-12 | Intouch Technologies, Inc. | Tele-presence robot system with multi-cast features |
US8447065B2 (en) | 2008-09-16 | 2013-05-21 | Cyberlink Corp. | Method of facial image reproduction and related device |
US8340819B2 (en) | 2008-09-18 | 2012-12-25 | Intouch Technologies, Inc. | Mobile videoconferencing robot system with network adaptive driving |
US8996165B2 (en) | 2008-10-21 | 2015-03-31 | Intouch Technologies, Inc. | Telepresence robot with a camera boom |
US9138891B2 (en) | 2008-11-25 | 2015-09-22 | Intouch Technologies, Inc. | Server connectivity control for tele-presence robot |
US8463435B2 (en) | 2008-11-25 | 2013-06-11 | Intouch Technologies, Inc. | Server connectivity control for tele-presence robot |
US8849680B2 (en) | 2009-01-29 | 2014-09-30 | Intouch Technologies, Inc. | Documentation through a remote presence robot |
JP5208810B2 (ja) * | 2009-02-27 | 2013-06-12 | 株式会社東芝 | 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム |
JP5279571B2 (ja) * | 2009-03-25 | 2013-09-04 | キヤノン株式会社 | 情報処理装置、制御方法及びプログラム |
US8897920B2 (en) | 2009-04-17 | 2014-11-25 | Intouch Technologies, Inc. | Tele-presence robot system with software modularity, projector and laser pointer |
US11399153B2 (en) | 2009-08-26 | 2022-07-26 | Teladoc Health, Inc. | Portable telepresence apparatus |
US8384755B2 (en) | 2009-08-26 | 2013-02-26 | Intouch Technologies, Inc. | Portable remote presence robot |
US11154981B2 (en) | 2010-02-04 | 2021-10-26 | Teladoc Health, Inc. | Robot user interface for telepresence robot system |
US8670017B2 (en) | 2010-03-04 | 2014-03-11 | Intouch Technologies, Inc. | Remote presence system including a cart that supports a robot face and an overhead camera |
US10343283B2 (en) | 2010-05-24 | 2019-07-09 | Intouch Technologies, Inc. | Telepresence robot system that can be accessed by a cellular phone |
US10808882B2 (en) | 2010-05-26 | 2020-10-20 | Intouch Technologies, Inc. | Tele-robotic system with a robot face placed on a chair |
US9264664B2 (en) | 2010-12-03 | 2016-02-16 | Intouch Technologies, Inc. | Systems and methods for dynamic bandwidth allocation |
US9323250B2 (en) | 2011-01-28 | 2016-04-26 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
US8718837B2 (en) | 2011-01-28 | 2014-05-06 | Intouch Technologies | Interfacing with a mobile telepresence robot |
US10769739B2 (en) | 2011-04-25 | 2020-09-08 | Intouch Technologies, Inc. | Systems and methods for management of information among medical providers and facilities |
KR101786944B1 (ko) * | 2011-05-12 | 2017-10-18 | 삼성전자 주식회사 | 화자 표시 방법 및 이를 구현하는 영상 통화 단말기 |
US9098611B2 (en) | 2012-11-26 | 2015-08-04 | Intouch Technologies, Inc. | Enhanced video interaction for a user interface of a telepresence network |
US20140139616A1 (en) | 2012-01-27 | 2014-05-22 | Intouch Technologies, Inc. | Enhanced Diagnostics for a Telepresence Robot |
US8836751B2 (en) | 2011-11-08 | 2014-09-16 | Intouch Technologies, Inc. | Tele-presence system with a user interface that displays different communication links |
US8902278B2 (en) | 2012-04-11 | 2014-12-02 | Intouch Technologies, Inc. | Systems and methods for visualizing and managing telepresence devices in healthcare networks |
US9251313B2 (en) | 2012-04-11 | 2016-02-02 | Intouch Technologies, Inc. | Systems and methods for visualizing and managing telepresence devices in healthcare networks |
US9361021B2 (en) | 2012-05-22 | 2016-06-07 | Irobot Corporation | Graphical user interfaces including touchpad driving interfaces for telemedicine devices |
EP2852475A4 (en) | 2012-05-22 | 2016-01-20 | Intouch Technologies Inc | SOCIAL BEHAVIOR OF A MEDICAL TELEPRESCENT ROBOT |
JP5898036B2 (ja) * | 2012-10-02 | 2016-04-06 | 日本電信電話株式会社 | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
JP5731462B2 (ja) * | 2012-10-02 | 2015-06-10 | 日本電信電話株式会社 | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
JP5833526B2 (ja) * | 2012-10-19 | 2015-12-16 | 日本電信電話株式会社 | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
KR20140061620A (ko) * | 2012-11-13 | 2014-05-22 | 삼성전자주식회사 | 증강 현실을 활용한 소셜 네트워크 서비스 제공 시스템 및 방법과, 디바이스 |
KR20140146965A (ko) * | 2013-06-18 | 2014-12-29 | 삼성전자주식회사 | 디스플레이 장치, 서버를 포함하는 변환 시스템 및 디스플레이 장치의 제어 방법 |
KR102108893B1 (ko) * | 2013-07-11 | 2020-05-11 | 엘지전자 주식회사 | 이동 단말기 |
KR102127351B1 (ko) | 2013-07-23 | 2020-06-26 | 삼성전자주식회사 | 사용자 단말 장치 및 그 제어 방법 |
JP6191333B2 (ja) * | 2013-08-26 | 2017-09-06 | 株式会社リコー | 情報処理装置、通信システムおよびプログラム |
US10097851B2 (en) | 2014-03-10 | 2018-10-09 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
WO2015138008A1 (en) | 2014-03-10 | 2015-09-17 | Euclid Discoveries, Llc | Continuous block tracking for temporal prediction in video encoding |
US10091507B2 (en) | 2014-03-10 | 2018-10-02 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
CN104063427A (zh) * | 2014-06-06 | 2014-09-24 | 北京搜狗科技发展有限公司 | 一种基于语义理解的表情输入方法和装置 |
US20150363157A1 (en) * | 2014-06-17 | 2015-12-17 | Htc Corporation | Electrical device and associated operating method for displaying user interface related to a sound track |
JP6651989B2 (ja) * | 2015-08-03 | 2020-02-19 | 株式会社リコー | 映像処理装置、映像処理方法、及び映像処理システム |
CN105117004A (zh) * | 2015-08-13 | 2015-12-02 | 小米科技有限责任公司 | 展现设备工作状态的方法和装置 |
US11862302B2 (en) | 2017-04-24 | 2024-01-02 | Teladoc Health, Inc. | Automated transcription and documentation of tele-health encounters |
US10483007B2 (en) | 2017-07-25 | 2019-11-19 | Intouch Technologies, Inc. | Modular telehealth cart with thermal imaging and touch screen user interface |
US11636944B2 (en) | 2017-08-25 | 2023-04-25 | Teladoc Health, Inc. | Connectivity infrastructure for a telehealth platform |
US10617299B2 (en) | 2018-04-27 | 2020-04-14 | Intouch Technologies, Inc. | Telehealth cart that supports a removable tablet with seamless audio/video switching |
JP7400231B2 (ja) * | 2019-07-11 | 2023-12-19 | 株式会社リコー | 通信システム、情報処理装置、通信方法およびプログラム |
CN111556335A (zh) * | 2020-04-15 | 2020-08-18 | 早安科技(广州)有限公司 | 一种视频贴纸处理方法及装置 |
USD962290S1 (en) * | 2021-03-03 | 2022-08-30 | Johnson & Johnson Consumer Inc. | Display screen or portion thereof with icon |
CN113050795A (zh) * | 2021-03-24 | 2021-06-29 | 北京百度网讯科技有限公司 | 虚拟形象的生成方法及装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4600281A (en) * | 1985-03-29 | 1986-07-15 | Bloomstein Richard W | Altering facial displays in cinematic works |
US5206721A (en) * | 1990-03-08 | 1993-04-27 | Fujitsu Limited | Television conference system |
US5745711A (en) * | 1991-10-23 | 1998-04-28 | Hitachi, Ltd. | Display control method and apparatus for an electronic conference |
JP2795084B2 (ja) | 1992-07-27 | 1998-09-10 | 国際電信電話株式会社 | 口形状画像合成方法及び装置 |
US5689641A (en) * | 1993-10-01 | 1997-11-18 | Vicor, Inc. | Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal |
US5347306A (en) * | 1993-12-17 | 1994-09-13 | Mitsubishi Electric Research Laboratories, Inc. | Animated electronic meeting place |
JPH08163522A (ja) * | 1994-11-30 | 1996-06-21 | Canon Inc | テレビ会議システムおよび端末装置 |
US5734794A (en) * | 1995-06-22 | 1998-03-31 | White; Tom H. | Method and system for voice-activated cell animation |
EP0789961B1 (en) * | 1995-08-31 | 2004-05-06 | Koninklijke Philips Electronics N.V. | Communications terminal |
US5907351A (en) * | 1995-10-24 | 1999-05-25 | Lucent Technologies Inc. | Method and apparatus for cross-modal predictive coding for talking head sequences |
US5953049A (en) * | 1996-08-02 | 1999-09-14 | Lucent Technologies Inc. | Adaptive audio delay control for multimedia conferencing |
US5995119A (en) * | 1997-06-06 | 1999-11-30 | At&T Corp. | Method for generating photo-realistic animated characters |
US6047078A (en) * | 1997-10-03 | 2000-04-04 | Digital Equipment Corporation | Method for extracting a three-dimensional model using appearance-based constrained structure from motion |
US6112177A (en) * | 1997-11-07 | 2000-08-29 | At&T Corp. | Coarticulation method for audio-visual text-to-speech synthesis |
JP3766534B2 (ja) | 1998-02-13 | 2006-04-12 | 日本放送協会 | 視覚的に聴覚を補助するシステムおよび方法並びに視覚的に聴覚を補助するための制御プログラムを記録した記録媒体 |
US6072496A (en) * | 1998-06-08 | 2000-06-06 | Microsoft Corporation | Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects |
US6496594B1 (en) * | 1998-10-22 | 2002-12-17 | Francine J. Prokoski | Method and apparatus for aligning and comparing images of the face and body from different imagers |
US20020067362A1 (en) * | 1998-11-06 | 2002-06-06 | Agostino Nocera Luciano Pasquale | Method and system generating an avatar animation transform using a neutral face image |
US6473114B1 (en) * | 2000-04-14 | 2002-10-29 | Koninklijke Philips Electronics N.V. | Method and system for indicating change of speaker in a videoconference application |
-
2000
- 2000-11-08 JP JP2000339906A patent/JP4310916B2/ja not_active Expired - Fee Related
-
2001
- 2001-11-05 US US09/985,546 patent/US7015934B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2002150317A (ja) | 2002-05-24 |
US20020054047A1 (en) | 2002-05-09 |
US7015934B2 (en) | 2006-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4310916B2 (ja) | 映像表示装置 | |
US10819969B2 (en) | Method and apparatus for generating media presentation content with environmentally modified audio components | |
US6919892B1 (en) | Photo realistic talking head creation system and method | |
US7027054B1 (en) | Do-it-yourself photo realistic talking head creation system and method | |
JP2009533786A (ja) | 自分でできるフォトリアリスティックなトーキングヘッド作成システム及び方法 | |
US6351265B1 (en) | Method and apparatus for producing an electronic image | |
JPH11219446A (ja) | 映像音響再生システム | |
US8655152B2 (en) | Method and system of presenting foreign films in a native language | |
EP1912175A1 (en) | System and method for generating a video signal | |
US20030163315A1 (en) | Method and system for generating caricaturized talking heads | |
WO2023011221A1 (zh) | 混合变形值的输出方法及存储介质、电子装置 | |
JP2006041887A (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
US20120093486A1 (en) | Information processing device, synchronization method, and program | |
US20220345796A1 (en) | Systems and methods for generating synthetic videos based on audio contents | |
JPH08205197A (ja) | ヒューマンインタフェース装置 | |
JP2007026090A (ja) | 映像作成装置 | |
JP5894505B2 (ja) | 画像コミュニケーションシステム、画像生成装置及びプログラム | |
JPH11149285A (ja) | 映像音響システム | |
CN113221840A (zh) | 一种人像视频处理方法 | |
US10139780B2 (en) | Motion communication system and method | |
JP2843262B2 (ja) | 表情再現装置 | |
Lin et al. | A speech driven talking head system based on a single face image | |
KR20010017865A (ko) | 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법 | |
JP2001092990A (ja) | 3次元仮想空間参加者表示方法、3次元仮想空間表示装置、および3次元仮想空間参加者表示プログラムを記録した記録媒体 | |
JP2000187737A (ja) | ビジュアル応対方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050704 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090120 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090421 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090504 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120522 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130522 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130522 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |