JP3211786U - ライブ映像利用の対話装置 - Google Patents

Abstract

【課題】複数のユーザ端末装置において、緊急時にも、効率的かつ適切な対話を実現できるライブ映像利用の対話装置を提供する。【解決手段】インターネットおよびサーバ装置Ｓを介して、ユーザプログラムとライブ映像とを受信するユーザ端末装置を技術的前提として、前記ユーザプログラムは、モニタ装置２１において、主映像を表示する主表示領域４２と、副映像を表示する副表示領域４４とを備えるとともに、複数の副映像を主表示領域に切替表示する画像切替手段２６と、主表示領域の主映像に線描画を付加するアノテーション手段２６−２とを備え、ライブ映像は、サーバ装置を介して相互接続している二以上のユーザ端末装置の各々が、サーバ装置に対して送出している一または複数のライブ映像の総てを互いに共有し、前記画像切替手段を介して任意のライブ映像を前記主表示領域に切替表示する（請求項１）。【選択図】図３

Description

本考案は、インターネットを介したライブ動画による対話装置に関する。

インターネット回線を利用したライブ映像（リアルタイム動画；以下同じ）を用いて行う、リアルタイムのネット会議／チャット等、各種のコミュニケーションシステムが知られている。

図７は、従来提案されているインターネット利用の対話装置の一例である（特許文献１）。

この対話装置は、複数のユーザ端末、例えばユーザ端末１とユーザ端末２とをインターネット通信Ｎを利用して回線的に結び付ける双方向通信サーバ３を備えており、双方向通信サーバ３は、概略、双方向通信制御部４、コンテンツ管理部５、コンテンツ配信部６を備える。

双方向通信制御部４は、ユーザ端末１から送られるライブ映像をユーザ端末２に配信し、ユーザ端末２から送られるライブ映像をユーザ端末１にライブ配信し、映像／音声を利用した対話を成立させる。

コンテンツ管理部５は、ユーザ端末１／ユーザ端末２から送られる各種の動画／静止画／音声コンテンツ等を、ユーザ端末毎に時系列で格納する。

コンテンツ配信部６は、ユーザ端末１／ユーザ端末２からの要求があったときに、コンテンツ管理部５に格納されている動画／静止画／音声コンテンツ等を、要求先または双方に配信する。

かかる構成によれば、双方向通信制御部４を介してリアルタイム対話を成立させつつ、必要に応じて動画／静止画／音声コンテンツ等をリアルタイムで共有し、対話を進めることが出来る。

特開２００３−９１０５

従来技術の問題は、ライブ映像を利用した対話を補助する動画／静止画等を、予め、コンテンツ管理部（５）に保存させる点にある。

ネット会議、チャット（雑談）、各種の打ち合わせ等、インターネットを利用した対話システムは、多くの場合において、特許文献１に開示されるコミュニケーションシステムでも特段の問題は生じない。

しかし、例えば、医療現場における高度な打ち合わせを必要とするとき等、対話を補助するコンテンツ（動画／静止画等）を事前にコンテンツ管理部（５）に対して格納することは煩雑であり、また、緊急の場合は、煩雑な手順を踏む時間的余裕がない場合もある。

そこで、本考案の目的は、インターネットを介して接続している複数のユーザ端末装置において、緊急時にも、効率的かつ最も適切な対話を実現できるようにする点にある。

前記目的を達成するため、本考案に係る対話装置は、インターネットおよびサーバ装置を介して、ユーザプログラム（ユーザ用プログラムソフトウェア）とライブ映像とを受信するユーザ端末装置を技術的前提として、前記ユーザプログラムは、モニタ装置において、主映像を表示する主表示領域と、副映像を表示する副表示領域とを備えるとともに、複数の前記副映像を前記主表示領域に切替表示する画像切替手段と、前記主表示領域の主映像に線描画を付加するアノテーション手段とを備え、前記ライブ映像は、前記サーバ装置を介して相互接続している二以上のユーザ端末装置の各々が、前記サーバ装置に対して送出している一または複数のライブ映像の総てを互いに共有し、前記画像切替手段を介して任意のライブ映像を前記主表示領域に切替表示する（請求項１）。

かかる構成によれば、サーバ装置を介して互いに回線接続するユーザ端末装置は、各々がサーバ装置に対して送信する一または複数のライブ映像に基づいて対話を行うことが出来る。

複数のライブ映像を同時共有するので、事前のコンテンツ格納処理等を必要としない。

互いに同時共有するライブ映像は、各ユーザ端末装置において、画像切替手段を介して主映像／副映像の切り替えが可能である。このため、対話テーマに即したライブ映像を主映像とすることにより、明瞭な状態で確認可能として、専門的な知見、或いは、高度な判断を互いに確認しつつ共有することが出来る。

言葉（音声）だけでは、的確な指示／理解を共有できない場合も少なくないが、本考案に係る対話装置は、主映像に線描画を付加するアノテーション手段を備えるので、指示／教示する側も、指示／教示を受ける側も、アノテーション手段を介して質問や指示を、的確に行うことが出来る。

サーバ装置を介した相互接続の初期において、主表示領域に表示する主映像は、相互接続する相手方のユーザ端末装置が指定した主映像とする場合がある（請求項２）。

本考案に係る対話装置は、複数のライブ映像を同時共有するため、主映像／副映像の指定は、ユーザ端末装置の各々において設定して良い。しかしながら、システム利用に際し、自由設定項目が多いと却って使いにくい場合がある。

そこで、主映像は、サーバ装置の利用開始に際して、各ユーザ端末装置が指定した映像（撮像装置の入力ライン番号等）に特定し、指定した入力ライン番号等から送られるライブ映像を、相手方（回線接続先）の主表示領域に表示させる構成とすることが望ましい。例えば、対話するユーザ人物を映し出す映像／音声のカメラ装置の入力ラインを、主映像に指定する等である。

画像切替手段を介して、主表示領域の映像を切り替えた場合でも、ユーザ端末装置の主音声は、相互接続する相手方のユーザ端末装置が指定した主映像の音声とする場合がある（請求項３）。

本考案に係る対話装置は、複数のライブ動画を切り替えて対話を進めるものである。それぞれのライブ映像には、音声データも含まれる場合が少なくないが、主映像を切り替えたときに、ユーザ端末装置の主音声も自動的に主映像音声に切り替わってしまうと、対話が滞ることがある。

そこで、とくに音声の切替操作を行わない限り、主音声は、常に、相手方のユーザ端末装置が指定した主映像の音声としておき、対話の円滑を図る。

勿論、補助的なライブ動画の音声が重要な場合もある。その場合は、補助的なライブ動画の音声の音量を調節することによって、接続相手との対話を遮断させないようにすることが好ましい。

本考案に係る対話装置によれば、インターネットを介して接続している複数のユーザ端末装置において、効率的かつ最も適切な対話を実現することが出来る。コンテンツの事前保存等の煩わしい操作が不要であり、緊急時にも複数のライブ映像を切り替えて視認し、アノテーション手段を用いて迅速な質問／指示等が可能となるからである。

本考案に係る対話装置におけるライブ映像の共有を例示する図である。 図１に係るユーザ端末装置が備える機能の構成例を示すブロック図である。 図１に係るモニタ装置に表示する画面の構成例を示す図である。 図１に係るモニタ装置に表示する初期画面を示す図である。 図１に係るユーザ端末装置のアノテーション機能を例示する図である。 図１に係るユーザ端末装置の三者対話時における主映像を例示する図である。 従来の対話装置を例示するブロック図である。

図１は、本考案に係る対話装置における、ライブ映像の共有に関する実施形態を示すものである。

この実施形態では、例えば、二つのユーザ端末装置（ユーザ端末−１、ユーザ端末−２）Ｐが、インターネットＮ上のサーバ装置（ライブ映像共有サーバ）Ｓを介して、通信回線的に接続している。

この状態で、ユーザ端末−１（Ｐ）が二つ（二種類)のライブ映像（１）、（２）をサーバ装置Ｓに対して送信し、ユーザ端末−２（Ｐ）が三つ（三種類)のライブ映像（３）、（４）、（５）をサーバ装置Ｓに対して送信している場合を仮定する。

この場合、サーバ装置Ｓは、通信接続している二つのユーザ端末装置（ユーザ端末−１、ユーザ端末−２）Ｐに対して、総てのライブ映像（１）〜（５）を同時送信する。

ライブ映像（１）〜（５）のストリーミング配信とすれば、ユーザ端末−１（Ｐ）、ユーザ端末−２（Ｐ）のメモリを圧迫することなく、ユーザ端末−１、ユーザ端末−２は総てのライブ映像を共有し、再生／切替表示等の動画再生操作を行うことが出来る。

なお、後に説明するように、受信したライブ映像を任意のタイミングで動画または静止画として保存する録画機能を用いれば、保存動画／静止画に基づいて、詳細な画像の確認を行うことが出来る。

ユーザ端末装置Ｐは、サーバ装置（ライブ映像共有サーバ）Ｓの利用前に、有償／無償の利用者登録を行うことが望ましい。利用者登録がないまま、サーバ装置（ライブ映像共有サーバ）Ｓが、複数のユーザ端末装置Ｐ同士を勝手に回線接続させると、各種の危険を惹起させるからである。

図２は、本考案に係る対話装置を利用するユーザ端末装置Ｐ（例えばユーザ端末−１）が備える、機能の構成例を示すものである。

Ｍは、マイク装置（マイク装置１、マイク装置２）、Ｃは、撮像装置（撮像装置１、撮像装置２）である。

撮像装置Ｃは、この実施形態では二台（撮像装置１、撮像装置２）を例示したが、必要に応じて台数を増やして良い。また、接続相手に対して質問、指示、教示等を行うだけのユーザは、自身の側から複数の動画を送信する必要がない場合もある。その場合は、撮像装置Ｃは一台だけで良い。

マイク装置Ｍも同様である。また、音声を伴わないライブ映像の送信を行う場合もある。例えば、医療現場で得た検査画像（ＣＴ画像／レントゲン画像等）を、高度な医療判断を行う大学病院等に対しライブ映像として送信するとき、当該検査画像を送るライブ映像には、音声は必要でないことも少なくない。このため、本考案に係る対話装置では、撮像装置Ｃの使用数よりマイク装置Ｍの使用数が少ない（一致しない）ことが生じうる。撮像装置Ｃによっては、撮影開始と同時に音声も同時収録する場合があるが、その場合は、マイク装置Ｍをオフ（機能停止）するか音声ボリュームを絞ることによって、好ましい使用状態を実現することが望ましい。

１０は、サーバ装置（ライブ映像共有サーバ）Ｓを介して回線接続させる相手方のユーザ端末装置Ｐを指定する接続先指定部である。

この接続先指定部１０を介して、対話先となるユーザ端末装置Ｐと回線接続した後は、サーバ装置Ｓに対して送信する一以上のライブ映像（動画／音声データ）は、すべて回線接続した相手方のユーザ端末装置Ｐに送られ、ライブ映像を同時共有することが出来る。

接続先指定部１０を介して回線接続するユーザ端末装置Ｐの数は限定されないが、例えば、一対一対話の場合は一つであり、三者対話の場合は二つである。

１１はエンコーダ（エンコーダ１、エンコーダ２）、１２は、エンコーダ１１において生成されたライブ映像（音声入り動画）をインターネットＮを介してサーバ装置（ライブ映像共有サーバ）Ｓに送出する合成データ送出部である。

エンコーダ１１は、図面上、二つに分けて示した。しかし、撮像装置Ｃとマイク装置Ｍの入力ラインを指定すれば、エンコーダ１１は複数のライブ映像を略同時に処理できる。このため、エンコーダ１１は機能として一つで良く、二つ（またはそれ以上）を個別に設ける必要はない。

合成データ送出部１２は、複数のライブ映像（動画＋音声）を、サーバ装置Ｓに送出する。このとき、例えば、接続先指定部１０において指定した回線接続先のアクセス情報（ＩＰアドレス等）とともにライブ映像を送信する。サーバ装置Ｓの機能構成によっては、ユーザ端末装置Ｐが相互に回線接続した後は、ライブ映像の送信時に回線接続先のＩＰアドレスを必要としないこともある。

送信元のユーザ端末装置Ｐ（例えばユーザ端末−１）と、接続先（例えばユーザ端末−２）が一義的に決まっているので、総てのライブ映像を互いのユーザ端末装置Ｐ（ユーザ端末−１／ユーザ端末−２）に配信すれば良いからである。

２０はデコーダ、２１はモニタ装置、２２はスピーカ装置、２４は、デコーダ２０を介して得た複数のライブ映像データをモニタ装置２１／スピーカ装置に表示／出力させる画像表示制御部、２６は、モニタ装置２１に表示されるライブ映像の、主映像／副映像の切り替え／音声切り替え／音量調節等を行う画像等切替スイッチである。

デコーダ２０は、サーバ装置Ｓを介して配信されるライブ映像（１）〜（５）をユーザ端末装置Ｐ側で処理できる形式に符号変換する。画像表示制御部２４は、予め設定した形式で、複数のライブ映像をモニタ装置２１に表示させる。

画像表示制御部２４の機能は、例えば、サーバ装置Ｓから提供されるユーザプログラムによって実現する。標準機能として、例えば、主映像を表示する主表示領域と、副映像を表示する副表示領域とを備えるとともに、複数の前記副映像を前記主表示領域に切替表示する画像切替手段（例えばモニタ装置２１に表示される画像等切替スイッチ２６）等を備える。

本考案に係る対話装置において使用するライブ映像は、マイク装置Ｍ（マイク装置１、マイク装置２）を用いて録音した音声データと、撮像装置（撮像装置１、撮像装置２）Ｃを用いて撮影した動画データとによって構成される。

但し、補助的に使用するライブ映像は、音声を必要としない場合もある。その場合は、撮像装置（撮像装置１、撮像装置２）Ｃの動画データだけのライブ映像としても良い。

図３は、画像表示制御部２４を介してモニタ装置２１に表示する画面の構成例を示すものである。４１−１はユーザ端末−１（Ｐ）のモニタ画面、４１−２はユーザ端末−２（Ｐ）のモニタ画面である。４２は、主映像を表示する主表示領域、４４は、副映像を表示する副表示領域、４６は、画像切替等の操作メニューバーを表示する操作スイッチ表示部、４８は、主表示領域４２のライブ映像を静止画または動画として保存したときのサムネイル画像を表示するサムネイル表示領域である。

図１に示した実施形態では、ユーザ端末−１（Ｐ）からライブ映像（１）、（２）がサーバ装置Ｓに送られ、ユーザ端末−２（Ｐ）からライブ映像（３）、（４）、（５）がサーバ装置Ｓに送られ、サーバ装置Ｓは、総てのライブ映像（１）〜（５）を各ユーザ端末Ｐに送出する。

このとき、ユーザ端末−１（Ｐ）はライブ映像（１）を主映像として指定し、ユーザ端末−２（Ｐ）はライブ映像（３）を主映像として指定していると仮定する。

かかる場合、例えば、副表示領域４４には、総てのライブ映像（１）〜（５）が小窓表示される（矢印Ｘ）一方、回線の接続直後（初期段階）においては、ユーザ端末−１（Ｐ）の主表示領域４２には、図４にも示すように、ユーザ端末−２（Ｐ）の主映像（（３））が表示され（矢印Ｙ）、ユーザ端末−２（Ｐ）の主表示領域４２には、ユーザ端末−１（Ｐ）の主映像（（１））が表示される（矢印Ｚ）。

双方のユーザは、互いに主映像（（３）、（１））とスピーカ装置２２の音声を介して対話を始めるが、必要に応じて、画像等切替スイッチ２６を介して、主表示領域４２に表示するライブ映像を切り替える。主映像を切り替えても音声は、初期段階のまま維持することが望ましいが、より好ましくは、ユーザプログラムである画像等切替スイッチ２６を介して音声切替も可能としておく。ライブ映像に同期した音声が、各種の知見／判断／分析等において重要な手掛かりとなることが少なくないからである。

主映像として主表示領域４２に表示出来る動画は、基本的に、副表示領域４４に小窓表示されているものであるが、必要に応じて予めサーバ装置Ｓに格納した動画／静止画を表示可能としても良い。これは、前記特許文献１において開示された技術である。

操作メニューバーを表示する操作スイッチ表示部４６には、例えば、画像等切替スイッチ２６、アノテーション操作スイッチ２６−２、保存操作スイッチ２６−４を設ける。

アノテーション操作スイッチ２６−２、保存操作スイッチ２６−４は、ユーザプログラムによって構成できる。当該ユーザプログラムは、例えば、画像表示制御部２４または画像等切替スイッチ２６のデータ格納部に保存できる。

画像等切替スイッチ２６は、例えば、画像切替機能のほか、音声切替機能、音量調節機能等の機能を備える。これらの機能は、例えば、黒三角で示す詳細設定メニューを開いて操作可能とすることが出来る。

アノテーション操作スイッチ２６−２は、双方が共通のライブ映像を主映像として見ている状態において、例えば、図５に示すように、当該主映像の任意箇所に任意の線図Ｑを描画するユーザプログラムスイッチである。線図描画のほか、文字の書き込みも可能とすることが望ましい。

また、訂正／画面簡素化のため、線図や文字を消去する消去機能を備え、意思疎通の明確化のため、線図等の色を変更するカラー機能を備えることが望ましい。これらの補助機能は、例えば、黒三角で示す詳細設定メニューを開いて操作可能とすることが出来る。線図の描画は、マウス装置（図示せず）やスクリーンのタッチ操作に基づいて行うことが出来る。文字の書き込みは、例えば、画面上の文字メニューまたはキーボード装置を用いて行う。アノテーション機能を使用した場合、接続しているユーザ端末Ｐは、互いに描画等を共有する。

アノテーション機能のほか、主映像の指定領域に、単色図形のオーバーレイでマスキングを施す機能を搭載しても良い。例えば、心臓診察で用いられる超音波検査映像（エコー動画）にマスキングを施し、必要な部分をわかりやすく相手に伝えることが出来るからである。

保存操作スイッチ２６−４は、主表示領域４２に表示されている映像を静止画または動画の保存形式で、各ユーザ端末Ｐ／外部記憶媒体に保存するユーザプログラムスイッチである。

保存した静止画／動画データは、サムネイル表示領域４８に時系列で配列表示する。保存操作スイッチ２６−４には、例えば、保存形式（静止画保存形式と動画保存形式）を選択する詳細設定メニューを設けることが望ましい。また、保存データの消去機能（一部／全部消去）、復元機能、転送機能等を備えることが望ましい。これらの機能は、例えば、黒三角で示す詳細設定メニューを開いて操作可能とすることが出来る。

かかる構成によれば、サーバ装置Ｓを介して複数のユーザ端末Ｐが複数のライブ映像を同時共有し、主映像／副映像を切り替えつつ対話を行うことが出来る。この場合、サーバ装置Ｓに対して事前に動画／静止画を保存する必要が無く、随時、複数のライブ映像を用いた対話を開始できる。このため、緊急を要する医療現場や動物病院等において、高度な知見／見解を得る場合に有効なシステム構成となる。

ユーザ端末Ｐが複数のライブ映像を扱えるため、相手方に伝えるべき各種の説明（状況説明／経緯説明等）を、ライブ映像を用いて速やかに説明できる。例えば、医療現場における診察画像（例えばレントゲン画像、ＣＴ画像、心電図、心電図モニタ等）を接続相手に視覚的に伝える等である。エンコーダ１１、デコーダ２０、合成データ送出部１２は、複数の動画データを同時配信／同時受信できるウェブブラウザシステム、例えば、WebRTC (Web Real-Time Communication)に準拠して作動させる。

また、アノテーション操作スイッチ２６−２を介した線図等の表示機能を用いれば、音声会話だけでは意思疎通が難しい場合に、主映像に施した線図等描画を介して迅速な相互理解を実現できる。

保存操作スイッチ２６−４を介して行う動画保存は、再生時に巻き戻し（逆再生）／早送り／停止等の操作機能が可能な保存形式とすることが望ましい。端末装置に標準搭載される動画再生プレーヤプログラムは、標準機能としてこのような動画再生機能を備える。

保存動画を巻き戻し（逆再生）／早送り／停止可能とすることで、例えば、対話を終えた後にも時間をかけて対話内容を確認可能とすることが出来るからである。また、保存動画には、ユーザ端末Ｐのタイマ装置を介して、保存開始からの経過時間を表示させる機能を付与することが好ましい。保存動画の検証／確認作業を容易にするためである。

図６は、三者間の同時対話、すなわち三つのユーザ端末Ｐが相互に接続する場合の、画面構成を例示するものである。これは例えば、ライブ映像（１）〜（５）を用いて二者間で対話を行っているときに、接続先が一つ増え、ライブ映像（６）を三者で共有するような場合である。

この場合、ユーザ端末−１（Ｐ）のモニタ装置２１には、主映像として、例えば、ユーザ端末−２が指定したライブ映像（３）と、新しく加わったユーザ端末−３（図示せず）の主映像であるライブ映像（６）とが表示される。表示形式は限定されないが、例えば、主表示領域４２を左右均等に二分割して、ライブ映像（３）とライブ映像（６）を並べて表示させる。

副表示領域４４には、ユーザ端末−３（図示せず）から送られるライブ映像（６）も表示することが望ましい。図６に係る実施形態では、ユーザ端末−３（図示せず）からは一個のライブ映像（６）が送られる状態を示したが、ユーザ端末−３（図示せず）から複数のライブ映像が送られる場合もある。共有している総てのライブ映像（１）〜（６）を、副表示領域４４に表示しておき、必要に応じて主表示領域４２に主映像として切替表示可能としておく。

三者間で対話するとき、主表示領域４２に主映像として切替表示するライブ映像は、分割表示でも全面表示でもよい。この場合は、例えば、画像等切替スイッチ２６の詳細設定メニューに従い、表示形式（分割表示／全面表示）を選択して切替表示すれば良い。

なお、合成データ送出部（１２）は、動画と音声とを適宜手段、例えばタイムスタンプを用いて合成し、動画と音声とのズレがないライブ映像を生成する機能を備えることが望ましい。

１０ 接続先指定部
１１ エンコーダ（エンコーダ１、エンコーダ２）
１２ 合成データ送出部
２０ デコーダ
２１ モニタ装置
２２ スピーカ装置
２４ 画像表示制御部
２６ 画像等切替スイッチ
２６−２ アノテーション操作スイッチ
２６−４ 保存操作スイッチ
４１−１ （ユーザ端末−１の）モニタ画面
４１−２ （ユーザ端末−２の）モニタ画面
４２ 主表示領域
４４ 副表示領域
４６ 操作スイッチ表示部
４８ （保存画像の）サムネイル表示領域
（１）〜（６） ライブ映像
Ｃ 撮像装置（撮像装置１、撮像装置２）
Ｍ マイク装置（マイク装置１、マイク装置２）
Ｎ インターネット
Ｐ ユーザ端末装置（ユーザ端末−１、ユーザ端末−２）
Ｑ （アノテーションによる）線図
Ｓ サーバ装置（ライブ映像共有サーバ）
Ｘ、Ｙ、Ｚ （画像の）表示位置

Claims (3)

1. インターネットおよびサーバ装置を介して、
   ユーザプログラムとライブ映像とを受信するユーザ端末装置において、
   前記ユーザプログラムは、
   モニタ装置において、
   主映像を表示する主表示領域と、
   副映像を表示する副表示領域とを備えるとともに、
   複数の前記副映像を前記主表示領域に切替表示する画像切替手段と、
   前記主表示領域の主映像に線描画を付加するアノテーション手段とを備え、
   前記ライブ映像は、
   前記サーバ装置を介して相互接続している二以上のユーザ端末装置の各々が、
   前記サーバ装置に対して送出している一または複数のライブ映像の総てを互いに共有し、
   前記画像切替手段を介して任意のライブ映像を前記主表示領域に切替表示することを特徴とするライブ映像利用の対話装置。
2. サーバ装置を介した相互接続の初期において、
   主表示領域に表示する主映像は、
   相互接続する相手方のユーザ端末装置が指定した主映像であることを特徴とする請求項１記載のライブ映像利用の対話装置。
3. 画像切替手段を介して、
   主表示領域の映像を切り替えた場合でも、
   ユーザ端末装置の主音声は、
   相互接続する相手方のユーザ端末装置が指定した主映像の音声であることを特徴とする請求項１または請求項２記載のライブ映像利用の対話装置。

Images