JPWO2013183214A1 - 通信装置及び通信システム - Google Patents

通信装置及び通信システム Download PDF

Info

Publication number
JPWO2013183214A1
JPWO2013183214A1 JP2014500186A JP2014500186A JPWO2013183214A1 JP WO2013183214 A1 JPWO2013183214 A1 JP WO2013183214A1 JP 2014500186 A JP2014500186 A JP 2014500186A JP 2014500186 A JP2014500186 A JP 2014500186A JP WO2013183214 A1 JPWO2013183214 A1 JP WO2013183214A1
Authority
JP
Japan
Prior art keywords
image
information
communication device
communication
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014500186A
Other languages
English (en)
Inventor
平野 純
純 平野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014500186A priority Critical patent/JPWO2013183214A1/ja
Publication of JPWO2013183214A1 publication Critical patent/JPWO2013183214A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/155Conference systems involving storage of or access to video conference sessions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567Multimedia conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

各通信装置において、リアルタイムに同一の画像コンテンツを含む画像の共有できるようにする技術が開示され、その技術によれば相互にコンテンツデータの送受信を行う複数の通信装置(コミュニケーション装置100)によって構成された通信システムにおいて、複数の通信装置のうちのいずれかの通信装置で、送信中又は受信中のコンテンツデータに含まれる特定の映像情報から画像を取得して保存するよう指示する画像保存指示がユーザによって入力された場合、例えば、画像保存指示がユーザによって入力された通信装置が、通信システムを構成する複数の通信装置に対して画像保存指示を含む指示情報を送信することで、複数の通信装置のそれぞれが、画像保存指示に基づいて、送信中又は受信中の特定の映像情報から画像を取得して保存する。

Description

本開示技術は、少なくとも映像情報を含むコンテンツデータの送信又は受信を行う通信装置(以下、コミュニケーション装置と記載することもある)及び通信システムに関する。
従来、ネットワークを介して、離れた地点間で映像と音声を用いた双方向コミュニケーション装置により、遠隔地間の会議を実現する技術が存在し、様々な環境での業務効率の改善がなされている。
例えば、会議においては、出席者双方の姿以外に、会議で用いる資料としての映像/画像を提示することがある。例えば、事前に資料を共有しておいたり、別途ネットワーク上のサーバに映像/画像のデータを置いておいたりすることで、それぞれの地点で同一のコンテンツを参照することが可能である。
また、本開示技術に関連して、例えば、下記の特許文献1の開示技術が存在する。特許文献1には、2地点の通信システムにおいて通話装置間でコンテンツの関連情報を他の情報と比較し、検索した後、該当コンテンツを提示することで、双方同じコンテンツを視聴できるようにする技術が開示されている。
特許第4216308号(段落[0010])
しかし、例えば、コンテンツを事前に共有しておくことは準備を要し、また、リアルタイムで変化していくコンテンツを事前に共有することは不可能である。従って、特許文献1に記載されているようなコンテンツを事前に蓄積するシステムは事前準備の容易性に欠け、かつ、コミュニケーション中もリアルタイムに変化するコンテンツには対応していないという問題点がある。
上記の問題を解決するため、本開示技術の一態様によれば、例えば、各通信装置において、リアルタイムに同一の画像コンテンツを含む画像の共有を行うことが可能となる。
本開示技術の一態様は、例えば、相互にコンテンツデータの送受信を行う複数の通信装置によって構成された通信システムであって、
当該通信システムで送受信が行われている前記コンテンツデータに含まれる映像情報から画像を取得して保存するよう指示する画像保存指示が前記複数の通信装置のうちの1つにおいて入力された場合、前記複数の通信装置のそれぞれが、前記画像保存指示に基づいて前記映像情報から画像を取得して保存する処理を行う通信システムを含む。
上記の構成により、トラフィックを抑えつつ、各通信装置において、リアルタイムに同一の画像コンテンツを含む画像の共有を行うことが可能となる。
なお、本開示技術の態様は、上記の通信システム以外に、通信装置(コミュニケーション装置)などによって実現されてもよい。
本開示技術の一態様では、例えば上記の通信システムによって、各通信装置において、リアルタイムに同一の画像コンテンツを含む画像の共有を行うことが可能となる。
なお、本開示技術が有する効果及び利点は上記に限定されるものではなく、更なる効果及び利点が本明細書及び図面の開示内容から明らかとなるであろう。上記の更なる効果及び利点は、例えば、本明細書及び図面に開示されている様々な実施の形態及び特徴によって個別に提供されるものであり、必ずしも、本開示技術の一態様によってすべての効果及び利点が提供される必要はない。
本開示技術の一態様におけるシステム構成の一例を示す図 本開示技術の一態様におけるコミュニケーション装置100の構成の一例を示すブロック図 本開示技術の一態様において、映像の受信側でユーザから画像保存指示が入力された場合の画像保存動作の一例を示すシーケンスチャート 本開示技術の一態様において、映像の送信側でユーザから画像保存指示が入力された場合の画像保存動作の一例を示すシーケンスチャート 本開示技術の一態様において、ユーザから画像表示指示が入力された場合の画像表示動作の一例を示すシーケンスチャート 本開示技術の一態様におけるコミュニケーション装置100のGUIの一例を示す図
以下、図面を参照しながら、本開示技術の一態様について説明する。
(システム構成)
まず、図1を参照しながら、本開示技術の一態様におけるシステム構成の一例について説明する。図1は、本開示技術の一態様におけるシステム構成の一例を示す図である。
図1に図示されているように、各拠点(各地点)にはコミュニケーション装置100が配置される。各コミュニケーション装置100は、それぞれ他のコミュニケーション装置100と任意の通信媒体を介して通信可能である。また、各コミュニケーション装置100には、例えば、カメラ(撮影装置)200及びモニタ(表示装置)300が接続され、カメラ200によって撮影された映像を他のコミュニケーション装置100へ送信するとともに、他のコミュニケーション装置100から受信した映像をモニタ300に表示することが可能である。
なお、以下では、本開示技術の一態様として、各コミュニケーション装置100が主に自装置で撮影された映像を他コミュニケーション装置に送信する点に着目して説明するが、例えば、各コミュニケーション装置100にマイクロホン(集音装置)及びスピーカ(音声出力装置)が接続されており、映像と共に音声を送受信できるようにしてもよい。
また、各コミュニケーション装置100で撮影された映像は、ストリーミング形式によって、他のコミュニケーション装置100へ常時送信され、かつ、映像を受信したコミュニケーション装置100により映像の受信と共に再生(モニタ300への表示)が行われる。このことから、本明細書では、各コミュニケーション装置から他のコミュニケーション装置へ送信される映像を映像ストリームと表現することがある。また、本明細書では、映像から画像を切り出す処理(映像から画像を取得する処理、キャプチャなど、一連の映像フレームから静止画像を生成する処理)を行って得られた画像をスナップ画像と表現し、スナップ画像に含まれるコンテンツを画像コンテンツと表現することがある。
なお、図1には、3台のコミュニケーション装置100がそれぞれ映像ストリームの送受信を行っているシステム構成が図示されているが、コミュニケーション装置100は2台であってもよく、あるいは、4台以上であってもよい。また、ネットワークトポロジとして、木構造や、メッシュ構造を構成し、特定拠点の映像を多拠点に配信する構成や、複数拠点制御ユニット(Multi≡point Control Unit)を含む装置(コミュニケーション装置100に内蔵されてもよい)を介したネットワーク構成であってもよい。
また、以下では、各コミュニケーション装置100が、基本的に他のすべてのコミュニケーション装置100に映像を送信する場合について説明するが、特定の1台又は複数台のコミュニケーション装置100に対してのみに映像を送信してもよい。さらに、以下では、各コミュニケーション装置100が双方向の通信(映像の送信及び受信)を行う場合について説明するが、映像の受信は行わず送信のみを行うコミュニケーション装置100(このコミュニケーション装置100ではモニタ300との接続は不要)、あるいは、映像の送信は行わず受信のみを行うコミュニケーション装置100(このコミュニケーション装置100ではカメラ200との接続は不要)が存在してもよい。
また、1台のコミュニケーション装置100が複数の映像ストリームを送信してもよい。例えば、1台のコミュニケーション装置に複数台のカメラ200が接続されており、当該複数台のカメラ200のそれぞれで撮影された映像が、他のコミュニケーション装置100に送信されてもよい。一例として、各地点に設置されたコミュニケーション装置100を用いて各地点間を結ぶ会議が行われ、各コミュニケーション装置100に人物撮影用のカメラ200と資料撮影用のカメラ200とが接続され、人物撮影用のカメラ200による映像と、資料撮影用のカメラ200による映像とが他のコミュニケーション装置100に送信される場合などが想定される。また、パソコンや、その他の映像再生装置などがカメラ200の代わりに映像送信源(映像ソース)として接続されていてもよい。
以降、複数台のコミュニケーション装置100のうちの1台のコミュニケーション装置100から送信される送信情報(例えば、映像や後述の指示情報)に着目し、当該送信情報を送信するコミュニケーション装置100を送信側と表現し、当該送信情報を受信するコミュニケーション装置100を受信側と表現することがある。なお、各コミュニケーション装置100がそれぞれ映像ストリームを送受信できるよう構成されていることから明らかなように、ある送信情報(例えば、ある映像ストリーム)に関しては送信側となり、別の送信情報(別の映像ストリーム)に関しては受信側となることがある。
(コミュニケーション装置の構成)
次に、本開示技術の一態様におけるコミュニケーション装置100の構成の一例について説明する。図2は、本開示技術の一態様におけるコミュニケーション装置100の構成の一例を示すブロック図である。
図2に図示されているコミュニケーション装置100は、例えば、情報入力インタフェース101、情報出力インタフェース102、指示入力インタフェース103、通信インタフェース104、コンテンツデータ送信部105、コンテンツデータ受信部106、指示情報生成部107、指示情報解釈部108、スナップ画像保持部109、スナップ画像読み出し部110を有する。
情報入力インタフェース101は、他のコミュニケーション装置100へ伝送すべき情報を読み込むインタフェースである。情報入力インタフェース101は、例えばカメラ200やその他の映像再生装置と接続可能であり、情報入力インタフェース101によって、映像情報をコミュニケーション装置100内部へ読み込むことが可能である。なお、情報入力インタフェース101は、例えばマイクロホン(集音装置)などと接続し、音声情報をコミュニケーション装置100内部へ読み込んでもよい。また、情報入力インタフェース101には、1台又は複数台のカメラ200やその他の映像再生装置が接続可能であり、複数の映像情報を読み込めるようにしてもよい。情報入力インタフェース101から読み込まれた映像情報はコンテンツデータ送信部105に供給されるよう接続されている。
また、情報出力インタフェース102は、他のコミュニケーション装置100から受信した情報を出力するインタフェースである。情報出力インタフェース102は、例えばモニタ300などの表示装置と接続可能であり、映像情報をコミュニケーション装置100外部へ出力することが可能である。なお、情報出力インタフェース102は、例えばスピーカ(音声出力装置)などと接続し、音声情報をコミュニケーション装置100外部へ出力してもよい。また、情報出力インタフェース102には、1台又は複数台のモニタ300やその他の映像表示装置が接続可能であり、複数の映像情報を異なる装置で表示できるようにしてもよい。
また、指示入力インタフェース103は、ユーザ入力によるユーザからの指示をコミュニケーション装置100内部に取り込むユーザインタフェースである。指示入力インタフェース103は、例えば、リモコン(リモートコントローラ)、マウスやキーボード、タッチパネルなどと接続可能であり、こうしたユーザインタフェース装置を用いたユーザからの指示をコミュニケーション装置100内部に取り込むことが可能である。指示入力インタフェース103から取り込まれたユーザ指示に係る信号(ユーザ指示信号)は指示情報生成部107に供給されるよう接続されている。
なお、上記情報入力インタフェース101、情報出力インタフェース102、指示入力インタフェース103は、外部に対するインタフェースとして具備されるのではなく、内部インタフェースとして実現されてもよい。内部インタフェースとして実現される場合には、コミュニケーション装置100の一部として、例えばカメラ200、モニタ300、スピーカ、操作用スイッチなどが装備され、これらのデバイスが内部インタフェースに接続されている構成などが考えられる。
また、通信インタフェース104は、コミュニケーション装置100が別の地点との通信を行うためのイーサネット(登録商標)、無線LAN(Local Area Network:ローカルエリアネットワーク)、携帯電話などの公衆無線(セルラシステム)など、無線、有線を問わず、ネットワークへの接続を可能とするインタフェースである。通信インタフェース104もまた(特に無線の場合)、デバイスを内蔵することで物理的なインタフェースとしてはコミュニケーション装置100本体に装備されない構成が考えられる。
また、コンテンツデータ送信部105、コンテンツデータ受信部106はそれぞれ、コンテンツデータの送信及び受信を行う機能を有する。コンテンツデータ送信部105は、情報入力インタフェース101から供給された情報(例えば映像情報)を通信路を介してやり取りするコンテンツデータの形に変換し、通信インタフェース104を介して当該コンテンツデータを送信することが可能である。また、コンテンツデータ受信部106は、通信インタフェース104を介して受信したコンテンツデータを、ユーザに提示する情報(例えば映像情報)に復元及び加工して、情報出力インタフェース102から出力することが可能である。
また、コンテンツデータ送信部105及びコンテンツデータ受信部106は、コンテンツデータを伝送するために必要な処理(例えば、符号化/復号化、パケットデータ化/パケットデータ復元、誤り訂正や再送処理、通信制御など)を行うことで、双方向通信のコミュニケーション装置100としてコンテンツデータを送受信する機能を有する。さらに、コンテンツデータ送信部105及びコンテンツデータ受信部106は、送信又は受信している映像から画像を切り出す処理(キャプチャ)を行う機能を有する。また、コンテンツデータ受信部106は、モニタ300などの表示装置に表示する映像情報を生成する際、複数の映像ストリーム(コンテンツデータ)、及び、スナップ画像読み出し部110から供給されたスナップ画像などを合成してもよい。
なお、コンテンツデータの送信は行わず受信のみを行う受信専用のコミュニケーション装置100は、コンテンツデータ送信部105を必ずしも有する必要はなく、また、コンテンツデータの受信は行わず送信のみを行う送信専用のコミュニケーション装置100は、コンテンツデータ受信部106を必ずしも有する必要はない。また、コンテンツデータ送信部105から送信されたコンテンツデータがコンテンツデータ受信部106に供給され、自コミュニケーション装置100で送信している映像が情報出力インタフェース102を介してモニタ300に表示されてもよい。
また、指示情報生成部107は、指示入力インタフェース103からのユーザ指示信号に基づいて指示情報を生成して、通信インタフェース104を介して他のコミュニケーション装置100へ指示情報を送信したり、ユーザ指示が画像保存指示の場合には、送信又は受信を行っているコンテンツデータから画像を切り出してスナップ画像を取得して保存するようコンテンツデータ送信部105又はコンテンツデータ受信部106へ指示を行ったり、ユーザ指示が画像表示指示の場合には、スナップ画像保持部109から所定のスナップ画像を読み出すようスナップ画像読み出し部110へ指示を行ったりする機能を有する。
また、指示情報解釈部108は、通信インタフェース104を介して受信した指示情報を解釈し、指示情報が画像保存指示の場合には、送信又は受信を行っている映像から画像を切り出してスナップ画像を取得して保存するようコンテンツデータ送信部105又はコンテンツデータ受信部106へ指示を行ったり、指示情報が画像表示指示の場合には、スナップ画像保持部109から所定のスナップ画像を読み出すようスナップ画像読み出し部110へ指示を行ったりする機能を有する。
なお、用途に応じて、他のコミュニケーション装置100から送信される指示情報を受け付けずに、ユーザによって入力された指示のみを受け付けるようにコミュニケーション装置100を構成してもよく(すなわち、他のコミュニケーション装置100に対して指示情報を送信する機能のみを有する)、また逆に、ユーザによって入力された指示を受け付けずに、他のコミュニケーション装置100から送信される指示情報のみを受け付けるようにコミュニケーション装置100を構成してもよい(すなわち、他のコミュニケーション装置100から指示情報を受信する機能のみを有する)。他のコミュニケーション装置100から送信される指示情報を受け付けないよう構成されたコミュニケーション装置100においては、指示情報解釈部108を必ずしも有する必要はない。また、ユーザによって入力された指示を受け付けないよう構成されたコミュニケーション装置100は、指示情報生成部107を必ずしも有する必要はない。
また、スナップ画像保持部109は、コンテンツデータ送信部105やコンテンツデータ受信部106において映像から切り出されたスナップ画像を保持する機能を有する。
また、スナップ画像読み出し部110は、指示情報生成部107や指示情報解釈部108からの指示に基づいて、指定されたスナップ画像を読み出し、コンテンツデータ受信部106に渡すことによって、情報出力インタフェース102からスナップ画像を出力(例えばモニタ300上に表示)させる機能を有する。
なお、コミュニケーション装置100は、さらに、コンテンツデータ送信部105によって送信している映像に係る通信又は映像を安定化させる機能(映像を安定化させるモードへ変更可能)、コンテンツデータ受信部106によって受信している映像に係る通信の安定性を検出し、一定の安定性基準を満たした場合にスナップ画像の切り出し処理を実行する機能、させる機能(映像を安定化させるモードへ変更可能)、スナップ画像の切り出し処理及び保存中は、新たな画像保存指示をブロックする機能、スナップ画像を特定する情報を管理し、当該スナップ画像を特定する情報によってスナップ画像を識別する機能、スナップ画像を特定する情報を生成し、他のコミュニケーション装置100へ通知する機能、スナップ画像の切り出しタイミングを規定し、他のコミュニケーション装置100へ通知する機能などを有していてもよい。
また、図2に図示されているコミュニケーション装置100の各ブロックにおける信号又はデータの送受の伝送パスは、例えば以下の通りである。
パスAは、ユーザ入力に基づいて指示入力インタフェース103から出力されたユーザ指示信号が、指示情報生成部107へ供給されることを示している。本開示技術の一態様では、ユーザによって入力されるユーザ指示は、例えば、画像の保存を指示する画像保存指示、又は、画像の表示を指示する画像表示指示である。
また、パスBは、ユーザ指示信号に基づいて指示情報生成部107で生成された指示情報が、通信インタフェース104を介して他コミュニケーション装置100へ送信されることを示している。また、パスCは、他コミュニケーション装置100から通信インタフェース104を介して受信した指示情報が、指示情報解釈部108に供給されることを示している。
また、パスDは、ユーザ指示信号(パスA)が画像保存指示であり、かつ、自コミュニケーション装置100が画像保存の対象となる映像を送信している場合に、指示情報生成部107からコンテンツデータ送信部105に対して行われる画像保存指示を示している。
また、パスEは、他コミュニケーション装置100から受信した指示情報(パスC)が画像保存指示であり、かつ、自コミュニケーション装置100が画像保存の対象となる映像を送信している場合に、指示情報解釈部108からコンテンツデータ送信部105に対して行われる画像保存指示を示している。
また、パスFは、ユーザ指示信号(パスA)が画像保存指示であり、かつ、他コミュニケーション装置100から画像保存の対象となる映像を受信している場合に、指示情報生成部107からコンテンツデータ受信部106に対して行われる画像保存指示を示している。
また、パスGは、他コミュニケーション装置100から受信した指示情報(パスC)が画像保存指示であり、かつ、他コミュニケーション装置100から画像保存の対象となる映像を受信している場合に、指示情報解釈部108からコンテンツデータ受信部106に対して行われる画像保存指示を示している。
また、パスHは、コンテンツデータ送信部105において、自コミュニケーション装置100が送信している映像からスナップ画像が切り出され、スナップ画像保持部109に保存されることを示している。また、パスIは、コンテンツデータ受信部106において、自コミュニケーション装置100が受信している映像からスナップ画像が切り出され、スナップ画像保持部109に保存されることを示している。
また、パスJは、ユーザ指示信号(パスA)が画像表示指示の場合に、指示情報生成部107からスナップ画像読み出し部110に対して行われる画像表示指示を示している。
また、パスKは、他コミュニケーション装置100から受信した指示情報(パスC)が画像表示指示の場合に、指示情報解釈部108からスナップ画像読み出し部110に対して行われる画像表示指示を示している。
また、パスL、Mは、スナップ画像読み出し部110が、指示情報生成部107又は指示情報解釈部108から画像表示指示を受けた場合には、スナップ画像保持部109に保持されているスナップ画像の中から特定のスナップ画像を読み出し(パスL)、コンテンツデータ受信部106へ供給する(パスM)ことを示している。
なお、図2に図示されている各機能ブロック、あるいは、これらの機能ブロックと同等の機能を有する各処理部は、ハードウェア、ソフトウェア、あるいはこれらの組み合わせによって実現されてもよい。また、例えば、図2に図示されている各装置に含まれる機能ブロック、あるいは、同等の機能を有する各処理部は、任意のコンピュータのCPU及びメモリなどのハードウェアによって実現されてもよい。また、各機能に係る動作が記述されたプログラムをコンピュータによって実行させることで、図2に図示されている各機能ブロックや各処理部が実現されてもよい。
特に、指示情報生成部107における指示情報の生成及び送信、指示情報解釈部108における指示情報の解釈、指示情報生成部107又は指示情報解釈部108からコンテンツデータ送信部105又はコンテンツデータ受信部106への画像保存指示、あるいは、スナップ画像読み出し部110への画像表示指示、コンテンツデータ送信部105又はコンテンツデータ受信部106によるスナップ画像保持部109へのスナップ画像の保存、スナップ画像読み出し部110によるスナップ画像の読み出しなどは、所定プログラムをコンピュータによって実行することによって実現可能である。また、スナップ画像保持部109は、情報を格納する記録媒体によって実現可能である。
(基本的な画像保存動作)
次に、本開示技術の一態様に関連した基本的な画像保存動作の一例について説明する。本開示技術の一態様によれば、任意のコミュニケーション装置100においてユーザから画像保存指示が入力された場合、当該コミュニケーション装置100を含む複数のコミュニケーション装置100において、映像からスナップ画像の切り出し処理及びスナップ画像の保存が行われる。これにより、コミュニケーション装置100間のトラフィックを抑えつつ、同一の画像コンテンツをリアルタイムに共有することが可能となる。例えば、資料共有を会議中にリアルタイムに行い、会議参加者間で共有された資料の画像を参照して議事を進めることが可能となる。また、例えば、会議中に複数回参照することがあり、かつ、会議の議事対象となり得る資料の画像については、通常の映像(例えば、出席者双方の姿を映した映像)以上に高精細が望まれるが、本開示技術の一態様によれば、共有する画像(例えば、資料の画像)を高精細にすることが可能である。
以下では、一例として、3台のコミュニケーション装置100によって構成されたシステム(例えば、図1に図示されているシステム)において、ある映像に着目し、当該映像を送信しているコミュニケーション装置100(以下、送信側コミュニケーション装置100Aと記載する)と、当該映像を受信しているコミュニケーション装置100(以下、受信側コミュニケーション装置100B、100Cと記載する)とによって実行される処理について説明する。具体的には、映像の受信側でユーザから画像保存指示が入力された場合(図3)と、映像の送信側でユーザから画像保存指示が入力された場合(図4)について、それぞれ説明する。
図3は、本開示技術の一態様において、映像の受信側でユーザから画像保存指示が入力された場合の画像保存動作の一例を示すシーケンスチャートである。
図3では、複数のコミュニケーション装置100間で、少なくとも映像情報を含むコンテンツデータの送受信が常時行われている状態を前提とする(ステップS1000)。この状態は、例えば、各地点に配置されたコミュニケーション装置100すべてをつないでコミュニケーション(例えば会議など)が行われている状態を想定しており、さらに、少なくとも送信側コミュニケーション装置100Aが、受信側コミュニケーション装置100B、100Cに対して映像ストリームを送信している状態を想定している。
上述のように複数のコミュニケーション装置100間でコンテンツデータの送受信が行われている状態において、映像を受信しているコミュニケーション装置100のうちの1台(例えば、受信側コミュニケーション装置100B)で、当該受信側コミュニケーション装置100Bが送信側コミュニケーション装置100Aから受信している映像から画像を保存することを示す画像保存指示がユーザによって入力された場合(ステップS1001)、受信側コミュニケーション装置100Bは、指示情報生成部107で、該当する映像ストリームから画像を保存するよう指示する画像保存指示を含む指示情報を生成する(ステップS1002)。
この指示情報には、例えば、該当映像を送信している送信側コミュニケーション装置100A本体の識別子、送信側コミュニケーション装置100Aを特定するネットワーク上のアドレス、送信側コミュニケーション装置100Aが設置されている地点を識別する情報(地名や、部屋又はフロアの名称など)、あるいは、該当映像に対応する映像ストリームの識別子など、該当映像若しくはその該当映像を送信している送信側コミュニケーション装置100Aが特定できる情報が含まれるようにしてもよい。特に、送信側コミュニケーション装置100Aから複数の映像ストリームが送信されている場合には、これら複数の映像ストリームのうちの特定の映像ストリームを識別できるようにするため、該当映像に対応する映像ストリームを識別するための識別子が指示情報に含まれるようにしてもよい。
そして、受信側コミュニケーション装置100Bは、ステップS1002で生成した指示情報を、該当映像に係る画像保存指示として他のコミュニケーション装置100(送信側コミュニケーション装置100A、及び、受信側コミュニケーション装置100Bと同様に該当映像を受信している受信側コミュニケーション装置100C)へ送信する(ステップS1003)。なお、指示情報の送信方法は任意であり、受信側コミュニケーション装置100Bは、ユニキャスト、マルチキャスト、あるいはブロードキャストなどによって指示情報を送信側コミュニケーション装置100A、及び、受信側コミュニケーション装置100Cへ送信することができる。
また、受信側コミュニケーション装置100Bは、ステップS1002及びS1003における指示情報の生成及び送信と並行して、ステップS1001においてユーザにより入力された画像保存指示に基づき、受信側コミュニケーション装置100B自身においても、該当映像から画像を切り出して保存する処理を開始する。受信側コミュニケーション装置100Bは、コンテンツデータ受信部106において、受信している該当映像から画像を切り出し(ステップS1004)、切り出したスナップ画像をスナップ画像保持部109に保存する(ステップS1005)。
一方、他のコミュニケーション装置100(送信側コミュニケーション装置100A、及び、受信側コミュニケーション装置100C)は、受信側コミュニケーション装置100Bから送信された指示情報を受信すると、受信した指示情報に基づき、該当映像から画像を切り出して保存する処理を開始する。
送信側コミュニケーション装置100Aは、指示情報解釈部108において、受信した指示情報に基づいて該当する映像を特定し、コンテンツデータ送信部105において、該当映像から画像を切り出し(ステップS1006)、切り出したスナップ画像をスナップ画像保持部109に保存する(ステップS1007)。また、受信側コミュニケーション装置100Cは、指示情報解釈部108において、受信した指示情報に基づいて該当する映像を特定し、コンテンツデータ受信部106において、該当映像から画像を切り出し(ステップS1008)、切り出したスナップ画像をスナップ画像保持部109に保存する(ステップS1009)。
また、図4は、本開示技術の一態様において、映像の送信側でユーザから画像保存指示が入力された場合の画像保存動作の一例を示すシーケンスチャートである。
図4においても、図3と同様に、複数のコミュニケーション装置100間で、少なくとも映像情報を含むコンテンツデータの送受信が常時行われている状態を前提とする(ステップS1100)。複数のコミュニケーション装置100間でコンテンツデータの送受信が行われている状態において、映像を送信しているコミュニケーション装置100(送信側コミュニケーション装置100A)で、当該送信側コミュニケーション装置100Aが別のコミュニケーション装置100(受信側コミュニケーション装置100B、100C)へ送信している映像から画像を保存することを示す画像保存指示がユーザによって入力された場合(ステップS1101)、送信側コミュニケーション装置100Aは、指示情報生成部107で、該当する映像ストリームから画像を保存するよう指示する画像保存指示を含む指示情報を生成する(ステップS1102)。
この指示情報には、例えば、該当映像を送信している送信側コミュニケーション装置100A本体の識別子、送信側コミュニケーション装置100Aを特定するネットワーク上のアドレス、送信側コミュニケーション装置100Aが設置されている地点を識別する情報(地名や、部屋又はフロアの名称など)、あるいは、該当映像に対応する映像ストリームの識別子など、該当映像若しくはその該当映像を送信している送信側コミュニケーション装置100Aが特定できる情報が含まれるようにしてもよい。特に、送信側コミュニケーション装置100Aから複数の映像ストリームが送信されている場合には、これら複数の映像ストリームのうちの特定の映像ストリームを識別できるようにするため、該当映像に対応する映像ストリームを識別するための識別子が指示情報に含まれるようにしてもよい。
そして、送信側コミュニケーション装置100Aは、ステップS1102で生成した指示情報を、該当映像に係る画像保存指示として他のコミュニケーション装置100(該当映像を受信している受信側コミュニケーション装置100B、100C)へ送信する(ステップS1103)。なお、指示情報の送信方法は任意であり、コミュニケーション装置100Bは、ユニキャスト、マルチキャスト、あるいはブロードキャストなどによって指示情報をコミュニケーション装置100B、100Cへ送信することができる。また、送信側コミュニケーション装置100Aは、送信している映像ストリームの付加情報として指示情報を挿入してもよい。
また、送信側コミュニケーション装置100Aは、ステップS1102及びS1103における指示情報の生成及び送信と並行して、ステップS1101においてユーザにより入力された画像保存指示に基づき、送信側コミュニケーション装置100A自身においても、該当映像から画像を切り出して保存する処理を開始する。送信側コミュニケーション装置100Aは、コンテンツデータ送信部105において、送信している該当映像から画像を切り出し(ステップS1104)、切り出したスナップ画像をスナップ画像保持部109に保存する(ステップS1105)。
一方、他のコミュニケーション装置100(受信側コミュニケーション装置100B、100C)は、送信側コミュニケーション装置100Aから送信された指示情報を受信すると、受信した指示情報に基づき、該当映像から画像を切り出して保存する処理を開始する。
受信側コミュニケーション装置100B、100Cはそれぞれ、指示情報解釈部108において、受信した指示情報に基づいて該当する映像を特定し、コンテンツデータ受信部106において、該当映像から画像を切り出し(ステップS1106、S1108)、切り出したスナップ画像をスナップ画像保持部109に保存する(ステップS1107、S1109)。
以上のように、複数のコミュニケーション装置100のうちのいずれかのコミュニケーション装置100において、映像から画像を切り出して保存するよう指示する画像保存指示がユーザによって入力された場合には、該当映像を送受信しているすべてのコミュニケーション装置100で、該当映像から画像を切り出してスナップ画像として保存する処理が行われる。これにより、該当映像を送受信しているすべてのコミュニケーション装置100において、同一の画像コンテンツを含むスナップ画像が各コミュニケーション装置100のスナップ画像保持部109に保存され、複数のコミュニケーション装置100における同一の画像コンテンツの共有がリアルタイムで実現可能となる。
なお、複数のコミュニケーション装置100のそれぞれにおいて切り出されたスナップ画像は、必ずしも同一タイミングで切り出された画像ではない可能性があるが、少なくとも、ある時点(画像保存指示がユーザによって入力された時点)から一定期間のうちに撮影された映像から切り出された画像であり、同一の画像コンテンツを含む画像である。例えば、各地点に設置されたコミュニケーション装置100を用いて各地点をつないだ会議において、所定の資料を撮影しながら会議が行われているような場合に、本開示技術の一態様によって、各コミュニケーション装置100において、同一の画像コンテンツを含むスナップ画像(すなわち、所定の資料を撮影した画像)を保存することが可能となる。
また、図3及び図4に示す動作では、システムを構成するすべてのコミュニケーション装置100において同一の画像コンテンツを含むスナップ画像が保存される場合について説明したが、例えば、特定の1台又は複数台のコミュニケーション装置100(特定のグループに属するコミュニケーション装置100)のみスナップ画像の保存を行うようにしてもよい。これは、例えば、指示情報が当該特定グループに属するコミュニケーション装置100のみに送信されるようにしたり、あるいは、当該特定グループに属さないコミュニケーション装置100は指示情報を無視したりすることで実現可能である。
(ブロック期間)
また、各コミュニケーション装置100は、ユーザ入力又は指示情報による画像保存指示に基づいて画像の保存処理を実行する際に、他の同様の指示を遮断(ブロック)するようにしてもよい。例えば、ユーザ入力又は指示情報による画像保存指示に基づいて画像の切り出し処理を開始した場合には、コミュニケーション装置100の指示情報生成部107や指示情報解釈部108は、当該画像の切り出し処理中に、画像の保存に係る新たな指示を受けたとしても、この新たな指示を無視するようにしてもよい。また、例えば、GUI(Graphical User Interface:グラフィカルユーザインタフェース)における画像の保存を指示入力のボタンの無効化(クリックできない状態とする)など、画像の保存を指示するためのユーザ入力自体が不可能になるようにしてもよい。これにより、ある映像から画像を切り出して保存を行うよう指示する画像保存指示が複数の地点(複数のコミュニケーション装置100)でほぼ同時に入力されたとしても、最前の指示のみ有効となり、同一の画像コンテンツを含む画像を重複して保存しないようにすることが可能となる。
なお、画像の切り出し処理中に新たな指示をブロックする際、画像の保存処理中の映像に係る新たな画像保存指示についてのみブロックし、画像の保存処理中の映像とは異なる映像に係る指示についてはブロックしないようにしてもよく、あるいは、画像の保存処理中の映像に係る新たな画像保存指示だけではなく、画像の保存処理中の映像とは異なる映像に係る新たな指示(すなわち、すべての新たな画像保存指示)をブロックしてもよい。これは、例えば、複数拠点の映像、また、複数のカメラ、パソコンや、その他の映像再生装置などの映像がそれぞれ特定できるように識別することにより可能となる。
また、他の同様の指示を遮断する期間(ブロック期間)は、例えば、事前に定められた所定の期間(例えば、数秒間)としてもよく、当該コミュニケーション装置100において画像の保存処理が完了するまでの期間としてもよく、あるいは、他のコミュニケーション装置100においても画像の保存処理が完了した旨が確認できるまでの期間としてもよい。
図3及び図4に図示されているフローチャートには、一例として、各コミュニケーション装置100A〜100Cが、ブロック期間として、すべてのコミュニケーション装置100A〜100Cにおいて画像の保存処理が完了した旨を確認できるまでの期間を設定する場合(図3のステップS1010、又は、図4のステップS1110)が図示されている。この場合、例えば、各コミュニケーション装置100は画像の保存処理が完了した場合に画像の保存処理が完了した旨を他のコミュニケーション装置100へ通知し(図3のステップS1011、又は、図4のステップS1111)、すべてのコミュニケーション装置100による画像の保存処理が完了したことが確認された場合に、各コミュニケーション装置100は、新たな画像保存指示に係るブロックを解除してもよい。
なお、すべてのコミュニケーション装置100において画像の保存処理が完了した旨を確認する処理は任意の方法によって実現可能である。例えば上述のように、各コミュニケーション装置100は画像の保存処理が完了した場合に、完了通知を他のコミュニケーション装置100へ通知することで、コミュニケーション装置100間で相互に完了通知を送受信することができ、すべてのコミュニケーション装置100において画像の保存処理が完了した旨を確認することが可能となる。また、例えば、各コミュニケーション装置100が、画像の保存処理が完了した場合に完了通知を所定のコミュニケーション装置100(例えば、指示情報を送信したコミュニケーション装置100や、映像を送信しているコミュニケーション装置100、あるいは、事前に定められたコミュニケーション装置100など)へ通知することで、当該所定のコミュニケーション装置が各コミュニケーション装置100の状態を把握し、すべてのコミュニケーション装置100において画像の保存処理が完了した旨を確認できた場合に、すべてのコミュニケーション装置100に対してブロック期間の終了を示す情報を送信してもよい。
また、各コミュニケーション装置100は、少なくとも1台以上のコミュニケーション装置100による画像の保存処理の完了が確認できなかった場合でも、所定の期間経過した場合にはブロック期間を解除するようにしてもよい。なお、少なくとも1台以上のコミュニケーション装置100で画像の保存処理に失敗した場合、そのコミュニケーション装置100は、何らかの方法で画像の再取得を行ってもよい(後述の(画像のズレが生じた場合の処理)を参照)。
また、ブロック期間中は、例えば、画像保存処理が行われている旨を通知したり、新たな画像保存指示に係るユーザ入力がブロックされている旨を表示したりするなど、ユーザに対してフィードバックしてもよい。この場合、各コミュニケーション装置100は、ブロック処理中であればユーザに対する当該フィードバックを必ず行うよう設定されていてもよく、あるいは、指示情報を送信するコミュニケーション装置100が、指示情報と共に各ユーザに対して当該フィードバックを行うよう要求した場合に、各コミュニケーション装置100においてフィードバックが行われるよう設定されていてもよい。
(スナップ画像を特定する情報の付与)
また、各コミュニケーション装置100は、保存したスナップ画像に対して、スナップ画像を特定する情報を割り当てて、スナップ画像の管理を行ってもよい。スナップ画像を特定する情報は、各コミュニケーション装置100において保存されたスナップ画像に関連付けられて管理される、スナップ画像の識別情報である。
特に、基本的にすべてのコミュニケーション装置100で同一の画像保存指示(あるユーザによる画像保存入力)に基づいて同一の画像コンテンツを含むスナップ画像が保存されることから、各コミュニケーション装置100において保存された同一の画像コンテンツを含むスナップ画像に対して、スナップ画像を特定する共通の情報(以下、共通IDと記載する)が付与されることが有効である。共通IDは、各コミュニケーション装置100において保存されたスナップ画像に関して、同一の画像保存指示に基づいて作成されたスナップ画像であることを特定するために有効な情報である。
上記共通IDの付与(共通IDの生成及び各コミュニケーション装置100への通知)は、任意のコミュニケーション装置100、あるいは、別に設置されたID管理装置などによって実行可能である。また、共通ID付与のタイミングについても特に限定されるものではなく、各コミュニケーション装置100で保存された同一の画像コンテンツを含むスナップ画像に対して最終的に共通IDが付与され、例えば、画像表示を行う際に、当該共通IDの指定によって各コミュニケーション装置100が同一の画像コンテンツを含むスナップ画像を表示できるようになればよい。例えば、図3のステップS1011、又は、図4のステップS1111における完了確認の処理において、IDの付与が行われてもよい。
以下では、ユーザによって画像保存指示が入力されたコミュニケーション装置100、映像を送信しているコミュニケーション装置100、ID付与の権限が与えられたID管理装置(コミュニケーション装置100のうちの1台、又は、別途設置されたID管理装置)のいずれかによって共通IDの付与が行われる場合について説明する。
例えば、ユーザによって画像保存指示が入力されたコミュニケーション装置100(すなわち、指示情報を送信するコミュニケーション装置100)によって、共通IDの付与が行われるようにしてもよい。例えば、図3の例では受信側コミュニケーション装置100Bが共通IDの付与を行う権限を有し、図4の例では送信側コミュニケーション装置100AがID付与を行う権限を有する。また、上記のように共通IDの付与は任意のタイミングで行われてもよいが、例えば、指示情報の送信(図3のステップS1003、又は、図4のステップS1103)と同時に共通IDの付与を行うことで効率的な共通IDの付与が実現可能となる。この場合、指示情報を送信するコミュニケーション装置100は、例えば、画像を保存した際に割り当てる共通IDを生成し、指示情報と共に共通IDを他のコミュニケーション装置100へ送信することで、すべてのコミュニケーション装置100が共通IDを把握し、当該指示情報に基づいて切り出すスナップ画像に共通IDを関連付けることが可能となる。
また、例えば、画像保存の対象となる映像を送信しているコミュニケーション装置によって、IDの付与が行われるようにしてもよい。例えば、図3及び図4の例では、送信側コミュニケーション装置100Aが共通IDの付与を行う権限を有する。また、上記のように共通IDの付与は任意のタイミングで行われてもよいが、例えば、画像保存の対象となる映像を送信しているコミュニケーション装置100が、映像から画像を切り出すタイミングの規定及び通知を行う機能も有している場合には、映像から画像を切り出すタイミング情報と共に共通IDの付与を行う(さらには、映像から画像を切り出すタイミングを示す情報自体が共通IDとして利用されてもよい)ことで、効率的な共通IDの付与を実現するとともに、各コミュニケーション装置100における画像保存の時間ズレを低減させたり、映像が安定化した状態で画像保存を行えるようにしたりすることが可能となる(後述の(映像の安定化)及び(各コミュニケーション装置における画像のズレの抑制)を参照)。
また、例えば、共通IDを付与する権限を有するID管理装置をシステム内に設定しておき、このID管理装置が共通IDの付与を行うようにしてもよい。このID管理装置は、共通IDの付与を常に行うよう設定された所定のコミュニケーション装置100であってもよく、あるいは、コミュニケーション装置100とは異なる通信装置によって実現されてもよい。この場合も同様に、共通IDの付与は任意のタイミングで行われてもよい。なお、コミュニケーション装置100とは異なる通信装置にID管理装置としての機能を持たせる場合には、例えば、コミュニケーション装置100間で送受信される指示情報がこのID管理装置にも届くようにしておき、コミュニケーション装置100間で送受信される指示情報がID管理装置によって検出できるようにしてもおいてもよい。
なお、上記のように、任意のコミュニケーション装置100又はID管理装置からすべてのコミュニケーション装置100へ共通IDを通知せずに、各コミュニケーション装置100が、保存するスナップ画像に対して個々にID(以下、ローカルIDと記載する)を付与する場合であっても、付与すべきローカルIDに関して一定の規則を設定しておくことで、各コミュニケーション装置100が同一の画像コンテンツを含むスナップ画像を同一のローカルIDで管理することが可能である。例えば、各コミュニケーション装置100は、順次保存するスナップ画像を管理するローカルIDとして、所定の番号を開始番号とした連番(昇順)を用いてもよい。この場合、各コミュニケーション装置100は、例えば、1番目に保存されたスナップ画像には「0001」、2番目に保存されたスナップ画像には「0002」などのような共通のローカルIDを付与して管理できるようになる。
また、各コミュニケーション装置100はスナップ画像の保存を行った時刻情報などを含むローカルIDを生成して、スナップ画像の管理を行ってもよい。この場合、各コミュニケーション装置100がローカルIDとして用いた時刻情報は、必ずしもすべてのコミュニケーション装置100で同一とはならない可能性があるが、ある画像保存指示が入力されてから一定期間内に各コミュニケーション装置100でスナップ画像が保存されることから、ある時間幅の範囲内に含まれる時刻情報を有するローカルIDによって各コミュニケーション装置100で管理されているスナップ画像を、同一の画像コンテンツを含むスナップ画像とみなすことが可能である。
(映像の安定化)
また、画像保存が行われる際に、映像を送信しているコミュニケーション装置100で映像の安定化を行ったり、あるいは、映像を受信しているコミュニケーション装置100で映像の安定化が確認されてから画像保存を行ったりしてもよい。映像の安定化によって、各コミュニケーション装置100は、高品質の画像(例えば、画像解像度の高い高精細の画像)を保存できるようになるとともに、各コミュニケーション装置100でズレのない画像(すなわち、同一の画像コンテンツを含んだスナップ画像)を保存できるようになる。
ここで映像の安定化とは通信のトラフィックの急激な変動などにより、映像が乱れてしまうことや、各拠点で映像の取得時点に不一致が生じてしまう状況を抑制するための動作を言う。
例えば、映像を送信しているコミュニケーション装置100は、ユーザ入力又は指示情報による画像保存指示を受けた場合に映像を安定化させるモードに移行し、一定期間(例えば、上記のブロック期間が完了するまで)、映像を切り替えたり動きを大きく変更したりすることを抑制することで、保存すべき画像のズレ(保存すべきフレームのズレ)を低減させてもよい。
さらに、映像を安定化させるモードとして、該当映像の画像解像度を優先したり、誤り訂正やデータ再送の処理をより高度化(情報量を増やす、許容時間を十分に取るなど)したりしてもよい(この処理による通信の安定化が映像の安定化に繋がる)。また、該当映像の映像ストリームを固定化(半固定化)し、映像ストリーム中の複数フレーム期間にわたって、映像が変化しない状態又は変化の少ない状態にしてもよい。例えば、映像を送信しているコミュニケーション装置100は、画像保存の対象となる映像に関して、ブロック期間中は映像符号化の際にフレーム内情報符号化(イントラフレーム符号化)のみを用いるようにしてもよい。
また、映像を送信しているコミュニケーション装置100は、例えば、上記映像を安定化させるモードへ移行する旨を、映像を受信しているコミュニケーション装置100へ明示的に通知してもよい。例えば、映像を送信しているコミュニケーション装置100が指示情報の送信を行う場合や共通IDの付与を行う場合、映像を送信しているコミュニケーション装置100は、上記指示情報の送信又は共通IDの付与と共に、映像を安定化させるモードへ移行する旨を通知してもよい。また、映像を送信しているコミュニケーション装置100は、映像を受信しているコミュニケーション装置100から映像を安定化させるモードへの移行を要求された場合に、当該映像を安定化させるモードへ移行するようにしてもよい。
また、例えば、映像を受信しているコミュニケーション装置100においても、映像の安定化が行われるのを待ってからスナップ画像の切り出し処理を行ってもよく、例えば、誤り訂正、再送制御などによって受信している映像の回復(エラー耐性)が一定基準を以上完了していることなどをトリガとして、画像の切り出し及び保存を行ってもよい。また、映像を受信しているコミュニケーション装置100は、映像を送信しているコミュニケーション装置100に対して、映像を安定化させるモードへの移行を明示的に要求してもよい。例えば、映像を受信しているコミュニケーション装置100が指示情報の送信を行う場合や共通IDの付与を行う場合、映像を受信しているコミュニケーション装置100は、上記指示情報の送信又は共通IDの付与と共に、映像を送信しているコミュニケーション装置100に対して、映像を安定化させるモードへの移行を要求する旨を通知してもよい。
(各コミュニケーション装置における画像のズレの抑制)
また、各コミュニケーション装置100が映像からスナップ画像を個々に切り出すため、例えば、通信の遅延時間や処理遅延時間などの要因で、各コミュニケーション装置100でスナップ画像が保存される時刻にズレが生じたり(特に、画像保存指示が入力されたコミュニケーション装置100において画像が保存される時刻と、指示情報を受信したコミュニケーション装置100において画像が保存される時刻とのズレ(差異))、あるいは、各地点で保存される画像の品質(例えば、画像解像度)のズレ(差異)が生じてしまったりする可能性がある。十分な通信帯域を確保できている状況下では、必要な情報伝送に要する時間が少なく、こうした画像の時間的なズレ又は品質のズレが生じる可能性は少ないが、通信帯域が低下したり、通信路でのデータ誤りが増加したりすると、コンテンツデータの伝送に時間がかかったり、伝送によるコンテンツデータの品質劣化が生じてしまったりするため、各コミュニケーション装置100で切り出される画像に含まれる画像コンテンツの差異が大きくなる傾向にある。
かかる状況が生じる可能性を考慮して、すべてのコミュニケーション装置100がズレの少ない画像を保存できるような機構を設けてもよい。このような機構として、例えば、上述のように通信又は映像の安定化を行うことが有用である。各地点で画像の保存を行う際に、映像を送信しているコミュニケーション装置100が映像を安定化させるモードに移行することで、安定した品質の映像又は時間による変化(ズレ)の少ない映像を、他のコミュニケーション装置100に提供できるようになる。
また、すべてのコミュニケーション装置100がズレの少ない画像を保存できるような機構として、例えば、映像から画像を切り出すタイミングを規定してもよい。映像から画像を切り出すタイミングを規定することで、各コミュニケーション装置100は、時間的にズレの少ない画像(あるいは、ズレのない画像)を保存することが可能となる。
映像から画像を切り出すタイミングの規定及びその通知は、上述した共通IDの付与と同様に、任意のコミュニケーション装置、あるいは、別に設置されたタイミング情報管理装置などによって実行可能である。すなわち、例えば、映像から画像を切り出すタイミングの規定及びその通知は、画像保存指示がユーザによって入力されたコミュニケーション装置、映像を送信しているコミュニケーション装置、タイミング情報を規定する権限が与えられたタイミング情報管理装置(コミュニケーション装置のうちの1台、又は、別途設置された通信装置によって実現可能)によって実行されてもよい。また、映像から画像を切り出すタイミングの規定及びその通知を行う装置を、共通IDの付与を行う装置と同一としてもよい。
また、映像から画像を切り出すタイミングの規定及びその通知は、各コミュニケーション装置100が画像を切り出す処理を行う前(すなわち、映像から画像を切り出すタイミングより前)であれば、任意のタイミングで行われてもよい。すなわち、映像から画像を切り出すタイミング情報は、各コミュニケーション装置100において映像から画像を切り出す処理が行われる前までに通知される必要があるが、映像から画像を切り出す処理が行われる前であれば、その通知タイミングは特に限定されるものではない。
また、映像から画像を切り出すタイミング情報として、映像から画像を切り出す時刻(システム内における共通の時刻)や、保存すべきスナップ画像を取得するための映像ストリームのフレームを特定するフレーム番号やタイムスタンプ、その他映像ストリーム内に含まれるタイミング識別可能情報などを用いてもよい。例えば、映像から画像を切り出すタイミング情報が通知された各コミュニケーション装置100(当該タイミング情報を通知したコミュニケーション装置100も同様)は、当該タイミング情報に基づいて、画像の切り出し処理又は保存処理を行う。映像から画像を切り出すタイミング情報として時刻が規定された場合には、各コミュニケーション装置100で保存される画像のズレを伝送遅延時間程度に抑えることが可能であり、また、映像を送信しているコミュニケーション装置100において画像を切り出す時刻に対して、映像を受信しているコミュニケーション装置100において画像を切り出す時刻を伝送遅延時間分だけ遅らせたり、映像情報の復号の処理遅延なども勘案したりすることで、更にズレを小さくすることが可能である。
一方、映像から画像を切り出すタイミング情報として映像ストリームのフレームを特定する情報が規定された場合には、各コミュニケーション装置100は同一フレームから画像を切り出すことが可能となり、各コミュニケーション装置100において時間的なズレのない画像が保存されるようになる。
また、映像を送信しているコミュニケーション装置100は、映像から画像を切り出す当該タイミング情報に合わせて、映像を安定化させるモードに移行することで、画像切り出しタイミングに合わせて安定した品質の映像を他のコミュニケーション装置100に提供できるようになる。
また、映像から画像を切り出すタイミング情報を規定する装置が共通IDの付与を行う装置と同一である場合には、保存するスナップ画像に付与されるべき共通IDとして、映像から画像を切り出すタイミング情報、又は、映像から画像を切り出すタイミング情報を含む情報を用いてもよい(例えば、共通IDとして「イメージ名+フレーム番号」、「イメージ名+取得タイムスタンプ」、「時:分:秒」)などを用いてもよい)。これにより、共通IDの付与と映像から画像を切り出すタイミング情報の通知とを同時に行うことが可能となる。
また、特に、映像から画像を切り出すタイミング情報を規定する装置が、画像保存の対象となる映像を送信しているコミュニケーション装置100と同一である場合には、保存する画像に付与すべき共通IDとして、映像ストリームのフレームを特定する情報を用いるとともに、このフレーム(フレームを特定する情報によって識別されるフレーム)の品質(例えば、画像解像度)を選択的に高めることが容易となる。これにより、映像を受信しているコミュニケーション装置100において、高品質かつ時間的なズレのない同一の画像コンテンツを含むスナップ画像を確実に保存できるようになる。また、映像から画像を切り出すタイミング情報を規定する装置が、画像保存の対象となる映像を送信しているコミュニケーション装置100と同一である場合には、例えば、映像を安定化させるモードへ移行する通知と共に、映像から画像を切り出すタイミング情報を通知してもよい。
(画像のズレが生じた場合の処理)
また、コミュニケーション装置100がズレの大きい画像を保存した場合(同一の画像コンテンツを含まないスナップ画像を保存した場合)、指示情報を受信できなかった場合、画像の切り出し処理が正常に実行できずにスナップ画像の保存ができなかった場合など、少なくとも1台のコミュニケーション装置100において、同一の画像コンテンツを含むスナップ画像の保存に失敗した場合に、このコミュニケーション装置100に関しては、改めて画像の再取得処理を行えるようにする機構を設けてもよい。
ズレの大きい画像を保存してしまったか否かの判断は、例えば、ユーザが視認して行ってもよく、あるいは、通信が十分に安定しない状態で画像の保存を行った場合や、通信路上の誤り、復号の際の誤りを一定数以上検出した場合や、映像から画像を切り出すタイミングがずれてしまった場合(例えば、完了確認や以降のメッセージ交換によって、スナップ画像として保存された該当映像のフレーム番号などを確認)に、ズレの大きい画像を保存したと判断してもよい。また、指示情報を受信できなかった場合(完了確認や以降の任意のメッセージ交換によって、他のコミュニケーション装置100でスナップ画像の保存が行われていたことを確認)や画像の切り出し処理が正常に実行できずに画像の保存に失敗した場合には、画像自体が保存されていないため、明らかに同一の画像コンテンツを含む画像の保存に失敗したと判断できる。
同一の画像コンテンツを含む画像の保存に失敗した場合に、例えば、画像の保存に失敗したコミュニケーション装置100のユーザや、指示情報を送信したコミュニケーション装置100のユーザに対して画像保存の失敗を通知してもよく、あるいは、自動的に画像再取得の処理を実行してもよい。
画像再取得の方法は、例えば、映像から画像を保存する処理を再度実行してもよく(すなわち、もう一度同じ処理を行う)、あるいは、画像の保存に成功した他のコミュニケーション装置100(例えば、該当映像を送信しているコミュニケーション装置100)からスナップ画像を取得してもよい。
また、画像切り出し処理を実行する前に、例えば劣悪な通信環境が改善せずに、同一の画像コンテンツを含むスナップ画像を取得できないであろうことが予測される場合には、他の任意のコミュニケーション装置100に対してスナップ画像の代理取得をあらかじめ要求しておき、当該他の任意のコミュニケーション装置100からスナップ画像のコピーを分けてもらってもよい。
(スナップ画像の画面表示)
また、任意のコミュニケーション装置100において、スナップ画像を再参照する場合に、すべてのコミュニケーション装置100において、同一の画像コンテンツを含むスナップ画像が表示されるようにしてもよい。以下、図5を参照しながら、本開示技術の一態様において、ユーザから画像表示指示が入力された場合の画像表示動作の一例について説明する。図5は、本開示技術の一態様において、ユーザから画像表示指示が入力された場合の画像表示動作の一例を示すシーケンスチャートである。なお、図5には、3台のコミュニケーション装置100によって構成されたシステム(例えば、図1に図示されているシステム)において、ユーザから画像表示指示が入力されるコミュニケーション装置(以下、コミュニケーション装置100Dと記載する)と、その他のコミュニケーション装置(以下、コミュニケーション装置100E、100Fと記載する)とによって実行される処理の一例が図示されている。
図5においても、図3及び図4と同様に、複数のコミュニケーション装置100間で、少なくとも映像情報を含むコンテンツデータの送受信が常時行われている状態を前提とする(ステップS2000)。複数のコミュニケーション装置100間でコンテンツデータの送受信が行われている状態において、あるコミュニケーション装置100(コミュニケーション装置100D)で、あるスナップ画像が選択されるとともに当該スナップ画像を表示することを示す画像表示指示がユーザによって入力された場合(ステップS2001)、コミュニケーション装置100Dは、指示情報生成部107で、選択されたスナップ画像を表示するよう指示する画像表示指示を含む指示情報を生成する(ステップS2002)。
また、コミュニケーション装置100Dは、指示情報を生成する際、例えば、選択されたスナップ画像に関連付けられたスナップ画像を特定する情報(上記の共通IDなど)を指示情報に挿入する。
そして、コミュニケーション装置100Dは、ステップS2002で生成した指示情報を、スナップ画像の表示を指示する画像表示指示として他のコミュニケーション装置100(コミュニケーション装置100E、100F)へ送信する(ステップS2003)。なお、指示情報の送信方法は任意であり、コミュニケーション装置100Dは、ユニキャスト、マルチキャスト、あるいはブロードキャストなどによって指示情報をコミュニケーション装置100E、100Fへ送信することができる。
また、コミュニケーション装置100Dは、ステップS2002及びS2003における指示情報の生成及び送信と並行して、ステップS2001においてユーザにより入力された画像表示指示に基づき、コミュニケーション装置100D自身においても、選択されたスナップ画像を表示画面上に表示する処理を開始する。コミュニケーション装置100Dは、スナップ画像読み出し部110により、該当するスナップ画像をスナップ画像保持部109から読み出して、例えば、コンテンツデータ受信部106で復元及び出力される映像情報と共に、情報出力インタフェース102を介して接続されているモニタ300などの表示装置に出力及び表示を行う(ステップS2004)。
一方、他のコミュニケーション装置100(コミュニケーション装置100E、100F)は、コミュニケーション装置100Dから送信された指示情報を受信すると、受信した指示情報に基づき、コミュニケーション装置100Dで選択されたスナップ画像に対応するスナップ画像(例えば、スナップ画像を特定する情報によって識別されるスナップ画像)を、自装置のスナップ画像保持部109から読み出して、モニタ300などの表示装置に表示する(ステップS2005、S2006)。
なお、各コミュニケ―ション装置100においてスナップ画像の表示を行う際には、例えば画面表示モードを変更し、コンテンツデータ受信部106で他の映像とスナップ画像を合成したり、画面構成を変更したりしてもよい。
(GUI)
次に、本開示技術におけるコミュニケーション装置100のGUIの一例について説明する。図6は、本開示技術の一態様におけるコミュニケーション装置100のGUIの一例を示す図である。
図6に図示されている表示の一例には、各コミュニケーション装置100から受信したコンテンツデータに係る映像情報を表示する映像情報表示領域600(画面上部)と、サムネイルアイコン(サイズを縮小した画像)を用いたスナップ画像表示領域610(画面下部)とが図示されている。図6には、一例として、通常のコミュニケーション中の表示画面が図示されており、例えば映像情報表示領域600に所定の通信相手(通信相手A)の映像がメイン表示領域(映像情報表示領域600の左側)に大写しされ(全画面表示されてもよい)、また、自身の映像及びその他の通信相手(通信相手B)の映像がサブ表示領域(映像情報表示領域600の右側)に映し出されている。なお、各地点(各コミュニケーション装置100)からの映像、自身の映像、その他資料映像や別カメラによる映像などが、それぞれ任意の組み合わせや大きさで配置される画面表示モードを複数有していてもよい。
また、画面の一部分(上下左右の端に沿った帯状の領域など)に、保存したスナップ画像のサムネイルアイコンを並べて表示する画面表示モードを有していてもよい。図6には、画面の下側の帯状の領域に、スナップ画像表示領域610を有する画面表示モードによって表示されている状態が図示されている。
例えば、スナップ画像表示領域610には、例えばユーザが時系列のスナップ画像を直感的に把握できるように、左から順にスナップ画像を保存した順番に従ってサムネイルアイコンが表示してもよい。また、それぞれのサムネイルアイコンに番号を振って表示したり、スナップ画像を特定する情報(上記の共通IDなど)を関連付けて表示したり、あるいは、スナップ画像が保存された時刻(あるいは、画像保存時のコミュニケーション開始からの経過時間)などを表示することで、ユーザによるスナップ画像の認識及び選択に係る利便性を向上させてもよい。
ユーザが、コミュニケーション装置100に連携した情報入力インタフェースに接続されたデバイス(リモコン、マウス、キーボード、パネルなど)を介して、参照したいスナップ画像のサムネイルアイコンを選択しながら、画面表示指示を入力できるようにしてもよい。ユーザによってスナップ画像のサムネイルアイコンが選択されて画面表示指示が入力された場合には、例えば、表示画面(メイン表示領域、あるいは全画面表示)上に、選択されたスナップ画像をメインに表示させる。
また、上述のように、選択されたスナップ画像に対応するスナップ画像(同一の画像コンテンツを含むスナップ画像)を、他のコミュニケーション装置100に接続されたモニタ300などの表示装置に出力させるようにしてもよく、また、他のコミュニケーション装置100においてスナップ画像が選択された場合には、対応するスナップ画像(同一の画像コンテンツを含むスナップ画像)を、自コミュニケーション装置100に接続されたモニタ300などの表示装置に出力できるようにしてもよい。
これにより、結果として、コミュニケーション中の全地点において同一のタイミングで保存した同一の画像コンテンツを含むスナップ画像が表示されるようになる。例えば、会議などにおいて、所定の議題について再度議論を行う場合などにおいて、その前に行われた質疑応答などの資料(以前に伝送されており、スナップ画像として保存された資料画像)を確認しながら、効率的な再議論を行うことが可能となる。また、この際、こうした資料などのスナップ画像を各コミュニケーション装置100が個別に保持しているため、画像表示指示を含む指示情報の送受信のみで、各地点でスナップ画像の参照が可能となり、資料などを撮影した映像を再度伝送し続けて通信トラフィックを圧迫してしまう必要を回避できる。
また、表示画面の一部分を使用して、例えば文字やアイコン(例えば、スチルカメラを連想させるマーク)を用いてスナップ画像の記録中であることを示す情報や、更なる別の画像保存指示が不可能である旨(新たな画像保存指示がブロックされている旨)を示す情報などをブロック期間を通じて表示することで、同一の画像コンテンツを含むスナップ画像に関して、他地点において同時に画像保存指示が入力されてしまうことを抑制したり、ブロック期間中のため画像保存指示の入力が無効である旨をユーザに知らせたりすることが可能となる。
また、本開示技術の一態様では、通信システムにおいて、前記複数の通信装置のうちの前記画像保存指示が入力された通信装置が、前記画像保存指示を含む指示情報を生成して、前記指示情報を生成した通信装置を除く前記複数の通信装置へ前記指示情報を送信してもよい。
この構成により、画像保存指示が入力された通信装置が、通信システムを構成する通信装置に対して、同一の画像コンテンツを含む画像に係る画像保存指示を行うことが可能となる。
また、本開示技術の一態様では、通信システムにおいて、前記画像保存指示に基づいて前記映像情報から前記画像を取得して保存する処理が行われる際、前記映像情報を送信している通信装置は、映像を安定化させるモードに通信モードを変更してもよい。
この構成により、各通信装置は、同一の画像コンテンツを含む画像を保存できるようになり、また、より高精細な画像(画像解像度の高い画像)を保存できるようになる。
また、本開示技術の一態様では、通信システムにおいて、前記画像保存指示に基づいて前記映像情報から前記画像を取得して保存する処理が行われる際、前記映像情報を受信している通信装置は、映像の安定化が確認されてから前記画像の保存を行ってもよい。
この構成により、各通信装置は、より高精細な画像(画像解像度の高い画像)を保存できるようになる。
また、本開示技術の一態様では、通信システムにおいて、前記画像保存指示に基づいて前記映像情報から前記画像を取得して保存する処理が行われる際、前記映像情報から画像を切り出して保存するよう指示する新たな画像保存指示をブロックするブロック期間を設けてもよい。
この構成により、同一の画像コンテンツを含む画像の保存指示が、複数地点で同時期に発生してしまうのを防ぐことが可能となる。
また、本開示技術の一態様では、通信システムにおいて、前記複数の通信装置のそれぞれにおいて前記画像保存指示に基づいて前記映像情報から取得された前記画像に関して、前記画像を特定する共通の情報を付与してもよい。
この構成により、特定の画像保存指示に基づいて個々の通信装置で保存された画像を、画像を特定する共通の情報で識別及び管理することが可能となる。
また、本開示技術の一態様では、通信システムにおいて、前記複数の通信装置のうちのいずれか1つが前記画像を特定する共通の情報を生成し、前記画像を特定する共通の情報を生成した通信装置を除く前記複数の通信装置へ前記画像を特定する共通の情報を通知してもよい。
この構成により、画像を特定する共通の情報を付与する権限を有する通信装置を設定し、画像を特定する共通の情報が異なる地点で重複して生成されないようにすることが可能となる。
また、本開示技術の一態様では、通信システムにおいて、前記画像を特定する共通の情報を生成する通信装置が、前記映像情報を送信している通信装置、又は、前記画像保存指示が入力された通信装置であってもよい。
この構成により、例えば、映像情報を送信している通信装置が情報を送信する際、又は、画像保存指示が入力された通信装置が画像保存指示を含む指示情報を送信する際に、画像を特定する共通の情報の付与を同時に行えるようにすることが可能となる。
また、本開示技術の一態様では、通信システムにおいて、前記複数の通信装置のうちの1つにおいて前記画像を特定する共通の情報と共に前記画像の表示を指示する画像表示指示が入力された場合、前記複数の通信装置のそれぞれが、前記画像を特定する共通の情報に関連付けられた前記画像を表示してもよい。
この構成により、画像表示指示が入力された通信装置が、通信システムを構成する通信装置に対して、同一の画像コンテンツを含む画像に係る画像表示指示を行うことが可能となる。
また、本開示技術の一態様では、通信システムにおいて、前記複数の通信装置のうちのいずれか1つが前記映像情報から前記画像を取得して保存するタイミングを規定したタイミング情報を生成し、前記タイミング情報を生成した通信装置を除く前記複数の通信装置へ前記タイミング情報を通知してもよい。
この構成により、各通信装置における画像の取得処理に係る時間のズレを低減させることが可能となる。
また、本開示技術の一態様では、通信システムにおいて、前記タイミング情報を生成する通信装置が、前記映像情報を送信している通信装置、又は、前記画像保存指示が入力された通信装置であってもよい。
この構成により、例えば、映像情報を送信している通信装置が情報を送信する際、又は、画像保存指示が入力された通信装置が画像保存指示を含む指示情報を送信する際に、画像の取得処理のタイミング情報の通知を同時に行えるようにすることが可能となる。
また、本開示技術の一態様では、通信システムにおいて、前記タイミング情報が、前記映像情報から前記画像の取得を行う時刻、又は、映像情報に関連付けられたタイミングを示す情報を含んでもよい。
この構成により、各通信装置において画像の取得処理を行うタイミングを明確に規定することが可能となる。
また、本開示技術の一態様は、相互にコンテンツデータの送信及び受信を行う複数の通信装置によって構成された通信システムのうちの通信装置であって、
当該通信装置に接続されている映像情報出力装置から供給される送信映像情報に基づいて送信コンテンツデータを生成し、前記通信システムを構成する他の通信装置へ送信するコンテンツデータ送信部と、
前記通信システムを構成する前記他の通信装置から受信する受信コンテンツデータに基づいて受信映像情報を復元して出力するコンテンツデータ受信部と、
当該通信装置において入力される画像保存指示であって、前記送信映像情報及び前記受信映像情報のうちの特定の映像情報から画像を取得して保存するよう指示する前記画像保存指示に基づき、前記特定の映像情報から画像を取得して保存する指示を含む指示情報を生成して、前記通信システムを構成する前記他の通信装置に対して前記指示情報を送信する指示情報生成部とを、
有する通信装置を含むことができる。
この構成により、トラフィックを抑えつつ、各通信装置に対して、リアルタイムに同一の画像コンテンツを含む画像の共有を指示することが可能となる。
また、本開示技術の一態様によれば、前記通信システムを構成する前記他の通信装置の1つから、前記送信映像情報及び前記受信映像情報のうちの特定の映像情報から画像を取得して保存するよう指示する画像保存指示を含む指示情報を受信する指示情報解釈部と、
前記特定の映像情報から取得された前記画像を保持する画像保持部とを、
更に有し、
前記指示情報生成部又は前記指示情報解釈部は、
当該通信装置によって送信中の前記送信映像情報に係る前記画像保存指示に基づいて、前記送信映像情報から前記画像を取得して前記画像保持部に保存するよう前記コンテンツデータ送信部に対して指示し、
当該通信装置によって受信中の前記受信映像情報に係る前記画像保存指示に基づいて、前記受信映像情報から前記画像を取得して前記画像保持部に保存するよう前記コンテンツデータ受信部に対して指示する通信装置を含むことができる。
この構成により、トラフィックを抑えつつ、各通信装置において、リアルタイムに同一の画像コンテンツを含む画像の共有を行うことが可能となる。
また、本開示技術の一態様によれば、通信装置において、前記送信映像情報から前記画像を取得して保存するよう指示する前記画像保存指示の場合、前記送信映像情報に係る映像を安定化させるモードに通信モードを変更してもよい。
この構成により、各通信装置は、同一の画像コンテンツを含む画像を保存できるようになり、また、より高精細な画像(画像解像度の高い画像)を保存できるようになる。
また、本開示技術の一態様では、通信装置において、前記送信映像情報から前記画像を取得して保存するよう指示する前記画像保存指示の場合、前記受信映像情報に係る映像の安定化が確認されてから前記画像の保存を行ってもよい。
この構成により、各通信装置は、より高精細な画像(画像解像度の高い画像)を保存できるようになる。
また、本開示技術の一態様では、通信装置において、前記画像保存指示に基づいて前記特定の映像情報から前記画像を取得して保存する際、前記特定の映像情報から画像を取得して保存するよう指示する新たな画像保存指示をブロックするブロック期間を設けてもよい。
この構成により、同一の画像コンテンツを含む画像の保存指示が、複数地点で同時期に発生してしまうのを防ぐことが可能となる。
また、本開示技術の一態様では、通信装置において、前記複数の通信装置のそれぞれに付与される前記画像を特定する共通の情報を用いて、前記画像を管理してもよい。
この構成により、特定の画像保存指示に基づいて個々の通信装置で保存された画像を、画像を特定する共通の情報で識別及び管理することが可能となる。
また、本開示技術の一態様では、通信装置において、前記画像を特定する共通の情報を生成し、前記通信システムを構成する前記他の通信装置に対して通知してもよい。
この構成により、画像を特定する共通の情報を付与する権限を有する通信装置を設定し、画像を特定する共通の情報が異なる地点で重複して生成されないようにすることが可能となる。
また、本開示技術の一態様では、通信装置において、前記送信映像情報から前記画像を取得して保存するよう指示する前記画像保存指示の場合、又は、前記他の通信装置に対して前記指示情報を送信する場合に、前記画像を特定する共通の情報を生成してもよい。
この構成により、映像情報を送信している通信装置が情報を送信する際、又は、指示情報を生成する通信装置が情報を送信する際に、画像を特定する共通の情報の付与を同時に行えるようにすることが可能となる。
また、本開示技術の一態様では、通信装置において、当該通信装置において前記画像を特定する共通の情報と共に前記画像の表示を指示する画像表示指示が入力された場合、又は、前記画像表示指示を含む指示情報を前記他の通信装置の1つから受信した場合に、前記画像を特定する共通の情報に関連付けられた前記画像を表示してもよい。
この構成により、画像表示指示が入力された通信装置が、通信システムを構成する通信装置に対して、同一の画像コンテンツを含む画像に係る画像表示指示を行うことが可能となる。
また、本開示技術の一態様では、通信装置において、前記特定の映像情報から前記画像を取得して保存するタイミングを規定したタイミング情報を生成し、前記他の通信装置に対して通知してもよい。
この構成により、各通信装置における画像の取得処理に係る時間のズレを低減させることが可能となる。
また、本開示技術の一態様では、通信装置において、前記送信映像情報から前記画像を取得して保存するよう指示する前記画像保存指示の場合、又は、前記他の通信装置に対して前記指示情報を送信する場合に、前記タイミング情報を生成してもよい。
この構成により、映像情報を送信している通信装置が情報を送信する際、又は、指示情報を生成する通信装置が情報を送信する際に、画像の取得処理のタイミング情報の通知を同時に行えるようにすることが可能となる。
また、本開示技術の一態様では、通信装置において、前記タイミング情報が、前記映像情報から前記画像の取得を行う時刻、又は、映像情報に関連付けられたタイミングを示す情報を含んでもよい。
この構成により、各通信装置において画像の取得処理を行うタイミングを明確に規定することが可能となる。
また、本開示技術の一態様は、複数の通信装置によって構成された通信システムのうちの通信装置であり、コンテンツデータを他の通信装置に送信する通信装置であって、
当該通信装置に接続されている映像情報出力装置から供給される送信映像情報に基づいて前記コンテンツデータを生成し、前記通信システムを構成する前記他の通信装置へ送信するコンテンツデータ送信部と、
当該通信装置によって入力される画像保存指示であって、前記送信映像情報から画像を切り出して保存するよう指示する前記画像保存指示に基づき、前記送信映像情報から画像を切り出して保存する指示を含む指示情報を生成して、前記通信システムを構成する前記他の通信装置に対して前記指示情報を送信する指示情報生成部とを、
有する通信装置を含むことができる。
また、本開示技術の一態様は、上記の通信装置において、前記送信映像情報から切り出された前記画像を保持する画像保持部を更に有し、
前記指示情報生成部は、当該通信装置によって送信中の前記送信映像情報に係る前記画像保存指示に基づいて、前記送信映像情報から前記画像を切り出して前記画像保持部に保存するよう前記コンテンツデータ送信部に対して指示する通信装置を含むことができる。
また、本開示技術の一態様は、複数の通信装置によって構成された通信システムのうちの通信装置であり、コンテンツデータを他の通信装置に送信する通信装置であって、
当該通信装置に接続されている映像情報出力装置から供給される送信映像情報に基づいて前記コンテンツデータを生成し、前記通信システムを構成する前記他の通信装置へ送信するコンテンツデータ送信部と、
前記通信システムを構成する前記他の通信装置の1つから、前記送信映像情報から画像を切り出して保存するよう指示する画像保存指示を含む指示情報を受信する指示情報解釈部とを、
有する通信装置を含むことができる。
また、本開示技術の一態様は、上記の通信装置において、前記送信映像情報から切り出された前記画像を保持する画像保持部を更に有し、
前記指示情報解釈部は、当該通信装置によって送信中の前記送信映像情報に係る前記画像保存指示に基づいて、前記送信映像情報から前記画像を切り出して前記画像保持部に保存するよう前記コンテンツデータ送信部に対して指示する通信装置を含むことができる。
また、本開示技術の一態様は、複数の通信装置によって構成された通信システムのうちの通信装置であり、コンテンツデータを他の通信装置から受信する通信装置であって、
前記通信システムを構成する前記他の通信装置から受信する前記コンテンツデータに基づいて受信映像情報を復元して出力するコンテンツデータ受信部と、
当該通信装置によって入力される画像保存指示であって、前記受信映像情報から画像を切り出して保存するよう指示する前記画像保存指示に基づき、前記特定の映像情報から画像を切り出して保存する指示を含む指示情報を生成して、前記通信システムを構成する前記他の通信装置に対して前記指示情報を送信する指示情報生成部とを、
有する通信装置を含むことができる。
また、本開示技術の一態様は、上記の通信装置において、前記特定の映像情報から切り出された前記画像を保持する画像保持部を更に有し、
前記指示情報生成部は、当該通信装置によって受信中の前記受信映像情報に係る前記画像保存指示に基づいて、前記受信映像情報から前記画像を切り出して前記画像保持部に保存するよう前記コンテンツデータ受信部に対して指示する通信装置を含むことができる。
また、本開示技術の一態様は、複数の通信装置によって構成された通信システムのうちの通信装置であり、コンテンツデータを他の通信装置から受信する通信装置であって、
前記通信システムを構成する前記他の通信装置から受信する前記コンテンツデータに基づいて受信映像情報を復元して出力するコンテンツデータ受信部と、
前記通信システムを構成する前記他の通信装置の1つから、前記受信映像情報から画像を切り出して保存するよう指示する画像保存指示を含む指示情報を受信する指示情報解釈部とを、
有する通信装置を含むことができる。
また、本開示技術の一態様は、上記の通信装置において、前記特定の映像情報から切り出された前記画像を保持する画像保持部を更に有し、
前記指示情報解釈部は、当該通信装置によって受信中の前記受信映像情報に係る前記画像保存指示に基づいて、前記受信映像情報から前記画像を切り出して前記画像保持部に保存するよう前記コンテンツデータ受信部に対して指示する通信装置を含むことができる。
なお、例えば、上記の本開示技術の各態様は適宜組み合わせることが可能である。また、本開示技術の一態様は、通信システム、通信装置(コミュニケーション装置)に加えて、通信装置によって実行される方法、この方法をコンピュータに実行させるためのプログラム、及び、このプログラムを記録した記録媒体などによって実現されてもよい。
また、上記実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSI(Large Scale Integration)として実現されてもよい。これらは個別に1チップ化されてもよいし、一部又はすべてを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適用などが可能性としてあり得る。
本開示技術の一態様によれば、各通信装置において、リアルタイムに同一の画像コンテンツを含む画像の共有を行うことが可能となり、少なくとも映像情報を含むコンテンツデータの送信又は受信を行う伝送技術、さらには、通信装置を用いて遠隔地間で会議を実現する会議システムなどに幅広く適用可能である。

Claims (24)

  1. 相互にコンテンツデータの送受信を行う複数の通信装置によって構成された通信システムであって、
    当該通信システムで送受信が行われている前記コンテンツデータに含まれる映像情報から画像を取得して保存するよう指示する画像保存指示が前記複数の通信装置のうちの1つにおいて入力された場合、前記複数の通信装置のそれぞれが、前記画像保存指示に基づいて前記映像情報から画像を取得して保存する処理を行う通信システム。
  2. 前記複数の通信装置のうちの前記画像保存指示が入力された通信装置が、前記画像保存指示を含む指示情報を生成して、前記指示情報を生成した通信装置を除く前記複数の通信装置へ前記指示情報を送信する請求項1に記載の通信システム。
  3. 前記画像保存指示に基づいて前記映像情報から前記画像を取得して保存する処理が行われる際、前記映像情報を送信している通信装置は、映像を安定化させるモードに通信モードを変更する請求項1に記載の通信システム。
  4. 前記画像保存指示に基づいて前記映像情報から前記画像を取得して保存する処理が行われる際、前記映像情報を受信している通信装置は、映像の安定化が確認されてから前記画像の保存を行う請求項1に記載の通信システム。
  5. 前記画像保存指示に基づいて前記映像情報から前記画像を取得して保存する処理が行われる際、前記映像情報から画像を取得して保存するよう指示する新たな画像保存指示をブロックするブロック期間を設ける請求項1に記載の通信システム。
  6. 前記複数の通信装置のそれぞれにおいて前記画像保存指示に基づいて前記映像情報から取得された前記画像に関して、前記画像を特定する共通の情報を付与する請求項1に記載の通信システム。
  7. 前記複数の通信装置のうちのいずれか1つが前記画像を特定する共通の情報を生成し、前記画像を特定する共通の情報を生成した通信装置を除く前記複数の通信装置へ前記画像を特定する共通の情報を通知する請求項6に記載の通信システム。
  8. 前記画像を特定する共通の情報を生成する通信装置が、前記映像情報を送信している通信装置、又は、前記画像保存指示が入力された通信装置である請求項7に記載の通信システム。
  9. 前記複数の通信装置のうちの1つにおいて前記画像を特定する共通の情報と共に前記画像の表示を指示する画像表示指示が入力された場合、前記複数の通信装置のそれぞれが、前記画像を特定する共通の情報に関連付けられた前記画像を表示する請求項6に記載の通信システム。
  10. 前記複数の通信装置のうちのいずれか1つが前記映像情報から前記画像を取得して保存するタイミングを規定したタイミング情報を生成し、前記タイミング情報を生成した通信装置を除く前記複数の通信装置へ前記タイミング情報を通知する請求項1に記載の通信システム。
  11. 前記タイミング情報を生成する通信装置が、前記映像情報を送信している通信装置、又は、前記画像保存指示が入力された通信装置である請求項10に記載の通信システム。
  12. 前記タイミング情報が、前記映像情報から前記画像の取得を行う時刻、又は、前記映像情報に関連付けられたタイミングを示す情報を含む請求項10に記載の通信システム。
  13. 相互にコンテンツデータの送信及び受信を行う複数の通信装置によって構成された通信システムのうちの通信装置であって、
    当該通信装置に接続されている映像情報出力装置から供給される送信映像情報に基づいて送信コンテンツデータを生成し、前記通信システムを構成する他の通信装置へ送信するコンテンツデータ送信部と、
    前記通信システムを構成する前記他の通信装置から受信する受信コンテンツデータに基づいて受信映像情報を復元して出力するコンテンツデータ受信部と、
    当該通信装置において入力される画像保存指示であって、前記送信映像情報及び前記受信映像情報のうちの特定の映像情報から画像を取得して保存するよう指示する前記画像保存指示に基づき、前記特定の映像情報から画像を取得して保存する指示を含む指示情報を生成して、前記通信システムを構成する前記他の通信装置に対して前記指示情報を送信する指示情報生成部とを、
    有する通信装置。
  14. 前記通信システムを構成する前記他の通信装置の1つから、前記送信映像情報及び前記受信映像情報のうちの特定の映像情報から画像を取得して保存するよう指示する画像保存指示を含む指示情報を受信する指示情報解釈部と、
    前記特定の映像情報から取得された前記画像を保持する画像保持部とを、
    更に有し、
    前記指示情報生成部又は前記指示情報解釈部は、
    当該通信装置によって送信中の前記送信映像情報に係る前記画像保存指示に基づいて、前記送信映像情報から前記画像を取得して前記画像保持部に保存するよう前記コンテンツデータ送信部に対して指示し、
    当該通信装置によって受信中の前記受信映像情報に係る前記画像保存指示に基づいて、前記受信映像情報から前記画像を取得して前記画像保持部に保存するよう前記コンテンツデータ受信部に対して指示する請求項13に記載の通信装置。
  15. 前記送信映像情報から前記画像を取得して保存するよう指示する前記画像保存指示の場合、前記送信映像情報に係る映像を安定化させるモードに通信モードを変更する請求項13に記載の通信装置。
  16. 前記送信映像情報から前記画像を取得して保存するよう指示する前記画像保存指示の場合、前記受信映像情報に係る映像の安定化が確認されてから前記画像の保存を行う請求項13に記載の通信装置。
  17. 前記画像保存指示に基づいて前記特定の映像情報から前記画像を取得して保存する際、前記特定の映像情報から画像を取得して保存するよう指示する新たな画像保存指示をブロックするブロック期間を設ける請求項13に記載の通信装置。
  18. 前記複数の通信装置のそれぞれに付与される前記画像を特定する共通の情報を用いて、前記画像を管理する請求項13に記載の通信装置。
  19. 前記画像を特定する共通の情報を生成し、前記通信システムを構成する前記他の通信装置に対して通知する請求項18に記載の通信装置。
  20. 前記送信映像情報から前記画像を取得して保存するよう指示する前記画像保存指示の場合、又は、前記他の通信装置に対して前記指示情報を送信する場合に、前記画像を特定する共通の情報を生成する請求項19に記載の通信装置。
  21. 当該通信装置において前記画像を特定する共通の情報と共に前記画像の表示を指示する画像表示指示が入力された場合、又は、前記画像表示指示を含む指示情報を前記他の通信装置の1つから受信した場合に、前記画像を特定する共通の情報に関連付けられた前記画像を表示する請求項18に記載の通信装置。
  22. 前記特定の映像情報から前記画像を取得して保存するタイミングを規定したタイミング情報を生成し、前記他の通信装置に対して通知する請求項13に記載の通信装置。
  23. 前記送信映像情報から前記画像を取得して保存するよう指示する前記画像保存指示の場合、又は、前記他の通信装置に対して前記指示情報を送信する場合に、前記タイミング情報を生成する請求項22に記載の通信装置。
  24. 前記タイミング情報が、前記特定の映像情報から前記画像の取得を行う時刻、又は、前記特定の映像情報に関連付けられたタイミングを示す情報を含む請求項22に記載の通信装置。
JP2014500186A 2012-06-07 2013-04-23 通信装置及び通信システム Pending JPWO2013183214A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014500186A JPWO2013183214A1 (ja) 2012-06-07 2013-04-23 通信装置及び通信システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012129534 2012-06-07
JP2012129534 2012-06-07
PCT/JP2013/002739 WO2013183214A1 (ja) 2012-06-07 2013-04-23 通信装置及び通信システム
JP2014500186A JPWO2013183214A1 (ja) 2012-06-07 2013-04-23 通信装置及び通信システム

Publications (1)

Publication Number Publication Date
JPWO2013183214A1 true JPWO2013183214A1 (ja) 2016-01-28

Family

ID=49711624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014500186A Pending JPWO2013183214A1 (ja) 2012-06-07 2013-04-23 通信装置及び通信システム

Country Status (3)

Country Link
US (1) US9154738B2 (ja)
JP (1) JPWO2013183214A1 (ja)
WO (1) WO2013183214A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3493533B1 (en) * 2016-08-01 2024-04-03 Sony Group Corporation Information processing device, information processing method, and program
JP6890868B1 (ja) * 2021-01-29 2021-06-18 株式会社toraru 遠隔地間で意思疎通を行うための端末装置
JP6986804B1 (ja) * 2021-09-15 2021-12-22 鉄太郎 中村 スポーツ上達支援装置及びスポーツ上達支援プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02280222A (ja) * 1989-04-21 1990-11-16 Mitsubishi Electric Corp 電子計算機システム
JPH11282417A (ja) * 1998-03-27 1999-10-15 Mitsubishi Electric Corp プラズマディスプレイ装置の駆動方法
JP2007018517A (ja) * 2006-07-10 2007-01-25 Fujitsu Ltd 3次元オブジェクト共有処理方法及び記憶媒体
JP2011216984A (ja) * 2010-03-31 2011-10-27 Brother Industries Ltd 通信システムおよび通信方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3230569B2 (ja) 1996-04-24 2001-11-19 富士ゼロックス株式会社 情報蓄積装置、情報蓄積方法および情報蓄積再生装置
JP3795772B2 (ja) 2001-06-25 2006-07-12 株式会社ノヴァ マルチメディア情報通信サービスシステム
JP2003091490A (ja) 2001-09-14 2003-03-28 Sony Corp ネットワーク情報処理システム及び情報処理方法
JP2005025399A (ja) 2003-06-30 2005-01-27 Yoshikazu Oda インターネットを使った情報交換手段
JP4216308B2 (ja) 2005-11-10 2009-01-28 シャープ株式会社 通話装置および通話プログラム
JP2007011389A (ja) 2006-07-10 2007-01-18 Nova:Kk 通信回線を使用した教育サービスシステムおよび教育サービス提供方法
JP4555365B2 (ja) 2008-06-09 2010-09-29 晴樹 上野 遠隔教育システムおよびマルチメディアコンテンツの表示制御方法
US8803991B2 (en) * 2011-10-12 2014-08-12 Cisco Technology, Inc. Snapshot capture in video stream

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02280222A (ja) * 1989-04-21 1990-11-16 Mitsubishi Electric Corp 電子計算機システム
JPH11282417A (ja) * 1998-03-27 1999-10-15 Mitsubishi Electric Corp プラズマディスプレイ装置の駆動方法
JP2007018517A (ja) * 2006-07-10 2007-01-25 Fujitsu Ltd 3次元オブジェクト共有処理方法及び記憶媒体
JP2011216984A (ja) * 2010-03-31 2011-10-27 Brother Industries Ltd 通信システムおよび通信方法

Also Published As

Publication number Publication date
CN103765872A (zh) 2014-04-30
US9154738B2 (en) 2015-10-06
WO2013183214A1 (ja) 2013-12-12
US20140160226A1 (en) 2014-06-12

Similar Documents

Publication Publication Date Title
AU2017254981B2 (en) Reduced latency server-mediated audio-video communication
US20160255308A1 (en) Technique for video conferencing
JP6172610B2 (ja) テレビ会議用システム
WO2012149796A1 (zh) 视频会议中视频资源管理的方法及装置
WO2014172907A1 (zh) 视频会议处理方法及设备
WO2013183214A1 (ja) 通信装置及び通信システム
CN107360471A (zh) 一种在会议电视系统中实现远程监控的方法及装置
JP5047467B2 (ja) 映像記録装置、映像記録システム、及び、映像記録方法
US10542213B2 (en) Imaging apparatus
JP2008236553A (ja) テレビ会議システムにおける端末装置、端末装置の制御方法、端末装置の制御プログラム
JP5621516B2 (ja) 遠隔通信端末、及び遠隔通信プログラム
JP5234744B2 (ja) 映像会議装置、映像会議方法、映像会議プログラムおよび記録媒体
JP2012156726A (ja) 情報処理装置、情報処理方法及びプログラム
JP2007243605A (ja) 通信装置、通信方法及びプログラム
JP4791213B2 (ja) 通信装置、通信方法及びプログラム
JP6481937B2 (ja) テレビ会議用通信装置
JP2014225148A (ja) 画像表示システム
JP6529635B2 (ja) 撮像装置、撮像方法、及びプログラム
JP2008227968A (ja) テレビ会議システムにおける端末装置、端末装置の制御方法、端末装置の制御プログラム
CN117336601A (zh) 显示方法、显示装置和电子设备
JP2023026844A (ja) 録画システム、録画再生装置、画像処理方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160816

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161122