JP4367651B2

JP4367651B2 - 通信装置

Info

Publication number: JP4367651B2
Application number: JP2006101578A
Authority: JP
Inventors: 好史谷本
Original assignee: Murata Machinery Ltd
Current assignee: Murata Machinery Ltd
Priority date: 2006-04-03
Filing date: 2006-04-03
Publication date: 2009-11-18
Anticipated expiration: 2026-04-03
Also published as: US20070233783A1; CN101051919A; JP2007281552A; CN101051919B

Description

本発明は、映像通信を行う通信装置に関するものである。

近年、通信技術の進展とネットワークのブロードバンド化に伴い、テレビ会議システムやテレビ電話システムなど、映像通信が一般的に行われるようになってきた。例えばテレビ会議システムでは、カメラなどで撮影している映像をリアルタイムで互いに送り合うことによって、異なる場所にいるユーザ同士が相手の様子など、会議の状況を見ながら議論を進めることができる。このようなテレビ会議システムにおいては、会議で用いる資料のデータは、予めファイルとして転送しておいたり、あるいは、別途カメラで資料を撮影し、映像あるいは画像として送信している。また、例えば特許文献１においては、テレビ電話システムにおいてファイルを多重化して送信している。

しかし、例えば資料などのデータのファイルを転送する必要がない相手先が存在する場合においても一括してファイルの転送を行っており、ネットワークに負荷がかかっていた。また、例えば相手に内容を閲覧だけさせたい場合や、データを相手に配布したい場合などのように、用途に合わせてデータの転送を行うことができないという問題があった。

特開２００３−１５８７２９号公報

本発明は、上述した事情に鑑みてなされたもので、映像の転送を行いながらデータの転送について柔軟に対処することが可能な通信装置を提供することを目的とするものである。

本発明は、映像を送信する側の通信装置において、ネットワークを通じて通信を行う通信手段と、映像にデータのイメージを合成した合成映像を前記通信手段から送信する合成手段と、前記合成映像中のフレーム情報及び前記データのイメージの位置を前記データに対応づけて記憶する記憶手段と、前記通信手段で受信したフレーム情報及び位置情報をもとに前記記憶手段から特定したデータを前記通信手段から送信するデータ転送手段を有することを特徴とするものである。あるいは、ネットワークを通じて通信を行う通信手段と、映像にデータのイメージを合成した合成映像を前記通信手段から送信する合成手段と、前記合成映像中のフレーム情報及び前記データのイメージの位置を前記データに対応づけた管理情報を前記通信手段から送信するとともに前記通信手段で受信したデータ転送の要求に応じてデータを前記通信手段から送信するデータ転送手段を有することを特徴とするものである。

また本発明は、映像を受信する側の通信装置において、ネットワークを通じて通信を行う通信手段と、映像にデータのイメージが合成された前記通信手段で受信した合成映像を表示する表示手段と、表示された合成映像中の位置をユーザが指定可能な指定手段と、前記指定手段でユーザにより指定された前記合成映像中の位置情報及び再生中のフレーム情報を前記通信手段に送信させて対応するデータを前記通信手段に受信させるデータ取得手段を有することを特徴とするものである。あるいは、ネットワークを通じて通信を行う通信手段と、映像にデータのイメージが合成された前記通信手段で受信した合成映像を表示する表示手段と、表示された合成映像中の位置をユーザが指定可能な指定手段と、前記通信手段で受信した前記合成映像中のフレーム情報及び前記データのイメージの位置とデータとを対応づけた管理情報に従って前記指定手段でユーザにより指定された前記合成映像中の位置情報及び再生中のフレーム情報からデータを特定して前記通信手段から該データの転送を送信元に要求して該データを前記通信手段に受信させるデータ取得手段を有することを特徴とするものである。

なお、送信側と通信側の通信装置間でデータの転送を行う際には、合成映像を送信する通信コネクションとは異なる通信コネクションを用いて行うことができる。

本発明によれば、映像と合成されているデータのイメージを受信側の通信装置でユーザが指定することによって、その指定した位置情報が送信側の通信装置に送られ、対応するデータが受信側の通信装置に送られる。このように、データの転送は受信側の通信装置から要求した時のみ行われるので、ユーザの要求に応じた柔軟なデータの転送を行うことができる。また、必要な時にしかデータを転送しないので、ネットワークの負荷を軽減することができるという効果がある。

図１は、本発明の第１の実施の形態を示すブロック図である。図中、１は送信側通信装置、２は受信側通信装置、３はデータ交換ネットワーク、１１は通信部、１２は撮像部、１３は合成部、１４は記憶部、１５はファイル、１６は管理情報、１７はデータ転送部、２１は通信部、２２は表示部、２３は指示部、２４はデータ取得部、２５は記憶部である。図１に示した例では、送信側通信装置１と受信側通信装置２とがデータ交換ネットワーク３を通じて通信可能に接続されている。なお、データ交換ネットワーク３には他にも様々な通信装置が接続されていてよく、例えば送信側通信装置１が複数存在していても良いし、受信側通信装置２が複数存在していても良い。

送信側装置１は、この例では通信部１１、撮像部１２、合成部１３、記憶部１４、データ転送部１７等を含んで構成されている。通信部１１は、データ交換ネットワーク３を通じて、受信側通信装置２などとの通信を行う。なお、後述するようにこの通信部１１から合成映像の送信やデータの転送を行うが、これらの送信はそれぞれ別の通信コネクションを用いて行う。

撮像部１２は、送信する映像を撮影する。なお、送信する映像は、この撮像部１２によって撮影されたものでなくても、予め用意された映像データを使用しても良い。

合成部１３は、送信する映像に、関連するデータのイメージを合成した合成映像を作成し、通信部１１から送信する。データは、記憶部１４にファイル１５として記憶されているものとする。合成の際に、合成映像中のデータのイメージの位置を、合成したデータあるいはファイル１５に対応づけて管理情報１６として記憶部１４に記憶させておく。

記憶部１４は、送信側通信装置１で記憶しておく必要がある様々な情報を記憶しておく。特にここでは、映像と合成するデータを記憶しておくファイル１５や、合成部１３で映像と合成したデータのイメージの合成映像中での位置をデータあるいはファイル１５に対応づけた管理情報１６などを記憶する。

データ転送部１７は、受信側通信装置２からのデータ転送の要求を通信部１１で受信した時、送られてきた位置情報をもとに、記憶部１４に記憶されている管理情報１６において対応づけられているデータあるいはファイル１５を特定し、特定したデータあるいは特定したファイル１５中のデータを通信部１１から受信側通信装置２に対して送信する。

受信側通信装置２は、この例では通信部２１、表示部２２、指示部２３、データ取得部２４、記憶部２５等を含んで構成されている。通信部２１は、データ交換ネットワーク３を通じて、送信側通信装置１などとの通信を行う。例えば送信側通信装置１から合成映像を受信したり、データの転送要求を送信してデータを受信するなどの通信を行うことができる。これらの通信は、別の通信コネクションを用いて行うことができる。

表示部２２は、受信側通信装置２においてユーザに提示する各種の情報を表示することができる。表示する情報として、例えば通信部２１で受信した、映像にデータのイメージを合成した合成画像を表示することができる。

指示部２３は、受信側通信装置２においてユーザが行う各種の指示を受け付ける。指示の一つとして、表示部２２に表示された合成画像中の１点あるいは領域をユーザが指定したとき、その指定された位置を受け付ける。

データ取得部２４は、指定部２３でユーザにより指定された合成画像中の位置情報、さらにはそのとき表示部２２に表示されている合成画像を特定する、例えばフレーム番号などを含めて、データの転送を通信部２１を介して送信側通信装置１に要求し、対応するデータを通信部２１に受信させる。

記憶部２５は、受信側通信装置２で保存が必要な各種の情報を記憶しておく。例えば受信した合成映像を必要に応じて記憶しておいたり、データ取得部２４で要求したデータを受信したときに、そのデータを記憶しておくことができる。

次に、本発明の第１の実施の形態における動作の一例について説明する。図２は、本発明の第１の実施の形態における送信側通信装置１の映像送信時の処理の一例を示すフローチャート、図３は、同じく映像送信時の処理の一例の説明図である。まずＳ３１において、映像とは別に送信するファイル１５（データ）が存在するか否かを判定し、データの転送の必要がなければ、Ｓ３８において映像を通信部１１から受信側通信装置２に対して送信する。

送信するファイル１５が存在する場合には、Ｓ３２においてファイル１５を読み込み、Ｓ３３において、ファイル１５の内容をイメージ化する。図３（Ａ）はファイル１５が複数ページのデータであることを示している。Ｓ３３でイメージ化する際には、それぞれのページについてイメージ化したり、あるいはファイル１５の代表ページ（例えば１ページ目）のみをイメージ化してもよく、それらを適宜切り替え可能にしても良い。

Ｓ３４において、Ｓ３３で作成した１ないし複数のイメージをまとめて映像と合成するためのインデックス画像を作成する（図３（Ｂ））。このとき、インデックス画像中のそれぞれのイメージの位置を算出する。例えば図３（Ｂ）においては、黒丸で示した位置を算出する。

Ｓ３５において、送信する映像とＳ３４で作成したインデックス画像を合成部１３により合成する（図３（Ｃ））。これにより映像とファイル１５の内容とが合成されたことになる。合成の際に、映像中のインデックス画像の位置が分かるので、Ｓ３６において、映像中のインデックス画像の位置をもとにＳ３４で算出した各イメージの位置を映像中の位置に再計算する。図３（Ｄ）には、映像中に合成された１つのイメージについて、映像中の位置を再計算し、その結果、四隅の位置が（ｘ１，ｙ１）、（ｘ２，ｙ１）、（ｘ１，ｙ２）、（ｘ２，ｙ２）であった場合を示している。

Ｓ３７において、Ｓ３６で再計算されたイメージの位置から管理情報１６を作成し、記憶部１４に記憶させる。図４は、管理情報の一例の説明図である。図４に示した管理情報１６の一例では、インデックス画像を合成した映像中のフレーム番号と、インデックス画像中に存在するイメージの元となったファイル名とページ番号、それにＳ３６で再計算したイメージの位置とを対応づけている。映像は一般に多数のフレーム画像を時系列に並べたものと考えることができ、１つの映像中に時間を変えて異なるイメージを含むインデックス画像を合成した場合でも、フレーム画像を特定するフレーム番号によって区別することにより、それぞれのイメージを識別することが可能である。もちろん、フレーム番号の代わりに映像の先頭からの時間を対応づけるなど、他の方法により映像の特定を行うようにしてもよいし、あるいは、１つの映像中に同じインデックス画像しか合成しないのであれば、フレーム番号等の情報は不要である。また、インデックス画像中のイメージをページ単位ではなくファイル単位で作成する場合には、ページの欄も不要である。もちろん、このほかの種々の情報を対応づけておくこともできる。

Ｓ３８において、Ｓ３５で映像とインデックス画像を合成した合成映像を通信部１１から受信側通信装置２に対して送信する。このようにして、ファイル１５の内容のイメージを映像と合成して受信側通信装置２へ送信することができる。

図５は、本発明の第１の実施の形態における受信側通信装置２の映像受信時の処理の一例を示すフローチャート、図６は、同じく表示されている映像の一例の説明図である。Ｓ４１において、映像の新たなフレームを通信部２１で受信するまで待った後、Ｓ４２において、受信した新たなフレームを表示部２２に表示し、映像を再生する。例えば図６に示すように、インデックス画像が合成された映像が表示部２２に表示される。

受信側通信装置２のユーザは、再生された映像を参照すると、インデックス画像として表示されているイメージも参照することになる。このイメージ化された情報が必要な場合には、イメージを指定部２３で指定することによって、指定したイメージに対応するデータの取得を要求することができる。図６においては、矢印により上のイメージを指定した例を示している。

Ｓ４３において、指定部２３に対してユーザが指示を行ったか否かを判定する。指示を行っていなければ、Ｓ４１へ戻って映像の再生を続ける。ユーザが指示を行った場合には、データ取得部２４は、Ｓ４４において、現在表示中の映像のフレーム番号を取得するとともに、Ｓ４５において、ユーザが指示した映像中の位置を取得する。そしてＳ４６において、フレーム番号とユーザが指示した位置によりファイル取得要求コマンドを作成し、Ｓ４７において、ファイル取得要求コマンドを通信部２１から送信側通信装置１に対して送信する。その後はＳ４１に戻って映像の再生を続けるとともに、送ったファイル取得要求コマンドに対する応答の処理を並行して行う。

なお、フレーム番号を使用していない場合、例えば受信している映像において合成されているインデックス画像が変更されないような場合には、Ｓ４４の処理は不要であり、またＳ４５においてはユーザが指定した位置によりファイル取得要求コマンドを作成すればよい。

図７は、本発明の第１の実施の形態における送信側通信装置１のファイル取得要求コマンド受信時の処理の一例を示すフローチャートである。Ｓ５１において、受信側通信装置２からファイル取得要求コマンドを受信したか否かを判定し、ファイル取得要求コマンドが受信されるまで待つ。

ファイル取得要求コマンドが受信されると、Ｓ５２において、受信したファイル取得要求コマンドからフレーム番号とユーザが指定した位置の情報を取得する。なお、フレーム番号を使用していない場合には、フレーム番号は取得しなくてよい。

Ｓ５３において、記憶部１４から管理情報１６を読み込み、Ｓ５４において、Ｓ５２で取得したフレーム番号および位置情報から、対応するファイルの情報（図４に示した管理情報の例ではファイル名およびページの情報）を取得する。

Ｓ５５において、対応するファイルの情報を取得できたか否かを判定する。対応するファイルの情報が存在しない場合には、Ｓ５９において、否定応答を行う応答コマンドを通信部１１から受信側通信装置２に対して送信し、ファイル取得要求コマンド受信時の処理を終える。

対応するファイルの情報が取得できた場合には、Ｓ５６において、肯定応答を行う応答コマンドを通信部１１から受信側通信装置２に対して送信し、Ｓ５７において、ファイルを転送するための新たな通信コネクションを確立して、Ｓ５８において、記憶部１４に記憶されている対応するファイル１５（ファイル１５の該当ページ）を受信側通信装置２に対して転送する。これにより、ファイル取得要求コマンド受信時の処理を終える。

図８は、本発明の第１の実施の形態における受信側通信装置２のファイル取得要求コマンド送信後の処理の一例を示すフローチャートである。図４のＳ４７においてファイル取得要求コマンドを送信した後、Ｓ６１において、送信側通信装置１からの応答コマンドを待つ。送信側通信装置１から応答コマンドを受信したら、Ｓ６２において、受信した応答コマンドが肯定応答か否定応答かを調べる。受信した応答コマンドが否定応答の場合には、Ｓ６５において、例えば該当するファイルが存在しない旨のメッセージを表示部２２に表示するなど、エラー時の処理を行ってこの処理を終える。

受信した応答コマンドが肯定応答の場合には、Ｓ６３において、ファイルの転送を受けるための新たな通信コネクションを確立し、Ｓ６４において、ファイル（あるいはファイルのページ）の転送を受ける。受信したファイル（あるいはページ）は記憶部２５に記憶して処理を終える。記憶部２５に記憶したファイルあるいはファイルのページは、別途ユーザがアクセスを行って内容を参照すればよい。あるいは、受信したファイルあるいはファイルのページを表示部２２に自動的に表示するように構成しても良い。

図９は、本発明の第１の実施の形態における送信側通信装置１と受信側通信装置２との通信の概要の説明図である。図２，図７によって送信側通信装置１の動作の一例を，また図５，図８によって受信側通信装置２の動作の一例を、それぞれ説明した。ここでは、両者の通信をもとに、これらの動作の関係について説明する。

この例では送信側通信装置１から受信側通信装置２に対して通信コネクションの開始を要求するコマンド（例えばＩＮＶＩＴＥコマンド）を（７１）で送信し、受信側通信装置２からそのコマンドを受け付けた旨のコマンド（例えばＯＫコマンド）を（７２）で送信側通信装置１へ返し、（７３）に示すように通信コネクションが開始される。もちろん、受信側通信装置２から送信側通信装置１に対して通信コネクションの開始を要求してもよい。この例では、メディアセッションとして映像用のＲＴＰコネクションを確立している。

送信側通信装置１は、開始した通信コネクションを用いて映像を転送する。この例では、映像の転送開始時には映像のみを転送し（７４）、途中から映像とインデックス画像を合成して転送している（７５）。このように、インデックス画像は必要に応じて映像と合成すればよく、また合成するインデックス画像も任意の時点で変更することができる。このようなインデックス画像との合成を行っても、転送する映像の内容が変わるだけで同じ通信コネクションを用いて通信を行うことができる。映像を受信した受信側通信装置２では、図５に示した動作の一例に従って映像を表示部２２に表示したり、あるいはさらに記憶部２５に映像を保存しておくことができる。

受信側通信装置２では、表示されている映像中をユーザが指定した場合、その指定した位置やフレーム番号などを（８１）においてファイル取得要求コマンド（例えばＩＮＶＩＴＥコマンド）として送信側通信装置１へ送信する。ここでは、例えば図５に示すようにインデックス画像が合成された映像が表示されているときに、ファイルまたはファイルのページのイメージ上で、そのファイルまたはファイルのページに対する転送をユーザが指定したものとする。このユーザからの指定により、図５のＳ４３以降の処理が行われ、（８１）に示すファイル取得要求コマンドが受信側通信装置２から送信側通信装置１へ送られることになる。

このファイル取得要求コマンドに対して、送信側通信装置１は図７に示した処理を行う。受信したファイル取得要求コマンドから位置情報やフレーム番号などを取り出し、対応するファイルやページの情報があるか否かを管理情報１６から調べる。対応するファイルやページの情報があれば、ファイル取得要求コマンドを受け付けた旨のコマンド（例えばＯＫコマンド）を（８２）で受信側通信装置２へ返し、（８３）で新たな通信コネクションを確立する。この通信コネクションは、（７３）で確立した映像を転送するための通信コネクションとは別に設ける。従って、（８１）以降の通信は（７３）で確立した通信コネクションを用いた映像の転送と並行して行うことができる。この例では、メディアセッションとしてファイル転送用のＴＣＰコネクションを確立している。もちろん、その上位のプロトコルであるＦＴＰやＨＴＴＰのコネクションについても確立する。

なお、対応するファイルやページの情報がなければ、エラーのコマンドを受信側通信装置２へ送り、受信したファイル取得要求コマンドに対する処理を終える。また受信側通信装置２も図８に示した動作の一例に従い、エラーのコマンドを受け取ってエラー処理を行う。

新たな通信コネクションを確立したら、その通信コネクションを用いて、ファイル取得要求コマンド中で指定されていた位置情報やフレーム番号に対応するファイルやページの情報を転送する（８４）。受信側通信装置２は、図８に示した動作の一例に従ってファイルやページの情報を受信して記憶部２５などに保存する。

転送が終了したら、このファイルやページの情報の転送に用いていた通信コネクションを切断する（８５）。通信コネクションの切断は、例えばＢＹＥコマンドなどにより行うことができる。なお、映像を転送していた通信コネクションはそのまま継続されているので、この通信コネクションの切断によって表示されている映像の再生が終了することはない。

なお、インデックス画像が合成された映像中の複数のファイルやページがユーザにより指定された場合には、それらの位置情報を一括してファイル取得要求コマンドとして受信側通信装置２から送信側通信装置１へ送ることも可能である。この場合、送信側通信装置１は指定されたそれぞれのファイルやページについて対応する通信コネクションを確立し、ファイルやページの情報を並列して転送することができる。もちろん、データ転送用の１つの通信コネクションを確立して、これを用いて順にファイルやページの情報を転送してもよい。

このようにして、送信側通信装置１は必要に応じてインデックス画像を映像と合成して送信し、受信側通信装置２は受信した映像を見ながら、必要に応じてデータの取得を指示することによって、対応するデータ（ファイルやファイルのページ）を受信することができる。このように、ファイルやファイル中のページのデータは、転送の必要が生じたときのみしか転送を行わないので、データ交換ネットワーク３の負荷を軽減することができる。また、受信側通信装置２においては、ユーザが必要と考えたデータのみしか転送しないため、不必要なデータ転送によるデータの蓄積をなくし、データの管理を容易に行うことができる。さらに送信側通信装置１においても、必要なデータを必要なときに受信側通信装置２に提示することができる。

また、例えば送信側通信装置１が複数の受信側通信装置２に映像を配信している場合、インデックス画像を合成した映像と合成を行っていない映像を送信先に応じて選択して配信したり、インデックス画像を合成して配信する場合でも、送信先に応じたインデックス画像を合成して配信することもできる。これによって、配信先によりデータの転送を可能にするか否か、あるいはどのデータを転送可能にするかを送信側通信装置１が制御することができる。なお、このように複数の受信側通信装置２に映像を配信する場合、それぞれの受信側通信装置２との間で別々の通信コネクションを確立して通信することになる。またデータの転送時には、転送する受信側通信装置２との間でさらに別の通信コネクションを確立することは上述の通りである。

図１０は、本発明の第２の実施の形態を示すブロック図である。図中、図１と同様の部分には同じ符号を付して重複する説明を省略する。２６は管理情報である。上述の第１の実施の形態では、合成映像中のデータのイメージの位置を、合成したデータあるいはファイル１５に対応づけた管理情報を送信側通信装置１が記憶しているが、この第２の実施の形態では、管理情報を受信側通信装置２へ送り、受信側通信装置２が管理情報２６として記憶部２５に保存しておく例を示している。

送信側通信装置１の合成部１３は、送信する映像に、関連するデータのイメージを合成した合成映像を作成して通信部１１から送信するとともに、合成映像を作成する際に、合成映像中のデータのイメージの位置を、合成したデータあるいはファイル１５に対応づけた管理情報を作成し、この管理情報についても通信部１１から受信側通信装置２に対して送信する。管理情報の転送方法は任意である。なお、管理情報を記憶部１４に記憶させておくことは任意に行うことができる。

データ転送部１７は、受信側通信装置２からのデータ転送の要求を通信部１１で受信した時、送られてきたデータを特定する情報をもとに、記憶部１４に記憶されている対応するデータを通信部１１から受信側通信装置２に対して送信する。

受信側通信装置２の通信部２１は、送信側通信装置１から合成映像を受信したときに、その合成映像の管理情報２６を送信側通信装置１から受信して記憶部２５に記憶させる。

データ取得部２４は、指定部２３でユーザにより指定された合成画像中の位置情報をもとに、記憶部２５に記憶されている管理情報２６を参照し、対応するデータの情報を取得して、そのデータの情報を通信部２１から送信側通信装置１に対して送り、データの転送を要求する。そして、この要求に対して送信側通信装置１から送られてくるデータを通信部２１に受信させる。

次に、本発明の第２の実施の形態における動作の一例について説明する。図１１は、本発明の第２の実施の形態における送信側通信装置１の映像送信時の処理の一例を示すフローチャートである。なお、図２と同様の処理を行う部分には同じ符号を付してあり、Ｓ３１〜Ｓ３８までの処理は上述の第１の実施の形態とほぼ同様である。なお、Ｓ３７において作成した管理情報は、必要に応じて記憶部１４に記憶すればよい。管理情報としては、上述の図４に示したように、少なくとも位置情報と、ファイルやページなどのデータを特定する情報を含む、各種の情報から構成することができる。

Ｓ１０１において、Ｓ３７で作成した管理情報を転送するコマンドを作成し、そのコマンドをＳ１０２において受信側通信装置２に対して通信部１１から送信する。このようにして、例えばファイル１５の内容などのデータのイメージを映像と合成して受信側通信装置２へ送信するとともに、そのイメージの映像中の位置とデータとを対応づけた管理情報を受信側通信装置２へ送ることができる。

図１２は、本発明の第２の実施の形態における受信側通信装置２の映像受信時の処理の一例を示すフローチャートである。なお、図５と同様の処理を行う部分には同じ符号を付してあり、Ｓ４１〜Ｓ４５までの処理は上述の第１の実施の形態とほぼ同様である。Ｓ４１において映像の新たなフレームが受信されていないと判断された場合、さらにＳ１１４において管理情報２６を受信したか否かを判定し、これによって、映像の新たなフレームか管理情報２６が受信されるまで待つことになる。Ｓ１１４で管理情報２６が受信されたと判断された場合、Ｓ１１５において、受信された管理情報２６を記憶部２５に記憶しておく。

Ｓ４１で映像の新たなフレームを受信したと判断された場合には、第１の実施の形態と同様に、受信したフレームを表示部２２に表示する。その表示を参照したユーザが映像中の位置を指定すると、Ｓ４４で再生中のフレーム番号が取得され、Ｓ４５で指定された位置が取得される。この第２の実施の形態では、Ｓ１１１において、記憶部２５に記憶されている管理情報２６を取り出し、その管理情報からＳ４３，４４で取得されたフレーム番号と位置に対応するデータの情報、例えばファイル名やその中の頁番号などを取得する。この取得されたデータの情報をもとに、Ｓ１１２においてデータの転送を要求するコマンド（ここではファイル取得要求コマンドとする）を作成し、Ｓ１１３において、そのファイル取得要求コマンドを送信側通信装置１へ通信部２１から送信する。なお、フレーム番号を用いていない場合や、映像中に合成されているインデックス画像の更新とともに新たな管理情報が送られてくる場合には、最新の管理情報を利用すればフレーム番号の取得は不要である。

図１３は、本発明の第２の実施の形態における送信側通信装置１のファイル取得要求コマンド受信時の処理の一例を示すフローチャートである。なお、図７と同様の処理を行う部分には同じ符号を付して重複する説明を省略する。Ｓ５１で受信側通信装置２からファイル取得要求コマンドを受信したと判定すると、Ｓ１２１において、受信したファイル取得要求コマンドからファイル名や頁番号などのデータの情報を取得する。Ｓ１２２において、要求されたデータが存在するか否かを判定し、存在しなければＳ５９において否定応答を行う応答コマンドを通信部１１から受信側通信装置２に対して送信するなどのエラー処理を行い、ファイル取得要求コマンド受信時の処理を終える。

要求されたファイル１５やそのページなどのデータが取得できたら、上述の第１の実施の形態の場合と同様に、Ｓ５６において肯定応答を行う応答コマンドを通信部１１から受信側通信装置２に対して送信し、Ｓ５７において新たな通信コネクションを確立する。そして、その新たな通信コネクションを用いて、要求されたデータをＳ５８において受信側通信装置２へ転送する。これにより、ファイル取得要求コマンド受信時の処理を終える。

なお、本発明の第２の実施の形態における受信側通信装置２のファイル取得要求コマンド送信後の処理は、上述の図８に示した第１の実施の形態における処理と同様であるので、ここでは詳細な説明を省略する。簡単には、送信側通信装置１から応答コマンドを受信したら新たな通信コネクションを確立し、その通信コネクションを用いてデータを受信する。

図１４は、本発明の第２の実施の形態における送信側通信装置１と受信側通信装置２との通信の概要の説明図である。図１１，図１３によって第２の実施の形態における送信側通信装置１の動作の一例を，また図１２（及び図８）によって第２の実施の形態における受信側通信装置２の動作の一例を、それぞれ説明した。ここでは、両者の通信をもとに、これらの動作の関係について説明する。（７１）〜（７５）までの通信を開始してから映像（合成映像）を転送するまでの通信は、上述の第１の実施の形態と同様である。

この第２の実施の形態では、（７５）でインデックス画像を合成した合成映像を転送した場合に、その合成画像中のデータのイメージの位置とデータの情報とを対応づけた管理情報を（１３１）において送信側通信装置１から受信側通信装置２へ送る。管理情報は、例えばＭＥＳＳＡＧＥコマンドなどを用いて送信することができる。あるいは別の通信コネクションを確立して送ってもよい。受信側通信装置２では、図１２のＳ１１５において、受信した管理情報を記憶部２５に記憶しておく。

受信側通信装置２では、表示されている映像中をユーザが指定した場合、図１２のＳ４４以降の処理によって管理情報からデータの情報を取得し、（８１）においてファイル取得要求コマンド（例えばＩＮＶＩＴＥコマンドなど）として送信側通信装置１へ送信する。

このファイル取得要求コマンドに対して、送信側通信装置１は図１３に示した処理を行う。受信したファイル取得要求コマンドからデータの情報を取得し、対応するファイルやページなどのデータが存在するか否かを調べる。データが存在すれば、ファイル取得要求コマンドを受け付けた旨のコマンド（例えばＯＫコマンド）を（８２）で受信側通信装置２へ返し、（８３）で新たな通信コネクションを確立して、その新たな通信コネクションを用いて、要求されたデータを受信側通信装置２へ転送する（８４）。新たな通信コネクションは、この例ではメディアセッションとしてファイル転送用のＴＣＰコネクションを確立している。もちろん、その上位のプロトコルであるＦＴＰやＨＴＴＰのコネクションについても確立する。受信側通信装置２は、図８に示した動作の一例に従ってファイルやページの情報を受信して記憶部２５などに保存する。

転送が終了したら、データの転送に用いていた通信コネクションを切断する（８５）。通信コネクションの切断は、例えばＢＹＥコマンドなどにより行うことができる。なお、映像を転送していた通信コネクションはそのまま継続されているので、この通信コネクションの切断によって表示されている映像の再生が終了することはない。

このようにして、この第２の実施の形態においても、上述の第１の実施の形態と同様、送信側通信装置１は必要に応じてインデックス画像を映像と合成して送信し、受信側通信装置２は受信した映像を見ながら、必要に応じてデータの取得を指示することによって、対応するデータ（ファイルやファイルのページ）を受信することができる。従って、上述の第１の実施の形態と同様の利点を享受することができる。また、この第２の実施においても第１の実施の形態と同様に各種の変形が可能である。

上述の第１，第２の実施の形態における通信の概要では映像（合成映像）とデータとで異なる通信コネクションを用いているが、これらは例えばＴＣＰ、ＵＤＰや、さらに上位の通信プロトコル（ＨＴＴＰ，ＦＴＰ，ＲＴＰなど）を利用して実現することができる。

上述のような本発明の第１，第２の実施の形態及びその変形などのシステムは、例えばテレビ会議システム等に適用することができる。例えば会議の様子や、話者などの特定の人物などを撮影した映像を各拠点に配信し、会議を進める。その会議の過程で資料が必要となったときや、資料の提供の適時となったときに、資料のイメージを映像と合成した合成画像を配信する。このとき第２の実施の形態では管理情報も送信しておく。もちろん、各拠点とも合成画像でなくてもよいし、拠点毎に合成するイメージを異ならせて配付しようとする資料を拠点毎に異ならせてもよい。映像を参照している各拠点において、映像中に表示された資料のイメージを参照し、必要ならばそのイメージを指示することによって、対応する資料の転送を受けることができる。

このようにして、従来のように予め資料をすべて送信しておいたり、会議中に資料を撮影して送るなどといった手間を要せず、送信側は必要なときに必要な拠点に対して資料の存在を提示し、各拠点では必要な資料のみを受信することができる。

もちろん、本発明はテレビ会議システムによらず、各種の映像配信を伴う用途に適用可能である。

本発明の第１の実施の形態を示すブロック図である。本発明の第１の実施の形態における送信側通信装置１の映像送信時の処理の一例を示すフローチャートである。本発明の第１の実施の形態における送信側通信装置１の映像送信時の処理の一例の説明図である。管理情報の一例の説明図である。本発明の第１の実施の形態における受信側通信装置２の映像受信時の処理の一例を示すフローチャートである。本発明の第１の実施の形態における受信側通信装置２に表示されている映像の一例の説明図である。本発明の第１の実施の形態における送信側通信装置１のファイル取得要求コマンド受信時の処理の一例を示すフローチャートである。本発明の第１の実施の形態における受信側通信装置２のファイル取得要求コマンド送信後の処理の一例を示すフローチャートである。本発明の第１の実施の形態における送信側通信装置１と受信側通信装置２との通信の概要の説明図である。本発明の第２の実施の形態を示すブロック図である。本発明の第２の実施の形態における送信側通信装置１の映像送信時の処理の一例を示すフローチャートである。本発明の第２の実施の形態における受信側通信装置２の映像受信時の処理の一例を示すフローチャートである。本発明の第２の実施の形態における送信側通信装置１のファイル取得要求コマンド受信時の処理の一例を示すフローチャートである。本発明の第２の実施の形態における送信側通信装置１と受信側通信装置２との通信の概要の説明図である。

符号の説明

１…送信側通信装置、２…受信側通信装置、３…データ交換ネットワーク、１１…通信部、１２…撮像部、１３…合成部、１４…記憶部、１５…ファイル、１６…管理情報、１７…データ転送部、２１…通信部、２２…表示部、２３…指示部、２４…データ取得部、２５…記憶部、２６…管理情報。

Claims

ネットワークを通じて通信を行う通信手段と、映像にデータのイメージを合成した合成映像を前記通信手段から送信する合成手段と、前記合成映像中のフレーム情報及び前記データのイメージの位置を前記データに対応づけて記憶する記憶手段と、前記通信手段で受信したフレーム情報及び位置情報をもとに前記記憶手段から特定したデータを前記通信手段から送信するデータ転送手段を有することを特徴とする通信装置。
ネットワークを通じて通信を行う通信手段と、映像にデータのイメージを合成した合成映像を前記通信手段から送信する合成手段と、前記合成映像中のフレーム情報及び前記データのイメージの位置を前記データに対応づけた管理情報を前記通信手段から送信するとともに前記通信手段で受信したデータ転送の要求に応じてデータを前記通信手段から送信するデータ転送手段を有することを特徴とする通信装置。
前記通信手段は、前記合成映像を送信する通信コネクションとは異なる通信コネクションを用いて前記データを送信することを特徴とする請求項１または請求項２に記載の通信装置。
ネットワークを通じて通信を行う通信手段と、映像にデータのイメージが合成された前記通信手段で受信した合成映像を表示する表示手段と、表示された合成映像中の位置をユーザが指定可能な指定手段と、前記指定手段でユーザにより指定された前記合成映像中の位置情報及び再生中のフレーム情報を前記通信手段に送信させて対応するデータを前記通信手段に受信させるデータ取得手段を有することを特徴とする通信装置。
ネットワークを通じて通信を行う通信手段と、映像にデータのイメージが合成された前記通信手段で受信した合成映像を表示する表示手段と、表示された合成映像中の位置をユーザが指定可能な指定手段と、前記通信手段で受信した前記合成映像中のフレーム情報及び前記データのイメージの位置とデータとを対応づけた管理情報に従って前記指定手段でユーザにより指定された前記合成映像中の位置情報及び再生中のフレーム情報からデータを特定して前記通信手段から該データの転送を送信元に要求して該データを前記通信手段に受信させるデータ取得手段を有することを特徴とする通信装置。
前記通信手段は、前記合成映像を受信している通信コネクションとは異なる通信コネクションを用いて前記データを受信することを特徴とする請求項４または請求項５に記載の通信装置。