JP6003215B2 - 情報伝送装置、情報伝送プログラム、及び情報伝送システム - Google Patents

Description

本発明は、情報伝送装置、情報伝送プログラム、及び情報伝送システムに関する。

従来では、例えばタッチディスプレイや、マイク、スピーカ、カメラ等を備えた端末間において、打ち合わせ等の音声データや、図面等の静止画像データ、又は手書き画像データを随時伝送する情報伝送システムが既に知られている（例えば、特許文献１参照）。

ところで、上述したような情報伝送システムでは、伝送されるデータが共通の目的や対象を有する等、データ間で関連がある場合には、その関連する情報を各データ間で保持して管理することが好ましい。

しかしながら、従来の手法では、例えばカメラ等により撮像した複数の画像のうち、例えば先に撮像したオブジェクトの一部を次に拡大して撮像した画像があったとしても、その画像間における同一オブジェクトの関連を考慮した表示をすることできなかった。したがって、例えば端末間においてその関連を示しながら、複数の画像を共有することができず、不便が生じていた。

本発明は、上記の課題に鑑みてなされたものであり、複数の画像間における同一オブジェクトの関連を表示することが可能な情報伝送装置、情報伝送プログラム、及び情報伝送システムを提供することを目的とする。

上記目的を達成するために、本発明の情報伝送装置は、取得した複数の画像に含まれる同一オブジェクトの相対位置を判定する相対位置判定手段と、前記複数の画像に含まれる同一オブジェクトの相対サイズを判定する相対サイズ判定手段と、前記相対位置判定手段により判定された相対位置又は前記相対サイズ判定手段により判定された相対サイズを用いて、前記同一オブジェクトの関連を示す画像を生成する画像生成手段とを有することを特徴とする。

本発明によれば、複数の画像間における同一オブジェクトの関連を表示することが可能となる。

本実施形態に係る情報伝送システムの概略構成の一例を示す図である。 サーバ・クライアント形式の情報伝送システムの一例を示す図である。 情報伝送装置、情報記録装置のハードウェア構成の一例を示す図である。 データ格納手段に格納された各テーブルの一例を示す図である。 相対位置及び相対サイズ判定手順の一例を示すフローチャートである。 相対サイズを示す画像の一例を示す図である。 相対位置を示す画像の一例を示す図である。 相対位置を示す画像を生成する画像生成手順の一例を示すフローチャートである。 シングルウィンドウの場合の動作の流れの一例を示すフローチャートである。 マルチウィンドウの場合の動作の流れの一例を示すフローチャートである。 撮像手段による撮像可能範囲を説明する図である。 操作情報を用いて相対位置の領域を表示する画像の一例を示す図である。 操作情報を用いた場合の手順の一例を示すフローチャートである。 類似度が低いことを示すアイコンを表示する画像の一例を示す図である。

以下、本発明の実施の形態について詳細に説明する。

＜情報伝送システム＞
図１は、本実施形態に係る情報伝送システムの概略構成の一例を示す図である。図１に示すように、情報伝送システム１００は、複数の情報伝送装置１０−１〜１０−４を有するように構成される。複数の情報伝送装置１０−１〜１０−４は、通信ネットワーク２０を介して接続される。通信ネットワーク２０は、無線又は有線であっても良く、専用回線であっても良い。なお、通信ネットワーク２０に接続される情報伝送装置１０−１〜１０−４の装置数についてはこれに限定されない。

また、情報伝送装置１０−１は、遠隔地の拠点等と通信可能な通信装置３０を介して通信ネットワーク２０に接続される。情報伝送装置１０−１は、通信装置３０により、通信ネットワーク２０を介して、他の拠点に設置された情報伝送装置１０−２〜１０−４のうち少なくとも１つと接続して、データを送受信することが可能となる。

なお、通信装置３０は、情報伝送装置１０−１に内蔵する通信手段として設けても良い。また、情報伝送装置１０−２〜１０−４と、ネットワーク２０との間に通信装置３０が設けられていても良い。

上述した情報伝送装置１０−１〜１０−４は、共通の構成を有することができる。したがって、以下の説明では、必要に応じて情報伝送装置１０−１〜１０−４を情報伝送装置１０と総称して説明する。

情報伝送装置１０は、表示手段１１と、操作手段１２と、データ格納手段１３と、制御手段１４と、撮像手段１５と、位置センサ１６と、加速度センサ１７と、音声出力手段１８と、音声入力手段１９とを有するように構成される。

表示手段１１は、例えばＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）や液晶ディスプレイ等で構成され、各種表示を行う。

操作手段１２は、例えばタッチパネル等により構成され、操作者の入力を受け付ける。

データ格納手段１３は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等により構成され、画像テーブル４２と、連絡先テーブル４３と、関連テーブル４４とを有するように構成される。

画像テーブル４２は、撮像手段１５により撮像された静止画等の画像情報を格納する。連絡先テーブル４３は、ネットワーク２０を介して接続された他の装置（例えば情報伝送装置１０−２〜１０−４）等の連絡先情報等を格納する。関連テーブル４４は、撮像手段１５により撮像された画像や他の装置から取得した画像等、複数の画像間における関連情報等を格納する。なお、画像テーブル４２、連絡先テーブル４３、関連テーブル４４の詳細については後述する。

制御手段１４は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により構成され、相対位置判定手段４５と、相対サイズ判定手段４６と、画像生成手段４７と、切換手段４８とを制御する。制御手段１４は、これらの手段を制御することにより、取得した複数の画像間の関連付けを行い、例えば複数の画像間における同一オブジェクトの関連を示す画像を、他の装置との間で共有しながら、複数の画像を管理することを可能とする。

ここで、画像に含まれるオブジェクトとは、例えば撮像対象となった対象物を示す。以下の説明では、同一オブジェクトを撮像した複数の画像のうち、例えば先に撮像された画像を親画像（他方の画像）とし、親画像よりも後に撮像された画像を子画像（一方の画像）として説明する。

相対位置判定手段４５は、撮像手段１５や他の装置から取得した複数の画像に含まれる同一オブジェクトの相対位置を判定する。相対位置判定手段４５は、例えば複数の画像のうち、所定の倍率に伸縮された子画像が親画像の一部又は全部に類似したときの親画像上の子画像の位置を、同一オブジェクトの相対位置として判定する。

また、相対位置判定手段４５は、親画像を撮像した位置から、子画像を撮像した位置までの移動情報を用いたり、子画像の取得に際して、親画像に対して指示された指示情報を用いたりして、同一オブジェクトの相対位置を判定しても良い。なお、相対位置判定手段４５による具体的な処理については後述する。

相対サイズ判定手段４６は、撮像手段１５や他の装置から取得した複数の画像に含まれる同一オブジェクトの相対サイズを判定する。相対サイズ判定手段４６は、例えば複数の画像のうち、子画像を所定の倍率ごとに伸縮させ、伸縮させた子画像が親画像の一部又は全部に類似したときの倍率により、同一オブジェクトの相対サイズを判定する。

また、相対サイズ判定手段４６は、親画像、子画像の撮像時のオートフォーカスの距離情報やズーム機能の情報を用いることにより、同一オブジェクトの相対サイズを判定しても良い。なお、相対サイズ判定手段４６による具体的な処理については後述する。

画像生成手段４７は、相対位置判定手段４５により判定された相対位置又は相対サイズ判定手段４６により判定された相対サイズを用いて、複数の画像に含まれる同一オブジェクトの関連を示す画像を生成する。画像生成手段４７は、同一オブジェクトの関連を示す画像として、例えば同一オブジェクトの相対位置を示す画像を生成する。

画像生成手段４７は、例えば、複数の画像のうち、子画像を、親画像との相対サイズに対応して調整し、調整した子画像を、親画像の相対位置の領域に重畳して、同一オブジェクトの相対位置を示す画像を生成する。なお、画像生成手段４７により生成される同一オブジェクトの関連を示す画像例については後述する。

切換手段４８は、子画像と同一オブジェクトの相対位置を示す画像とを切り換える。切換手段４８は、例えば子画像上に生成された切換ボタンが選択されると、同一オブジェクトの相対位置を示す画像に切り換え、同一オブジェクトの相対位置を示す画像における相対位置の領域が選択されると、子画像に切り換える。

このように、子画像と同一オブジェクトの相対位置を示す画像との切り換えを可能とすることにより、複数の画像間における関連を容易に把握するための表示を行うことが可能となる。

撮像手段１５は、例えばカメラ等により構成され、オブジェクトとしての撮影対象となる対象物が撮像された静止画像を入力する。

位置センサ１６は、情報伝送装置１０の現在位置における緯度、経度、又は方位等の情報を取得する。位置センサ１６から得られた情報は、例えば複数の画像間の関連付けを行う際に処理対象となる画像があるか否か判定する際に用いられる。

加速度センサ１７は、情報伝送装置１０が移動したときのｘ、ｙ方向の加速度情報を取得する。加速度センサ１７から得られた情報は、例えば相対位置判定手段４５により、親画像を撮像した位置から子画像を撮像した位置までの移動情報を取得する際に用いられる。

音声出力装置１８は、例えばスピーカ等により構成され、音声を出力する。音声入力手段１９は、例えばマイク等により構成され、音声を入力する。音声出力装置１８及び音声入力手段１９は、例えば他の装置から音声指示にしたがって画像を撮像する際に用いられる。

回線インターフェース手段４１は、情報伝送装置１０をネットワーク２０に接続し、ネットワーク２０を介して画像データ、音声コード等の送受信を行う。例えば、情報伝送装置１０−１は、回線インターフェース手段４１により、他の装置（例えば情報伝送装置１０−２〜１０−４）に、ＪＳＯＮ（Ｊａｖａ Ｓｃｒｉｐｔ（登録商標） Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）形式のデータや、画像データを、例えばＨＴＴＰ等により送信するが、これに限定されるものではない。

＜サーバ・クライアント形式の情報伝送システム＞
次に、上述した情報伝送システム１００をサーバ・クライアント形式により構成した例について説明する。図２は、サーバ・クライアント形式の情報伝送システムの一例を示す図である。なお、図２に示す情報伝送システム１０１において、上述した情報伝送システム１００と同様の構成を有する部分については、同一の名称及び符号を付するものとし、ここでの具体的な説明は省略する。

図２に示すように、情報伝送システム１０１は、図１に示す情報伝送システム１００と比較すると、ネットワーク２０に通信装置３０−２を介して情報記録装置６０が接続されている点で異なる。また、情報記録装置６０が、情報伝送装置１０−１のデータ格納手段１３に対応するデータ格納手段６２を有しており、情報伝送装置５０−１が、データ格納手段１３を有していない点で異なる。以下の説明では、上述した異なる点を中心に説明する。

情報伝送システム１０１は、クライアントとなる複数の情報伝送装置５０−１〜５０−４と、サーバとなる情報記録装置６０とを有するように構成される。複数の情報伝送装置５０−１〜５０−４は、通信ネットワーク２０を介して、情報記録装置６０とそれぞれ接続される。

情報記録装置６０は、回線インターフェース手段６１と、データ格納手段６２と、データ処理手段６３とを有するように構成される。データ格納手段６２は、上述した画像テーブル４２と、連絡先テーブル４３と、関連テーブル４４とを有するように構成される。

データ処理手段６３は、例えば相対位置判定手段４５と、相対サイズ判定手段４６と、画像生成手段４７と、切換手段４８に対応する処理を実行する。

これにより、情報記録装置６０は、情報伝送装置５０の代わりに、データ格納手段６２を有するとともに、取得した複数の画像間における関連付けを行い、複数の画像間における同一オブジェクトの関連を示す画像を、情報伝送装置５０−１〜５０−４に提供することが可能となる。

情報伝送装置５０−１は、回線インターフェース手段４１により、情報記録装置６０、又は他の情報伝送装置５０−２〜５０−４に、例えばＪＳＯＮ（Ｊａｖａ Ｓｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）形式のデータや、画像データを、例えばＨＴＴＰにより送信するが、これに限定されるものではない。

＜クライアント装置２０及びホスト装置３０のハードウェア構成＞
次に、上述した情報伝送装置１０、記録情報装置６０のハードウェア構成について説明する。図３は、情報伝送装置、情報記録装置のハードウェア構成の一例を示す図である。

図３に示すように、情報伝送装置１０、情報記録装置６０は、入力装置７１と、表示装置７２と、ドライブ装置７３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７４と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７５と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７６と、インターフェース装置７７と、及びＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）７８等を備え、それぞれがバスＢで相互に接続されている。

入力装置７１は、例えばタッチパネル等を含み、情報伝送装置１０、情報記録装置６０に各操作信号を入力するのに用いられる。表示装置７２は、ディスプレイ等を含み、情報伝送装置１０、情報記録装置６０による処理結果を表示する。

ドライブ装置７３は、着脱可能な記録媒体７３ａとのインターフェースである。これにより、情報伝送装置１０、情報記録装置６０は、ドライブ装置７３を介して、記録媒体７３ａの読み取り及び／又は書き込みを行うことができる。記録媒体７３ａには、例えば、ＳＤメモリカード（ＳＤ Ｍｅｍｏｒｙ Ｃａｒｄ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等がある。

ＲＡＭ７４は、各実施形態を実現するためのプログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。

ＲＯＭ７５は、電源を切っても内部データを保持することができる不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ７５には、情報伝送装置１０、情報記録装置６０の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、システム設定、ネットワーク設定等のプログラムやデータが格納されている。

ＣＰＵ７６は、記憶装置（例えば「ＨＤＤ」や「ＲＯＭ」等）から、上述した相対位置判定手段４５、相対サイズ判定手段４６、画像生成手段４７、切換手段４８等を実行するためのプログラムや、画像テーブル４２、連絡先テーブル４３、関連テーブル４４等に含まれるデータをＲＡＭ（メモリ）上に読み出し、各処理を実行したり、装置全体の制御や搭載機能を実現したりする。

インターフェース装置７７は、上述した情報伝送装置１０、情報記録装置６０を有線又は無線ネットワーク等の伝送路に接続するインターフェースである。これにより、情報伝送装置１０、情報記録装置６０は、インターフェース装置７７を介して、他の外部装置とデータ通信を行うことが可能である。

ＨＤＤ７８は、プログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、情報伝送装置１０、情報記録装置６０全体を制御するシステム（例えば「Ｗｉｎｄｏｗｓ（登録商標）」や「ＵＮＩＸ（登録商標）」等の基本ソフトウェアであるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ））、及びシステム上において各種機能を提供するアプリケーション等が含まれる。

また、ＨＤＤ７８は、上述した相対位置判定手段４５、相対サイズ判定手段４６、画像生成手段４７、切換手段４８等を実行するためのプログラムや画像テーブル４２、連絡先テーブル４３、関連テーブル４４等のテーブルを格納している。

なお、ＨＤＤ７８は、格納しているプログラムやデータを、所定のファイルシステム及び／又はＤＢ（Ｄａｔａ Ｂａｓｅ）により管理している。

情報伝送装置１０、情報記録装置６０は、上述したハードウェア構成により、各種処理を提供することができる。

＜データ格納手段１３＞
次に、上述したデータ格納手段１３により格納された各テーブルについて説明する。図４は、データ格納手段に格納された各テーブルの一例を示す図である。なお、図４（Ａ）は、画像テーブル４２の一例を示し、図４（Ｂ）は、連絡先テーブル４３の一例を示し、図４（Ｃ）は、関連テーブル４４の一例を示す図である。

図４（Ａ）に示す画像テーブル４２は、例えば、画像を識別する「画像ＩＤ」、「画像名」、画像が撮像された「撮像日時」、「撮像位置」等の各情報により構成され、撮像手段１５により撮像された画像や他の装置から取得した画像に関する情報が格納されている。

なお、「撮像位置」には、画像を撮像したときの情報伝送装置１０の撮像位置として、位置センサ１６により得られる緯度、経度の２つの値が格納されている。ここで、緯度、経度の値は整数で示されているが、小数点以下を保持しても良い。

図４（Ｂ）に示す連絡先テーブル４３は、例えば、他の装置の連絡先を識別する「連絡先ＩＤ」、「名前」、連絡先（接続先）のＩＰアドレスである「接続先ＩＰ」等の各情報により構成されている。

図４（Ｃ）に示す関連テーブル４４は、取得した複数の画像間において同一オブジェクトに基づき関連付けした情報が格納されている。関連テーブル４４は、例えば、各画像の関連を識別する「関連ＩＤ」、親画像のＩＤである「親画像ＩＤ」、子画像のＩＤである「子画像ＩＤ」、「倍率」、「類似度」、「位置」等の各情報により構成される。

「倍率」には、相対サイズ判定手段４６により判定された相対サイズとして、例えば親画像を１００％としたときの子画像のズーム率が示されている。また、「類似度」には、例えば子画像を「倍率」に基づいて伸縮し、伸縮した子画像と親画像とを比較したときの類似度の数値が示されている。「位置」には、相対位置判定手段４５により判定された相対位置が示され、例えば相対位置の領域の中心位置を示すｘ、ｙ座標等が示されている。

＜実施形態１＞
次に、実施形態１として、上述した相対位置判定手段４５又は相対サイズ判定手段４６により判定される同一オブジェクトの相対位置及び相対サイズ判定手順について説明する。図５は、相対位置及び相対サイズ判定手順の一例を示すフローチャートである。

図５に示すように、例えば、操作者により情報伝送装置１０−１を用いて比較元画像（子画像）が撮像されると（Ｓ１０）、撮像された比較元画像は、画像テーブル４２に格納され、表示手段１１に表示される。

また、撮像された比較元画像は、情報伝送装置１０−１に接続された他の装置のうちの少なくとも１つの表示手段に表示することができる。なお、操作は、操作者が入力しやすいように、例えばＧＵＩ（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）画面をタッチ操作することが好ましい。

次に、相対位置判定手段４５又は相対サイズ判定手段４６は、比較元画像と関連付ける処理対象となる画像が、例えば画像テーブル４２に存在するか否か判定する（Ｓ１１）。ここでは、例えば直近１時間以内に撮った画像を処理対象の画像としても良いし、画像テーブル４２に保存されている撮像位置情報を用いて、例えば緯度、経度の誤差が５度以内の画像を処理対象の画像としても良い。なお、どの画像を処理対象とするかについては、予め操作者等により、例えば画像テーブル４２等に含まれる各情報を用いて任意に設定することができる。

処理対象となる画像が存在すると判定した場合（Ｓ１１において、ＹＥＳ）、画像テーブル４２に含まれる処理対象の画像を取得する（Ｓ１２）。

次に、相対サイズ判定手段４６は、比較元画像のサイズを縮小する（Ｓ１３）。相対位置判定手段４５又は相対サイズ判定手段４６は、縮小した比較元画像と、処理対象の画像とを比較して、縮小した比較元画像が処理対象の画像の一部又は全部と一致するか否か判定する（Ｓ１４）。

相対サイズ判定手段４６は、画像を縮小する方法として、例えば画像のサイズを所定の比率（例えば、１％）ごと縮小しても良く、所定のピクセル（例えば、５ピクセル）ごとに縮小するように縮小率（％）を設定し、設定した縮小率ごとに縮小しても良い。また、相対サイズ判定手段４６は、例えば所定の比率（例えば、１０％）ごとに比較元画像のサイズを縮小し、縮小した比較元画像と処理対象の画像との類似度の増減に応じて、縮小率を変動させても良く、比較元画像、処理対象の画像の各撮像時に用いたズーム機能情報を利用しても良い。

また、相対位置判定手段４５又は相対サイズ判定手段４６は、画像の類似度を判定する方法として、処理対象の画像の所定位置に（例えば、画像の左上から右下まで）、縮小した比較元画像を当てはめ、例えば画像内のカラーヒストグラム（各色のピクセル数のグラフ）を比較し、所定以内の誤差の場合には一致すると判定しても良い。なお、誤差範囲は、予め設定しても良く、画像の解像度等に対応させて設定しても良い。また、上述した方法に限定することなく、各画像の特徴量に基づき類似度を判定する等、公知の方法を用いて類似度を判定しても良い。

縮小したサイズの比較元画像が処理対象の画像の一部又は全部と一致しないと判定した場合（Ｓ１４において、ＮＯ）、相対サイズ判定手段４６は、比較元画像を更に縮小可能か否か判定する（Ｓ１５）。例えば、比較元画像の縦及び横の長さが所定ピクセル（例えば、１ピクセル）以下となった場合や、縮小を所定回数以上行なった場合に、縮小不可能と判定する。

相対サイズ判定手段４６は、更に縮小不可能と判定した場合（Ｓ１５において、ＮＯ）、比較元画像と処理対象の画像とを入れ替えたか否か判定する（Ｓ１６）。比較元画像と処理対象の画像とを入れ替えていないと判定した場合（Ｓ１６において、ＮＯ）、比較元画像と処理対象の画像とを入れ替えて（Ｓ１７）、Ｓ１３の処理を続ける。

比較元画像と処理対象の画像とを入れ替えたと判定した場合には（Ｓ１６において、ＹＥＳ）、縮小率（相対サイズ）を該当なし（Ｎ／Ａ）とする（Ｓ１８）。

一方、例えば縮小したサイズの比較元画像が処理対象の画像の一部又は全部と一致したと判定した場合（Ｓ１４において、ＹＥＳ）、相対サイズ判定手段４６は、縮小率を計算する（Ｓ１９）。また、相対サイズ判定手段４６は、例えば一致したと判定したときの比較元画像の縮小率により、画像間の同一オブジェクトの相対サイズを判定する。また、相対位置判定手段４５は、一致したと判定したときの処理対象の画像における比較元画像の位置により、画像間の同一オブジェクトの相対位置を判定する。

次に、相対位置判定手段４５又は相対サイズ判定手段４６は、Ｓ１４の処理において比較元画像と一部又は全部が一致したと判定した処理対象の画像を親画像とし、関連テーブル４４に判定した相対サイズ及び相対位置を保存して（Ｓ２０）、関連テーブル４４に各情報を格納する。

次に、画像生成手段４７は、後述するような相対サイズを記した比較元画像や相対位置を示す画像等を生成し、他の装置に送信して（Ｓ２１）、処理を終了する。

なお、相対位置判定手段４５又は相対サイズ判定手段４６は、画像テーブル４２に格納された過去に撮像した各画像について上述したＳ１３〜Ｓ２０等の手順により関連付けを行い、関連テーブル４４を作成しても良い。

また、情報記録装置６０により上述した手順を実行する場合には、データ処理手段６３により、情報伝送装置５０から取得した比較元画像と画像テーブル４２に格納された処理対象の画像とに含まれる同一オブジェクトの相対サイズや相対位置を判定し、判定した結果や、生成した相対サイズや相対位置を示す画像を情報伝送装置５０等に送信しても良い。

＜同一オブジェクトの関連を示す画像例＞
次に、上述した相対サイズ又は相対位置を用いて、画像生成手段４７により生成される複数の画像間における同一オブジェクトの関連を示す画像例について説明する。図６は、相対サイズを示す画像の一例を示す図である。また、図７は、相対位置を示す画像の一例を示す図である。

図６（Ａ）は、親画像８０の一例を示す図であり、図６（Ｂ）は、子画像８１の一例を示す図である。画像生成手段４７は、上述した手順により判定された相対サイズを用いて、例えば、子画像８１が親画像８０に対して２倍の大きさになっている場合、子画像８１の所定の領域（例えば、領域Ａ）に「２００％」と表示する画像を生成する。

画像生成手段４７は、このような表示を子画像８１の領域Ａにおいて画像合成により表示しても良く、子画像８１の領域Ａに文字列により表示するようにしても良い。なお、画像生成手段４７は、子画像８１の領域ではなく、親画像８０の所定の領域に「１／２」の表示をする画像を生成しても良い。

上述した図６に示すような相対サイズを示す画像により、画像間における同一オブジェクトの関連を示す画像を表示することが可能となる。

また、図７（Ａ）は、子画像８１の一例を示す図であり、図７（Ｂ）は、同一オブジェクトの相対位置を示す画像８２の一例を示す図である。

図７（Ａ）に示すように、画像生成手段４７は、子画像８１の所定の領域（例えば、領域Ｂ）に、切換ボタンである戻るボタン８３を生成する。

また、図７（Ｂ）に示すように、画像生成手段４７は、同一オブジェクトの相対位置を示す画像８２を、上述した手順により判定された相対位置を用いて生成する。図７（Ｂ）の例では、画像８２には、親画像８０と子画像８１とに含まれる同一オブジェクトの相対位置を示す領域Ｃが、枠等により表示されている。

なお、画像生成手段４７は、相対位置を示す領域Ｃの色表示を変更したり、相対位置を示す領域Ｃに含まれるオブジェクトの表示形式と、相対位置を示す領域Ｃに含まれないオブジェクトの表示形式とを変更したりすることにより、同一オブジェクトの相対位置を示しても良い。

＜相対位置を示す画像８２の生成手順＞
次に、上述した同一オブジェクトの相対位置を示す画像８２を生成する画像生成手順について説明する。図８は、相対位置を示す画像を生成する画像生成手順の一例を示すフローチャートである。

図８に示すように、画像生成手段４７は、例えばオペレーティングシステム依存の画像選択画面から画像が選択されると（Ｓ２０）、選択された画像の画像ＩＤが、関連テーブル４４の「親画像ＩＤ」に含まれるか否か判断する。画像生成手段４７は、選択された画像の画像ＩＤが「親画像ＩＤ」に含まれると判断すると、選択された画像を親画像８０と判断し、画面の最下層になるように設定する。

次に、画像生成手段４７は、関連テーブル４４に親画像８０の子画像ＩＤの関連データが関連テーブル４４にあるか否か判断し（Ｓ２１）、子画像ＩＤの関連データがあると判定すると（Ｓ２１において、ＹＥＳ）、関連データリストを取得し（Ｓ２２）、取得した関連データリストに含まれる子画像８１を取得する。

画像生成手段４７は、関連データリストのうち、上述した相対位置を示す画像８２として対応付けられていない（重畳されていない）子画像８１（未処理の関連データ）があるか否か判断し（Ｓ２３）、未処理の関連データがあると判断すると（Ｓ２２において、ＹＥＳ）、未処理の関連データを取得する（Ｓ２４）。

画像生成手段４７は、未処理の関連データを取得すると、親画像８０との相対サイズに対応して子画像８１のサイズを伸縮して調整し、調整したサイズの子画像８１を親画像８０における相対位置の領域に重畳し、同一オブジェクトの相対位置を示す画像８２を生成する。

画像８２上の相対位置の領域には、例えば枠等を表示する（Ｓ２５）。例えば、図７（Ｂ）の例では、図７（Ａ）に示す子画像８１を親画像８０の相対位置の領域Ｃに重畳し、相対位置の領域Ｃを示す枠を表示することで、上述した同一オブジェクトの相対位置を示す画像８２を生成する。

なお、画像生成手段４７は、子画像ＩＤの関連データが関連テーブル４４にないと判断したり（Ｓ２１において、ＮＯ）、未処理の関連データがないと判断したりすると（Ｓ２３において、ＮＯ）、そのまま画像選択画面から選択された画像を表示し（Ｓ２６）、処理を終了する。

また、画像生成手段４７は、図７（Ａ）に示す子画像８１の戻るボタン８３や、図７（Ｂ）に示す画像８２のうち相対位置の領域Ｃにリンク機能を付与しておくと良い。これにより、切換手段４８は、画面上で図７（Ａ）に示す子画像８１の戻るボタン８３が選択された場合には、図７（Ｂ）に示す画像８２が表示された画面に切り換え、画面上で画像８２のうち相対位置の領域Ｃが選択された場合には、図７（Ａ）に示す子画像８１を表示する画面を切り換えることが可能となる。

なお、上述した親画像と子画像の相対位置を示す画像８２は、これに限定されるものではない。例えば、相対位置を示す画像８２には、１つの親画像に対して複数の子画像８１を表示させることが可能である。

上述した図７に示すような子画像８１や同一オブジェクトの相対位置を示す画像８２により、画像間における同一オブジェクトの関連を示す画像を表示することが可能となる。

＜実施形態２＞
次に、実施形態２として、上述した図７（Ａ）に示す子画像８１と図７（Ｂ）に示す画像８２との切換処理について説明する。図９は、シングルウィンドウの場合の動作の流れの一例を示すフローチャートである。また、図１０は、マルチウィンドウの場合の動作の流れの一例を示すフローチャートである。

図９に示すように、切換手段４８は、表示手段１１の画面がシングルウィンドウの場合、画面に表示された画像８２の相対位置の領域Ｃが選択されると（Ｓ３０）、画面に表示されていた画像８２の親画像のＩＤを記憶し（Ｓ３１）、戻るボタン８３が付与された子画像８１を画面（ウィンドウ）に表示する（Ｓ３２）。

切換手段４８は、画面に表示された子画像８１の戻るボタン８３が押下されると（Ｓ３３）、子画像８１が表示された画面（ウィンドウ）を閉じて（Ｓ３４）、Ｓ３１の処理で記憶した親画像のＩＤに基づき、相対位置が示された画像８２を画面に再表示し（Ｓ３５）、処理を終了する。

次に、図１０に示すように、切換手段４８は、表示手段１１の画面がマルチウィンドウ（複数画像）の場合、画面に表示された画像８２の相対位置の領域Ｃが選択されると（Ｓ４０）、戻るボタン８３が付与された子画像８１を表示するとともに、子画像８１が表示された画面の下や横に別ウィンドウで相対位置を示す画像８２を表示する（Ｓ４１）。

切換手段４８は、画面に表示された子画像８１の戻るボタン８３が押下されると（Ｓ４２）、子画像８１が表示された画面（ウィンドウ）を閉じて（Ｓ４３）、相対位置を示す画像８２の画面のみ表示して、処理を終了する。

上述のように子画像８１及び同一オブジェクトの相対位置を示す画像８２を切り換えて表示することにより、例えば車全体を示す画像８２と、車の一部（ドア部分等）を示す子画像８１があった場合でも、複数の画像間の関連を容易に把握することが可能となる。

＜実施形態３＞
次に、実施形態３として、上述した加速度センサ１７により得られる加速度情報と撮像時のオートフォーカスによる距離情報とを用いて、画像間に含まれる同一オブジェクトの相対位置及び相対サイズを判定する手順について説明する。

相対位置判定手段４５は、例えば情報伝送装置１０の中心を加速度センサ１７の原点とし、加速度センサ１７から得られる情報伝送装置１０のｘ、ｙ方向の加速度と加速されていた時間とを用いて、画像間の同一オブジェクトの相対位置を判定する。また、相対サイズ判定手段４６は、撮像手段１５による撮像時のオートフォーカスの距離情報に基づいて、画像間における同一オブジェクトの相対サイズを判定する。

例えば、等加速度を用いた距離の算出式は、「距離＝初速度×時間＋１／２×加速度×時間^２」等の式が用いられ、例えば、親画像を撮った位置では、情報伝送装置１０は止まっていたと考えられるため、初速度が「０」となる。

このとき、相対位置判定手段４５は、例えば「距離＝１／２×加速度×時間^２」の式を用いることにより、サンプリング時間△ｔごとの距離を算出し、算出した距離の値を合計して、情報伝送装置１０がｘ、ｙ方向にどの程度移動したかを算出することが可能となる。又は、親画像の撮像時から子画像の撮像時までのサンプリング時間△ｔの間は等加速度として、加速度の時間を二重積分して得られた値を合計して、移動した距離に近似させても良い。

いずれの場合も、例えば左右及び上下の値は、それぞれの方向に応じてプラスとマイナスが逆になるように計算することが可能である。

ここで、図１１は、撮像手段による撮像可能範囲を説明する図である。図１１に示すレンズ９０は円形である。例えば、移動前の親画像を撮像するときのレンズ９０の位置から、撮影対象となる対象物（オブジェクト）の位置における撮像可能な範囲の半径ｒ１と、距離ｄ１との関係は、母線と高さをなす角度θとを用いて、例えば、「ｒ１＝ｄ１×ｔａｎθ」の式により表せる。このとき、距離ｄ１は、撮像時のオートフォーカスによって測定されているため、撮像可能な範囲の半径ｒ１を算出することが可能である。

また、図１１に示すレンズ９０の位置から撮像される画像の縦の長さｈと、画像の横の長さｗと、対角線の長さｒと、画像内でのｘ軸方向への移動距離をａｘとを用いると、実世界のｘ軸の移動距離ｄｘの比は、例えば、「２ｒ１：ｒ＝ｄｘ：ａｘ」の式により表すことが可能である。したがって、画像内での移動距離ａｘは、例えば、「ａｘ＝（ｒ×ｄｘ）÷２ｒ１」の式により表せる。

なお、対角線の長さｒは、三平方の定理により算出でき、画像の縦の長さｈ、画像の横の長さｗは、撮像時に設定されている値から取得することが可能である。

同様に、画像内でのｙ軸方向の移動距離ａｙも算出することが可能である。したがって、相対位置判定手段４５は、上述した手順により、画像内での移動位置（図１１の例では、画像内で上方向にａｘ移動し、横方向にａｙ移動した位置）を判定することが可能となる。

画像生成手段４７は、このように相対位置判定手段４５により得られた移動位置（ａｘ移動し、ａｙ移動した位置）を画像間の同一オブジェクトの相対位置と判定し、例えば上述した図７（Ｂ）の相対位置の領域Ｃを示すときの枠の中心位置とすると良い。

また、相対サイズ判定手段４６が、親画像と子画像に含まれる同一オブジェクトの相対サイズ（画像の倍率）を判定するときには、撮像手段１５による撮像時のオートフォーカスの距離情報から得られる撮像可能範囲の比率、例えば「（ｒ１／ｒ２）×１００」の式を用いて相対サイズを判定すると良い。

上述したように、撮像時の加速度情報やオートフォーカスの距離情報等を用いて、親画像及び子画像に含まれる同一オブジェクトの相対位置や相対サイズを判定することにより、同一オブジェクトの相対位置を示す画像８２等を生成することが可能となる。

＜実施形態４＞
次に、実施形態４として、子画像を取得する際に親画像に対して指示された指示情報（操作情報）を用いて、相対位置判定手段４５により同一オブジェクトの相対位置を判定する判定手順について説明する。図１２は、操作情報を用いて相対位置の領域を表示する画像の一例を示す図である。図１３は、操作情報を用いた場合の手順の一例を示すフローチャートである。

図１２（Ａ）の例では、画面上に表示されている画像１１０のオブジェクト１１１の所定の領域に、操作者の手書きにより円や矩形状で指定された手書き指示領域１１２が示されている。

例えば、情報伝送装置１０−１の操作者が指示者となり、情報伝送装置１０−２の操作者が遠隔地にいる作業者となり、指示者が、オブジェクト１１１の撮像された画面を参照し、「この辺をもう少しアップで撮ってください」と画面上に手書き又はポインタ操作等で指示するような場合が考えられる。このとき、指示者は上述した手書き指示領域１１２で指示することで、次の撮像箇所を作業者に伝えることとなる。

その後、作業者によって撮像される画像は、指示者が手書き又はポインタ操作で示した箇所である確率が高い。そこで、相対位置判定手段４５は、上述した手書き情報又はポインタ操作情報を利用して、親画像と子画像に含まれる同一オブジェクトの相対位置を判定する。

また、画像生成手段４７は、手書き情報又はポインタ操作情報を利用して判定された相対位置を用いて、図１２（Ｂ）に示す親画像のオブジェクト１１１に対して子画像１１３を重畳させる。これにより、画像生成手段４７は、子画像と親画像との画像間に含まれる同一オブジェクト１１１の相対位置を示す画像１１４を生成する。

ここで、上述した処理を、情報伝送装置１０−２で処理した場合の手順について説明する。なお、情報伝送装置１０−２では、予め情報伝送装置１０−１で撮像された画像（例えば、親画像）を保持しているものとする。また、情報伝送装置１０−１と情報伝送装置１０−２とは同期されているため、情報伝送装置１０−１で撮像された画像（例えば、親画像）に対して指示された手書き情報又はポインタ操作情報は、情報伝送装置１０−２で保持されているものとする。

図１３に示すように、情報伝送装置１０−２の相対位置判定手段４５は、画像（例えば、子画像）が撮像されると（Ｓ５０）、例えば直前に取得した操作情報があるか否か判定する（Ｓ５１）。ここで、操作情報とは、上述した手書き情報やポインタ操作情報が含まれ、例えば指示者による最後のタッチダウン、タッチアップのｘ、ｙ座標でも良く、円や矩形領域等を形成している手書き指示領域１１２の情報であっても良い。

なお、Ｓ５１の処理では、直前の操作情報が手書き情報のクリアだったような場合には、操作情報がないと判定しても良く、クリアの前の操作情報を直前の操作情報としても良い。

相対位置判定手段４５は、直前に取得した操作情報があると判定すると（Ｓ５１において、ＹＥＳ）、直前の操作情報を取得し（Ｓ５２）、取得した直前の操作情報を利用して、親画像と子画像とに含まれる同一オブジェクトの相対位置を判定する（Ｓ５３）。

例えば、直前の操作情報のうち、タッチダウン、タッチアップのｘ、ｙ座標や、円や矩形領域等を形成している手書き指示領域１１２の中心位置を画像間の同一オブジェクトの相対位置と判定し、上述した相対位置の領域の中心位置とすることができる。

次に、相対サイズ判定手段４６は、Ｓ５３の処理により得られた相対位置の情報を用いて、上述した図５のＳ１３〜Ｓ１９等の処理により縮小率を計算し（Ｓ５４）、親画像と子画像に含まれる同一オブジェクトの相対サイズを判定する。ここで、相対サイズ判定手段４６は、Ｓ５３の処理により得られた相対位置を利用して、画像の一致を判定することが可能となるため、効率良く相対サイズを判定することが可能となる。

なお、相対位置判定手段４５は、直前に取得した操作情報がないと判定すると（Ｓ５１において、ＮＯ）、上述した図５のＳ１３〜Ｓ１９等の処理で相対サイズ判定手段４６により縮小率を計算して相対サイズを判定するとともに、相対位置を判定する。

次に、情報伝送装置１０−２は、相対サイズを記した子画像や相対位置の情報を情報伝送装置１０−１に送信して（Ｓ５５）、処理を終了する。

なお、情報記録装置６０により上述した手順を実行する場合には、データ処理手段６３により、情報伝送装置５０−１で撮像された画像や操作情報と、情報伝送装置５０−２で撮像された画像とを取得して実行すれば良い。

上述したように、子画像を取得する際に、親画像に対して指示された手書き指定領域１１２の操作情報を利用することで、画像間の同一オブジェクトの相対位置等を判定することが可能となる。

＜実施形態５＞
次に、実施形態５として、例えば、上述した図５のＳ１１の処理で処理対象となる画像があるか否か判定するときに、加速度センサ１７により得られた加速度情報を利用する処理について説明する。

例えば、車をオブジェクトとした場合に、複数台の車の画像を一度に撮像すると、同一車種では画像の類似度が高い。例えば、同一車種の異なる２つの車（例えば、車Ａ、車Ｂ）が存在する場合には、車Ａの画像と車Ｂの画像とが関連付けられてしまう場合もある。

そこで、本実施形態では、図５のＳ１１等の処理の前に、加速度センサ１７により得られた加速度情報を用いて、オブジェクトの判定処理を実行する。例えば、相対位置判定手段４５は、実施形態３で説明した加速度情報から得られるｘ、ｙ方向に移動した距離を用いて、撮像される画像の縦の長さｈ、横の長さｗ以上に移動したと判定した場合、親画像において対象としていたオブジェクトはフレームアウトしたと判定し、図５のＳ１１等の処理の対象としないようにする。

これにより、本実施形態では、親画像と子画像の相対位置や相対サイズを判定するときの判定時間を短縮したり、関連テーブル４４に不要なデータを含めないようにしたりして、より効率的に関連付けを行うことが可能となる。

＜実施形態６＞
次に、実施形態６として、例えば、上述した図５のＳ１４等の処理において類似度を算出したときに、所定の数値以下の場合には、類似度が低いことを示すアイコン等を表示する処理について説明する。図１４は、類似度が低いことを示すアイコンを表示する画像の一例を示す図である。

図１４（Ａ）に示すように、先に撮像した画像（親画像）１２０に複数のオブジェクト１２１、１２２が含まれている場合、オブジェクトの中の１つをズームして撮像することが考えられる。図１４（Ｂ）には、オブジェクト１２１の手書き指定領域１２３に対するズーム画像（子画像）１２４が示されている。

ここで、図１４（Ａ）に示す画像１２０のオブジェクト１２１が青色で、直方体のオブジェクト１２２が黒色のとき、図１４（Ｂ）に示す画像１２４が撮像時のフラッシュで光り全体的に白く色が飛んでしまった場合を考える。このような場合、画像１２０と画像１２４とを比較すると、オブジェクト１２１の形状が一部一致するが、画像１２０全体と画像１２４とのカラーヒストグラムには色の異なるオブジェクトが含まれることになるため、大きな差が生じて、類似度が低くなる。

上述したように、類似度が低い場合には、例えば図１４（Ｂ）に示す相対サイズの表示部分に「２００％？」マークを付加したり、図１４（Ｃ）に示す相対位置の領域１１５の部分に「？」マークを付加したりしても良い。このように類似度が低いと判断される画像については、後の画像の確認処理を省いて作業時間を短縮等することも可能となる。

上述したように、本発明の実施形態によれば、複数の画像間における同一オブジェクトの関連を表示することが可能となる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１０，５０ 情報伝送装置
１１ 表示手段
１２ 操作手段
１３，６２ データ格納手段
１４ 制御手段
１５ 撮像手段
１６ 位置センサ
１７ 加速度センサ
１８ 音声出力手段
１９ 音声入力手段
２０ ネットワーク
３０ 通信装置
４１，６１ 回線インターフェース手段
４２ 画像テーブル
４３ 連絡先テーブル
４４ 関連テーブル
４５ 相対位置判定手段
４６ 相対サイズ判定手段
４７ 画像生成手段
４８ 切換手段
６０ 情報記録装置
６３ データ処理手段
７１ 入力装置
７２ 表示装置
７３ ドライブ装置
７４ ＲＡＭ
７５ ＲＯＭ
７６ ＣＰＵ
７７ インターフェース装置
７８ ＨＤＤ
８０ 親画像
８１ 子画像
８２ 相対位置を示す画像
１００，１０１ 情報伝送システム

特開平８−３２２０２７号公報

Claims (11)

1. ネットワークを介して複数の情報伝送装置が接続された情報伝送システムに含まれる情報伝送装置であって、
   撮像手段によって取得した複数の画像に含まれる同一オブジェクトの相対サイズを判定する相対サイズ判定手段と、
   前記相対サイズ判定手段により判定された相対サイズを記した比較元画像を生成する画像生成手段と、
   前記画像生成手段により生成された比較元画像を、前記情報伝送システムに含まれる他の情報伝送装置であって、前記相対サイズ判定手段によって相対サイズを判定する際に利用した画像を表示する他の情報伝送装置に対してネットワークを介して送信する送信手段と、
   を有することを特徴とする情報伝送装置。
2. 前記相対サイズ判定手段は、前記複数の画像に含まれる同一オブジェクトの相対サイズ及び類似度を判定し、
   前記画像生成手段は、前記類似度が低い場合に、前記相対サイズ判定手段により判定された相対サイズ、及び前記類似度が低いことを示すデータを記した比較元画像を生成する、
   ことを特徴とする請求項１に記載の情報伝送装置。
3. 前記複数の画像に含まれる同一オブジェクトの相対位置を判定する相対位置判定手段を有し、
   前記画像生成手段は、
   前記複数の画像のうち、一方の画像のサイズを他方の画像との前記相対サイズに対応して調整し、調整した一方の画像を、前記他方の画像の前記相対位置の領域に重畳して、前記同一オブジェクトの相対位置を示す画像を生成し、
   前記送信手段は、前記画像生成手段により生成された前記同一オブジェクトの相対位置を示す画像を、前記他の情報伝送装置に送信する、
   ことを特徴とする請求項１または２に記載の情報伝送装置。
4. 前記一方の画像と前記同一オブジェクトの相対位置を示す画像とを切り換える切換手段とを有し、
   前記切換手段は、
   前記一方の画像上に生成された切換ボタンが選択されると、前記同一オブジェクトの相対位置を示す画像に切り換えて、前記同一オブジェクトの相対位置を示す画像における前記相対位置の領域が選択されると、前記一方の画像に切り換えることを特徴とする請求項３に記載の情報伝送装置。
5. 前記相対サイズ判定手段は、
   前記一方の画像を所定の倍率ごとに伸縮させ、伸縮させた前記一方の画像が前記他方の画像の一部又は全部に類似したときの倍率により、前記相対サイズを判定することを特徴とする請求項３又は４に記載の情報伝送装置。
6. 前記相対位置判定手段は、
   前記伸縮させた前記一方の画像が前記他方の画像の一部又は全部に類似したときの前記他方の画像上の位置により、前記相対位置を判定することを特徴とする請求項５に記載の情報伝送装置。
7. 前記相対位置判定手段は、
   前記他方の画像を撮像した位置から、前記一方の画像を撮像した位置までの移動情報を用いて、前記相対位置を判定することを特徴とする請求項３乃至６のいずれか一項に記載の情報伝送装置。
8. 前記相対位置判定手段は、
   前記一方の画像の取得に際し、前記他方の画像に対して指示された指示情報を用いて、前記相対位置を判定することを特徴とする請求項３乃至７のいずれか一項に記載の情報伝送装置。
9. コンピュータを、
   請求項１乃至８のいずれか一項に記載の情報伝送装置が有する各手段として機能させるための情報伝送プログラム。
10. 請求項１乃至８のいずれか一項に記載の情報伝送装置を有する情報伝送システム。
11. ネットワークを介して複数の情報伝送装置が接続された情報伝送システムに含まれる情報伝送装置が、
    撮像手段によって取得した複数の画像に含まれる同一オブジェクトの相対サイズを判定するステップと、
    前記判定された相対サイズを記した比較元画像を生成するステップと、
    前記生成された比較元画像を、前記情報伝送システムに含まれる他の情報伝送装置であって、前記相対サイズを判定する際に利用した画像を表示する他の情報伝送装置に対してネットワークを介して送信するステップと、
    を実行することを特徴とする情報伝送方法。
    

Images