JP4350389B2 - 通信ネットワークシステム、携帯端末装置およびコンピュータプログラム - Google Patents
通信ネットワークシステム、携帯端末装置およびコンピュータプログラム Download PDFInfo
- Publication number
- JP4350389B2 JP4350389B2 JP2003032202A JP2003032202A JP4350389B2 JP 4350389 B2 JP4350389 B2 JP 4350389B2 JP 2003032202 A JP2003032202 A JP 2003032202A JP 2003032202 A JP2003032202 A JP 2003032202A JP 4350389 B2 JP4350389 B2 JP 4350389B2
- Authority
- JP
- Japan
- Prior art keywords
- screen
- robot
- server
- image data
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Mobile Radio Communication Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、通信ネットワークシステムに関し、特に（但し限定する意味でなく）、入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置と、複数の角度で撮影可能なカメラおよびデータ通信機能を備えたロボットと、このロボットおよび前記携帯端末装置とデータ通信を行うサーバとを備えた通信ネットワークシステムに関する。
【０００２】
【従来の技術】
従来、カメラで撮影した画像に対してズーム倍率やカメラの上下左右方向角度を含むカメラデータを付加して送信し、受信側でカメラデータをもとに画像を合成して全視野の画像を表示したり、全視野中の任意の位置指定に対応してカメラ側でその角度の画像を撮影、送信し、受信側のモニタ上に所望の視野の画像を表示させる技術が知られている（特許文献１参照）。この技術では、全視野の画像を合成・縮小して１画面上に表示し一度に全視野を見ることを可能とするとともに、この画面上でユーザからマウスカーソルで指示された位置に対応してＴＶカメラの位置を指示制御してこの角度の撮影を行わせ、この撮影画像を受信表示する。
【０００３】
また、公衆回線網を利用してロボットを遠隔制御するシステムも知られている（特許文献２参照）。
【０００４】
ロボットとしては、各種の製造、監視、作業等の用途のみならず、エンターテインメントを目的とした人型や動物型のロボットも販売されるようになってきた。このようなロボットは、一般に、各種センサやカメラによる情報の入力、認識、音声や光の出力等の機能を備えているものが多い。
【０００５】
一方、携帯電話機を代表とする携帯無線端末装置が普及し、このような端末装置では、音声通話のみならずデータ通信機能により電子メールやウェブ閲覧等が可能となっている。
【０００６】
【特許文献１】
特開平８−８８７８７号公報
【特許文献２】
特開２００１−１９５１１３号公報
【０００７】
【発明が解決しようとする課題】
上記のような携帯端末装置により、カメラ付きのロボットを遠隔的に制御して横長のパノラマ撮影画像を撮影させ、このパノラマ撮影画像データを受信して表示する際、従来技術のように一度に全視野分を１画面で見られるようにするために画面サイズを縮小すると、携帯端末装置の表示画面はサイズが小さいため画面内容の視認性が極端に悪くなる。また、全視野中の任意の角度の１画面を指示するためにマウスカーソルで任意の画面位置を指示することも携帯端末装置では直ちに採用することができない。
【０００８】
したがって、本発明は、遠隔的にカメラ付きロボットによるパノラマ撮影を行う際の携帯端末装置に適したパノラマ画像および１画面画像の撮影の制御および受信表示処理を行うことができる通信ネットワークシステム、携帯端末装置、パノラマ画像の合成方法およびコンピュータプログラムを提供することを目的とする。
【０００９】
本発明による他の目的は、カメラ付きロボットを利用したイベント発生の監視結果を携帯端末の表示画面上で容易にかつ即座に認識することができるインタフェースを備えた通信ネットワークシステムを提供することにある。
【００１０】
【課題を解決するための手段】
本発明による通信ネットワークシステムは、入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置と、複数の角度で撮影可能なカメラおよびデータ通信機能を備えたロボットと、このロボットおよび前記携帯端末装置とデータ通信を行うサーバとを備える。この通信ネットワークシステムにおいて、前記ロボットは前記サーバを介して前記携帯端末装置からのパノラマ撮影の指示を確認したとき、予め定めた複数の角度で各画面の境界部分が重複するように水平方向に連続する複数の画面の撮影を順次行い、これにより得られた撮影画像データを前記サーバに対して送信し、前記サーバは前記パノラマ撮影による複数の撮影画像データを記憶手段に蓄積する。前記携帯端末装置は、前記サーバから前記パノラマ撮影による複数の撮影画像データを受信し、これら複数の撮影画像データを重複部分を重ねて合成してパノラマ画像を生成し、ユーザの指示に応じて前記パノラマ画像をスクロールして表示画面に表示するとともに、任意のスクロール位置においてユーザからの指示により１画面撮影の指示を受けたとき、そのスクロール位置に対応するカメラ角度を求めて前記サーバ経由で前記ロボットに１画面撮影指示を与え、前記ロボットは前記１画面撮影指示を受けて当該指示されたカメラ角度で１画面撮影を行い、その撮影画像データを前記サーバに対して送信する。前記携帯端末装置は前記サーバから前記１画面撮影による撮影画像情報を受信して表示画面に表示する。
【００１１】
この構成により、携帯端末装置のユーザは、遠隔地においてロボットにその位置する場所の周囲の様子をパノラマ撮影することができ、かつ、携帯端末装置でパノラマ撮影による複数の撮影画像データをパノラマ画像として合成し、スクロール表示可能とすることにより、画像を縮小することなく、表示画面を有効に利用してパノラマ画像を閲覧することができる。また、スクロール途中の任意の位置で１画面撮影指示を行うことにより、所望のカメラ角度での撮影画像が得られる。
【００１２】
前記ロボットは前記サーバに対して周期的にポーリングを行うことにより、前記サーバとの間でデータの授受を行うことができる。これにより、ロボットからサーバにアクセスすれば足り、サーバからロボットにアクセスする必要がなくなる。
【００１３】
前記ロボットの前記サーバに対するポーリングの周期は、前記携帯端末からの操作に応じて変更しうる。例えば、ロボットの即応の必要性が高いときほど、ポーリング周期を短くする。
【００１４】
前記前記携帯端末装置は前記サーバに対して周期的にポーリングを行うことにより、前記サーバとの間でデータの授受を行うことも可能である。これにより、携帯端末装置主導でサーバにアクセスを行い、必要なデータ通信を行うことができる。
【００１５】
前記携帯端末装置はスクロールによる画像表示時に、現在のスクロール位置に対応するカメラ角度を示す角度識別情報を併せて表示するようにしてもよい。これにより、現在表示されている画像のカメラの向きが即座に認識できる。よって、１面撮影指示の際のカメラ角度の指定が的確に行える。
【００１６】
前記角度識別情報は、前記カメラ角度に対応した向きの前記ロボットの頭を示す画像とすれば、より感覚的にカメラ付きロボットのカメラ角度を操作している実感が得られる。
【００１７】
本発明による携帯端末装置は、入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置であって、前記データ通信機能により撮影画像データを受信する手段と、撮影画像データを表示する画面表示部と、パノラマ撮影による複数の撮影画像データについて、これら複数の撮影画像データを重複部分を重ねて合成してパノラマ画像を生成する手段と、前記入力操作部によるユーザの指示に応じて前記パノラマ画像をスクロールして前記画面表示部の表示画面に表示する手段と、任意のスクロール位置においてユーザからの指示により１画面撮影の指示を受けたとき、そのスクロール位置に対応するカメラ角度を求めて前記ロボットに対する１画面撮影指示を与える手段とを備えたことを特徴とする。
【００１８】
前記パノラマ画像を生成する手段は、例えば、前記パノラマ撮影による複数の撮影画像データのうち奇数番目の画面の撮影画像データに対して偶数番目の撮影画像データを、前記境界部分を重ねて合成し、この合成された撮影画像データに対して、さらに、奇数番目の画面の撮影画像データを、当該各奇数番目の画面の位置において、５０％透明の関係で合成する。これによって、携帯端末装置に備わっている画面単位の半透明合成機能を有効に利用して、適切なパノラマ画像の合成を行うことができる。
【００１９】
本発明によるコンピュータプログラムは、入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置において動作するコンピュータプログラムであって、パノラマ撮影による複数の撮影画像データについて、これら複数の撮影画像データを重複部分を重ねて合成してパノラマ画像を生成するステップと、前記入力操作部によるユーザの指示に応じて前記パノラマ画像をスクロールして前記画面表示部の表示画面に表示するステップと、任意のスクロール位置においてユーザからの指示により１画面撮影の指示を受けたとき、そのスクロール位置に対応するカメラ角度を求めて前記ロボットに対する１画面撮影指示を与えるステップとを備えたことを特徴とする。
【００２０】
本発明による、携帯端末装置におけるパノラマ画像の合成方法は、境界部分が重複した水平方向に連続する複数の画面の撮影画像データを受信するステップと、奇数番目の画面の撮影画像データに対して偶数番目の撮影画像データを、前記境界部分を重ねて合成するステップと、この合成された撮影画像データに対して、さらに、奇数番目の画面の撮影画像データを、当該各奇数番目の画面の位置において、５０％透明の関係で合成するステップとを備えたことを特徴とする。
【００２１】
さらに本発明による他の通信ネットワークシステムは、入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置と、複数の角度で撮影可能なカメラおよびデータ通信機能を備えたロボットと、このロボットおよび前記携帯端末装置とデータ通信を行うサーバとを備える。この通信ネットワークシステムにおいて、前記ロボットは、光、音、接触の少なくとも一つを感知する感知手段と、これらの感知結果に基づいて予め定められたイベントの発生が検知されたとき、前記サーバを介して当該イベントの発生を通知する通知手段とを有する。前記携帯端末装置は、前記画面表示部において、仮想的な部屋の中に機器および機能を表すアイコンおよびロボットおよび／またはキャラクタを表すアイコンを含むグラフィックユーザインタフェース画面を表示するとともに、前記サーバを介して当該イベントの発生を検知したとき、前記グラフィックユーザインタフェース画面の表示に反映させる。
【００２２】
前記ロボットは、予め定められたイベントとして、前記感知手段の感知結果の内容を定めるとともに、各イベントに対応する前記グラフィックユーザインタフェース画面の変換内容を定めたイベントテーブルを有してもよく、この場合、前記通知手段は前記検知手段の出力を前記イベントテーブルの内容に照らしてイベントの発生を検知するとともに、当該イベントに対応するグラフィックユーザインタフェース画面の変化内容を特定する。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２４】
図１に、本実施の形態における通信ネットワークシステムの概略構成を示す。このシステムは、携帯端末装置１００と、ロボット３００と、このロボット３００および携帯端末装置１００と通信ネットワークを介してデータ通信を行うサーバ２００とにより構成される。以下、携帯端末装置を単に携帯端末ともいう。本実施の形態においては、携帯端末１００はインターネット接続機能を有する携帯電話機であり、サーバ２００はインターネット等の通信ネットワーク上のサーバ２００である。ロボット３００は、データ通信機能を有するとともに撮影角度を制御することができるカメラ付きのロボットであり、本実施の形態ではエンターテインメント用の動物（ここでは犬）型のロボット（例えばソニー株式会社のＡＩＢＯ（登録商標））を例としている。サーバ２００はインターネット等の公のネットワーク上に置かれる場合と、個人の家庭内等に置かれる場合（ホームサーバと呼ばれる）とがありうる。本発明はそのいずれの場合にも適用可能である。ロボット３００からホームサーバを介してインターネット上のサーバに接続する構成もありうる。
【００２５】
図２に、図１のシステムの各部の概略の内部構成例を示す。
携帯端末１００は、ＣＰＵやＤＳＰなどのプロセッサを含む制御部１０１、プログラムや固定的なデータを格納するＲＯＭ１０５、データの一時保存および作業領域を提供するＲＡＭ１０６、表示画面を有する表示デバイスを有する表示部１０２、各種操作キー（ボタン）やダイヤル等を含む入力部１０３、スピーカ１０７、マイク１０８、音声やデータの無線通信を行う無線通信部１０９を備えている。
【００２６】
サーバ２００は、ＣＰＵなどのプロセッサを含む制御部２０１、ＲＯＭやＲＡＭ等を含むメモリ、ディスプレイ装置などの表示デバイスやキーボード等の入力デバイスを含む入出力部２０３、ハードディスク装置等の外部記憶装置を含むデータベース２０５、外部のネットワークと接続するためのネットワークインタフェース（Ｉ／Ｆ）部２０９を備えている。データベース２０５は、データ（コマンドも含む）を格納する領域を有し、この領域にロボットからアップロードされた撮影データを格納する。サーバ２００がインターネット上にある場合であって、複数の登録ユーザを対象に本実施の形態のサービスが提供される場合には、データベース２０５には登録ユーザ対応にデータの記録領域が確保される。
【００２７】
ロボット３００は、ＣＰＵなどのプロセッサを含む制御部３０１、ＲＯＭやＲＡＭ等を含むメモリ３０２、各部の接触、温度等の種々のセンサ群３０３、マイク３０４、スピーカ３０５、ＬＥＤ３０６、首、腕、足等のロボット各部の関節の回転等の動作を行う各種可動部３０８、ＣＣＤ等の撮影素子を含むカメラ３１０、サーバ２００と接続するためのネットワークＩ／Ｆ部３０９を有する。カメラ３１０はロボットの頭部に搭載され、可動部３０８は頭部の回転等の動作を行うモータ等を有する。
【００２８】
次に本実施の形態における動作を説明する。この動作の典型的な用途としては、外出先において、携帯端末で自宅の部屋の様子（ペットや子供など）を確認するというような用途が考えられる。
【００２９】
携帯端末１００のユーザは、その画面上での操作により、サーバ２００経由でロボット３００によるパノラマ撮影を指示することができる。ロボット３００はサーバ２００を介して携帯端末１００からのパノラマ撮影の指示を確認したとき、予め定めた複数の角度で各画面の境界部分が重複するように水平方向に連続する複数の画面の撮影を順次行い、これにより得られた撮影画像データをサーバ２００に対して送信（アップロード）する。サーバはこの撮影画像データをデータベースに蓄積する。携帯端末１００はサーバ２００からこの撮影画像データを受信してパノラマ画像として合成する。この具体的な合成方法については後に詳述する。
【００３０】
図３は、携帯端末１００におけるグラフィックユーザインタフェース画面の例を示している。このユーザインタフェースはメンタルモデルをベースとしており、図３（ａ）に示すように仮想的な部屋の中に、機器や機能アイコン、マスコット（キャラクタ）のアイコン１５２およびロボットのアイコン１５１が表示されている。ユーザの処理として、画面内のフォーカス切り替えや処理をマスコットのアイコン１５２で分かりやすく表示し、エンターテイメント性のあるものになっている。例えば、ポストのアイコンはメッセージ受信時に入口にメールが差し込まれたような状態に変化する。天気表示のアイコンは図では太陽の表示となり、晴れの天気を示している。このような現実世界を模した画面の分かりやすさにより、ソフトウェアやネットワークに疎いユーザにとっても接しやすいものになる。
【００３１】
図３（ａ）の初期的なユーザインタフェース画面では、ロボットを示すアイコン１５１も表示し、ロボットに関連した操作を行えるようになっている。例えば、ユーザ操作により画面上のロボットアイコン１５１を指示すると、図３（ｂ）に示すようにロボットアイコン１５１が拡大表示され、この例ではカメラのアイコン１５４が表示される。ユーザがこのカメラアイコン１５４を指示すると、図３（ｃ）に示すようなメニューメッセージが表示される。この例では、「前回撮影したイメージをダウンロードしますか」というメッセージが表示され、ユーザはこれに対して「はい」または「いいえ」を選択することができる。「はい」が選択された場合には、当該携帯端末のユーザの指示により撮影指示されサーバに残っている前回撮影したイメージ（画像）を、図４（ａ）に示すように、サーバからダウンロードして表示する。このときダウンロードされる画像は、前回撮影指示された画像が一面撮影によるものかパノラマ撮影によるものかによって、その画像サイズが異なりうる（但し、画面に現れるサイズは同じである）。図４（ａ）の例ではパノラマ撮影による画像を表示した画面例を示しており、ユーザの右または左の指示操作により画像を左右方向にスクロールして表示することができる。この画像表示領域の下側には、そのスクロール位置での撮影角度に合致する向きでロボットの頭部の画像を表示している。これによって、パノラマ画像の現在表示されている部分がどの撮影角度によるものかをユーザが容易に認識できる。画面の下側には、さらなる「一面撮影」または「パノラマ撮影」を、ユーザのキー操作で行えることがガイダンス表示されている。また、他のキー操作による「戻る」および「拡大」のガイダンスも表示されている。「戻る」は直前の画面に戻るための操作であり、「拡大」は現在のスクロール位置での携帯端末内で同画像データの拡大表示処理を行うための操作項目である。カメラにズーム機能がある場合には、「拡大」の指示に応じて、当該スクロール位置に対応するカメラ角度で所定のズーム倍率での拡大１面撮影をカメラに指示するようにしてもよい。１面撮影のカメラ角度は、パノラマ撮影時の上記５方向の角度（４５度単位）より更に小さい分解能で指示される角度（例えば１度ないし５度程度の単位角度）である。例えば図４（ｂ）では−６０度の角度での撮影画像およびロボット頭部の画像を示している。所定の画面位置（例えばロボット頭部の横）に現在の画面のスクロール位置の角度を数値を併せて表示してもよい。
【００３２】
図３（ｃ）の画面で「いいえ」が指示された場合には、本実施の形態では、パノラマ撮影の指示を行い、その画像データを受信して図４（ａ）に示したように、表示する。
【００３３】
図５（ａ）に示すようにロボット３００が室内中央に位置し、携帯端末からの指示によりパノラマ撮影を行う場合の例を説明する。この例では、ロボット３００を所定の高さのテーブルの上に載置した例を示しているが、テーブル上に載置することは必須ではない。
【００３４】
パノラマ画像を構成する撮影画像データは、カメラの複数の方向に対応する複数の画面対応のデータであり、携帯端末での通信データ量および通信時間を考慮して、その撮影方向の個数（画面数）は画面が不連続とならない限度でなるべく少なくすることが好ましい。この実施の形態では、水平方向１８０度に亘る視野範囲を、−９０度（左）、−４５度（左斜め前）、０度（正面）、４５度（右斜め前）、９０度（右）の５方向でカバーしている。すなわち、図５（ａ）に示すように、−９０度方向から０度を経由して９０度方向まで、４５度間隔で５回の撮影を行う。これによって得られた５つの画像例を図５（ｂ）に示す。実際には画面が不連続とならないことを保証するために、カメラの視野角と隣接カメラ方向の間隔との関係は、隣接するカメラ方向では画面の側端部の境界で撮影画像が帯状に重複するようになっている。隣接するカメラ方向で撮影された２つの画像の境界の重複部分は互いに同じ部分を撮影したものであっても、その撮影角度が異なるため重複部分の像は通常完全には一致しない。したがって、画面の継ぎ目のずれが目立たないようにするためには何らかの方法による合成処理が必要となる。
【００３５】
図６により本実施の形態における、重複した隣接画面の画像の合成方法を説明する。 本実施の形態ではこの合成処理を携帯端末に適した方法により行う。従来、このような画像の重なった部分の合成は、後から書き込んだ画素データで前の画素データを書き換えるか、または、両画素データの平均を算出して書き戻す、という処理が行われる。前者では両画面の境界で接合部（継ぎ目）のずれが明瞭に見えるという欠点がある。これに対して後者はよりずれが目立たない（ぼやける）という利点があるが、一般に当該重複領域での画素単位の画像処理が必要となる。しかし、現状の携帯端末ではこのような重複領域のみの画素単位の画像処理機能はサポートされていない。但し、現状の携帯端末では画面単位のアルファブレンディングがサポートされているものがあり、本実施の形態では、このような機能を有効に用いて画面境界部分の合成を行う。アルファブレンディングとは半透明処理を意味し、ある画像の上に別の画像を半透明に重ね合わせる技術である。その際の透明度を表す値はアルファ値と呼ばれる。
【００３６】
図６（ａ）に示すように、境界部分が重複した水平方向に連続する複数の画面の撮影画像データについて、まず、奇数番目の画面（図の例ではＡ，Ｃ）の撮影画像データに対して偶数番目の画面（図の例ではＢ）の撮影画像データを、境界部分を重ねて合成する。このとき、重なった境界部分では画面Ｂの画像データが画面Ａ，Ｃの画像データに上書きされる。ついで、図６（ｂ）に示すようにこの合成された画面Ａ，Ｂ，Ｃの画像データに対して、さらに、奇数番目の画面（この例ではＡ，Ｃ）の撮影画像データを、当該各奇数番目の画面の位置において、５０％透明の関係で合成する。ここでは、携帯端末の画面単位のアルファブレンディングの機能を用いる。その結果、図６（ｃ）に示すように、奇数番目の画面、例えば画面Ａ、の非重複領域では（Ａ＋Ａ）／２＝Ａとなる一方、重複領域では（Ａ＋Ｂ）／２となる。（ここで、Ａ，Ｂは各画素の輝度を表すものとする。）よって、境界の重複領域では両画面の画素が平均化され、明確なずれがぼかされる。画面Ｂの非重複領域についてはそのままＢの画面の画素が残る。（なお、第１層に対して第２層を直ちに５０％の透明度で重ね合わせた場合には第２層の非重複領域が半輝度とある不都合がある。）
【００３７】
図５（ｂ）に示した５つの画面の例について図６に示した合成方法を適用すると、図７に示すように、最下層としての第３層に奇数番目の画面に対して偶数番目の画面が第２層として重ねられ、この合成画像に対してさらに奇数番目の画面がその対応する画面との位置関係を維持したまま第１層として５０％の透明度で重ねられる。その結果を図８に示す。但し、図示の都合上、撮影画像として線画を用いているため、実際のビットマップイメージの合成結果とは感じがことなっていることに留意されたい。
【００３８】
このようにして得られたパノラマ画像は横長の画像であり、一度に携帯端末１００の画面に表示できないので、前述したように、その一部を画面上に表示し、他の部分は左右方向のスクロールにより表示できるようにする。このとき、ユーザは、携帯端末１００から、任意のスクロール位置に対応した所望のカメラ角度で、ロボット３００に対して再度１画面（一面）の撮影を行うことを指示することができる。この一面撮影は、上記のような画面合成によっても継ぎ目部分がいびつになることは避けられないので継ぎ目の方向での１画面撮影による明瞭な画像を得たい場合があること、（カメラにズーム機能がある場合には任意のカメラ角度でのより拡大した画像を見たい場合があること）、等の要請に応えるものである。ロボット３００はこの一面撮影指示を受けて当該指示されたカメラ角度で一面撮影を行い、その撮影画像データを前記サーバに対して送信する。携帯端末１００はサーバ２００から当該一面撮影による撮影画像情報を受信して表示画面に表示する。
【００３９】
次に、図９および図１０に、ロボットとサーバとの間でやりとりされる要求および応答の具体例を示す。本実施の形態では、ロボットからサーバに対して定期的にポーリングを行うことにより、両者の間の通信を行うものとする。そのための通信プロトコルとしてはＨＴＴＰ(Hyper Text Transfer Protocol)を用いる。ロボットからサーバへのポーリング形式の通信によって、サーバからロボットへアクセスを行う必要がない。これにより、ロボットがインターネットに接続できる環境でプライベートアドレスが割振られている場合や、プロキシが存在している場合でも、特に特殊な設定が無くても目的のデータ通信が通信が可能となる。
【００４０】
図９はＨＴＴＰプロトコルによるＰＯＳＴ処理によりロボットがサーバに対して発行する要求（リクエスト）の例を示している。図９（ａ）はリクエストの種類（ここでは処理開始、コマンド取得、データ送信の３つ）を示し、図９（ｂ）（ｃ）（ｄ）は各リクエストの構成を示している。「処理開始」リクエストはMAV_Request("Start"), MAV_UserID,MAV_Passwdの形式をとり、ユーザＩＤおよびパスワードの送付によりユーザ認証から処理を開始することを依頼するものである。「コマンド取得」リクエストは、MAV_Request(getCommand")の形式をとり、サーバに対して自己宛に保持されたコマンドを受け取ることを要求するものである。「データ送信」リクエストは、MAV_Request("sendData"), MAV_Dataの形式をとり、データそのもの（例えば撮影画像データ）を添付してサーバに送るものである。MAV_Request("image＜ｎ＞")の”ｎ”はパノラマ撮影の場合の５つの角度−９０度、−４５度、０度、４５度、９０度にそれぞれ対応した１〜５の数値である。この数値ｎが省略されている場合は一面撮影と判断される。
【００４１】
図１０はロボットの各種リクエストに対応する応答（MAV_Response)の例を示すものである。図１０（ａ１）は処理開始リクエストに対応する認証の成功／失敗を返答する応答を示し、MAV_Responseというタグで応答を挟んで（＜MAV_Response＞数値＜／MAV_Response＞）返送する。図１０（ｂ）は処理開始リクエストに対してセッションＩＤを消す応答であり、同様にMAV_SessionIDというタグで応答を挟んで返送する（＜MAV_SessionID＞セッションＩＤ＜／MAV_SessionID＞）。図１０（ｂ１）はコマンド取得リクエストに対する応答であり、（＜MAV_Response＞数値＜／MAV_Response＞）という形式を有する。この場合の「数値」は「コマンド無し」「イメージ撮影（一面）」「パノラマ撮影」「認証からやり直し」「サービス（一時）停止」「ポーリング間隔変更」等を示す数値である。
「イメージ撮影（一面）」の場合、その返答に続いて、図１０（ｂ２）の形式でカメラ角度（首の角度）を示す数値をMAV_Angleというタグで返送する。本同様に、「ポーリング間隔変更」の場合、その返答に続いて、図１０（ｂ３）の形式でポーリング間隔を表す数値をMAV_PollingIntervalというタグで返送する。
【００４２】
図１０（ｃ）はデータ送信リクエストに対する応答であり、サーバでデータ受信が成功したか失敗したかを示す数値をMAV_Responseというタグで応答を挟んで返送する。
【００４３】
図１１は、図１０で説明したようなリクエストおよび応答を用いたサーバとロボットとの間のやりとりを示すシーケンス図である。
【００４４】
ロボットは、通信の開始時にまず、ユーザＩＤおよびパスワードを含むＰＯＳＴデータを生成し（Ｓ１）、サーバに対して処理開始リクエストを発行する（Ｓ２）。これに対してサーバは認証が成功したら、認証成功の応答およびセッションＩＤを返送する（Ｓ３）。セッションＩＤは認証以降の通信に関しては使い捨てで割り当てられる任意のＩＤであり、これを利用し、個人を特定している。これはセキュリティ上、ポーリングの度にパスワード情報を転送することは問題であるためであり、ポーリング中に第三者が偽ってアクセスした場合にも、既にポーリングしているセッションＩＤが生きている場合に同ユーザに対する２重ポーリングを感知し、不正アクセスを防止するためである。
【００４５】
ロボットはこの認証結果を確認する（Ｓ４）。認証成功であればセッションＩＤを取得する。認証失敗の場合はリトライがなされ、リトライによっても成功しない場合にはサーバにエラーが通知される。
【００４６】
認証成功後、ロボットはコマンドチェックＰＯＳＴデータを生成し（Ｓ５）、これによりサーバに対してコマンド取得リクエストが発行される（Ｓ６）。サーバはこれに応答して、ポーリング間隔変更（この例ではポーリング間隔６０秒）のコマンドを返す（Ｓ７）。ポーリング間隔のデフォルト値は１８０秒とする。ロボットは受信したコマンドを確認して（Ｓ８）、指定されたポーリング間隔の時間待機し（Ｓ９）、その後、コマンド取得リクエストを発行する（Ｓ１０）。
【００４７】
このコマンド取得リクエストに対してサーバが一面撮影のコマンドを返したとする（Ｓ１１）。ロボットはこのコマンドを確認すると（Ｓ１２）、一面撮影を行う（Ｓ１３）。コマンドにカメラ角度が指定されていれば、その角度で撮影を行う。ロボットは、この撮影データを含むＰＯＳＴデータを生成し（Ｓ１４）、これをサーバに送信する（Ｓ１５）。コマンドがパノラマ撮影の場合にはロボットはパノラマ撮影を行い、すべての角度の撮影画像をサーバに順次送信する。
【００４８】
サーバはデータ受信成功か否かの応答を返す（Ｓ１６）。図の例では成功の場合を示している。ロボットは送信結果の確認を行う（Ｓ１７）。失敗の場合には再送を行い、それでも失敗の場合にはサーバにエラーの通知を行う。
【００４９】
ロボットはその後先のポーリング間隔でコマンド取得リクエストを発行する（Ｓ１８）。ここでサーバがポーリング間隔変更（この例では３０秒）のコマンドを返したとする（Ｓ１９）。ロボットはこのコマンドを確認し（Ｓ２０）、以後、この新たなポーリング間隔でコマンド取得リクエストを発行する（Ｓ２２）。サーバはロボットに対して渡すべきコマンドがないときには、その旨を応答する（Ｓ２３）。
【００５０】
図１２は、携帯端末、サーバ、ロボットの３者の間のやりとりの例を示すシーケンス図である。この例では、図１１で説明したようなロボットとサーバ間の処理が開始されており、ロボットは指定されたポーリング間隔Ａ（間隔長）で周期的にサーバにアクセスしているものとする。ポーリング間隔は図示するように、ユーザのアクセス状態等に応じ何段階かに変化するものとする。
【００５１】
携帯端末において、図３に示したようなユーザインタフェース画面でユーザがロボットアイテムを選択すると（Ｓ３１）、サーバに対してロボットのオープンが指示される（Ｓ３２）。これに伴って、携帯端末ではロボットアイテムを展開（拡大）し、操作ボタンを無効化(Disable)するとともに、周期的にサーバにおけるデータ更新チェックを行うためにポーリングフラグをＯＮする（Ｓ３３）。操作ボタンを無効化するのは周期的なポーリング処理に対して、ユーザ操作の影響を与えないようにするためである。
【００５２】
一方、ロボットはあるポーリングによる取得データチェック時に、サーバのデータベースの自己の記憶領域に一時蓄積されたロボットオープンのコマンドを確認すると（Ｓ５１）、所定の撮影（この例ではパノラマ撮影）を行う（Ｓ５２）。この撮影データをデータ送信用にパッキングして（Ｓ５３）、サーバに画像アップロードを行い（Ｓ５４）、それが成功したことを確認する（Ｓ５５）。
【００５３】
この時点で、携帯端末は周期的にデータ更新チェックを行っており、画像アップロード後のデータ更新チェック（Ｓ３４）でデータ更新があった（画像がアップロードされた）ことを確認すると、ロボットのポーリング間隔を短く（ポーリング間隔Ｃ）するように指示する。これによって、ロボットのコマンド取得頻度が上がり、コマンドへの即応性が上がる。携帯端末は、さらに、操作ボタンをイネーブル化して、ポーリングフラグをＯＦＦにする（Ｓ３５）。なお、ロボットのポーリング間隔は短く設定された後、所定の時間で自動的に中レベルのポーリング間隔（Ｂ）に戻るように設定されている。
【００５４】
携帯端末で更新ボタン（図３（ｃ）のメニュー項目「はい」に相当）が押されると（Ｓ３６）、サーバにアクセスして撮影データの取得（ダウンロード）を行い（Ｓ３７）、これを画面に表示する（Ｓ３８）。サーバの記憶容量の節約のため、ダウンロードされた撮影データは、自動的にサーバから削除されるようにしてもよい。
【００５５】
その後、携帯端末において撮影ボタン（図４の一面撮影またはパノラマ撮影）が押されると、ポーリングフラグがＯＮされ（Ｓ３９）、サーバに撮影を指示した後（Ｓ４０）、携帯端末の周期的なデータ更新チェックが始まる（Ｓ４１）。
【００５６】
ポーリングにより撮影指示を確認（Ｓ５６）したロボットは撮影を行い（Ｓ５７）、データパッキング後（Ｓ５８）、サーバへ画像アップロードを行う（Ｓ５９）。
【００５７】
これに対して携帯端末は、データ更新チェック時（Ｓ４２）に画像アップロードを確認すると、ロボットのポーリング周期を短くし、自己のポーリングフラグをＯＦＦにする（Ｓ４３）。そこで、サーバから撮影データを取得し（Ｓ４４）、これを表示する（Ｓ４５）。
【００５８】
図１３に、本実施の形態における携帯端末の処理のフローチャートを示す。携帯端末は、図３（ａ）に示したユーザインタフェース画面でロボットアイテムが選択されたら（Ｓ６１，Ｙｅｓ）、図３（ｂ）のように画面展開を行い、機能選択を促す（Ｓ６２）。カメラ機能が選択されたら（Ｓ６３，Ｙｅｓ）、図３（ｃ）のように前回撮ったイメージを取り込むか否かの確認ダイアログを表示する（Ｓ６４）。前回撮ったイメージを取り込む場合には（Ｓ６５，Ｙｅｓ）、後述するステップＳ６８へ移行する。
【００５９】
前回撮ったイメージを取り込まない場合には、パノラマ撮影の撮影コマンドをサーバに送る（Ｓ６６）。携帯端末によるサーバへのポーリングによりイメージが更新されたことが確認された場合、サーバに対して複数画面の各イメージの取得のリクエストを送り、その撮影データの取得および表示（図４）を行う（Ｓ６８）。パノラマ画面の表示時には、現在のスクロール位置に合った角度のロボット頭部の画像を表示する。このような角度の異なるロボット頭部の画像は、角度毎に別個の画像を用意しておくか、あるいは、１つの画像を回転させて用いる。いずれにせよ、このような画像データは本アプリケーションを携帯端末へインストールすることに併せてメモリ内に保存することができる。
【００６０】
その後、「一面撮影」が選択された場合（Ｓ６９，Ｙｅｓ）、現在のスクロール位置から角度を割り出し、その角度での一面撮影コマンドをサーバへ送信する（Ｓ７０）。サーバへのポーリングにより画面更新が確認されるのを待って（Ｓ７１）、サーバへのイメージ取得のリクエストを送信し、撮影データを取得、表示する（Ｓ７２）。パノラマ撮影が選択された場合（Ｓ７３，Ｙｅｓ）、パノラマ撮影コマンドをサーバへ送信する（Ｓ７４）。その後、サーバへのポーリングにより画面更新が確認されるのを待って（Ｓ７５）、サーバへのイメージ取得のリクエストを送信し、撮影データを取得、表示する（Ｓ７６）。
【００６１】
画面上で「戻る」が選択された場合（Ｓ７７，Ｙｅｓ）、最初のステップＳ６１へ戻る。
【００６２】
図１４に、本実施の形態におけるロボットの処理のフローチャートを示す。
【００６３】
ロボットは、設定されたポーリング周期の到来毎に（Ｓ８１，Ｙｅｓ）、サーバへのポーリングを行う（Ｓ８２）。このポーリングでサーバからコマンド等のデータを取得し、その取得データをチェックする（Ｓ８３）。一面撮影が指示されている場合には、方向（および可能であれば倍率）をチェックしして（Ｓ８５）、指示された方向（および可能であれば倍率）でカメラ撮影を行う（Ｓ８６）。この撮影データをサーバへ送信（アップロード）する（Ｓ８７）。
【００６４】
パノラマ撮影が指示されている場合には、多画面（上述した５方向）の撮影を順次実行し（Ｓ８９）、この多画面の撮影データをサーバへ順次送信する（Ｓ９０）。
【００６５】
取得データが他のコマンドである場合には（Ｓ９１）、そのコマンドを実行する（Ｓ９２）。この終了後、またはコマンドがない場合、最初のステップＳ８１へ戻る。
【００６６】
次に本発明の他の実施の形態について説明する。前述のようにロボットにはカメラおよび各種センサが搭載されており、ロボットによりロボット自身に対する外部からの働きかけの有無やロボット周囲の状況の変化をイベントとして自動的に検出することができる。そこで、検出対象のイベントを予め決めてそのイベントの発生を監視し、イベントの発生後、そのことをサーバを介して携帯端末が認識可能とし、携帯端末がイベントの発生を認識したとき、そのイベントの内容をグラフィックユーザインタフェース画面に反映させる。これによって、ユーザはロボットが置かれた室内の状況等の変化を、視覚的に容易にかつ即座に認識することができる。
【００６７】
図１５に本実施の形態において用いるイベントテーブル１５０の構成例を示す。このイベントテーブル１５０はロボットに保持し、ロボットが該当するイベントを検出したときに、対応するグラフィックユーザインタフェース画面の変化（ＧＵＩ変化）の内容を指示するデータをサーバ経由で携帯端末に与える。このテーブル例では、６つのイベントを定義している。
【００６８】
第１のイベントはカメラの複数方向の撮影データに基づいてロボット周辺の平均輝度を求め、その平均輝度の変化（例えば予め定められた所定量の変化）が検出されることである。このときのＧＵＩ変化は、グラフィックユーザインタフェース画面において部屋の明るさを対応して変更することである。
【００６９】
第２のイベントは指定された方向でのカメラの撮影データに基づいて特定位置の輝度の変化が検出されることである。特定位置は例えばロボットの置かれた部屋にあるテレビの位置あるいは窓の位置である。テレビ画面の明るさの変化はテレビの電源がＯＮ／ＯＦＦの変化を示すものと考えられる。窓の明るさの変化は窓の外の明るさの変化を示す。これらのイベントに応じたＧＵＩ変化としては、グラフィックユーザインタフェース画面内のテレビアイコンの表示変化を行ったり、窓アイコンの明るさの変更を行ったりする。
【００７０】
第３のイベントは、ロボットがそのマイクにより予め定めた閾値以上の音を検出することである。この場合、テレビＯＦＦの場合であれば、来客によるインターフォンの鳴動等が原因と判断され、マスコットの表示態様を変える（例えばマスコットの向きを左右に振らせてキョロキョロしている感じを出す）。これに併せて、例えば「インターフォンが鳴りました」のようなメッセージを表示してもよい。
【００７１】
第４のイベントは、ロボットが内部の温度センサにより所定の温度の変化を検出することである。この温度変化は、検出温度が予め定めた温度以上または以下になること、予め定めた温度差以上の変化があったこと等である。対応するＧＵＩ変化としては、例えば、ロボットアイコンや部屋の雰囲気（色など）を変えることである。ＧＵＩ画面において温度計による温度表示を行ってもよい。
【００７２】
第５のイベントは、ロボットが外力によって手や足、首の関節に設置された動作センサが作動したことである。これはロボットを人が持ち上げたような場合に相当する。対応するＧＵＩ変化としては、例えば、ロボットアイコンに所定の動作（例えばピョコンピョコンとはねる動作）をさせるものである。これに併せて、例えば「ロボットが持ち上げられました」のようなメッセージを表示してもよい。
【００７３】
第６のイベントは、ロボットがその頭部等に設けられたタッチセンサへのタッチを検出することである。これは人がロボットにタッチした場合である。このときの対応するＧＵＩ変化としては、例えば、ロボットアイコンに所定の動作（例えば首を上下させる動作）をさせるものである。これに併せて、例えば「ロボットの頭がなでられました」のようなメッセージを表示してもよい。
【００７４】
図１６は図１５のイベントテーブル１５０を用いるロボットの処理を示すフローチャートである。イベントチェック周期が到来したら（Ｓ１０１，Ｙｅｓ）、カメラや各種センサの出力に基づいてイベント発生のチェックを行う（Ｓ１０２）。イベントが検出されたら（Ｓ１０３，Ｙｅｓ）、イベントテーブルを参照し、そのイベントに対応するＧＵＩ変化の指示をサーバ経由で携帯端末へ与える（Ｓ１０４）。全イベントのチェックが終わるまで（Ｓ１０５）、Ｓ１０２〜Ｓ１０４の処理を繰り返す。全イベントのチェックが終わったら、最初のステップＳ１０１へ戻る。
【００７５】
図１７は図１６のロボットの処理に対応する携帯端末の処理を示すフローチャートである。携帯端末は、データ更新チェック周期が到来したら（Ｓ１１１，Ｙｅｓ）、サーバにアクセスしてデータ更新の有無をチェックする（Ｓ１１２）。更新がなければステップＳ１１１に戻る。更新があったならば（Ｓ１１３）、指示されたＧＵＩ変化に応じてＧＵＩ表示の変更を行う（Ｓ１１４）。
【００７６】
この第２の実施の形態の変形例として、イベントテーブル１５０を携帯端末側に保持しておき、ロボットはイベントに関係するカメラやセンサ等の出力データを周期的にサーバに送信し、携帯端末においても周期的にサーバからその出力データを受信して、当該イベントテーブル１５０に照らして検出したイベントをＧＵＩ変化に反映させるようにすることも可能である。
【００７７】
さらなる変形例として、サーバにイベントテーブル１５０を保持しておき、サーバはロボットからイベントに関係するカメラやセンサ等の出力データを周期的に受信して、イベントテーブル１５０に照らしてイベントの発生を検出し、該当するＧＵＩ変化の指示を携帯端末に与えるようにすることも可能である。
【００７８】
さらに上記以外のイベントとして、下記のような例が考えられる。
Ａ．誰かが帰宅した場合、ある時点で輝度が急激に変化すると考えられ、このような輝度変化を感知した場合、「帰宅」イベントと判断し、これをＧＵＩ画面に何らかの形態で反映させる。
Ｂ．ロボットの頭を３回叩く、腕を伸ばす、などロボットに接触することをそれぞれ別のイベントとして検出し、これらに対応して「連絡して」「荷物が届いた」「雨が降ってきた」「遅くまで頑張ってるね」など伝言としてのメッセージをＧＵＩ画面に表示させる。これは、電話やメールなど通信手段を使いこなせない子供やお年寄りにとって有効と考えられる。
Ｃ．ロボットを通して限られたコミュニケーションを行うことも可能である。まず、携帯端末からロボットにあるポーズをとるようにコマンドを送り、家庭内に居る人や、利口なペットなどが反応し、腕を押す、頭をなでるなどした時に、ロボットは応答データをサーバに返す。携帯端末では、しばらくポーリングを行い、誰かが接触したことが分かると、アイコン表示が変化するなどで、明確ではないが漠としたコミュニケーションを実現することが出来る。これは、外出先で暇な時に家との繋がりを楽しむというレベルの利用である。
【００７９】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも、種々の変形、変更が可能である。
例えば、第２の実施の形態は第１の実施の形態とは独立に実施可能である。
サーバでのサービスの利用、携帯端末やロボットにインストールするアプリケーションへの課金やロボットのパッケージ販売など、ビジネス化が可能である。なお、サーバは必ずしも必須の要素ではなく、サーバを省略し携帯端末から直接ロボットを制御するようにしてもよい。
パノラマ撮影のカメラの角度は５方向１８０度としたが、その方向数および角度範囲はこれらに限るものではない。
【００８０】
【発明の効果】
本発明による通信ネットワークシステムによれば、カメラ付きロボットおよび携帯端末を用いて、遠隔的にカメラ付きロボットによるパノラマ撮影を行い、その複数の画面の画像を携帯端末においてパノラマ画像として表示することができる。パノラマ画像は、単なる一枚画像に比べ、部屋の様子などを認識するには手軽で効果的である。携帯端末におけるパノラマ画像の表示にはスクロール表示を行うことにより、画面を縮小することなく全体の画像を視認することができる。また、所望のスクロール位置で１面画像の撮影を可能とすることにより、パノラマ画像の複数の画面の継ぎ目にあたる方向等、任意のカメラ角度の１面画像を容易に再撮影することができる。さらに、現在のスクロール位置に対応するカメラ角度を示す角度識別情報を併せて表示することにより、現在表示されている画像のカメラ角度を容易に認識することができる。
【００８１】
また、本発明のパノラマ画像の合成方法によれば、携帯端末の画面単位の半透明合成方法を用いて、隣接するカメラ角度の撮影画像の継ぎ目の画像部分のずれを目立たなくすることができる。
【００８２】
さらに、本発明による他の通信ネットワークシステムによれば、カメラ付きロボットを利用したイベント発生の監視結果を、そのイベントの種類に応じてグラフィックユーザインタフェース画面の表示に反映させることにより、遠隔地の室内等でのイベントの発生を携帯端末の表示画面上で容易にかつ即座に認識することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における通信ネットワークシステムの概略構成を示す図である。
【図２】図１のシステムの各部の概略の内部構成例を示すブロック図である。
【図３】図の携帯端末におけるユーザインタフェース画面の例を示す図である。
【図４】本発明の実施の形態におけるパノラマ撮影による画像を表示した画面例を示す図である。
【図５】本発明の実施の形態におけるロボットによるパノラマ撮影の説明図である。
【図６】本発明の実施の形態における、重複した隣接画面の合成方法を説明するための図である。
【図７】図５に示した５つの画面の例について図６に示した合成方法を適用する工程の説明図である。
【図８】図５に示した５つの画面の例について図６に示した合成方法を適用した結果を示す図である。
【図９】本発明の実施の形態においてロボットがサーバに対して発行する要求（リクエスト）の例を示す図である。
【図１０】ロボットの各種リクエストに対応する応答の例を示す図である。
【図１１】図１０で説明したようなリクエストおよび応答を用いたサーバとロボットとの間のやりとりを示すシーケンス図である。
【図１２】本発明の実施の形態における携帯端末、サーバ、ロボットの３者の間のやりとりの例を示すシーケンス図である。
【図１３】本発明の実施の形態における携帯端末の処理のフローチャートである。
【図１４】本発明の実施の形態におけるロボットの処理のフローチャートである。
【図１５】本発明の実施の形態において用いるイベントテーブルの構成例を示す図である。
【図１６】図１５のイベントテーブルを用いるロボットの処理を示すフローチャートである。
【図１７】図１６のロボットの処理に対応する携帯端末の処理を示すフローチャートである。
【符号の説明】
１００…携帯端末、１０１，２０１，３０１…制御部、１０２…表示部、１０３…入力部、１０５…ＲＯＭ、１０６…ＲＡＭ、１０７，３０５…スピーカ、１０８，３０４…マイク、１０９…無線通信部、１５０…イベントテーブル、２００…サーバ、２０２，３０２…メモリ、２０９，３１９…ネットワークＩ／Ｆ部、２０５…データベース、３００…ロボット、３０３…センサ群、３０６…ＬＥＤ、３０８…可動部、３１０…カメラ
【発明の属する技術分野】
本発明は、通信ネットワークシステムに関し、特に（但し限定する意味でなく）、入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置と、複数の角度で撮影可能なカメラおよびデータ通信機能を備えたロボットと、このロボットおよび前記携帯端末装置とデータ通信を行うサーバとを備えた通信ネットワークシステムに関する。
【０００２】
【従来の技術】
従来、カメラで撮影した画像に対してズーム倍率やカメラの上下左右方向角度を含むカメラデータを付加して送信し、受信側でカメラデータをもとに画像を合成して全視野の画像を表示したり、全視野中の任意の位置指定に対応してカメラ側でその角度の画像を撮影、送信し、受信側のモニタ上に所望の視野の画像を表示させる技術が知られている（特許文献１参照）。この技術では、全視野の画像を合成・縮小して１画面上に表示し一度に全視野を見ることを可能とするとともに、この画面上でユーザからマウスカーソルで指示された位置に対応してＴＶカメラの位置を指示制御してこの角度の撮影を行わせ、この撮影画像を受信表示する。
【０００３】
また、公衆回線網を利用してロボットを遠隔制御するシステムも知られている（特許文献２参照）。
【０００４】
ロボットとしては、各種の製造、監視、作業等の用途のみならず、エンターテインメントを目的とした人型や動物型のロボットも販売されるようになってきた。このようなロボットは、一般に、各種センサやカメラによる情報の入力、認識、音声や光の出力等の機能を備えているものが多い。
【０００５】
一方、携帯電話機を代表とする携帯無線端末装置が普及し、このような端末装置では、音声通話のみならずデータ通信機能により電子メールやウェブ閲覧等が可能となっている。
【０００６】
【特許文献１】
特開平８−８８７８７号公報
【特許文献２】
特開２００１−１９５１１３号公報
【０００７】
【発明が解決しようとする課題】
上記のような携帯端末装置により、カメラ付きのロボットを遠隔的に制御して横長のパノラマ撮影画像を撮影させ、このパノラマ撮影画像データを受信して表示する際、従来技術のように一度に全視野分を１画面で見られるようにするために画面サイズを縮小すると、携帯端末装置の表示画面はサイズが小さいため画面内容の視認性が極端に悪くなる。また、全視野中の任意の角度の１画面を指示するためにマウスカーソルで任意の画面位置を指示することも携帯端末装置では直ちに採用することができない。
【０００８】
したがって、本発明は、遠隔的にカメラ付きロボットによるパノラマ撮影を行う際の携帯端末装置に適したパノラマ画像および１画面画像の撮影の制御および受信表示処理を行うことができる通信ネットワークシステム、携帯端末装置、パノラマ画像の合成方法およびコンピュータプログラムを提供することを目的とする。
【０００９】
本発明による他の目的は、カメラ付きロボットを利用したイベント発生の監視結果を携帯端末の表示画面上で容易にかつ即座に認識することができるインタフェースを備えた通信ネットワークシステムを提供することにある。
【００１０】
【課題を解決するための手段】
本発明による通信ネットワークシステムは、入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置と、複数の角度で撮影可能なカメラおよびデータ通信機能を備えたロボットと、このロボットおよび前記携帯端末装置とデータ通信を行うサーバとを備える。この通信ネットワークシステムにおいて、前記ロボットは前記サーバを介して前記携帯端末装置からのパノラマ撮影の指示を確認したとき、予め定めた複数の角度で各画面の境界部分が重複するように水平方向に連続する複数の画面の撮影を順次行い、これにより得られた撮影画像データを前記サーバに対して送信し、前記サーバは前記パノラマ撮影による複数の撮影画像データを記憶手段に蓄積する。前記携帯端末装置は、前記サーバから前記パノラマ撮影による複数の撮影画像データを受信し、これら複数の撮影画像データを重複部分を重ねて合成してパノラマ画像を生成し、ユーザの指示に応じて前記パノラマ画像をスクロールして表示画面に表示するとともに、任意のスクロール位置においてユーザからの指示により１画面撮影の指示を受けたとき、そのスクロール位置に対応するカメラ角度を求めて前記サーバ経由で前記ロボットに１画面撮影指示を与え、前記ロボットは前記１画面撮影指示を受けて当該指示されたカメラ角度で１画面撮影を行い、その撮影画像データを前記サーバに対して送信する。前記携帯端末装置は前記サーバから前記１画面撮影による撮影画像情報を受信して表示画面に表示する。
【００１１】
この構成により、携帯端末装置のユーザは、遠隔地においてロボットにその位置する場所の周囲の様子をパノラマ撮影することができ、かつ、携帯端末装置でパノラマ撮影による複数の撮影画像データをパノラマ画像として合成し、スクロール表示可能とすることにより、画像を縮小することなく、表示画面を有効に利用してパノラマ画像を閲覧することができる。また、スクロール途中の任意の位置で１画面撮影指示を行うことにより、所望のカメラ角度での撮影画像が得られる。
【００１２】
前記ロボットは前記サーバに対して周期的にポーリングを行うことにより、前記サーバとの間でデータの授受を行うことができる。これにより、ロボットからサーバにアクセスすれば足り、サーバからロボットにアクセスする必要がなくなる。
【００１３】
前記ロボットの前記サーバに対するポーリングの周期は、前記携帯端末からの操作に応じて変更しうる。例えば、ロボットの即応の必要性が高いときほど、ポーリング周期を短くする。
【００１４】
前記前記携帯端末装置は前記サーバに対して周期的にポーリングを行うことにより、前記サーバとの間でデータの授受を行うことも可能である。これにより、携帯端末装置主導でサーバにアクセスを行い、必要なデータ通信を行うことができる。
【００１５】
前記携帯端末装置はスクロールによる画像表示時に、現在のスクロール位置に対応するカメラ角度を示す角度識別情報を併せて表示するようにしてもよい。これにより、現在表示されている画像のカメラの向きが即座に認識できる。よって、１面撮影指示の際のカメラ角度の指定が的確に行える。
【００１６】
前記角度識別情報は、前記カメラ角度に対応した向きの前記ロボットの頭を示す画像とすれば、より感覚的にカメラ付きロボットのカメラ角度を操作している実感が得られる。
【００１７】
本発明による携帯端末装置は、入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置であって、前記データ通信機能により撮影画像データを受信する手段と、撮影画像データを表示する画面表示部と、パノラマ撮影による複数の撮影画像データについて、これら複数の撮影画像データを重複部分を重ねて合成してパノラマ画像を生成する手段と、前記入力操作部によるユーザの指示に応じて前記パノラマ画像をスクロールして前記画面表示部の表示画面に表示する手段と、任意のスクロール位置においてユーザからの指示により１画面撮影の指示を受けたとき、そのスクロール位置に対応するカメラ角度を求めて前記ロボットに対する１画面撮影指示を与える手段とを備えたことを特徴とする。
【００１８】
前記パノラマ画像を生成する手段は、例えば、前記パノラマ撮影による複数の撮影画像データのうち奇数番目の画面の撮影画像データに対して偶数番目の撮影画像データを、前記境界部分を重ねて合成し、この合成された撮影画像データに対して、さらに、奇数番目の画面の撮影画像データを、当該各奇数番目の画面の位置において、５０％透明の関係で合成する。これによって、携帯端末装置に備わっている画面単位の半透明合成機能を有効に利用して、適切なパノラマ画像の合成を行うことができる。
【００１９】
本発明によるコンピュータプログラムは、入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置において動作するコンピュータプログラムであって、パノラマ撮影による複数の撮影画像データについて、これら複数の撮影画像データを重複部分を重ねて合成してパノラマ画像を生成するステップと、前記入力操作部によるユーザの指示に応じて前記パノラマ画像をスクロールして前記画面表示部の表示画面に表示するステップと、任意のスクロール位置においてユーザからの指示により１画面撮影の指示を受けたとき、そのスクロール位置に対応するカメラ角度を求めて前記ロボットに対する１画面撮影指示を与えるステップとを備えたことを特徴とする。
【００２０】
本発明による、携帯端末装置におけるパノラマ画像の合成方法は、境界部分が重複した水平方向に連続する複数の画面の撮影画像データを受信するステップと、奇数番目の画面の撮影画像データに対して偶数番目の撮影画像データを、前記境界部分を重ねて合成するステップと、この合成された撮影画像データに対して、さらに、奇数番目の画面の撮影画像データを、当該各奇数番目の画面の位置において、５０％透明の関係で合成するステップとを備えたことを特徴とする。
【００２１】
さらに本発明による他の通信ネットワークシステムは、入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置と、複数の角度で撮影可能なカメラおよびデータ通信機能を備えたロボットと、このロボットおよび前記携帯端末装置とデータ通信を行うサーバとを備える。この通信ネットワークシステムにおいて、前記ロボットは、光、音、接触の少なくとも一つを感知する感知手段と、これらの感知結果に基づいて予め定められたイベントの発生が検知されたとき、前記サーバを介して当該イベントの発生を通知する通知手段とを有する。前記携帯端末装置は、前記画面表示部において、仮想的な部屋の中に機器および機能を表すアイコンおよびロボットおよび／またはキャラクタを表すアイコンを含むグラフィックユーザインタフェース画面を表示するとともに、前記サーバを介して当該イベントの発生を検知したとき、前記グラフィックユーザインタフェース画面の表示に反映させる。
【００２２】
前記ロボットは、予め定められたイベントとして、前記感知手段の感知結果の内容を定めるとともに、各イベントに対応する前記グラフィックユーザインタフェース画面の変換内容を定めたイベントテーブルを有してもよく、この場合、前記通知手段は前記検知手段の出力を前記イベントテーブルの内容に照らしてイベントの発生を検知するとともに、当該イベントに対応するグラフィックユーザインタフェース画面の変化内容を特定する。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２４】
図１に、本実施の形態における通信ネットワークシステムの概略構成を示す。このシステムは、携帯端末装置１００と、ロボット３００と、このロボット３００および携帯端末装置１００と通信ネットワークを介してデータ通信を行うサーバ２００とにより構成される。以下、携帯端末装置を単に携帯端末ともいう。本実施の形態においては、携帯端末１００はインターネット接続機能を有する携帯電話機であり、サーバ２００はインターネット等の通信ネットワーク上のサーバ２００である。ロボット３００は、データ通信機能を有するとともに撮影角度を制御することができるカメラ付きのロボットであり、本実施の形態ではエンターテインメント用の動物（ここでは犬）型のロボット（例えばソニー株式会社のＡＩＢＯ（登録商標））を例としている。サーバ２００はインターネット等の公のネットワーク上に置かれる場合と、個人の家庭内等に置かれる場合（ホームサーバと呼ばれる）とがありうる。本発明はそのいずれの場合にも適用可能である。ロボット３００からホームサーバを介してインターネット上のサーバに接続する構成もありうる。
【００２５】
図２に、図１のシステムの各部の概略の内部構成例を示す。
携帯端末１００は、ＣＰＵやＤＳＰなどのプロセッサを含む制御部１０１、プログラムや固定的なデータを格納するＲＯＭ１０５、データの一時保存および作業領域を提供するＲＡＭ１０６、表示画面を有する表示デバイスを有する表示部１０２、各種操作キー（ボタン）やダイヤル等を含む入力部１０３、スピーカ１０７、マイク１０８、音声やデータの無線通信を行う無線通信部１０９を備えている。
【００２６】
サーバ２００は、ＣＰＵなどのプロセッサを含む制御部２０１、ＲＯＭやＲＡＭ等を含むメモリ、ディスプレイ装置などの表示デバイスやキーボード等の入力デバイスを含む入出力部２０３、ハードディスク装置等の外部記憶装置を含むデータベース２０５、外部のネットワークと接続するためのネットワークインタフェース（Ｉ／Ｆ）部２０９を備えている。データベース２０５は、データ（コマンドも含む）を格納する領域を有し、この領域にロボットからアップロードされた撮影データを格納する。サーバ２００がインターネット上にある場合であって、複数の登録ユーザを対象に本実施の形態のサービスが提供される場合には、データベース２０５には登録ユーザ対応にデータの記録領域が確保される。
【００２７】
ロボット３００は、ＣＰＵなどのプロセッサを含む制御部３０１、ＲＯＭやＲＡＭ等を含むメモリ３０２、各部の接触、温度等の種々のセンサ群３０３、マイク３０４、スピーカ３０５、ＬＥＤ３０６、首、腕、足等のロボット各部の関節の回転等の動作を行う各種可動部３０８、ＣＣＤ等の撮影素子を含むカメラ３１０、サーバ２００と接続するためのネットワークＩ／Ｆ部３０９を有する。カメラ３１０はロボットの頭部に搭載され、可動部３０８は頭部の回転等の動作を行うモータ等を有する。
【００２８】
次に本実施の形態における動作を説明する。この動作の典型的な用途としては、外出先において、携帯端末で自宅の部屋の様子（ペットや子供など）を確認するというような用途が考えられる。
【００２９】
携帯端末１００のユーザは、その画面上での操作により、サーバ２００経由でロボット３００によるパノラマ撮影を指示することができる。ロボット３００はサーバ２００を介して携帯端末１００からのパノラマ撮影の指示を確認したとき、予め定めた複数の角度で各画面の境界部分が重複するように水平方向に連続する複数の画面の撮影を順次行い、これにより得られた撮影画像データをサーバ２００に対して送信（アップロード）する。サーバはこの撮影画像データをデータベースに蓄積する。携帯端末１００はサーバ２００からこの撮影画像データを受信してパノラマ画像として合成する。この具体的な合成方法については後に詳述する。
【００３０】
図３は、携帯端末１００におけるグラフィックユーザインタフェース画面の例を示している。このユーザインタフェースはメンタルモデルをベースとしており、図３（ａ）に示すように仮想的な部屋の中に、機器や機能アイコン、マスコット（キャラクタ）のアイコン１５２およびロボットのアイコン１５１が表示されている。ユーザの処理として、画面内のフォーカス切り替えや処理をマスコットのアイコン１５２で分かりやすく表示し、エンターテイメント性のあるものになっている。例えば、ポストのアイコンはメッセージ受信時に入口にメールが差し込まれたような状態に変化する。天気表示のアイコンは図では太陽の表示となり、晴れの天気を示している。このような現実世界を模した画面の分かりやすさにより、ソフトウェアやネットワークに疎いユーザにとっても接しやすいものになる。
【００３１】
図３（ａ）の初期的なユーザインタフェース画面では、ロボットを示すアイコン１５１も表示し、ロボットに関連した操作を行えるようになっている。例えば、ユーザ操作により画面上のロボットアイコン１５１を指示すると、図３（ｂ）に示すようにロボットアイコン１５１が拡大表示され、この例ではカメラのアイコン１５４が表示される。ユーザがこのカメラアイコン１５４を指示すると、図３（ｃ）に示すようなメニューメッセージが表示される。この例では、「前回撮影したイメージをダウンロードしますか」というメッセージが表示され、ユーザはこれに対して「はい」または「いいえ」を選択することができる。「はい」が選択された場合には、当該携帯端末のユーザの指示により撮影指示されサーバに残っている前回撮影したイメージ（画像）を、図４（ａ）に示すように、サーバからダウンロードして表示する。このときダウンロードされる画像は、前回撮影指示された画像が一面撮影によるものかパノラマ撮影によるものかによって、その画像サイズが異なりうる（但し、画面に現れるサイズは同じである）。図４（ａ）の例ではパノラマ撮影による画像を表示した画面例を示しており、ユーザの右または左の指示操作により画像を左右方向にスクロールして表示することができる。この画像表示領域の下側には、そのスクロール位置での撮影角度に合致する向きでロボットの頭部の画像を表示している。これによって、パノラマ画像の現在表示されている部分がどの撮影角度によるものかをユーザが容易に認識できる。画面の下側には、さらなる「一面撮影」または「パノラマ撮影」を、ユーザのキー操作で行えることがガイダンス表示されている。また、他のキー操作による「戻る」および「拡大」のガイダンスも表示されている。「戻る」は直前の画面に戻るための操作であり、「拡大」は現在のスクロール位置での携帯端末内で同画像データの拡大表示処理を行うための操作項目である。カメラにズーム機能がある場合には、「拡大」の指示に応じて、当該スクロール位置に対応するカメラ角度で所定のズーム倍率での拡大１面撮影をカメラに指示するようにしてもよい。１面撮影のカメラ角度は、パノラマ撮影時の上記５方向の角度（４５度単位）より更に小さい分解能で指示される角度（例えば１度ないし５度程度の単位角度）である。例えば図４（ｂ）では−６０度の角度での撮影画像およびロボット頭部の画像を示している。所定の画面位置（例えばロボット頭部の横）に現在の画面のスクロール位置の角度を数値を併せて表示してもよい。
【００３２】
図３（ｃ）の画面で「いいえ」が指示された場合には、本実施の形態では、パノラマ撮影の指示を行い、その画像データを受信して図４（ａ）に示したように、表示する。
【００３３】
図５（ａ）に示すようにロボット３００が室内中央に位置し、携帯端末からの指示によりパノラマ撮影を行う場合の例を説明する。この例では、ロボット３００を所定の高さのテーブルの上に載置した例を示しているが、テーブル上に載置することは必須ではない。
【００３４】
パノラマ画像を構成する撮影画像データは、カメラの複数の方向に対応する複数の画面対応のデータであり、携帯端末での通信データ量および通信時間を考慮して、その撮影方向の個数（画面数）は画面が不連続とならない限度でなるべく少なくすることが好ましい。この実施の形態では、水平方向１８０度に亘る視野範囲を、−９０度（左）、−４５度（左斜め前）、０度（正面）、４５度（右斜め前）、９０度（右）の５方向でカバーしている。すなわち、図５（ａ）に示すように、−９０度方向から０度を経由して９０度方向まで、４５度間隔で５回の撮影を行う。これによって得られた５つの画像例を図５（ｂ）に示す。実際には画面が不連続とならないことを保証するために、カメラの視野角と隣接カメラ方向の間隔との関係は、隣接するカメラ方向では画面の側端部の境界で撮影画像が帯状に重複するようになっている。隣接するカメラ方向で撮影された２つの画像の境界の重複部分は互いに同じ部分を撮影したものであっても、その撮影角度が異なるため重複部分の像は通常完全には一致しない。したがって、画面の継ぎ目のずれが目立たないようにするためには何らかの方法による合成処理が必要となる。
【００３５】
図６により本実施の形態における、重複した隣接画面の画像の合成方法を説明する。 本実施の形態ではこの合成処理を携帯端末に適した方法により行う。従来、このような画像の重なった部分の合成は、後から書き込んだ画素データで前の画素データを書き換えるか、または、両画素データの平均を算出して書き戻す、という処理が行われる。前者では両画面の境界で接合部（継ぎ目）のずれが明瞭に見えるという欠点がある。これに対して後者はよりずれが目立たない（ぼやける）という利点があるが、一般に当該重複領域での画素単位の画像処理が必要となる。しかし、現状の携帯端末ではこのような重複領域のみの画素単位の画像処理機能はサポートされていない。但し、現状の携帯端末では画面単位のアルファブレンディングがサポートされているものがあり、本実施の形態では、このような機能を有効に用いて画面境界部分の合成を行う。アルファブレンディングとは半透明処理を意味し、ある画像の上に別の画像を半透明に重ね合わせる技術である。その際の透明度を表す値はアルファ値と呼ばれる。
【００３６】
図６（ａ）に示すように、境界部分が重複した水平方向に連続する複数の画面の撮影画像データについて、まず、奇数番目の画面（図の例ではＡ，Ｃ）の撮影画像データに対して偶数番目の画面（図の例ではＢ）の撮影画像データを、境界部分を重ねて合成する。このとき、重なった境界部分では画面Ｂの画像データが画面Ａ，Ｃの画像データに上書きされる。ついで、図６（ｂ）に示すようにこの合成された画面Ａ，Ｂ，Ｃの画像データに対して、さらに、奇数番目の画面（この例ではＡ，Ｃ）の撮影画像データを、当該各奇数番目の画面の位置において、５０％透明の関係で合成する。ここでは、携帯端末の画面単位のアルファブレンディングの機能を用いる。その結果、図６（ｃ）に示すように、奇数番目の画面、例えば画面Ａ、の非重複領域では（Ａ＋Ａ）／２＝Ａとなる一方、重複領域では（Ａ＋Ｂ）／２となる。（ここで、Ａ，Ｂは各画素の輝度を表すものとする。）よって、境界の重複領域では両画面の画素が平均化され、明確なずれがぼかされる。画面Ｂの非重複領域についてはそのままＢの画面の画素が残る。（なお、第１層に対して第２層を直ちに５０％の透明度で重ね合わせた場合には第２層の非重複領域が半輝度とある不都合がある。）
【００３７】
図５（ｂ）に示した５つの画面の例について図６に示した合成方法を適用すると、図７に示すように、最下層としての第３層に奇数番目の画面に対して偶数番目の画面が第２層として重ねられ、この合成画像に対してさらに奇数番目の画面がその対応する画面との位置関係を維持したまま第１層として５０％の透明度で重ねられる。その結果を図８に示す。但し、図示の都合上、撮影画像として線画を用いているため、実際のビットマップイメージの合成結果とは感じがことなっていることに留意されたい。
【００３８】
このようにして得られたパノラマ画像は横長の画像であり、一度に携帯端末１００の画面に表示できないので、前述したように、その一部を画面上に表示し、他の部分は左右方向のスクロールにより表示できるようにする。このとき、ユーザは、携帯端末１００から、任意のスクロール位置に対応した所望のカメラ角度で、ロボット３００に対して再度１画面（一面）の撮影を行うことを指示することができる。この一面撮影は、上記のような画面合成によっても継ぎ目部分がいびつになることは避けられないので継ぎ目の方向での１画面撮影による明瞭な画像を得たい場合があること、（カメラにズーム機能がある場合には任意のカメラ角度でのより拡大した画像を見たい場合があること）、等の要請に応えるものである。ロボット３００はこの一面撮影指示を受けて当該指示されたカメラ角度で一面撮影を行い、その撮影画像データを前記サーバに対して送信する。携帯端末１００はサーバ２００から当該一面撮影による撮影画像情報を受信して表示画面に表示する。
【００３９】
次に、図９および図１０に、ロボットとサーバとの間でやりとりされる要求および応答の具体例を示す。本実施の形態では、ロボットからサーバに対して定期的にポーリングを行うことにより、両者の間の通信を行うものとする。そのための通信プロトコルとしてはＨＴＴＰ(Hyper Text Transfer Protocol)を用いる。ロボットからサーバへのポーリング形式の通信によって、サーバからロボットへアクセスを行う必要がない。これにより、ロボットがインターネットに接続できる環境でプライベートアドレスが割振られている場合や、プロキシが存在している場合でも、特に特殊な設定が無くても目的のデータ通信が通信が可能となる。
【００４０】
図９はＨＴＴＰプロトコルによるＰＯＳＴ処理によりロボットがサーバに対して発行する要求（リクエスト）の例を示している。図９（ａ）はリクエストの種類（ここでは処理開始、コマンド取得、データ送信の３つ）を示し、図９（ｂ）（ｃ）（ｄ）は各リクエストの構成を示している。「処理開始」リクエストはMAV_Request("Start"), MAV_UserID,MAV_Passwdの形式をとり、ユーザＩＤおよびパスワードの送付によりユーザ認証から処理を開始することを依頼するものである。「コマンド取得」リクエストは、MAV_Request(getCommand")の形式をとり、サーバに対して自己宛に保持されたコマンドを受け取ることを要求するものである。「データ送信」リクエストは、MAV_Request("sendData"), MAV_Dataの形式をとり、データそのもの（例えば撮影画像データ）を添付してサーバに送るものである。MAV_Request("image＜ｎ＞")の”ｎ”はパノラマ撮影の場合の５つの角度−９０度、−４５度、０度、４５度、９０度にそれぞれ対応した１〜５の数値である。この数値ｎが省略されている場合は一面撮影と判断される。
【００４１】
図１０はロボットの各種リクエストに対応する応答（MAV_Response)の例を示すものである。図１０（ａ１）は処理開始リクエストに対応する認証の成功／失敗を返答する応答を示し、MAV_Responseというタグで応答を挟んで（＜MAV_Response＞数値＜／MAV_Response＞）返送する。図１０（ｂ）は処理開始リクエストに対してセッションＩＤを消す応答であり、同様にMAV_SessionIDというタグで応答を挟んで返送する（＜MAV_SessionID＞セッションＩＤ＜／MAV_SessionID＞）。図１０（ｂ１）はコマンド取得リクエストに対する応答であり、（＜MAV_Response＞数値＜／MAV_Response＞）という形式を有する。この場合の「数値」は「コマンド無し」「イメージ撮影（一面）」「パノラマ撮影」「認証からやり直し」「サービス（一時）停止」「ポーリング間隔変更」等を示す数値である。
「イメージ撮影（一面）」の場合、その返答に続いて、図１０（ｂ２）の形式でカメラ角度（首の角度）を示す数値をMAV_Angleというタグで返送する。本同様に、「ポーリング間隔変更」の場合、その返答に続いて、図１０（ｂ３）の形式でポーリング間隔を表す数値をMAV_PollingIntervalというタグで返送する。
【００４２】
図１０（ｃ）はデータ送信リクエストに対する応答であり、サーバでデータ受信が成功したか失敗したかを示す数値をMAV_Responseというタグで応答を挟んで返送する。
【００４３】
図１１は、図１０で説明したようなリクエストおよび応答を用いたサーバとロボットとの間のやりとりを示すシーケンス図である。
【００４４】
ロボットは、通信の開始時にまず、ユーザＩＤおよびパスワードを含むＰＯＳＴデータを生成し（Ｓ１）、サーバに対して処理開始リクエストを発行する（Ｓ２）。これに対してサーバは認証が成功したら、認証成功の応答およびセッションＩＤを返送する（Ｓ３）。セッションＩＤは認証以降の通信に関しては使い捨てで割り当てられる任意のＩＤであり、これを利用し、個人を特定している。これはセキュリティ上、ポーリングの度にパスワード情報を転送することは問題であるためであり、ポーリング中に第三者が偽ってアクセスした場合にも、既にポーリングしているセッションＩＤが生きている場合に同ユーザに対する２重ポーリングを感知し、不正アクセスを防止するためである。
【００４５】
ロボットはこの認証結果を確認する（Ｓ４）。認証成功であればセッションＩＤを取得する。認証失敗の場合はリトライがなされ、リトライによっても成功しない場合にはサーバにエラーが通知される。
【００４６】
認証成功後、ロボットはコマンドチェックＰＯＳＴデータを生成し（Ｓ５）、これによりサーバに対してコマンド取得リクエストが発行される（Ｓ６）。サーバはこれに応答して、ポーリング間隔変更（この例ではポーリング間隔６０秒）のコマンドを返す（Ｓ７）。ポーリング間隔のデフォルト値は１８０秒とする。ロボットは受信したコマンドを確認して（Ｓ８）、指定されたポーリング間隔の時間待機し（Ｓ９）、その後、コマンド取得リクエストを発行する（Ｓ１０）。
【００４７】
このコマンド取得リクエストに対してサーバが一面撮影のコマンドを返したとする（Ｓ１１）。ロボットはこのコマンドを確認すると（Ｓ１２）、一面撮影を行う（Ｓ１３）。コマンドにカメラ角度が指定されていれば、その角度で撮影を行う。ロボットは、この撮影データを含むＰＯＳＴデータを生成し（Ｓ１４）、これをサーバに送信する（Ｓ１５）。コマンドがパノラマ撮影の場合にはロボットはパノラマ撮影を行い、すべての角度の撮影画像をサーバに順次送信する。
【００４８】
サーバはデータ受信成功か否かの応答を返す（Ｓ１６）。図の例では成功の場合を示している。ロボットは送信結果の確認を行う（Ｓ１７）。失敗の場合には再送を行い、それでも失敗の場合にはサーバにエラーの通知を行う。
【００４９】
ロボットはその後先のポーリング間隔でコマンド取得リクエストを発行する（Ｓ１８）。ここでサーバがポーリング間隔変更（この例では３０秒）のコマンドを返したとする（Ｓ１９）。ロボットはこのコマンドを確認し（Ｓ２０）、以後、この新たなポーリング間隔でコマンド取得リクエストを発行する（Ｓ２２）。サーバはロボットに対して渡すべきコマンドがないときには、その旨を応答する（Ｓ２３）。
【００５０】
図１２は、携帯端末、サーバ、ロボットの３者の間のやりとりの例を示すシーケンス図である。この例では、図１１で説明したようなロボットとサーバ間の処理が開始されており、ロボットは指定されたポーリング間隔Ａ（間隔長）で周期的にサーバにアクセスしているものとする。ポーリング間隔は図示するように、ユーザのアクセス状態等に応じ何段階かに変化するものとする。
【００５１】
携帯端末において、図３に示したようなユーザインタフェース画面でユーザがロボットアイテムを選択すると（Ｓ３１）、サーバに対してロボットのオープンが指示される（Ｓ３２）。これに伴って、携帯端末ではロボットアイテムを展開（拡大）し、操作ボタンを無効化(Disable)するとともに、周期的にサーバにおけるデータ更新チェックを行うためにポーリングフラグをＯＮする（Ｓ３３）。操作ボタンを無効化するのは周期的なポーリング処理に対して、ユーザ操作の影響を与えないようにするためである。
【００５２】
一方、ロボットはあるポーリングによる取得データチェック時に、サーバのデータベースの自己の記憶領域に一時蓄積されたロボットオープンのコマンドを確認すると（Ｓ５１）、所定の撮影（この例ではパノラマ撮影）を行う（Ｓ５２）。この撮影データをデータ送信用にパッキングして（Ｓ５３）、サーバに画像アップロードを行い（Ｓ５４）、それが成功したことを確認する（Ｓ５５）。
【００５３】
この時点で、携帯端末は周期的にデータ更新チェックを行っており、画像アップロード後のデータ更新チェック（Ｓ３４）でデータ更新があった（画像がアップロードされた）ことを確認すると、ロボットのポーリング間隔を短く（ポーリング間隔Ｃ）するように指示する。これによって、ロボットのコマンド取得頻度が上がり、コマンドへの即応性が上がる。携帯端末は、さらに、操作ボタンをイネーブル化して、ポーリングフラグをＯＦＦにする（Ｓ３５）。なお、ロボットのポーリング間隔は短く設定された後、所定の時間で自動的に中レベルのポーリング間隔（Ｂ）に戻るように設定されている。
【００５４】
携帯端末で更新ボタン（図３（ｃ）のメニュー項目「はい」に相当）が押されると（Ｓ３６）、サーバにアクセスして撮影データの取得（ダウンロード）を行い（Ｓ３７）、これを画面に表示する（Ｓ３８）。サーバの記憶容量の節約のため、ダウンロードされた撮影データは、自動的にサーバから削除されるようにしてもよい。
【００５５】
その後、携帯端末において撮影ボタン（図４の一面撮影またはパノラマ撮影）が押されると、ポーリングフラグがＯＮされ（Ｓ３９）、サーバに撮影を指示した後（Ｓ４０）、携帯端末の周期的なデータ更新チェックが始まる（Ｓ４１）。
【００５６】
ポーリングにより撮影指示を確認（Ｓ５６）したロボットは撮影を行い（Ｓ５７）、データパッキング後（Ｓ５８）、サーバへ画像アップロードを行う（Ｓ５９）。
【００５７】
これに対して携帯端末は、データ更新チェック時（Ｓ４２）に画像アップロードを確認すると、ロボットのポーリング周期を短くし、自己のポーリングフラグをＯＦＦにする（Ｓ４３）。そこで、サーバから撮影データを取得し（Ｓ４４）、これを表示する（Ｓ４５）。
【００５８】
図１３に、本実施の形態における携帯端末の処理のフローチャートを示す。携帯端末は、図３（ａ）に示したユーザインタフェース画面でロボットアイテムが選択されたら（Ｓ６１，Ｙｅｓ）、図３（ｂ）のように画面展開を行い、機能選択を促す（Ｓ６２）。カメラ機能が選択されたら（Ｓ６３，Ｙｅｓ）、図３（ｃ）のように前回撮ったイメージを取り込むか否かの確認ダイアログを表示する（Ｓ６４）。前回撮ったイメージを取り込む場合には（Ｓ６５，Ｙｅｓ）、後述するステップＳ６８へ移行する。
【００５９】
前回撮ったイメージを取り込まない場合には、パノラマ撮影の撮影コマンドをサーバに送る（Ｓ６６）。携帯端末によるサーバへのポーリングによりイメージが更新されたことが確認された場合、サーバに対して複数画面の各イメージの取得のリクエストを送り、その撮影データの取得および表示（図４）を行う（Ｓ６８）。パノラマ画面の表示時には、現在のスクロール位置に合った角度のロボット頭部の画像を表示する。このような角度の異なるロボット頭部の画像は、角度毎に別個の画像を用意しておくか、あるいは、１つの画像を回転させて用いる。いずれにせよ、このような画像データは本アプリケーションを携帯端末へインストールすることに併せてメモリ内に保存することができる。
【００６０】
その後、「一面撮影」が選択された場合（Ｓ６９，Ｙｅｓ）、現在のスクロール位置から角度を割り出し、その角度での一面撮影コマンドをサーバへ送信する（Ｓ７０）。サーバへのポーリングにより画面更新が確認されるのを待って（Ｓ７１）、サーバへのイメージ取得のリクエストを送信し、撮影データを取得、表示する（Ｓ７２）。パノラマ撮影が選択された場合（Ｓ７３，Ｙｅｓ）、パノラマ撮影コマンドをサーバへ送信する（Ｓ７４）。その後、サーバへのポーリングにより画面更新が確認されるのを待って（Ｓ７５）、サーバへのイメージ取得のリクエストを送信し、撮影データを取得、表示する（Ｓ７６）。
【００６１】
画面上で「戻る」が選択された場合（Ｓ７７，Ｙｅｓ）、最初のステップＳ６１へ戻る。
【００６２】
図１４に、本実施の形態におけるロボットの処理のフローチャートを示す。
【００６３】
ロボットは、設定されたポーリング周期の到来毎に（Ｓ８１，Ｙｅｓ）、サーバへのポーリングを行う（Ｓ８２）。このポーリングでサーバからコマンド等のデータを取得し、その取得データをチェックする（Ｓ８３）。一面撮影が指示されている場合には、方向（および可能であれば倍率）をチェックしして（Ｓ８５）、指示された方向（および可能であれば倍率）でカメラ撮影を行う（Ｓ８６）。この撮影データをサーバへ送信（アップロード）する（Ｓ８７）。
【００６４】
パノラマ撮影が指示されている場合には、多画面（上述した５方向）の撮影を順次実行し（Ｓ８９）、この多画面の撮影データをサーバへ順次送信する（Ｓ９０）。
【００６５】
取得データが他のコマンドである場合には（Ｓ９１）、そのコマンドを実行する（Ｓ９２）。この終了後、またはコマンドがない場合、最初のステップＳ８１へ戻る。
【００６６】
次に本発明の他の実施の形態について説明する。前述のようにロボットにはカメラおよび各種センサが搭載されており、ロボットによりロボット自身に対する外部からの働きかけの有無やロボット周囲の状況の変化をイベントとして自動的に検出することができる。そこで、検出対象のイベントを予め決めてそのイベントの発生を監視し、イベントの発生後、そのことをサーバを介して携帯端末が認識可能とし、携帯端末がイベントの発生を認識したとき、そのイベントの内容をグラフィックユーザインタフェース画面に反映させる。これによって、ユーザはロボットが置かれた室内の状況等の変化を、視覚的に容易にかつ即座に認識することができる。
【００６７】
図１５に本実施の形態において用いるイベントテーブル１５０の構成例を示す。このイベントテーブル１５０はロボットに保持し、ロボットが該当するイベントを検出したときに、対応するグラフィックユーザインタフェース画面の変化（ＧＵＩ変化）の内容を指示するデータをサーバ経由で携帯端末に与える。このテーブル例では、６つのイベントを定義している。
【００６８】
第１のイベントはカメラの複数方向の撮影データに基づいてロボット周辺の平均輝度を求め、その平均輝度の変化（例えば予め定められた所定量の変化）が検出されることである。このときのＧＵＩ変化は、グラフィックユーザインタフェース画面において部屋の明るさを対応して変更することである。
【００６９】
第２のイベントは指定された方向でのカメラの撮影データに基づいて特定位置の輝度の変化が検出されることである。特定位置は例えばロボットの置かれた部屋にあるテレビの位置あるいは窓の位置である。テレビ画面の明るさの変化はテレビの電源がＯＮ／ＯＦＦの変化を示すものと考えられる。窓の明るさの変化は窓の外の明るさの変化を示す。これらのイベントに応じたＧＵＩ変化としては、グラフィックユーザインタフェース画面内のテレビアイコンの表示変化を行ったり、窓アイコンの明るさの変更を行ったりする。
【００７０】
第３のイベントは、ロボットがそのマイクにより予め定めた閾値以上の音を検出することである。この場合、テレビＯＦＦの場合であれば、来客によるインターフォンの鳴動等が原因と判断され、マスコットの表示態様を変える（例えばマスコットの向きを左右に振らせてキョロキョロしている感じを出す）。これに併せて、例えば「インターフォンが鳴りました」のようなメッセージを表示してもよい。
【００７１】
第４のイベントは、ロボットが内部の温度センサにより所定の温度の変化を検出することである。この温度変化は、検出温度が予め定めた温度以上または以下になること、予め定めた温度差以上の変化があったこと等である。対応するＧＵＩ変化としては、例えば、ロボットアイコンや部屋の雰囲気（色など）を変えることである。ＧＵＩ画面において温度計による温度表示を行ってもよい。
【００７２】
第５のイベントは、ロボットが外力によって手や足、首の関節に設置された動作センサが作動したことである。これはロボットを人が持ち上げたような場合に相当する。対応するＧＵＩ変化としては、例えば、ロボットアイコンに所定の動作（例えばピョコンピョコンとはねる動作）をさせるものである。これに併せて、例えば「ロボットが持ち上げられました」のようなメッセージを表示してもよい。
【００７３】
第６のイベントは、ロボットがその頭部等に設けられたタッチセンサへのタッチを検出することである。これは人がロボットにタッチした場合である。このときの対応するＧＵＩ変化としては、例えば、ロボットアイコンに所定の動作（例えば首を上下させる動作）をさせるものである。これに併せて、例えば「ロボットの頭がなでられました」のようなメッセージを表示してもよい。
【００７４】
図１６は図１５のイベントテーブル１５０を用いるロボットの処理を示すフローチャートである。イベントチェック周期が到来したら（Ｓ１０１，Ｙｅｓ）、カメラや各種センサの出力に基づいてイベント発生のチェックを行う（Ｓ１０２）。イベントが検出されたら（Ｓ１０３，Ｙｅｓ）、イベントテーブルを参照し、そのイベントに対応するＧＵＩ変化の指示をサーバ経由で携帯端末へ与える（Ｓ１０４）。全イベントのチェックが終わるまで（Ｓ１０５）、Ｓ１０２〜Ｓ１０４の処理を繰り返す。全イベントのチェックが終わったら、最初のステップＳ１０１へ戻る。
【００７５】
図１７は図１６のロボットの処理に対応する携帯端末の処理を示すフローチャートである。携帯端末は、データ更新チェック周期が到来したら（Ｓ１１１，Ｙｅｓ）、サーバにアクセスしてデータ更新の有無をチェックする（Ｓ１１２）。更新がなければステップＳ１１１に戻る。更新があったならば（Ｓ１１３）、指示されたＧＵＩ変化に応じてＧＵＩ表示の変更を行う（Ｓ１１４）。
【００７６】
この第２の実施の形態の変形例として、イベントテーブル１５０を携帯端末側に保持しておき、ロボットはイベントに関係するカメラやセンサ等の出力データを周期的にサーバに送信し、携帯端末においても周期的にサーバからその出力データを受信して、当該イベントテーブル１５０に照らして検出したイベントをＧＵＩ変化に反映させるようにすることも可能である。
【００７７】
さらなる変形例として、サーバにイベントテーブル１５０を保持しておき、サーバはロボットからイベントに関係するカメラやセンサ等の出力データを周期的に受信して、イベントテーブル１５０に照らしてイベントの発生を検出し、該当するＧＵＩ変化の指示を携帯端末に与えるようにすることも可能である。
【００７８】
さらに上記以外のイベントとして、下記のような例が考えられる。
Ａ．誰かが帰宅した場合、ある時点で輝度が急激に変化すると考えられ、このような輝度変化を感知した場合、「帰宅」イベントと判断し、これをＧＵＩ画面に何らかの形態で反映させる。
Ｂ．ロボットの頭を３回叩く、腕を伸ばす、などロボットに接触することをそれぞれ別のイベントとして検出し、これらに対応して「連絡して」「荷物が届いた」「雨が降ってきた」「遅くまで頑張ってるね」など伝言としてのメッセージをＧＵＩ画面に表示させる。これは、電話やメールなど通信手段を使いこなせない子供やお年寄りにとって有効と考えられる。
Ｃ．ロボットを通して限られたコミュニケーションを行うことも可能である。まず、携帯端末からロボットにあるポーズをとるようにコマンドを送り、家庭内に居る人や、利口なペットなどが反応し、腕を押す、頭をなでるなどした時に、ロボットは応答データをサーバに返す。携帯端末では、しばらくポーリングを行い、誰かが接触したことが分かると、アイコン表示が変化するなどで、明確ではないが漠としたコミュニケーションを実現することが出来る。これは、外出先で暇な時に家との繋がりを楽しむというレベルの利用である。
【００７９】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも、種々の変形、変更が可能である。
例えば、第２の実施の形態は第１の実施の形態とは独立に実施可能である。
サーバでのサービスの利用、携帯端末やロボットにインストールするアプリケーションへの課金やロボットのパッケージ販売など、ビジネス化が可能である。なお、サーバは必ずしも必須の要素ではなく、サーバを省略し携帯端末から直接ロボットを制御するようにしてもよい。
パノラマ撮影のカメラの角度は５方向１８０度としたが、その方向数および角度範囲はこれらに限るものではない。
【００８０】
【発明の効果】
本発明による通信ネットワークシステムによれば、カメラ付きロボットおよび携帯端末を用いて、遠隔的にカメラ付きロボットによるパノラマ撮影を行い、その複数の画面の画像を携帯端末においてパノラマ画像として表示することができる。パノラマ画像は、単なる一枚画像に比べ、部屋の様子などを認識するには手軽で効果的である。携帯端末におけるパノラマ画像の表示にはスクロール表示を行うことにより、画面を縮小することなく全体の画像を視認することができる。また、所望のスクロール位置で１面画像の撮影を可能とすることにより、パノラマ画像の複数の画面の継ぎ目にあたる方向等、任意のカメラ角度の１面画像を容易に再撮影することができる。さらに、現在のスクロール位置に対応するカメラ角度を示す角度識別情報を併せて表示することにより、現在表示されている画像のカメラ角度を容易に認識することができる。
【００８１】
また、本発明のパノラマ画像の合成方法によれば、携帯端末の画面単位の半透明合成方法を用いて、隣接するカメラ角度の撮影画像の継ぎ目の画像部分のずれを目立たなくすることができる。
【００８２】
さらに、本発明による他の通信ネットワークシステムによれば、カメラ付きロボットを利用したイベント発生の監視結果を、そのイベントの種類に応じてグラフィックユーザインタフェース画面の表示に反映させることにより、遠隔地の室内等でのイベントの発生を携帯端末の表示画面上で容易にかつ即座に認識することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における通信ネットワークシステムの概略構成を示す図である。
【図２】図１のシステムの各部の概略の内部構成例を示すブロック図である。
【図３】図の携帯端末におけるユーザインタフェース画面の例を示す図である。
【図４】本発明の実施の形態におけるパノラマ撮影による画像を表示した画面例を示す図である。
【図５】本発明の実施の形態におけるロボットによるパノラマ撮影の説明図である。
【図６】本発明の実施の形態における、重複した隣接画面の合成方法を説明するための図である。
【図７】図５に示した５つの画面の例について図６に示した合成方法を適用する工程の説明図である。
【図８】図５に示した５つの画面の例について図６に示した合成方法を適用した結果を示す図である。
【図９】本発明の実施の形態においてロボットがサーバに対して発行する要求（リクエスト）の例を示す図である。
【図１０】ロボットの各種リクエストに対応する応答の例を示す図である。
【図１１】図１０で説明したようなリクエストおよび応答を用いたサーバとロボットとの間のやりとりを示すシーケンス図である。
【図１２】本発明の実施の形態における携帯端末、サーバ、ロボットの３者の間のやりとりの例を示すシーケンス図である。
【図１３】本発明の実施の形態における携帯端末の処理のフローチャートである。
【図１４】本発明の実施の形態におけるロボットの処理のフローチャートである。
【図１５】本発明の実施の形態において用いるイベントテーブルの構成例を示す図である。
【図１６】図１５のイベントテーブルを用いるロボットの処理を示すフローチャートである。
【図１７】図１６のロボットの処理に対応する携帯端末の処理を示すフローチャートである。
【符号の説明】
１００…携帯端末、１０１，２０１，３０１…制御部、１０２…表示部、１０３…入力部、１０５…ＲＯＭ、１０６…ＲＡＭ、１０７，３０５…スピーカ、１０８，３０４…マイク、１０９…無線通信部、１５０…イベントテーブル、２００…サーバ、２０２，３０２…メモリ、２０９，３１９…ネットワークＩ／Ｆ部、２０５…データベース、３００…ロボット、３０３…センサ群、３０６…ＬＥＤ、３０８…可動部、３１０…カメラ
Claims (12)
- 入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置と、
複数の角度で静止画を撮影可能なカメラおよびデータ通信機能を備えたロボットと、
このロボットおよび前記携帯端末装置とデータ通信を行うサーバとを備えた通信ネットワークシステムにおいて、
前記ロボットは前記サーバを介して前記携帯端末装置からのパノラマ撮影の指示を確認したとき、予め定めた複数の角度で各画面の境界部分が重複するように水平方向に連続する複数の静止画の画面の撮影を順次行い、これにより得られた撮影画像データを前記サーバに対して送信し、
前記サーバは前記パノラマ撮影による複数の撮影画像データを記憶手段に蓄積し、
前記携帯端末装置は、前記サーバから前記パノラマ撮影による複数の撮影画像データを受信し、これら複数の撮影画像データを重複部分を重ねて合成してパノラマ画像を生成し、ユーザの指示に応じて前記パノラマ画像をスクロールして表示画面に表示するとともに、任意のスクロール位置においてユーザからの指示により１画面撮影の指示を受けたとき、そのスクロール位置に対応するカメラ角度を求めて前記サーバ経由で前記ロボットに１画面撮影指示を与え、
前記ロボットは前記１画面撮影指示を受けて当該指示されたカメラ角度で１画面撮影を行い、その撮影画像データを前記サーバに対して送信し、
前記携帯端末装置は前記サーバから前記１画面撮影による撮影画像情報を受信して表示画面に表示する
ことを特徴とする通信ネットワークシステム。 - 前記ロボットは前記サーバに対して周期的にポーリングを行うことにより、前記サーバとの間でデータの授受を行うことを特徴とする請求項１記載の通信ネットワークシステム。
- 前記ロボットの前記サーバに対するポーリングの周期は、前記携帯端末からの操作に応じて変更されることを特徴とする請求項２記載の通信ネットワークシステム。
- 前記携帯端末装置は前記サーバに対して周期的にポーリングを行うことにより、前記サーバとの間でデータの授受を行うことを特徴とする請求項１記載の通信ネットワークシステム。
- 前記携帯端末装置はスクロールによる画像表示時に、現在のスクロール位置に対応するカメラ角度を示す角度識別情報を併せて表示することを特徴とする請求項１記載の通信ネットワークシステム。
- 前記角度識別情報は、前記カメラ角度に対応した向きの前記ロボットの頭を示す画像である請求項５記載の通信ネットワークシステム。
- 入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置であって、
複数の角度で静止画を撮影可能なカメラおよびデータ通信機能を備えたロボットから前記データ通信機能により静止画の撮影画像データを受信する手段と、
撮影画像データを表示する画面表示部と、
パノラマ撮影による複数の撮影画像データについて、これら複数の撮影画像データを重複部分を重ねて合成してパノラマ画像を生成する手段と、
前記入力操作部によるユーザの指示に応じて前記パノラマ画像をスクロールして前記画面表示部の表示画面に表示する手段と、
任意のスクロール位置においてユーザからの指示により１画面撮影の指示を受けたとき、そのスクロール位置に対応するカメラ角度を求めて前記ロボットに対する１画面撮影指示を与える手段と、
を備えたことを特徴とする携帯端末装置。 - 前記パノラマ画像を生成する手段は、前記パノラマ撮影による複数の撮影画像データのうち奇数番目の画面の撮影画像データに対して偶数番目の撮影画像データを、境界部分を重ねて合成し、この合成された撮影画像データに対して、さらに、奇数番目の画面の撮影画像データを、当該各奇数番目の画面の位置において、５０％透明の関係で合成することを特徴とする請求項７記載の携帯端末装置。
- 入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置において動作するコンピュータプログラムであって、
複数の角度で静止画を撮影可能なカメラおよびデータ通信機能を備えたロボットから受信したパノラマ撮影による複数の静止画の撮影画像データについて、これら複数の撮影画像データを重複部分を重ねて合成してパノラマ画像を生成するステップと、
前記入力操作部によるユーザの指示に応じて前記パノラマ画像をスクロールして前記画面表示部の表示画面に表示するステップと、
任意のスクロール位置においてユーザからの指示により１画面撮影の指示を受けたとき、そのスクロール位置に対応するカメラ角度を求めて前記ロボットに対する１画面撮影指示を与えるステップと、
をコンピュータに実行させるコンピュータプログラム。 - 前記パノラマ画像を合成するステップは、
境界部分が重複した水平方向に連続する複数の画面の撮影画像データを受信するステップと、
奇数番目の画面の撮影画像データに対して偶数番目の撮影画像データを、前記境界部分を重ねて合成するステップと、
この合成された撮影画像データに対して、さらに、奇数番目の画面の撮影画像データを、当該各奇数番目の画面の位置において、５０％透明の関係で合成するステップと、
を含む請求項９に記載のコンピュータプログラム。 - 前記ロボットは、光、音、接触の少なくとも一つを感知する感知手段と、これらの感知結果に基づいて予め定められたイベントの発生が検知されたとき、前記サーバを介して当該イベントの発生を通知する通知手段とをさらに有し、
前記携帯端末装置は、前記画面表示部において、仮想的な部屋の中に機器および機能を表すアイコンおよびロボットおよび／またはキャラクタを表すアイコンを含むグラフィックユーザインタフェース画面を表示するとともに、前記サーバを介して当該イベントの発生を検知したとき、前記グラフィックユーザインタフェース画面の表示に反映させることを特徴とする請求項１に記載の通信ネットワークシステム。 - 前記ロボットは、予め定められたイベントとして、前記感知手段の感知結果の内容を定めるとともに、各イベントに対応する前記グラフィックユーザインタフェース画面の変換内容を定めたイベントテーブルを有し、前記通知手段は前記検知手段の出力を前記イベントテーブルの内容に照らしてイベントの発生を検知するとともに、当該イベントに対応するグラフィックユーザインタフェース画面の変化内容を特定することを特徴とする請求項１１記載の通信ネットワークシステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003032202A JP4350389B2 (ja) | 2003-02-10 | 2003-02-10 | 通信ネットワークシステム、携帯端末装置およびコンピュータプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003032202A JP4350389B2 (ja) | 2003-02-10 | 2003-02-10 | 通信ネットワークシステム、携帯端末装置およびコンピュータプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004242244A JP2004242244A (ja) | 2004-08-26 |
| JP4350389B2 true JP4350389B2 (ja) | 2009-10-21 |
Family
ID=32958518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003032202A Expired - Fee Related JP4350389B2 (ja) | 2003-02-10 | 2003-02-10 | 通信ネットワークシステム、携帯端末装置およびコンピュータプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4350389B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7756322B2 (en) | 2003-08-18 | 2010-07-13 | Honda Motor Co., Ltd. | Picture taking mobile robot |
| JP4937811B2 (ja) * | 2007-03-29 | 2012-05-23 | 京セラ株式会社 | 携帯端末装置 |
| JP5319433B2 (ja) | 2009-07-16 | 2013-10-16 | エンパイア テクノロジー ディベロップメント エルエルシー | 撮影システム、移動体、撮影制御方法 |
| JP2013172434A (ja) * | 2012-02-23 | 2013-09-02 | Jvc Kenwood Corp | カメラ遠隔制御装置、カメラ遠隔制御方法、カメラ遠隔制御プログラム |
| JP5862382B2 (ja) * | 2012-03-14 | 2016-02-16 | トヨタ自動車株式会社 | 作業支援装置 |
| JP5972242B2 (ja) * | 2013-09-27 | 2016-08-17 | 大和ハウス工業株式会社 | 状態監視システム |
| JP5972302B2 (ja) * | 2014-02-24 | 2016-08-17 | 株式会社オプティム | オペレータ端末、携帯端末、指示送信方法、オペレータ端末用プログラム |
| JP6403633B2 (ja) * | 2015-05-15 | 2018-10-10 | 株式会社日立ビルシステム | 映像監視システム及び映像配信サーバ |
| CN110336957B (zh) * | 2019-06-10 | 2022-05-03 | 北京字节跳动网络技术有限公司 | 一种视频制作方法、装置、介质和电子设备 |
| JP7402145B2 (ja) * | 2020-11-13 | 2023-12-20 | 本田技研工業株式会社 | 遠隔操作システム、移動ロボット、及び操作端末 |
| JP7402784B2 (ja) * | 2020-11-13 | 2023-12-21 | 本田技研工業株式会社 | 遠隔表示システム、ロボット、及び表示端末 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4332231B2 (ja) * | 1997-04-21 | 2009-09-16 | ソニー株式会社 | 撮像装置コントローラおよび撮像システム |
| JP4620271B2 (ja) * | 2000-03-14 | 2011-01-26 | 富士フイルム株式会社 | 画像処理方法 |
| ATE540347T1 (de) * | 2000-05-01 | 2012-01-15 | Irobot Corp | Verfahren und vorrichtung zur steuerung eines mobilen roboters |
| JP2002261966A (ja) * | 2000-09-08 | 2002-09-13 | Matsushita Electric Works Ltd | コミュニケーション支援システムおよび撮影装置 |
| JP2002213984A (ja) * | 2001-01-12 | 2002-07-31 | Oojisu Soken:Kk | パノラマ画像による案内システム、中央装置及び端末装置、並びにコンピュータプログラム及び記録媒体 |
-
2003
- 2003-02-10 JP JP2003032202A patent/JP4350389B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004242244A (ja) | 2004-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3315555B2 (ja) | カメラ制御装置 | |
| JP5486929B2 (ja) | ビデオ通話を利用した装置制御 | |
| JP4350389B2 (ja) | 通信ネットワークシステム、携帯端末装置およびコンピュータプログラム | |
| CN109076161A (zh) | 一种图像处理方法、移动平台、控制设备及系统 | |
| TW200818884A (en) | Control system of image photographing apparatus, as digital camera, digital video-camera or the like using a mobile communication terminal, and image photographing apparatus | |
| JPH07135594A (ja) | 撮像制御装置 | |
| GB2421391A (en) | Image providing service system | |
| WO2004032487A1 (ja) | 携帯電話機 | |
| JP2005176301A (ja) | 画像処理装置、ネットワークカメラシステム、画像処理方法、及びプログラム | |
| JP2001094860A (ja) | カメラ制御システム及びカメラ制御方法及び記憶媒体 | |
| JP2006245822A (ja) | 画像配信システム | |
| JP2012099889A (ja) | カメラ、撮影方法、撮影プログラム | |
| KR20220005087A (ko) | 촬영 방법 및 단말 | |
| WO2022052613A1 (zh) | 摄像头的控制方法、装置、电子设备及存储介质 | |
| JP2001136514A (ja) | カメラ制御システム及びその制御方法及び記憶媒体 | |
| JP4771481B2 (ja) | 遠隔撮影システム、携帯端末およびコンピュータプログラム | |
| JP2006157886A (ja) | 情報処理装置、携帯端末装置、サーバコンピュータ、データ保存方法、及びプログラム | |
| CN110493457A (zh) | 一种终端设备控制方法及终端设备 | |
| JP2005333294A (ja) | 遠隔見守りシステムの撮像設定装置 | |
| JP2023121636A (ja) | 情報処理システム、通信システム、画像共有方法、プログラム | |
| JP2002084374A (ja) | 携帯電子機器操作支援システム | |
| JP3731563B2 (ja) | テレビインターホン装置 | |
| JP6575561B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| JP2005318445A (ja) | 遠隔見守りシステムの宅内装置 | |
| KR20140075963A (ko) | 이동 단말을 이용한 카메라 원격 제어 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060105 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20071016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20071016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081021 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090701 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090722 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130731 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |