JP4125107B2

JP4125107B2 - Mobile information terminal device and communication method thereof

Info

Publication number: JP4125107B2
Application number: JP2002359948A
Authority: JP
Inventors: 智明河合; 崇大矢; 和子鈴木; 弘幸大澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-12-11
Filing date: 2002-12-11
Publication date: 2008-07-30
Anticipated expiration: 2022-12-11
Also published as: JP2004194012A

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラからの画像（映像）を表示するカーナビゲーションシステム等の移動情報端末装置及びその通信方法に関する。
【０００２】
【従来の技術】
遠隔地に配置されたカメラの画像をネットワーク経由で複数人が観察できるシステムにおいて、単にカメラ画像を観察するだけでなく、カメラのパン・チルト角度やズーム倍率を遠隔制御可能にしたものがある。
【０００３】
例えば、インターネット上のＷＷＷサーバを通じて、同じくインターネットに接続されたＰＣ（パーソナルコンピュータ）にコンピュータ制御可能なカメラを接続し、カメラから撮影したリアルタイム画像をアクセス者に配送するだけでなく、そのカメラの制御も許すようなシステムが開発されている(特許文献１参照)。
【０００４】
このようなカメラ制御可能で複数人に映像配送ができるようなシステムにおけるカメラサーバ装置においては、不特定多数の利用者が操作・観察することを想定している。多人数が１台のカメラを制御する場合には、そのカメラの制御権が重要になるもので、その制御権を取得したものだけがカメラサーバ装置のカメラ制御を可能にするようになっており、また、一定時間経過すると制御権を開放するというものである（特許文献２参照）。
【０００５】
一方、カーナビゲーション装置等、自分(自車)の現在位置を知ることのできるシステムが開発されており、斯かるカーナビゲーション装置から遠隔地に設置されたカメラからのリアルタイム画像を切り替えて見ることができる技術がある（特許文献３参照）。
【０００６】
【特許文献１】
特開平１０−４０１８５号公報
【特許文献２】
特開平１０−４２２７８号公報
【特許文献３】
特開２００１−２１３６８号公報
【０００７】
【発明が解決しようとする課題】
一般に、カーナビゲーション装置等の移動情報端末装置からカメラサーバ装置で取得したリアルタイムカメラ画像を見る場合、自分の現在位置や、これから行く予定の目的地、途中の経路等に応じて、見たいカメラ画像は異なる。
【０００８】
しかしながら、これまでは、カメラの設置場所に関する情報を用いておらず、また、自分(自車)の位置情報をカメラ切り替え選択の情報として用いることは考慮されていなかった。また、制御可能なカメラからのリアルタイム画像を見ようとすると、制御したい地点に来たときに、カメラの制御権を獲得する必要があるが、こうしたことも考慮されていなかった。
【０００９】
本発明は、上述したような従来技術の有する問題点を解消するためになされたもので、その目的は、遠隔地に設置された制御可能なカメラからのリアルタイム画像を有効に切り替えて表示し、カメラ制御できるようにした移動情報端末装置及びその通信方法を提供することである。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、本発明の移動情報端末装置は、移動経路の情報を表示する移動情報端末装置において、現在位置を検出する位置検出手段と、前記検出された現在位置から目的地までの経路を設定する設定手段と、前記設定された経路の近傍のカメラを検索する検索手段と、前記設定された経路の進行方向に対応したパン、チルト、ズームの制御値で、前記検索されたカメラの制御を要求する制御手段と、前記制御手段によって制御されたカメラから送信された画像を表示する画像表示手段とを有することを特徴とする。
本発明の移動情報端末装置の通信方法は、移動経路の情報を表示する移動情報端末装置の通信方法であって、現在位置を検出する位置検出工程と、前記検出された現在位置から目的地までの経路を設定する設定工程と、前記設定された経路の近傍のカメラを検索する検索工程と、前記設定された経路の進行方向に対応したパン、チルト、ズームの制御値で、前記検索されたカメラの制御を要求する制御工程と、前記制御工程において制御されたカメラから送信された画像を表示する表示工程とを有することを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明の一実施の形態を、図面に基づき説明する。
【００１２】
本実施の形態は、現在位置に応じて遠隔地に設置された制御可能なカメラからのリアルタイム画像を有効に切り替えて表示し、カメラ制御できるようにするものである。具体的には、現在位置情報及び経路情報を用いて、適切な位置において、適切なカメラを選択できるようにするものである。また、カメラが選択された際には、そのカメラが有効に制御できるように、予めカメラ制御権を予約しておくことで、制御権が取れないという状況を減らすようにするものである。
【００１３】
図１は、本実施の形態に係る移動情報端末装置を有する撮像システムの構成を示すブロック図であり、同図において、１０１は移動情報端末装置、１０２はカメラサーバ装置、１０３はカメラ管理部であり、これらは、ネットワーク１０４を介して相互に接続されている。図１では、カメラサーバ装置１０２だけが複数台設けられているように描かれているが、移動情報端末装置１０１及びカメラサーバ装置１０２は、少なくとも１台以上がネットワーク１０４に接続されていることを想定している。
【００１４】
尚、ネットワーク１０４への接続は、移動情報端末装置１０１、カメラサーバ装置１０２共に有線、無線のいずれでも良い。また、ネットワーク１０４は、画像を流すのに十分な帯域を有するネットワークを想定している。
【００１５】
移動情報端末装置１０１は、現在位置を地図等で把握すると共に、必要に応じて必要なカメラサーバ装置１０２からの画像を表示したり、カメラ制御したりするものであり、現在位置検出部１０５、経路情報設定管理部１０６、地図情報表示部１０７、カメラ選択管理部１０８、カメラ制御Ｉ／Ｆ（インタフェース）部１０９、画像表示部１１０及び通信制御部１１１から構成されている。
【００１６】
尚、図３は、移動情報端末装置１０１の画面表示例を示す図であるが、以下に述べる各部が、これらの表示を行っている。
【００１７】
現在位置検出部１０５は、ＧＰＳ（世界的位置決定システム）やジャイロ等から構成され、自分(自車)の現在位置を把握することができるものである。現在位置検出部１０５は、現在位置が把握できれば、ＧＰＳやジャイロに限られるものではない。経路情報設定管理部１０６は、現在位置検出部１０５で取得した現在位置情報と目的地までの経路情報、地図情報及び後述するカメラの表示を設定管理するものである。通常、地図情報は、ＤＶＤ（デジタルビデオディスク）等のメディアに保持している。
【００１８】
尚、ここで用いる地図情報は、ネットワーク１０４経由で必要な部分を取得するものであっても良い。
【００１９】
地図情報表示部１０７は、経路情報設定管理部１０６からの情報を、図３のような地図情報表示形式で行う。
【００２０】
図３（ａ）のように、現在位置を周辺の地図や周辺施設情報と共に表示する。また、経路情報設定管理部１０６で目的地や途中経路を探索・設定し、目的地までの経路を地図情報表示部１０７の地図上に、図３（ａ）のように表示することができるものである。
【００２１】
従って、現在位置検出部１０５と経路情報設定管理部１０６、地図情報表示部１０７だけで、一般的なカーナビゲーション装置の基本部分を構成することが可能である。
【００２２】
尚、この部分については、本発明においては本質的な部分ではないので、その詳しい説明は省略する。
【００２３】
カメラ選択管理部１０８は、現在位置情報と経路情報とに応じて、適切なカメラサーバ装置１０２の画像を選択すると共に、後述するカメラ制御権予約・獲得処理を行う。また、図３（ｂ）のように経路情報に応じた適切なカメラサーバ装置１０２に関する情報表示を行う。カメラ制御インタフェース手段１０９は、カメラサーバ装置１０２におけるパン・チルト・ズーム等のカメラ制御を行う際に、カメラ制御を行うためのユーザインタフェースを提供するものであり、図４のように画面上にグラフィカルに操作ユーザインタフェース４０２を表示する。
【００２４】
図４は、移動情報端末装置１０１の画面表示例を示す図であり、同図において、４０１はポップアップウィンドウ、４０２は操作ユーザインタフェースであり、４０３はパン操作、４０４はチルト操作、４０５はズーム操作に対応している。
【００２５】
尚、操作方法については、上述した方法に限られるものではなく、これらは、音声を用いたユーザインタフェース等でも良い。
【００２６】
画像表示部１１０は、所定の位置にきたときに、カメラサーバ装置１０２から送られてきたリアルタイム画像或いは蓄積画像を必要に応じて(送信画像が圧縮されていればデコードして)表示するものであり、図４に示すように、必要に応じて画像をポップアップウィンドウ４０１として表示する。通信制御部１１１は、カメラサーバ装置１０２からの画像を受信したり、ネットワーク１０４経由でカメラ制御を実現したりするものである。
【００２７】
カメラサーバ装置１０２は、ネットワーク１０４経由で、１台以上の移動情報端末装置１０１に撮影したリアルタイム画像を配信したり、移動情報端末装置１０１からのカメラ制御の要求を受けて、実際にパン・チルト・ズーム等のカメラ制御を行ったりするものである。
【００２８】
図２は、カメラサーバ装置１０２の内部構成を示すブロック図であり、同図において、２０１は撮像部、２０２はカメラ制御部、２０３は制御権管理部、２０４は画像送信部、２０５は画像記憶部、２０６は通信制御部、２０７はカメラサーバ情報管理部である。
【００２９】
撮像部２０１は、リアルタイムの動画像を取り込むためのものである。カメラ制御部２０２は、雲台等により撮像部２０１の撮影方向、即ち、パン・チルト角度や画角、即ち、ズーム倍率を制御するためのものであり、これらは、ネットワーク１０４経由でカメラ制御権を有している移動情報端末装置１０１等の装置が制御できるようにするものである。
【００３０】
尚、ネットワーク経由でのカメラ制御の方法については、上述した特許文献１（特開平１０−４０１８５号公報）等で開示されているので、ここでは、その詳細説明は省略する。
【００３１】
制御権管理部２０３は、カメラのパン・チルト角度やズーム倍率が物理的に同時には一つの設定値にしか制御できないため、制御権を有している一つの移動情報端末装置１０１だけにカメラ制御を可能とするものであり、このため、カメラ制御のための制御権を管理するものである。制御権そのものについては、上述した特許文献２である特開平１０−４２２７８号公報等で開示されているので、その詳細説明は省略する。
【００３２】
但し、後述するように、本実施の形態ではカメラ制御権の予約の概念を導入している。
【００３３】
画像送信部２０４は、撮像部２０１で取り込んだリアルタイムの動画像をネットワーク１０４経由で配信できるように、必要に応じて画像圧縮して配信するものである。画像圧縮のフォーマットに関しては、例えば、ＭｏｔｉｏｎＪＰＥＧやＭＰＥＧ等があるが、これらに限られるものではない。
【００３４】
画像記憶部２０５は、後述するように、必要な画像を一定時間の画像クリップとして記憶しておき、カメラ制御権を取れなかった場合に、リアルタイム画像の代替画像として、必要に応じて配信できるようにするものである。通信制御部２０６は、撮像部２０１のリアルタイム画像や画像記憶部２０５に蓄積された蓄積画像を複数の移動情報端末装置１０１に同時に配信したり、複数の移動情報端末装置１０１からのカメラ制御要求、制御権獲得要求を処理したりするためのものである。カメラ制御は、カメラ制御権を有する一つの移動情報端末装置１０１からのみ同時には受け付けないが、画像は、複数の移動情報端末装置１０１から同時に見ることができる。
【００３５】
複数台ある移動情報端末装置１０１及びカメラサーバ装置１０２において、任意の移動情報端末装置１０１は、任意のカメラサーバ装置１０２に接続できるようになっているものとし、それぞれの装置は、互いに認識するためのアドレスを保有しているものとする。
【００３６】
カメラサーバ情報管理部２０７は、カメラサーバ装置１０２についての情報を管理するものである。
【００３７】
カメラサーバ管理部１０３は、ネットワーク１０４に接続されている複数のカメラサーバ装置１０２の情報を管理し、移動情報端末装置１０１から問い合わせがあった場合に、この管理情報を返すものであり、具体的には、図３（ｂ）に表示するための情報を提供するものである。
【００３８】
全てのカメラサーバ装置１０２について、次のような情報が管理されている。
【００３９】
尚、これら情報は、各カメラサーバ装置１０２におけるカメラサーバ情報管理部２０７が有しており、起動時或いは設置時にカメラサーバ装置１０２からカメラ管理部１０３に通知し、保持されているものである。
【００４０】
カメラサーバ装置１０２毎に次の情報(以下、カメラサーバ管理情報と記述する。)が管理される。
（１）カメラサーバ装置のアドレス(ネットワークアドレス)
（２）カメラ識別番号及びカメラサーバ装置毎に異なる番号が付与される
（３）カメラサーバの設置場所(緯度・経度情報)
（４）カメラ-サーバの設置場所に関する説明情報（Ｂ地点ＪＣＴ、Ａ地点ＳＡ等）
（５）各カメラサーバ装置に設定されているカメラプリセット情報
尚、プリセットとは、番号によりパン・チルト・ズーム制御を行うものであり、各プリセット毎に次の情報が管理される。また、各カメラ毎に任意のプリセットが設定できるようになっている。
▲１▼プリセット番号（１〜Ｎ、プリセット設定の数に応じて設定される。）
▲２▼プリセット番号に対応するパン・チルト・ズーム制御値
▲３▼プリセット番号に対応するパン・チルト・ズーム制御値で撮影される画像の内容説明情報
（６）カメラ画像表示開始・終了地点(現在位置が近づいたときにカメラ画像を表示開始・終了する場所)
（７）進行方向・経路・現在位置に応じたお勧めカメラプリセット番号
等から成る。
【００４１】
尚、全ての情報が図３（ｂ）に表示されるわけではない。
【００４２】
また、カメラ管理部１０３は、移動情報端末装置１０１からネットワーク的に位置を認識できれば（即ち、ネットワークアドレスが分れば）、ネットワーク１０４上のどこにあっても良く、ある一つのカメラサーバ装置１０２内に同時に具備していても良い。
【００４３】
図３について、更に説明する。図３（ａ）には、現在位置情報と周辺施設を含む周辺地図情報、カメラサーバ装置１０２の位置情報が表示されている。図３（ａ）において、▲マーク３０１が現在位置であり、ＳＡやＪＣＴ等は周辺施設、Ｃ３０２は、カメラサーバ装置１０２の位置を表している。
【００４４】
一方、図３（ｂ）には、現在位置から、これから進行する予定の経路近傍にあるカメラサーバ装置１０２のリストが、上から順により近い場所にあるものから並べられている。この情報は、上述のようにカメラ管理部１０３に問い合わせることで、カメラサーバ管理情報として得られる。図３（ｂ）の欄３０３には、カメラ識別番号が、欄３０４には設置場所に関する説明情報が、欄３０５には各プリセット画像の内容説明情報が、それぞれ表示される。基本的に、このリストにあるカメラについては、制御権の予約が行われることになる。
【００４５】
図３（ｃ）は、各エントリに対する操作のポップアップメニューを示している。操作に関しては後述するが、デフォルトでは通常予約になっていて、予約について変更する場合にはメニューを用いる。
【００４６】
ここで、カメラ制御権の予約の概念について説明する。
【００４７】
本実施の形態でも、カメラサーバ装置１０２のカメラ制御権は、上述した特許文献２である特開平１０−４２２７８号公報で開示されているように、排他制御されており、制御権を獲得したクライアントがカメラを制御することが可能となる。また、既に他のクライアントが制御権を有している場合には、制御権獲得の待ち行列に並ぶことになる。
【００４８】
本実施の形態においては、一つのクライアントがカメラ制御権を有していることのできる時間を一定(τ)、待ち行列に並ぶことのできるクライアントの最大数をｎとすると、予約に関しては、最も早くてｎ×τ時間前に予約を入れられれば、必ずｎ×τ時間後には、制御権を獲得できるようになっている。
【００４９】
但し、通常の待ち行列とは異なり、予約の場合は、前に並んでいるクライアントが無い場合に、行列の先頭に並ぶのではなく、後述する方法により、一定時間後に制御権が取れるように、前に空席を残したまま行列に並ぶことになる。空席があれば、そこに制御権の予約を入れることも可能である。また、空席が制御の順番に到達したときには、早い者勝ちで制御権を取得できる。
【００５０】
即ち、この待ち行列は、下記表のようになっている(Ｎ＝７で例示)。待ち及び制御権保有時間共に、一定時間(τ)毎に区切られている。下記表において、左端が制御権を獲得したクライアント、「待ち有」が予約で並んでいるクライアント、先頭がαは、制御権を獲得してから経過した時間である。
【００５１】
【表１】

図１３に具体的な予約リストの一例を示す。この予約リストは、各カメラサーバ装置１０２が有しており、予約時刻、予約プリセット、予約クライアントアドレスのエントリから成る。
【００５２】
Ｔ１＝τ，Ｔ２＝２×τ，Ｔ３＝３×τ，…，ＴＮ＝ｎ×τである。
プリセットのエントリには予約プリセット番号が、アドレスには予約クライアント(移動情報端末装置１０１)のアドレスが登録される。
【００５３】
尚、図１３において、アドレスが空(none)のエントリは空席を表す。また、プリセットが＊マークのエントリは自由操作予約を表す。アドレスに複数登録可能であるが、これについては後述する。
【００５４】
次に、本実施の形態に係る移動情報端末装置１０１における経路情報設定処理動作について、図５を用いて説明する。
【００５５】
図５は、本実施の形態に係る移動情報端末装置１０１における経路設定処理動作の流れを示すフローチャートである。
【００５６】
経路設定処理では、目的地を設定すると経路探索を行い（ステップＳ５０１）、経路情報を取得する（ステップＳ５０２）。次に、この経路情報をベースに、カメラ管理部１０３に近傍カメラリストを問い合わせて、近傍カメラリスト情報を取得する(ステップＳ５０３)。次に、この取得した近傍カメラリストを、現在位置から目的地までの経路順に並べ替えて、図３の欄３０４のように表示する(ステップＳ５０４)。次に、必要に応じて、このカメラリストを編集し(ステップＳ５０５)、その後、本処理動作を終了する。前記ステップＳ５０５における編集処理では、エントリ毎に図３（ｃ）の操作メニューを用いて、見る必要のないカメラを削除したり、操作予約の設定をしたり、操作予約の種類を設定したりすることができる。
【００５７】
操作予約の種類としては、下記の５種類がある。
（１）自由操作予約
制御権を取得したらパン・チルト・ズームを自由自在に変更する。
（２）通常予約
予め決まったプリセット番号に対応したプリセット制御の制御権を予約する。
（３）予約不要
予約は行わないが、適当なタイミングで制御権が取得できればカメラ制御する。
（４）映像のみ
カメラ制御は行わず、カメラ映像を一定時間取得して表示する。
（５）予約削除
カメラ制御も画像表示も行わない(図３（ｂ）のカメラリストから削除)。
【００５８】
次に、本実施の形態に係る移動情報端末装置１０１における表示変更処理動作について、図６を用いて説明する。
【００５９】
図６は、本実施の形態に係る移動情報端末装置１０１における経路設定処理動作の流れを示すフローチャートである。
【００６０】
表示更新処理は、現在位置情報を元に表示近傍地図、施設情報を常に更新する処理である。
【００６１】
表示更新処理では、現在位置情報を取得し（ステップＳ６０１）、次に、現在位置に応じた処理を行い（ステップＳ６０２）、その後、前記ステップＳ６０１へ戻って、再び現在位置情報を取得する。
【００６２】
次に、本実施の形態に係る移動情報端末装置１０１における近傍カメラサーバ装置検索処理動作について、図７を用いて説明する。
【００６３】
図７は、本実施の形態に係る移動情報端末装置１０１のカメラ管理部１０３における近傍カメラサーバ装置検索処理動作の流れを示すフローチャートである。
【００６４】
近傍カメラサーバ装置の検索処理では、経路情報を取得し（ステップＳ７０１）、次に、経路の近傍カメラサーバ装置を検索する（ステップＳ７０２）。次に、近傍カメラリスト情報を応答し（ステップＳ７０３）、その後、本処理動作を終了する。
【００６５】
これにより、設定経路近傍のカメラサーバリストを得ることができる。また、移動情報端末装置１０１に設定されている経路情報を用いて、カメラ管理部１０３に問い合わせることで、カメラ管理部１０３に設定されている上述したカメラサーバ管理情報から、経路の近傍カメラリスト情報を取得することができる。
【００６６】
尚、経路(道路)の進行方向に応じて、見せたい画像が異なることもある。このため、前記ステップＳ７０３において応答する近傍カメラリスト情報は、前記ステップＳ７０１及びステップＳ７０２において、経路及びその経路上の進行方向に応じて、異なったカメラサーバ装置１０２に関する情報及びカメラプリセッ番号を求め、これを返答しても良い。これらは、予めカメラサーバ装置１０２に登録されているカメラサーバ管理情報の中に含まれている。
【００６７】
次に、本実施の形態に係る移動情報端末装置１０１の制御権予約処理動作について、図８を用いて説明する。
【００６８】
図８は、本実施の形態に係る移動情報端末装置１０１の制御権予約処理動作の流れを示すフローチャートである。
【００６９】
現在位置情報を元に、基本的に図３（ｂ）に示すカメラリストの上から順番にカメラを予約していくことになる。
【００７０】
移動情報端末装置１０１の制御権予約処理では、現在位置情報と進行方向情報を取得し(ステップＳ８０１)、図３（ｂ）のカメラリストから次の予約候補となるカメラを決定し(ステップＳ８０２)、そのカメラの画像を表示する予定の場所(地点Ｑとする)に到達する予定時刻をＴとすると、平均予想速度を加味して、時刻(Ｔ−ｎ×τ)に到達する予定の場所Ｐを計算し、その場所に到達するのを待つ(ステップＳ８０３)。
【００７１】
尚、ｎは待ち行列の最大長、τは制御権保有時間である。
【００７２】
地点Ｐに到達すると、カメラ制御権予約を行う(ステップＳ８０４)。この際、どのような予約(プリセットであるか自由制御であるか)を指定する。予約が成功すると、制御権取得予定時刻が返るので、その時刻にカメラ制御権を取得することが可能となる。
【００７３】
尚、後述するように、地点Ｑに到達する時刻と制御権取得予定時刻とは必ずしも一致しない。このため、制御権取得は位置情報ではなく、制御権取得予定時刻情報を用いる。また、予約が画像のみの場合には、制御は不要であるので、制御権予約も不要であり、地点Ｑに到達した段階で、カメラ画像を一定期間(τ)要求し、表示するようにする。
【００７４】
尚、カメラ画像を表示する予定の地点Ｑは、カメラサーバ装置１０２毎に設定してあり、例えば、カメラサーバ装置１０２と移動情報端末装置１０１との間の距離がある一定距離になる点として設定するか、或いは経路や道路毎に異なる地点を、見せたい地点として保持していても良い。また、カメラサーバ装置１０２毎に設定されているカメラプリセット情報に関しては、経路や道路毎の進行方向に応じて、必ずしも同じでない異なったプリセット番号を返すように、経路または道路情報と進行方向及びプリセット番号を関連付けて、カメラサーバ装置１０２に設定・記憶しておけば良い。
【００７５】
前記ステップＳ８０４の処理を終了後は、前記ステップＳ８０１へ戻り、再び現在位置情報と進行方向情報を獲得する。
【００７６】
次に、本実施の形態に係る移動情報端末装置１０１の制御権取得・表示処理動作について、図９を用いて説明する。
【００７７】
図９は、本実施の形態に係る移動情報端末装置１０１の制御権取得・表示処理動作の流れを示すフローチャートである。
【００７８】
制御権取得・表示処理では、制御権取得予定時刻(地点Ｑに到着時刻と略同じ)Ｔになるのを待ち（ステップＳ９０１）、制御権取得予定時刻Ｔになると、予め予約しておいたカメラサーバ装置１０２に制御権要求を行い、制御権を待つ（ステップＳ９０２）。通常ならば制御権が取得できるので（ステップＳ９０３）、予約内容に応じたカメラ制御及び画像表示を行う（ステップＳ９０４）。次に、τ時間経過後に制御権を開放し（ステップＳ９０５）、その後、前記ステップＳ９０１へ戻り、再び制御権取得予定時刻Ｔになるのを待つ。
【００７９】
次に、本実施の形態に係る移動情報端末装置１０１におけるカメラサーバ装置の制御権予約処理動作について、図１０を用いて説明する。
【００８０】
図１０は、本実施の形態に係る移動情報端末装置１０１におけるカメラサーバ装置の制御権予約処理動作の流れを示すフローチャートである。
【００８１】
カメラサーバ装置の制御権予約処理では、図１３に示すカメラサーバ装置１０２の予約リストにおいて、予約時刻のエントリが空き(ｎｏｎｅ)であるか否か判断し（ステップＳ１００１）、空きであれば、そのまま予約リストにプリセット番号とアドレスを登録し(ステップＳ１００２)、予約時刻を応答し(ステップＳ１００３)、その後、本処理動作を終了する。
【００８２】
一方、予約リストが空いていない場合には、プリセット予約であるか否かを判断し(ステップＳ１００４)、プリセット予約であれば、予約時刻の近傍時刻のエントリで同じプリセットを検索する(ステップＳ１００５)。そして、同じプリセットが検索された場合は(ステップＳ１００６)、予約リストのアドレスの欄にアドレスを追加登録し(ステップＳ１００３)、その時刻を予約時刻として応答し（ステップＳ１００３）、その後、本処理動作を終了する。
【００８３】
また、プリセット予約でない場合、及び近傍時刻に同一プリセット番号の予約が検索されない場合は、次に近傍時刻における空きエントリを検索する(ステップＳ１００７)。そして、空きエントリが検索された場合は(ステップＳ１００８)、そこにエントリを登録し(ステップＳ１００３)、その時刻を予約時刻として応答し（ステップＳ１００３）、その後、本処理動作を終了する。また、それ以外は、予約が行えなかったということで、予約ＮＧを応答し（ステップＳ１００９）、その後、本処理動作を終了する。
【００８４】
前記予約ＮＧが返ってきた場合でも、制御権待ちリストからキャンセルされて空きが出る可能性があるので、移動情報端末装置１０１は、最初の予定時刻Ｔにカメラ制御権要求を出すことで、制御権取得を目指すことになる。
【００８５】
次に、本実施の形態に係る移動情報端末装置１０１の制御権取得・表示処理動作について、図１１及び図１２を用いて説明する。
【００８６】
図１１及び図１２は、本実施の形態に係る移動情報端末装置１０１の制御権取得・表示処理動作の流れを示すフローチャートである。
【００８７】
「プリセット予約」或いは「自由制御予約」、「予約不要」の場合に、予約がＮＧであるか否かに拘らず、この図１１及び図１２に示すフローになる。
【００８８】
要求には、移動情報端末装置１０１のアドレスと予約種別、プリセット番号がパラメータとして含まれる。
【００８９】
図１１において、要求があると、まず、要求元である移動情報端末装置１０１のアドレスと予約種別を調べ(ステップＳ１１０１)、予約リストを確認する(ステップＳ１１０２)。プリセット予約であって、プリセット番号が一致していれば(ステップＳ１１０３)、他の移動情報端末装置１０１が既にプリセット予約をしていると解釈する。そして、一定時刻(τ)の間、同じプリセットが持続されると判断して、要求のあったアドレスに対して画像送信を開始し(ステップＳ１１０４)、一定時刻(τ)が経過する迄画像送信を続ける。
【００９０】
一方、プリセット番号が一致しない場合、及びプリセット予約でない場合には(ステップＳ１１０３)、制御権を取得して(ステップＳ１１０６)、カメラ画像の送信を開始する(ステップＳ１１０７)。このとき、プリセット予約であれば(ステップＳ１１０８)、プリセット制御を行い(ステップＳ１１０９)、一定時刻(τ)が経過する迄画像を送信する。また、プリセット予約でなく、自由制御予約の場合には、図４の制御インタフェース４０２等を用いて、自由にカメラ制御要求を出すことで、カメラ制御を行う(ステップＳ１１１２)。
【００９１】
前記ステップＳ１１０６において、制御権が取得できない場合は、カメラ制御は行えない。この場合は、予め蓄積してある至近のカメラ画像を送信することで代用する。従って、ステップＳ１１０４やステップＳ１１０７では、必ず、プリセットに関連付けて、図１４に示すような形式で画像を、クリップの形でファイルに蓄積している。
【００９２】
即ち、図１２において、プリセット予約であるか否かを判断し(ステップＳ１１１３)、プリセット制御が行われている場合には、常にプリセットを関連付けて、最新の画像に更新しておく。そして、プリセット予約であった場合には(ステップＳ１１１４)、そのプリセットに対応する最新の代用画像クリップを、図１４に示す表から探して再生し、その再生画像（代用記憶画像）を送信する(ステップＳ１１１５)。
【００９３】
また、プリセット予約でない場合、即ち、自由制御の場合にはプリセットリストを確認し(ステップＳ１１１７)、図１４の表に含まれる画像ファイル（適宜切り替えながら（代用記憶画像を切り替えながら）送信することで代用する(ステップＳ１１１８)。
【００９４】
前記ステップＳ１１１５及びステップＳ１１１８を終了後は、いずれもファイル終了及び画像送信を終了し(ステップＳ１１１６)、その後、本処理動作を終了する。
【００９５】
尚、カメラサーバ装置１０２において、画像或いはカメラ制御権は、移動情報端末装置１０１以外の通常のビューワクライアントからもアクセスされる可能性があり、この場合、通常の制御権待ち行列の処理となる。また、画像送信については、送信要求があってから一定時間、画像を送信することになる。また、移動情報端末装置１０１から画像のみを予約する場合は、単に画像を一定時間要求するだけである。この場合は、ビューワクライアント或いは移動情報端末装置１０１毎に、図１５に示すフローで画像送信することになる。
【００９６】
即ち、図１５は、本実施の形態に係るカメラサーバ装置１０２の画像送信処理動作の流れを示すフローチャートである。
【００９７】
カメラサーバ装置１０２の画像送信処理では、カメラ画像の送信を開始し（ステップＳ１５０１）、次に、一定時間が経過すると画像送信を終了し（ステップＳ１５０２）、その後、本処理動作を終了する。
【００９８】
また、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても、本発明が達成されることは言うまでもない。
【００９９】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１００】
また、プログラムコードを供給するための記憶媒体としては、例えば、ＲＡＭ、ＮＶ−ＲＡＭ、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等）、磁気テープ、不揮発性のメモリカード、他のＲＯＭ等の上記プログラムコードを記憶できるものであれば良く、或いはネットワークを介したダウンロード等を用いることができる。
【０１０１】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１０２】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１０３】
以上では、本発明の様々な例と実施形態を説明したが、当業者であれば、本発明の趣旨と範囲は本明細書内の特定の説明と図に限定されるものではなく、本願特許請求の範囲に全て述べられた様々な修正と変更に及ぶことが可能であることは言うまでもない。
【０１５４】
【発明の効果】
以上のように、本発明によれば、遠隔地に設置された制御可能なカメラからのリアルタイム画像を有効に切り替えて表示し、カメラ制御できるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る移動情報端末装置を有する撮像システムの構成を示すブロック図である。
【図２】本発明の一実施の形態に係る移動情報端末装置を有する撮像システムにおけるカメラサーバ装置の構成を示すブロック図である。
【図３】本発明の一実施の形態に係る移動情報端末装置の画面表示例を示す図である。
【図４】本発明の一実施の形態に係る移動情報端末装置の画面表示例を示す図である。
【図５】本発明の一実施の形態に係る移動情報端末装置の経路設定処理動作の流れを示すフローチャートである。
【図６】本発明の一実施の形態に係る移動情報端末装置の表示更新処理動作の流れを示すフローチャートである。
【図７】本発明の一実施の形態に係る移動情報端末装置を有する撮像システムにおけるカメラサーバ装置検索処理動作の流れを示すフローチャートである。
【図８】本発明の一実施の形態に係る移動情報端末装置の予約処理動作の流れを示すフローチャートである。
【図９】本発明の一実施の形態に係る移動情報端末装置の制御権取得・表示処理動作の流れを示すフローチャートである。
【図１０】本発明の一実施の形態に係る移動情報端末装置を有する撮像システムにおけるカメラサーバ装置の制御権予約処理動作の流れを示すフローチャートである。
【図１１】本発明の一実施の形態に係る移動情報端末装置を有する撮像システムにおけるカメラサーバ装置の制御権取得・表示処理動作の流れを示すフローチャートである。
【図１２】本発明の一実施の形態に係る移動情報端末装置を有する撮像システムにおけるカメラサーバ装置の制御権取得・表示処理動作の流れを示すフローチャートである。
【図１３】本発明の一実施の形態に係る移動情報端末装置を有する撮像システムにおけるカメラサーバ装置の予約リストの一例を示す図である。
【図１４】本発明の一実施の形態に係る移動情報端末装置を有する撮像システムにおけるカメラサーバ装置のプリセット蓄積画像リストの一例を示す図である。
【図１５】本発明の一実施の形態に係る移動情報端末装置を有する撮像システムにおけるカメラサーバ装置の画像送信処理動作の流れを示すフローチャートである。
【符号の説明】
１０１移動情報端末装置
１０２カメラサーバ装置
１０３カメラ管理部
１０４ネットワーク
１０５現在位置検出部
１０６経路情報設定管理部
１０７地図情報表示部
１０８カメラ選択管理部
１０９カメラ制御Ｉ／Ｆ（インタフェース）部
１１０画像表示部
１１１通信制御部
３０１ ▲マーク
３０２Ｃ
３０３欄
３０４欄
３０５欄
４０１ポップアップウィンドウ
４０２操作ユーザインタフェース
４０３パン操作
４０４チルト操作
４０５ズーム操作[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to a mobile information terminal device such as a car navigation system for displaying an image (video) from a camera, andThatCommunicationTo the lawRelated.
[0002]
[Prior art]
In a system in which a plurality of people can observe an image of a camera placed at a remote place via a network, there is one in which not only the camera image is observed but also the pan / tilt angle and zoom magnification of the camera can be remotely controlled.
[0003]
For example, a computer-controllable camera is connected to a PC (personal computer) also connected to the Internet through a WWW server on the Internet, and real-time images taken from the camera are not only delivered to an accessor, but also control of the camera is performed. Has been developed (see Patent Document 1).
[0004]
In the camera server apparatus in such a system that can control the camera and deliver video to a plurality of people, it is assumed that an unspecified number of users operate and observe. When a large number of people control a single camera, the control right of that camera becomes important, and only those who have acquired that control right can control the camera of the camera server device. In addition, the control right is released when a certain time elapses (see Patent Document 2).
[0005]
On the other hand, a system that can know the current position of one's car (car), such as a car navigation device, has been developed, and it is possible to switch and view a real-time image from a camera installed remotely from such a car navigation device. There is a technique that can be used (see Patent Document 3).
[0006]
[Patent Document 1]
Japanese Patent Laid-Open No. 10-40185
[Patent Document 2]
Japanese Patent Laid-Open No. 10-42278
[Patent Document 3]
JP 2001-21368 A
[0007]
[Problems to be solved by the invention]
In general, when viewing a real-time camera image acquired by a camera server device from a mobile information terminal device such as a car navigation device, the camera image you want to see depending on your current location, the destination you plan to go to, the route on the way, etc. Is different.
[0008]
However, until now, no information about the installation location of the camera has been used, and the use of the position information of one's own (own vehicle) as the information for selecting the camera switching has not been considered. In addition, when trying to view a real-time image from a controllable camera, it is necessary to acquire the control right of the camera when it comes to the point to be controlled, but this is not taken into consideration.
[0009]
  The present invention has been made to solve the above-described problems of the prior art, and its purpose is to effectively switch and display a real-time image from a controllable camera installed in a remote place, Mobile information terminal device capable of camera control andThatCommunicationThe lawIs to provide.
[0010]
[Means for Solving the Problems]
  In order to achieve the above object, the mobile information terminal device of the present invention provides:In the mobile information terminal device that displays the information of the travel route,Position detection means for detecting the current position;Setting means for setting a route from the detected current position to the destination, search means for searching for a camera near the set route, pan, tilt corresponding to the traveling direction of the set route, Control means for requesting control of the searched camera with a zoom control value, and image display means for displaying an image transmitted from the camera controlled by the control meansIt is characterized by having.
BookTransfer information of inventionTerminal deviceThe communication method isA communication method of a mobile information terminal device for displaying information of a travel route,A position detection process for detecting the current position;A setting step for setting a route from the detected current position to a destination, a search step for searching for a camera near the set route, pan, tilt corresponding to the traveling direction of the set route, A control step for requesting control of the searched camera with a zoom control value; and a display step for displaying an image transmitted from the camera controlled in the control step;It is characterized by having.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
[0012]
In the present embodiment, a real-time image from a controllable camera installed at a remote location is effectively switched and displayed according to the current position so that the camera can be controlled. Specifically, an appropriate camera can be selected at an appropriate position using current position information and route information. In addition, when a camera is selected, a camera control right is reserved in advance so that the camera can be effectively controlled, thereby reducing the situation where the control right cannot be obtained.
[0013]
FIG. 1 is a block diagram illustrating a configuration of an imaging system having a mobile information terminal device according to the present embodiment. In FIG. 1, 101 is a mobile information terminal device, 102 is a camera server device, and 103 is a camera management unit. These are connected to each other via the network 104. In FIG. 1, only a plurality of camera server apparatuses 102 are illustrated, but at least one of the mobile information terminal apparatus 101 and the camera server apparatus 102 is connected to the network 104. Assumed.
[0014]
The connection to the network 104 may be wired or wireless for both the mobile information terminal device 101 and the camera server device 102. Further, the network 104 is assumed to be a network having a sufficient bandwidth for streaming images.
[0015]
The mobile information terminal device 101 grasps the current position on a map or the like, displays a necessary image from the camera server device 102 as necessary, and controls the camera. A current position detection unit 105, The route information setting management unit 106, the map information display unit 107, the camera selection management unit 108, the camera control I / F (interface) unit 109, the image display unit 110, and the communication control unit 111 are configured.
[0016]
FIG. 3 is a diagram illustrating a screen display example of the mobile information terminal device 101, and each unit described below performs these displays.
[0017]
The current position detection unit 105 includes a GPS (Global Positioning System), a gyro, and the like, and can grasp the current position of the vehicle (own vehicle). The current position detection unit 105 is not limited to the GPS and the gyro as long as the current position can be grasped. The route information setting management unit 106 sets and manages the current position information acquired by the current position detection unit 105, the route information to the destination, the map information, and the camera display described later. Usually, map information is held in a medium such as a DVD (digital video disc).
[0018]
In addition, the map information used here may acquire a required part via the network 104.
[0019]
The map information display unit 107 performs the information from the route information setting management unit 106 in a map information display format as shown in FIG.
[0020]
As shown in FIG. 3A, the current position is displayed together with a surrounding map and surrounding facility information. Further, the route information setting management unit 106 can search and set a destination or a route on the way, and the route to the destination can be displayed on the map of the map information display unit 107 as shown in FIG. It is.
[0021]
Therefore, the current position detection unit 105, the route information setting management unit 106, and the map information display unit 107 alone can constitute a basic part of a general car navigation apparatus.
[0022]
Since this part is not an essential part in the present invention, its detailed description is omitted.
[0023]
The camera selection management unit 108 selects an appropriate image of the camera server device 102 according to the current position information and the route information, and performs camera control right reservation / acquisition processing described later. Further, as shown in FIG. 3B, information regarding the appropriate camera server apparatus 102 corresponding to the route information is displayed. The camera control interface unit 109 provides a user interface for performing camera control when performing camera control such as pan / tilt / zoom in the camera server apparatus 102, and graphically displays it on the screen as shown in FIG. The operation user interface 402 is displayed.
[0024]
FIG. 4 is a diagram illustrating a screen display example of the mobile information terminal device 101. In FIG. 4, 401 is a pop-up window, 402 is an operation user interface, 403 is a pan operation, 404 is a tilt operation, and 405 is a zoom operation. It corresponds to.
[0025]
Note that the operation method is not limited to the above-described method, and these may be a user interface using sound.
[0026]
The image display unit 110 displays a real-time image or a stored image sent from the camera server device 102 when necessary (decoded if the transmission image is compressed) when it comes to the predetermined position. Yes, as shown in FIG. 4, an image is displayed as a pop-up window 401 as needed. The communication control unit 111 receives an image from the camera server apparatus 102 and realizes camera control via the network 104.
[0027]
The camera server apparatus 102 distributes the captured real-time image to one or more mobile information terminal apparatuses 101 via the network 104, or receives a camera control request from the mobile information terminal apparatus 101, and actually performs pan / tilt.・ Camera control such as zooming is performed.
[0028]
FIG. 2 is a block diagram showing an internal configuration of the camera server apparatus 102. In FIG. 2, 201 is an imaging unit, 202 is a camera control unit, 203 is a control right management unit, 204 is an image transmission unit, and 205 is an image storage. Reference numeral 206 denotes a communication control unit, and 207 denotes a camera server information management unit.
[0029]
The imaging unit 201 is for capturing a real-time moving image. The camera control unit 202 is for controlling the shooting direction of the imaging unit 201, that is, the pan / tilt angle and the angle of view, that is, the zoom magnification, by a pan head or the like. A device such as the mobile information terminal device 101 having the function can be controlled.
[0030]
The camera control method via the network is disclosed in the above-mentioned Patent Document 1 (Japanese Patent Laid-Open No. 10-40185) and the like, and thus detailed description thereof is omitted here.
[0031]
Since the control right management unit 203 can control the camera pan / tilt angle and zoom magnification to only one set value at the same time physically, only one mobile information terminal device 101 having the control right controls the camera. Therefore, the control right for camera control is managed. Since the control right itself is disclosed in Japanese Patent Laid-Open No. 10-42278, which is Patent Document 2 described above, detailed description thereof is omitted.
[0032]
However, as will be described later, the present embodiment introduces the concept of camera control right reservation.
[0033]
The image transmission unit 204 compresses and distributes the real-time moving image captured by the imaging unit 201 as necessary so that it can be distributed via the network 104. Examples of the image compression format include Motion JPEG and MPEG, but are not limited thereto.
[0034]
As will be described later, the image storage unit 205 stores a necessary image as an image clip for a certain period of time, and when the camera control right cannot be obtained, it can be distributed as a substitute image of a real-time image as necessary. It is to make. The communication control unit 206 distributes the real-time image of the imaging unit 201 and the stored image stored in the image storage unit 205 to a plurality of mobile information terminal devices 101 at the same time, or requests camera control from the plurality of mobile information terminal devices 101, It is for processing a control right acquisition request. Camera control is not accepted simultaneously from only one mobile information terminal apparatus 101 having the camera control right, but an image can be viewed simultaneously from a plurality of mobile information terminal apparatuses 101.
[0035]
In a plurality of mobile information terminal devices 101 and camera server devices 102, any mobile information terminal device 101 can be connected to any camera server device 102, and each device recognizes each other. It is assumed that the address of
[0036]
The camera server information management unit 207 manages information about the camera server device 102.
[0037]
The camera server management unit 103 manages information of a plurality of camera server devices 102 connected to the network 104, and returns management information when an inquiry is received from the mobile information terminal device 101. Provides information for display in FIG. 3 (b).
[0038]
The following information is managed for all camera server apparatuses 102.
[0039]
The information is held by the camera server information management unit 207 in each camera server device 102, and is notified from the camera server device 102 to the camera management unit 103 at the time of startup or installation.
[0040]
The following information (hereinafter referred to as camera server management information) is managed for each camera server device 102.
(1) Camera server device address (network address)
(2) A camera identification number and a different number are assigned to each camera server device.
(3) Camera server installation location (latitude / longitude information)
(4) Explanatory information on camera-server installation location (B point JCT, A point SA, etc.)
(5) Camera preset information set in each camera server device
Note that the preset performs pan / tilt / zoom control by number, and the following information is managed for each preset. An arbitrary preset can be set for each camera.
(1) Preset number (1 to N, set according to the number of preset settings)
(2) Pan / tilt / zoom control values corresponding to preset numbers
(3) Information describing the content of an image shot with a pan / tilt / zoom control value corresponding to a preset number
(6) Camera image display start / end point (where camera image display starts / stops when the current position approaches)
(7) Recommended camera preset number according to the direction of travel, route and current position
Etc.
[0041]
Note that not all information is displayed in FIG.
[0042]
Further, the camera management unit 103 may be anywhere on the network 104 as long as it can recognize the position from the mobile information terminal device 101 in a network manner (that is, if the network address is known). May be provided at the same time.
[0043]
FIG. 3 will be further described. In FIG. 3A, the current position information, the surrounding map information including the surrounding facilities, and the position information of the camera server apparatus 102 are displayed. In FIG. 3A, the ▲ mark 301 indicates the current position, SA, JCT, etc. indicate peripheral facilities, and C302 indicates the position of the camera server apparatus 102.
[0044]
On the other hand, in FIG. 3B, a list of the camera server devices 102 in the vicinity of the route scheduled to proceed from the current position is arranged in the order closer to the top from the top. This information is obtained as camera server management information by making an inquiry to the camera management unit 103 as described above. In FIG. 3B, the column 303 displays the camera identification number, the column 304 displays the description information regarding the installation location, and the column 305 displays the content description information of each preset image. Basically, control rights are reserved for the cameras in this list.
[0045]
FIG. 3C shows a pop-up menu of operations for each entry. Although the operation will be described later, the default is a normal reservation, and a menu is used to change the reservation.
[0046]
Here, the concept of the camera control right reservation will be described.
[0047]
Also in the present embodiment, the camera control right of the camera server apparatus 102 is exclusively controlled as disclosed in Japanese Patent Laid-Open No. 10-42278, which is the above-described Patent Document 2, and the client that has acquired the control right Can control the camera. If another client already has the control right, the client is queued for acquiring the control right.
[0048]
In this embodiment, when the time that one client can have the camera control right is constant (τ), and the maximum number of clients that can be queued is n, the most reservation is If a reservation can be made as early as n × τ hours, the control right can always be obtained after n × τ time.
[0049]
However, unlike a normal queue, in the case of a reservation, if there is no client lined up before, instead of lining up at the top of the queue, it will be possible to take control right after a certain time by using the method described later, They will be lined up with a vacant seat in front. If there is a vacant seat, it is possible to reserve a control right there. Further, when the vacant seats arrive in the order of control, the control right can be acquired in an early winner.
[0050]
That is, this queue is as shown in the following table (illustrated with N = 7). Both the waiting time and the control right holding time are divided at regular time intervals (τ). In the table below, the left end is the client that has acquired the control right, “waiting” is the client in the reservation, and the top is the time that has elapsed since the acquisition of the control right.
[0051]
[Table 1]

FIG. 13 shows an example of a specific reservation list. This reservation list is possessed by each camera server device 102, and includes reservation time, reservation preset, and reservation client address entries.
[0052]
T1 = τ, T2 = 2 × τ, T3 = 3 × τ,..., TN = n × τ.
A reservation preset number is registered in the preset entry, and an address of the reservation client (mobile information terminal device 101) is registered in the address.
[0053]
In FIG. 13, an entry whose address is empty represents a vacant seat. An entry marked with * is a free operation reservation. A plurality of addresses can be registered, which will be described later.
[0054]
Next, route information setting processing operation in mobile information terminal apparatus 101 according to the present embodiment will be described using FIG.
[0055]
FIG. 5 is a flowchart showing a flow of route setting processing operation in mobile information terminal apparatus 101 according to the present embodiment.
[0056]
In the route setting process, when a destination is set, a route search is performed (step S501), and route information is acquired (step S502). Next, based on this route information, the camera management unit 103 is inquired of the near camera list, and the near camera list information is acquired (step S503). Next, the acquired neighborhood camera list is rearranged in the order of the route from the current position to the destination and displayed as in the column 304 of FIG. 3 (step S504). Next, the camera list is edited as necessary (step S505), and then the processing operation is terminated. In the editing process in step S505, for each entry, using the operation menu of FIG. 3C, a camera that does not need to be viewed is deleted, an operation reservation is set, and an operation reservation type is set. be able to.
[0057]
There are the following five types of operation reservations.
(1) Free operation reservation
Once control is obtained, pan / tilt / zoom can be changed freely.
(2) Regular reservation
Reserve a control right for preset control corresponding to a preset number.
(3) No reservation required
Although no reservation is made, the camera is controlled if the control right can be acquired at an appropriate timing.
(4) Video only
Camera control is not performed, and camera video is acquired and displayed for a certain period of time.
(5) Delete reservation
Neither camera control nor image display is performed (deletion from the camera list in FIG. 3B).
[0058]
Next, a display change processing operation in mobile information terminal apparatus 101 according to the present embodiment will be described using FIG.
[0059]
FIG. 6 is a flowchart showing a flow of route setting processing operation in mobile information terminal apparatus 101 according to the present embodiment.
[0060]
The display update process is a process for constantly updating the display neighborhood map and facility information based on the current position information.
[0061]
In the display update process, the current position information is acquired (step S601), the process corresponding to the current position is performed (step S602), and then the process returns to step S601 to acquire the current position information again.
[0062]
Next, the neighboring camera server device search processing operation in mobile information terminal device 101 according to the present embodiment will be described with reference to FIG.
[0063]
FIG. 7 is a flowchart showing a flow of the neighborhood camera server device search processing operation in the camera management unit 103 of the mobile information terminal device 101 according to the present embodiment.
[0064]
In the vicinity camera server device search process, route information is acquired (step S701), and then a route vicinity camera server device is searched (step S702). Next, the neighboring camera list information is returned (step S703), and then this processing operation is terminated.
[0065]
Thereby, a camera server list near the set route can be obtained. In addition, by inquiring of the camera management unit 103 using the route information set in the mobile information terminal device 101, the neighboring camera list information of the route can be obtained from the above-described camera server management information set in the camera management unit 103. Can be obtained.
[0066]
Note that the image to be shown may differ depending on the traveling direction of the route (road). Therefore, the neighboring camera list information responding in step S703 obtains information and camera preset numbers relating to different camera server devices 102 according to the route and the traveling direction on the route in step S701 and step S702, You may reply this. These are included in the camera server management information registered in the camera server apparatus 102 in advance.
[0067]
Next, the control right reservation processing operation of mobile information terminal apparatus 101 according to the present embodiment will be described using FIG.
[0068]
FIG. 8 is a flowchart showing the flow of the control right reservation processing operation of mobile information terminal apparatus 101 according to the present embodiment.
[0069]
Based on the current position information, the cameras are basically reserved in order from the top of the camera list shown in FIG.
[0070]
In the control right reservation process of the mobile information terminal device 101, the current position information and the traveling direction information are acquired (step S801), and the next reservation candidate camera is determined from the camera list in FIG. 3B (step S802). , Where T is the scheduled time to reach the place where the camera image is to be displayed (point Q), and P is the place P scheduled to reach time (Tn × τ), taking into account the average expected speed And waits to reach the place (step S803).
[0071]
Note that n is the maximum queue length and τ is the control right holding time.
[0072]
When the point P is reached, a camera control right reservation is made (step S804). At this time, what kind of reservation (preset or free control) is designated. If the reservation is successful, the control right acquisition scheduled time is returned, so that the camera control right can be acquired at that time.
[0073]
As will be described later, the time at which the point Q is reached does not necessarily coincide with the scheduled control right acquisition time. For this reason, the control right acquisition uses not the position information but the control right acquisition scheduled time information. Further, when the reservation is an image only, control is unnecessary, so control right reservation is also unnecessary, and when the point Q is reached, a camera image is requested for a certain period (τ) and displayed. .
[0074]
Note that the point Q where the camera image is scheduled to be displayed is set for each camera server device 102. For example, the point between the camera server device 102 and the mobile information terminal device 101 is set to a certain distance. Or you may hold | maintain a different point for every route or road as a point to show. Further, regarding the camera preset information set for each camera server apparatus 102, the route or road information, the traveling direction, and the preset are returned so as to return different preset numbers that are not necessarily the same depending on the traveling direction for each route or road. The number may be set and stored in the camera server apparatus 102 in association with each other.
[0075]
After the process of step S804 is completed, the process returns to step S801, and the current position information and the traveling direction information are acquired again.
[0076]
Next, the control right acquisition / display processing operation of mobile information terminal apparatus 101 according to the present embodiment will be described with reference to FIG.
[0077]
FIG. 9 is a flowchart showing a flow of control right acquisition / display processing operation of mobile information terminal apparatus 101 according to the present embodiment.
[0078]
In the control right acquisition / display process, the control right acquisition waiting time (substantially the same as the arrival time at the point Q) T is waited (step S901). A control right request is made to the server apparatus 102 and the control right is waited (step S902). Since the control right can be acquired normally (step S903), camera control and image display according to the reservation content are performed (step S904). Next, after the elapse of τ time, the control right is released (step S905), and then the process returns to step S901 to wait for the control right acquisition scheduled time T again.
[0079]
Next, the control right reservation processing operation of the camera server apparatus in mobile information terminal apparatus 101 according to the present embodiment will be described with reference to FIG.
[0080]
FIG. 10 is a flowchart showing the flow of the control right reservation processing operation of the camera server apparatus in mobile information terminal apparatus 101 according to the present embodiment.
[0081]
In the control right reservation process of the camera server device, it is determined whether or not the reservation time entry is empty (none) in the reservation list of the camera server device 102 shown in FIG. 13 (step S1001). The preset number and address are registered in the reservation list (step S1002), the reservation time is returned (step S1003), and then the processing operation is terminated.
[0082]
On the other hand, if the reservation list is not empty, it is determined whether or not the reservation is a preset reservation (step S1004). If the reservation is a preset reservation, the same preset is searched for in the entry near the reservation time (step S1005). . If the same preset is searched (step S1006), an address is additionally registered in the address field of the reservation list (step S1003), and the time is returned as the reservation time (step S1003). Exit.
[0083]
If it is not a preset reservation, and if a reservation with the same preset number is not searched for at a nearby time, an empty entry at the nearby time is searched (step S1007). If a free entry is found (step S1008), the entry is registered there (step S1003), the time is returned as the reserved time (step S1003), and then the processing operation is terminated. Otherwise, a reservation NG is returned because the reservation could not be made (step S1009), and then this processing operation is terminated.
[0084]
Even if the reservation NG is returned, there is a possibility that it will be canceled from the waiting list for control right, and there will be a free space, so the mobile information terminal device 101 makes a control request by issuing a camera control right request at the first scheduled time T. It aims to acquire the right.
[0085]
Next, the control right acquisition / display processing operation of mobile information terminal apparatus 101 according to the present embodiment will be described using FIG. 11 and FIG.
[0086]
FIG.11 and FIG.12 is a flowchart which shows the flow of control-right acquisition / display processing operation | movement of the mobile information terminal device 101 which concerns on this Embodiment.
[0087]
In the case of “preset reservation”, “free control reservation”, or “reservation unnecessary”, the flow shown in FIGS. 11 and 12 is performed regardless of whether the reservation is NG.
[0088]
The request includes the mobile information terminal device 101 address, reservation type, and preset number as parameters.
[0089]
In FIG. 11, when there is a request, first, the address and reservation type of the mobile information terminal device 101 that is the request source are checked (step S1101), and the reservation list is checked (step S1102). If it is a preset reservation and the preset numbers match (step S1103), it is interpreted that another mobile information terminal device 101 has already made a preset reservation. Then, it is determined that the same preset is maintained for a certain time (τ), image transmission is started to the requested address (step S1104), and image transmission is performed until the certain time (τ) elapses. Continue.
[0090]
On the other hand, when the preset numbers do not match or when the preset reservation is not made (step S1103), the control right is acquired (step S1106), and the transmission of the camera image is started (step S1107). At this time, if it is a preset reservation (step S1108), preset control is performed (step S1109), and an image is transmitted until a predetermined time (τ) elapses. In the case of free control reservation instead of preset reservation, camera control is performed by freely issuing a camera control request using the control interface 402 in FIG. 4 (step S1112).
[0091]
If the control right cannot be acquired in step S1106, camera control cannot be performed. In this case, it is substituted by transmitting the nearest camera image stored in advance. Therefore, in steps S1104 and S1107, images are always stored in a file in the form of clips in association with presets in the format shown in FIG.
[0092]
That is, in FIG. 12, it is determined whether or not a preset reservation is made (step S1113). If preset control is being performed, the preset is always associated and updated to the latest image. If it is a preset reservation (step S1114), the latest substitute image clip corresponding to the preset is searched from the table shown in FIG. 14 and reproduced, and the reproduced image (substitute storage image) is transmitted ( Step S1115).
[0093]
If it is not a preset reservation, that is, in the case of free control, the preset list is confirmed (step S1117), and the image file included in the table of FIG. 14 is transmitted by switching appropriately (switching the substitute storage image). Substitute (step S1118).
[0094]
After step S1115 and step S1118 are finished, the file end and image transmission are both finished (step S1116), and then this processing operation is finished.
[0095]
In the camera server apparatus 102, an image or camera control right may be accessed from a normal viewer client other than the mobile information terminal apparatus 101. In this case, the process is performed in a normal control right queue. As for image transmission, an image is transmitted for a predetermined time after a transmission request is made. In addition, when only the image is reserved from the mobile information terminal device 101, the image is simply requested for a certain period of time. In this case, an image is transmitted according to the flow shown in FIG. 15 for each viewer client or mobile information terminal device 101.
[0096]
That is, FIG. 15 is a flowchart showing the flow of the image transmission processing operation of the camera server apparatus 102 according to the present embodiment.
[0097]
In the image transmission process of the camera server apparatus 102, the transmission of the camera image is started (step S1501), and then the image transmission is terminated when a predetermined time has elapsed (step S1502), and then the present processing operation is terminated.
[0098]
Further, a storage medium storing software program codes for realizing the functions of the above-described embodiments is supplied to the system or apparatus, and the computer (or CPU, MPU, etc.) of the system or apparatus is stored in the storage medium. It goes without saying that the present invention can also be achieved by reading and executing the program code.
[0099]
In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium storing the program code constitutes the present invention.
[0100]
Examples of the storage medium for supplying the program code include RAM, NV-RAM, floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, and CD-RW. , DVD (DVD-ROM, DVD-R, DVD-RW, etc.), magnetic tape, non-volatile memory card, other ROM, etc., as long as they can store the above program code, or download via a network, etc. Can be used.
[0101]
Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) running on the computer based on an instruction of the program code, etc. However, it is needless to say that a case where the functions of the above-described embodiment are realized by performing part or all of the actual processing.
[0102]
Further, after the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that the CPU or the like provided in the board or the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
[0103]
Although various examples and embodiments of the present invention have been described above, those skilled in the art will recognize that the spirit and scope of the present invention are not limited to the specific descriptions and drawings in this specification, It goes without saying that various modifications and changes, which are all described in the claims, can be covered.
[0154]
【The invention's effect】
As described above, according to the present invention, it is possible to effectively switch and display a real-time image from a controllable camera installed at a remote place, and to perform camera control.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an imaging system having a mobile information terminal device according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of a camera server device in an imaging system having a mobile information terminal device according to an embodiment of the present invention.
FIG. 3 is a diagram showing a screen display example of the mobile information terminal device according to the embodiment of the present invention.
FIG. 4 is a diagram showing a screen display example of the mobile information terminal device according to one embodiment of the present invention.
FIG. 5 is a flowchart showing a flow of a route setting process operation of the mobile information terminal device according to the embodiment of the present invention.
FIG. 6 is a flowchart showing a flow of display update processing operation of the mobile information terminal device according to the embodiment of the present invention.
FIG. 7 is a flowchart showing a flow of a camera server device search processing operation in an imaging system having a mobile information terminal device according to an embodiment of the present invention.
FIG. 8 is a flowchart showing a flow of a reservation processing operation of the mobile information terminal device according to one embodiment of the present invention.
FIG. 9 is a flowchart showing a flow of control right acquisition / display processing operation of the mobile information terminal device according to the embodiment of the present invention.
FIG. 10 is a flowchart showing a flow of control right reservation processing operation of the camera server device in the imaging system having the mobile information terminal device according to the embodiment of the present invention.
FIG. 11 is a flowchart showing a flow of control right acquisition / display processing operation of the camera server device in the imaging system having the mobile information terminal device according to the embodiment of the present invention;
FIG. 12 is a flowchart showing a flow of control right acquisition / display processing operation of the camera server device in the imaging system having the mobile information terminal device according to the embodiment of the present invention;
FIG. 13 is a diagram showing an example of a reservation list of a camera server device in an imaging system having a mobile information terminal device according to an embodiment of the present invention.
FIG. 14 is a diagram showing an example of a preset accumulated image list of a camera server device in an imaging system having a mobile information terminal device according to an embodiment of the present invention.
FIG. 15 is a flowchart showing a flow of an image transmission processing operation of the camera server device in the imaging system having the mobile information terminal device according to the embodiment of the present invention.
[Explanation of symbols]
101 Mobile information terminal device
102 Camera server device
103 Camera management unit
104 network
105 Current position detector
106 Route information setting management unit
107 Map information display section
108 Camera selection management unit
109 Camera control I / F (interface) section
110 Image display section
111 Communication control unit
301 ▲ mark
302 C
Column 303
Column 304
Column 305
401 Pop-up window
402 Operation User Interface
403 Pan operation
404 Tilt operation
405 Zoom operation

Claims

In the mobile information terminal device that displays the information of the travel route,
Position detection means for detecting the current position;
Setting means for setting a route from the detected current position to the destination;
Search means for searching for cameras in the vicinity of the set route;
Control means for requesting control of the searched camera with control values of pan, tilt, and zoom corresponding to the set traveling direction of the route;
A mobile information terminal device comprising: image display means for displaying an image transmitted from a camera controlled by the control means .

The mobile information terminal apparatus according to claim 1 , further comprising a control right reservation unit that reserves a control right of the camera searched by the search unit.

A communication method of a mobile information terminal device for displaying information of a travel route,
A position detection process for detecting the current position;
A setting step for setting a route from the detected current position to the destination;
A search step for searching for cameras near the set route;
A control step of requesting control of the searched camera with a control value of pan, tilt and zoom corresponding to the set traveling direction of the route;
Communication method characterized by having a <br/> a display step of displaying the image transmitted from the camera which is controlled in the control step.