以下、図面を参照して、本発明の実施形態を詳細に説明する。
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
図1は、本発明の実施形態に係る情報処理システムの構成を示す図である。
図1に示す101は、サーバであり、有線、又は無線のネットワーク108を介して、各監視カメラ104〜107と相互に通信可能に接続されている。
また、サーバ101は、無線のネットワークを介して携帯端末102、携帯端末102と相互に通信可能に接続されている。
サーバ101は、ネットワークに接続された監視カメラから当該監視カメラで撮影されたライブ映像(動画データ)を、当該ネットワークを介して受信し、携帯端末に送信する機能を有する。
また、サーバ101は、監視カメラから静止画データ(写真)を受信して、携帯端末に送信する機能を有する。
各監視カメラ104〜107は、ネットワーク108に接続可能な撮像装置(カメラ)である。各監視カメラは、動画、及び/又は静止画を撮影可能なカメラである。以下、動画、及び/又は静止画を映像データとも言う。
各監視カメラ104〜107は、撮影された映像のデータを、サーバ101に送信する機能を備えている。
また、各監視カメラのメモリには、図13に示す静止画録画条件が複数種類記憶されており、監視カメラで撮影された動画データ(動画の各フレーム画像のデータ)を解析して得られた結果が、当該静止画録画条件に合致するか否かを判定し、合致すると判定された場合に、静止画、及び静止画録画条件に合致した条件番号を監視カメラに送信する機能を備えている。
また、監視カメラ104〜107は、それぞれ、監視カメラ(個体)を識別するための識別情報としてIPアドレスや個体識別番号をメモリに記憶している。
携帯端末102は、ユーザ1が操作する携帯端末であり、携帯端末103は、ユーザ2が操作する携帯端末である。
携帯端末は、スマートフォンやタブレットPCなどの可搬可能な端末である。
以下、図2を用いて、図1に示したサーバ101、携帯端末102、103に適用可能な情報処理装置のハードウェア構成について説明する。
図2は、図1に示したサーバ101、携帯端末102、103に適用可能な情報処理装置のハードウェア構成を示すブロック図である。
図2において、201はCPUで、システムバス204に接続される各デバイスやコントローラを統括的に制御する。また、ROM203あるいは外部メモリ211には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、各サーバ或いは各PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
202はRAMで、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM203あるいは外部メモリ211からRAM202にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
また、205は入力コントローラで、キーボード(KB)や不図示のマウス等のポインティングデバイス等の入力装置209からの入力を制御する。206はビデオコントローラで、液晶ディスプレイ等のディスプレイ装置210への表示を制御する。なお、210のディスプレイ装置は、タッチパネルになっており、ディスプレイ上の画面を押下されることにより操作することが可能な入力装置としても機能する。
207はメモリコントローラで、ブートプログラム,各種のアプリケーション,フォントデータ,ユーザファイル,編集ファイル,各種データ等を記憶する外部記憶装置(ハードディスク(HD))や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ211へのアクセスを制御する。
208は通信I/Fコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。
なお、CPU201は、例えばRAM202内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ装置210上での表示を可能としている。また、CPU201は、ディスプレイ装置210上の不図示のマウスカーソル等でのユーザ指示を可能とする。
本発明を実現するための後述する各種プログラムは、外部メモリ211に記録されており、必要に応じてRAM202にロードされることによりCPU201によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ211に格納されており、これらについての詳細な説明も後述する。
<図17の説明>
図17は、本発明の実施形態に係るサーバ101と各監視カメラが実行する処理を示すシーケンス図である。
ステップS1701〜S1703に示す各ステップの処理は、監視カメラの外部メモリ211に記録されているプログラムによる制御に従って監視カメラのCPU201が実行する。
また、ステップS1704に示すステップの処理は、サーバ101の外部メモリ211に記録されているプログラムによる制御に従ってサーバ101のCPU201が実行する。
図17に示す処理は、常に、実行されている。
まず、各監視カメラは、ライブ映像を撮影し(1701)、当該撮影されたライブ映像(ライブ動画)のデータを構成する各フレームを解析し、その解析結果が、図13に示す静止画録画条件に合致するか否かを判定する(1702)。
図13は、静止画録画条件の一例を示す図である。
図13に示すように、静止画録画条件は、「ユーザ(人)の滞在が10秒以上である」、又は「映像の所定領域内にユーザ(人)を検出した」、又は「所定の動きを検出した」などの条件を含んでいる。また、図13のテーブルには、これらの静止画録画条件をそれぞれ識別する条件番号を、それぞれの静止画録画条件に対して記憶されている。
また、カメラは、静止画を録画する録画条件(静止画録画条件)と、サーバから、図18の携帯端末とは異なる送信先であって、表示情報を送信する情報処理装置を示す送信先の情報(送信先情報)とを対応付けて記憶している。ここで送信先とは、例えば、警察などの予め設定されたIPアドレスなどである。図13の録画条件(静止画録画条件)に対して、表示情報を例外的に送信する情報処理装置を示す送信先の情報(送信先情報)が記憶されているものとする。
監視カメラは、これらの条件にいずれかに合致すると判定された場合には、静止画を撮影し、撮影された静止画、及び合致すると判定された静止画録画条件に対して記憶されている条件番号をサーバ101に送信し(1703)、サーバ101は、当該静止画のデータ、及び当該条件番号を受信し、メモリに登録する(1704)。また、監視カメラは、図13に示す静止画録画条件に合致しないと判定された場合には、静止画を撮影することなく、引き続きライブ映像をサーバ101に送信する。また、監視カメラは、静止画を撮影する場合でも、引き続きライブ映像をサーバ101に送信する。
ここで送信される情報としては、録画された静止画と、当該静止画を録画した録画条件を示す情報(条件番号や静止画録画条件の内容そのもの)と、当該録画条件に対応して記憶された、送信先情報とを含む。
1704では、サーバ101は、図22に示す配信管理テーブルに、受信した静止画のデータ、及び当該条件番号を登録する。
ステップS1704は、本発明の受信手段の適用例であり、監視カメラ(単にカメラとも言う)から送信された静止画と、当該静止画を録画した録画条件を示す情報と、当該録画条件に対応して記憶された送信先情報とを受信する。
このとき、サーバは、送信先情報が含まれている場合には、当該送信先情報に示される情報処理装置に、当該受信した静止画を送信する。
そのため、受信した静止画が、警察などの外部のユーザに通知する必要のある静止画である場合には、自動的に、警察などの当該送信先に静止画を送信するので、非常時に迅速に対応しやすくなる。
図22は、配信管理テーブルの一例を示す図である。
例えば、図22の(A)の例では、撮影時間10時22分00秒から10時23分00秒までの間に撮影された静止画データが102200.jpeg、102205.jpeg、・・・として登録されている。また、合致した静止画録画条件の条件番号が1と登録されている。
図22に示す配信管理テーブルは、各監視カメラごとのテーブルとして、サーバ101のメモリに格納されている。
図22に示す配信管理テーブルは、「撮影時間」、「静止画データ」、「静止画配信先」、「動画配信先」がそれぞれ関連付けられて登録されている。
「撮影時間」は静止画が撮影された時間が記録され、「静止画データ」には当該静止画のデータが記憶され、「静止画配信先」には、当該静止画データを送信した携帯端末を操作しているユーザを示し、「動画配信先」は、当該撮影時間に撮影した動画データを送信した携帯端末を操作しているユーザを示している。
すなわち、図22は、カメラにより撮影されたライブ動画、又は静止画を携帯端末(情報処理装置)に表示するべく送信した送信履歴の適用例である。この送信履歴には、他の情報処理装置への送信履歴を含んでいる。
<図18の説明>
次に、図18を用いて、各携帯端末とサーバ101と各監視カメラとが実行する処理を示すシーケンス図である。
図18は、各携帯端末とサーバ101と各監視カメラとが実行する処理を示すシーケンス図の一例を示す図である。
まず、ユーザによる操作に従って携帯端末は、サーバ101に認証画面の取得要求を送信する(1801)。そして、サーバ101は、当該取得要求を取得すると、ユーザの認証画面を携帯端末に送信する(1802)。
そして、携帯端末は、ユーザの操作によるユーザID、パスワード(認証情報)の入力を受け付け、当該受け付けたユーザID、パスワードをサーバ101に送信して、携帯端末を操作しているユーザの認証要求を行う(1803)。
サーバ101は、携帯端末からユーザID、パスワードを受信すると、当該ユーザID、パスワードに従って、ユーザの認証処理を行う(1804)。
そして、ユーザの認証処理が成功すると、図15に示す設定画面を携帯端末に送信する。
図15は、設定画面の一例を示す図である。
図15に示す設定画面は、1501で、後述するタイムラインを表示するか否かの設定(タイムラインの表示の要否)、及び、1つのタイムラインの中で複数の縮尺で表示するか否かの設定(タイムライン縮尺表示)、1つのタイムラインの中で複数の縮尺で表示する場合に、その縮尺のタイムラインの長さをどれくらいにするかの設定を受け付けることができる。
図15の例では、タイムラインを表示する、1つのタイムラインの中で複数の縮尺で表示する、短い縮尺で表示するタイムラインの長さを、全体のタイムラインの長さの1/3の長さにすることが設定されている。
そして、ユーザにより設定ボタン1502が押下されたことを携帯端末102が検出すると、携帯端末102は、当該設定された内容のデータをサーバ101に送信する(1806)。
そして、サーバ101は、当該設定された内容のデータを携帯端末から受信すると、その内容のデータをメモリに記憶して、以降の処理で用いる。
次に、サーバ101は、不図示の監視カメラ選択画面を携帯端末に送信する(1807)。
そして、携帯端末は、当該監視カメラ選択画面を介して監視カメラのユーザによる選択を受け付け、当該選択された監視カメラからのライブ映像の取得要求を、サーバ101に送信する(1808)。
サーバ101は、当該ライブ映像の取得要求を、携帯端末から受信すると、当該選択された監視カメラに対して、ライブ映像の取得要求を送信する(1809)。ここで送信される取得要求のデータの中には、1808でサーバ101にライブ映像の取得要求を行った携帯端末を識別するための情報(例えば、IPアドレス)が含まれている。
そして、当該監視カメラは、1808でサーバ101にライブ映像の取得要求を行った携帯端末を識別するための情報に従って、1808でサーバ101にライブ映像の取得要求を行った携帯端末に対して、撮影しているライブ映像のデータ(動画)を送信する(1812)。
また、サーバ101は、携帯端末から、当該選択された監視カメラからのライブ映像の取得要求を受信すると、ライブ映像を表示するための表示画面を生成して(1810)、当該携帯端末に送信する(1811)。
ここで送信される表示画面は、例えば、図3の(A)、図16の(A)に示す画面である。
図3は、図15の設定画面でタイムラインを表示すると設定された場合に、携帯端末の表示部に表示される表示画面の一例を示す図である。
図16は、図15の設定画面でタイムラインを表示しないと設定された場合に、携帯端末の表示部に表示される表示画面の一例を示す図である。
ここでは、まず、図3の(A)が表示された場合について、説明する。
図3の(A)に示す301は、ライブ映像(ライブ動画)が表示されている表示領域である。
また、302は、タイムラインを示し、「LIVE」303は、現在のライブ動画を表示することを示している。また、矢印306を表示している。
図3の(A)に示すように、タイムラインは、現在(LIVE)が10時30分であり、10時24分前までの時間軸を示している。そして、305は、静止画が撮影された時間帯であることを示している。図3の(A)の例では、10時27分〜28分の間で静止画が撮影されていることを示している。また、10時27分〜28分の間で静止画を録画する条件(静止画録画条件)の条件番号が1であることを表示している。305以外の領域304は、静止画が撮影されていないことを示している。本実施形態では、静止画を録画する条件を示す内容として、条件番号を表示することとしているが、条件番号に代えて、静止画録画条件の内容を表示してもよい。
このように静止画が撮影されている時間帯と、撮影されていない時間帯とを識別表示する。
また、どのような静止画録画条件により静止画が録画されているのかを示す情報を表示する。
タイムライン302は、時間が経過すると共に、下方向に自動的にスクロール表示される。
例えば、図3の(A)が表示された時点から1分が経過すると、図3の(B)のようにタイムラインが1分経過してスクロール表示される。そして、更に、例えば3分経過すると、図3の(C)のように、さらに3分が経過したタイムラインとしてスクロール表示される。
また、図3に示す矢印306は、図4に示すように、タイムラインにそって、ユーザの操作により、下方向に移動させることが可能である。
図4は、図15の設定画面でタイムラインを表示すると設定された場合に、携帯端末の表示部に表示される表示画面の一例を示す図である。
図4の(A)は、図3の(A)と同じ図であり、図4(A)の矢印306を、図4(A)の点線矢印のように、下方向に移動させると、図4(B)のように静止画が撮影されている領域にあわせることができる。
このように、矢印306を、図4(B)のように静止画が撮影されている領域にあわせると、携帯端末は、当該矢印で示される時間に撮影された静止画(サムネイル)のデータの送信要求を、サーバ101に対して行い、サーバ101から送信された当該静止画(サムネイル)のデータを受信して図4の(B)の301のように301に表示する。
図21は、ユーザの操作に従って、前記タイムラインにより静止画が撮影された時間が識別表示された表示領域に対して、当該時間に撮影された静止画の表示指示を受け付ける受付手段であり、この構成は、サーバ101が備えることができる。
そして、携帯端末は、図4の(B)の静止画(サムネイル)の一覧の中から、ユーザにより1つのサムネイルの選択を受け付けると、図4の(C)のように、当該選択されたサムネイルに対応するオリジナル画像を表示することができる。
図18の1813では、携帯端末は、矢印306を領域305にあわせることで、矢印306が示す時間帯の静止画(サムネイル)の一覧画面の表示要求を、サーバ101に送信し(1813)、サーバ101は、当該要求に従って、静止画(サムネイル)の一覧画面(例えば図4の(B)の301)を含む表示画面(図4の(B))を生成して(1814)、当該携帯端末に送信する(1815)。
携帯端末は、当該静止画(サムネイル)の一覧画面(例えば図4の(B)の301)を含む表示画面(図4の(B))を、受信すると、当該画面を表示する。
1813から1815の処理を図21を用いて、後で説明する。
図21は、図18の1813から1815の携帯端末のCPUが実行する詳細処理を示すフローチャートの一例を示す図である。
また、図18の1808から1815のサーバ101のCPUが実行する詳細処理を、図19を用いて、後で説明する。
図19は、図18の1808から1815のサーバ101のCPUが実行する詳細処理を示すフローチャートの一例を示す図である。
次に、携帯端末は、ライブ映像の送信停止要求をユーザにより受け付け、当該ユーザにより受け付けたライブ映像の送信停止要求をサーバ101に送信する(1816)。
そして、サーバ101は、当該ライブ映像の送信停止要求を携帯端末から受信すると、当該携帯端末に対してライブ映像の配信を行っている監視カメラに対して、当該ライブ映像の送信停止要求を送信する(1817)。
そして、監視カメラは、当該ライブ映像の送信停止要求を受信すると、当該携帯端末に対して送信しているライブ映像の配信を停止する。
<図19の説明>
次に、図19を用いて、図18の1808から1815のサーバ101のCPUが実行する詳細処理を説明する。
ステップS1901〜S1918に示す各ステップの処理は、サーバ101の外部メモリ211に記録されているプログラムによる制御に従ってサーバ101のCPU201が実行する。
まず、サーバ101は、携帯端末から、ライブ映像の取得要求を受け付けたか否かを判定し(ステップS1901)、当該取得要求を受け付けた場合には(YES)、ライブ映像を表示するための表示画面を生成し、当該携帯端末に送信する(ステップS1902)。
ステップS1902、後述するステップS1909に示す処理の詳細処理は、後で図20を用いて説明する。
ステップS1902で携帯端末に送信され携帯端末に表示された表示画面内に、監視カメラから携帯端末に送信されるライブ動画が表示される。
そして、サーバ101は、監視カメラ選択画面を介して選択された監視カメラへのライブ映像の配信要求を送信し(ステップS1903)、当該監視カメラは、当該配信要求をサーバ101から受信すると、当該携帯端末に対してライブ映像を配信する。
そして、サーバ101は、監視カメラから携帯端末にライブ動画が送信されている間に、静止画を当該監視カメラから受信した場合には、メモリに記憶されている配信管理テーブルの、当該受信した静止画のデータ(静止画データ)に関連付けられた「動画配信先」に、1804で認証されたユーザのユーザID(ここでは、ユーザ1)を登録し(ステップS1904)、処理をステップS1905に移行する。
ステップS1901で、携帯端末から、ライブ映像の取得要求を受け付けていないと判定された場合には(NO)、処理をステップS1905に移行する。
次に、サーバ101は、携帯端末から、ライブ映像の送信停止要求を受け付けたか否かを判定し(ステップS1905)、当該要求を受け付けたと判定された場合には(YES)、当該監視カメラに対して、ライブ映像の送信(配信)停止要求を送信する(ステップS1906)。また、携帯端末から、ライブ映像の送信停止要求を受け付けていないと判定された場合には(ステップS1905:NO)、処理をステップS1907に移行する。
また、サーバ101は、携帯端末から静止画(サムネイル)の表示要求を受け付けたか否かを判定し(ステップS1907)、当該要求を受け付けた場合には、当該要求に含まれる撮影時間に撮影された静止画データを配信管理テーブル(図22)から特定して、当該静止画データに関連付けられた「静止画配信先」(図22)に、1804で認証されたユーザのユーザID(ここでは例えばユーザ1)を登録する。
そして、サーバ101は、図20に示す表示画面生成・送信処理を実行して(ステップS1909)、携帯端末から受け付けた表示要求に含まれる撮影時間に撮影された静止画データを配信管理テーブル(図22)から特定して、当該特定された静止画データのサムネイルの画像を当該携帯端末に送信し(ステップS1910)、処理をステップS1911に移行する。これにより、携帯端末では、例えば、図4の(B)の画面が表示されることとなる。
また、サーバ101は、携帯端末から静止画(サムネイル)の表示要求を受け付けていないと判定された場合には(ステップS1907:NO)、処理をステップS1911に移行する。
次に、サーバ101は、ユーザにより、携帯端末に表示された静止画(サムネイル)の一覧の中から1つのサムネイルが選択され、当該携帯端末から、当該選択されたサムネイルのオリジナルの静止画の表示要求を受信したか否かを判定し(ステップS1911)、当該要求を受け付けた場合には、当該表示要求に含まれる撮影時間の静止画データを当該携帯端末に送信する(ステップS1912)。
ステップS1912は、受付手段により表示指示を受け付けた静止画を、表示画面に含まれる、ライブ動画を表示する表示領域に表示するべく送信する送信手段の適用例である。
これにより、携帯端末の表示部には、例えば、図4の(C)の画面が表示される。
図4の(C)は、図4の(B)の10時27分00秒のサムネイルが選択され、当該選択されたサムネイルのオリジナルの静止画データが表示された表示画面の一例を示す図である。
次に、サーバ101は、携帯端末から、画像検索条件入力画面の表示要求を受け付けたか否かを判定する(ステップS1913)。
サーバ101は、図15に示す設定画面で「タイムラインの表示要否」で「しない」が選択された場合、タイムラインの表示を行わない例えば、図16の(A)の画面を携帯端末に送信して携帯端末に表示させる。
携帯端末は、図16の(A)の静止画表示ボタン1601がユーザにより押下されると、画像検索条件入力画面(図16の(B))の表示要求をサーバ101に送信する。
ステップS1913では、この画像検索条件入力画面(図16の(B))の表示要求を携帯端末から受け付けたか否かを判定する。
ここで、この画像検索条件入力画面(図16の(B))の表示要求を携帯端末から受け付けたと判定された場合には、画像検索条件入力画面(図16の(B))を当該携帯端末に送信して(ステップS1914)、処理をステップS1915に移行する。
そして、携帯端末は、画像検索条件入力画面(図16の(B))を表示し、画像検索条件記入欄1602に画像検索条件として撮影時間の入力を受け付け、当該受け付けた撮影時間をサーバに送信する。
そして、サーバ101は、当該画像検索条件としての撮影時間を、携帯端末から受信したか否かを判定し(ステップS1915)、当該画像検索条件としての撮影時間を、携帯端末から受信したと判定した場合には(YES)、当該撮影時間に撮影された静止画(サムネイル)を配信管理テーブルから検索して特定し(ステップS1916)、当該特定された静止画に対応する「静止画配信先」に1804で認証されたユーザのユーザIDを登録し(ステップS1917)、ステップS1916で特定された静止画を当該携帯端末に送信する(ステップS1918)。
そして、サーバは、処理をステップS1901に戻す。
<図20の説明>
次に、図19のステップS1902、S1909、図18の1810、1814に示す処理の詳細処理を、図20を用いて説明する。
図20は、図19のステップS1902、S1909、図18の1810、1814に示す処理の詳細処理を示すフローチャートである。
ステップS2001〜S2011に示す各ステップの処理は、サーバ101の外部メモリ211に記録されているプログラムによる制御に従ってサーバ101のCPU201が実行する。
図20に示すステップS2002からステップS2011までの処理は、所定時間(例えば1秒)ごとに、繰り返し常時実行される。すなわち、ステップS2002からステップS2011までの処理は、カメラにより撮影されたライブ動画を表示する表示領域(301)と、カメラにより静止画が撮影された時間を識別表示するタイムラインの表示領域(303)とを含む表示画面(201)を時間の経過に従って生成する生成手段の適用例である。そして、この生成手段は、時間の経過に従って過去の時間軸方向に移動したタイムラインの表示領域であって、ステップS2002、S2003の判定手段による判定結果に従って、情報処理装置に送信済みのライブ動画、又は静止画と、情報処理装置に未送信のライブ動画、又は静止画とを識別可能に表示するタイムラインの表示領域を含む表示画面を生成する。また、ステップS2002、S2003の判定手段は、当該他の情報処理装置に、監視カメラにより撮影された動画、又は静止画を送信したか否かを判定する。また、この生成手段は、判定手段による判定結果に従って、情報処理装置に送信済みのライブ動画、又は静止画と、情報処理装置に未送信のライブ動画、又は静止画と、他の情報処理装置に送信済みのライブ動画、又は静止画と、をそれぞれ識別可能に表示するタイムラインの表示領域を含む表示画面を生成する。
まず、サーバ101は、携帯端末から、図15の設定画面でタイムラインを表示するか否かを示す設定情報を受け付けたか否かを判定する(ステップS2001)。
そして、図15の設定画面でタイムラインを表示しない設定情報を受け付けた場合には(NO)、タイムライン無しの表示画面(例えば、図16の(A))を生成して(ステップS2010)、携帯端末に送信する(ステップS2011)。ステップS2011は、生成手段により表示された表示画面を情報処理装置に表示するべく送信する送信手段の適用例である。
一方、図15の設定画面でタイムラインを表示する設定情報を受け付けた場合には(YES)、ステップS2002からステップS2005までの処理を、配信管理テーブルの各レコードに対してそれぞれ実行する。
まず、サーバ101は、配信管理テーブルの1レコードを取得して、当該レコードに格納されている静止画配信先、動画配信先のユーザを特定し、当該特定されたそれぞれのユーザが、1804で認証された現在ログインしているユーザであるかを判定する。
すなわち、現在ログインしているユーザが、静止画配信先、動画配信先のユーザに含まれているか否かを判定する。
そして、その判定結果と、図14に示す表示条件テーブルとから、現在処理対象のレコードの撮影時間のタイムライン内の表示色を決定する。
図14は、表示条件テーブルの一例を示す図である。
図14に示すように、「ライブ動画表示済」、「静止画表示済」、「表示色」の項目から構成されており、「ライブ動画表示済」が○はライブ動画を表示済みであることを示し、「ライブ動画表示済」が×はライブ動画を表示していないことを示す。また、「静止画表示済」が○は静止画を表示済みであることを示し、「静止画表示済」が×は静止画を表示していないことを示す。また、「表示色」は、タイムラインに表示する色を示す。
すなわち、ライブ動画も静止画も表示していない場合には、その静止画のタイムラインを赤色で表示し(例えば、図5の(A)の501)、ライブ動画は表示していないが、静止画は表示している場合には、その静止画のタイムラインを青色で表示する(例えば、図5の(A)の502)ことを示し、ライブ動画は表示しているが、静止画は表示していない場合にはその静止画のタイムラインを黄色で表示する(例えば、図5の(A)の503)ことを示し、ライブ動画も静止画も表示している場合には、その静止画のタイムラインを緑色で表示する(例えば、図5の(A)の504)ことを示す。
サーバは、ステップS2002で、現在ログインしているユーザが、静止画配信先、動画配信先のユーザに含まれているか否かを判定し、その判定結果と、図14のテーブルから、現在処理対象の撮影時間の静止画のタイムラインを何色で表示するかを決定する(ステップS2003)。
すなわち、ステップS2002は、図22に示す送信履歴に従って、携帯端末(情報処理装置)に、監視カメラにより撮影された動画、又は静止画を送信したか否かを判定する判定手段の適用例である。
例えば、図22の(A)の配信管理テーブルの場合、図5の(A)のタイムラインのように表示される。
すなわち、サーバ101は、ライブ動画も静止画も表示していない撮影時間のタイムラインと、ライブ動画は表示していないが、静止画は表示している撮影時間のタイムラインと、ライブ動画は表示しているが、静止画は表示していない撮影時間のタイムラインと、ライブ動画も静止画も表示している撮影時間のタイムラインと、をそれぞれ識別可能に、表示する表示画面をステップS2008、ステップS2009で生成する。さらに、テップS2008、ステップS2009では、サーバ101は、配信管理テーブル内の各静止画が録画された静止画録画条件を示す「条件番号」も、静止画が録画されているタイムライン内に表示する表示画面を生成する。これにより、ユーザは、どのような条件で録画されたのかを把握することができ、どの静止画を優先的に確認するべきかを把握することができる。
次に、サーバ101は、監視カメラがライブ映像を携帯端末に配信している間に、1703で当該監視カメラから送信された静止画を受信したか否かを判定する(ステップS2004)。
そして、監視カメラがライブ映像を携帯端末に配信している間に、1703で当該監視カメラから送信された静止画を受信したと判定された場合には、図9の(B)の303に示すように、タイムラインの「LIVE」のオブジェクトを点滅表示させて、現在配信中のライブ映像が、図13の静止画録画条件に合致して、静止画をサーバに登録していることをユーザに通知する。
また、このときも、この静止画が録画された静止画録画条件を示す「条件番号」を、タイムラインの「LIVE」のオブジェクト内に表示する情報を通知する。
これにより、ユーザは、サムネイルを表示している間に、表示されていない現在配信中のライブ映像が図13のどのような静止画録画条件に合致して、静止画をサーバに登録していることを、ユーザは把握することができ、緊急で静止画を画像確認しなければならない場合でも迅速に対応することが可能となる。
次に、サーバ101は、図22の(A)に示す配信管理テーブルの各レコードに対して、ステップS2002からステップS2005の処理を実行したか否かを判定し、実行していないと判定された場合には(NO)、次のレコードを処理対象にして処理をステップS2002に戻す。
また、配信管理テーブルの各レコードに対して、ステップS2002からステップS2005の処理を実行したと判定された場合には(YES)、タイムラインの縮尺表示を行うか否かを判定する(ステップS2007)。
具体的には、サーバ101は、図15に示す設定画面の「タイムライン縮尺表示」に「する」が設定されたか、「しない」に設定されたかを判定する。
「タイムライン縮尺表示」に「する」が設定された場合には(YES)、タイムライン縮尺表示画面を生成する(ステップS2009)。一方、「タイムライン縮尺表示」に「しない」に設定された場合には(NO)、タイムライン表示画面を生成する(ステップS2008)。
ステップS2009で生成されるタイムライン縮尺表示画面は、例えば、図10の(A)に示す表示画面であって、1つのタイムラインの縮尺が途中で異なる表示となっている。
図10の(A)に示すタイムライン302は、10時29分00秒から10時25分00秒までは、所定の距離に対して1分間の間隔で表示されており、10時25分00秒から10時16分00秒までは、当該所定の距離に対して3分の間隔で表示されている。
そのため、より長くの時間のうち、いつの時間の静止画があるのかを確認でき、より全体を確認し易くなると共に、直近の静止画については、より細かい確認が可能となる。
また、図15の1501で縮尺タイムラインの長さを1/3と設定した場合、図10に示すように、タイムラインの長さの1/3を、10時25分00秒から10時16分00秒までは、当該所定の距離に対して3分の間隔で表示することができるようになる。
このように、図15の1501で縮尺タイムラインの長さを柔軟に変更することが可能となる。
例えば、図10の画面を生成するステップは、時間の経過に従って過去の時間軸方向に移動した前記タイムラインの表示領域であって、現在から所定距離の縮尺と、当該所定距離からの縮尺とが異なるタイムラインの表示領域を含む表示画面を生成する生成手段の適用例である。
次に、サーバ101は、ステップS2008では、例えば、図3に示す縮尺が途中から変わっていない表示画面を生成する。
そして、サーバ101は、ステップS2008、又は、ステップS2009、又はステップS2010で生成された表示画面を携帯端末に送信して、処理を戻す。
次に、図21を用いて、図18の1813から1815の携帯端末のCPUが実行する詳細処理について説明する。
図21は、図18の1813から1815の携帯端末のCPUが実行する詳細処理を示すフローチャートの一例を示す図である。
まず、ステップS2101では、図4の(A)の表示画面が携帯端末に表示されている場合を例に説明する。
携帯端末は、ユーザにより、図4の(A)の点線矢印のように、矢印306の移動を受け付けたか否かを判定し(S2101)、当該移動の指示を受け付けた場合には(YES)、当該移動の指示に従って、矢印306を移動する(ステップS2102)。
そして、携帯端末は、ステップS2102で移動された矢印306に示される静止画の表示要求(矢印306に示される静止画の撮影時間を含む)をサーバ101に送信する(ステップS2103)。
そして、サーバ101は、当該静止画の表示要求(矢印306に示される静止画の撮影時間を含む)に含まれる撮影時間に紐付いて配信管理テーブルに登録されている静止画(サムネイル)を携帯端末に送信する。
そして、携帯端末は、当該送信された静止画(サムネイル)の一覧を受信して、携帯端末に表示する(例えば、図4の(B))(ステップS2108)。
また、携帯端末は、ステップS2101で、矢印306の移動を受け付けていないと判定された場合には(NO)、ユーザによるタイムラインのスクロールを受け付けたか否かを判定する(ステップS2104)。
携帯端末は、ユーザによるタイムラインのスクロールを受け付けた場合には(YES)、当該タイムラインのスクロール表示を行う(ステップS2105)。そして、処理をステップS2103に移行する。
例えば、図11の(A)に示すタイムラインを、図11の(A)の点線矢印のように、上方向にスクロール操作を行うと、図11の(B)のようにタイムラインがスクロール表示される。
これにより、過去の静止画像を指定しやすくことができる。
次に、携帯端末は、タイムラインのスクロールを受け付けていないで、静止画(サムネイル)のスクロール表示指示をユーザにより受け付けたか否かを判定する(ステップS2106)。
そして、携帯端末は、静止画(サムネイル)のスクロール表示指示をユーザにより受け付けた場合には(YES)、当該静止画(サムネイル)をスクロールして表示し、そのスクロールに同期して、タイムラインをスクロールさせる。
これにより、確認したい静止画のスクロールを行いながら、タイムラインもスクロールされるため、静止画の確認作業に係るユーザによる操作性が向上する。
このように、本情報処理ステムは、上述の処理を実行するため、例えば、以下のような処理を実現することができる。
図3〜図12、図15、図16は、携帯端末の表示部に表示される表示画面の一例を示す図である。
図3(A)は、矢印306がLIVEを指しているため、ライブ動画が表示部である301に表示さていることを示している。そして、時間が経過すると共に、タイムラインが図3の(B)、(C)の点線矢印の方向に移動する。
また、図4(A)は、矢印306がLIVEを指しているため、ライブ動画が表示部である301に表示さていることを示している。
そして、携帯端末は、ユーザの、矢印306を下側に移動させる指示(図4の(B)の点線矢印の方向に移動させる指示)を受け付けると、矢印306を静止画のある時間帯に移動させ、その矢印が指し示している時間帯の静止画の取得要求(矢印が指し示す静止画の撮影時間を含む)をサーバ101に対して、携帯端末が行う。これにより、携帯端末は、サーバから当該矢印が指し示す撮影時間の静止画を受信して、図4の(B)の301のように、静止画像を表示する。
そして、例えば、携帯端末は、10時27分10秒の静止画像がユーザにより選択されると、当該静止画像のオリジナル画像をサーバから受信して、図4の(C)のように、拡大表示することができる。
また、図5は、ライブ動画も静止画も表示していない撮影時間のタイムライン(501)と、ライブ動画は表示していないが、静止画は表示している撮影時間のタイムライン(502)と、ライブ動画は表示しているが、静止画は表示していない撮影時間のタイムライン(503)と、ライブ動画も静止画も表示している撮影時間のタイムライン(504)と、をそれぞれ色で識別可能に表示した表示画面である。
また、図5は、タイムライン(501)内には、静止画録画条件を示す条件番号1を表示し、
と、タイムライン(502)内には、静止画録画条件を示す条件番号2表示し、と、タイムライン(503)内には、静止画録画条件を示す条件番号3表示し、タイムライン(504)内には、静止画録画条件を示す条件番号4表示している。
このように、図5(図6から図10も同様)は、録画されている静止画のタイムライン毎に、どのような条件で録画されているのかを示す情報を表示するため、ユーザは、どの静止画を優先的に確認しなければならないかを確認できる。
そして、矢印306を501の時間帯にあわせることで、501の時間帯の静止画の一覧を表示できる。そして、図5の(B)で501の時間帯の静止画を表示したため、図5の(B)の501は、501の色が赤色から黄色に変化したことを示している。
また、図6も同様に、ライブ動画も静止画も表示していない撮影時間のタイムライン(501)と、ライブ動画は表示していないが、静止画は表示している撮影時間のタイムライン(502)と、ライブ動画は表示しているが、静止画は表示していない撮影時間のタイムライン(503)と、ライブ動画も静止画も表示している撮影時間のタイムライン(504)と、をそれぞれ色で識別可能に表示した表示画面である。
そして、矢印306を502の時間帯にあわせることで、502の時間帯の静止画の一覧を表示できる。そして、図6の(B)で502の時間帯の静止画を表示したため、図5の(B)の502は、502の色が青色から緑色に変化したことを示している。
このように、どの映像は、全く確認していないか、動画は確認したか、静止画は確認したか、どちらも確認したかを、ユーザは確認できるようになり、どの時間帯の動画を確認すればよいかを把握し易くなる。
また、図7の例では、現在ログインしているユーザ以外の他のユーザ(例えばユーザ2)が静止画を確認した場合には、その確認した静止画の時間帯(タイムライン)に、星印をつけることで、他のユーザが静止画を確認したかを、ユーザが確認できる。
例えば、ユーザ1の上長がユーザ2である場合、上長が確認したことが分かるため、ユーザ1が優先して確認しなければならない画像を把握することをユーザ1はし易くなる。
これは、サーバ101が、例えば、配信管理テーブルが図22の(B)の場合、図20のS2002で処理対象のレコード(図22の(B))の静止画配信先のユーザと、動画配信先のユーザが特定され、ユーザ1がログイン中のユーザである場合、ユーザ2(他のユーザ)がどの静止画を確認しているかを特定でき、当該ユーザ2(他のユーザ)が確認した静止画の時間帯のタイムラインに星印を付けることをステップS2003で決定することで実現される。
また、図8の例では、現在ログインしているユーザ以外の他のユーザ(例えばユーザ2)が静止画が記録された時間帯のライブ動画を確認した場合には、その確認したライブ動画の時間帯(タイムライン)に、三角マークをつけることで、他のユーザがそのライブ動画を確認したかを、ユーザが確認できる。
例えば、ユーザ1の上長がユーザ2である場合、上長が確認したことが分かるため、ユーザ1が優先して確認しなければならない画像を把握することをユーザ1はし易くなる。
これは、サーバ101が、例えば、配信管理テーブルが図22の(C)の場合、図20のS2002で処理対象のレコード(図22の(C))の静止画配信先のユーザと、動画配信先のユーザが特定され、ユーザ1がログイン中のユーザである場合、ユーザ2(他のユーザ)がどのライブ動画を確認しているかを特定でき、当該ユーザ2(他のユーザ)が確認したライブ動画の時間帯のタイムラインに三角マークを付けることをステップS2003で決定することで実現される。
図9(B)は、図9(A)のように、矢印306が指し示す時間帯502の静止画を表示部である301に表示している間に、ライブ動画が図13の静止画録画条件に合致した場合に、ライブ動画の位置を示す「LIVE」のオブジェクト303が点滅表示(ライブ動画が図13の静止画録画条件に合致していることを識別表示)することを表した図である。
図10(A)(B)は、1つのタイムラインの中に、縮尺の異なるタイムラインが入った例を示している。
この場合も、図10の(A)から図10の(B)のように、時間の経過と共に、タイムラインが図10の(B)の点線矢印の方向に自動的に移動して表示することを示している。
また、図11は、図11の(A)に示すタイムラインを、ユーザが、図11の(A)の点線矢印方向に(上方向に)スクロール操作を行うと、図11の(B)のようにタイムラインがスクロール表示されることを示している。
また、図12は、図12の(B)(図11の(B)と同じ図)の矢印306をユーザ操作により時間帯2002を指すように移動することで、図12の(C)の静止画を表示する領域である301に2002の時間帯に撮影された静止画が表示されることを示している。そして、図12(C)の301に表示された静止画を、図12(C)の点線矢印の方向に、ユーザの操作によりスクロール指示した場合には、それに連動して、タイムラインが図12の(D)の点線矢印の方向にスクロールすることを示している。このとき、矢印306は動かないため、図12(C)の301に表示された静止画をスクロール指示することで、1つ前に撮影された静止画(2004の時間帯の静止画)を301に表示することが可能となっている。
また、図21に示す処理は、携帯端末で実行することを説明したが、この処理をサーバ101で実行するようにすることもできる。
例えば、携帯端末に対して、ユーザが、ステップS2101、ステップS2104、ステップS2106のいずれかの操作を行うことにより、携帯端末が、その操作内容をサーバ101に送信して、サーバ101が、ステップS2101、ステップS2104、ステップS2106の処理を行い生成した表示画面を携帯端末に送信して、当該携帯端末が当該表示画面を表示するようにすることができる。
以上、本発明によれば、リアルタイムにライブ映像を確認でき、ライブ映像を記憶するサーバのメモリの使用量を削減し、静止画を録画した録画条件を示す情報とタイムラインを確認することでユーザが確認すべき静止画を特定し易くすることが出来る。
また、本発明によれば、全体のタイムラインを確認し易くすると共に、現在に近い時間のタイムラインをより詳しく確認することができる。
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のカード、ROM等を用いることができる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このプログラムコードを読み出し実行可能な情報処理装置(コンピュータ)が前述した実施形態の機能を実現する。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。