JP6137102B2 - 情報処理装置、及びその制御方法、プログラム - Google Patents

情報処理装置、及びその制御方法、プログラム Download PDF

Info

Publication number
JP6137102B2
JP6137102B2 JP2014200381A JP2014200381A JP6137102B2 JP 6137102 B2 JP6137102 B2 JP 6137102B2 JP 2014200381 A JP2014200381 A JP 2014200381A JP 2014200381 A JP2014200381 A JP 2014200381A JP 6137102 B2 JP6137102 B2 JP 6137102B2
Authority
JP
Japan
Prior art keywords
still image
camera
display
result
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014200381A
Other languages
English (en)
Other versions
JP2016027682A (ja
Inventor
武 上總
武 上總
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Priority to JP2014200381A priority Critical patent/JP6137102B2/ja
Publication of JP2016027682A publication Critical patent/JP2016027682A/ja
Application granted granted Critical
Publication of JP6137102B2 publication Critical patent/JP6137102B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Description

本発明は、情報処理装置、及びその制御方法、プログラムに関し、特に、止画を取得した時間帯を識別可能に表示するタイムラインを表示し、当該時間帯に対するユーザによる指示を受け付けた場合に、当該時間帯に取得した止画表示してユーザが確認すべき映像を特定し易くするための技術に関するものである。
近年、監視カメラをインターネット回線に接続し、当該監視カメラにより撮影されたライブ映像をスマートフォンや携帯電話などの携帯端末にて閲覧できるサービスが提供されている。
特許文献1には、例えば、監視カメラで撮影した映像をリアルタイムでユーザに提供することが記載されている。
特開2005−80156号公報
例えば、従来、何か事件が起きた場合、リアルタイムにその事件を確認するために、監視カメラで撮影されたライブ動画をリアルタイムに確認するサービスが提供されている。また、その事件を解決するための手がかりを得るために、監視カメラで撮影されたライブ動画を全てサーバに記録しておき後で確認することが考えられる。
しかしながら、ライブ動画を全てサーバに記録すると、サーバのメモリの使用量が莫大となってしまい、コストが多くかかってしまう。
そのため、ある条件に合致した場合にのみサーバにライブ動画を記録し、当該記録されたライブ動画を、後で確認することも考えられるが、じっくりと詳細に確認したい場合には、静止画の方が好ましい場合もある。
そこで、リアルタイムにライブ動画を確認すると共に、何か事件が起きたときには、そのときの静止画を確認することが考えられる。
しかしながら、静止画を表示するためには、当該静止画を検索するための検索条件を入力したり、確認したい静止画の絞込みを行わなければならず、煩雑な作業が必要であった。
そのため、サーバのメモリを効率的に使用するために、ある条件に合致した場合にのみサーバに静止画を記憶させる仕組みにおいて、リアルタイムにライブ映像を確認でき、ユーザが確認すべき静止画を特定し易くする仕組みが必要である。
そこで、ライブ動画(ライブ映像とも言う)と、ユーザが確認すべき静止画を示すタイムラインとを同一画面に表示することが考えられるが、そのタイムラインは、時間の経過ともに移動してしまうものであるため、静止画を確認している間にも、確認すべき他の静止画が新たに発生してしまうおそれがある。
その場合、どの時間帯の静止画は確認済みで、どの静止画はライブ映像で確認出来ているのかが分からなくなってしまい、ユーザは、優先して確認すべき静止画を把握し難くなってしまう。すなわち、静止画の見逃しが発生してしまうおそれがある。
そこで、本発明の目的は、止画を取得した時間帯を識別可能に表示するタイムラインを表示し、当該時間帯に対するユーザによる指示を受け付けた場合に、当該時間帯に取得した止画表示してユーザが確認すべき映像を特定し易くするための仕組みを提供することである。
本発明は、カメラによる撮影結果の静止画を表示する情報処理装置であって、前記カメラによる撮像結果として複数の静止画を取得した時間帯と、前記カメラによる撮像結果として静止画を取得していない時間帯とをそれぞれ識別可能に表示するタイムラインと、前記静止画を表示する表示領域とを表示するように制御する表示制御手段と、前記表示制御手段により、前記カメラによる撮像結果として静止画を取得した時間帯として前記タイムラインに識別表示された当該時間帯に対するユーザによる指示を受け付ける受付手段と、を備え、前記表示制御手段は、前記受付手段により指示を受け付けた当該時間帯に前記カメラによる撮像結果として取得した複数の静止画の一覧を前記表示領域に表示する制御、および前記カメラによる撮像結果として表示済みの静止画を取得した前記時間帯を前記タイムラインに識別可能に表示する制御を行なうことを特徴とする。また、本発明は、カメラによる撮影結果の静止画を表示する情報処理装置であって、前記カメラによる撮像結果として複数の静止画を取得した時間帯と、前記カメラによる撮像結果として静止画を取得していない時間帯とをそれぞれ識別可能に表示するタイムラインと、前記静止画を表示する表示領域とを表示するように制御する表示制御手段と、前記表示制御手段により、前記カメラによる撮像結果として静止画を取得した時間帯として前記タイムラインに識別表示された当該時間帯に対するユーザによる指示を受け付ける受付手段と、を備え、前記表示制御手段は、前記受付手段により指示を受け付けた当該時間帯に前記カメラによる撮像結果として取得した複数の静止画の一覧を前記表示領域に表示する制御、および静止画を録画する条件である静止画録画条件を満たす場合に前記カメラによる撮像結果として取得された前記静止画を前記表示領域に表示する制御を行ない、前記表示制御手段により前記表示領域に静止画を表示している間に前記静止画録画条件を満たした場合には、前記静止画録画条件を満たしていることを通知する通知手段を備えることを特徴とする。また、本発明は、カメラによる撮影結果の静止画を表示する情報処理装置であって、前記カメラによる撮像結果として複数の静止画を取得した時間帯と、前記カメラによる撮像結果として静止画を取得していない時間帯とをそれぞれ識別可能に表示するタイムラインと、前記静止画を表示する表示領域とを表示するように制御する表示制御手段と、前記表示制御手段により、前記カメラによる撮像結果として静止画を取得した時間帯として前記タイムラインに識別表示された当該時間帯に対するユーザによる指示を受け付ける受付手段と、を備え、前記表示制御手段は、前記受付手段により指示を受け付けた当該時間帯に前記カメラによる撮像結果として取得した複数の静止画の一覧を前記表示領域に表示する制御、前記表示領域に前記カメラによるライブ動画を表示する制御、および前記カメラによる撮像結果として複数の静止画を取得した時間帯のうち、前記カメラによる撮像結果として表示済みのライブ動画を取得した前記時間帯と、前記カメラによる撮像結果として未表示のライブ動画を取得した前記時間帯とを、前記タイムラインに、それぞれ識別可能に表示する制御する制御を行なうことを特徴とする。また、本発明は、カメラによる撮影結果の静止画を表示する情報処理装置であって、前記カメラによる撮像結果として複数の静止画を取得した時間帯と、前記カメラによる撮像結果として静止画を取得していない時間帯とをそれぞれ識別可能に表示するタイムラインと、前記静止画を表示する表示領域とを表示するように制御する表示制御手段と、前記表示制御手段により、前記カメラによる撮像結果として静止画を取得した時間帯として前記タイムラインに識別表示された当該時間帯に対するユーザによる指示を受け付ける受付手段と、を備え、前記表示制御手段は、前記受付手段により指示を受け付けた当該時間帯に前記カメラによる撮像結果として取得した静止画を前記表示領域に表示する制御、および前記カメラによる撮像結果として表示済みの静止画を取得した前記時間帯を前記タイムラインに識別可能に表示する制御を行なうことを特徴とする。
また、本発明は、カメラによる撮影結果の静止画を表示する情報処理装置における制御方法であって、表示制御手段が、前記カメラによる撮像結果として複数の静止画を取得した時間帯と、前記カメラによる撮像結果として静止画を取得していない時間帯とをそれぞれ識別可能に表示するタイムラインと、前記静止画を表示する表示領域とを表示するように制御する表示制御工程と、受付手段が、前記表示制御工程により、前記カメラによる撮像結果として静止画を取得した時間帯として前記タイムラインに識別表示された当該時間帯に対するユーザによる指示を受け付ける受付工程と、を備え、前記表示制御工程は、前記受付工程により指示を受け付けた当該時間帯に前記カメラによる撮像結果として取得した複数の静止画の一覧を前記表示領域に表示する制御、および前記カメラによる撮像結果として表示済みの静止画を取得した前記時間帯を前記タイムラインに識別可能に表示する制御を行なうことを特徴とする。また、本発明は、カメラによる撮影結果の静止画を表示する情報処理装置における制御方法であって、表示制御手段が、前記カメラによる撮像結果として複数の静止画を取得した時間帯と、前記カメラによる撮像結果として静止画を取得していない時間帯とをそれぞれ識別可能に表示するタイムラインと、前記静止画を表示する表示領域とを表示するように制御する表示制御工程と、受付手段が、前記表示制御工程により、前記カメラによる撮像結果として静止画を取得した時間帯として前記タイムラインに識別表示された当該時間帯に対するユーザによる指示を受け付ける受付工程と、を備え、前記表示制御工程は、前記受付工程により指示を受け付けた当該時間帯に前記カメラによる撮像結果として取得した複数の静止画の一覧を前記表示領域に表示する制御、および静止画を録画する条件である静止画録画条件を満たす場合に前記カメラによる撮像結果として取得された前記静止画を前記表示領域に表示する制御を行ない、前記表示制御工程により前記表示領域に静止画を表示している間に前記静止画録画条件を満たした場合には、前記静止画録画条件を満たしていることを通知する通知工程を備えることを特徴とする。また、本発明は、カメラによる撮影結果の静止画を表示する情報処理装置における制御方法であって、表示制御手段が、前記カメラによる撮像結果として複数の静止画を取得した時間帯と、前記カメラによる撮像結果として静止画を取得していない時間帯とをそれぞれ識別可能に表示するタイムラインと、前記静止画を表示する表示領域とを表示するように制御する表示制御工程と、受付手段が、前記表示制御工程により、前記カメラによる撮像結果として静止画を取得した時間帯として前記タイムラインに識別表示された当該時間帯に対するユーザによる指示を受け付ける受付工程と、を備え、前記表示制御工程は、前記受付工程により指示を受け付けた当該時間帯に前記カメラによる撮像結果として取得した複数の静止画の一覧を前記表示領域に表示する制御、前記表示領域に前記カメラによるライブ動画を表示する制御、および前記カメラによる撮像結果として複数の静止画を取得した時間帯のうち、前記カメラによる撮像結果として表示済みのライブ動画を取得した前記時間帯と、前記カメラによる撮像結果として未表示のライブ動画を取得した前記時間帯とを、前記タイムラインに、それぞれ識別可能に表示する制御を行なうことを特徴とする。また、本発明は、カメラによる撮影結果の静止画を表示する情報処理装置における制御方法であって、表示制御手段が、前記カメラによる撮像結果として複数の静止画を取得した時間帯と、前記カメラによる撮像結果として静止画を取得していない時間帯とをそれぞれ識別可能に表示するタイムラインと、前記静止画を表示する表示領域とを表示するように制御する表示制御工程と、受付手段が、前記表示制御工程により、前記カメラによる撮像結果として静止画を取得した時間帯として前記タイムラインに識別表示された当該時間帯に対するユーザによる指示を受け付ける受付工程と、を備え、前記表示制御工程は、前記受付工程により指示を受け付けた当該時間帯に前記カメラによる撮像結果として取得した静止画を前記表示領域に表示する制御、および前記カメラによる撮像結果として表示済みの静止画を取得した前記時間帯を前記タイムラインに識別可能に表示する制御を行なうことを特徴とする。
本発明によれば、止画を取得した時間帯を識別可能に表示するタイムラインを表示し、当該時間帯に対するユーザによる指示を受け付けた場合に、当該時間帯に取得した止画表示してユーザが確認すべき映像を特定し易くすることができる。
本発明の実施形態に係る情報処理システムの構成を示す図である。 図1に示したサーバ101、携帯端末102、103に適用可能な情報処理装置のハードウェア構成を示すブロック図である。 携帯端末の表示部に表示される表示画面の一例を示す図である。 携帯端末の表示部に表示される表示画面の一例を示す図である。 携帯端末の表示部に表示される表示画面の一例を示す図である。 携帯端末の表示部に表示される表示画面の一例を示す図である。 携帯端末の表示部に表示される表示画面の一例を示す図である。 携帯端末の表示部に表示される表示画面の一例を示す図である。 携帯端末の表示部に表示される表示画面の一例を示す図である。 携帯端末の表示部に表示される表示画面の一例を示す図である。 携帯端末の表示部に表示される表示画面の一例を示す図である。 携帯端末の表示部に表示される表示画面の一例を示す図である。 静止画録画条件の一例を示す図である。 表示条件テーブルの一例を示す図である。 設定画面の一例を示す図である。 携帯端末の表示部に表示される表示画面の一例を示す図である。 本発明の実施形態に係るサーバ101と各監視カメラが実行する処理を示すシーケンス図である。 各携帯端末とサーバ101と各監視カメラとが実行する処理を示すシーケンス図の一例を示す図である。 図18の1808から1815のサーバ101のCPUが実行する詳細処理を示すフローチャートの一例を示す図である。 図19のステップS1902、S1909、図18の1810、1814に示す処理の詳細処理を示すフローチャートである。 図18の1813から1815の携帯端末のCPUが実行する詳細処理を示すフローチャートの一例を示す図である。 配信管理テーブルの一例を示す図である。 配信管理テーブルの一例を示す図である。 携帯端末の表示部に表示される表示画面の一例を示す図である。
以下、図面を参照して、本発明の実施形態を詳細に説明する。
以下、本発明を適用した好適な第1の実施形態を、添付図面を参照しながら詳細に説明する。
図1は、本発明の実施形態に係る情報処理システムの構成を示す図である。
図1に示す101は、サーバであり、有線、又は無線のネットワーク108を介して、各監視カメラ104〜107と相互に通信可能に接続されている。
また、サーバ101は、無線のネットワークを介して携帯端末102、携帯端末102と相互に通信可能に接続されている。
サーバ101は、ネットワークに接続された監視カメラから当該監視カメラで撮影されたライブ映像(動画データ)を、当該ネットワークを介して受信し、携帯端末に送信する機能を有する。
また、サーバ101は、監視カメラから静止画データ(写真)を受信して、携帯端末に送信する機能を有する。
各監視カメラ104〜107は、ネットワーク108に接続可能な撮像装置(カメラ)である。各監視カメラは、動画、及び/又は静止画を撮影可能なカメラである。以下、動画、及び/又は静止画を映像データとも言う。
各監視カメラ104〜107は、撮影された映像のデータを、サーバ101に送信する機能を備えている。
また、各監視カメラのメモリには、図13に示す静止画録画条件が記憶されており、監視カメラで撮影された動画データ(動画の各フレーム画像のデータ)を解析して得られた結果が、当該静止画録画条件に合致するか否かを判定し、合致すると判定された場合に、静止画を監視カメラに送信する機能を備えている。
また、監視カメラ104〜107は、それぞれ、監視カメラ(個体)を識別するための識別情報としてIPアドレスや個体識別番号をメモリに記憶している。
携帯端末102は、ユーザ109が操作する携帯端末であり、携帯端末103は、ユーザ110が操作する携帯端末である。
携帯端末は、スマートフォンやタブレットPCなどの可搬可能な端末である。
以下、図2を用いて、図1に示したサーバ101、携帯端末102、103に適用可能な情報処理装置のハードウェア構成について説明する。
図2は、図1に示したサーバ101、携帯端末102、103に適用可能な情報処理装置のハードウェア構成を示すブロック図である。
図2において、201はCPUで、システムバス204に接続される各デバイスやコントローラを統括的に制御する。また、ROM203あるいは外部メモリ211には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、各サーバ或いは各PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
202はRAMで、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM203あるいは外部メモリ211からRAM202にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
また、205は入力コントローラで、キーボード(KB)や不図示のマウス等のポインティングデバイス等の入力装置209からの入力を制御する。206はビデオコントローラで、液晶ディスプレイ等のディスプレイ装置210への表示を制御する。なお、210のディスプレイ装置は、タッチパネルになっており、ディスプレイ上の画面を押下されることにより操作することが可能な入力装置としても機能する。
207はメモリコントローラで、ブートプログラム,各種のアプリケーション,フォントデータ,ユーザファイル,編集ファイル,各種データ等を記憶する外部記憶装置(ハードディスク(HD))や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ211へのアクセスを制御する。
208は通信I/Fコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。
なお、CPU201は、例えばRAM202内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ装置210上での表示を可能としている。また、CPU201は、ディスプレイ装置210上の不図示のマウスカーソル等でのユーザ指示を可能とする。
本発明を実現するための後述する各種プログラムは、外部メモリ211に記録されており、必要に応じてRAM202にロードされることによりCPU201によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ211に格納されており、これらについての詳細な説明も後述する。
<図17の説明>
図17は、本発明の実施形態に係るサーバ101と各監視カメラが実行する処理を示すシーケンス図である。
ステップS1701〜S1703に示す各ステップの処理は、監視カメラの外部メモリ211に記録されているプログラムによる制御に従って監視カメラのCPU201が実行する。
また、ステップS1704に示すステップの処理は、サーバ102の外部メモリ211に記録されているプログラムによる制御に従ってサーバ102のCPU201が実行する。
図17に示す処理は、常に、実行されている。
まず、各監視カメラは、ライブ映像を撮影し(1701)、当該撮影されたライブ映像(ライブ動画)のデータを構成する各フレームを解析し、その解析結果が、図13に示す静止画録画条件に合致するか否かを判定する(1702)。
図13は、静止画録画条件の一例を示す図である。
図13に示すように、静止画録画条件は、「ユーザ(人)の滞在が10秒以上である」、又は「映像の所定領域内にユーザ(人)を検出した」、又は「所定の動きを検出した」などの条件を含んでいる。
監視カメラは、これらの条件にいずれかに合致すると判定された場合には、当該条件に合致すると判定されてから当該条件に合致しないと判定されるまで静止画を撮影し、撮影された静止画をサーバ101に送信し(1703)、サーバ101は、当該静止画のデータを受信し、メモリに登録する(1704)。また、監視カメラは、図13に示す静止画録画条件に合致しないと判定された場合には、静止画を撮影することなく、引き続きライブ映像を携帯端末またはサーバ101に送信する。また、監視カメラは、静止画を撮影する場合でも、引き続きライブ映像を携帯端末またはサーバ101に送信する。
1704では、サーバ101は、図22に示す配信管理テーブルに、当該受信した静止画のデータを登録する。
図22は、配信管理テーブルの一例を示す図である。
例えば、図22の(A)の例では、撮影時間10時22分00秒から10時23分00秒までの間に撮影された静止画データが102200.jpeg、102205.jpeg、・・・として登録されている。
図22に示す配信管理テーブルは、各監視カメラごとのテーブルとして、サーバ101のメモリに格納されている。
図22に示す配信管理テーブルは、「撮影時間」、「静止画データ」、「静止画配信先」、「動画配信先」がそれぞれ関連付けられて登録されている。
「撮影時間」は静止画が撮影された時間が記録され、「静止画データ」には当該静止画のデータが記憶され、「静止画配信先」には、当該静止画データを送信した携帯端末を操作しているユーザまたは送信先の携帯端末を示し、「動画配信先」は、当該撮影時間に撮影した動画データを送信した携帯端末を操作しているユーザまたは送信先の携帯端末を示している。
すなわち、図22は、カメラにより撮影されたライブ動画、又は静止画を携帯端末(情報処理装置)に表示するべく送信した送信履歴の適用例である。この送信履歴には、他の情報処理装置への送信履歴を含んでいる。
<図18の説明>
次に、図18を用いて、各携帯端末とサーバ101と各監視カメラとが実行する処理を示すシーケンス図である。
図18は、各携帯端末とサーバ101と各監視カメラとが実行する処理を示すシーケンス図の一例を示す図である。
まず、ユーザによる操作に従って携帯端末は、サーバ101に認証画面の取得要求を送信する(1801)。そして、サーバ101は、当該取得要求を取得すると、ユーザの認証画面を携帯端末に送信する(1802)。
そして、携帯端末は、ユーザの操作によるユーザID、パスワード(認証情報)の入力を受け付け、当該受け付けたユーザID、パスワードをサーバ101に送信して、携帯端末を操作しているユーザの認証要求を行う(1803)。
サーバ101は、携帯端末からユーザID、パスワードを受信すると、当該ユーザID、パスワードに従って、ユーザの認証処理を行う(1804)。
そして、ユーザの認証処理が成功すると、図15に示す設定画面を携帯端末に送信する。
図15は、設定画面の一例を示す図である。
図15に示す設定画面は、1501で、後述するタイムラインを表示するか否かの設定(タイムラインの表示の要否)、及び、1つのタイムラインの中で複数の縮尺で表示するか否かの設定(タイムライン縮尺表示)、1つのタイムラインの中で複数の縮尺で表示する場合に、その縮尺のタイムラインの長さをどれくらいにするかの設定を受け付けることができる。
図15の例では、タイムラインを表示する、1つのタイムラインの中で複数の縮尺で表示する、短い縮尺で表示するタイムラインの長さを、全体のタイムラインの長さの1/3の長さにすることが設定されている。
そして、ユーザにより設定ボタン1502が押下されたことを携帯端末102が検出すると、携帯端末102は、当該設定された内容のデータをサーバ101に送信する(1806)。
そして、サーバ101は、当該設定された内容のデータを携帯端末から受信すると、その内容のデータをメモリに記憶して、以降の処理で用いる。
次に、サーバ101は、不図示の監視カメラ選択画面を携帯端末に送信する(1807)。
そして、携帯端末は、当該監視カメラ選択画面を介して監視カメラのユーザによる選択を受け付け、当該選択された監視カメラからのライブ映像の取得要求を、サーバ101に送信する(1808)。
サーバ101は、当該ライブ映像の取得要求を、携帯端末から受信すると、当該選択された監視カメラに対して、ライブ映像の取得要求を送信する(1809)。ここで送信される取得要求のデータの中には、1808でサーバ101にライブ映像の取得要求を行った携帯端末を識別するための情報(例えば、IPアドレス)が含まれている。
そして、当該監視カメラは、1808でサーバ101にライブ映像の取得要求を行った携帯端末を識別するための情報に従って特定される、1808でサーバ101にライブ映像の取得要求を行った携帯端末に対して、撮影しているライブ映像のデータ(動画)を送信する(1812)。
また、サーバ101は、携帯端末から、当該選択された監視カメラからのライブ映像の取得要求を受信すると、ライブ映像を表示するための表示画面を生成して(1810)、当該携帯端末に送信する(1811)。
ここで送信される表示画面は、例えば、図3の(A)、または図16の(A)に示す画面である。
図3(A)は、図15の設定画面でタイムラインを表示すると設定された場合に、携帯端末の表示部に表示される表示画面の一例を示す図である。
図16(A)は、図15の設定画面でタイムラインを表示しないと設定された場合に、携帯端末の表示部に表示される表示画面の一例を示す図である。
ここでは、まず、図3の(A)が表示された場合について、説明する。
図3の(A)に示す301は、ライブ映像(ライブ動画)が表示されている表示領域である。
また、302は、タイムラインを示し、「LIVE」303は、現在のライブ動画を表示することを指示するオブジェクトである。また、矢印306を表示している。
図3の(A)に示すように、タイムラインは、現在(LIVE)が10時30分であり、10時24分前までの時間軸を示している。そして、305は、静止画が撮影された時間帯であることを示している。図3の(A)の例では、10時27分〜28分の間で静止画が撮影されていることを示している。305以外の領域304は、静止画が撮影されていないことを示している。
このように静止画が撮影されている時間帯と、撮影されていない時間帯とを色で識別表示する。
タイムライン303は、時間が経過すると共に、下方向に自動的にスクロール表示される。
例えば、図3の(A)が表示された時点から1分が経過すると、図3の(B)のようにタイムラインが1分経過してスクロール表示される。そして、更に、例えば3分経過すると、図3の(C)のように、さらに3分が経過したタイムラインとしてスクロール表示される。
また、図3に示す矢印306は、図4に示すように、タイムラインにそって、ユーザの操作により、下方向に移動させることが可能である。
図4は、図15の設定画面でタイムラインを表示すると設定された場合に、携帯端末の表示部に表示される表示画面の一例を示す図である。
図4の(A)は、図3の(A)と同じ図であり、図4(A)の矢印306を、図4(A)の点線矢印のように、下方向に移動させると、図4(B)のように静止画が撮影された領域(時間帯305)にあわせることができる。
このように、矢印306を、図4(B)のように静止画が撮影されている領域にあわせると、携帯端末は、当該矢印で示される時間に撮影された静止画(サムネイル)のデータの送信要求を、サーバ101に対して行い、サーバ101から送信された当該静止画(サムネイル)のデータを受信して図4の(B)の301のように301に表示する。
そして、携帯端末は、図4の(B)の静止画(サムネイル)の一覧の中から、ユーザにより1つのサムネイルの選択を受け付けると、図4の(C)のように、当該選択されたサムネイルに対応するオリジナル画像を表示することができる。
図18の1813では、携帯端末は、矢印306を領域305にあわせることで、矢印306が示す時間帯の静止画(サムネイル)の一覧画面の表示要求を、サーバ101に送信し(1813)、サーバ101は、当該要求に従って、静止画(サムネイル)の一覧画面(例えば図4の(B)の301)を含む表示画面(図4の(B))を生成して(1814)、当該携帯端末に送信する(1815)。
携帯端末は、当該静止画(サムネイル)の一覧画面(例えば図4の(B)の301)を含む表示画面(図4の(B))を、受信すると、当該画面を表示する。
1813から1815の処理を図21を用いて、後で説明する。
図21は、図18の1813から1815の携帯端末のCPUが実行する詳細処理を示すフローチャートの一例を示す図である。
また、図18の1808から1815のサーバ101のCPUが実行する詳細処理を、図19を用いて、後で説明する。
図19は、図18の1808から1815のサーバ101のCPUが実行する詳細処理を示すフローチャートの一例を示す図である。
次に、携帯端末は、ライブ映像の送信停止要求をユーザにより受け付けると、当該ユーザにより受け付けたライブ映像の送信停止要求をサーバ101に送信する(1816)。
そして、サーバ101は、当該ライブ映像の送信停止要求を携帯端末から受信すると、当該携帯端末に対してライブ映像の配信を行っている監視カメラに対して、当該ライブ映像の送信停止要求を送信する(1817)。
そして、監視カメラは、当該ライブ映像の送信停止要求を受信すると、当該携帯端末に対して送信しているライブ映像の配信を停止する。
<図19の説明>
次に、図19を用いて、図18の1808から1815のサーバ101のCPUが実行する詳細処理を説明する。
ステップS1901〜S1918に示す各ステップの処理は、サーバ101の外部メモリ211に記録されているプログラムによる制御に従ってサーバ101のCPU201が実行する。
まず、サーバ101は、携帯端末から、ライブ映像の取得要求(不図示の監視カメラ選択画面を介して選択された監視カメラからのライブ映像の取得要求)を受け付けたか否かを判定し(ステップS1901)、当該取得要求を受け付けた場合には(YES)、ライブ映像を表示するための表示画面を生成し、当該携帯端末に送信する(ステップS1902)。
ステップS1902、後述するステップS1909に示す処理の詳細処理は、後で図20を用いて説明する。
ステップS1902で携帯端末に送信され携帯端末に表示された表示画面の表示領域301内に、監視カメラから携帯端末に送信されるライブ動画が表示されることとなる。
そして、サーバ101は、不図示の監視カメラ選択画面を介して選択された監視カメラへのライブ映像の配信要求を当該監視カメラに送信し(ステップS1903)、当該監視カメラは、当該配信要求をサーバ101から受信すると、当該携帯端末に対してライブ映像を配信する。
そして、サーバ101は、監視カメラから携帯端末にライブ動画が送信されている間に、静止画を当該監視カメラから受信した場合には、メモリに記憶されている配信管理テーブルの、当該受信した静止画のデータ(静止画データ)に関連付けられた「動画配信先」に、1804で認証されたユーザのユーザID(ここでは、ユーザ1)を登録し(ステップS1904)、処理をステップS1905に移行する。
ステップS1901で、携帯端末から、ライブ映像の取得要求を受け付けていないと判定された場合には(NO)、処理をステップS1905に移行する。
次に、サーバ101は、携帯端末から、ライブ映像の送信停止要求を受け付けたか否かを判定し(ステップS1905)、当該要求を受け付けたと判定された場合には(YES)、当該監視カメラに対して、ライブ映像の送信(配信)停止要求を送信する(ステップS1906)。また、携帯端末から、ライブ映像の送信停止要求を受け付けていないと判定された場合には(ステップS1905:NO)、処理をステップS1907に移行する。
また、サーバ101は、携帯端末から静止画(サムネイル)の表示要求を受け付けたか否かを判定し(ステップS1907)、当該要求を受け付けた場合には、当該要求に含まれる撮影時間に撮影された静止画データを配信管理テーブル(図22)から特定して、当該静止画データに関連付けられた「静止画配信先」(図22)に、1804で認証されたユーザのユーザID(ここでは例えばユーザ1)を登録する(ステップS1908)。
そして、サーバ101は、図20に示す表示画面生成・送信処理を実行して(ステップS1909)、携帯端末から受け付けた表示要求に含まれる撮影時間に撮影された静止画データを配信管理テーブル(図22)から特定して、当該特定された静止画データのサムネイルの画像を当該携帯端末に送信し(ステップS1910)、処理をステップS1911に移行する。これにより、携帯端末では、例えば、図4の(B)の画面が表示されることとなる。
また、サーバ101は、携帯端末から静止画(サムネイル)の表示要求を受け付けていないと判定された場合には(ステップS1907:NO)、処理をステップS1911に移行する。
次に、サーバ101は、ユーザにより、携帯端末に表示された静止画(サムネイル)の一覧の中から1つのサムネイルが選択され、当該携帯端末から、当該選択されたサムネイルのオリジナルの静止画の表示要求を受信したか否かを判定し(ステップS1911)、当該要求を受け付けた場合には、当該表示要求に含まれる撮影時間の静止画データを当該携帯端末に送信する(ステップS1912)。
ステップS1907、ステップS1911は、ユーザの操作に従って、前記タイムラインにより静止画が撮影された時間が識別表示された表示領域に対して、当該時間に撮影された静止画の表示指示を受け付ける受付手段の適用例である。
ステップS1910、ステップS1912は、受付手段により表示指示を受け付けた静止画を、表示画面に含まれる、ライブ動画を表示する表示領域に表示するべく送信する送信手段の適用例である。
これにより、携帯端末の表示部には、例えば、図4の(C)の画面が表示される。
図4の(C)は、図4の(B)の10時27分00秒のサムネイルが選択され、当該選択されたサムネイルのオリジナルの静止画データが表示された表示画面の一例を示す図である。
次に、サーバ101は、携帯端末から、画像検索条件入力画面の表示要求を受け付けたか否かを判定する(ステップS1913)。
サーバ101は、図15に示す設定画面で「タイムラインの表示要否」で「しない」が選択された場合、タイムラインの表示を行わない例えば、図16の(A)の画面を携帯端末に送信して携帯端末に表示させる。
携帯端末は、図16の(A)の静止画表示ボタン1601がユーザにより押下されると、画像検索条件入力画面(図16の(B))の表示要求をサーバ101に送信する。
ステップS1913では、この画像検索条件入力画面(図16の(B))の表示要求を携帯端末から受け付けたか否かを判定する。
ここで、この画像検索条件入力画面(図16の(B))の表示要求を携帯端末から受け付けたと判定された場合には、画像検索条件入力画面(図16の(B))を当該携帯端末に送信して(ステップS1914)、処理をステップS1915に移行する。
そして、携帯端末は、画像検索条件入力画面(図16の(B))を表示し、画像検索条件記入欄1602に画像検索条件として撮影時間の入力を受け付け、当該受け付けた撮影時間をサーバに送信する。
そして、サーバ101は、当該画像検索条件としての撮影時間を、携帯端末から受信したか否かを判定し(ステップS1915)、当該画像検索条件としての撮影時間を、携帯端末から受信したと判定した場合には(YES)、当該撮影時間に撮影された静止画(サムネイル)を配信管理テーブルから検索して特定し(ステップS1916)、当該特定された静止画に対応する「静止画配信先」に1804で認証されたユーザのユーザIDを登録し(ステップS1917)、ステップS1916で特定された静止画を当該携帯端末に送信する(ステップS1918)。
そして、サーバは、処理をステップS1901に戻す。
<図20の説明>
次に、図19のステップS1902、S1909、図18の1810、1814に示す処理の詳細処理を、図20を用いて説明する。
図20は、図19のステップS1902、S1909、図18の1810、1814に示す処理の詳細処理を示すフローチャートである。
ステップS2001〜S2011に示す各ステップの処理は、サーバ101の外部メモリ211に記録されているプログラムによる制御に従ってサーバ101のCPU201が実行する。
図20に示すステップS2002からステップS2011までの処理は、所定時間(例えば1秒)ごとに、繰り返し常時実行される。すなわち、ステップS2002からステップS2011までの処理は、カメラにより撮影されたライブ動画を表示する表示領域(301)と、カメラにより静止画が撮影された時間を識別表示するタイムラインの表示領域(303)とを含む表示画面(201)を時間の経過に従って生成する生成手段の適用例である。そして、この生成手段は、時間の経過に従って過去の時間軸方向に移動したタイムラインの表示領域であって、ステップS2002、S2003の判定手段による判定結果に従って、情報処理装置に送信済みのライブ動画、又は静止画と、情報処理装置に未送信のライブ動画、又は静止画とを識別可能に表示するタイムラインの表示領域を含む表示画面を生成する。また、ステップS2002、S2003の判定手段は、当該他の情報処理装置に、監視カメラにより撮影された動画、又は静止画を送信したか否かを判定する。また、この生成手段は、判定手段による判定結果に従って、情報処理装置に送信済みのライブ動画、又は静止画と、情報処理装置に未送信のライブ動画、又は静止画と、他の情報処理装置に送信済みのライブ動画、又は静止画と、をそれぞれ識別可能に表示するタイムラインの表示領域を含む表示画面を生成する。
まず、サーバ101は、携帯端末から、図15の設定画面でタイムラインを表示するか否かを示す設定情報を受け付けたか否かを判定する(ステップS2001)。
そして、図15の設定画面でタイムラインを表示しない設定情報を受け付けた場合には(NO)、タイムライン無しの表示画面(例えば、図16の(A))を生成して(ステップS2010)、携帯端末に送信する(ステップS2011)。ステップS2011は、生成手段により表示された表示画面を情報処理装置に表示するべく送信する送信手段の適用例である。
一方、図15の設定画面でタイムラインを表示する設定情報を受け付けた場合には(YES)、ステップS2002からステップS2005までの処理を、配信管理テーブルの各レコードに対してそれぞれ実行する。
まず、サーバ101は、配信管理テーブルの1レコードを取得して、当該レコードに格納されている静止画配信先、動画配信先のユーザを特定し、当該特定されたそれぞれのユーザが、1804で認証された現在ログインしているユーザであるかを判定する。
すなわち、現在ログインしているユーザが、静止画配信先、動画配信先のユーザに含まれているか否かを判定する。
そして、その判定結果と、図14に示す表示条件テーブルとから、現在処理対象のレコードの撮影時間のタイムライン内の表示色を決定する。
図14は、表示条件テーブルの一例を示す図である。
図14に示すように、「ライブ動画表示済」、「静止画表示済」、「表示色」の項目から構成されており、「ライブ動画表示済」が○はライブ動画を表示済みであることを示し、「ライブ動画表示済」が×はライブ動画を表示していないことを示す。また、「静止画表示済」が○は静止画を表示済みであることを示し、「静止画表示済」が×は静止画を表示していないことを示す。また、「表示色」は、タイムラインに表示する色を示す。
すなわち、ライブ動画も静止画も表示していない場合には、その静止画のタイムラインを赤色で表示し(例えば、図5の(A)の501)、ライブ動画は表示していないが、静止画は表示している場合には、その静止画のタイムラインを青色で表示する(例えば、図5の(A)の502)ことを示し、ライブ動画は表示しているが、静止画は表示していない場合にはその静止画のタイムラインを黄色で表示する(例えば、図5の(A)の503)ことを示し、ライブ動画も静止画も表示している場合には、その静止画のタイムラインを緑色で表示する(例えば、図5の(A)の504)ことを示す。
サーバは、ステップS2002で、現在ログインしているユーザが、静止画配信先、動画配信先のユーザに含まれているか否かを判定し、その判定結果と、図14のテーブルから、現在処理対象の撮影時間の静止画のタイムラインを何色で表示するかを決定する(ステップS2003)。
すなわち、ステップS2002は、図22に示す送信履歴に従って、携帯端末(情報処理装置)に、監視カメラにより撮影された動画、又は静止画を送信したか否かを判定する判定手段の適用例である。
例えば、図22の(A)の配信管理テーブルの場合、図5の(A)のタイムラインのように表示される。
すなわち、サーバ101は、ライブ動画も静止画も表示していない撮影時間のタイムラインと、ライブ動画は表示していないが、静止画は表示している撮影時間のタイムラインと、ライブ動画は表示しているが、静止画は表示していない撮影時間のタイムラインと、ライブ動画も静止画も表示している撮影時間のタイムラインと、をそれぞれ識別可能に、表示する表示画面をステップS2008、ステップS2009で生成する。
次に、サーバ101は、監視カメラがライブ映像を携帯端末に配信している間に、1703で当該監視カメラから送信された静止画を受信したか否かを判定する(ステップS2004)。
そして、監視カメラがライブ映像を携帯端末に配信している間に、1703で当該監視カメラから送信された静止画を受信したと判定された場合には、図9の(B)の303に示すように、タイムラインの「LIVE」のオブジェクトを点滅表示させて、現在配信中のライブ映像が、図13の静止画録画条件に合致して、静止画をサーバに登録していることをユーザに通知する。
これにより、ユーザは、サムネイルを表示している間に、表示されていない現在配信中のライブ映像が図13の静止画録画条件に合致して、静止画をサーバに登録していることを、ユーザは把握することができ、緊急で静止画を画像確認しなければならない場合でも迅速に対応することが可能となる。
次に、サーバ101は、図22の(A)に示す配信管理テーブルの各レコードに対して、ステップS2002からステップS2005の処理を実行したか否かを判定し、実行していないと判定された場合には(NO)、次のレコードを処理対象にして処理をステップS2002に戻す。
また、配信管理テーブルの各レコードに対して、ステップS2002からステップS2005の処理を実行したと判定された場合には(YES)、タイムラインの縮尺表示を行うか否かを判定する(ステップS2007)。
具体的には、サーバ101は、図15に示す設定画面の「タイムライン縮尺表示」に「する」が設定されたか、「しない」に設定されたかを判定する。
「タイムライン縮尺表示」に「する」が設定された場合には(YES)、タイムライン縮尺表示画面を生成する(ステップS2009)。一方、「タイムライン縮尺表示」に「しない」に設定された場合には(NO)、タイムライン表示画面を生成する(ステップS2008)。
ステップS2009で生成されるタイムライン縮尺表示画面は、例えば、図10の(A)に示す表示画面であって、1つのタイムラインの縮尺が途中で異なる表示となっている。
図10の(A)に示すタイムライン302は、10時29分00秒から10時25分00秒までは、所定の距離に対して1分間の間隔で表示されており、10時25分00秒から10時16分00秒までは、当該所定の距離に対して3分の間隔で表示されている。
そのため、より長くの時間のうち、いつの時間の静止画があるのかを確認でき、より全体を確認し易くなると共に、直近の静止画については、より細かい確認が可能となる。
また、図15の1501で縮尺タイムラインの長さを1/3と設定した場合、図10に示すように、タイムラインの長さの1/3を、10時25分00秒から10時16分00秒までは、当該所定の距離に対して3分の間隔で表示することができるようになる。
このように、図15の1501で縮尺タイムラインの長さを柔軟に変更することが可能となる。
例えば、図10の画面を生成するステップは、時間の経過に従って過去の時間軸方向に移動した前記タイムラインの表示領域であって、現在から所定距離の縮尺と、当該所定距離からの縮尺とが異なるタイムラインの表示領域を含む表示画面を生成する生成手段の適用例である。
次に、サーバ101は、ステップS2008では、例えば、図3に示す縮尺が途中から変わっていない表示画面を生成する。
そして、サーバ101は、ステップS2008、又は、ステップS2009、又はステップS2010で生成された表示画面を携帯端末に送信して、処理を戻す。
次に、図21を用いて、図18の1813から1815の携帯端末のCPUが実行する詳細処理について説明する。
図21は、図18の1813から1815の携帯端末のCPUが実行する詳細処理を示すフローチャートの一例を示す図である。
まず、ステップS2101では、図4の(A)の表示画面が携帯端末に表示されている場合を例に説明する。
携帯端末は、ユーザにより、図4の(A)の点線矢印のように、矢印306の移動を受け付けたか否かを判定し(S2101)、当該移動の指示を受け付けた場合には(YES)、当該移動の指示に従って、矢印306を移動する(ステップS2102)。
そして、携帯端末は、ステップS2102で移動された矢印306に示される静止画の表示要求(矢印306に示される静止画の撮影時間を含む)をサーバ101に送信する(ステップS2103)。
そして、サーバ101は、当該静止画の表示要求(矢印306に示される静止画の撮影時間を含む)に含まれる撮影時間に紐付いて配信管理テーブルに登録されている静止画(サムネイル)を携帯端末に送信する。
そして、携帯端末は、当該送信された静止画(サムネイル)の一覧を受信して、携帯端末に表示する(例えば、図4の(B))(ステップS2108)。
また、携帯端末は、ステップS2101で、矢印306の移動を受け付けていないと判定された場合には(NO)、ユーザによるタイムラインのスクロールを受け付けたか否かを判定する(ステップS2104)。
携帯端末は、ユーザによるタイムラインのスクロールを受け付けた場合には(YES)、当該タイムラインのスクロール表示を行う(ステップS2105)。そして、処理をステップS2103に移行する。
例えば、図11の(A)に示すタイムラインを、図11の(A)の点線矢印のように、上方向にスクロール操作を行うと、図11の(B)のようにタイムラインがスクロール表示される。
これにより、過去の静止画像を指定しやすくことができる。
次に、携帯端末は、タイムラインのスクロールを受け付けていないで、静止画(サムネイル)のスクロール表示指示をユーザにより受け付けたか否かを判定する(ステップS2106)。
そして、携帯端末は、静止画(サムネイル)のスクロール表示指示をユーザにより受け付けた場合には(YES)、当該静止画(サムネイル)をスクロールして表示し、そのスクロールに同期して、タイムラインをスクロールさせる。
これにより、確認したい静止画のスクロールを行いながら、タイムラインもスクロールされるため、静止画の確認作業に係るユーザによる操作性が向上する。
このように、本情報処理ステムは、上述の処理を実行するため、例えば、以下のような処理を実現することができる。
図3〜図12、図15、図16は、携帯端末の表示部に表示される表示画面の一例を示す図である。
図3(A)は、矢印306がLIVEを指しているため、ライブ動画が表示部である301に表示さていることを示している。そして、時間が経過すると共に、タイムラインが図3の(B)、(C)の点線矢印の方向に移動する。
また、図4(A)は、矢印306がLIVEを指しているため、ライブ動画が表示部である301に表示さていることを示している。
そして、携帯端末は、ユーザの、矢印306を下側に移動させる指示(図4の(B)の点線矢印の方向に移動させる指示)を受け付けると、当該矢印306を静止画のある時間帯に移動させ、その矢印が指し示している時間帯の静止画の取得要求(矢印が指し示す静止画の撮影時間を含む)をサーバ101に対して、携帯端末が行う。これにより、携帯端末は、サーバから当該矢印が指し示す撮影時間の静止画を受信して、図4の(B)の301のように、静止画像を表示する。
そして、例えば、携帯端末は、10時27分10秒の静止画像がユーザにより選択されると、当該静止画像のオリジナル画像をサーバから受信して、図4の(C)のように、拡大表示することができる。
また、図5は、ライブ動画も静止画も表示していない撮影時間のタイムライン(501)と、ライブ動画は表示していないが、静止画は表示している撮影時間のタイムライン(502)と、ライブ動画は表示しているが、静止画は表示していない撮影時間のタイムライン(503)と、ライブ動画も静止画も表示している撮影時間のタイムライン(504)と、をそれぞれ色で識別可能に表示した表示画面である。
そして、矢印306を501の時間帯にあわせることで、501の時間帯の静止画の一覧を表示できる。そして、図5の(B)で501の時間帯の静止画を表示したため、図5の(B)の501は、501の色が赤色から黄色に変化したことを示している。
また、図6も同様に、ライブ動画も静止画も表示していない撮影時間のタイムライン(501)と、ライブ動画は表示していないが、静止画は表示している撮影時間のタイムライン(502)と、ライブ動画は表示しているが、静止画は表示していない撮影時間のタイムライン(503)と、ライブ動画も静止画も表示している撮影時間のタイムライン(504)と、をそれぞれ色で識別可能に表示した表示画面である。
そして、矢印306を502の時間帯にあわせることで、502の時間帯の静止画の一覧を表示できる。そして、図6の(B)で502の時間帯の静止画を表示したため、図5の(B)の502は、502の色が青色から緑色に変化したことを示している。
このように、どの映像は、全く確認していないか、動画は確認したか、静止画は確認したか、どちらも確認したかを、ユーザは確認できるようになり、どの時間帯の動画を確認すればよいかを把握し易くなる。
また、図7の例では、現在ログインしているユーザ以外の他のユーザ(例えばユーザ2)が静止画を確認した場合には、その確認した静止画の時間帯(タイムライン)に、星印をつけることで、他のユーザが静止画を確認したかを、ユーザが確認できる。
例えば、ユーザ1の上長がユーザ2である場合、上長が確認したことが分かるため、ユーザ1が優先して確認しなければならない画像を把握することをユーザ1はし易くなる。
これは、サーバ101が、例えば、配信管理テーブルが図22の(B)の場合、図20のS2002で処理対象のレコード(図22の(B))の静止画配信先のユーザと、動画配信先のユーザが特定され、ユーザ1がログイン中のユーザである場合、ユーザ2(他のユーザ)がどの静止画を確認しているかを特定でき、当該ユーザ2(他のユーザ)が確認した静止画の時間帯のタイムラインに星印を付けることをステップS2003で決定することで実現される。
また、図8の例では、現在ログインしているユーザ以外の他のユーザ(例えばユーザ2)が静止画が記録された時間帯のライブ動画を確認した場合には、その確認したライブ動画の時間帯(タイムライン)に、三角マークをつけることで、他のユーザがそのライブ動画を確認したかを、ユーザが確認できる。
例えば、ユーザ1の上長がユーザ2である場合、上長が確認したことが分かるため、ユーザ1が優先して確認しなければならない画像を把握することをユーザ1はし易くなる。
これは、サーバ101が、例えば、配信管理テーブルが図22の(C)の場合、図20のS2002で処理対象のレコード(図22の(C))の静止画配信先のユーザと、動画配信先のユーザが特定され、ユーザ1がログイン中のユーザである場合、ユーザ2(他のユーザ)がどのライブ動画を確認しているかを特定でき、当該ユーザ2(他のユーザ)が確認したライブ動画の時間帯のタイムラインに三角マークを付けることをステップS2003で決定することで実現される。
図9(B)は、図9(A)のように、矢印306が指し示す時間帯502の静止画を表示部である301に表示している間に、ライブ動画が図13の静止画録画条件に合致した場合に、ライブ動画の位置を示す「LIVE」のオブジェクト303が点滅表示(ライブ動画が図13の静止画録画条件に合致していることを識別表示)することを表した図である。
図10(A)(B)は、1つのタイムラインの中に、縮尺の異なるタイムラインが入った例を示している。
この場合も、図10の(A)から図10の(B)のように、時間の経過と共に、タイムラインが図10の(B)の点線矢印の方向に自動的に移動して表示することを示している。
また、図11は、図11の(A)に示すタイムラインを、ユーザが、図11の(A)の点線矢印方向に(上方向に)スクロール操作を行うと、図11の(B)のようにタイムラインがスクロール表示されることを示している。
また、図12は、図12の(B)(図11の(B)と同じ図)の矢印306をユーザ操作により時間帯2002を指すように移動することで、図12の(C)の静止画を表示する領域である301に2002の時間帯に撮影された静止画が表示されることを示している。そして、図12(C)の301に表示された静止画を、図12(C)の点線矢印の方向に、ユーザの操作によりスクロール指示した場合には、それに連動して、タイムラインが図12の(D)の点線矢印の方向にスクロールすることを示している。このとき、矢印306は動かないため、図12(C)の301に表示された静止画をスクロール指示することで、1つ前に撮影された静止画(2004の時間帯の静止画)を301に表示することが可能となっている。
また、図21に示す処理は、携帯端末で実行することを説明したが、この処理をサーバ101で実行するようにすることもできる。
例えば、携帯端末に対して、ユーザが、ステップS2101、ステップS2104、ステップS2106のいずれかの操作を行うことにより、携帯端末が、その操作内容をサーバ101に送信して、サーバ101が、ステップS2101、ステップS2104、ステップS2106の処理を行い生成した表示画面を携帯端末に送信して、当該携帯端末が当該表示画面を表示するようにすることができる。
次に、本発明を適用した好適な第2の実施形態を、添付図面を参照しながら詳細に説明する。
第2の実施形態では、第1の実施形態の配信管理テーブル(図22)に、更に「サムネイル画像送信済」、「オリジナル画像送信済」の項目を追加して、タイムライン上に、サムネイル画像を送信済みであるか否か、オリジナル画像を送信済みであるか否かを識別表示するものであり、他は第1の実施形態と同様である。
そのため、第2の実施形態では、第1の実施形態と異なる点についてのみ説明する。
第1の実施形態の配信管理テーブル(図22)に、更に「サムネイル画像送信済」、「オリジナル画像送信済」の項目を追加した第2の実施形態における配信管理テーブルを図23に示す。
図19のステップS1908において、サーバ101は、携帯端末から受け付けた静止画(サムネイル)の表示要求に含まれる撮影時間に撮影された静止画データを配信管理テーブル(図23)から特定して、当該静止画データに関連付けられた「静止画配信先」(図23)に、1804で認証されたユーザのユーザID(ここでは例えばユーザ1)を登録すると共に、図23の「サムネイル画像送信済」にサムネイル画像を送信済みであることを示す情報として「○」を登録する。
また、図19のステップS1912において、サーバ101は、ユーザにより、携帯端末に表示された静止画(サムネイル)の一覧の中から1つのサムネイルが選択され、当該携帯端末から、当該選択されたサムネイルのオリジナルの静止画の表示要求を受信した場合、当該表示要求に含まれる撮影時間の静止画データを当該携帯端末に送信すると共に、図23の「オリジナル画像送信済」にオリジナル画像(オリジナルの静止画)を送信済みであることを示す情報として「○」を登録する。
また、図20のステップS2003において、第1の実施形態と同様に、サーバは、ステップS2002で、現在ログインしているユーザが、静止画配信先、動画配信先のユーザに含まれているか否かを判定し、その判定結果と、図14のテーブルから、現在処理対象の撮影時間の静止画のタイムラインを何色で表示するかを決定する。さらに、第2の実施形態では、図20のステップS2003において、配信管理テーブル(図23)の「サムネイル画像送信済」に「○」が登録されているか、それとも、サムネイル画像が未送信であることを示す情報である「×」が登録されているかを判定し、「サムネイル画像送信済」に「○」が登録されていると判定された場合には、図24(B)のタイムライン上の領域(現在処理対象の撮影時間の領域)501、502に示すように「○」を表示することを決定する。ここで「○」を表示することが決定された場合には、ステップS2008、ステップS2009での生成処理で、現在処理対象の撮影時間の領域(タイムライン上の領域)に「○」を表示する画面を生成する。
また、図20のステップS2003において、配信管理テーブル(図23)の「オリジナル画像送信済」に「○」が登録されているか、それとも、オリジナル画像が未送信であることを示す情報である「×」が登録されているかを判定し、「オリジナル画像送信済」に「○」が登録されていると判定された場合には、図24(B)のタイムライン上の領域(現在処理対象の撮影時間の領域)501に示すように「●」を表示することを決定する。ここで「●」を表示することが決定された場合には、ステップS2008、ステップS2009での生成処理で、現在処理対象の撮影時間の領域(タイムライン上の領域)に「●」を表示する画面を生成する。
これにより、ユーザが、サムネイル画像のみを確認したのか、オリジナル画像をじっくり確認したのかを、把握することが可能となる。
そのため、他のユーザが、オリジナル画像をじっくり確認していることを把握することも可能であり、そのような画像は、重要な画像である可能性が高いため、後で、そのような画像を集約表示することで、効率的に、重要な画像を確認することも可能である。
すなわち、サーバは、配信管理テーブル(図23)の「オリジナル画像送信済」に「○」が登録されている静止画の撮影時間の時間帯のみをタイムライン上に表示する画面をステップS2008、S2009で生成することができ、これにより、効率的に、重要な画像を確認することができる。
以上、本発明によれば、リアルタイムにライブ映像を確認でき、ライブ映像を記憶するサーバのメモリの使用量を削減してユーザが確認すべき映像を特定し易くすることが出来る。
また、本発明によれば、全体のタイムラインを確認し易くすると共に、現在に近い時間のタイムラインをより詳しく確認することができる。
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のカード、ROM等を用いることができる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このプログラムコードを読み出し実行可能な情報処理装置(コンピュータ)が前述した実施形態の機能を実現する。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
101 サーバ
102 携帯端末(ユーザ1(109)が操作する端末)
103 携帯端末(ユーザ2(110)が操作する端末)
104 監視カメラ
105 監視カメラ
106 監視カメラ
107 監視カメラ
108 ネットワーク

Claims (13)

  1. カメラによる撮影結果の静止画を表示する情報処理装置であって、
    前記カメラによる撮像結果として複数の静止画を取得した時間帯と、前記カメラによる撮像結果として静止画を取得していない時間帯とをそれぞれ識別可能に表示するタイムラインと、前記静止画を表示する表示領域とを表示するように制御する表示制御手段と、
    前記表示制御手段により、前記カメラによる撮像結果として静止画を取得した時間帯として前記タイムラインに識別表示された当該時間帯に対するユーザによる指示を受け付ける受付手段と、
    を備え、
    前記表示制御手段は、前記受付手段により指示を受け付けた当該時間帯に前記カメラによる撮像結果として取得した複数の静止画の一覧を前記表示領域に表示する制御、および前記カメラによる撮像結果として表示済みの静止画を取得した前記時間帯を前記タイムラインに識別可能に表示する制御を行なうことを特徴とする情報処理装置。
  2. カメラによる撮影結果の静止画を表示する情報処理装置であって、
    前記カメラによる撮像結果として複数の静止画を取得した時間帯と、前記カメラによる撮像結果として静止画を取得していない時間帯とをそれぞれ識別可能に表示するタイムラインと、前記静止画を表示する表示領域とを表示するように制御する表示制御手段と、
    前記表示制御手段により、前記カメラによる撮像結果として静止画を取得した時間帯として前記タイムラインに識別表示された当該時間帯に対するユーザによる指示を受け付ける受付手段と、
    を備え、
    前記表示制御手段は、前記受付手段により指示を受け付けた当該時間帯に前記カメラによる撮像結果として取得した複数の静止画の一覧を前記表示領域に表示する制御、および静止画を録画する条件である静止画録画条件を満たす場合に前記カメラによる撮像結果として取得された前記静止画を前記表示領域に表示する制御を行ない、
    前記表示制御手段により前記表示領域に静止画を表示している間に前記静止画録画条件を満たした場合には、前記静止画録画条件を満たしていることを通知する通知手段を備えることを特徴とする情報処理装置。
  3. カメラによる撮影結果の静止画を表示する情報処理装置であって、
    前記カメラによる撮像結果として複数の静止画を取得した時間帯と、前記カメラによる撮像結果として静止画を取得していない時間帯とをそれぞれ識別可能に表示するタイムラインと、前記静止画を表示する表示領域とを表示するように制御する表示制御手段と、
    前記表示制御手段により、前記カメラによる撮像結果として静止画を取得した時間帯として前記タイムラインに識別表示された当該時間帯に対するユーザによる指示を受け付ける受付手段と、
    を備え、
    前記表示制御手段は、前記受付手段により指示を受け付けた当該時間帯に前記カメラによる撮像結果として取得した複数の静止画の一覧を前記表示領域に表示する制御、前記表示領域に前記カメラによるライブ動画を表示する制御、および前記カメラによる撮像結果として複数の静止画を取得した時間帯のうち、前記カメラによる撮像結果として表示済みのライブ動画を取得した前記時間帯と、前記カメラによる撮像結果として未表示のライブ動画を取得した前記時間帯とを、前記タイムラインに、それぞれ識別可能に表示する制御する制御を行なうことを特徴とする情報処理装置。
  4. 前記静止画の一覧は、前記カメラによる撮影により得られた静止画に対するサムネイル画像の一覧であり、
    前記表示領域に表示された前記サムネイル画像の一覧の中から、サムネイル画像の選択をユーザにより受け付けるサムネイル受付手段を更に備え、
    前記表示制御手段は、前記サムネイル受付手段により選択を受け付けたサムネイル画像に対する静止画を前記表示領域に表示する制御、および前記サムネイル受付手段により選択を受け付けたサムネイル画像に対する静止画であって前記表示領域に表示された静止画を取得した前記時間帯を前記タイムラインとは別に識別可能に表示する制御を行なうことを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
  5. 前記表示制御手段は、前記表示領域に前記カメラによるライブ動画を表示するように制御し、
    前記通知手段は、前記表示制御手段により前記表示領域に前記ライブ動画が表示している間に前記静止画録画条件を満たした場合には、前記静止画録画条件を満たしていることを通知しないことを特徴とする請求項2に記載の情報処理装置。
  6. 前記表示制御手段は、更に、前記カメラによる撮像結果として他のユーザが表示済みのライブ動画を取得した時間帯を前記タイムラインに識別可能に表示するように制御することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。
  7. 前記静止画、前記カメラによる撮影により得られた動画に含まれるフレーム画像含むことを特徴とする請求項1乃至6の何れか1項に記載の情報処理装置。
  8. カメラによる撮影結果の静止画を表示する情報処理装置であって、
    前記カメラによる撮像結果として複数の静止画を取得した時間帯と、前記カメラによる撮像結果として静止画を取得していない時間帯とをそれぞれ識別可能に表示するタイムラインと、前記静止画を表示する表示領域とを表示するように制御する表示制御手段と、
    前記表示制御手段により、前記カメラによる撮像結果として静止画を取得した時間帯として前記タイムラインに識別表示された当該時間帯に対するユーザによる指示を受け付ける受付手段と、
    を備え、
    前記表示制御手段は、前記受付手段により指示を受け付けた当該時間帯に前記カメラによる撮像結果として取得した静止画を前記表示領域に表示する制御、および前記カメラによる撮像結果として表示済みの静止画を取得した前記時間帯を前記タイムラインに識別可能に表示する制御を行なうことを特徴とする情報処理装置。
  9. カメラによる撮影結果の静止画を表示する情報処理装置における制御方法であって、
    表示制御手段が、前記カメラによる撮像結果として複数の静止画を取得した時間帯と、前記カメラによる撮像結果として静止画を取得していない時間帯とをそれぞれ識別可能に表示するタイムラインと、前記静止画を表示する表示領域とを表示するように制御する表示制御工程と、
    受付手段が、前記表示制御工程により、前記カメラによる撮像結果として静止画を取得した時間帯として前記タイムラインに識別表示された当該時間帯に対するユーザによる指示を受け付ける受付工程と、
    を備え、
    前記表示制御工程は、前記受付工程により指示を受け付けた当該時間帯に前記カメラによる撮像結果として取得した複数の静止画の一覧を前記表示領域に表示する制御、および前記カメラによる撮像結果として表示済みの静止画を取得した前記時間帯を前記タイムラインに識別可能に表示する制御を行なうことを特徴とする制御方法。
  10. カメラによる撮影結果の静止画を表示する情報処理装置における制御方法であって、
    表示制御手段が、前記カメラによる撮像結果として複数の静止画を取得した時間帯と、前記カメラによる撮像結果として静止画を取得していない時間帯とをそれぞれ識別可能に表示するタイムラインと、前記静止画を表示する表示領域とを表示するように制御する表示制御工程と、
    受付手段が、前記表示制御工程により、前記カメラによる撮像結果として静止画を取得した時間帯として前記タイムラインに識別表示された当該時間帯に対するユーザによる指示を受け付ける受付工程と、
    を備え、
    前記表示制御工程は、前記受付工程により指示を受け付けた当該時間帯に前記カメラによる撮像結果として取得した複数の静止画の一覧を前記表示領域に表示する制御、および静止画を録画する条件である静止画録画条件を満たす場合に前記カメラによる撮像結果として取得された前記静止画を前記表示領域に表示する制御を行ない、
    前記表示制御工程により前記表示領域に静止画を表示している間に前記静止画録画条件を満たした場合には、前記静止画録画条件を満たしていることを通知する通知工程を備えることを特徴とする制御方法。
  11. カメラによる撮影結果の静止画を表示する情報処理装置における制御方法であって、
    表示制御手段が、前記カメラによる撮像結果として複数の静止画を取得した時間帯と、前記カメラによる撮像結果として静止画を取得していない時間帯とをそれぞれ識別可能に表示するタイムラインと、前記静止画を表示する表示領域とを表示するように制御する表示制御工程と、
    受付手段が、前記表示制御工程により、前記カメラによる撮像結果として静止画を取得した時間帯として前記タイムラインに識別表示された当該時間帯に対するユーザによる指示を受け付ける受付工程と、
    を備え、
    前記表示制御工程は、前記受付工程により指示を受け付けた当該時間帯に前記カメラによる撮像結果として取得した複数の静止画の一覧を前記表示領域に表示する制御、前記表示領域に前記カメラによるライブ動画を表示する制御、および前記カメラによる撮像結果として複数の静止画を取得した時間帯のうち、前記カメラによる撮像結果として表示済みのライブ動画を取得した前記時間帯と、前記カメラによる撮像結果として未表示のライブ動画を取得した前記時間帯とを、前記タイムラインに、それぞれ識別可能に表示する制御を行なうことを特徴とする制御方法。
  12. カメラによる撮影結果の静止画を表示する情報処理装置における制御方法であって、
    表示制御手段が、前記カメラによる撮像結果として複数の静止画を取得した時間帯と、前記カメラによる撮像結果として静止画を取得していない時間帯とをそれぞれ識別可能に表示するタイムラインと、前記静止画を表示する表示領域とを表示するように制御する表示制御工程と、
    受付手段が、前記表示制御工程により、前記カメラによる撮像結果として静止画を取得した時間帯として前記タイムラインに識別表示された当該時間帯に対するユーザによる指示を受け付ける受付工程と、
    を備え、
    前記表示制御工程は、前記受付工程により指示を受け付けた当該時間帯に前記カメラによる撮像結果として取得した静止画を前記表示領域に表示する制御、および前記カメラによる撮像結果として表示済みの静止画を取得した前記時間帯を前記タイムラインに識別可能に表示する制御を行なうことを特徴とする制御方法。
  13. 情報処理装置を、請求項1乃至8のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2014200381A 2014-06-30 2014-09-30 情報処理装置、及びその制御方法、プログラム Active JP6137102B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014200381A JP6137102B2 (ja) 2014-06-30 2014-09-30 情報処理装置、及びその制御方法、プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014134706 2014-06-30
JP2014134706 2014-06-30
JP2014200381A JP6137102B2 (ja) 2014-06-30 2014-09-30 情報処理装置、及びその制御方法、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017089139A Division JP6484871B2 (ja) 2014-06-30 2017-04-28 情報処理装置、及びその制御方法、プログラム

Publications (2)

Publication Number Publication Date
JP2016027682A JP2016027682A (ja) 2016-02-18
JP6137102B2 true JP6137102B2 (ja) 2017-05-31

Family

ID=55352896

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014200381A Active JP6137102B2 (ja) 2014-06-30 2014-09-30 情報処理装置、及びその制御方法、プログラム
JP2017089139A Active JP6484871B2 (ja) 2014-06-30 2017-04-28 情報処理装置、及びその制御方法、プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017089139A Active JP6484871B2 (ja) 2014-06-30 2017-04-28 情報処理装置、及びその制御方法、プログラム

Country Status (1)

Country Link
JP (2) JP6137102B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK179593B1 (en) 2016-06-12 2019-02-25 Apple Inc. USER INTERFACE FOR MANAGING CONTROLLABLE EXTERNAL DEVICES
CN114845122B (zh) 2018-05-07 2024-04-30 苹果公司 用于查看实况视频馈送和录制视频的用户界面
EP3905670A4 (en) * 2018-12-26 2022-08-10 Pioneer Corporation DISPLAY CONTROL DEVICE, METHOD AND PROGRAM
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
US11589010B2 (en) 2020-06-03 2023-02-21 Apple Inc. Camera and visitor user interfaces
US11657614B2 (en) 2020-06-03 2023-05-23 Apple Inc. Camera and visitor user interfaces
EP4189682A1 (en) 2020-09-05 2023-06-07 Apple Inc. User interfaces for managing audio for media items
JP7116833B1 (ja) 2021-09-28 2022-08-10 Kddi株式会社 移動体管理装置及び移動体管理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3826598B2 (ja) * 1999-01-29 2006-09-27 株式会社日立製作所 画像監視装置及び記録媒体
JP4175622B2 (ja) * 2003-01-31 2008-11-05 セコム株式会社 画像表示システム
JP4277592B2 (ja) * 2003-06-23 2009-06-10 ソニー株式会社 情報処理装置、撮像装置およびコンテンツ選択方法
JP4514778B2 (ja) * 2004-01-22 2010-07-28 株式会社日立国際電気 映像配信装置
JP2005215996A (ja) * 2004-01-29 2005-08-11 Matsushita Electric Ind Co Ltd 監視映像管理装置、および監視映像管理方法
JP2006101076A (ja) * 2004-09-29 2006-04-13 Casio Comput Co Ltd 動画編集方法、動画編集装置及びプログラム
JP4716025B2 (ja) * 2006-05-22 2011-07-06 富士フイルム株式会社 画像表示装置、表示制御プログラム及び撮影装置
JP5164367B2 (ja) * 2006-12-04 2013-03-21 キヤノン株式会社 画像表示処理装置、処理方法及びプログラム
JP2012165313A (ja) * 2011-02-09 2012-08-30 Sony Corp 編集装置及び方法、並びにプログラム
JP2012227817A (ja) * 2011-04-21 2012-11-15 Panasonic Corp 携帯端末、携帯端末のイベント通知方法及びプログラム

Also Published As

Publication number Publication date
JP6484871B2 (ja) 2019-03-20
JP2016027682A (ja) 2016-02-18
JP2017158202A (ja) 2017-09-07

Similar Documents

Publication Publication Date Title
JP6484871B2 (ja) 情報処理装置、及びその制御方法、プログラム
US10038852B2 (en) Image generation method and apparatus having location information-based geo-sticker
US20170004652A1 (en) Display control method and information processing apparatus
CN105320695A (zh) 图片处理方法及装置
CN110536075B (zh) 视频生成方法和装置
JP2017045485A (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
CN106412432A (zh) 一种拍照方法及移动终端
JP6435550B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2020129844A (ja) サーバ、及びその制御方法、プログラム
JP6691309B2 (ja) 情報処理装置、及びその制御方法、プログラム
JP6708937B2 (ja) 監視カメラ、情報処理システム、制御方法、プログラム
JP6149400B2 (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
JP2016012887A (ja) 情報処理装置、及びその制御方法、プログラム
JP2016111578A (ja) 情報処理装置、その制御方法、及びプログラム
JP6810351B2 (ja) 情報処理装置、及びその制御方法、プログラム
JP2018097866A (ja) 情報処理装置、制御方法、プログラム
JP2018074429A (ja) 情報処理装置、情報処理方法、プログラム
EP3121698B1 (en) Data transfer system, display device, portable information terminal, data transfer method, and program
JP5093784B2 (ja) 画像表示装置、画像表方法、およびそのプログラム
JP2011003081A (ja) 作業遠隔支援システム及び作業遠隔支援方法
JP2017063320A (ja) 出力制御装置、出力制御方法、設定装置、設定方法、及びプログラム
JP2018093357A (ja) 情報処理装置、情報処理方法、プログラム
JP5445648B2 (ja) 画像表示装置、画像表示方法、およびそのプログラム。
JP6613553B2 (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
JP2017198945A (ja) 投影装置、投影装置の制御方法、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161025

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20161101

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170417

R150 Certificate of patent or registration of utility model

Ref document number: 6137102

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250