以下、適宜図面を参照しながら、本開示に係るダイジェスト映像再生システムおよびダイジェスト映像再生プログラムの構成および作用を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
(実施の形態1)
図1は、実施の形態1に係る屋内カメラシステム100(行動ログ記憶システムおよびダイジェスト映像再生システムの一例)の全体構成例を示す図である。屋内カメラシステム100は、自宅内に設置された1台以上のカメラC1(屋内カメラの一例)と、ルータR1と、端末装置P1と、ネットワークNW1と、を含んで構成される。なお、実施の形態1に係る屋内カメラシステム100は、ユースケースとして自宅で飼育するペットを動体の一例として説明するが、動体はペットに限定されず、例えば子ども、お年寄りなどの人物であってよい。
ユーザの自宅には、カメラC1と、ルータR1とが設置されている。端末装置P1は、ユーザの自宅あるいは自宅外で使用される。カメラC1と端末装置P1とは、ユーザの自宅に設置されているルータR1、あるいはルータR1からさらにネットワークNW1を介した無線通信により通信可能に接続される。
カメラC1は、端末装置P1との間でルータR1あるいはさらにネットワークNW1を介して通信可能に接続され、例えばユーザの自宅においてユーザにより動体を撮像可能な位置に設置されて撮像領域内の動体を撮像する。なお、図1に示すように、カメラの台数は1台に限定されない。また、実施の形態1に係る屋内カメラシステム100において、カメラC1がPT(Pan Tilt)カメラである例を示すが、カメラの種類は、これに限定されず、例えばPTZ(Pan Tilt Zoom)カメラ、定点カメラなどであってよい。
カメラC1は、ユーザ操作により動体を撮像する1以上のエリア(以降、検知エリア)の設定操作を受け付ける。なお、カメラC1が複数のカメラのそれぞれによって構成される場合、ユーザは、端末装置P1を用いてカメラごとに検知エリアを設定する。
ここでいう検知エリアは、例えば寝床、餌場、遊び場などの動体が行動するエリアであって、ユーザ不在時における動体の様子(行動)を確認するための撮像エリアである。カメラC1は、複数の検知エリアのそれぞれの設定を受け付ける。検知エリアは、カメラC1が設置された位置においてパンモータおよびチルトモータのそれぞれの回転角度が0(ゼロ)°であるプリセット位置を基準とした際のパンモータおよびチルトモータのそれぞれの回転角度と、この回転角度におけるカメラC1が有する画角(イメージセンサ上)の座標情報として記憶される。
カメラC1は、筐体に動体の位置を検知可能な複数の赤外線センサのそれぞれを備え、定期的に(例えば200m秒ごと)動体(熱源)の位置を検知する。カメラC1は、複数の赤外線センサのそれぞれによって検知された検知結果に基づく動体(熱源)の位置に駆動部16(図2参照)を駆動させて、動体を追跡しながら撮像する。カメラC1は、連続して撮像された複数の撮像画像のそれぞれのうち、明るさの変化量が所定の変化量以上となる領域を動体と判定する。カメラC1は、明るさの変化量が所定の変化量以上となる領域がある場合、動体が検知されたと判定し、撮像映像を記録(録画)する。また、カメラC1は、この検知された動体の位置が検知エリア内に位置する場合、動体が検知エリア内にいると判定する。なお、カメラC1が備える赤外線センサの数は、1つであってもよい。また、実施の形態1に係るカメラC1は、動体を追跡しながら撮像する例を示すが、必須の機能ではない。
端末装置P1は、ユーザによって操作される装置であって、例えばスマートフォン、タブレット端末、PC(Personal Computer)などによって実現される。端末装置P1は、カメラC1から録画映像を含む行動ログなどを受信し、モニタに表示する。また、端末装置P1は、ユーザ操作に基づいて、カメラC1によって撮像されたライブ映像を受信し、表示(ストリーム再生)してよい。端末装置P1は、ルータR1あるいはルータR1からさらにネットワークNW1を介してカメラC1との間で通信可能に接続される。
ネットワークNW1は、ルータR1と端末装置P1との間で、無線通信または有線通信可能に接続される。ここでいう無線通信は、例えばBluetooth(登録商標)、NFC(登録商標)などの近距離無線通信、またはWi-Fi(登録商標)などの無線LAN(Local Area Network)を介した通信である。
図2は、実施の形態1に係る屋内カメラシステム100におけるカメラC1の内部構成例を示す図である。図1に示す屋内カメラの一例としてのカメラC1は、いずれもほぼ同じ構成を有する。カメラC1は通信部10aと、プロセッサ11aと、メモリ12aと、撮像部13と、電源部18と、を少なくとも含んで構成される。
通信部10aは、アンテナAnt1を有し、ルータR1との間で無線通信可能に接続され、ルータR1あるいはネットワークNW1を介して、端末装置P1との間でデータの送受信を実行する。なお、通信部10aは、ルータR1との間で有線通信可能に接続されてもよい。
BUS10bは、通信部10a、プロセッサ11a、映像メモリ制御部11b、および音声入力制御部11cとの間のデータの入出力を実行する。
外部メモリI/F(Interface)部10cは、例えばUSB(Universal Serial Bus)メモリ、SDカードなどの記憶媒体の一例としての外部メモリ12cとの間で通信可能であって、例えばUSBメモリあるいはSDカードなどの外部メモリ12cを挿抜可能に設けられる。なお、外部メモリI/F部10cは、複数の外部メモリのそれぞれを同時に接続可能であってよい。
プロセッサ11aは、例えばCPU(Central Processing unit)またはFPGA(Field Programmable Gate Array)を用いて構成されて、メモリ12aと協働して、各種の処理および制御を行う。具体的には、プロセッサ11aは、メモリ12aに保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、動体の位置の検出する機能、動体を追跡して撮像する機能、検知エリアごとの動体の行動ログのカウントを実行する機能などを実現する。また、プロセッサ11aは、ユーザ操作によって設定された間隔(例えば1日)ごとに検知された動体の停滞回数の情報と、検知エリアの識別情報(例えば検知エリアごとの名称)と、検知エリアに停滞(滞在)する動体を撮像した録画映像とを含む行動ログを生成する機能を実現する。
プロセッサ11aは、メモリ12aに記録された録画映像のデータの概要を示す録画開始時刻、検知エリアの情報、停滞Flag ONのタイミング、停滞Flag OFFタイミング、停滞カウントアップ完了のタイミング、録画長、検知エリアの情報等を含むメタ情報を生成する。なお、ここでいう停滞は、単に停滞に限定されず、検知エリアへの侵入、検知エリア内における移動、行動などを含む意味で用いる。プロセッサ11aは、録画映像に生成されたメタ情報を含んでメモリ12aおよび映像メモリ制御部11bに記録させる。なお、プロセッサ11aは、端末装置P1からユーザ操作により録画映像の記録先として外部メモリ12cを指定する信号を受信した場合、メタ情報を含む録画映像を外部メモリI/F部10cを介して、外部メモリ12cに送信し、記録させる。
映像メモリ制御部11bは、プロセッサ11aから撮像部13によって撮像された録画映像が入力されると、映像メモリ12bに記録する。
音声入力制御部11cは、マイクMk1によって収音された音(音声)を電気信号に変換し、プロセッサ11aに出力する。また、音声入力制御部11cは、BUS10bから入力された電気信号をスピーカSP1に入力する。スピーカSP1は、音声入力制御部11cから入力された電気信号を音(音声)に変換して、出力する。
記憶部の一例としてのメモリ12aは、例えばプロセッサ11aの各処理を実行する際に用いられるワークメモリとしてのRAM(Random Access Memory)と、プロセッサ11aの動作を規定したプログラムおよびデータを格納するROM(Read Only Memory)とを有する。RAMには、プロセッサ11aにより生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ11aの動作を規定するプログラムが書き込まれている。メモリ12aは、カメラC1のプリセット位置、記録(録画)された録画映像、動体を検知する検知エリア、または検知エリアごとの行動ログ回数などを記憶する。なお、メモリ12aは、録画映像のメタ情報(図4参照)のうちデータ「録画開始時刻」に含まれる日付情報により撮像日を管理する。
記憶部の一例としての映像メモリ12bは、撮像部13によって撮像された撮像映像を録画映像として撮像日ごとに記録(録画)する。なお、映像メモリ12bは、プロセッサ11aにより生成されたメタ情報に含まれるデータ「録画開始時刻」に含まれる日付情報により撮像日を管理する。
記憶部の一例としての外部メモリ12cは、所謂USBメモリ、SDカードなどの記憶媒体であって、撮像部13によって撮像された撮像映像を記録する。なお、図2において、カメラC1は、1つの外部メモリI/F部10cと1つの外部メモリ12cとを有する例を示すが、これらは複数あってよい。なお、外部メモリ12cは、プロセッサ11aにより生成されたメタ情報に含まれるデータ「録画開始時刻」に含まれる日付情報により撮像日を管理する。
撮像部13は、少なくともレンズ(不図示)とイメージセンサ(不図示)とを有して構成される。イメージセンサは、例えばCCD(Charged-coupled device)あるいはCMOS(Complementary metal-oxide-semiconductor)などの固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。撮像部13は、撮像された撮像映像をプロセッサ11aに出力する。
センサの一例としての赤外線センサ14は、カメラC1に複数(例えば2つ)備えられた所謂人感センサであり、PIR(Passive Infra Red)センサである。なお、赤外線センサ14の数は、1つであってもよい。複数の赤外線センサ14のそれぞれは、駆動部16によって駆動可能な撮像部13の撮像位置から撮像可能な最大撮像領域内の熱源を検知する。複数の赤外線センサ14のそれぞれは、検知された熱源の位置(以降、熱源位置と表記)を検知結果としてプロセッサ11aに出力する。
プロセッサ11aは、複数の赤外線センサ14のそれぞれから入力された検知結果に基づいて、撮像部13の撮像領域が熱源位置を撮像可能となるように駆動部16(つまりパンモータ16aあるいはチルトモータ16b)を駆動させる制御信号を生成し、駆動部16に出力する。プロセッサ11aは、撮像部13によって連続して撮像された複数の撮像画像のそれぞれにおいて明るさの変化量が所定の変化量以上となる領域があるか否かを判定する。プロセッサ11aは、明るさの変化量が所定の変化量以上となる領域がある場合、動体を検知したと判定し、撮像された撮像映像の記録(録画)を開始する。また、プロセッサ11aは、この動体の検知を判定したタイミングから所定の時間(例えば、10秒,20秒など)だけ前に撮像された撮像映像を含んで記録(録画)を開始してもよい。
プロセッサ11aは、この動体を検知するための判定処理を例えば200m秒ごとに定期的に繰り返し実行する。また、プロセッサ11aは、検知された動体の位置が設定された検知エリア内であるか否かを繰り返し判定する。なお、プロセッサ11aによって実行される動体を検知するための判定処理は、例えば100m秒ごとに実行されてもよいし、300m秒ごとに実行されてもよい。
さらに、プロセッサ11aは、判定処理の結果として得られた検知結果が所定の検知条件を満たすと判定した場合には、停滞FlagをON状態にするとともに、動体が検知エリア内に停滞する停滞時間のカウントアップを開始する。
ここで、所定の検知条件について、説明する。検知条件は、例えばプロセッサ11aが定期的に取得される検知結果において、所定の回数(例えば2回、3回、5回等)連続して動体の位置が検知エリアAr1内に位置する、あるいは所定の割合(例えば5回のうち2回あるいは3回等)で動体の位置が検知エリアAr1内に位置する等の条件である。プロセッサ11aは、連続して取得される検知結果が所定の検知条件を満たすと判定した場合、動体が検知エリア内にいると判定して停滞FlagをON状態にする。
プロセッサ11aは、カウントアップされる停滞時間が所定時間(例えば、15秒)に到達すると、その検知エリアにおける動体の停滞回数をインクリメントしてカウントする。
なお、プロセッサ11aは、複数の撮像画像のそれぞれにおける明るさの変化量の判定結果に基づいて、動体が検知エリア外に出て行ったと判定した場合、停滞FlagをOFF状態にする。プロセッサ11aは、停滞FlagをOFF状態にした際に、カウントアップされた停滞時間が所定時間(例えば、15秒)に未到達の場合、撮像部13によって撮像された撮像映像を記録(録画)せずに消去する。また、プロセッサ11aは、停滞FlagをOFF状態にした際に、カウントアップされた停滞時間が所定時間(例えば、15秒)に到達している場合、撮像部13によって撮像された撮像映像を消去せずに記録(録画)する。
さらに、プロセッサ11aは、停滞FlagがOFF状態となってから所定の時間(例えば10秒、30秒、1分など)が経過するまでの間の撮像映像を記録する。つまり、録画映像は、プロセッサ11aが複数の撮像画像のそれぞれの明るさの変化量が所定の変化量を上回り、撮像領域内に動体を検知したと判定したタイミングから、停滞FlagがOFF状態となって所定の時間が経過するまでの間記録される。なお、プロセッサ11aは、停滞FlagがOFF状態から所定の時間が経過するまでに再度いずれかの検知エリアにおいて停滞FlagがON状態となった場合(つまり、動体を検知し、検知結果が所定の検知条件を満たすと判定した場合)には、所定の時間が経過しても撮像映像の記録を終了せずに継続(延長)するとともに、再度その検知エリア停滞時間のカウントアップを開始する。プロセッサ11aは、カウントアップされる停滞時間が所定時間(例えば、15秒)に到達すると、その検知エリアにおける動体の停滞回数をインクリメントしてカウントする。なお、上述した所定の時間は、ユーザ操作により任意の時間に設定可能であってよい。
LED(light emitting diode)16は、例えば夜間、早朝、雨天など屋内が暗く、動体の撮像に適さない場合に撮像部13の撮像領域を照明する。LED15は、端末装置P1から受信されたユーザ操作により点灯あるいは消灯する。なお、撮像部13は、LED15が点灯している間は白黒画像を撮像する。
駆動部16は、撮像部13をパン回転およびチルト回転が可能に支持し、プロセッサ11aから入力された制御信号に基づいて、パンモータ16aおよびチルトモータ16bのうち少なくとも1つを駆動させる。
パンモータ16aは、プロセッサ11aの制御信号に基づいて、撮像部13をパン回転させ、撮像部13の撮像領域を変更する。
チルトモータ16bは、プロセッサ11aの制御信号に基づいて、撮像部13をチルト回転させ、撮像部13の撮像領域を変更する。
温度センサ17は、カメラC1が設置された屋内の気温(室温)を測定可能なセンサである。温度センサ17は、測定結果としての気温データをプロセッサ11aに出力する、プロセッサ11aは、温度センサ17から入力された気温データをメモリ12aに記憶するとともに、通信部10aを介して、端末装置P1に送信する。
電源部18は、外部の商用電源からカメラC1に電源を供給する。電源部18は、電源の供給を外部の商用電源から直接得てもよい。また、電源部18は外部の商用電源から供給される電荷を蓄積可能なバッテリ(例えば電池)を含む、あるいは脱着可能な構成であってもよく、外部の商用電源から切り離された状態であっても、カメラC1に電源を供給可能であってもよい。
図3は、実施の形態1に係る屋内カメラシステム100における端末装置P1の内部構成例を示す図である。端末装置P1は、通信部30aと、移動通信部30bと、プロセッサ31aと、メモリ32aと、表示部33と、電源部38と、を少なくとも含んで構成される。
通信部30aは、アンテナAnt2を有し、ルータR1あるいはネットワークNW1との間で無線通信可能に接続される。通信部30aは、ルータR1あるいはネットワークNW1を介して、端末装置P1との間でデータの送受信を実行する。
移動通信部30bは、アンテナAnt3を有し、ユーザに携帯あるいは持ち運ばれることにより移動可能な通信端末(例えば、スマートフォン、タブレット端末、持ち運び可能なPCなど)において、ルータR1あるいはネットワークNW1との間で無線通信可能に接続される。移動通信部30bは、ルータR1あるいはネットワークNW1を介して、端末装置P1との間でデータの送受信を実行する。
BUS30cは、プロセッサ31a、通信制御部31b、移動通信制御部31c、および音声入力制御部31dとの間のデータの入出力を実行する。
外部メモリI/F部30dは、例えばUSB(Universal Serial Bus)メモリ、SDカードなどの記憶媒体の一例としての外部メモリ32bとの間で通信可能であって、例えばUSBメモリあるいはSDカードなどの外部メモリ32bを挿抜可能に設けられる。なお、外部メモリI/F部30dは、複数の外部メモリのそれぞれを同時に接続可能であってよい。
プロセッサ31aは、例えばCPUまたはFPGAを用いて構成されて、メモリ32aと協働して、各部の機能および制御を行う。ここでいう各部は、例えばOS(Operating System)処理部311およびアプリ処理部312である。プロセッサ31aは、操作部331によって受け付けられたユーザ操作に基づいて、メモリ32aに保持されたプログラムおよびデータを参照し、そのプログラムを実行することによりOS(Operating System)処理部311およびアプリ処理部312の機能を実行する。
OS処理部311は、例えばWindows(登録商標)、Mac OS(登録商標)、iOS(登録商標)、Linux(登録商標)、Android(登録商標)などであって、操作部331によって受け付けられたユーザ操作に基づく入力信号を受け付け、各種処理および制御を行う。具体的に、OS処理部311は、ユーザ操作により入力された文字を表示部33上に表示させる機能、マウス、キーボードまたはタッチパネルなどの操作部331の操作または選択位置を示すカーソルなどを表示部33上に表示する機能などを実行する。OS処理部311は、例えばユーザによる検知エリアの範囲選択操作、ダイジェスト再生を実行する録画映像の撮像日の指定期間の入力操作などを受け付け、受け付けた操作内容を表示部33上に表示させる。
アプリ処理部312は、ユーザ操作に基づいて起動され、メモリ32aと協働して、各部の機能および制御を行う。具体的に、アプリ処理部312は、カメラC1によって録画された録画映像および行動ログを受信して、表示部33に表示する。また、アプリ処理部312は、ユーザ操作に基づいて、カメラC1におけるLED15を点灯あるいは消灯する機能、パンモータ16aあるいはチルトモータ16bを駆動させる機能、録画された録画映像を外部メモリ12cに記録させる機能などを実行する。
通信制御部31bは、通信部30aの制御を実行し、無線通信可能に接続されたルータR1を介して、カメラC1との間で画像データあるいは音声データを送受信する。
移動通信制御部31cは、移動通信部30bの制御を実行し、無線通信可能に接続されたルータR1あるいはネットワークNW1を経由して接続されたルータR1を介して、カメラC1との間で画像データあるいは音声データを送受信する。
音声入力制御部31dは、マイクMk2によって収音された音(例えばユーザの音声)を電気信号に変換し、プロセッサ31aに出力する。また、音声入力制御部31dは、BUS30cから入力された電気信号をスピーカSP2に入力する。スピーカSP2は、音声入力制御部31dから入力された音声信号を音(音声)に変換して、出力する。
メモリ32aは、例えばプロセッサ31aの各処理を実行する際に用いられるワークメモリとしてのRAMと、プロセッサ31aの動作を規定したプログラムおよびデータを格納するROMとを有する。RAMには、プロセッサ31aにより生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ31aの動作を規定するプログラムが書き込まれている。
外部メモリ32bは、所謂USBメモリ、SDカードなどの記憶媒体であって、カメラC1から受信された録画映像を記録する。なお、図3において、端末装置P1は、1つの外部メモリI/F部30dと1つの外部メモリ32bとを有する例を示すが、これらは複数あってよい。
モニタの一例としての表示部33は、例えばLCD(Liquid Crystal Display)もしくは有機EL(Electroluminescence)を用いて構成される。表示部33は、カメラC1の検知エリアを設定するための設定画面、あるいはカメラC1から受信された録画映像あるいはライブ映像などストリーム再生して表示する。また、表示部33は、端末装置P1に備えられ、タッチパネルによって構成されたタッチインターフェースであってよい。このような場合、表示部33は、操作部331としての機能を備え、ユーザの入力操作を受け付け、ユーザによる入力操作の結果をプロセッサ31aに出力する。
操作部331は、例えばユーザの入力操作を検知するユーザインターフェースであり、マウス、キーボードまたはタッチパネルなどを用いて構成される。操作部331は、ユーザの入力操作に基づいて、検知エリアの入力、ダイジェスト再生を実行する撮像日の指定などを受け付けて入力信号に変換し、プロセッサ11aにおけるOS処理部311に出力する。
電源部38は、外部の商用電源あるいは外部の商用電源から供給される電荷を蓄積可能なバッテリ(例えば電池)から端末装置P1に電源を供給する。なお、バッテリは、脱着可能な構成であってもよく、外部の商用電源から切り離された状態であっても、端末装置P1に電源を供給可能であってもよい。
図4は、メタ情報TB1の一例を示す図である。メタ情報TB1は、録画映像のデータの概要を示すデータであって、プロセッサ11aによって生成される。メタ情報TB1は、撮像部13によって撮像された撮像映像に付与され、録画映像としてともに記録されるデータである。
メタ情報TB1は、録画映像のデータの概要を示す録画開始時刻、検知エリア、停滞Flag ONのタイミング、停滞Flag OFFのタイミング、停滞カウントアップ完了のタイミングおよび録画長のそれぞれのデータを含んで生成される。
データ「録画開始時刻」は、録画映像の記録(録画)が開始された時刻を示し、プロセッサ11aによって所定の検知エリアに動体が侵入したことが検知された時刻を示すデータである。データ「録画開始時刻」は、撮像日の情報を含み、例えば「01 Jan 2019 10:15:28」のように記憶される。
データ「検知エリア」は、検知された動体が位置した検知エリアの名称を示すデータである。データ「検知エリア」は、例えば「Sleep」のように記憶される。
データ「停滞Flag ONのタイミング」は、録画開始時刻を基準として、停滞FlagがON状態となった経過時間を示すデータである。データ「停滞Flag ONのタイミング」は、例えば「00:25:16」のように記憶される。
データ「停滞Flag OFFのタイミング」は、録画開始時刻を基準として、停滞FlagがOFF状態となった時間を示すデータである。データ「停滞Flag OFFのタイミング」は、例えば「00:46:32」のように記憶される。
データ「停滞カウントアップのタイミング」は、検知エリア内における動体の停滞時間のカウントアップ(例えば10秒、15秒)が完了した時間を示すデータである。データ「停滞カウントアップのタイミング」は、例えば「00:40:16」のように記憶される。
データ「録画長」は、録画された録画映像の録画時間の長さを示すデータである。データ「録画長」は、例えば「00:56:32」のように記憶される。
なお、1つの録画映像のデータにおいて、異なる撮像時刻に複数の検知エリアのそれぞれで動体が検知された場合、メタ情報TB1は、動体が検知された検知エリアの情報ごとに「停滞Flag ONのタイミング」と、「停滞Flag OFFのタイミング」と、「停滞カウントアップのタイミング」とを対応付けたデータを複数含んで生成されてよい。
図5は、検知エリアの設定例を説明する図である。なお、図5ではユーザ操作により1つの検知エリアを設定する例について説明するが、検知エリアは複数設定されてよい。
画面Dp1は、ユーザ操作によりアプリ処理部312が起動された画面である。画面Dp1は、サムネイルSm0および検知エリア設定ボタンBt1を含んで生成され、表示部33に表示される。
サムネイルSm0は、端末装置P1がカメラC1から最後に取得した撮像画像をサムネイル化した画像である。サムネイルSm0の表示領域がユーザ操作によって押下(選択)されると、端末装置P1は、現在カメラC1によって撮像されているライブ映像を要求する要求信号を生成してカメラC1に送信し、カメラC1から受信されたライブ映像を表示する画面(不図示)に移行する。また、検知エリア設定ボタンBt1は、新たに検知エリアを設定する際、または既存の検知エリアを編集する際にユーザ操作により押下(選択)される。端末装置P1は、検知エリア設定ボタンBt1がユーザ操作により押下(選択)されると、画面Dp2を生成して表示部33に表示する。
画面Dp2は、パン回転スライダRt1と、チルト回転スライダRt2と、設定ボタンBt2と、ライブ映像表示領域Mn1とを含んで生成され、表示部33に表示される。
パン回転スライダRt1は、カメラC1のパンモータ16aを回転するためのスライドバーである。パン回転スライダRt1は、スライドバーの中央位置においてカメラC1が設置された際のプリセット位置(つまり、パンモータの回転角度が0(ゼロ)°)を示す。端末装置P1は、ユーザによりスライドバーを左右方向に操作されると、操作後のスライドバーの位置と中央位置との間の操作距離に対応するパンモータの回転角度を算出し、この回転角度を含む制御信号を生成して、カメラC1に送信する。
チルト回転スライダRt2は、カメラC1のチルトモータ16bを回転するためのスライドバーである。チルト回転スライダRt2は、スライドバーの中央位置においてカメラC1が設置された際のプリセット位置(つまり、チルトモータの回転角度が0(ゼロ)°)を示す。端末装置P1は、ユーザによりスライドバーを上下方向に操作されると、操作後のスライドバーの位置と中央位置との間の操作距離に対応するチルトモータの回転角度を算出し、この回転角度を含む制御信号を生成して、カメラC1に送信する。
ライブ映像表示領域Mn1は、撮像部13によって撮像されている現在の撮像領域のライブ映像が表示される。ユーザは、ライブ映像表示領域Mn1に映る撮像部13の撮像領域が動体を検知したい検知エリアを含むようにパン回転スライダRt1あるいはチルト回転スライダRt2を操作し、撮像領域を変更する。端末装置P1は、ユーザ操作により設定ボタンBt2が押下(選択)されると、カメラC1から送信され、撮像部13によって撮像された撮像画像を用いた画面Dp3を生成して表示部33に表示する。
画面Dp3は、検知エリア設定用画面Mn2と、検知エリアArsと、設定ボタンBt3と、戻るボタンBt4とを含んで生成される。
検知エリア設定用画面Mn2は、設定する検知エリアの範囲を示す検知エリアArsを重畳して表示される。検知エリアArsは、複数のエリア範囲マーカArs1,Ars2,Ars3,Ars4のそれぞれを通過する矩形状に生成されたエリアである。検知エリアArsは、動体を検知したい例えば寝床(ベッド)、餌場(テーブル)などを含むようにユーザにより選択された複数のエリア範囲マーカArs1~Ars4の位置に応じて拡大/縮小する。なお、図5に示す検知エリアArsは、矩形状であるが、これに限定されなくてよい。例えば、検知エリアArsは、3以上あるいは5以上の複数のエリア範囲マーカのそれぞれを通過する多角形状のエリアであってよい。
なお、画面Dp3における検知エリア設定用画面Mn2には、プロセッサ11aが撮像部13によって撮像された撮像画像から、明るさの変化量を検知可能な複数の検知領域のそれぞれが格子状に表示される例を示す。プロセッサ11aは、検知領域のそれぞれの明るさの変化量に基づいて、動体を検知する。なお、複数の検知領域のそれぞれは、表示されなくてもよい。また、プロセッサ11aが検知可能な複数の検知領域のそれぞれは、プロセッサ11aの性能および撮像領域の奥行あるいは広さに応じた検知領域が表示されてよい。
メッセージMsg1は、検知エリアArsの設定に関してユーザに通知されるメッセージであり、図5において「検出対象が含まれるように四角で囲ってください。」のように表示される。なお、図5に示すメッセージMsg1は一例であって、これに限定されないことは言うまでもない。
端末装置P1は、ユーザ操作により設定ボタンBt3が押下(選択)されると、検知エリア設定用画面Mn2に表示された撮像領域における検知エリアArsの座標情報をカメラC1に送信する。また、端末装置P1は、設定された検知エリアArsの名称を設定する画面Dp4を生成して表示部33に表示する。
なお、端末装置P1は、ユーザ操作により戻るボタンBt4が押下(選択)されると、画面Dp2に戻り、再度パンモータおよびチルトモータの回転角度の設定(つまり、撮像領域の設定)を受け付ける。
画面Dp4は、検知エリア名称入力画面Mn3と、名称入力欄Nmsと、戻るボタンBt5と、設定ボタンBt6とを含んで生成される。
検知エリア名称入力画面Mn3は、名称入力欄Nmsと、戻るボタンBt5と、設定ボタンBt6とを含む。端末装置P1は、名称入力欄Nmsにおいてユーザにより設定された検知エリアを識別可能な名称の入力を受け付ける。
端末装置P1は、ユーザ操作により設定ボタンBt6が押下(選択)されると、画面Dp2において設定された検知エリアの名称を名称入力欄Nmsに入力された名称に設定する。なお、端末装置P1は、名称入力欄Nmsがユーザにより何も入力されずに設定ボタンBt6が押下(選択)された場合、検知エリアの名称を例えば「プリセット1」、「プリセット2」などの仮名称を用いて自動設定する。これにより、端末装置P1は、設定された検知エリアと他の検知エリアとを異なる名称を用いて識別可能にする。
一方、端末装置P1は、ユーザ操作により戻るボタンBt5が押下(選択)されると、画面Dp2において設定された検知エリアの名称を例えば「プリセット1」、「プリセット2」などの仮名称を用いて自動設定する。
図6は、停滞FlagのOFF状態からON状態への移行を説明する図である。なお、図6では、動体の一例として猫を検知する例について説明する。
画面Mn4は、検知エリアAr1が設定された撮像領域を示す。検知エリアAr1は、プロセッサ11aが動体を検知可能な複数の検知領域のそれぞれ(縦列Ar11,…,Ar31および横列Br11,…,Br16のそれぞれで示される領域)を有して構成されるエリアである。
画面Mn5においてプロセッサ11aは、猫U1の体温を熱源として検知する。プロセッサ11aは、赤外線センサ14によって検知された熱源位置に基づいて、駆動部16を駆動させるとともに、撮像部13によって撮像された複数の撮像画像のそれぞれの明るさの変化量に基づいて、動体(猫U1)を検知する。画面Mn5において、プロセッサ11aは、検知された動体(猫U1)の位置が検知エリアAr1内に侵入していないと判定し、停滞FlagをOFF状態のままにする。
画面Mn6におけるプロセッサ11aは、検知エリアAr1への猫U1の侵入を検知する。具体的に、プロセッサ11aは、撮像部13によって撮像された複数の撮像画像のそれぞれにおける明るさの変化量を定期的(例えば200m秒ごと)に検知し、明るさの変化量が所定の閾値を上回る領域のそれぞれの動体の位置とした検知結果を取得する。また、プロセッサ11aは、明るさの変化量が所定の閾値を上回る場合、撮像部13に録画映像の録画を開始する制御信号を生成して出力する。さらに、プロセッサ11aは、検知結果に基づいて、所定の検知条件を満たすと判定した場合、停滞FlagをOFF状態からON状態にするとともに、停滞時間のカウントアップを開始する。
図7は、停滞FlagのON状態からOFF状態への移行を説明する図である。なお、図7では、動体の一例として猫U1を検知する例について説明する。
画面Mn7におけるプロセッサ11aは、猫U1が検知エリアAr1に停滞していると判定し、停滞FlagをON状態にし、停滞時間のカウントアップを実行している。
画面Mn8におけるプロセッサ11aは、明るさの変化量が所定の閾値を上回る領域があるか否かを定期的に判定し、判定された領域を猫U1の位置として取得する。プロセッサ11aは、取得された猫U1の位置に基づいて、猫U1が検知エリアAr1外へ移動したか否かを判定する。図8において、プロセッサ11aは、検知結果に基づいて、猫U1が検知エリアAr1に停滞していないと判定し、停滞FlagをON状態からOFF状態にする。この際、プロセッサ11aは、カウントアップされた停滞時間が設定された停滞時間(例えば15秒)以上である場合、この検知エリアAr1における猫U1の停滞回数をインクリメントしてカウントし、検知エリアの識別情報(例えば名称)と停滞回数の情報とを含む行動ログを生成する。生成された行動ログは、メモリ12aに記憶され、ユーザ操作によって設定された間隔(例えば1日ごと)で端末装置P1に送信される。
図8は、行動ログの回数およびリスト表示例を説明する図である。図8は、ユーザ操作によって設定された間隔ごとにカメラC1から受信された録画映像および行動ログのそれぞれによって生成される画面であり、端末装置P1における表示部33に表示される。
画面Dp5は、カメラC1から受信された録画映像および行動ログのそれぞれを用いてプロセッサ11aにより生成される。画面Dp5は、サムネイルSm0と、サムネイル画像Sm1と、サムネイル画像Sm2とを含んで生成される。
サムネイルSm0の表示領域がユーザ操作によって押下(選択)されると、端末装置P1は、現在カメラC1によって撮像されているライブ映像を要求する要求信号を生成してカメラC1に送信し、カメラC1から受信されたライブ映像をストリーム再生して表示する画面(不図示)に移行する。また、サムネイルSm0上には、サムネイルSm0(つまり、カメラC1が最後に撮像した撮像画像)が撮像されたプリセット位置の名称「Living Room」が重畳表示される。
サムネイル画像Sm1は、検知エリア「Sleep」が設定された際に撮像された撮像画像のサムネイル画像である。サムネイル画像Sm1には、検知エリア「Sleep」における行動ログ回数Ct1と、行動ログに含まれる停滞回数をカウントした際に撮像され記録された録画映像数Ps1とが重畳して表示される。図8において、検知エリア「Sleep」における行動ログ回数は「4回」である。また、検知エリア「Sleep」における録画映像数は「3本」である。
サムネイル画像Sm2は、検知エリア「Eat area」が設定された際に撮像された撮像画像のサムネイル画像である。サムネイル画像Sm2には、検知エリア「Eat area」における行動ログ回数Ct2と、行動ログに含まれる停滞回数をカウントした際に撮像され記録された録画映像数Ps2とが重畳して表示される。図8において、検知エリア「Eat area」における行動ログ回数は「5回」である。また、検知エリア「Eat area」における録画映像数は「5本」である。
プロセッサ31aは、ユーザ操作によりサムネイル画像Sm1上の行動ログ回数Ct1の近傍を含む領域が押下(選択)されると、検知エリア「Sleep」における行動ログの詳細情報を一覧表示する画面Dp6を生成する。
なお、プロセッサ31aは、ユーザ操作によりサムネイル画像Sm1上の他の領域Sm11が押下(選択)されると、検知エリア「Sleep」のライブ映像を要求する要求信号を生成して、カメラC1に送信する。カメラC1は、要求信号に基づいて、検知エリア「Sleep」を設定した際の撮像領域(図5における検知エリア設定用画面Mn2が示す撮像領域)の撮像および記録(録画)を開始するとともに、撮像されたライブ映像を端末装置P1に送信する。端末装置P1におけるプロセッサ31aは、カメラC1から受信されたライブ映像と行動ログの詳細情報とを表示する画面Dp7(図9参照)を生成する。
画面Dp6は、撮像日D1と、検知エリアボタンPsn1,Psn2,Psn3のそれぞれと、複数のサムネイル画像Vs11,Vs12,Vs13のそれぞれと、複数の録画映像情報Dt11,Dt12,Dt13のそれぞれと、複数のアイコンV11,V12,V13のそれぞれとを含んで生成される。なお、画面Dp6においてサムネイル画像、録画映像情報、およびアイコンのそれぞれは、複数表示されているが、例えば停滞回数が1回である場合、これらは1つであってよい。
検知エリアボタンPsn1~Psn3のそれぞれは、ユーザ操作によって設定された検知エリアごとの行動ログおよび録画映像をフィルタリングして表示するためのボタンである。検知エリアボタンPsn1~Psn3のそれぞれのうちいずれか1つがユーザ操作により押下(選択)されると、プロセッサ31aは、選択されたプリセット位置あるいは検知エリアを撮像領域に含んで撮像された録画映像を画面Dp6に一覧表示する。
複数のサムネイル画像Vs11~Vs13のそれぞれは、録画された録画映像の最初の撮像画像をサムネイル化した画像であり、録画映像ごとに1つ生成される。
複数の録画映像情報Dt11~Dt13のそれぞれは、動体が最初に検知された検知エリアの名称と、録画映像の録画開始時刻と、録画映像の録画長とを含む。録画映像情報Dt11は、検知エリアの名称「Sleep」と、録画映像の録画開始時刻「10:23」と、録画映像の録画長「00:12」とを含んで画面Dp6に表示される。録画映像情報Dt12は、検知エリアの名称「Sleep」と、録画映像の録画開始時刻「14:57」と、録画映像の録画長「04:21」とを含む。また、録画映像情報Dt13は、検知エリアの名称「Sleep」と、録画映像の録画開始時刻「16:38」と、録画映像の録画長「01:15」とを含む。
なお、1つの録画映像で複数の検知エリアのそれぞれで停滞回数がカウントアップされた場合には、アイコンV13に示すように停滞回数がカウントされた検知エリアを示す番号を含んで生成される。
図9は、行動ログの録画映像の再生例を説明する図である。図9に示す画面Dp7は、ユーザ操作によりサムネイル画像Sm1上の他の領域Sm11が押下(選択)された際に、プロセッサ31aによって生成され、表示部33に表示される。
画面Dp7は、検知エリア「Sleep」でフィルタリングされた行動ログの詳細情報を一覧表示した画面であって、図8に示す画面Dp6における行動ログの詳細情報がユーザ操作によりスクロールされ、サムネイル画像Vs12,Vs13が表示された画面を示す。画面Dp7は、ライブ映像表示領域Mn9と、複数のボタンBt7,Bt8,Bt9,Bt10,Bt11,Bt12のそれぞれと、複数のエリアボタンPsn0~Psn3のそれぞれと、複数のサムネイル画像Vs12,Vs13のそれぞれと、複数の録画映像情報Dt12,Dt13のそれぞれと、複数のアイコンV12,V13のそれぞれとを含んで生成される。
ライブ映像表示領域Mn9は、検知エリア「Sleep」を設定した際の撮像領域(図5における検知エリア設定用画面Mn2が示す撮像領域)において、現在カメラC1によって撮像されているライブ映像が表示される。ライブ映像表示領域Mn9上には、現在の録画映像の録画時間Dt14と温度センサ17によって測定された現在のカメラC1の設置位置における気温Dt15とが重畳表示される。
ボタンBt7は、カメラC1によって撮像されているライブ映像(撮像映像)の出力機能をON/OFFするためのボタンである。端末装置P1は、ユーザ操作によってボタンBt7が押下(選択)されると、ライブ映像の送信を要求する制御信号を生成してカメラC1に送信する。カメラC1は、ライブ映像の出力機能をONにする制御信号を受信すると、ライブ映像(撮像映像)を端末装置P1に送信する。一方、端末装置P1は、ユーザ操作によって再度ボタンBt7が押下(選択)されると、ライブ映像の出力機能をOFFする制御信号を生成してカメラC1に送信する。カメラC1は、ライブ映像の出力機能をOFFする制御信号を受信すると、端末装置P1へのライブ映像(撮像映像)の送信を終了する。
ボタンBt8は、ユーザ操作による押下(選択)のタイミングに表示されている1つの撮像画像(静止画)を取得可能に制御するためのボタンである。プロセッサ31aは、ユーザ操作によってボタンBt8が押下(選択)されると、押下(選択)のタイミングに表示されている撮像画像を記憶する。
ボタンBt9は、撮像部13によって撮像されているライブ映像の記録開始/記録終了を制御するためのボタンである。プロセッサ31aは、ユーザ操作によってボタンBt9が押下(選択)されると、ライブ映像の記録を要求する要求信号を生成して、カメラC1に送信する。カメラC1は、受信された要求信号に基づいて、ライブ映像を記録(録画)する。なお、ライブ映像を記録している際に、再度ユーザ操作によってボタンBt9が押下(選択)された場合、プロセッサ31aは、記録を終了させる要求信号を生成してカメラC1に送信する。
ボタンBt10は、端末装置P1のマイクMk2の機能のON/OFF状態を切り替えるためのボタンである。プロセッサ31aは、ユーザ操作によってボタンBt10が押下(選択)されると、端末装置P1のマイクMk2の機能をON状態にし、マイクMk2により収音されたユーザの音声を電気信号に変換してカメラC1に送信する。カメラC1は、受信された電気信号を音(音声)に変換し、スピーカSP1から出力する。また、プロセッサ31aは、ユーザ操作によって再度ボタンBt10が押下(選択)されると、端末装置P1のマイクMk2の機能をOFF状態にする。
ボタンBt11は、カメラC1から受信された電気信号を端末装置P1が備えるスピーカSP2から出力する機能のON/OFF状態を切り替えるためのボタンである。プロセッサ31aは、ユーザ操作によってボタンBt11が押下(選択)されると、撮像されたライブ映像とともに収音された音(音声)を端末装置P1のスピーカSP2から出力する機能をON状態にする。また、プロセッサ31aは、ユーザ操作によって再度ボタンBt11が押下(選択)されると、端末装置P1のスピーカSP2の機能をOFF状態にする。
ボタンBt12は、複数の赤外線センサ14のそれぞれあるいはプロセッサ11aにより検知された動体の位置に応じて、カメラC1における撮像部13の向きを変更して動体を追跡する機能(つまり追跡機能)のON/OFF状態を切り替えるためのボタンである。プロセッサ31aは、ユーザ操作によってボタンBt12が押下(選択)されると、カメラC1の追跡撮像する機能(つまり、駆動部16を駆動させる機能)をON状態にする信号を生成して、カメラC1に送信する。また、プロセッサ31aは、ユーザ操作によってもう一度ボタンBt12が押下(選択)されると、カメラC1の追跡撮像する機能(つまり、駆動部16を駆動させる機能)をOFF状態にする信号を生成して、カメラC1に送信する。カメラC1は、受信された要求信号に基づいて、複数の赤外線センサ14のそれぞれあるいはプロセッサ11aにより検知された動体の位置に応じて駆動部16を駆動させながら、動体の追跡撮像機能をON状態あるいはOFF状態に切り替える。
エリアボタンPsn0は、ユーザ操作により押下(選択)されると、すべての検知エリアのそれぞれで撮像された録画映像の一覧表示画面(不図示)に移行する。
画面Dp8は、画面Dp7においてユーザ操作により領域Vs130が押下(選択)された場合に、表示される録画映像の再生画面である。画面Dp8は、録画映像表示領域Mn10と、シークバーSBと、複数のアイコンCt13,Ct14のそれぞれと、複数のボタンBt16,Bt17,Bt18,Bt19,Bt20,Bt21のそれぞれを含んで生成される。なお、ボタンBt18は、画面Dp7におけるボタンBt11と同一の機能を有するため、説明を省略する。
録画映像表示領域Mn10には、領域Vs130に示された録画映像が表示される。また、録画映像表示領域Mn10上には、再生箇所を過去に早く戻る制御を実行するためのボタンBt13と、録画映像の再生/停止を制御するためのボタンBt14と、再生箇所を未来に早く進める制御を実行するためのボタンBt15とが重畳して表示される。これらのボタンBt13~Bt15のそれぞれは、ユーザ操作により録画映像の再生を制御する際に使用され、ユーザ操作により録画映像表示領域Mn10上のいずれかが押下(選択)された場合に表示され、一定時間が経過あるいは再度ユーザ操作により押下(選択)されると非表示となる。
シークバーSBは、録画映像表示領域Mn10で再生される録画映像の再生箇所をスライダSB1で可視化する。プロセッサ31aは、ユーザ操作によって変更されたスライダSB1の位置に応じた再生箇所を再生する。シークバーSBは、図9においてバーの左端に現在の再生箇所を示す再生経過時間「00:38」を示し、バーの右端に録画映像の録画時間「01:15」を示す。
複数のアイコンCt13,Ct14のそれぞれは、番号「1」、「2」で示される検知エリア(例えば番号「1」が検知エリア「Living Room」、番号「2」が検知エリア「Sleep」など)のそれぞれで滞在回数がカウントアップされたタイミングを示すアイコンである。ユーザは、これらのアイコンを目安にスライダSB1をアイコンと対応する位置に移動させることで、滞在回数がカウントアップされた際の録画映像を視聴できる。
ボタンBt16は、録画映像表示領域Mn10に表示された録画映像を端末装置P1におけるメモリ32aに記録するためのボタンである。プロセッサ31aは、ユーザ操作によりボタンBt16が押下(選択)されると、録画映像表示領域Mn10に表示された録画映像を端末装置P1におけるメモリ32aに記録する。
ボタンBt17は、録画映像表示領域Mn10に表示された録画映像が誤操作などにより誤って消去されないように保護するためのボタンである。プロセッサ31aは、ユーザ操作によりボタンBt17が押下(選択)されると、録画映像表示領域Mn10に表示された録画映像に消去などの操作を受け付けない設定を実行する。
ボタンBt19は、録画映像表示領域Mn10に表示された録画映像の再生/停止を制御するためのボタンである。プロセッサ31aは、ユーザ操作によりボタンBt19が押下(選択)されると、録画映像表示領域Mn10に表示された録画映像の再生/停止を制御する。
ボタンBt20は、録画映像表示領域Mn10に表示された録画映像を外部メモリ32b(例えば、ネットワークを介して接続されたBlu-ray(登録商標)レコーダなど)に記録するためのボタンである。プロセッサ31aは、ユーザ操作によりボタンBt19が押下(選択)されると、録画映像表示領域Mn10に表示された録画映像を外部メモリ32bに記録する。
ボタンBt21は、録画映像表示領域Mn10に表示された録画映像を消去するためのボタンである。プロセッサ31aは、ユーザ操作によりボタンBt19が押下(選択)されると、録画映像表示領域Mn10に表示された録画映像を消去する。
図10を参照して、カメラC1の動作手順について説明する。図10は、実施の形態1に係るカメラC1の動作手順例を示すフローチャートである。
カメラC1は、複数の赤外線センサ14のそれぞれにより検知された熱源位置を撮像する。カメラC1は、撮像している撮像領域においてユーザ操作により1以上の検知エリアが登録(設定)されているか否かを判定する(St1)。カメラC1は、ユーザ操作により1以上の検知エリアが設定されている場合(St1,YES)、撮像された複数の撮像画像のそれぞれの明るさの変化量に基づいて、定期的に動体の位置を検知する。カメラC1は、検知された動体が設定された検知エリアに入ったか否かを判定する(St2)。
なお、カメラC1は、撮像している撮像領域においてユーザ操作により1以上の検知エリアが登録されていない場合(St1,NO)、ステップSt1の処理に戻る。
カメラC1は、ステップSt2の処理において動体が検知エリアに入ったと判定した場合(St2,YES)、さらに取得された検知結果としての動体の位置が検知エリアに入っているか否かを判定する(St3)。
カメラC1は、取得された検知結果が所定の検知条件を満たすと判定した場合(例えば、3回連続して動体が検知エリアに入っていると判定した場合)(St3,YES)、その検知エリアにおける動体の停滞FlagをON状態にする(St4)。なお、ステップSt3の処理において、カメラC1は、St2の処理において実行される判定を1回目としてカウントする。なお、ステップSt3の処理における検知条件は、上述の例に限定されないことは言うまでもない。
一方、カメラC1は、連続して取得される検知結果が所定の検知条件を満たさないと判定した場合(例えば、3回連続して動体が検知エリアに入っていると判定しなかった場合)(St3,NO)、ステップSt2の処理に戻る。
カメラC1は、停滞FlagがON状態になると、検知エリアにおける動体の滞在時間のカウントアップを開始し(St5)、動体が検知エリア外に移動したか否かの判定を実行する(St6)。カメラC1は、動体が検知エリア外に移動した場合(St6,YES)、停滞時間のカウントアップを終了するとともに、停滞FlagをOFF状態にし(St7)、ステップSt2の処理に戻る。
一方、カメラC1は、動体が検知エリア外に移動しない場合(St6,NO)、さらにカウントアップされた停滞時間が所定の時間までカウントされたか(つまりカウントが満了したか)否かを判定する(St8)。カメラC1は、停滞時間のカウントが満了した場合(St8,YES)、その検知エリアにおける行動ログ(停滞回数の一例)をインクリメントしてカウントする(St9)。
なお、カメラC1は、停滞時間のカウントが満了していない場合(St8,NO)、ステップSt5の処理に戻り、停滞時間のカウントアップを継続して実行する。
カメラC1は、ステップSt9の処理の後、動体が検知エリア外に移動したか否かの判定を実行する(St10)。カメラC1は、動体が検知エリア外に移動した場合(St10,YES)、停滞FlagをOFF状態にし(St7)、ステップSt2の処理に戻る。
一方、カメラC1は、カメラC1は、動体が検知エリア外に移動しない場合(St10,NO)、動体が検知エリア外に移動したか否かの再判定を実行する(St10)。
以上により、実施の形態1に係る屋内カメラシステム100におけるカメラC1は、動体(例えばペット、子供、お年寄りなど)を撮像可能な屋内カメラであって、動体を撮像する撮像部13と、ユーザにより予め設定された動体の停滞を検知する対象となる少なくとも1つの検知エリアと動体が検知エリアに入って停滞した回数を示す停滞回数とを関連付けて記憶するメモリ12aと、撮像部13によって撮像された複数の撮像画像のそれぞれに基づいて、動体の位置を検知するとともに、撮像部13によって撮像された複数の撮像画像のそれぞれに基づいて、動体の位置を検知するとともに、検知エリアにおける動体の停滞回数をカウントするプロセッサ11aと、を備える。プロセッサ11aは、撮像部13により撮像された複数の撮像画像のそれぞれに基づいて、動体が検知エリア内に所定時間以上停滞すると判定した場合、検知エリアにおける動体の停滞回数をインクリメントしてカウントするとともに、検知エリアの識別情報と停滞回数の情報とを含む行動ログを生成する。
これにより、実施の形態1に係る屋内カメラシステム100におけるカメラC1は、ユーザ操作により予め設定された検知エリアにおける動体(例えばペット、子供、お年寄りなど)の行動ログを生成でき、ユーザ操作により設定された複数の検知エリアのそれぞれにおける動体の行動を検知して記録できる。
また、実施の形態1に係る屋内カメラシステム100におけるカメラC1におけるプロセッサ11aは、検知を所定間隔(例えば、200m秒)で繰り返し実行する。プロセッサ11aは、検知を繰り返し実行し、この検知結果が所定の検知条件(例えば、動体の検知が3回連続して検知される、あるいは連続5回の検知処理のうち動体が3回検知されるなどの条件)を満たすと判定した場合、検知エリアにおける動体の停滞時間の計測を開始する。これにより、実施の形態1に係る屋内カメラシステム100におけるカメラC1は、例えばカーテンなどが検知エリア内で動いた場合、あるいは動体が検知エリアを通り過ぎた場合などの誤検知および誤った行動ログの生成を防止できる。
また、実施の形態1に係るカメラC1におけるプロセッサ11aは、検知エリアにおける動体の停滞時間の計測を開始した後、検知に基づく動体の位置が所定時間以内に検知エリア外に移動した場合、検知エリアにおける動体の停滞回数を現在値に維持する。これにより、実施の形態1に係るカメラC1は、例えばカーテンなどが検知エリア内で動いた場合、あるいは動体が検知エリアを通り過ぎた場合などの誤検知および誤った行動ログの生成を防止できる。
また、実施の形態1に係る屋内カメラシステム100におけるプロセッサ11aは、撮像された複数の撮像画像のそれぞれの明るさの変化量が所定の変化量を上回る場合、ペットを検知したと判定し、メモリ12aに撮像部13により撮像されている動体の撮像映像の記録(録画)を開始させる。なお、プロセッサ11aは、撮像画像に映るペットが検知された所定時間前(例えば5秒前、10秒前など)までの撮像画像(映像)を含んで記録してよい。これにより、実施の形態1に係る屋内カメラシステム100におけるカメラC1は、検知エリアにおける動体の行動を映像としてより確実に記録(録画)できる。よって、ユーザは、生成された行動ログとともに、記録された録画映像から動体の行動を確認することができる。
また、実施の形態1に係る屋内カメラシステム100におけるカメラC1は、動体の体温を熱源とする熱源位置を検知可能な赤外線センサ14と、撮像部13をパン回転およびチルト回転のうち少なくとも1つの実行を可能に支持するパンモータ16aおよびチルトモータ16bのうち少なくとも1つを駆動させる駆動部16、をさらに備える。プロセッサ11aは、センサによって検知された熱源位置に基づいて、動体の位置を含む制御信号を生成して、駆動部16に出力する。駆動部16は、入力された制御信号に基づいて、パンモータ16aおよびチルトモータ16bのうち少なくとも1つを駆動する。これにより、実施の形態1に係る屋内カメラシステム100におけるカメラC1は、プロセッサ11aにより検知された動体を追跡できる。またカメラC1は、プロセッサ11aにより検知された動体を追跡しながら撮像できる。
また、実施の形態1に係る屋内カメラシステム100におけるカメラC1におけるメモリ12a、映像メモリ12bおよび外部メモリ12cは、記録された撮像映像(つまり録画映像)に撮像映像の記録(録画)を開始した録画開始時刻と、ペットが停滞した検知エリアの情報とを含むメタ情報TB1を関連付けて記録する。これにより、実施の形態1に係る屋内カメラシステム100におけるカメラC1は、ユーザ操作により所定の検索要求あるいはフィルタリングの要求があった場合、メタ情報TB1を用いて容易に検索あるいはフィルタリング処理を実行できる。
(実施の形態2の内容に至る経緯)
特許文献2の構成では、既存の動画像ファイルに関連あるいはユーザが追記することを選択した場合、動画像データを既存の動画像ファイルに追記することで動画像ファイル(つまりダイジェスト映像)を生成できる。しかし、特許文献2の構成では、生成された動画像データが既存の動画像データと関連がない場合、ユーザは、ユーザ操作により既存の動画像データに追記する動画像データを選択する必要があるため、ダイジェスト映像の生成が手間だった。さらに、特許文献2の構成では、既存の動画像データと関連する動画像データが多数ある場合、生成された動画像データの容量が大きくなり、画像処理装置が備える記録媒体の記憶容量が生成された動画像データにより占有される可能性があった。
そこで、以下に示す実施の形態2においては、ユーザ操作により設定された複数の検知エリアのそれぞれにおけるペットの行動を検知して記録された録画映像の確認に用いるダイジェスト映像を容易に生成するダイジェスト映像再生システムおよびダイジェスト映像再生プログラムの例を説明する。
(実施の形態2)
実施の形態2に係る屋内カメラシステムの構成は、実施の形態1に係る屋内カメラシステム100と同様であるので、実施の形態1と同一の構成要素については同一の符号を付すことでその説明を省略する。実施の形態2では、実施の形態1で記録された録画映像を用いて、ユーザ操作により入力された指定日あるいは指定期間におけるダイジェスト映像を生成する例について説明する。
図11は、ダイジェスト映像の再生例を説明する図である。ダイジェスト映像のファイル一覧は、カメラC1におけるプロセッサ11aによって生成され、ユーザよって入力された指定日を含む指定期間、あるいは単に入力された指定期間の情報と、指定期間に含まれる撮像日ごとに記録された複数の録画映像のうち任意に抽出された1つの録画映像の情報とを含んで生成される。端末装置P1は、カメラC1からダイジェスト映像のファイル一覧を受信すると、ダイジェスト映像ボタンWDを含む画面Dp9を生成し、表示部33に表示する。
画面Dp9は、検知エリアボタンPsn1が選択され、検知エリア「Living Room」が撮像された録画映像のそれぞれのみをフィルタリング(抽出)して一覧表示した画面であり、ユーザ操作によって押下(選択)されるとダイジェスト映像を再生する画面Dp10に移行するダイジェスト映像ボタンWDを含む。プロセッサ31aは、ユーザ操作によりダイジェスト映像ボタンWDが押下(選択)されると、ダイジェスト映像ファイル一覧に含まれるいずれかの撮像日に記録された録画映像のデータを要求する要求信号を生成して、カメラC1に送信する。また、プロセッサ31aは、画面Dp10に移行する。
画面Dp10は、画面Dp9において、ユーザ操作によりダイジェスト映像ボタンWDが押下(選択)されて表示部33に表示され、ダイジェスト映像のファイル一覧に含まれる録画映像をダイジェスト再生する画面である。画面Dp10は、ダイジェスト再生領域Mn11と、シークバーSBと、複数のボタンBt18,Bt19のそれぞれとを含んで生成される。画面Dp10において、シークバーSBのスライダSB2は、録画時間「00:18」のうち現在の再生箇所を示す再生経過時間「00:03」を示す位置を示す。
なお、画面Dp10におけるボタンBt19は、現在再生されている録画映像を所定時間(例えば5秒間)ごとに再生するダイジェスト再生から録画長の全長を再生する通常再生に切り替えるためのボタンである。端末装置P1は、ユーザ操作により押下(選択)されると、現在再生されている録画映像の録画長の全長の送信をカメラC1に要求し、カメラC1から送信された録画映像を再生する。
ダイジェスト再生領域Mn11には、ダイジェスト映像のファイル一覧に含まれ、カメラC1から受信された録画映像のそれぞれが、所定時間(例えば5秒間)ごとに順次ストリーム再生されて表示される。
図12Aおよび図12Bを参照して、実施の形態2に係る屋内カメラシステムにおけるダイジェスト映像の生成および表示手順例について説明する。図12Aは、実施の形態2に係る屋内カメラシステムにおけるダイジェスト映像の生成手順例を説明するシーケンス図である。図12Bは、実施の形態2に係る屋内カメラシステムにおけるダイジェスト映像の表示手順例を説明するシーケンス図である。なお、図12Aおよび図12Bに示すダイジェスト映像の生成および表示手順において、指定期間は、ユーザによって選択された指定日を含む過去1週間を示す例について説明するが、これに限定されないことは言うまでもない。指定期間は、例えば5日、10日等の期間であってよい。
端末装置P1は、ユーザ操作によりダイジェスト機能の実行が選択されると(St21)、生成するダイジェスト映像の指定期間についてユーザ操作を受け付ける。端末装置P1は、ユーザよって入力された指定日を含む過去1週間分の日付情報を指定期間の情報として含み、かつダイジェスト機能の実行を要求する要求信号を生成して、カメラC1に送信する(St22)。
カメラC1は、受信された要求信号に含まれる指定期間の情報に基づいて、指定期間に含まれる撮像日ごとに録画ファイルを抽出する(St23)。ここでいう、録画ファイルは、撮像日ごとに撮像された複数の録画映像のそれぞれが記録されたファイルを示す。
カメラC1は、指定期間に含まれる撮像日の日数N(N:整数)がN>0であるか否かを判定し(St24)、指定期間に含まれる撮像日の日数NがN>0であると判定した場合(St24,YES)、さらにN日前の録画ファイルに録画映像が記録されているか否かを判定する(St25)。
カメラC1は、指定日からN日前の録画ファイルに1以上の録画映像が記録されている場合(St25,YES)、指定日からN日前の録画ファイルに記録された1以上の録画映像のうち、いずれか1つの録画映像をランダムに抽出する(St26)。カメラC1は、撮像日の日数NをN-1(つまりデクリメント)する処理を実行し(St27)、ステップSt24の処理に戻る。
一方、カメラC1は、指定日からN日前の録画ファイルに1以上の録画映像が記録されていない場合(St25,NO)、撮像日の日数NをN-1(つまりデクリメント)する処理を実行し(St27)、ステップSt24の処理に戻る。
カメラC1は、ステップSt24~ステップSt27の処理を指定期間に含まれる撮像日の日数NがN=0になるまで繰り返し実行する。カメラC1は、指定期間に含まれる撮像日の日数NがN>0か否かを判定し(St24)、指定期間に含まれる撮像日の日数NがN=0であると判定した場合(St24,NO)、指定期間に含まれる撮像日ごとに、ステップSt26の処理において抽出された録画映像の情報(例えば、メタ情報TB1)と、録画映像が記録された撮像日の情報とを含むダイジェスト映像のファイルを生成する。なお、カメラC1は、録画映像が記録されていない撮像日については、撮像日の情報のみを含むファイルを生成してもよい。
カメラC1は、生成された指定期間に含まれる撮像日ごとのダイジェスト映像のファイルのそれぞれを含むファイル一覧をさらに生成し、このファイル一覧を端末装置P1に送信する(St28)。
なお、カメラC1は、ステップSt24の処理において、ユーザによって入力された指定期間のうちいずれの撮像日においても録画映像が記録されていない場合、指定期間に記録された録画映像がないことを通知するメッセージを端末装置P1に送信し、表示させてよい。
端末装置P1は、カメラC1から送信されたファイル一覧に含まれる撮像日ごとの録画映像のダイジェスト再生を要求する要求信号を生成し、カメラC1に送信する(St29)。
カメラC1は、端末装置P1から送信された要求信号に基づいて、ファイル一覧に含まれるファイルうち、端末装置P1に送信していない(つまりダイジェスト再生されていない)いずれか1つのファイルを選択する(St30)。カメラC1は、選択されたファイルに含まれる録画映像のデータを端末装置P1に送信する(St31)。
端末装置P1は、カメラC1から送信された録画映像のデータをストリーム再生する(St32)とともに、この録画映像の再生時間のカウントアップを開始する。端末装置P1は、録画映像の再生時間が5秒経過するか否かを判定し(St33)、再生時間が5秒経過した場合(St33,YES)、カメラC1から受信された録画映像のデータと、ファイル一覧に含まれる録画映像の情報とを照合し、未再生のファイルがあるかを判定する(St34)。なお、ステップSt33において判定される再生時間が5秒経過の例を示すが、ダイジェスト再生される録画映像の再生時間は、5秒に限定されなくてよいことは言うまでもない。
一方、端末装置P1は、再生時間が5秒経過していない場合(St33,NO)、再度ステップSt33の処理に戻り、録画映像の再生時間が5秒経過するか否かを再判定する。なお、ステップSt33において判定される再生時間が、カメラC1によって記録される録画映像の最小録画時間よりも大きい場合、端末装置P1は、ステップSt34の処理に移行してもよい。
端末装置P1は、録画映像の情報を含むファイル一覧のうち、未再生のファイルがあると判定した場合(St34,YES)、未再生の他のファイルに含まれる録画映像のダイジェスト再生を要求する要求信号を生成し、カメラC1に送信する(St35)。カメラC1は、端末装置P1から送信された要求信号に基づいて、ステップSt30の処理に移行する。
端末装置P1は、録画映像の情報を含むファイル一覧のうち、未再生のファイルがないと判定した場合(St34,NO)、ダイジェスト機能を終了する。
以上により、実施の形態2に係るダイジェスト映像再生システムは、動体(例えば、ペット、子供、お年寄りなど)を撮像するカメラC1(カメラの一例)と端末装置P1とが互いに通信可能に接続される。カメラC1は、動体を撮像した録画映像を撮像日ごとに記録する。端末装置P1は、録画映像が記録された撮像日を含む指定期間の入力を受け付け、指定期間をカメラC1に送信する。カメラC1は、受信された指定期間に含まれる撮像日に記録された撮像日ごとの複数の録画映像を参照して、撮像日ごとにいずれか1つの録画映像を任意に抽出する。端末装置P1は、指定期間に含まれるいずれかの撮像日に対応して抽出された1つの抽出映像の送信要求をカメラC1に送信し、カメラC1から送信されたいずれかの撮像日に対応して抽出された1つの抽出映像を受信して表示部33に所定時間分再生し、所定時間分の再生後(例えば、再生時間5秒経過後)に、指定期間に含まれる他の撮像日に対応して抽出された1つの抽出映像の送信要求をカメラC1に繰り返して送信する。
これにより、実施の形態2に係るダイジェスト映像再生システムは、ユーザ操作により設定された複数の検知エリアのそれぞれにおける動体の行動を検知して記録された録画映像の確認に用いるダイジェスト映像を容易に生成できる。また、ダイジェスト映像再生システムは、撮像日ごとに1つの録画映像を任意に選択して抽出するため、生成されたファイル一覧のデータ容量を抑制することができる。さらに、ダイジェスト映像再生システムは、生成されたダイジェスト映像のファイル一覧に基づいて、ダイジェスト再生されるダイジェスト映像(つまり、撮像日ごとに任意に抽出された録画映像)を所定時間分だけ再生するため、ダイジェスト映像のユーザによる確認作業に要する時間を短縮できる。
また、実施の形態1に係るダイジェスト映像再生システムにおけるカメラC1は、指定期間に含まれる撮像日に対応して抽出された1つの抽出映像のリスト情報(つまり、ダイジェスト映像のファイル一覧)を生成して、端末装置P1に送信する。端末装置P1は、リスト情報(つまり、ダイジェスト映像のファイル一覧)に基づいて、指定期間に含まれる他の撮像日に対応して抽出された1つの抽出された録画映像の送信要求を生成する。これにより、実施の形態2に係るダイジェスト映像再生システムは、指定期間に含まれ、かつ録画映像が記録されたすべての撮像日のそれぞれにおいて抽出された録画映像をすべて再生できる。
また、実施の形態2に係るダイジェスト映像再生システムにおけるカメラC1は、指定期間に含まれる撮像日に記録された録画映像がない場合、指定期間のうち録画映像が記録されていない撮像日以外の撮像日ごとにいずれか1つの録画映像を任意に抽出する。これにより、実施の形態2に係るダイジェスト映像再生システムは、録画映像が記録されていない撮像日を除いて、ダイジェスト映像を容易に生成できる。
また、実施の形態2に係るダイジェスト映像再生システムにおけるカメラC1は、録画映像の録画開始時刻と録画映像が撮像された撮像エリアの一例としての検知エリアの情報とを含むメタ情報TB1を生成し、生成されたメタ情報TB1を付与した録画映像を記録する。これにより、実施の形態2に係るダイジェスト映像再生システムは、カメラC1と端末装置P1との間でファイル一覧に含まれる複数のファイルのそれぞれから任意のファイルに含まれる録画映像のデータを送受信する際に、録画映像に含まれるメタ情報TB1に基づいて、端末装置P1に送信すべき録画映像のデータを容易に検索できる。また、ダイジェスト映像再生システムは、再生されたダイジェスト映像としての録画映像が記録(撮像)された検知エリアの情報を容易に表示できる。
また、実施の形態2に係るダイジェスト映像再生システムにおける端末装置P1は、録画映像に付与されたメタ情報TB1のうち撮像エリアの一例としての検知エリアの指定を受け付け、指定された撮像エリアの情報をカメラC1に送信する。カメラC1は、指定された撮像エリアの情報を含むメタ情報TB1が付与され、かつ指定期間に含まれる撮像日に記録された撮像日ごとの複数の録画映像を参照して、撮像日ごとにいずれか1つの録画映像を任意に抽出する。これにより、実施の形態2に係るダイジェスト映像再生システムは、ユーザが所定の検知エリアにおいて記録された録画映像のみを用いてダイジェスト機能を実行したい場合であっても、メタ情報TB1に含まれる検知エリアの情報に基づいて、ダイジェスト映像として抽出される録画映像を容易にフィルタリングできる。
以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。