JP6662223B2

JP6662223B2 - 映像記録再生装置

Info

Publication number: JP6662223B2
Application number: JP2016136790A
Authority: JP
Inventors: 将博松江; 裕志笠原; 舞菊地
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2016-07-11
Filing date: 2016-07-11
Publication date: 2020-03-11
Anticipated expiration: 2036-07-11
Also published as: JP2018011113A

Description

本発明は、監視カメラに接続された映像記録再生装置に関し、特に映像検索機能を有するものである。

近年、映像監視システムでは、レコーダーに複数のカメラを接続し、各カメラで撮影した映像をレコーダーに内蔵されたＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）に記録する監視カメラシステムが一般的となっている。また、カメラの映像は高画質化・高フレームレート化し、レコーダーに内蔵されるＨＤＤは大容量化が進んでおり、鮮明な映像を長時間記録できるようになってきている。しかし、映像の高画質化・高フレームレート化に伴い、レコーダーに求められる処理能力は高くなっている。また、ＨＤＤは大容量化に伴い、再生したい映像の撮影時刻が明確にわからない場合、映像を探し出すことが難しく、ユーザーの負担が大きくなっている。

従来から、映像の再生時におけるユーザーの負荷軽減を目的とし、記録映像をユーザーが指定する条件により検索し、目的の映像を再生する技術がある。特許文献１では、外部処理装置をレコーダーに接続し、レコーダーのＨＤＤに記録された映像を外部処理装置に読み出し、外部処理装置にてユーザーの指定する条件で検索して、目的の映像を外部記録媒体に再度記録し、ユーザーの要求時に再生することで、レコーダーに映像検索時の負荷をかけずにユーザーが指定する条件を満たす記録映像を抽出する映像記録システムが開示されている。

特開２０１１−１８８３７０号公報

特許文献１に開示されている従来技術では、レコーダーの他に、外部処理装置が必要となり運用時のコスト上昇や新たな装置を設置するスペース等が必要となるとの課題がある。本発明は上記のような課題を解消するためになされたものである。

この発明は上述のような課題を解消するためになされたもので、本発明によれば、ネットワークを介してカメラと接続する映像記録再生装置は、カメラから検索用の第一の映像ストリームと再生用の第二の映像ストリームとを受信する受信部と、検索用の第一の映像ストリームをデコード後第一の映像データへ、再生用の第二の映像ストリームをデコード後第二の映像データへ復号処理するデコード部と、検索条件を受付ける入力部と、デコード後第一の映像データを用いて検索条件に一致する映像フレームを検索する検索処理を実施する検索処理部と、デコード後第二の映像データを用いて画像補正処理を実施する画像処理部とを含む処理部とを備え、処理部において、検索処理部における検索処理と画像処理部における画像補正処理とはいずれか一方を実施する。

この発明に依れば、外部処理装置を用いることなく、またレコーダーの処理能力を増加させることなく、映像検索を実現することが可能となる。これにより、映像監視システムの運用コストの抑制や、設置スペースの削減との効果を得ることができる。

この発明の実施の形態１による映像記録再生装置を含む映像監視システム全体の構成図である。この発明の実施の形態１による映像記録再生装置１０２の機能構成図である。この発明の実施の形態１によるカメラから送信される検索用の第一の映像ストリームと再生用の第二の映像ストリームの概念図である。この発明の実施の形態１による映像記録再生装置１０２のハードウェア構成を示すブロック図である。この発明の実施の形態１による動作フロー図である。この発明の実施の形態１による出力部２１３へ接続されたモニタのメイン画面の表示例である。この発明の実施の形態１による出力部２１３へ接続されたモニタのカメラ選択画面の表示例である。ユーザーが検索対象とするカメラを指定する画面を示す説明図である。この発明の実施の形態２による動作フロー図である。この発明の実施の形態２による出力部２１３へ接続されたモニタのサムネイル表示画面の表示例である。

実施の形態１．
図１は、この発明の実施の形態１による映像記録再生装置を含む映像監視システム全体の構成図である。図１において、カメラ１０１、映像記録再生装置１０２は、ネットワーク１０３に接続されている。カメラ１０１は、対象領域を撮影することで得た映像を検索用の第一の映像ストリームと、再生用の第二の映像ストリームとして、ネットワーク１０３を介して映像記録再生装置１０２へ送信する。映像記録再生装置１０２は、受信した映像を記録する。映像は、画像でもよい。モニタ１０４は、映像記録再生装置１０２から入力されるカメラ１０１にて撮影された映像、映像記録再生装置１０２の操作画面を表示する。また、映像記録再生装置１０２は、入力装置１０５によりユーザーによる操作が可能である。なお、カメラ１０１は、撮像装置とも称され、また具体的には監視カメラであってもよく、複数接続されてもよい。また、カメラ１０１と映像記録再生装置１０２は直接接続されてもよい。

図２は、この発明の実施の形態１による映像記録再生装置１０２の機能構成図である。受信部２０１は、ネットワーク１０３を介してカメラ１０１から検索用の第一の映像ストリーム２０２と再生用の第二の映像ストリーム２０３を受信する。

図３は、この発明の実施の形態１による映像記録再生装置１０２が受信する検索用の第一の映像ストリーム２０２と再生用の第二の映像ストリーム２０３の概念図である。カメラ１０１は、常時、検索用の第一の映像ストリーム２０２と再生用の第二の映像ストリーム２０３とを送信し、映像記録再生装置１０２は、各カメラから、常時、検索用の第一の映像ストリーム２０２と再生用の第二の映像ストリーム２０３とを受信する。映像記録再生装置１０２に、カメラ１０１を、複数接続しても良い。また、図３では、検索用の第一の映像ストリーム２０２と再生用の第二の映像ストリーム２０３とを便宜上、別線にて表しているが、異なるストリームであればよく、同一の通信線を用いて通信されてよい。なお、検索用の第一の映像ストリーム２０２は、ＱＶＧＡ（ＱｕａｄｒｕｐｌｅＶｉｄｅｏＧｒａｐｈｉｃｓＡｒｒａｙ）、１ｆｐｓ程度、再生用の第二の映像ストリーム２０３は、ＦｕｌｌＨＤ（ＦｕｌｌＨｉｇｈＤｅｆｉｎｉｔｉｏｎ）、３０ｆｐｓ程度を想定する。

検索用の第一の映像ストリーム２０２は、第二のストリーム２０３と比較して低解像度、あるいは低フレームレートとする。検索用の第一の映像ストリーム２０２のデータ量が、第二のストリーム２０３とのデータ量と比較して少なくなることから、検索処理に要する時間が短くなるとの効果を得ることができる。
再生用の第二の映像ストリーム２０３は、第一のストリーム２０２と比較して高解像度、あるいは高フレームレートとする。再生用の第二の映像ストリーム２０２のデータ量が、第二のストリーム２０３とのデータ量と比較して多くなることから、再生処理を高解像にて実施することができ、再生処理の際に画像をよりよく見せることができるとの効果を得ることができる。

図２に戻って説明する。検索用の第一の映像ストリーム２０２は、第一記録部２０４へ記録する。再生用の第二の映像ストリーム２０３は、第二記録部２０５へ記録され、またデコード部２０９へ入力される。処理部２０６は、検索処理部２０７と画像処理部２０８を有する。検索処理部２０７が処理中は、画像処理部２０８の処理を停止する。つまり検索処理部２０７と画像処理部２０８は、いずれか一方を動作させる。あるいは排他的に動作させる、あるいは択一的に動作させるとも言う。これにより、処理部２０６全体の処理負荷を増加させることなく、映像記録再生装置１０２内で検索処理と画像処理を実現することができる。画像処理部２０８で実施する処理の具体例としては、超解像処理などの画像をより良く見せるための画像補正処理である。

検索用の第一の映像ストリーム２０２は、デコード部２０９で復号され、デコード後第一の映像データ２１０として処理部２０６の検索処理部２０７へ入力される。
再生用の第二の映像ストリーム２０３は、デコード部２０９で復号され、デコード後第二の映像データ２１１として処理部２０６の画像処理部２０８へ入力する。画像処理部２０８は、デコード後第二の映像データ２１１に対して、超解像処理などの画像をより良く見せるための画像補正処理を実施し、画像処理後第二の映像データ２１２を出力部２１３へ入力する。

入力部２１４は、検索情報を入力するためのユーザー操作を受付ける。検索情報の具体例としては、検索開始指示、検索条件などがある。検索条件の具体例としては、「検索範囲」「抽出画像の条件」などである。検索範囲は、例えば、検索対象期間、撮影カメラなどである。抽出画像の条件は、例えば、動き検知有の映像フレームを抽出するなどである。

検索情報は、入力部２１４から制御部２１５を介して検索処理部２０７へ入力される。
検索処理部２０７は、検索情報に基づいて、デコード後第一の映像データ２１０を用いて検索処理を実施する。検索処理部２０７は、検索結果をメモリ２１６へ記録する。具体的には、検索条件に一致した画像（映像フレーム）の撮影時刻、撮影カメラの識別情報を含む検索結果をメモリ２１６へ記録する。加えて、検索条件に一致した映像フレームをメモリ２１６へ記録してもよい。検索処理部２０７は、検索範囲内の検索処理が完了した場合、検索処理が完了したことを示す検索処理完了情報を制御部２１５へ通知する。

制御部２１５は、検索情報と検索処理完了情報とに基づきスイッチ２１７、スイッチ２１８、スイッチ２１９、スイッチ２２０を制御する。
制御部２１５は、検索情報の検索開始指示に基づいて、スイッチ２１７の端子１と端子２を接続し、第一記録部２０４に記録されている「検索範囲」に一致する検索用の第一の映像ストリーム２０２をデコード部２０９へ入力する。
制御部２１５は、検索情報の検索開始指示に基づいて、スイッチ２１８の端子１と端子２を接続し、検索処理部２０７の動作を開始させ、デコード後第一の映像データ２１０を検索処理部２０７へ入力する。
制御部２１５は、検索情報の検索開始指示に基づいて、スイッチ２１９の端子１と端子２を接続し、入力部２１４から入力された検索情報などを出力部２１３へ入力する。
制御部２１５は、検索情報の検索開始指示に基づいて、スイッチ２２０の端子１と端子２を接続し、画像処理部２０８の動作を停止させ、デコード後第二の映像データ２１１を画像処理部２０８を経由せずに、出力部２１３へ入力する。

制御部２１５は、検索処理完了情報に基づいて、スイッチ２１７の端子１と端子２を開放し、検索用の第一の映像ストリーム２０２をデコード部２０９へ入力しない。
制御部２１５は、検索処理完了情報に基づいて、スイッチ２１８の端子１と端子２を開放し、検索処理部２０７の動作を停止させ、デコード後第一の映像データ２１０を検索処理部２０７へ入力しない。
制御部２１５は、検索処理完了情報に基づいて、スイッチ２２０の端子１と端子３を接続し、画像処理部２０８の動作を開始させ、デコード後第二の映像データ２１１を画像処理部２０８へ入力する。
また、図示を省略しているが、制御部２１５は、映像記録再生装置１０２の各部を制御する。

出力部２１３は、デコード部２０９で復号され、画像処理部２０８で画像補正処理を実施後のデータ２１２と入力部２１４から入力された検索情報などの操作画面とを合成し、接続されたモニタなどへ表示画像データを出力する。あるいは、デコード部２０９で復号され、画像補正処理を未実施のデコード後第二の映像データ２１１と入力部２１３から入力された検索情報などの操作画面とを合成し、接続されたモニタなどへ表示画像データを出力する。

図４は、この発明の実施の形態１による映像記録再生装置１０２のハードウェア構成を示すブロック図である。映像記録再生装置１０２は、受信装置４０１、出力装置４０２、ＨＤＤ４０３、入力装置４０４、処理回路４０５、メモリ４０６とを備える。ＨＤＤ４０３は、映像記録再生装置１０２と一体で構成されてもよいし、別装置として構成されてもよい。入力装置４０４の具体例としては、マウス、キーボード、マイク、リモートコントローラなどがある。また処理回路４０５は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）ともいう）であってもよい。

図２の受信部２０１は、図４の受信装置４０１によって実現される。図２の第一記録部２０４、第二記録部２０５は、図４のメモリ４０６によって実現される。図２の処理部２０６、検索処理部２０７、画像処理部２０８、デコード部２０９、制御部２１５、スイッチ２１７、スイッチ２１８、スイッチ２１９、スイッチ２２０は、図４の処理回路４０５によって実現される。図２の入力部２１４は、図４の入力装置４０４によって実現される。図２のメモリ２１６は、図４のメモリ４０６によって実現される。図２の出力部２１３は、図４の出力装置４０２によって実現される。

次に動作について説明する。図５は、この発明の実施の形態１による動作フロー図である。
ステップＳＴ５０１にて、制御部２１５は、入力部２１４から入力される検索情報に基づいて、検索処理が開始されたか否か判断する。開始されたと判断する場合、ステップＳＴ５０２へ移行する。開始されていないと判断する場合、ステップＳＴ５１２へ移行する。入力部２１４より検索情報、具体的には検索開始指示の入力がある場合、検索処理が開始されたと判断する。また、検索情報、具体的には検索開始指示の入力がない場合、検索処理が開始されていないと判断する。

ステップＳＴ５０２にて、制御部２１５は、画像処理部２０８の動作を停止する。あるいは画像処理部２０８の画像補正処理を停止する。また、スイッチ２２０の端子１と端子２を接続し、デコード後第二の映像データ２１１を画像処理部２０８を経由せずに、出力部２１３へ入力する。つまり、超解像処理などの画像をより良く見せるための画像補正処理を実施せずに、デコード後第二の映像データ２１１を出力部２１３へ入力する。これにより、検索処理実施中であっても、リアルタイム（現在）の撮影画像を表示可能となる。
ステップＳＴ５０３にて、制御部２１５は、検索処理部２０７の動作を開始する。あるいは検索処理部２０７の検索処理を開始する。
なお、ステップＳＴ５０２とステップＳＴ５０３は、同時であってもよい。

ステップＳＴ５０４にて、制御部２１５は、スイッチ２１７の端子１と端子２を接続し、第一記録部２０４に記録されている「検索範囲」に一致する検索用の第一の映像ストリーム２０２を読出し、デコード部２０９へ入力する。
ステップＳＴ５０５にて、デコード部２０９は、ステップＳＴ５０４で入力された検索用の第一の映像ストリーム２０２をデコード処理し、デコード後第一の映像データ２１０を出力する。
ステップＳＴ５０６にて、制御部２１５は、スイッチ２１８の端子１と端子２を接続し、デコード後第一の映像データ２１０を検索処理部２０７へ入力する。

ステップＳＴ５０７にて、検索処理部２０７は、検索処理を実行する。ステップＳＴ５０１にて、入力部２１４から入力される検索情報に基づいて検索処理を実行する。例えば、検索範囲である指定された検索対象期間における、指定された撮影カメラにて撮影された映像フレームに、抽出画像の条件に一致する映像フレームの有無を検索する。抽出画像の条件が、動き検知が有の映像フレームを抽出するとの条件の場合、指定された検索対象期間における指定された撮影カメラにて撮影された映像フレームのうち動き検知が有る映像フレームを抽出する。動き検知が有る映像フレームの抽出方法の具体例としては、検索処理部２０７は判断の対象となる映像フレームと1つ前の映像フレームとの差分と予め決められた閾値との比較結果に基づき動きの有無を判定する。
ステップＳＴ５０８にて、検索処理部２０７は、検索結果をメモリ２１６へ記録する。例えば、抽出画像の条件に一致する映像フレームの撮影時刻、撮影カメラの識別情報、当該一致した映像フレームをメモリ２１６へ記録する。

ステップＳＴ５０９にて、検索処理部２０７は、検索処理が完了したか否か判断する。ステップＳＴ５０１にて、入力部２１４から入力される検索範囲の検索処理が完了したか否か判断する。検索処理が完了したと判断する場合、検索処理が完了したことを示す検索処理完了情報を制御部２１５へ通知し、ステップＳＴ５１０へ移行する。検索処理が完了していないと判断する場合、ステップＳＴ５０４へ戻る。入力部２１４より検索情報、具体的には検索終了時刻の入力がある場合、検索終了時刻までの映像フレームの検索処理が完了している場合、検索処理が完了したと判断する。また、検索終了時刻までの映像フレームの検索処理が完了していない場合、検索処理が完了していないと判断する。

ステップＳＴ５１０にて、制御部２１５は、検索処理部２０７の動作を停止する。あるいは検索処理部２０７の検索処理を停止する。また、スイッチ２１７の端子１と端子２を開放し、検索用の第一の映像ストリーム２０２をデコード部２０９へ入力しない。スイッチ２１８の端子１と端子２を開放し、デコード後第一の映像データ２１０を検索処理部２０７へ入力しない。
ステップＳＴ５１１にて、制御部２１５は、画像処理部２０８の動作を開始する。あるいは画像処理部２０８の画像補正処理を開始する。スイッチ２２０の端子１と端子３を接続し、デコード後第二の映像データ２１１を画像処理部２０８へ入力する。つまり、超解像処理などの画像をより良く見せるための画像補正処理を実施後のデータ２１２を出力部２１３へ入力する。
なお、ステップＳＴ５１０とステップＳＴ５１１は、同時であってもよい。

ステップ５１２にて、制御部２１５は、画像処理部２０８の動作を実施する、あるいは継続する。あるいは画像処理部２０８の画像補正処理を実施する、あるいは継続する。スイッチ２２０の端子１と端子３の接続を継続し、デコード後第二の映像データ２１１を画像処理部２０８へ入力する。つまり、超解像処理などの画像をより良く見せるための画像補正処理を実施後のデータ２１２を出力部２１３へ入力する。
ステップＳＴ５１１の処理後、あるいはステップＳＴ５１２の処理後、ステップＳＴ５０１へ戻っても良い。

図６は、この発明の実施の形態１による出力部２１３へ接続されたモニタのメイン画面の表示例である。
出力部２１３は、再生用の第二の映像ストリーム２０３の画像補正処理を実施後のデータ２１２と入力部２１４からの操作画面とを合成し接続されたモニタなどへ表示画像データを出力する。あるいは、再生用の第二の映像ストリーム２０３のデコード部２０９で復号され、画像補正処理を未実施のデコード後第二の映像データ２１１と入力部２１３からの操作画面とを合成し接続されたモニタなどへ表示画像データを出力する。

メイン画面は、映像表示領域６０１で構成される。入力部２１３からの操作画面には、例えば、検索対象期間を指定する検索開始時刻指定領域６０２、検索終了時刻指定領域６０３、撮影カメラを指定するカメラ選択ボタン６０４がある。カメラ選択ボタン６０４を押下すると、例えば図７のカメラ選択画面へ移行する。カメラ選択画面では、検索範囲として撮影カメラを選択する。カメラ選択画面は、映像表示領域７０１と、カメラ選択ボタン７０２、カメラ名称表示領域７０３、決定ボタン７０４、キャンセルボタン７０５から構成される。カメラ名称表示領域７０３を参考に、検索範囲として撮影カメラを選択し、カメラ選択ボタン７０２をチェックし、決定ボタン７０４を押下する。決定ボタン７０４の押下で、カメラ選択画面が閉じられ、メイン画面へ戻る。メイン画面では、カメラ選択ボタン７０２で選択したカメラをカメラ選択結果ボタン６０５、カメラ名称表示領域６０６を有する撮影カメラ選択結果表示領域６０７へ表示する。現在時刻表示領域６０８にて、現在時刻、あるいは再生画像表示領域６０９に表示されている映像フレームの撮影時刻を表示する。再生画像表示領域６０９には、検索処理部２０７が停止中は、再生用の第二の映像ストリーム２０３の画像補正処理を実施後のデータ２１２が表示され、検索処理部２０７が処理中は、再生用の第二の映像ストリーム２０３の画像補正処理を未実施のデコード後第二の映像データ２１１が表示される。画像補正処理を実施後のデータ２１２とデコード後第二の映像データ２１１とでは画質が異なる。ユーザーの違和感を緩和するため、再生画像表示領域６０９にデコード後第二の映像データ２１１が表示される、検索処理部２０７が検索処理中は、映像表示領域６０１内に「検索実施中」の旨を表示すると良い。

以上説明したように、この実施の形態１によれば、外部処理装置を用いることなく、またレコーダーの処理能力を増加させることなく、映像検索を実現することが可能となる。これにより、映像監視システムの運用コストの抑制や、別装置の設置スペースの削減との効果を得ることができる。また、記録映像を外部処理装置に再度記録する必要がないため、セキュリティ上の取り扱いについての考慮点も削減可能となった。

実施の形態２．
本実施の形態２は、実施の形態１の検索結果の出力方法について開示する。
この発明の実施の形態２による映像記録再生装置を含む映像監視システム全体の構成図は、実施の形態１と同様であるので、説明を省略する。

この発明の実施の形態２による映像記録再生装置１０２の機能構成図は、実施の形態１と同様である。実施の形態２で追加となる機能について図２を用いて説明する。
検索処理部２０７は、検索処理が完了した場合、検索処理が完了したことを示す検索処理完了情報を制御部２１５へ通知するとともに、サムネイル表示処理を実施する。具体的には、検索条件に一致した画像（映像フレーム）を出力部２１３へ入力する。メモリ２１６に映像フレームが記録されている場合は、検索処理部２０７は、メモリ２１６に記録されている検索条件に一致した映像フレームを出力部２１３へ入力してもよい。また、メモリ２１６に映像フレームが記録されていない場合は、メモリ２１６に記録されている検索条件に一致した映像フレームの撮影時刻、撮影カメラの識別情報に該当する映像フレームを第一記録部２０４から読出し、デコード部２０９で復号し、デコード後第一の映像データ２１０を出力部２１３へ入力する。

入力部２１４は、検索結果再生情報を入力するためのユーザー操作を受付ける。検索結果再生情報の具体例としては、検索結果再生開始指示、検索結果再生画像情報（検索条件に一致した画像（映像フレーム）の撮影時刻、撮影カメラの識別情報など）などである。
検索結果再生情報は、制御部２１５を介して画像処理部２０８へ入力され、検索結果再生処理を実施する。
画像処理部２０８は、検索結果再生情報に基づいて、検索条件に一致した画像（映像フレーム）の撮影時刻、撮影カメラの識別情報に該当する映像フレームを、あるいは該当する映像フレームから連続した映像フレームを第二記録部２０５から読出し、デコード部２０９で復号し、デコード後第二の映像データ２１１に対して、超解像処理などの画像をより良く見せるための画像補正処理を実施し、画像処理後第二の映像データ２１２を出力部２１３へ入力する。

制御部２１５は、検索処理完了情報に基づいて、スイッチ２１７の端子１と端子２を接続し、第一記録部２０４に記録されている、検索条件に一致した映像フレームをデコード部２０９へ入力する。
制御部２１５は、検索処理完了情報に基づいて、スイッチ２１８の端子１と端子２を接続し、デコード後第一の映像データ２１０を検索処理部２０７へ入力する。
制御部２１５は、検索処理完了情報に基づいて、スイッチ２１９の端子１と端子２を接続し、メモリ２１６あるいは、第一記録部２０４から読み出した、検索条件に一致した映像フレームを出力部２１３へ入力する。
制御部２１５は、検索処理完了情報に基づいて、スイッチ２２０の端子１と端子２を接続し、画像処理部２０８の動作を停止させ、デコード後第二の映像データ２１１を画像処理部２０８を経由せずに、出力部２１３へ入力する。

制御部２１５は、検索結果再生情報に基づいて、スイッチ２１７の端子１と端子２を開放し、検索用の第一の映像ストリーム２０２をデコード部２０９へ入力しない。
制御部２１５は、検索結果再生情報に基づいて、スイッチ２１８の端子１と端子２を開放し、検索処理部２０７の動作を停止させ、デコード後第一の映像データ２１０を検索処理部２０７へ入力しない。
制御部２１５は、検索結果再生情報に基づいて、スイッチ２２０の端子１と端子３を接続し、画像処理部２０８の動作を開始させ、検索条件に一致した画像（映像フレーム）の撮影時刻、撮影カメラの識別情報に該当する映像フレームを、あるいは該当する映像フレームから連続して第二記録部２０５から読出し、デコード部２０９で復号し、超解像処理などの画像をより良く見せるための画像補正処理を実施し、画像処理後第二の映像データ２１２を出力部２１３へ入力する。

出力部２１３は、サムネイル表示処理中は、検索処理部２０７から入力される検索条件に一致した画像（映像フレーム）であるサムネイル画像と入力部２１４から入力された検索情報などの操作画面とを合成し、接続されたモニタなどへ表示画像データを出力する。あるいは、サムネイル画像と操作画面、デコード部２０９で復号され、画像補正処理を未実施のデコード後第二の映像データ２１１とを合成し、接続されたモニタなどへ表示画像データを出力する。
また出力部２１３は、検索結果再生処理中は、検索条件に一致した映像フレームを、あるいは該当する映像フレームから連続したデータをデコード部２０９で復号し、画像処理部２０８で画像補正処理を実施後のデータ２１２と入力部２１４から入力された検索情報などの操作画面とを合成し、接続されたモニタなどへ表示画像データを出力する。あるいは、検索結果再生画像と操作画面、デコード部２０９で復号され、画像補正処理を未実施のデコード後第二の映像データ２１１とを合成し、接続されたモニタなどへ表示画像データを出力する。

この発明の実施の形態２による映像記録再生装置１０２のハードウェア構成を示すブロック図は、実施の形態１と同様であるので、説明を省略する。

次に動作について説明する。図８は、この発明の実施の形態２による動作フロー図である。図５のステップＳＴ５０９の判断にて検索処理が完了したと判断する場合に、図８の処理が開始される。
ステップＳＴ８０１にて、検索処理部２０７は、サムネイル表示処理を実行する。具体的には、検索条件に一致した画像（映像フレーム）を出力部２１３へ入力する。ステップＳＴ５０８にてメモリ２１６に映像フレームが記録されている場合は、検索処理部２０７は、メモリ２１６から検索条件に一致した映像フレームを出力部２１３へ入力してもよい。また、ステップＳＴ５０８にてメモリ２１６に映像フレームが記録されていない場合は、検索条件に一致した映像フレームの撮影時刻、撮影カメラの識別情報に該当する映像フレームを第一記録部２０４から読出し、デコード部２０９で復号し、デコード後第一の映像データ２１０を出力部２１３へ入力する。また、ステップＳＴ５０２にて、制御部２１５は、画像処理部２０８の動作を停止し、スイッチ２２０の端子１と端子２を接続し、デコード後第二の映像データ２１１を画像処理部２０８を経由せずに、出力部２１３へ入力する。つまり、超解像処理などの画像をより良く見せるための画像補正処理を実施せずに、デコード後第二の映像データ２１１を出力部２１３へ入力する。サムネイル表示処理実施中であっても、リアルタイム（現在）の撮影画像を表示可能となる。

ステップＳＴ８０２にて、制御部２１５は、入力部２１４から入力される検索結果再生情報に基づいて、検索結果再生処理が開始されたか否か判断する。開始されたと判断する場合、ステップＳＴ８０３へ移行する。開始されていないと判断する場合、ステップＳＴ８０２の処理を繰り返す。入力部２１４より検索結果再生情報、具体的には検索結果再生指示の入力がある場合、検索結果再生処理が開始されたと判断する。また、検索結果再生情報、具体的には検索結果再生指示の入力がない場合、検索結果再生処理が開始されていないと判断する。

ステップＳＴ８０３にて、制御部２１５は、検索処理部２０７の動作を停止する。また、スイッチ２１７の端子１と端子２を開放し、検索用の第一の映像ストリーム２０２をデコード部２０９へ入力しない。スイッチ２１８の端子１と端子２を開放し、デコード後第一の映像データ２１０を検索処理部２０７へ入力しない。
ステップＳＴ８０４にて、制御部２１５は、画像処理部２０８の動作を開始し、検索結果再生処理を実行する。スイッチ２２０の端子１と端子３を接続し、入力部２１４から入力される検索結果再生情報に基づいて、検索結果再生画像情報に一致した映像フレーム、あるいは該当する映像フレームから連続した映像フレームを第二記録部２０５から読出し、デコード部２０９で復号し、超解像処理などの画像をより良く見せるための画像補正処理を実施し、画像処理後第二の映像データ２１２を出力部２１３へ入力する。
なお、ステップＳＴ８０３とステップＳＴ８０４は、同時であってもよい。

また、ステップＳＴ８０４にて、制御部２１５は、スイッチ２２０の端子１と端子３を接続に加えて、端子１と端子２も接続してもよい。デコード後第二の映像データ２１１を画像処理部２０８を経由せずに、出力部２１３へ入力する。つまり、超解像処理などの画像をより良く見せるための画像補正処理を実施せずに、デコード後第二の映像データ２１１を出力部２１３へ入力する。検索結果再生処理実施中であっても、リアルタイム（現在）の撮影画像を表示可能となる。

図９は、この発明の実施の形態２による出力部２１３へ接続されたモニタのサムネイル表示画面の表示例である。
出力部２１３は、検索条件に一致した画像（映像フレーム）であるサムネイル画像を接続されたモニタなどへ表示画像データを出力する。あるいは、サムネイル画像と、デコード部２０９で復号され、画像補正処理を未実施のデコード後第二の映像データ２１１とを合成し、接続されたモニタなどへ表示画像データを出力する。

サムネイル表示画面は、映像表示領域９０１で構成される。映像表示領域９０１中に、サムネイル表示領域９０２を有する。時刻表示領域９０３には、メモリ２１６に記録されている検索条件に一致した映像フレームの撮影時刻を表示する。また、映像表示領域９０４には、時刻表示領域９０３に表示した撮影時刻に撮影した画像（映像フレーム）を表示する。メモリ２１６に映像フレームが記録されている場合は、メモリ２１６に記録されている映像フレームを表示する。また、メモリ２１６に映像フレームが記録されていない場合は、検索条件に一致した映像フレームの撮影時刻（時刻表示領域９０３に表示した撮影時刻）、撮影カメラの識別情報に該当する映像フレームを第一記録部２０４から読出し、デコード部２０９で復号し、デコード後第一の映像データ２１０を表示する。
この時刻表示領域９０３と映像表示領域９０４とへの表示をメモリ２１６に保存されている検索条件に一致した映像フレームの撮影時刻分全てにおいて行う。サムネイル表示領域９０２に表示しきれない場合は、スクロールボタン９０５を操作することで確認するものとする。

図８のステップＳＴ８０２において、ユーザーは任意の映像フレームを映像表示領域９０４に表示された検索条件に一致した映像フレームから選択する。任意の映像フレームを選択後、再生ボタン９０６を押下する。例えば、ユーザーによる映像フレームの選択、あるいは再生ボタン９０６押下が、検索結果再生指示となる。
ユーザーによる映像フレームの選択、あるいは再生ボタンン９０６押下は、キャンセルボタン９０７で無効、あるいは中断することができる。

以上説明したように、この実施の形態２によれば、外部処理装置を用いることなく、またレコーダーの処理能力を増加させることなく、映像検索結果を表示し、再生することが可能となる。これにより、映像監視システムの運用コストの抑制や、別装置の設置スペースの削減との効果を得ることができる。また、記録映像を外部処理装置に再度記録する必要がないため、セキュリティ上の取り扱いについての考慮点も削減可能となった。

１０１カメラ、１０２映像記録再生装置、１０４モニタ、２０１受信部、２０２検索用の第一の映像ストリーム、２０３再生用の第二の映像ストリーム、２０６処理部、２０７検索処理部、２０８画像処理部、２０９デコード部、２１０デコード後第一の映像データ、２１１デコード後第二の映像データ、２１３出力部、２１４入力部。

Claims

カメラと接続される映像記録再生装置において、
前記カメラから検索用の第一の映像ストリームと再生用の第二の映像ストリームとを受信する受信部と、
前記検索用の第一の映像ストリームをデコード後第一の映像データへ、前記再生用の第二の映像ストリームをデコード後第二の映像データへ復号処理するデコード部と、
検索条件を受付ける入力部と、
前記デコード後第一の映像データを用いて前記検索条件に一致する映像フレームを検索する検索処理を実施する検索処理部と、前記デコード後第二の映像データを用いて画像補正処理を実施する画像処理部とを含む処理部と
を備え、
前記処理部において、前記検索処理部における前記検索処理と前記画像処理部における前記画像補正処理とはいずれか一方を実施する
映像記録再生装置。
前記再生用の第二の映像ストリームは、前記検索用の第一の映像ストリームと比較して高画質であること
を特徴とする請求項１記載の映像記録再生装置。
接続されたモニタへ表示画像データを出力する出力部をさらに備え、
前記出力部は、前記検索処理部が前記検索処理を実施している間は、現在の撮影画像として前記画像処理部における前記画像補正処理を実施しない前記デコード後第二の映像データを前記モニタへ出力すること
を特徴とする請求項１又は請求項２記載の映像記録再生装置。
接続されたモニタへ表示画像データを出力する出力部をさらに備え、
前記検索処理部は、前記検索条件に一致する映像フレームを前記出力部へ入力するサムネイル表示処理を実施し、
前記処理部において、前記検索処理部における前記サムネイル表示処理と前記画像処理部における前記画像補正処理とはいずれか一方を実施すること
を特徴とする請求項１又は請求項２記載の映像記録再生装置。
前記出力部は、前記検索処理部が前記サムネイル表示処理を実施している間は、現在の撮影画像として前記画像処理部における前記画像補正処理を実施しない前記デコード後第二の映像データを前記モニタへ出力すること
を特徴とする請求項４記載の映像記録再生装置。
前記入力部は、検索結果再生情報を受付け、
前記画像処理部は、前記検索結果再生情報に基づき検索結果再生処理を実施し、
前記処理部において、前記画像処理部における前記検索結果再生処理と、前記検索処理部における処理とはいずれか一方を実施すること
を特徴とする請求項４記載の映像記録再生装置。
前記出力部は、前記画像処理部が前記検索結果再生処理を実施している間は、現在の撮影画像として前記画像処理部における前記画像補正処理を実施しない前記デコード後第二の映像データを前記モニタへ出力すること
を特徴とする請求項６記載の映像記録再生装置。
前記入力部は、検索結果再生情報を受付け、
前記画像処理部は、前記検索結果再生情報に基づき検索結果再生処理を実施し、
前記処理部において、前記画像処理部における前記検索結果再生処理と、前記検索処理部における処理とはいずれか一方を実施すること
を特徴とする請求項１記載の映像記録再生装置。
接続されたモニタへ表示画像データを出力する出力部をさらに備え、
前記出力部は、前記画像処理部が前記検索結果再生処理を実施している間は、現在の撮影画像として前記画像処理部における前記画像補正処理を実施しない前記デコード後第二の映像データを前記モニタへ出力すること
を特徴とする請求項８記載の映像記録再生装置。