JP6512751B2

JP6512751B2 - 画像処理装置、及び外部装置

Info

Publication number: JP6512751B2
Application number: JP2014107480A
Authority: JP
Inventors: 龍太水森
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-05-23
Filing date: 2014-05-23
Publication date: 2019-05-15
Anticipated expiration: 2034-05-23
Also published as: JP2015222931A

Description

本発明は画像処理装置に関する。例えば、画像切り出し機能を有する画像処理装置に関する。

画像処理装置から画像をネットワーク経由で外部装置に送信するシステムが存在する。例えば、セキュリティ等の分野での活用が広がっている。そして、外部装置から画像処理装置を操作することで画像等が含まれるデータに関する所望の設定をおこなう外部装置が知られている。そして、このデータには画像処理装置にどのような設定がなされたか等の付随情報も含まれる場合がある。この付随情報を用いることで、画像処理装置から送られた画像を外部装置で最適に表示させることが可能となる。

特許文献１には、画像の一部を切り出す機能を有する画像処理装置が開示されている。これにより、画像の中の所望の位置を表示することが可能となる。

特開２００９−１１１７５３

しかしながら、画像切り出し機能を有する画像処理装置と、外部装置で構成されるシステム等において、切り出しに関する情報等を含む付随情報が画像に付随していない場合、外部装置において正常に画像を表示できない場合がある。

また、外部装置からネットワーク経由で行われる設定は自由度が高いために、異なる複数のメーカー製品等の間で、このような設定がユーザーの意図したとおりに行われない場合も多い。この様な場合に、画像を正常に表示できない場合がある。さらには、異常動作として撮影不能になる場合もある。

本発明は掛る問題を解決することを目的とし、画像切り出し機能が有効な場合において、切り出し情報を含む付随情報を外部装置に適切に送信できる画像処理装置等を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、外部装置とネットワーク経由で通信可能な画像処理装置であって、画像の一部を切り出す画像切り出し手段と、前記画像切り出し手段による切り出し情報および前記画像切り出し手段による画像の切り出し機能が有効か否かに関する切り出し機能の設定情報を保持する保持手段と、前記画像の切り出し機能とは個別に設定可能な前記外部装置と通信を行うための送信設定情報の付随情報として、前記切り出し情報を前記送信設定情報に関連付ける制御手段と、画像および前記付随情報を含む送信設定情報を前記外部装置に送信するための送信手段と、前記外部装置からコマンドを受信するための受信手段とを有し、前記制御手段は、前記画像切り出し手段による画像の切り出し動作を行うためのコマンドを前記受信手段により受信したときに前記画像の切り出し機能が有効であってかつ前記送信設定情報に前記付随情報が関連付けられていない場合、前記送信設定情報に前記付随情報を関連付ける制御手段と、を有することを特徴とする。

本発明を適用した画像処理装置等では、画像切り出し機能が有効な条件下で、画像処理装置から送信されるデータに付随情報を適切に含めることが可能となり、画像処理装置等における利便性を向上させることができる。

本発明の実施例１に係る、監視システムのシステム構成の一例を示す図である。本発明の実施例１に係る、監視カメラのハードウェア構成の一例を示す図である。本発明の実施例１に係る、外部装置のハードウェア構成の一例を示す図である。本発明の実施例１に係る、外部装置上で動作するアプリケーションの表示画面の一例を示す図である。本発明の実施例１に係る、監視カメラと外部装置間でのＯＮＶＩＦコマンドのやり取りを説明する図である。本発明の実施例１に係る、監視カメラの動作を説明するフローチャートである。本発明の実施例２に係る、監視カメラと外部装置間でのＯＮＶＩＦコマンドのやり取りを説明する図である。本発明の実施例２に係る、監視カメラの動作を説明するフローチャートである。本発明の実施例におけるＭｅｄｉａＰｒｏｆｉｌｅを示した図である。本発明の実施例におけるＲｅｃｏｒｄｉｎｇＪｏｂを示した図である。本発明の実施例におけるＲｅｃｏｒｄｉｎｇを示した図である。

以下に、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は、図示された構成に限定されるものではない。

また、以下の実施例における制御コマンド（以下コマンドと称することがある）は、例えばＯｐｅｎＮｅｔｗｏｒｋＶｉｄｅｏＩｎｔｅｒｆａｃｅＦｏｒｕｍ（以下ＯＮＶＩＦと称することがある）規格に基づいて定められているものとする。そして、ＯＮＶＩＦ規格では、例えば、ＸＭＬＳｃｈｅｍａＤｅｆｉｎｉｔｉｏｎ言語（以下、ＸＳＤと称することがある）を用いることにより、このコマンドの定義を行う。

以下に、図１を参照して本実施例に係るネットワーク構成について説明する。より詳細には、図１は、本実施例に係る画像処理システムのシステム構成の一例を示す図である。

本実施例における画像処理システムにおいて、画像処理装置としての監視カメラ１０００と外部装置２０００とは、ＩＰネットワーク網１５００を介して（ネットワーク経由で）相互に通信可能な状態で接続される。これにより、監視カメラ１０００は、画像をＩＰネットワーク網１５００経由で外部装置２０００に配信することができる。

なお、本実施例における外部装置２０００は、ＰＣ等の外部装置の一例である。又、本実施例における監視システムは、画像処理システムに相当する。

また、ＩＰネットワーク網１５００は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成されるものとする。しかしながら、本実施例においては、監視カメラ１０００と外部装置２０００との間の通信を行うことができるものであれば、その通信規格、規模、構成を問わない。

例えば、ＩＰネットワーク網１５００は、インターネットや有線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、無線ＬＡＮ（ＷｉｒｅｌｅｓｓＬＡＮ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）等により構成されていても良い。なお、本実施例における監視カメラ１０００は、例えば、ＰｏＥ（ＰｏｗｅｒＯｖｅｒＥｔｈｅｒｎｅｔ（登録商標））に対応していても良く、ＬＡＮケーブルを介して電力を供給されても良い。

外部装置２０００は、監視カメラ１０００に対し、各種制御コマンドであるコマンドを送信する。これらのコマンドは、例えば、監視カメラ１０００の画像の一部（位置、サイズ等）を切り出す機能（以下トリミングと称することがある）のためのコマンド、撮像画像のストリーミングを開始させるためのコマンド等である。

一方、監視カメラ１０００は、これらのコマンドに対する設定情報を含むレスポンスや撮像画像等を外部装置２０００に送信する。

続いて、図２は本実施例に係る監視カメラ１０００のハードウェア構成の一例を示す図である。

１０１は撮像部である。レンズと撮像素子を含み、被写体を撮像しデジタル情報として、取り込むことができる。また、不図示の撮像方向（パン、チルト、ズーム（以下ＰＴＺと称することが有る））を変更する変更動作を行う撮像方向変更手段を備える。１０２はトリミング部、１０３はトリミング設定部である。トリミング部１０２はトリミング設定部１０３が保持するトリミング設定情報（座標、範囲、移動速度、所定ＩＤ等）を参照し、その情報に従い撮像部１０１で撮影される映像から所定の領域を切り出すことで撮影映像に対するトリミングを実現する。切り出す領域等は動的変化させてもよい。またトリミング設定情報には座標情報等だけでなくトリミング機能の有効／無効に関する情報も含まれる。無効となっている場合は、切り出す前の映像が映像伸長部１０４に渡される。トリミング設定部１０３が保持するトリミング設定情報は制御部１１５により設定される。

１０４は映像伸長部、１０５は映像伸長設定部である。映像伸長部１０４は映像伸長設定部１０５が保持する映像サイズ設定情報を参照し、その情報に従いトリミング部１０２でトリミングされた映像を所望の映像サイズに伸長する。映像伸長設定部１０３が保持する映像サイズ設定情報は制御部１１５により設定される。

本実施例において、このトリミング部１０２と映像伸長部１０４の組み合わせにより画像切り出し機能が実現される。

１０６は符号化部である。映像伸長部１０４で所定のサイズに変更された映像の符号化を行う。１０７は付随情報（以下メタデータと称することがある）を生成する情報生成手段としてのメタデータ生成部である。トリミング設定部１０３の設定情報を参照し、トリミング設定情報等を含むメタデータを生成する。

１０８はデータ生成部、１０９はデータ設定管理部である。データ生成部１０８はデータ設定管理部１０９が保持する送信設定情報を参照し、その情報に従い符号化部１０６、メタデータ生成部１０７の出力を組み合わせてデータを生成する。データ設定管理部１０９が保持する送信設定情報は制御部１１５により設定される。本実施例において、送信設定情報とはＯＮＶＩＦで定義されているＭｅｄｉａＰｒｏｆｉｌｅ等を含む。

ＭｅｄｉａＰｒｏｆｉｌｅとは、ＯＮＶＩＦで定義されたストリーミングに関する管理データである。具体的には図９に示すデータ構成を有する。ＭｅｄｉａＰｒｏｆｉｌｅの識別ＩＤとしてＰｒｏｆｉｌｅＴｏｋｅｎを持ち、符号化設定等に関するＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎ等を含む各種設定項目への関連付けのリンクを保持する。また、ＰＴＺの設定情報（変更情報）等に関するＰＴＺＣｏｎｆｉｇｕｒａｔｉｏｎ、メタデータの設定等に関するＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎのほか、音声のエンコーダ等を含む各種設定項目への関連付けのリンクも保持する。なお、本実施例において、ＰｒｏｆｉｌｅＴｏｋｅｎは、送信設定情報であるＭｅｄｉａＰｒｏｆｉｌｅを識別するための設定識別情報に相当する。なお、本実施例において、符号化設定等に関するＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎは、符号化情報に相当する。なお、本実施例において、ＰＴＺの設定に関するＰＴＺＣｏｎｆｉｇｕｒａｔｉｏｎは、撮像方向設定に相当する。なお、本実施例において、メタデータ設定に関するＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎは、付随情報設定に相当する。１１０は記録処理部、１１１は記録設定管理部である。記録処理部１１０は記録設定管理部１１１が保持する記録処理の設定情報を参照し、その情報に従いデータ生成部１０８の出力を記録媒体１１３に所定のファイル形式で記録する。記録設定管理部１１１が保持する記録処理の設定情報は制御部１１５により操作される。本実施例において、記録処理の設定情報とはＯＮＶＩＦで定義されているＲｅｃｏｒｄｉｎｇＪｏｂ等を含む。ＲｅｃｏｒｄｉｎｇＪｏｂとは、ＯＮＶＩＦで定義された録画処理に関する録画設定の管理情報である。具体的には図１０に示すデータ構成を有する。ＲｅｃｏｒｄｉｎｇＪｏｂの識別ＩＤとしてＪｏｂＴｏｋｅｎを持ち、録画対象のデータを指し示すデータソースとしてのＭｅｄｉａＰｒｏｆｉｌｅＴｏｋｅｎの情報を保持する。また、ＭｅｄｉａＰｒｏｆｉｌｅＴｏｋｅｎに従うストリーミングの録画先となるＲｅｃｏｒｄｉｎｇを示すＲｅｃｏｒｄｉｎｇＴｏｋｅｎ、録画処理の状態を示すＳｔａｔｕｓの情報も保持する。Ｒｅｃｏｒｄｉｎｇに関しては後述する。本実施例において、ＪｏｂＴｏｋｅｎは、記録処理の設定情報であるＲｅｃｏｒｄｉｎｇＪｏｂを識別するための記録識別情報に相当する。

１１２はデータ処理部である。データ生成部１０８が出力するストリーミングデータを通信部１１７に送り出す処理を行う。データは通信部１１７を経由してネットワークに送出される。

１１３は記録媒体である。記憶手段として録画データや各種設定ファイルや制御プログラムの格納領域、プログラム実行中のワーク領域、データの格納領域等の情報を保持することが可能である。本実施例において録画データとは、メディアコンテナとしてＯＮＶＩＦが規定するＲｅｃｏｒｄｉｎｇ、メディアコンテナで管理される映像、メタデータのことである。ここでＯＮＶＩＦが規定するＲｅｃｏｒｄｉｎｇとは、具体的には図１１に示すデータである。識別ＩＤとしてＲｅｃｏｒｄｉｎｇＴｏｋｅｎを持ち、ＶｉｄｅｏＴｒａｃｋ、ＡｕｄｉｏＴｒａｃｋ、ＭｅｔａｄａｔａＴｒａｃｋを保持する。各Ｔｒａｃｋは該当するメディアを記録したファイルへのリンクを保持する。なお、本実施例においてＲｅｃｏｒｄｉｎｇＴｏｋｅｎは、データであるＲｅｃｏｒｄｉｎｇＴｏｋｅｎを識別するためのデータ識別情報に相当する。

１１４は記録媒体制御部である。制御部１１５の指示に従い、記録媒体１１３に対して情報の読み書きを行う。

１１５は制御部である。各部に対する指示・操作などを行う中央演算処理回路（以下、ＣＰＵと称することがある）を含み、システム全体の制御や、コマンド処理部１１６から出力されるコマンドを処理することで外部装置からの指示に対応する。また、記録媒体制御部１１４等を介して、又は直接的に記録媒体１１３に保存されている画像を読み出し、各ブロックに送信することもできる。また、記憶媒体１１３に保持されているコンピュータプログラムを実行することで本発明の実施例等に係る動作を実行する。

１１６はコマンド処理部である。通信部１１７が受信した外部装置からのコマンドを受信し、制御部１１５に受け渡す。

１１７は通信部である。ネットワークを介して外部装置とやり取りされるコマンドの送受信や、データ処理部１１２が出力するデータをネットワークに送出する処理を行う。

本実施例においては、監視カメラ１０００は撮像部１０１を有する構成としたが、記録媒体１１３に保存されている画像を送信する場合は、必ずしも撮像部１０１等を有しなくてもよい。

図３は、図１の監視カメラ１０００とネットワーク経由で通信する外部装置２０００のハードウェア構成の一例を示す図である。

２０１は通信部である。監視カメラ１０００が送信するデータをネットワーク経由で受信する。また、ネットワーク経由で接続された監視カメラ１０００に対し制御コマンドを送信することも可能である。なお、本実施例において、通信部２０１は制御コマンドを送信するためのコマンド送信手段に相当する。

２０２は復号化部である。データに含まれる符号化された映像データを復号化して表示データを生成する。

２０３は表示部である。復号化部２０２で復号化されたデータを表示し、ユーザーに監視カメラ１０００が配信する映像を提供する。また、外部装置２０００において実行可能なアプリケーションや操作に必要なユーザーインターフェース等を表示することも可能である。

２０４は入力部である。マウス、キーボード、タッチパネル等によりユーザーが行う操作情報を取り込み、後述する制御部２０５に入力内容を送信する。

２０５は制御部である。ＣＰＵを含み、外部装置２０００を制御する。そして、通信部２０１、復号化部２０２、表示部２０３、入力部２０４、記憶部２０６への制御を行う。また、記憶部２０６に保持されているコンピュータプログラムを実行することで本発明の実施例等に係る動作を実行する。

２０６は記憶部である。各ブロックの制御に必要な設定データや、アプリケーション等のプログラム（コンピュータプログラムを含む）、ネットワークカメラとの通信の為のコマンド情報などが記憶されている。

図４は本実施例における、外部装置２０００で動作するアプリケーションであり表示部２０３に表示される表示画面の一例である。

当該アプリケーションは、監視カメラ１０００から送られる画像であるストリーミング画像を表示する画面４１０（以下ストリーミング画面と称することがある）と録画等の各種設定用の画面４２０（以下録画設定画面と称することがある）が表示可能である。本実施例の監視カメラ１０００、外部装置２０００、外部装置２０００上で動作するアプリケーションはＯＮＶＩＦプロトコルに準拠している。ネットワークを介して監視カメラ１０００と外部装置２０００でやり取りされる制御コマンドもＯＮＶＩＦが規定するコマンド群となる。

ストリーミング画面４１０は、モニタリング用途の基本である監視カメラ１０００から送信された映像データの表示を行う。具体的には、映像表示領域４１１で映像の表示を行う。また、ストリーミング状態領域４１２で表示されている映像の映像状態である映像情報、メタデータ等を表示する。

また、ＰＴＺ操作領域４１３は、画像の切り出し領域を設定するためのユーザーインターフェースである。そして、このＰＴＺ操作領域４１３を操作することで、切り出し領域を操作することができる。つまり、この操作によって監視カメラ１０００で撮像される画像の構図が変更される。具体的には、本実施例において、ＰＴＺ操作領域４１３を操作が操作された場合、制御部２０５は監視カメラ１０００のトリミング設定部１０３が管理するトリミング設定情報を操作するためのコマンドを生成する。そして、このコマンドを通信部２０１経由で監視カメラ１０００に送信する。ここで、この通信部２０１から送信されるコマンドはＯＮＶＩＦプロトコルに準拠している。そして、監視カメラ１０００の制御部１１５は、受信したトリミング設定情報に応じて、トリミング設定部１０３の設定情報を更新する。

録画設定アイコン４１５は、表示画面を録画設定画面４２０に遷移させるためのインターフェースである。録画設定アイコン４１５を操作することで、表示画面を録画設定画面４２０に遷移させることができる。

次に録画設定画面４２０を説明する。該画面にて、ユーザーは録画処理のための設定を行う。本実施例において、録画設定とは、監視カメラ１０００の記録設定管理部１１１で管理されるＲｅｃｏｒｄｉｎｇＪｏｂを設定することを意味する。

データソース設定領域４２１では、データソースを指定する。具体的には監視カメラ１０００が保持するＭｅｄｉａＰｒｏｆｉｌｅの一覧を、プルダウンメニューとして表示し、ユーザーに選択可能とする。そして、ユーザーが選択したＭｅｄｉａＰｒｏｆｉｌｅに対応づけられた、ＭｅｄｉａＰｒｏｆｉｌｅＴｏｋｅｎを指定することで、データソースを指定する。ここで、ＭｅｄｉａＰｒｏｆｉｌｅの一覧を表示するために、外部装置２０００は予め後述する手順で監視カメラ１０００からＭｅｄｉａＰｒｏｆｉｌｅの情報を取得しておく必要がある。

記録先領域４２２では、ＭｅｄｉａＰｒｏｆｉｌｅＴｏｋｅｎに従うデータソースの録画先の指定を行う。具体的には、監視カメラ１０００が保持するＲｅｃｏｒｄｉｎｇの一覧を、プルダウンメニューとして表示し、ユーザーに選択可能とする。そして、ユーザーが選択したＲｅｃｏｒｄｉｎｇに対応づけられたＲｅｃｏｒｄｉｎｇＴｏｋｅｎを指定することで、データソースの録画先を指定する。ここで、Ｒｅｃｏｒｄｉｎｇの一覧を表示するために、予め後述する手順で監視カメラ１０００からＲｅｃｏｒｄｉｎｇの情報を取得しておく必要がある。

録画状態領域４２３では、録画処理の状態を示すＳｔａｔｕｓの情報を指定する。指定可能な状態としてはＡｃｔｉｖｅとＩｄｌｅの二種類であり、録画処理を動作させるか中断させるかを選択できる。所望の設定が完了したら、適用アイコン４２４をクリックすることで設定を有効にすることができる。このとき、外部装置２０００はコマンドを発行する。そして、当該コマンドを受信した監視カメラ１０００は記録設定管理部１１１で管理されているＲｅｃｏｒｄｉｎｇＪｏｂの情報を変更する。監視カメラ１０００は、Ｓｔａｔｕｓ情報がＡｃｔｉｖｅとなる変更だった場合、記録処理部１１０による記録処理動作が開始（有効化）する。

逆に録画設定を反映せずに辞める場合はキャンセルアイコン４２５をクリックすることで録画設定処理を辞めることが可能である。録画設定画面４２０での処理の完了により、表示画面をストリーミング画面４１０に遷移する。

そして、設定画面４２０にて設定した録画設定の内容は、録画状態領域４１６に表示される。

ユーザーは本アプリケーションを利用することにより、所望の設定に従う映像の表示や録画処理の設定又は、実行をすることが可能となる。

図５は、本実施例における監視カメラ１０００と外部装置２０００の間で送受信されるコマンドの一例を示したコマンドシーケンス図である。

４０１、４０２はＧｅｔＰｒｏｆｉｌｅｓコマンドのやり取り（以下トランザクションと称することがある）である。このトランザクションは、監視カメラ１０００が保持する配信プロファイルに相当するＭｅｄｉａＰｒｏｆｉｌｅを取得するためのトランザクションである。ここで、ＭｅｄｉａＰｒｏｆｉｌｅとは、監視カメラ１０００の各種設定項目を関連づけて記憶するためのパラメータセットである。

この各種設定項目は、このＭｅｄｉａＰｒｏｆｉｌｅのＩＤであるＰｒｏｆｉｌｅＴｏｋｅｎと、撮像部の情報、画像のエンコーダ、音声のエンコーダ等を含む。そして、ＭｅｄｉａＰｒｏｆｉｌｅは、これら各種設定項目へのリンクを保持する。

そして、外部装置２０００が発行するＧｅｔＰｒｏｆｉｌｅｓコマンドは、監視カメラ１０００が保持しているＭｅｄｉａＰｒｏｆｉｌｅを取得する。加えて、ＭｅｄｉａＰｒｏｆｉｌｅを識別するためのＩＤに相当するＰｒｏｆｉｌｅＴｏｋｅｎも取得することを目的としたコマンドである。

ここで、ＧｅｔＰｒｏｆｉｌｅｓコマンドを発行する外部装置２０００の処理は、制御部２０５が記憶部２０６にコマンドデータを作成し、通信部２０１に書き出すことで実現可能である。

また監視カメラ１０００の処理は、通信部１１７が当該コマンドを受信した後に、コマンド処理部１１６が適切にパケット処理等を行う。そして、コマンド処理部１１６が当該コマンドの受信を制御部１１５に通知する。その後、制御部１１５が、データ設定管理部１０９が保持するＭｅｄｉａＰｒｏｆｉｌｅの情報を取得する。その上で、制御部１１５は、ＧｅｔＰｒｏｆｉｌｅｓＲｅｓｐｏｎｓｅメッセージを生成し、コマンド処理部１１６を経由し、通信部１１７から送信する。送信されたコマンドがＧｅｔＰｒｏｆｉｌｅｓＲｅｓｐｏｎｓｅ４０２となる。つまり、外部装置２０００は、ＧｅｔＰｒｏｆｉｌｅｓトランザクションにより、データソースとして利用可能なＭｅｄｉａＰｒｏｆｉｌｅの情報を取得する。このコマンド処理により、データソース領域４２１のプルダウンメニューとしてＭｅｄｉａＰｒｏｆｉｌｅの一覧を表示可能となる。

４０３、４０４はＧｅｔＲｅｃｏｒｄｉｎｇｓトランザクションである。このトランザクションは、外部装置２０００が発行するＧｅｔＲｅｃｏｒｄｉｎｇｓコマンドによって、監視カメラ１０００が保持しているＲｅｃｏｒｄｉｎｇの情報を取得するためのトランザクションである。加えて、Ｒｅｃｏｒｄｉｎｇを識別するためのＩＤに相当するＲｅｃｏｒｄｉｎｇＴｏｋｅｎも取得することを目的としたコマンドである。

ここで、ＧｅｔＲｅｃｏｒｄｉｎｇｓコマンドを発行する外部装置２０００の処理は、制御部２０５が記憶部２０６にコマンドデータを作成し、通信部２０１に書き出すことで実現可能である。

また監視カメラ１０００の処理は、通信部１１７が当該コマンドを受信した後に、コマンド処理部１１６が適切にパケット処理等を行う。そして、コマンド処理部１１６が当該コマンドの受信を制御部１１５に通知する。その後、制御部１１５が、記録媒体１１３に保存されているＲｅｃｏｒｄｉｎｇの情報を、記録媒体制御部１１４を経由で取得する。その上で、制御部１１５は、ＧｅｔＲｅｃｏｒｄｉｎｇｓＲｅｓｐｏｎｓｅメッセージを生成し、コマンド処理部１１６を経由し、通信部１１７から送信する。送信されたコマンドがＧｅｔＲｅｃｏｒｄｉｎｇｓＲｅｓｐｏｎｓｅ４０４となる。つまり、外部装置２０００は、ＧｅｔＲｅｃｏｒｄｉｎｇトランザクションにより、録画設定情報として利用可能なＲｅｃｏｒｄｉｎｇの情報を取得する。このコマンド処理により、記録先領域４２２のプルダウンメニューとしてＲｅｃｏｒｄｉｎｇの一覧を表示可能となる。

４０５では、ユーザーによる録画設定画面４２０での録画設定処理である。これは、図１０に記載のＲｅｃｏｒｄｉｎｇＪｏｂを生成するための処理である。具体的には、データソース設定領域４２１等をユーザーが操作することで、ＲｅｃｏｒｄｉｎｇＪｏｂの生成に必要なでＭｅｄｉａＰｒｏｆｉｌｅＴｏｋｅｎ、ＲｅｃｏｒｄｉｎｇＴｏｋｅｎＳｔａｔｕｓを指定する。この操作により監視カメラ１０００に設定するＲｅｃｏｒｄｉｎｇＪｏｂが指定される。そして、適用アイコン２１５のクリック等の操作によって録画設定を適用させるため、ＯＮＶＩＦのコマンドを発行する処理へ移行する。

４０６、４０８では、ＳｅｔＲｅｃｏｒｄｉｎｇＪｏｂトランザクションである。このトランザクションは、外部装置２０００が発行するＳｅｔＲｅｃｏｒｄｉｎｇＪｏｂコマンドによって、監視カメラ１０００が保持するＲｅｃｏｒｄｉｎｇＪｏｂへの設定を行うことを目的としたコマンドである。

ＳｅｔＲｅｃｏｒｄｉｎｇＪｏｂコマンドを発行する外部装置２０００の処理は、制御部２０５が記憶部２０６にコマンドデータを作成し、通信部２０１に書き出すことで実現可能である。

また監視カメラ１０００の処理は、通信部１１７が当該コマンドを受信した後に、コマンド処理部１１６が適切にパケット処理等を行う。そして、コマンド処理部１１６が当該コマンドの受信を制御部１１５に通知する。その後、制御部１１５が、記録設定管理部１１１で管理するＲｅｃｏｒｄｉｎｇＪｏｂに対する設定を行う。

この時の監視カメラ１０００の処理が４０７である。４０７の詳細は図６に示すフローチャートで後述する。

４０７の処理後、ＳｅｔＲｅｃｏｒｄｉｎｇＪｏｂＲｅｓｐｏｎｓｅメッセージを生成し、コマンド処理部１１６を経由し、通信部１１７から送信する。送信されたコマンドがＳｅｔＲｅｃｏｒｄｉｎｇＪｏｂＲｅｓｐｏｎｓｅ４０８となる。つまり、ユーザーが録画設定画面４２０の適用アイコンを操作したことに連動して発行されるＳｅｔＲｅｃｏｒｄｉｎｇＪｏｂコマンドより、監視カメラ１０００の録画処理を制御することができる。

ここで、図５における処理４０７について、図６のフローチャートを用いて制御部１１５の動作を説明する。制御部１１５に含まれるＣＰＵが実行するプログラムは記憶媒体１１３に記憶されている。

制御部１１５は、ステップＳ５００で処理を開始する。そして、ステップＳ５０１に処理を進める。

制御部１１５は、ステップＳ５０１において、受信したＳｅｔＲｅｃｏｒｄｉｎｇＪｏｂコマンドの内容に従い、ＲｅｃｏｒｄｉｎｇＪｏｂの情報を更新する処理を行う。具体的には、コマンド処理部１１６が当該コマンドの受信を制御部１１５に通知後、制御部１１５が記録設定管理部１１１のＲｅｃｏｒｄｉｎｇＪｏｂの情報を更新する。そして、ステップＳ５０２に処理を進める。

制御部１１５は、ステップＳ５０２において、画像切り出しの設定が有効か否かの確認を行う。本実施例において、本設定は、外部装置２０００のストリーミング画像４１０上のＰＴＺ操作４１３等を用いて行われる。具体的には、ＰＴＺ操作４１３をユーザーが操作することで設定されたトリミング設定情報を外部装置２０００は、ネットワーク経由で監視カメラ１０００に送信する。トリミング設定情報を受信した制御部１１５は、当該トリミング設定情報をトリミング設定部１０３に設定することで、画像切り出し機能を制御することができる。

そして、制御部１１５がトリミング設定部１０３に設定されたトリミング情報を取得することにより切り出し処理が有効になっているか否かの確認が可能である。切り出し処理が有効な場合は、制御部１１５はステップＳ５０５へ処理をすすめ、無効となっている場合はステップＳ５０３へ処理を進める。

制御部１１５は、ステップＳ５０３では、ステップＳ５０１で更新したＲｅｃｏｒｄｉｎｇＪｏｂのデータソースとして設定されたＭｅｄｉａＰｒｏｆｉｌｅに、ＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎが存在するか否かを確認する。具体的には、制御部１１５がストリーミング設定管理部１０９のＭｅｄｉａＰｒｏｆｉｌｅの情報を取得し確認する。

制御部１１５は、ＭｅｄｉａＰｒｏｆｉｌｅに、ＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎが存在する場合はステップＳ５０５へ処理を進め、存在しない場合はステップＳ５０４へ処理を進める。

制御部１１５は、ステップＳ５０４ではＲｅｃｏｒｄｉｎｇＪｏｂのデータソースとなるＭｅｄｉａＰｒｏｆｉｌｅにＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎを追加する。具体的には、制御部１１５がストリーミング設定管理部１０９に対して当該ＭｅｄｉａＰｒｏｆｉｌｅを更新する。

制御部１１５は、ステップＳ５０５では、ＳｅｔＲｅｃｏｒｄｉｎｇＪｏｂコマンドに対するＳｅｔＲｅｃｏｒｄｉｎｇＪｏｂＲｅｓｐｏｎｓｅコマンドを作成する。その後、制御部１１５は、ステップＳ５０６に処理を進める。

制御部１１５は、ステップＳ５０６に移行した時点で本プログラム処理は終了する。図６のフローチャートを処理することで、画像切り出し機能が有効な場合に、外部装置２０００へ送信するデータにメタデータの記録が有効になる。これにより、画像切り出し機能の座標情報等がメタデータファイルに記録されることになる。外部装置２０００は、監視カメラ意１０００に対して、画像切り出し機能の設定及び、ＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎの設定は個別に実施することが可能である。つまり、監視カメラ１０００としては、ＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎの設定がなされていない状態で、画像切り出し機能を有効にする設定がなされる可能性がある。このような場合においても、図６の示した動作を実施することで、監視カメラ１０００が画像切り出し機能を有効にした状態で実行する録画処理において、録画処理を実行する際に、外部装置２０００へ送信するデータにメタデータを含めることができる。

以上より、外部装置２０００からのネットワーク経由で行われる設定に対して、切り出した画像の再生等に用いられる座標情報等を含むメタデータを得ることができる。そして、外部装置２０００はユーザーが意図したように画像を表示することが可能となる。つまり、ユーザーは録画データの再生タイミングで、ユーザーが録画時に実行した画像切り出しによるトリミング映像を再現するために、メタデータの有無を意識する必要がない。こうしたことから、ユーザーに対し利便性の高い録画処理及び画像切り出し機能を有する監視カメラ等を提供できる。

本発明を適用した第一の実施例では、画像切り出し機能の有効時に、ＭｅｄｉａＰｒｏｆｉｌｅに対するＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎの追加を自動で行う方法を説明した。一方で、ＲｅｃｏｒｄｉｎｇＪｏｂの内容を更新した際に、自動でＭｅｄｉａＰｒｏｆｉｌｅからＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎを削除することも可能である。例えば、制御部１１５の処理がステップＳ５０３からステップＳ５０４に移行した場合、ＭｅｄｉａＰｒｏｆｉｌｅにＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎが存在していなかった事を覚えておく。そして、Ｓｔａｔｕｓ情報がＩｄｌｅとなるＳｅｔＲｅｃｏｒｄｉｎｇＪｏｂコマンドを受信した時に、ＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎを削除する方法等が考えられる。これにより、録画処理を停止（無効化）するとともにメタデータの関連付けを解除処理が可能となる。つまり、録画処理の期間だけ、ＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎを有効にするといったことが可能である。

なお、本実施例においては、トリミング処理によって、ＰＴＺ動作を実現しているが、撮像方向変更手段を用い物理的に撮像部の撮影方向を変更して、ＰＴＺ動作を実現する場合においても、本実施例の動作を行うことで、同様の効果を得ることができる。

本発明の第２の実施例では、画像切り出し機能が有効な条件下での録画処理における外部装置２０００に関する実施形態を説明する。監視カメラ１０００および外部装置２０００、外部装置２０００上で動作するアプリケーションで構成されるシステムは第１の実施例の図１、図２、図３、図４と同じであるため詳細な説明は省略する。

図７は、本実施例における監視カメラ１０００と外部装置２０００の間で送受信されるコマンドの一例を示したコマンドシーケンス図である。

ＧｅｔＰｒｏｆｉｌｅｓ、ＧｅｔＲｅｃｏｒｄｉｎｇｓ、ＳｅｔＲｅｃｏｒｄｉｎｇＪｏｂトランザクションは第１の実施例における図５の説明と同様である。本実施例では、第１の実施例との差分について説明する。

６０５、６０６はＧｅｔＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎｓトランザクションである。このトランザクションは、監視カメラ１０００が保持しているＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎの情報を取得するためのトランザクションである。

ここで、ＧｅｔＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎｓコマンドは、監視カメラ１０００が保持しているすべてのＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎの情報を取得することを目的としたコマンドである。ＧｅｔＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎｓコマンドを発行する外部装置２０００の処理は、制御部２０５が記憶部２０６にコマンドデータを作成し、通信部２０１に書き出すことで実現可能である。

また監視カメラ１０００の処理は、通信部１１７が当該コマンドを受信した後に、コマンド処理部１１６が適切にパケット処理等を行う。そして、コマンド処理部１１６が当該コマンドの受信を制御部１１５に通知する。その後、制御部１１５が、メタデータ生成部１０７が管理するＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎの情報を取得する。その上で、制御部１１５は、ＧｅｔＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎｓＲｅｓｐｏｎｓｅコマンドを生成し、コマンド処理部１１６を経由し、通信部１１７に対して送信する。送信されたコマンドがＧｅｔＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎｓＲｅｓｐｏｎｓｅ６０６となる。つまり、外部装置２０００は、録画設定画面４２０において、その後のＡｄｄＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎで指定することが可能となるＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎの情報を得る。

６０８、６０９はＡｄｄＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎトランザクションである。このトランザクションは、監視カメラ１０００が保持する所定のＭｅｄｉａＰｒｏｆｉｌｅに対して、ＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎの追加を要求するためのトランザクションである。

ＡｄｄＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎコマンドを発行する外部装置２０００の処理は、制御部２０５が記憶部２０６にコマンドデータを作成し、通信部２０１に書き出すことで実現可能である。

また、監視カメラ１０００の処理は、通信部１１７が当該コマンドを受信した後に、コマンド処理部１１６が適切にパケット処理等を行う。そして、コマンド処理部１１６が当該コマンドの受信を制御部１１５に通知する。その後、制御部１１５が、データ設定管理部１０９が管理するＭｅｄｉａＰｒｏｆｉｌｅの情報を更新する。その上で、制御部１１５は、ＡｄｄＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｓｐｏｎｓｅコマンドを生成し、コマンド処理部１１６を経由し、通信部１１７に対して送信する。送信されたコマンドがＡｄｄＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｓｐｏｎｓｅ６０９となる。つまり、外部装置２０００は、録画設定画面４２０において、録画設定をするとともにＡｄｄＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎコマンドを発行する。これにより、所望のＭｅｄｉａＰｒｏｆｉｌｅに従うストリーミングにＭｅｔａｄａｔａを付与することが可能となる。

ここで、図７におけるＡｄｄＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎトランザクションを含む処理６０７について、図８のフローチャートを用いて制御部２０５の動作を説明する。制御部２０５が実行するプログラムは記憶部２０６に記憶されている。

制御部２０５は、ステップＳ７０１で処理を開始する。そして、ステップＳ７０２に処理を進める。

制御部２０５は、ステップＳ７０２において、監視カメラ１０００の画像切り出しの設定が有効であるか否かの確認を行う。この確認は、監視カメラ１０００に画像切り出し設定の状態を確認するコマンドを発行してもよいし、外部装置２０００のストリーミング画面のＰＴＺ操作領域４１３の設定情報を用いてもよい。また、画像切り出し設定情報が記載されている特定ＵＲＬへアクセスしてもよい。画像切り出しの設定が有効であると判断された場合、制御部２０５は処理をステップＳ７０３に進める。一方で、無効であると判断された場合は、制御部２０５は処理を終了する。

制御部２０５は、ステップＳ７０３において、録画設定画面４２０におけるデータソース設定領域４２１にてユーザーが設定したＭｅｄｉａＰｒｏｆｉｌｅにＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎが含まれているか否かの確認を行う。制御部２０５は、ＭｅｄｉａＰｒｏｆｉｌｅにＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎが含まれていた場合は、処理を終了する。一方で、含まれていなかった場合は、ステップＳ７０４に処理を進める。

制御部２０５は、ステップＳ７０４ではＡｄｄＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎコマンドの作成が行う。具体的には、制御部２０５が記憶部２０６にＡｄｄＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎコマンドのデータを作成することで実現できる。その後、制御部２０５は、ステップＳ７０５に処理を進める。

制御部２０５は、ステップＳ７０５では、作成したコマンドを送信する。具体的には、ステップＳ７０４で生成したコマンドデータを制御部２０５が通信部２０１に書き出すことで実現可能である。これにより、ＡｄｄＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎコマンド６０８が発行される。その後、制御部２０５は、ステップＳ７０６に処理を進める。

制御部２０５は、ステップＳ７０６ではＡｄｄＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｓｐｏｎｓｅメッセージが、監視カメラ１０００からの受信を待機する。具体的には、制御部２０５が通信部２０１を監視することで実現できる。制御部２０５は、監視カメラ１０００からのＡｄｄＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｓｐｏｎｓｅコマンド６０９を受信した時点で、処理をステップＳ７０７に移行し、処理を終了する。

以上より、画像切り出し機能を有効にした状態で実行する録画処理において、録画対象となるデータの中にメタデータを含む状態を外部装置２０００の処理で実現できる。これにより、画像切り出しの対象となる座標情報を外部装置２０００が取得可能となる。ユーザーは録画データの再生タイミングで、ユーザーが録画時に実行したトリミング映像を再現するためにメタデータの録画を意識する必要がない。こうしたことから、ユーザーに対しより利便性の高い録画処理を有するモニタリングシステムを提供できる。

本発明を適用した第２の実施例では、画像切り出し機能の有効時に、ＭｅｄｉａＰｒｏｆｉｌｅに対するＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎの追加を外部装置２０００より自動で行う方法を説明した。一方で、外部装置２０００がＭｅｄｉａＰｒｏｆｉｌｅからＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎを削除することも可能である。例えば制御部２０５がステップＳ７０３からステップＳ７０４に移行した場合、ＭｅｄｉａＰｒｏｆｉｌｅにＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎが存在していなかった事を覚えておく。そして、Ｓｔａｔｕｓ情報がＩｄｌｅとなるＳｅｔＲｅｃｏｒｄｉｎｇＪｏｂコマンドを送信するとき時に、併せてＲｅｍｏｖｅＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎコマンドを発行する方法等が考えられる。ここで、ＲｅｍｏｖｅＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎコマンドは監視カメラ１０００が保持する所定のＭｅｄｉａＰｒｏｆｉｌｅからＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎを削除することを要求するコマンドである。ＲｅｍｏｖｅＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎコマンドを発行する外部装置２０００の処理は、制御部２０５が記憶部２０６にコマンドデータを作成し、通信部２０１に書き出すことで実現可能である。また監視カメラ１０００の処理は、コマンド処理部１１６が該コマンドの受信を制御部１１５に通知後、制御部１１５が、ストリーミング設定管理部１０９が管理するＭｅｄｉａＰｒｏｆｉｌｅの情報を更新する。その上で、ＲｅｍｏｖｅＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｓｐｏｎｓｅメッセージに生成し、通信部１１７に対して送出する。これにより、録画処理の期間だけ、ＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎを有効にするといったことが可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は読取可能な記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０００監視カメラ（画像処理装置）
１１５制御部
１５００ネットワーク
２０００外部装置
２０３表示部

Claims

外部装置とネットワーク経由で通信可能な画像処理装置であって、
画像の一部を切り出す画像切り出し手段と、
前記画像切り出し手段による切り出し情報および前記画像切り出し手段による画像の切り出し機能が有効か否かに関する切り出し機能の設定情報を保持する保持手段と、前記画像の切り出し機能とは個別に設定可能な前記外部装置と通信を行うための送信設定情報の付随情報として、前記切り出し情報を前記送信設定情報に関連付ける制御手段と、
画像および前記付随情報を含む送信設定情報を前記外部装置に送信するための送信手段と、
前記外部装置からコマンドを受信するための受信手段とを有し、
前記制御手段は、前記画像切り出し手段による画像の切り出し動作を行うためのコマンドを前記受信手段により受信したときに前記画像の切り出し機能が有効であってかつ前記送信設定情報に前記付随情報が関連付けられていない場合、前記送信設定情報に前記付随情報を関連付ける制御手段と、
を有することを特徴とする画像処理装置。
前記切り出し手段は画像の一部を位置やサイズを動的に変化させながら切り出すトリミング手段を含み、
前記切り出し情報は前記位置とサイズの情報を含むことを特徴とする請求項１に記載の画像処理装置。
画像を記憶するための記憶手段をさらに備え、
前記制御手段は、前記記憶手段に画像を記録する処理動作の際に、前記画像の切り出し機能が有効であってかつ前記送信設定情報に前記付随情報が関連付けられていない場合、前記送信設定情報に前記付随情報を関連付けることを特徴とする請求項１乃至２のいずれか１項に記載の画像処理装置。
前記制御手段は前記受信手段が前記記憶手段による記録処理動作を無効化するコマンドを受信した場合に前記送信設定情報の前記付随情報の関連付けを解除することを特徴とする請求項３に記載の画像処理装置。
前記付随情報を含むデータには、さらに、データを識別するためのデータ識別情報が含まれることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
前記送信設定情報には、送信設定情報を識別するための設定識別情報、符号化設定を含む符号化情報、撮像方向を設定するための撮像方向設定、前記付随情報を設定するための付随情報設定のいずれかが含まれることを特徴とする請求項５に記載の画像処理装置。
画像の一部を切り出す画像切り出し手段、および、前記画像切り出し手段による切り出し情報と前記画像切り出し手段による画像の切り出し機能が有効か否かに関する切り出し機能の設定情報とを保持する保持手段を有し、外部装置とネットワーク経由で通信可能な画像処理装置の制御方法であって、
前記外部装置からコマンドを受信するための受信ステップと、
前記受信ステップにおいて、前記切り出し動作を行うためのコマンドを受信したときに、前記画像の切り出し機能が有効であってかつ前記切り出し情報が付随情報として外部装置に送信するデータに関する送信設定情報に関連付けられていない場合、前記送信設定情報に前記付随情報を関連付ける制御ステップと、
前記付随情報が関連付けられた送信設定情報を前記外部装置に送信するための送信ステップと、を有することを特徴とする画像処理装置の制御方法。
請求項７に記載のステップをコンピュータに実行させるためのコンピュータプログラム。
請求項８に記載のコンピュータプログラムを記憶したコンピュータで読取可能な記録媒体。