JP7475379B2 - 撮像装置、撮像装置の制御方法及びプログラム - Google Patents

Description

本発明は、撮像装置、撮像装置の制御方法及びプログラムに関する。

近年、様々なシーンにおいて、監視カメラにより撮像された画像を用いて、物体の検出や追尾、属性の推定等を行う画像解析、そのような画像解析の結果に基づく物体数の推定等の画像処理が行われている。従来、このような画像処理は、実際の画像処理を実行するＰＣやサーバ等の高性能な演算装置に監視カメラの映像が転送されることによって行われてきた。これに対し、近年のモバイル用演算装置の処理能力の向上に伴い、監視カメラ側で画像処理を行うことが可能となってきている。監視カメラ（撮像装置）側での処理は、例えば、監視カメラ本体に配置された演算装置によって実行されうる。また、演算装置が配置されたＵＳＢ等の着脱可能デバイスを監視カメラに装着することによって、その着脱可能デバイスが監視カメラ側で行う処理の少なくとも一部を実行することもできる。

着脱可能デバイスによっては、着脱可能デバイスが装着された装置から供給される電源、クロックを用いて画像処理動作を行うものがある。しかしながら、着脱可能デバイスが装着されるPCやカメラなどの装置の中には、ＣＰＵ負荷が大きくなってくると着脱可能デバイスへのクロック供給を停止してしまう装置がある。クロック供給を停止されてしまうと、着脱可能デバイス上での画像処理を正常に実行することができない。これに対し特許文献１には、供給クロックが停止した際に自走用クロックでの動作に切り替えて復帰する技術が開示されている。

特開２００６-２８７７３６号公報

Ｊ．Ｒｅｄｍｏｎ、Ａ．Ｆａｒｈａｄｉ、「ＹＯＬＯ９０００：Ｂｅｔｔｅｒ Ｆａｓｔｅｒ Ｓｔｒｏｎｇｅｒ」、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ） ２０１６

特許文献１に開示の技術では、着脱可能デバイス側にクロックが止められたことを検知するための回路の追加や自走用クロックで動作に切るかえるための構成が必要となり、回路規模が大きくなってしまう。

そこで本発明は、着脱可能デバイスの回路規模の増大を招くことなく、クロック供給が停止される場合でも着脱可能デバイス上での画像処理を継続可能な状態に復帰可能とする、着脱可能デバイスが装着可能な撮像装置等を提供する。

上記課題を解決するための発明は、デバイスを着脱可能な装着機構を有する撮像装置であって、
前記デバイスが解析処理を実行するために用いる処理用クロックを再設定するクロック再設定の要求を含むコマンドを生成する生成手段と、
前記装着機構に、前記解析処理を実行する機能を有するデバイスが装着されている場合に、前記デバイスに対して画像を送信し、前記画像に対する前記解析処理の実行指示を送信し、前記実行指示に従って得られた前記解析処理の処理結果を受信する通信手段と、
前記デバイスから受信した前記処理結果に基づいて、前記デバイスが前記解析処理を実行するために用いる処理用クロックを再設定させるか否かを判定する判定手段とを備え、
前記通信手段は、前記判定手段が前記デバイスに前記処理用クロックを再設定させると判定した場合に、前記デバイスに対して、前記コマンドを更に送信する。

本発明によれば、着脱可能デバイスの回路規模の増大を招くことなく、クロック供給が停止される場合でも着脱可能デバイス上での画像処理を継続可能な状態に復帰可能とする、着脱可能デバイスが装着可能な撮像装置等を提供することができる。

実施形態に対応するシステム構成の一例を示す図。 実施形態に対応する撮像装置のハードウェア構成の一例を示す図。 実施形態に対応する撮像装置の機能構成の一例を示す図。 実施形態に対応する着脱可能デバイスのハードウェア構成の一例を示す図。 実施形態に対応する着脱可能デバイスの機能構成の一例を示す図。 実施形態に対応する画像処理用クロックの再設定処理の一例を示すフローチャート。 実施形態に対応する画像処理用クロックの再設定コマンドのデータ構成の一例を示す図。 実施形態２に対応する画像処理結果に基づき画像処理用クロックを再設定する処理の一例を示すフローチャート。 実施形態３に対応するテスト画像での画像処理結果に基づき画像処理用クロックを再設定する処理の一例を示すフローチャート。 実施形態４に対応する着脱可能デバイス側での演算結果に基づき、撮像装置側の画像処理の負荷を調整する処理の一例を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（実施形態１）
＜システム構成＞
図１に、本実施形態の画像処理システムの構成例を示す。画像処理システムは、例えば、複数の撮像装置１１０から入力されたそれぞれの撮像画像を解析して特定人物を追跡するシステムとして構築することができる。ただし、実施形態はこれに限られず、画像を解析して所定の情報出力を行う任意のシステムとして構築できる。本システムは、撮像装置１１０ａ～１１０ｄと、ネットワーク１２０と、入出力装置１３０とを含んで構成される。撮像装置１１０ａ～１１０ｄは、それぞれ、例えば撮像した画像を記録可能なデバイスを着脱可能なスロットを有する。各スロットには着脱可能デバイス１００ａ～１００ｄが挿入され、これにより着脱可能デバイス１００ａ～１００ｄと接続される。これ以降、着脱可能デバイス１００ａ～１００ｄを総称して「着脱可能デバイス１００」と表記し、撮像装置１１０ａ～１１０ｄを総称して「撮像装置１１０」と表記することがある。以下、システムを構成する各装置について説明する。

着脱可能デバイス１００は、撮像装置１１０に対して着脱可能に構成された演算デバイスである。着脱可能デバイス１００は、一例として、撮像装置１１０で撮像された画像を記憶可能に構成された不揮発性の半導体記憶装置（例えば、ＳＤカード）に所定の処理回路を搭載したデバイスとして構成することができる。多くの既存のネットワークカメラなどの撮像装置１１０には、ＳＤカードスロットが用意されているため、着脱可能デバイス１００を接続することで、既存の撮像装置１１０に対して拡張機能を提供することができる。着脱可能デバイス１００は、例えば、ＳＤカードの態様によって、撮像装置１１０にその全体が挿入可能に構成され、これにより、撮像装置１１０から突出する部分がない状態で撮像装置１１０と接続可能に構成することができる。

また、着脱可能デバイス１００は、例えば、撮像装置１１０にその半分以上の部分が挿入可能に構成され、これにより、撮像装置１１０から突出する部分が少ない状態で撮像装置１１０と接続可能に構成されてもよい。これにより、着脱可能デバイス１００が配線等の障害物と干渉することを防ぐことができ、デバイスの利用時の利便性を高めることができる。

また、着脱可能デバイス１００は、ＳＤカードの態様以外に、少なくともその撮像装置１１０で撮像された画像を記憶可能な記憶装置が装着される際に使用される任意のインタフェースで、撮像装置１１０に装着されるように構成されてもよい。例えば、着脱可能デバイス１００は、ＵＳＢ（ユニバーサリシリアルバス）インタフェースを有し、撮像装置１１０のＵＳＢソケットに装着されるように構成されてもよい。更に、着脱可能デバイス１００に搭載される所定の処理回路は、例えば、所定の処理を実行するようにプログラムされたＦＰＧＡ（フィールドプログラマブルゲートアレイ）によって実装できるが、それ以外の形式で実装されてもよい。

撮像装置１１０は、ネットワークカメラ等の撮像装置であり、ネットワーク１２０を介して入出力装置１３０に撮像した画像を提供することができる。本実施形態では、撮像装置１１０は、撮像画像を処理することのできる演算装置を内蔵するものとするが、これに限られない。例えば、撮像装置１１０に接続されたＰＣ（パーソナルコンピュータ）等の外部コンピュータが存在してもよく、これらの組み合わせを、撮像装置１１０として扱ってもよい。また、本実施形態では、全ての撮像装置１１０に、着脱可能デバイス１００が装着されているものとする。図１では、４つの撮像装置１１０と、それぞれに装着された着脱可能デバイスとが示されているが、これらの装置の組み合わせの数は３つ以下であってもよいし、５つ以上であってもよい。

撮像装置１１０に画像解析等の画像解析処理機能を有する着脱可能デバイス１００が装着されることにより、撮像装置１１０が画像解析等の画像解析処理機能を有しなくても、撮像装置１１０側で画像解析等を実行することが可能となる。解析処理の具体例は後述する。また、本実施形態のように撮像装置１１０に画像処理用の演算装置が配置された形態では、演算装置が配置された着脱可能デバイス１００を撮像装置１１０に装着することにより、撮像装置１１０自体の演算装置と共に着脱可能デバイス１００の演算装置を利用することが可能となり、撮像装置１１０側で実行可能な画像処理を多様化・高度化することができる。

入出力装置１３０は、本システムのユーザからの入力の受け付けや、ユーザへの情報の出力（例えば情報の表示）を行う装置である。本実施形態では、例えば入出力装置１３０は、ＰＣ等のコンピュータとすることができ、そのコンピュータにインストールされたブラウザやネイティブアプリケーションが内蔵されたプロセッサによって実行されることで、情報の入出力が行われる。撮像装置１１０と入出力装置１３０は、ネットワーク１２０を介して通信可能に接続される。ネットワーク１２０は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満たす複数のルータ、スイッチ、ケーブル等を含んで構成される。本実施形態では、ネットワーク１２０は、撮像装置１１０と入出力装置１３０との間の通信を可能とする任意のネットワークであってよく、任意の規模や構成、準拠する通信規格によって構築されうる。例えば、ネットワーク１２０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等でありうる。また、ネットワーク１２０は、例えば、ＯＮＶＩＦ（Ｏｐｅｎ Ｎｅｔｗｏｒｋ Ｖｉｄｅｏ Ｉｎｔｅｒｆａｃｅ Ｆｏｒｕｍ）規格に準拠した通信プロトコルでの通信が可能なように構成されうる。ただし、これに限られず、ネットワーク１２０は、例えば、独自の通信プロトコル等の他の通信プロトコルでの通信が可能なように構成されてもよい。

＜装置構成＞
（撮像装置の構成）
続いて、図２を参照して撮像装置１１０の構成例について説明する。図２は、撮像装置１１０のハードウェア構成例を示す図である。撮像装置１１０は、そのハードウェア構成として、例えば、撮像部２０１、画像処理部２０２、演算処理部２０３、配信部２０４、ＳＤ Ｉ／Ｆ部２０５を含む。Ｉ／Ｆは、インタフェースの略語である。

撮像部２０１は、例えば、光を結像するためのレンズ部と、結像された光に応じたアナログ信号変換する撮像素子とを含んで構成される。レンズ部は、画角を調整するズーム機能や、光量の調整を行う絞り機能などを有する。撮像素子は、光をアナログ信号に変換する際の感度調整を行うゲイン機能を有する。これらの機能は、画像処理部２０２から通知された設定値に基づいて調整される。撮像部２０１によって取得されたアナログ信号は、アナログ－デジタル変換回路によってデジタル信号に変換され、画像信号として画像処理部２０２へ転送される。

画像処理部２０２は、画像処理エンジンと、その周辺デバイス等を含んで構成される。周辺デバイスは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や、各Ｉ／Ｆのドライバ等を含む。画像処理部２０２では、撮像部２０１から取得した画像信号に対して、例えば、現像処理、フィルタ処理、センサ補正、ノイズ除去等の、画像処理を施して画像データを生成する。また、画像処理部２０２は、レンズ部や撮像素子へ設定値を送信し、適切露出画像を取得できるように、露出調整を実行しうる。画像処理部２０２において生成された画像データは、演算処理部２０３へ転送される。

演算処理部２０３は、ＣＰＵやＭＰＵ等の１つ以上のプロセッサ、ＲＡＭやＲＯＭ等のメモリ、各Ｉ／Ｆのドライバなどから構成される。なお、ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの、ＭＰＵはＭｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの、ＲＯＭはリード Ｏｎｌｙ Ｍｅｍｏｒｙの、頭字語である。演算処理部２０３では、撮像装置１１０の動作に必要な制御・演算等の各種処理を実行する。また、一例において、上述のシステムにおいて実行されるべき処理の各部分を撮像装置１１０と着脱可能デバイス１００とのいずれが実行するかの分担を決定し、その決定した分担に対応する処理を実行しうる。この処理内容や処理の分担の詳細に関しては後述する。画像処理部２０２から受け取った画像は、配信部２０４、又は、ＳＤ Ｉ／Ｆ部２０５へ転送される。また、処理結果のデータも配信部２０４へ転送される。

配信部２０４は、ネットワーク配信エンジンと、例えば、ＲＡＭやＥＴＨ ＰＨＹモジュールなどの周辺デバイス等を含んで構成される。ＥＴＨ ＰＨＹモジュールは、Ｅｔｈｅｒｎｅｔの物理（ＰＨＹ）レイヤの処理を実行するモジュールである。配信部２０４は、演算処理部２０３から取得した画像データや処理結果のデータを、ネットワーク１２０へ配信可能な形式に変換して、変換後のデータをネットワーク１２０へ出力する。

ＳＤ Ｉ／Ｆ部２０５は、着脱可能デバイス１００と接続するためのインタフェース部分で、例えば、電源と、着脱可能デバイス１００を着脱するための、着脱ソケット等の装着機構を含んで構成される。ここでは、ＳＤ Ｉ／Ｆ部２０５が、ＳＤ Ａｓｓｏｃｉａｔｉｏｎにより策定されたＳＤ規格に従って構成されるものとする。演算処理部２０３から取得された画像の着脱可能デバイス１００への転送や、着脱可能デバイス１００からのデータの取得等の、着脱可能デバイス１００と撮像装置１１０との間での通信は、ＳＤ Ｉ／Ｆ部２０５を通じて行われる。

次に図３を参照して、撮像装置１１０の機能構成例を説明する。撮像装置１１０は、その機能として、例えば、撮像制御部３０１、信号処理部３０２、記憶部３０３、制御部３０４、解析部３０５、デバイス通信部３０６、及び、ネットワーク通信部３０７を含む。

撮像制御部３０１は演算処理部２０３におけるＣＰＵやＭＰＵ等の１つ以上のプロセッサに対応し、撮像部２０１を介して周囲の環境を撮像するようにする制御を実行する。信号処理部３０２は画像処理部２０２に対応し、撮像制御部３０１によって撮像された画像に対して所定の処理を施して、撮像画像のデータを生成する。以下では、この撮像画像のデータを単に「撮像画像」と呼ぶ。信号処理部３０２は、例えば、撮像制御部３０１によって撮像された画像を符号化する。信号処理部３０２は、静止画像に対して、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の符号化方式を用いて符号化を行う。また、信号処理部３０２は、動画像に対して、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ（以下では「Ｈ．２６４」と呼ぶ。）、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）等の符号化方式を用いて符号化を行う。また、信号処理部３０２は、予め設定された複数の符号化方式の中から、例えば撮像装置１１０の不図示の操作部を介して、ユーザにより選択された符号化方式を用いて、画像を符号化してもよい。

記憶部３０３は画像処理部２０２や演算処理部２０３等に含まれる各種記憶装置に対応し、解析部３０５において実行可能な解析処理のリストと、解析処理の結果に対する後処理のリストとを記憶する。また、記憶部３０３は、解析処理の結果が既知であるテスト画像を記憶すると共に、その解析処理の結果を記憶しておくことができる。なお、本実施形態では、実行される画像処理が解析処理であるが、任意の処理が実行されてもよく、記憶部３０３は、その実行される処理に関連する処理について、解析処理のリストと後処理のリストとを記憶する。

制御部３０４は演算処理部２０３におけるＣＰＵやＭＰＵ等の１つ以上のプロセッサに対応し、信号処理部３０２、記憶部３０３、解析部３０５、デバイス通信部３０６、ネットワーク通信部３０７を、それぞれが所定の処理を実行するように制御する。また、制御部３０４は、撮像装置１１０において実行されている処理の負荷状態を判定し、負荷が高いと判定される場合にはデバイス通信部３０６から着脱可能デバイス１００へのクロック供給を停止する等の制御も行う。

解析部３０５は演算処理部２０３におけるＣＰＵやＭＰＵ等の１つ以上のプロセッサに対応し、撮像画像に対して実行する画像処理を、後述する解析前処理、解析処理、解析後処理の少なくともいずれかから選択して実行する。解析前処理は、後述の解析処理を実行する前に、撮像画像に対して実行する画像処理である。本実施形態の解析前処理では、一例として、撮像画像を分割して分割画像を作成する処理が実行されるものとする。解析処理は、入力された画像を解析して得られる情報を出力する画像処理である。

本実施形態の解析処理では、一例として、解析前処理によって得られた分割画像を入力として、人体検出処理、顔検出処理、車両検出処理の少なくともいずれかを実行し、解析処理結果を出力する処理が実行されるものとする。解析処理は、例えば非特許文献１の技術によって、画像に含まれるオブジェクトを検出できるように学習が行われた機械学習モデルを用いて、分割画像中のオブジェクトの位置を出力するように構成された画像処理でありうる。すなわち、画像処理には、所定の物体を検出するための特徴抽出が可能な学習済みニューラルネットワークを用いた解析処理を含む。解析後処理は、解析処理が実行された後に実行される画像処理である。本実施形態の解析後処理では、一例として、各分割画像に対する解析処理結果に基づいて、各分割画像において検出されたオブジェクトの数を合計した値を処理結果として出力する画像処理が実行されるものとする。なお、解析処理は、パターンマッチングを行って画像中のオブジェクトを検出し、その位置を出力する処理であってもよい。

デバイス通信部３０６はＳＤ Ｉ／Ｆ部２０５と対応し、着脱可能デバイス１００との通信を行うと共に、着脱可能デバイス１００に対して、後述する処理用クロックを生成するためのクロック供給を行う。デバイス通信部３０６は、入力されたデータを着脱可能デバイス１００が処理可能な形式に変換し、その変換によって得られたデータを着脱可能デバイス１００に送信する。また、デバイス通信部３０６は、着脱可能デバイス１００からデータを受信し、受信したデータを撮像装置１１０が処理可能な形式に変換する。本実施形態では、デバイス通信部３０６は、変換処理として、小数を浮動小数点形式と固定小数点形式との間で変換する処理を実行するものとするが、これに限られず、他の処理がデバイス通信部３０６によって実行されてもよい。また、本実施形態では、デバイス通信部３０６は、着脱可能デバイス１００に対してＳＤ規格の範囲内で事前に定められた要求（或いは、命令、コマンドシーケンス）を送信し、着脱可能デバイス１００からの応答を受信することで、着脱可能デバイス１００との通信を行うものとする。ネットワーク通信部３０７は配信部２０４に対応し、ネットワーク１２０を介して、入出力装置１３０との通信を行う。

（着脱可能デバイスの構成）
次に図４を参照して、着脱可能デバイス１００のハードウェア構成例を説明する。着脱可能デバイス１００は、一例として、Ｉ／Ｆ部４０１、ＦＰＧＡ４０２、ＳＤコントローラ４０３、及び、を含んで構成される。着脱可能デバイス１００は、撮像装置１１０が有するＳＤ Ｉ／Ｆ部２０５の着脱ソケットに挿抜できる形状で、すなわちＳＤ規格に則った形状で成形されるものとする。

Ｉ／Ｆ部４０１は、撮像装置１１０等の装置と着脱可能デバイス１００とを接続するためのインタフェース部分である。Ｉ／Ｆ部４０１は、例えば、撮像装置１１０から電源の供給を受け、着脱可能デバイス１００内で使用する電源を生成し分配する、電気的な接点端子等を含んで構成される。Ｉ／Ｆ部４０１は、撮像装置１１０のＳＤ Ｉ／Ｆ部２０５と同様に、ＳＤ規格内で定義（準拠）されている項目に関しては、それに従うものとする。撮像装置１１０からの画像や設定データの受け取り、ＦＰＧＡ４０２から撮像装置１１０へのデータの送信は、Ｉ／Ｆ部４０１を介して実行される。

ＦＰＧＡ４０２は、入出力制御部４１０、処理切替部４１１、演算処理部４１２、及び処理クロック生成部４１３を含んで構成される。ＦＰＧＡ４０２は、内部の論理回路構造を繰り返し再構成できる半導体デバイスの一種である。ＦＰＧＡ４０２が実現する処理により、着脱可能デバイス１００が装着された装置に、処理機能を追加（提供）することができる。また、ＦＰＧＡ４０２の再構成機能により、後から論理回路構造を変更することができるため、例えば技術の進歩の早い分野の装置に着脱可能デバイス１００を装着することにより、その装置において適時に適切な処理を実行することが可能となる。

本実施形態では、ＦＰＧＡが用いられる例について説明するが、後述する処理を実現可能な限りにおいて、例えば、汎用のＡＳＩＣや専用のＬＳＩが用いられてもよい。ＦＰＧＡ４０２は、生成される論理回路構造の情報を含んだ設定データが専用のＩ／Ｆから書き込まれることにより、又は、その設定データがその専用のＩ／Ｆから読み出されることによって、起動される。本実施形態では、この設定データが記憶部４０４に保持されているものとする。ＦＰＧＡ４０２は、電源が投入されると、記憶部４０４から設定データを読み出し、論理回路を生成して起動する。ただし、これに限られず、例えば、着脱可能デバイス内に専用の回路を実装することにより、Ｉ／Ｆ部４０１を介して、撮像装置１１０がＦＰＧＡ４０２に設定データを書き込んでもよい。

入出力制御部４１０は、撮像装置１１０との間で画像を送受信するための回路、撮像装置１１０から受信したコマンドを解析する回路、解析した結果に基づいて制御を行う回路、等を含んで構成される。ここでのコマンドは、ＳＤ規格に定義されているものであり、入出力制御部４１０は、それらのうちのいくつかを検出することができる。機能の詳細に関しては後述する。入出力制御部４１０は、記憶処理の場合はＳＤコントローラ４０３へ画像を送信し、画像解析処理の場合は演算処理部４１２へ画像を送信するように制御を行う。また、入出力制御部４１０は、処理の切り替えの設定データを受け取った場合は、処理切替部４１１へ設定データを送信する。

処理切替部４１１は、撮像装置１１０から受け取った設定データに基づいて、記憶部４０４から画像解析処理機能の情報を取得し、演算処理部４１２に書き込むための回路を含んで構成される。画像解析処理機能の情報は、例えば、演算処理部４１２内で処理される演算の順序や種類、演算の係数などを示す設定パラメータである。演算処理部４１２は、画像解析処理機能を実行するために必要な複数の演算回路を含んで構成される。演算処理部４１２は、処理切替部４１１から受け取った画像解析処理機能の情報に基づいて、各演算処理を実行して、その処理結果を撮像装置１１０へ送信し、及び／又は、その処理結果を記憶部４０４に記録する。

処理クロック生成部４１３は演算処理の高速化のためＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）等で構成され、入出力制御部４１０を介して撮像装置１１０から供給されるクロックをクロックアップし処理用の高速クロック（以下、処理用クロック）を生成する。演算処理部４１２は、処理クロック生成部４１３で生成された処理用クロックを使用して処理を実行する。そのため撮像装置１１０からのクロック供給が長期間停止すると処理クロック生成部４１３で生成される処理用クロックが発振して不定となってしまい、演算処理部４１２での処理が正常に行えなくなってしまう。また、高速なクロックを生成している場合にクロック供給が長期間停止すると、クロック供給を単に再開しただけではＰＬＬで生成した高速クロックは復帰せずに正常な処理に復帰できない可能性がある。なお、入出力制御部４１０は撮像装置１１０から供給されるクロックをそのまま通信に使用しているため、処理用クロックが不定となってしまった状態でもＩ／Ｆ部４０１を介して撮像装置１１０とコマンド・データのやりとりは可能である。

ＦＰＧＡ４０２は、事前に保持された複数の処理機能に対応する設定データに含まれる、実行対象の処理機能の設定データを抽出して、その抽出した設定データに基づいて演算処理部４１２によって実行される処理内容を書き換える。これにより、着脱可能デバイス１００が、その複数の処理機能のうちの少なくともいずれかを選択的に実行することができる。また、新規に追加する処理の設定データを随時追加することにより、撮像装置１１０側で最新の処理を実行させることができる。なお、以下では、複数の処理機能のそれぞれに対応する複数の設定データを有していることを、複数の処理機能を有すると表現する。すなわち、着脱可能デバイス１００のＦＰＧＡ４０２が１つの処理機能を実行するように構成されている状態であっても、他の処理機能のための設定データにより演算処理部４１２の処理内容を変更することができる場合、複数の処理機能を有する、と表現する。

ＳＤコントローラ４０３は、ＳＤ規格に定義されているような公知のコントロールＩＣ（集積回路）であり、ＳＤプロトコルのスレーブ動作の制御と、記憶部４０４に対するデータの読み書きの制御とを実行する。記憶部４０４は、例えばＮＡＮＤ型フラッシュメモリによって構成され、例えば、撮像装置１１０から書き込まれた記憶データ、演算処理部４１２に書き込まれる画像解析処理機能の情報、ＦＰＧＡ４０２の設定データ、解析用の回路データ等の各種情報を記憶する。

次に、図５を参照して着脱可能デバイス１００の機能構成例を説明する。着脱可能デバイス１００は、その機能構成として、例えば、解析部５０１、通信部５０２、及び記憶部５０３を含む。解析部５０１は、画像に対する解析処理を含む種々の画像処理（演算処理）を実行する。解析部５０１はFPGA４０２に対応し、例えば、撮像装置１１０から解析処理の設定要求が入力された場合に、解析処理を実行可能な状態にするための設定を行う。解析処理の設定要求は、実行可能とする解析処理の種別を指定する情報を含むことができ、解析部５０１は設定要求で指定された種類の解析処理を実行可能にするための設定を行う。また、解析部５０１は、画像が入力された場合、入力画像に対して、実行可能な状態に設定された解析処理を実行する。通信部５０２は、Ｉ／Ｆ部４０１に対応し、撮像装置１１０との通信を行う。記憶部５０３は、SDコントローラ４０３及び記憶部４０４に対応し、撮像装置１１０から受信した画像データを記憶すると共に、解析部５０１における画像処理のワークエリアとして利用される。本実施形態において、記憶部５０３には、解析部５０１における解析処理の結果が、処理の途中であっても随時保存されるように構成されている。

本実施形態では、実行可能な解析処理の種別として、人体検出処理と顔検出処理とがあるが、実行可能な解析処理の例はこれらに限られない。例えば、事前に記憶部５０３に記憶された被写体（人物、車両、物等）が入力画像に含まれるか否かを判定する処理であってもよい。具体的には、事前に記憶された人物の画像特徴量と、入力画像から検出された人物の画像特徴量との一致度合いが算出され、一致度合いが閾値以上の場合に事前に記憶された人物であると判定することができる。また、プライバシー保護を目的として入力画像から検出された人物、物体、領域等に対して、所定のマスク画像を重畳したり、モザイク処理を施したりする処理であってもよい。また、人物の特定の行動を機械学習によって学習した学習モデルを用いて、画像中の人物が特定の行動を行っているかを検出する処理であってもよい。さらには、画像中の領域がどのような領域なのかを判定する処理であってもよい。例えば、建物や道路、人物、空等を機械学習によって学習した学習モデルを用いて、画像中の領域がどのような領域なのかを判定する処理であってもよい。

以上のように、実行可能な解析処理は、機械学習を用いた画像解析処理にも、機械学習を用いない画像解析処理にも応用可能である。また、上記の各解析処理は、着脱可能デバイス１００が単独で行うのではなく、撮像装置１１０と協働して実行してもよい。

＜コマンドによる処理用クロック再設定＞
次に、図６のフローチャートを参照して、処理クロック生成部４１３で生成された処理用クロックの再設定を行う処理の流れを説明する。該フローチャートに対応する処理は、例えば、撮像装置１１０側においては、制御部３０４として機能する１以上のプロセッサ（ＣＰＵやＭＰＵ等）が対応するプログラム（記憶部３０３として機能するメモリ等に格納）を実行することにより実現できる。また、着脱可能デバイス１００側においては、対応する設定データを記憶部４０４から読み出し論理回路を生成して起動することによりＦＰＧＡ４０２により実現できる。

まず、Ｓ６０１で撮像装置１１０の制御部３０４はデバイス通信部３０６を介し、着脱可能デバイス１００に対して処理用クロックの再設定を要求するクロック再設定コマンドを発行する。Ｉ／Ｆ部４０１を介して高速クロックのクロック再設定コマンドを受け取った入出力制御部４１０は、Ｓ６１１において処理クロック生成部４１３を構成するＰＬＬをリセットする信号出力し、処理用クロックを再生成する。

図７で示されるようにＳＤコマンド７０１は、ＳＴＡＲＴｂｉｔ７０２、Ｄｉｒｅｃｔｉｏｎｂｉｔ７０３、コマンドナンバー部７０４、コマンド引数部７０５と誤り訂正用データ部７０６、ＥＮＤｂｉｔ７０７等から構成される。クロック再設定コマンドは、例えばコマンドナンバー部７０４を既存のＳＤコマンドとは異なる番号にしてもよいし、既存のコマンドを用いてコマンド引数部７０５でリザーブに設定されている部分にリセット要求のフラグを埋め込むようにして発行してもよい。

次にＳ６０２で撮像装置１１０の制御部３０４はデバイス通信部３０６を介し、着脱可能デバイス１００に対して画像処理用の撮像画像を送信する。Ｓ６１２において撮像画像を受け取った通信部５０２は、撮像画像を解析部５０１に出力する。続くＳ６０３で撮像装置１１０の制御部３０４はデバイス通信部３０６を介し、演算処理の実行指示を命令する実行指示コマンドを発行する。実行指示コマンドを受け取った通信部５０２は、実行指示コマンドを解析部５０１に出力する。Ｓ６１３において演算処理部４１２は、実行指示コマンドを受け取ると既に受信していた撮像画像に対して演算処理を実行し、Ｓ６１４において処理を終了する。当該演算処理は、上述のように予め受信した解析処理設定要求に応じて動作可能に設定されていた解析処理等の画像処理が該当する。

続くＳ６０４において、撮像装置１１０は解析部５０１（演算処理部４１２）における演算処理に必要な時間分Ｗａｉｔする。Ｗａｉｔ時間はあらかじめ撮像装置１１０側に情報として持たせておいても良いし、着脱可能デバイス１００側から処理開始前に読み出すようにしてもよい。続くＳ６０５において、撮像装置１１０の制御部３０４はデバイス通信部３０６を介して、演算結果の出力を要求する出力要求コマンドを発行する。Ｓ６１５において出力要求コマンドを受け取った通信部５０２は、当該コマンドを解析部５０１に出力する。続くＳ６１６において、解析部５０１は出力要求コマンドに応じて通信部５０２に対して演算結果を出力し、通信部５０２は受信した演算結果を撮像装置１１０に出力する。続くＳ６０６において、撮像装置１１０のデバイス通信部３０６は着脱可能デバイス１００から出力された演算結果を受信する。

このように、図６で説明した処理では、Ｓ６０１においてクロック再設定コマンドを着脱可能デバイス１００に対して発行し、演算開始に先立って処理用クロックのリセット及び再生成を行っている。これにより、撮像装置１１０からのクロック供給が停止され、処理用クロックが不定となってしまっている場合でも、処理クロックを正常に復帰させた状態で演算処理を開始できるため、演算処理を正常に実行することができる。

（実施形態２）
＜処理用クロックの不定の検出＞
上述の実施形態では、着脱可能デバイス１００側での演算開始前に処理用クロックの再設定を行う処理について述べた。これに対し、着脱可能デバイス１００側での演算処理中に処理用クロックが不定になったことを検出した場合に処理用クロックを再設定することもできる。以下、図８を参照して本実施形態の処理について説明する。

図８を参照して、処理用クロックが不定になったことを演算結果に基づいて検出した際の処理の一例を説明する。該フローチャートに対応する処理は、例えば、撮像装置１１０側においては、制御部３０４として機能する１以上のプロセッサ（ＣＰＵやＭＰＵ等）が対応するプログラム（記憶部３０３として機能するメモリ等に格納）を実行することにより実現できる。また、図８においては記載していないものの、着脱可能デバイス１００側の処理は、対応する設定データを記憶部４０４から読み出し論理回路を生成して起動することによりＦＰＧＡ４０２により実現できる。

まず、Ｓ８０１で撮像装置１１０の制御部３０４はデバイス通信部３０６を介し、着脱可能デバイス１００に対して画像処理用の撮像画像を送信する。次にＳ８０２で撮像装置１１０の制御部３０４はデバイス通信部３０６を介し、着脱可能デバイス１００に演算処理の実行指示コマンドを発行し、撮像画像に対する演算処理を開始させる。Ｓ８０３で撮像装置１１０の制御部３０４はデバイス通信部３０６を介して、着脱可能デバイス１００に出力要求コマンドを発行して、演算結果を要求する。

Ｓ８０４で撮像装置１１０は着脱可能デバイス１００から出力された演算結果が正常（或いは、異常）であるかどうかの判定を行う。演算結果が正常であるかは、例えば、演算結果が不正値であるかどうかにより判定することができる。ここでの「不正な値」とは例えば、出力結果が全て０ｘ００や０ｘＦＦといった、演算結果として出力されるはずのない値や、演算処理を行う撮像画像を変更しているのにも関わらず、前回の演算結果と同じ値が出力された場合等を指す。本実施形態では、演算処理が行われた場合には、随時演算結果が記憶部４０４に保存されていくので、前回の演算結果と同じ値が出力される場合は演算処理自体が実行されていないことになるので、前回の演算結果は不正な値とみなされる。演算結果が不正値である場合には、当該演算結果は正常でない（即ち、異常）とみなされる。Ｓ８０４で演算結果が不正値であると判定された場合、処理はＳ８０５に進む。この場合、撮像装置１１０は処理用クロックが不定となったものとみなし、Ｓ８０５において撮像装置１１０の制御部３０４はデバイス通信部３０６を介してクロック再設定コマンドを発行し、Ｓ８０１から再度演算処理を実行する。

Ｓ８０４で演算結果が不正値でないと判定された場合、処理はＳ８０６に進み、撮像装置１１０は後処理を実行する。当該後処理として、例えば、着脱可能デバイス１００から取得した演算結果を画像に重畳して表示する等の処理を行うことができる。

このように本実施形態では、着脱可能デバイス１００における演算結果の異常を検出し、処理用クロックの再設定を行って異常状態を解消することができる。従って、着脱可能デバイス１００における演算の途中において、処理用クロックが不定になった場合であっても、クロックの再設定を行って正常状態に復帰できる。一方、演算結果の異常が検出されない場合には、処理用クロックが不定になっていないので処理用クロックの再設定処理を行う必要がないため、全体としての処理時間を短縮することができる。

（実施形態３）
＜テスト画像を用いた処理用クロックの不定の検出＞
上述の実施形態２では、演算中に検出された演算結果の異常に基づき処理用クロックの再設定を行う処理について述べた。実施形態２では、演算結果の異常を出力結果の特定値（０ｘ００や０ｘＦＦ）に基づいて判定したが、処理用クロックの不定が特定値として表れない場合も想定される。そこで、本実施形態では、テスト画像に対する演算結果に基づいて、処理用クロックが不定になったこと検出する場合を説明する。ここで、テスト画像とは、着脱可能デバイス１００における演算結果が予め判明している（既知である）画像データのことを指す。本実施形態では、当該既知の演算結果を「期待値」と呼ぶ。着脱可能デバイス１００が実行する画像の演算処理の内容が同じである場合、同一画像に対して行われる演算処理の結果は一致する。従って、期待値通りの演算結果が返ってこない場合には、例えば処理用クロックの不定に基づくエラーが発生していると推測することができる。本実施形態では、撮像装置１１０の記憶部３０３に演算結果が既知の画像をあらかじめテスト画像として持たせておく。また、予めテスト画像を演算して得られた演算結果の値も保持しておくことができる。

図９は、本実施形態に対応する処理の一例を示すフローチャートである。まず、Ｓ９０１において撮像装置１１０の制御部３０４はデバイス通信部３０６を介し、記憶部３０３に記憶されたテスト画像を着脱可能デバイス１００に送信する。続くＳ９０２において撮像装置１１０の制御部３０４はデバイス通信部３０６を介し、着脱可能デバイス１００に対して演算処理の実行指示コマンドを発行し、Ｓ９０３で演算結果の出力要求コマンドを更に発行する。出力要求コマンドに応じて着脱可能デバイス１００から送信された演算結果を受信すると、Ｓ９０４で撮像装置１１０の制御部３０４は着脱可能デバイス１００から取得した演算結果が予め求めておいた期待値と一致しているか否かの判定を行う。Ｓ９０４で演算結果が期待値と一致していないと判定された場合、処理はＳ９０５に移行する。この場合、処理用クロックが不定になっていると推定されるため、撮像装置１１０のデバイス通信部３０６は着脱可能デバイス１００に対してクロック再設定コマンドを発行する。一方、Ｓ９０４で演算結果が期待値と一致していると判定された場合、処理はＳ９０６に進む。

Ｓ９０６において撮像装置１１０のデバイス通信部３０６は、着脱可能デバイス１００に対して処理用の画像を送信し、続くＳ９０７で演算処理の実行指示要求コマンドを発行し、更にＳ９０８で演算結果の要求コマンドを発行する。

以上のように、本実施形態では実際の演算処理対象の撮像画像の演算処理を行う以前に、予めテスト画像での演算処理を実行しておく場合を説明したが、当該テスト画像による演算処理は、所定の頻度で実行することができる。例えば、演算処理を実行した画像の枚数が所定枚数と一致する度に実行してもよい。また、テスト画像による演算処理は、着脱可能デバイス１００が演算処理を行っていない期間（例えば空き時間）において行わせるようにしてもよい。

本実施形態によれば、着脱可能デバイス１００における演算処理が正常に行われていないことを、テスト画像を用いた演算結果に基づいて検出することができる。これにより、演算結果が０ｘ００や０ｘＦＦといった固定値となる場合や、前回の演算結果から更新されていない場合以外の、演算結果の一部が異常になるような場合にも、演算処理の異常を検出することができる。本実施形態では、予め演算結果の期待値が判明しているテスト画像を用いて演算を行わせるため、実施形態２のような通常の撮像画像を用いた演算処理に比べて、演算処理の異常を高い精度で検出することができる。

（実施形態４）
＜撮像装置内の負荷低減処理＞
上述の実施形態では、着脱可能デバイス１００に対してクロック再設定コマンドを発行することで、着脱可能デバイス１００側の演算処理を正常に行わせる形態を説明してきた。これに対し本実施形態では、クロック供給の停止状況を回避するための撮像装置１１０側の処理について説明する。

まず、撮像装置１１０から着脱可能デバイス１００へのクロック供給が停止される要因として、撮像装置１１０における制御部３０４の高負荷によるものがある。そのため、着脱可能デバイス１００側の演算用クロックを再設定しただけで撮像装置１１０側の高負荷状況を改善せずにそれまでと同様の処理を継続すると、クロック供給の停止を繰り返してしまうおそれがある。そこで、本実施形態では、撮像装置１１０側の処理負荷を軽減することで、クロック供給の停止を繰り返してしまうような状況を回避する。以下では説明のため、処理用のクロック停止の検出は、図８のフローと同様に撮像画像に対する演算結果を用いて行うものとする。

図１０を参照して、本実施形態に対応する撮像装置１１０における処理の流れを説明する。まず、Ｓ１００１で撮像装置１１０の制御部３０４はデバイス通信部３０６を介し、画像処理用の撮像画像を着脱可能デバイス１００に送信する。続くＳ１００２において、撮像装置１１０の制御部３０４はデバイス通信部３０６を介し、着脱可能デバイス１００に対して演算処理の実行指示コマンドを発行し、Ｓ１００３で演算結果の要求コマンドを発行し、演算結果を取得する。続くＳ１００４において、撮像装置１１０の制御部３０４は、着脱可能デバイス１００から出力された演算結果が不正値か否かの判定を行う。演算結果が不正値であると判定された場合、処理はＳ１００５に進む。Ｓ１００５において撮像装置１１０の制御部３０４はデバイス通信部３０６を介し、クロック再設定コマンドを着脱可能デバイスに対して発行すると共に、Ｓ１００６において、撮像装置１１０の制御部３０４は、演算処理の頻度を下げる設定変更を行い、再度、Ｓ１００１からの処理に移行する。一方、Ｓ１００４で演算結果が不正値でないと判定された場合、処理頻度を下げることなく処理はＳ１００７に移行し、演算結果を画像に重畳して表示する等の後処理を行う。

以上では、演算結果に不正値が検出された場合には直ちに、撮像装置１１０側の演算頻度を下げる場合を説明した。しかし、実施形態によっては不正値がある回数もしくはある頻度以上、検出された場合に演算処理の頻度を下げるようにしてもよい。

また、撮像装置１１０側の演算処理の頻度を下げるだけでなく、撮像装置１１０で行っている処理の一部を着脱可能デバイス１００上で行わせるように変更することで、撮像装置１１０の負荷を下げるようにしてもよい。もしくはユーザに対して撮像装置１１０の処理負荷が大きくなっていること、もしくは処理負荷を下げることを促す旨のユーザ通知を入出力装置１３０上に出す（表示する）ようにしてもよい。そのようなユーザ通知の例としては、例えばネットワークに配信するストリーム数を減らす、演算処理対象の領域を減らす提案など、撮像装置１１０の負荷を低減するものがある。

本実施形態では、撮像装置１１０側の負荷を下げることで、処理負荷高い状態が継続し高頻度でクロック供給が止められてしまうといった事態を回避することができるので、処理用クロックが短期間に何度も不定になることを効果的に防止することができる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 着脱可能デバイス、１１０ 撮像装置、１２０ ネットワーク、１３０ 入出力装置

Claims (15)

1. デバイスを着脱可能な装着機構を有する撮像装置であって、
   前記デバイスが解析処理を実行するために用いる処理用クロックを再設定するクロック再設定の要求を含むコマンドを生成する生成手段と、
   前記装着機構に、前記解析処理を実行する機能を有するデバイスが装着されている場合に、前記デバイスに対して画像を送信し、前記画像に対する前記解析処理の実行指示を送信し、前記実行指示に従って得られた前記解析処理の処理結果を受信する通信手段と、
   前記デバイスから受信した前記処理結果に基づいて、前記デバイスが前記解析処理を実行するために用いる処理用クロックを再設定させるか否かを判定する判定手段と
   を備え、
   前記通信手段は、前記判定手段が前記デバイスに前記処理用クロックを再設定させると判定した場合に、前記デバイスに対して、前記コマンドを更に送信する、撮像装置。
2. 前記通信手段が送信する画像は、前記撮像装置が撮像した画像であり、
   前記判定手段は、前記デバイスから受信した前記処理結果に所定の値が含まれる場合に、前記デバイスに前記処理用クロックを再設定させると判定する、請求項１に記載の撮像装置。
3. 前記通信手段が送信する画像は、前記解析処理の結果が予め判明している第１の画像であり、
   前記判定手段は、前記デバイスから受信した前記解析処理の結果が、前記予め判明している前記解析処理の結果と一致しない場合に前記デバイスに前記処理用クロックを再設定させると判定する、請求項２に記載の撮像装置。
4. 前記通信手段は、前記第１の画像の解析処理の結果に基づき前記処理用クロックの再設定が行われた後に、前記画像として、前記撮像装置が撮像した画像を更に送信し、前記画像に対する前記解析処理の実行指示を送信する、請求項３に記載の撮像装置。
5. 前記通信手段は、前記デバイスで前記撮像装置が撮像した画像の前記解析処理が行われていない期間に前記第１の画像を送信する、請求項４に記載の撮像装置。
6. 前記通信手段は、前記第１の画像を所定の頻度で送信する、請求項３から５のいずれか１項に記載の撮像装置。
7. 前記撮像装置は、前記撮像装置の動作に関する処理を実行する処理手段を更に備え、
   前記判定手段が前記デバイスに前記処理用クロックを再設定させると判定した場合、及び、前記通信手段が前記コマンドを送信した場合のうち少なくともいずれかの場合に、前記処理手段は前記撮像装置の動作に関する前記処理の頻度を低減する、請求項１から６のいずれか１項に記載の撮像装置。
8. 前記判定手段が前記デバイスに前記処理用クロックを再設定させると判定した場合、及び、前記通信手段が前記コマンドを送信した場合のうち少なくともいずれかが、所定の回数だけ繰り返された場合に、前記処理手段は前記撮像装置の動作に関する前記処理の頻度を低減する、請求項７に記載の撮像装置。
9. 前記処理手段は、実行している前記処理の一部を前記デバイスに割り当てることにより、前記処理の頻度を低減する、請求項７又は８に記載の撮像装置。
10. 前記処理手段における前記処理の負荷に関するユーザ通知を行う通知手段を更に備え、
    前記処理手段が前記撮像装置の動作に関する前記処理の頻度を低減する場合に、前記通知手段は前記ユーザ通知を行う、請求項７から９のいずれか１項に記載の撮像装置。
11. 前記通信手段は、前記装着機構に前記解析処理を実行する機能を有するデバイスが装着されている場合に、前記画像に対する前記解析処理の実行指示を送信するのに先立って、前記デバイスに対して前記コマンドを送信して、前記処理用クロックの再設定を行う、請求項１から１０のいずれか１項に記載の撮像装置。
12. 前記デバイスは、前記撮像装置から供給されるクロックから前記処理用クロックを生成するクロック生成部を有し、
    前記クロック生成部は、前記クロック再設定の要求に応じてリセットされ、前記処理用クロックを再生成する、請求項１から１１のいずれか１項に記載の撮像装置。
13. 前記装着機構はＳＤカードスロットを含み、
    前記デバイスはＳＤカードの態様のデバイスである、請求項１２に記載の撮像装置。
14. デバイスを着脱可能な装着機構を有する撮像装置の制御方法であって、
    生成手段が、前記デバイスが解析処理を実行するために用いる処理用クロックを再設定するクロック再設定の要求を含むコマンドを生成する生成工程と、 前記装着機構に、解析処理を実行する機能を有するデバイスが装着されている場合に、
    前記撮像装置の通信手段が、
    前記デバイスに対して、画像を送信する工程と、
    前記デバイスに対して、前記画像に対する前記解析処理の実行指示を送信する工程と、
    前記デバイスから、前記実行指示に従って得られた処理結果を受信する工程と、
    前記デバイスに対して、前記コマンドを送信する工程と、
    判定手段が、前記デバイスから受信した前記処理結果に基づいて、前記デバイスが前記解析処理を実行するために用いる処理用クロックを再設定させるか否かを判定する判定工程と
    を含み、
    前記判定工程において前記デバイスに前記処理用クロックを再設定させると判定された場合に、前記コマンドを送信する工程において前記コマンドが送信される、撮像装置の制御方法。
15. コンピュータを請求項１から１３のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images