JP7417455B2 - 電子機器及びその制御方法、プログラム - Google Patents

Description

本発明は、着脱可能デバイスと接続可能な電子機器及びその制御方法、プログラムに関する。

近年、監視カメラにより撮像された画像を用いて物体の検出や追尾、属性の推定等を行う画像解析、そのような画像解析の結果を用いた物体数の推定が様々なシーンで行われている。これまでは監視カメラの映像をＰＣやサーバ等の高性能な演算装置に転送して画像解析が行われてきたが、モバイル用演算装置の処理能力の向上に伴い、画像解析をカメラ側で直接行う事例も増えてきている。実装形態としてはカメラ本体に演算装置を配置する他に、ＵＳＢ等の着脱可能デバイスに演算装置を配置する形態も提案されている。カメラ本体に演算装置を配置した形態では、演算装置を配置した着脱可能デバイスを装着することで、カメラ側でより高度な解析処理を行うことができる。

しかし、汎用的なＩ／Ｆを用いてカメラと着脱可能デバイスを接続した場合、通信に用いられるプロトコルは公知である。そのため、データを容易に解析されてしまう可能性がある。特許文献１では、通信を確立する際に暗号化を用いて通信設定のための情報を交換する通信設定方式が開示されている。また、特許文献２では複数のＩ／Ｆ（複数の通信経路）で機器間を接続し、通信経路の数で暗号化した情報を復元する方法が開示されている。

特開２０１５－０４６９２７号公報 特開２０１３－１４４０３７号公報

しかしながら、上述の特許文献１に開示された従来技術では、通信方法を確立するための認証方法に関しては記載があるが、通信確立後のデータの送受信方式に関しては言及されていない。また、上述の特許文献２に開示された従来技術では、データを暗号化するための方法に関しては記載があるが、機器間のＩ／Ｆのプロトコル自体が解析されることに関しては言及されていない。

本発明は、既知の通信プロトコルを用いて接続された電子機器とデバイスの間の通信内容が第三者により把握されてしまう可能性を低減する技術を提供する。

本発明の一態様による電子機器は以下の構成を備える。すなわち、
演算処理部を備えたデバイスを着脱可能な電子機器であって、
前記演算処理部の処理対象であるデータを分割して複数の分割データを得る分割手段と、
前記複数の分割データの各々を前記デバイスへ送信するための、複数種類のコマンドの組み合わせである第１のコマンド群を決定する決定手段と、
前記決定手段により決定された前記第１のコマンド群を用いて分割データを送信する送信手段と、を備え、
前記決定手段は、前記複数の分割データの内のある分割データを送信する場合と、他の分割データを送信する場合とで、前記第１のコマンド群を構成するコマンドの組み合わせを変更する。

本発明によれば、既知の通信プロトコルを用いて接続された電子機器とデバイスの間の通信内容が第三者により把握されてしまう可能性を低減することができる。

実施形態によるシステム構成の一例を示す図。 撮像装置のハードウェア構成例を示すブロック図。 撮像装置の機能構成例を示すブロック図。 着脱可能デバイスのハードウェア構成例を示すブロック図。 着脱可能デバイスの機能構成例を示すブロック図。 システムで実行される処理の例を示すフローチャート。 コマンドとレスポンスの構造を示す図。 第１実施形態による分割画像データの生成例を示した図。 第１実施形態による画像送信処理を示すフローチャート。 第１実施形態による演算結果の受信処理を示すフローチャート。 第２実施形態による、複数フレームの送受信処理を示したフローチャート。 理機能の情報を格納しているアドレス内のデータを概略的に示す図。 撮像装置が取得する情報の例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１実施形態］
以下、着脱可能なデバイスを装着する電子機器として撮像装置を用いた例を説明する。
＜システム構成＞
図１に、本実施形態の画像解析システムの構成例を示す。以下では、一例として、このシステムが特定人物追跡システムである場合について説明する。ただし、これに限られず、画像を解析して所定の情報出力を行う任意のシステムに、以下の議論を適用することができる。本システムは、撮像装置１１０ａ～１１０ｄと、ネットワーク１２０と、入出力装置１３０とを含んで構成される。なお、撮像装置１１０ａ～１１０ｄは、それぞれ、例えば撮像した画像を記録可能なデバイスを着脱可能なスロットを有し、そのスロットに着脱可能デバイス１００ａ～１００ｄが挿入されることにより、着脱可能デバイス１００ａ～１００ｄと接続される。なお、以下では、着脱可能デバイス１００ａ～１００ｄを「着脱可能デバイス１００」と表記し、撮像装置１１０ａ～１１０ｄを「撮像装置１１０」と表記する。なお、以下では、画像という用語は、映像、動画、静止画を総称するものとする。

着脱可能デバイス１００は、撮像装置１１０に対して着脱可能な演算デバイスである。着脱可能デバイス１００は、一例として、ＳＤカードに所定の処理回路を搭載したメモリデバイスである。着脱可能デバイス１００は、例えば、ＳＤカードの態様によって、撮像装置１１０にその全体が挿入可能に構成され、これにより、撮像装置１１０から突出する部分がない状態で撮像装置１１０と接続可能に構成することができる。また、着脱可能デバイス１００は、例えば、撮像装置１１０にその半分以上の部分が挿入可能に構成され、これにより、撮像装置１１０から突出する部分が少ない状態で撮像装置１１０と接続可能に構成されてもよい。これにより、着脱可能デバイス１００が配線等の障害物と干渉することを防ぐことができ、デバイスの利用時の利便性を高めることができる。また、多くの既存のネットワークカメラなどの撮像装置１１０には、ＳＤカードスロットが用意されているため、既存の撮像装置１１０に対して、着脱可能デバイス１００により拡張機能を提供することができる。なお、着脱可能デバイス１００は、ＳＤカードの態様以外に、少なくともその撮像装置１１０で撮影された画像を記憶可能な記憶装置が装着される際に使用される任意のインタフェースで、撮像装置１１０に装着されるように構成されてもよい。例えば、着脱可能デバイス１００は、ＵＳＢ（ユニバーサリシリアルバス）インタフェースを有し、撮像装置１１０のＵＳＢソケットに装着されるように構成されてもよい。また、所定の処理回路は、例えば、所定の処理を実行するようにプログラムされたＦＰＧＡ（フィールドプログラマブルゲートアレイ）によって実装されるが、それ以外の形式で実装されてもよい。

撮像装置１１０は、ネットワークカメラ等の撮像装置である。本実施形態では、撮像装置１１０は、画像を処理することのできる演算装置を内蔵するものとするが、これに限られない。例えば、撮像装置１１０に接続されたＰＣ（パーソナルコンピュータ）等の外部コンピュータが存在してもよく、これらの組み合わせを、撮像装置１１０として扱ってもよい。また、本実施形態では、全ての撮像装置１１０に、着脱可能デバイス１００が装着されているものとする。なお、図１では、４つの撮像装置１１０と、それぞれに装着された着脱可能デバイスとが示されているが、これらの装置の組み合わせの数は３つ以下であってもよいし、５つ以上であってもよい。撮像装置１１０に、画像解析処理機能を有する着脱可能デバイス１００が装着されることにより、撮像装置１１０が画像解析処理機能を有しなくても、撮像装置１１０側で画像処理を実行することが可能となる。また、本実施形態のように撮像装置１１０に画像処理用の演算装置が配置された形態では、演算装置が配置された着脱可能デバイス１００が撮像装置１１０に装着されることにより、撮像装置１１０側で実行可能な画像処理を多様化・高度化することができる。

入出力装置１３０は、ユーザからの入力の受け付けや、ユーザへの情報の出力（例えば情報の表示）を行う装置である。本実施形態では、例えば入出力装置１３０は、ＰＣ等のコンピュータであり、そのコンピュータにインストールされたブラウザやネイティブアプリケーションによって、情報の入出力が行われる。

撮像装置１１０と入出力装置１３０は、ネットワーク１２０を介して通信可能に接続される。ネットワーク１２０は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満たす複数のルータ、スイッチ、ケーブル等を含んで構成される。本実施形態では、ネットワーク１２０は、撮像装置１１０と入出力装置１３０との間の通信を可能とする任意のネットワークであってよく、任意の規模や構成、準拠する通信規格によって構築されうる。例えば、ネットワーク１２０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等でありうる。また、ネットワーク１２０は、例えば、ＯＮＶＩＦ（Ｏｐｅｎ Ｎｅｔｗｏｒｋ Ｖｉｄｅｏ Ｉｎｔｅｒｆａｃｅ Ｆｏｒｕｍ）規格に準拠した通信プロトコルでの通信が可能なように構成されうる。ただし、これに限られず、ネットワーク１２０は、例えば、独自の通信プロトコル等の他の通信プロトコルでの通信が可能なように構成されてもよい。

＜装置構成＞
（撮像装置の構成）
続いて、撮像装置１１０の構成について説明する。図２は、撮像装置１１０のハードウェア構成例を示す図である。撮像装置１１０は、そのハードウェア構成として、例えば、撮像部２０１、画像処理部２０２、演算処理部２０３、配信部２０４、ＳＤ Ｉ／Ｆ部２０５を含む。なお、Ｉ／Ｆは、インタフェースの略語である。

撮像部２０１は、光を結像するためのレンズ部と、結像された光に応じたアナログ信号変換する撮像素子とを含んで構成される。レンズ部は、画角を調整するズーム機能や、光量の調整を行う絞り機能などを有する。撮像素子は、光をアナログ信号に変換する際の感度調整を行うゲイン機能を有する。これらの機能は、画像処理部２０２から通知された設定値に基づいて調整される。撮像部２０１によって取得されたアナログ信号は、アナログ－デジタル変換回路によってデジタル信号に変換され、画像信号として画像処理部２０２へ転送される。

画像処理部２０２は、画像処理エンジンと、その周辺デバイス等を含んで構成される。周辺デバイスは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や、各Ｉ／Ｆのドライバ等を含む。画像処理部２０２では、撮像部２０１から取得した画像信号に対して、例えば、現像処理、フィルタ処理、センサ補正、ノイズ除去等の、画像処理を施して画像データを生成する。また、画像処理部２０２は、レンズ部や撮像素子へ設定値を送信し、適切露出画像を取得できるように、露出調整を実行しうる。画像処理部２０２において生成された画像データは、演算処理部２０３へ転送される。

演算処理部２０３は、ＣＰＵやＭＰＵ等の１つ以上のプロセッサ、ＲＡＭやＲＯＭ等のメモリ、各Ｉ／Ｆのドライバなどから構成される。なお、ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの、ＭＰＵはＭｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの、ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの、ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの、頭字語である。演算処理部２０３では、一例において、上述のシステムにおいて実行されるべき処理の各部分を撮像装置１１０と着脱可能デバイス１００とのいずれが実行するかの分担を決定し、その決定した分担に対応する処理を実行しうる。また、演算処理部２０３は、着脱可能デバイス１００とのＳＤ規格（ＳＤ Ａｓｓｏｃｉａｔｉｏｎにより策定）に則ったＳＤ通信のプロトコル制御も行う。ＳＤ通信のプロトコル制御機能の詳細に関しては後述する。画像処理部２０２から受け取った画像は、配信部２０４、又は、ＳＤ Ｉ／Ｆ部２０５へ転送される。また、処理結果のデータも配信部２０４へ転送される。

配信部２０４は、ネットワーク配信エンジンと、例えば、ＲＡＭやＥＴＨ ＰＨＹモジュールなどの周辺デバイス等を含んで構成される。ＥＴＨ ＰＨＹモジュールは、Ｅｔｈｅｒｎｅｔの物理（ＰＨＹ）レイヤの処理を実行するモジュールである。配信部２０４は、演算処理部２０３から取得した画像データや処理結果のデータを、ネットワーク１２０へ配信可能な形式に変換して、変換後のデータをネットワーク１２０へ出力する。ＳＤ Ｉ／Ｆ部２０５は、着脱可能デバイス１００と接続するためのインタフェース部分で、例えば、電源と、着脱可能デバイス１００を着脱するための、着脱ソケット等の装着機構を含んで構成される。ここでは、ＳＤ Ｉ／Ｆ部２０５が、ＳＤ Ａｓｓｏｃｉａｔｉｏｎにより策定されたＳＤ規格に従って構成されるものとする。演算処理部２０３から取得された画像の着脱可能デバイス１００への転送や、着脱可能デバイス１００からのデータの取得等の、着脱可能デバイス１００と撮像装置１１０との間での通信は、ＳＤ Ｉ／Ｆ部２０５を通じて行われる。

図３に、撮像装置１１０の機能構成例を示す。撮像装置１１０は、その機能として、例えば、撮像制御部３０１、信号処理部３０２、記憶部３０３、制御部３０４、解析部３０５、デバイス通信部３０６、及び、ネットワーク通信部３０７を含む。

撮像制御部３０１は、撮像部２０１を介して周囲の環境を撮影するようにする制御を実行する。信号処理部３０２は、撮像制御部３０１によって撮影された画像に対して所定の処理を施して、撮影画像のデータを生成する。以下では、この撮影画像のデータを単に「撮影画像」と呼ぶ。信号処理部３０２は、例えば、撮像制御部３０１によって撮影された画像を符号化する。信号処理部３０２は、静止画像に対して、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の符号化方式を用いて符号化を行う。また、信号処理部３０２は、動画像に対して、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ（以下では「Ｈ．２６４」と呼ぶ。）、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）等の符号化方式を用いて符号化を行う。また、信号処理部３０２は、予め設定された複数の符号化方式の中から、例えば撮像装置１１０の不図示の操作部を介して、ユーザにより選択された符号化方式を用いて、画像を符号化してもよい。

記憶部３０３は、後述する解析処理の結果を記憶する。なお、本実施形態では、実行される処理が解析処理であるが、任意の処理が実行されてもよい。制御部３０４は、信号処理部３０２、記憶部３０３、解析部３０５、デバイス通信部３０６、ネットワーク通信部３０７を、それぞれが所定の処理を実行するように、制御する。

解析部３０５は、撮影画像に対して、解析前処理、解析処理、解析後処理の少なくともいずれかを選択的に実行する。解析前処理は、後述の解析処理を実行する前に、撮影画像に対して実行する処理である。本実施形態の解析前処理では、一例として、撮影画像を分割して分割画像を作成する処理が実行されるものとする。解析処理は、入力された画像を解析して得られる情報を出力する処理である。本実施形態の解析処理では、一例として、解析前処理によって得られた分割画像を入力として、人体検出処理、顔検出処理、車両検出処理の少なくともいずれかを実行し、解析処理結果を出力する処理が実行されるものとする。解析処理は、例えば非特許文献１の技術によって、画像に含まれるオブジェクトを検出できるように学習が行われた機械学習モデルを用いて、分割画像中のオブジェクトの位置を出力するように構成された処理でありうる。解析後処理は、解析処理が実行された後に実行される処理である。本実施形態の解析後処理では、一例として、各分割画像に対する解析処理結果に基づいて、各分割画像において検出されたオブジェクトの数を合計した値を処理結果として出力する処理が実行されるものとする。なお、解析処理は、パターンマッチングを行って画像中のオブジェクトを検出し、その位置を出力する処理であってもよい。

デバイス通信部３０６は、着脱可能デバイス１００との通信を行う。デバイス通信部３０６は、入力されたデータを着脱可能デバイス１００が処理可能な形式に変換し、その変換によって得られたデータを着脱可能デバイス１００に送信する。また、デバイス通信部３０６は、着脱可能デバイス１００からデータを受信し、受信したデータを撮像装置１１０が処理可能な形式に変換する。本実施形態では、デバイス通信部３０６は、変換処理として、小数を浮動小数点形式と固定小数点形式との間で変換する処理を実行するものとするが、これに限られず、他の処理がデバイス通信部３０６によって実行されてもよい。また、本実施形態では、デバイス通信部３０６は、着脱可能デバイス１００に対してＳＤ規格の範囲内で事前に定められたコマンドシーケンスを送信し、着脱可能デバイス１００からの応答を受信することで、着脱可能デバイス１００との通信を行うものとする。ネットワーク通信部３０７は、ネットワーク１２０を介して、入出力装置１３０との通信を行う。

（着脱可能デバイスの構成）
図４に、着脱可能デバイス１００のハードウェア構成例を示す。着脱可能デバイス１００は、一例として、Ｉ／Ｆ部４０１、ＦＰＧＡ４０２、ＳＤコントローラ４０３、及び、記憶部４０４を含んで構成される。着脱可能デバイス１００は、撮像装置１１０が有するＳＤ Ｉ／Ｆ部２０５の着脱ソケットに挿抜できる形状で、すなわちＳＤ規格に則った形状で成形されるものとする。

Ｉ／Ｆ部４０１は、撮像装置１１０等の装置と着脱可能デバイス１００とを接続するためのインタフェース部分である。Ｉ／Ｆ部４０１は、例えば、撮像装置１１０から電源の供給を受け、着脱可能デバイス１００内で使用する電源を生成し分配する、電気的な接点端子等を含んで構成される。Ｉ／Ｆ部４０１は、撮像装置１１０のＳＤ Ｉ／Ｆ部２０５と同様に、ＳＤ規格内で定義（準拠）されている項目に関しては、それに従うものとする。撮像装置１１０からの画像や設定データの受け取り、ＦＰＧＡ４０２から撮像装置１１０へのデータの送信は、Ｉ／Ｆ部４０１を介して実行される。

ＦＰＧＡ４０２は、入出力制御部４１０、処理切替部４１１、及び演算処理部４１２を含んで構成される。ＦＰＧＡ４０２は、内部の論理回路構造を繰り返し再構成できる半導体デバイスの一種である。ＦＰＧＡ４０２が実現する処理により、着脱可能デバイス１００が装着された装置に、処理機能を追加（提供）することができる。また、ＦＰＧＡ４０２の再構成機能により、後から論理回路構造を変更することができるため、例えば技術の進歩の早い分野の装置に着脱可能デバイス１００を装着することにより、その装置において適時に適切な処理を実行することが可能となる。なお、本実施形態では、ＦＰＧＡが用いられる例について説明するが、後述する処理を実現可能である限りにおいて、例えば、汎用のＡＳＩＣや専用のＬＳＩが用いられてもよい。ＦＰＧＡ４０２は、生成される論理回路構造の情報を含んだ設定データが専用のＩ／Ｆから書き込まれることにより、又は、その設定データがその専用のＩ／Ｆから読み出されることによって、起動される。本実施形態では、この設定データが記憶部４０４に保持されているものとする。ＦＰＧＡ４０２は、電源が投入されると、記憶部４０４から設定データを読み出し、論理回路を生成して起動する。ただし、これに限られず、例えば、着脱可能デバイス内に専用の回路を実装することにより、Ｉ／Ｆ部４０１を介して、撮像装置１１０がＦＰＧＡ４０２に設定データを書き込んでもよい。

入出力制御部４１０は、撮像装置１１０との間で画像を送受信するための回路、撮像装置１１０から受信したコマンドを解析する回路、解析した結果に基づいて制御を行う回路、等を含んで構成される。ここでのコマンドは、ＳＤ規格に定義されているものであり、入出力制御部４１０は、それらのうちのいくつかを検出することができる。機能の詳細に関しては後述する。入出力制御部４１０は、記憶処理の場合はＳＤコントローラ４０３へ画像を送信し、画像解析処理の場合は演算処理部４１２へ画像を送信するように制御を行う。また、入出力制御部４１０は、処理の切り替えの設定データを受け取った場合は、処理切替部４１１へ設定データを送信する。処理切替部４１１は、撮像装置１１０から受け取った設定データに基づいて、記憶部４０４から画像解析処理機能の情報を取得し、演算処理部４１２に書き込むための回路を含んで構成される。画像解析処理機能の情報は、例えば、演算処理部４１２内で処理される演算の順序や種類、演算の係数などを示す設定パラメータである。

演算処理部４１２は、画像解析処理機能を実行するために必要な複数の演算回路を含んで構成される。演算処理部４１２は、処理切替部４１１から受け取った画像解析処理機能の情報に基づいて、各演算処理を実行して、その処理結果を撮像装置１１０へ送信し、及び／又は、その処理結果を記憶部４０４に記録する。このように、ＦＰＧＡ４０２は、事前に保持された複数の処理機能に対応する設定データに含まれる、実行対象の処理機能の設定データを抽出して、その抽出した設定データに基づいて演算処理部４１２によって実行される処理内容を書き換える。これにより、着脱可能デバイス１００が、その複数の処理機能のうちの少なくともいずれかを選択的に実行することができる。また、新規に追加する処理の設定データを随時追加することにより、撮像装置１１０側で最新の処理を実行させることができる。なお、以下では、複数の処理機能のそれぞれに対応する複数の設定データを有していることを、複数の処理機能を有すると表現する。すなわち、着脱可能デバイス１００のＦＰＧＡ４０２が１つの処理機能を実行するように構成されている状態であっても、他の処理機能のための設定データにより演算処理部４１２の処理内容を変更することができる場合、複数の処理機能を有する、と表現する。

ＳＤコントローラ４０３は、ＳＤ規格に定義されているような公知のコントロールＩＣ（集積回路）であり、ＳＤプロトコルのスレーブ動作の制御と、記憶部４０４に対するデータの読み書きの制御とを実行する。記憶部４０４は、例えばＮＡＮＤ型フラッシュメモリによって構成され、例えば、撮像装置１１０から書き込まれた記憶データ、演算処理部４１２に書き込まれる画像解析処理機能の情報、ＦＰＧＡ４０２の設定データ等の各種情報を記憶する。なお、記憶部４０４に対するデータの書き込みおよび読み出しはブロック（例えば、５１２ＢＹＴＥのサイズを有する）を単位として行われる。

図５に、着脱可能デバイス１００の機能構成例を示す。着脱可能デバイス１００は、その機能構成として、例えば、解析部５０１及び通信部５０２を含む。解析部５０１は、画像に対する解析処理を実行する。解析部５０１は、例えば、解析処理設定要求を入力された場合に、入力された解析処理を実行可能な状態にするための設定を実行する。また、解析部５０１は、画像が入力された場合、その入力された画像に対して、実行可能な状態に設定された解析処理を実行する。本実施形態では、実行可能な解析処理は、人体検出処理と顔検出処理であるものとするが、これらに限られない。例えば、事前に記憶された人物が画像に含まれるか否かを判定する処理（後述する顔認証処理）であってもよい。例えば、事前に記憶された人物の画像特徴量と、入力された画像から検出された人物の画像特徴量との一致度合いが算出され、一致度合いが閾値以上の場合に事前に記憶された人物であると判定される。また、プライバシー保護を目的として。入力された画像から検出された人物に対して、所定のマスク画像を重畳したり、モザイク処理を施したりする処理であってもよい。また、人物の特定の行動を機械学習によって学習した学習モデルを用いて、画像中の人物が特定の行動を行っているかを検出する処理であってもよい。さらには、画像中の領域がどのような領域なのかを判定する処理であってもよい。例えば、建物や道路、人物、空等を機械学習によって学習した学習モデルを用いて、画像中の領域がどのような領域なのかを判定する処理であってもよい。以上のように、実行可能な解析処理は、機械学習を用いた画像解析処理にも、機械学習を用いない画像解析処理にも応用可能である。また、上記の各解析処理は、着脱可能デバイス１００が単独で行うのではなく、撮像装置１１０と協働して実行してもよい。通信部５０２は、Ｉ／Ｆ部４０１を介して、撮像装置１１０との通信を行う。

入出力装置１３０は、一般的なＰＣ等のコンピュータとして構成され、例えば、プロセッサが、メモリや記憶装置に格納されたプログラムを実行することにより、各種機能を実行することができる。

＜処理の流れ＞
続いて、システム内で実行される処理の流れの例について説明する。なお、以下の各処理のうち撮像装置１１０が実行する処理は、例えば、演算処理部２０３内のプロセッサがメモリ等に記憶されたプログラムを実行することによって実現される。ただし、これは一例に過ぎず、後述の処理の一部又は全部が、専用のハードウェアによって実現されてもよい。また、着脱可能デバイス１００や入出力装置１３０が実行する処理についても、各装置におけるプロセッサがメモリ等に記憶されたプログラムを実行することによって実現されてもよいし、処理の一部又は全部を、専用のハードウェアによって実現してもよい。

（全体の流れ）
図６に、システムで実行される画像解析処理の一連の流れを概略的に示す。本処理では、まず、ユーザによって、撮像装置１１０に着脱可能デバイス１００が装着される（Ｓ６０１）。撮像装置１１０は、着脱可能デバイス１００の初期化シーケンスを実行する（Ｓ６０２）。この初期化シーケンスでは、撮像装置１１０と着脱可能デバイス１００との間で所定のコマンドが送受信されることにより、撮像装置１１０が、着脱可能デバイス１００を使用可能な状態となる。その後、撮像装置１１０は、着脱可能デバイス１００が実行可能な処理を把握し、ローカルで実行可能な（撮像装置１１０単体で又は撮像装置１１０と着脱可能デバイス１００の組み合わせで実行可能な）処理を把握する（Ｓ６０３）。なお、着脱可能デバイス１００は、任意の処理を実行可能なように構成されうるが、撮像装置１１０側で実行されるべき処理と無関係な処理については考慮されなくてもよい。一例において、撮像装置１１０は、例えば入出力装置１３０から事前に取得した実行されうる処理のリストを保持しておいてもよい。この場合、撮像装置１１０は、着脱可能デバイス１００が実行可能な処理を示す情報を着脱可能デバイス１００から取得した際に、その処理がリストに含まれているか否かによって、実行されうる処理のみを把握することができる。

続いて、撮像装置１１０は、実行する処理を決定し、必要に応じて着脱可能デバイス１００の設定を実行する（Ｓ６０４）。すなわち、実行対象として決定された処理の少なくとも一部が着脱可能デバイス１００によって実行される場合に、その処理のための着脱可能デバイス１００の設定が実行される。この設定においては、例えば、実行対象の処理に対応する設定データを用いたＦＰＧＡ４０２の再構成が行われうる。そして、撮像装置１１０または着脱可能デバイス１００が、解析処理を実行する（Ｓ６０５）。その後、撮像装置１１０は、後処理を実行する（Ｓ６０６）。なお、Ｓ６０５とＳ６０６の処理は繰り返し実行される。図６の処理は、例えば、着脱可能デバイス１００が装着された際に実行されるが、例えば着脱可能デバイス１００が取り外された際にも、Ｓ６０３の処理が再度実行されるようにするなど、図６の処理の少なくとも一部が繰り返し実行されてもよい。

Ｓ６０３～Ｓ６０６についてさらに説明する。Ｓ６０３で、撮像装置１１０の制御部３０４は、記憶部３０３に記憶されている、撮像装置１１０自身の解析部３０５において実行可能な処理のリストである第１処理リストを読み出す。続いて、制御部３０４は、デバイス通信部３０６を制御して、装着された着脱可能デバイス１００の特定のアドレスへの読み出し要求（リードコマンド）を発行する。以下では、この特定のアドレスを「アドレスＡ」と呼ぶ場合がある。なお、アドレスＡに格納されているデータの詳細については後述する。制御部３０４は、アドレスＡから読み出したデータに基づいて、着脱可能デバイス１００が有する処理機能のリスト（第２処理リスト）を生成する。

入出力装置１３０では、撮像装置１１０から第１処理リストと第２処理リストを、ネットワークを介して取得し、画面表示等によってユーザに提示する。ユーザは、操作部を介して、表示されたリストから実行すべき解析処理（以下では、「実行対象処理」と呼ぶ。）を選択する。入出力装置１３０は、実行対象処理の選択結果を、撮像装置１１０へ通知する。

Ｓ６０４で、制御部３０４は、実行対象処理が第２処理リストに含まれる場合、デバイス通信部３０６を制御して、実行対象処理の設定要求を着脱可能デバイス１００に送信する。着脱可能デバイス１００の通信部５０２は、実行対象処理の設定要求を撮像装置１１０から受信する。通信部５０２は、撮像装置１１０から受信した実行対象処理の設定要求を、解析部５０１に出力する。解析部５０１は、通信部５０２から入力された実行対象処理の設定要求に基づいて、着脱可能デバイス１００が実行対象処理を実行可能な状態となるようにするための設定を実行する。例えば、処理切替部４１１が、設定要求に応じて演算処理部４１２の実行対象処理を切り替える。通信部５０２は、例えば設定処理が完了した後に、設定完了通知を撮像装置１１０へ送信する。

Ｓ６０５では、制御部３０４は、実行対象処理が第２処理リストに含まれている場合、デバイス通信部３０６を制御して、解析処理対象の画像を着脱可能デバイス１００に送信する。例えば、制御部３０４は、解析処理対象の画像の書き込み要求（ライトコマンド）を発行することにより、着脱可能デバイス１００へ解析処理対象の画像を送信する。着脱可能デバイス１００の通信部５０２は、解析処理対象の画像を撮像装置１１０から受信し、撮像装置１１０から受信した画像を解析部５０１に出力する。解析部５０１は、通信部５０２から入力された画像に対して、Ｓ６０４で設定された実行対象処理を実行し、記憶部４０４に格納する。

その後、Ｓ６０６において、通信部５０２は、撮像装置１１０からの解析処理結果の読み出し要求（リードコマンド）に応じて、解析部５０１による処理によって得られた解析処理結果を記憶部４０４から読み出して、撮像装置１１０へ送信する。撮像装置１１０の制御部３０４は、デバイス通信部３０６を制御して、着脱可能デバイス１００から解析処理結果を受信する。その後、制御部３０４は、解析部３０５を制御して、解析処理結果に対して解析後処理を実行する。

（撮像装置１１０と着脱可能デバイス１００との間の通信）
・着脱可能デバイスのインタフェース構成
ここで、撮像装置１１０と着脱可能デバイス１００との通信について説明する。撮像装置１１０の演算処理部２０３と着脱可能デバイス１００のＳＤコントローラ４０３は、撮像装置１１０のＳＤ Ｉ／Ｆ部２０５のデバイス挿入用ソケットを介し、電源ライン、ＧＮＤライン、クロックライン、コマンドライン、データラインで接続される。なお、クロックライン、コマンドライン、及び、データラインは、ＦＰＧＡ４０２を経由する形で接続されるものとする。クロックラインでは、演算処理部２０３から出力される同期用のクロックが通信される。コマンドラインでは、演算処理部２０３からＳＤコントローラ４０３への動作要求用に発行するコマンド、コマンドに対するＳＤコントローラ４０３から演算処理部２０３へのレスポンスが通信される。データラインでは、演算処理部２０３からの書き込みデータ、着脱可能デバイス１００からの読み出しデータが通信される。また、演算処理部２０３は、ＳＤ Ｉ／Ｆ部２０５のデバイス挿入用ソケットのデバイスディテクト信号のＨｉｇｈとＬｏｗを判別することにより、着脱可能デバイス１００が挿入されているか否かを認識することができる。

・着脱可能デバイスの初期設定
演算処理部２０３は、ＳＤコントローラ４０３に対して電源供給後にコマンドライン上でコマンドを発行する。そして、演算処理部２０３は、ＳＤコントローラ４０３からのレスポンスと、ＳＤカードとしてのデバイス情報を示す出力データを受信したことに応じて、データの通信用の電圧、通信速度（クロック周波数）等の設定を行う。

・コマンドとレスポンスの構成
図７に、コマンドライン上で通信されるコマンドとレスポンスの構成例を示す。これらのコマンドとレスポンスはＳＤ規格に従う構成を有する。演算処理部２０３からＳＤコントローラ４０３に対して発行されるコマンド７０１は、コマンドナンバー部７０４と、コマンド引数部７０５と、誤り訂正用データ部７０６とを含んで構成される。コマンドナンバー部７０４には、コマンドの種別を示す値が記述される。例えば、コマンドナンバー部７０４に値「２３」が格納されている場合、そのコマンドがデータブロック数を指定するブロック数指定コマンドであることが示される。また、コマンドナンバー部７０４に値「２５」が格納されている場合、そのコマンドがマルチライトコマンドであることが示され、コマンドナンバー部７０４に値「１２」が格納されている場合、そのコマンドがデータ転送停止コマンドであることが示される。コマンド引数部７０５では、コマンドの種別に応じて転送データブロック数、メモリの書き込み・読み出しアドレス等の情報が指定される。また、コマンドの最初のビットには、コマンドの開始位置を示すコマンドスタートビット７０２が付加され、コマンドの最後のビットにはコマンドの終了を示すコマンドエンドビット７０７が付加される。また、コマンドスタートビット７０２の後ろに、撮像装置１１０から着脱可能デバイス１００に対して出力された信号であることを示すディレクションビット７０３も付加される。

演算処理部２０３からのコマンドに対してＳＤコントローラ４０３から返されるレスポンス７１１は、どのコマンドに対するレスポンスかを示すレスポンスナンバー部７１４と、レスポンス引数部７１５と、誤り訂正用データ部７１６とを含む。また、レスポンスの最初のビットにはレスポンスの開始位置を示すレスポンススタートビット７１２が付加され、レスポンスの最後のビットにはレスポンスの終了位置を示すレスポンスエンドビット７１７が付加される。また、レスポンススタートビット７１２の後ろに着脱可能デバイス１００から撮像装置１１０に対して出力された信号であることを示すディレクションビット７１３も付加される。レスポンス引数部７１５には、コマンド種別に応じてＳＤカードのステータス等の情報が格納される。

・データの転送
次に、演算処理部２０３と着脱可能デバイス１００とのデータの送受信の方法を説明する。上述したように、ＳＤ Ｉ／Ｆ部２０５では、データの書き込み及び読み出し共にブロック単位でデータの転送が行われる。ブロックは、例えば、記憶部４０４におけるデータの書き込みおよび読みだしの単位であり、例えば５１２ＢＹＴＥのサイズを有する。

演算処理部２０３が着脱可能デバイス１００に対して複数ブロックのデータを転送する方法には以下の３つの方法がある。１つ目の方法は、１ブロック分のデータだけを送信するライトコマンド（以下、シングルライトコマンド）を用いた方法である。シングルライトコマンドは、演算処理部２０３がブロック指定コマンド、転送停止コマンドを発行せずに、１ブロック分のデータを転送し、書き込みを行うコマンドである。コマンド引数部７０５には、アクセスする記憶部４０４のアドレスが設定される。

残り２つの方法は、１回のコマンドによって複数ブロック分のデータの転送、書き込みを指示するマルチライトコマンドを用いた方法である。１つ目の方法は、転送データのブロック数指定コマンドによってブロック数が指定された後に、マルチライトコマンドにより、指定されたブロック数だけデータが転送される。ブロック数指定コマンドでは、コマンド引数部７０５において書き込みデータのブロック数が指定され、マルチライトコマンドでは、コマンド引数部７０５においてデータが書き込まれるべき記憶部４０４のアドレスが指定される。２つ目の方法では、ブロック数指定コマンドが発行されることなくマルチライトコマンドが発行されることにより、データ転送が開始され、データ転送が終わった時点で転送停止コマンドが発行されることによって処理が終了する。このとき、マルチライトコマンドのコマンド引数部７０５において、データが書き込まれるべき記憶部４０４のアドレスのみが指定される。尚、どちらのマルチライトコマンドによる書き込みにおいても、ＳＤコントローラ４０３はコマンドで指定されたアドレスから書き込みを開始する。そして、ＳＤコントローラ４０３は、１ブロック分のデータを入力するごとに書き込みアドレスをインクリメントして記憶部４０４へのデータの書き込みを行う。演算処理部２０３は３つの書き込み方法を任意に切り替えることが可能である。

なお、記憶処理が行われる場合、ＦＰＧＡ４０２は、演算処理部２０３から送られるコマンドとデータをそのままＳＤコントローラ４０３に入力し、ＳＤコントローラ４０３は、受信したデータをコマンドで指定された記憶部４０４のアドレスに格納する。画像解析処理が行われる場合には、ＦＰＧＡ４０２は、演算処理部２０３から送られるデータに対して解析処理を実行し、その処理結果のデータと、記憶部４０４の所定のアドレスを指定する情報を、ＳＤコントローラ４０３に出力する。ＳＤコントローラ４０３は、指定された記憶部のアドレスに処理結果を格納する。

演算処理部２０３が着脱可能デバイス１００から複数ブロックのデータを読み出す方法は以下の３つの方法がある。１つ目の方法は、１ブロック分のデータだけを読み出し、受信するリードコマンド（以下、シングルリードコマンド）を用いた方法である。シングルリードコマンドは、演算処理部２０３がブロック指定コマンド、転送停止コマンドを発行せずに、１ブロック分のデータを読み出すコマンドである。コマンド引数部７０５には、アクセスする記憶部４０４のアドレスが設定される。

残りの２つの方法は、１回のコマンドで複数ブロックのデータの読み出しを指示する方法である。１つ目の方法では、ブロック数指定コマンドでブロック数が指定されてからマルチリードコマンドを発行することにより、指定されたブロック数のデータが読み出される。ブロック数指定コマンドでは、コマンド引数部７０５において読み出しデータのブロック数が指定され、マルチリードコマンドのコマンド引数部７０５においてデータの読み出し元のメモリのアドレスが指定される。２つ目の方法では、ブロック数指定コマンドが発行されることなくマルチリードコマンドが発行されることにより、データの読み出しが開始され、転送停止コマンドが発行されることによって処理が終了する。尚、どちらのマルチリードコマンドによる読み出しにおいても、ＳＤコントローラ４０３はコマンドで指定されたアドレスから読み出しを開始する。そして、ＳＤコントローラ４０３は、１ブロック分のデータを出力するごとに読み出しアドレスをインクリメントして記憶部４０４に格納されているデータを読み出す。演算処理部２０３は３つの読み出し方法を任意に切り替えることが可能である。

なお、書き込みデータ、読み出しデータが１ブロックの場合には、シングルライトコマンド、シングルリードコマンドが発行されることにより、ブロック数指定コマンド、転送停止コマンドが発行されることなく、データの書き込み、読み出しが実行されうる。シングルライトコマンド、シングルリードコマンドにおいても、上述の説明と同様に、コマンド引数部７０５において、アクセス対象の記憶部４０４のアドレスが指定される。

演算処理部２０３は、着脱可能デバイス１００に対して書き込みを行うことにより、記憶処理または画像解析処理の対象となるデータを着脱可能デバイス１００へ送信することができる。また、演算処理部２０３は、着脱可能デバイス１００に対して読み出しを行うことにより、記憶部４０４に記憶された画像データ、画像解析処理の処理結果、着脱可能デバイス１００が保有する画像解析の処理機能の情報を取得することができる。

・画像解析処理機能の情報確認
本実施形態の着脱可能デバイス１００は、記憶部４０４の特定のアドレスＡに、自装置が有する処理機能の情報を格納する。撮像装置１１０の演算処理部２０３は、このアドレスＡに対してマルチリードコマンド又はシングルリードコマンドを発行することにより、着脱可能デバイス１００が有する処理機能の情報を確認することができる。ここでの処理機能の情報は、処理機能を保有しているか否か、処理が実行された場合に完了するまでの所要時間、処理結果のデータサイズ、処理結果が格納されるアドレス情報を含む。図１２に、この処理機能の情報の一例を示す。処理機能保有フラグ１２０１は、着脱可能デバイス１００が画像解析処理機能を有していることを示している。撮像装置１１０は、処理機能保有フラグ１２０１を確認することにより、着脱可能デバイス１００が画像解析処理機能を有しているか否かを判定する。処理機能分類１２０２は、着脱可能デバイス１００が有している解析処理を示す。入力データサイズ１２０３及び処理データ数１２０４は、各々の処理機能のデータの入力仕様に関する情報を示す。また、推定処理時間１２０５は、データ入力から処理結果出力までに掛かる時間を示し、処理結果データ数１２０６は処理結果のデータ数を示す。また、処理結果格納アドレス１２０７は、記憶部４０４のどこに処理結果が格納されるかを示す。演算処理部２０３は、図１２に示すような記憶部４０４のアドレスＡのデータを読み出すことにより、図１３に示すような処理機能テーブルを取得することができる。なお、本明細書においてデータ数とは、データの量（データのサイズ）に対応するブロック数である。

また、着脱可能デバイス１００は、演算処理部２０３からアドレスＡに対するリードコマンドが発行されない場合には、自装置が装着された機器が画像解析処理機能を使用しない機器であると判断する。この場合、着脱可能デバイス１００は、転送されるデータに関しては記憶部４０４に対する記憶処理のみを実行するようにしうる。これにより、着脱可能デバイス１００は、画像解析処理機能を必要としない機器に対しては、メモリデバイスとしてのみ機能することが可能となる。ここでは、記憶部４０４の特定のアドレスＡに処理機能の情報を格納しておく方法を示したが、これに限定されない。例えば、着脱可能デバイス１００の初期設定時に使用されるコマンドに対するレスポンスにおける、レスポンス引数部７１５に、処理機能の情報を付加するようにしてもよい。

なお、撮像装置１１０は、例えば、着脱可能デバイス１００の初期化設定終了後に、記憶部４０４のアドレスＡの読み出しを実行する。また、撮像装置１１０は、ソケットにおいてデバイスのディテクトがされなくなった場合に、読み込んだ情報を破棄する。撮像装置１１０は、情報の破棄の後にデバイスがソケットに挿入された場合、初期化設定終了後に再度アドレスＡの値を読み出す。これにより、撮像装置１１０は、異なる着脱可能デバイスが挿入された場合に、その着脱可能デバイスの保有機能の情報を読み出し、設定することができる。

＜画像データの生成方法＞
図８を用いて、顔認証システムの場合を例に、本実施形態の撮像装置１１０が、画像を分割して画像データを生成する方法を説明する。したがって、以下の例では、着脱可能デバイス１００の演算処理部４１２が、入力された画像から顔認証を行うための推論演算処理を行う。

画像８００は、演算処理部２０３が画像処理部２０２から受け取った画像である。学習画像８０３は、演算処理部４１２で行われる推論演算処理の学習に用いられた画像であり、ある一定の画像サイズを有し、その画像内で顔が一定の割合を占めるように調整されている。そのため、演算処理部４１２で行われる推論演算処理には、学習画像８０３の画像サイズと画像内に占める顔の大きさの割合にできるだけ近い画像データが入力されることが望ましい。

そこで、演算処理部２０３は、被写体距離の違いによって被写体８０１と被写体８０２が画像８００のように撮影された場合、被写体８０１と被写体８０２の画像上の位置に従って、学習画像８０３の比率に近くなるように画像を分割する。図６の画像８００において示されている破線は、画像８００の分割の一例を示している。加えて、演算処理部２０３は学習画像８０３の画像サイズに合うように伸縮処理を行い、着脱可能デバイス１００への送信対象となる複数の分割画像データを生成する。結果、複数の分割画像データの大きさはすべて等しい。なお、演算処理部２０３が分割位置を画像８００から判断して設定するようにしたが、入出力装置１３０からユーザが直接設定するようにしてもよい。

＜画像データの送信処理＞
図９を用いて、撮像装置（演算処理部２０３）が、撮像部２０１により撮像された画像を分割して送信する処理を説明する。なお、図９に示される処理は、図６のＳ６０４からＳ６０５の間に、演算処理部２０３により行われる処理である。

Ｓ９０１において、撮像装置１１０の撮像部２０１が画像を取得すると、画像処理部２０２がその取得された画像に対して画像処理を行う。演算処理部２０３は、画像処理部２０２により画像処理が施された画像を取得する。Ｓ９０２において、演算処理部２０３は、Ｓ２０４で設定された解析処理に応じて、図８の参照により上述した方法で、複数の分割画像データを生成する。

Ｓ９０３において、演算処理部２０３は、１つの分割画像データについてどのようなコマンドの組み合わせでその分割画像データを送信するかを決定する。以下、決定されたコマンドの組み合わせをコマンド群という。着脱可能デバイス１００上で実行される推論演算処理に必要な時間は、入力される画像データのサイズや、演算処理部４１２の動作周波数、つまり、着脱可能デバイス１００との通信速度に比例して大きくなる。一方で、画像解析処理全体として必要となる処理速度に応じて、演算処理部４１２の演算時間として割り当てられる時間の上限がある。そのため、この上限時間を満たす範囲で、コマンドの組み合わせが選択され、分割画像データの送信に用いられるコマンド群が決定される。例えば、分割画像データのデータ量とコマンドの通信に要する時間に基づいて、要求された時間内に分割画像データの送信を終えるようにコマンド群を構成するコマンドの組み合わせが決定される。ただし、データ転送の方法が変わる際には、シングルライトコマンド、もしくは、マルチライトコマンドを発行する必要があるので、このようなコマンドの送信にかかる時間も加味する必要がある。例えば、シングルライトコマンドは、１ブロックごとにコマンドの通信が発生するので送信に時間を要する。従って、マルチライトコマンドとデータ転送停止コマンドを用いたデータ送信は、シングルライトコマンドに比べて高速である。

Ｓ９０４では、演算処理部２０３が、Ｓ９０３で決定されたコマンド群（コマンドの組み合わせ）に従って、着脱可能デバイス１００に対して、ライトコマンドまたはマルチライトコマンドを用いて分割画像データの送信を複数回実行する。Ｓ９０５において、演算処理部２０３は、取得された画像から生成された複数の分割画像データの全てを送信し終えたたかどうかを判定する。全ての分割画像データを送信済みと判定された場合は、本処理を終了する。未送信の分割画像データが存在する場合は、演算処理部２０３は、次の分割画像データを選択し、処理をＳ９０３へ戻す。ただし、演算処理部２０３は、送信に用いたコマンドの組み合わせを記憶しておき、次のＳ９０３では記憶しておいたコマンドの組み合わせと一致しないようにコマンドの組み合わせを選択または決定する。こうして、複数の分割画像データが送信される間に、送信に用いられるコマンド群を構成するコマンドの組み合わせが変更される。

なお、上述した上限時間を満足する複数のコマンド群（複数種類のコマンドの組み合わせ）をリストとして登録しておき、順番に選択するようにしてもよい。なお、リストに登録されているすべての組み合わせについて選択を終えた後、選択の順番を変更するようにしてもよい。また、図８で説明したように、各々の分割画像データのサイズは所定サイズに揃えられるので、着脱可能デバイス１００の演算処理部４１２は、送信されたデータのサイズが所定サイズに到達したことにより、１つの分割画像データが送信されたことを把握できる。なお、分割画像データごとに、その開始および／または終了を示す所定コードが送信され、演算処理部４１２がその所定コードを検出することで分割画像データの送信を把握するようにしてもよい。この場合、複数の分割画像データのサイズはそれぞれ異なっていてもよい。

＜演算結果の受信処理＞
次に、撮像装置１１０が着脱可能デバイス１００から演算結果を受信する場合の処理を説明する。演算処理部２０３は、シングルリードコマンド、マルチリードコマンドを用いて、着脱可能デバイス１００からＦＰＧＡ４０２（演算処理部４１２）による演算結果を受信する。シングルリードコマンド、マルチリードコマンドは上述の通りである。

図１０は、演算処理部２０３が着脱可能デバイス１００で推論処理された演算結果を受信する処理を示すフローチャートである。図１０のフローチャートに示される処理の開始時には、図９により上述した処理が終了し、着脱可能デバイス１００において全ての分割画像データに対して演算処理部４１２による推論処理が行われ、記憶部４０４に演算結果が格納されている。

Ｓ１００１において、演算処理部２０３は、Ｓ９０２で生成された分割画像データの数を確認する。演算処理部２０３は、取得した分割画像データの数を、読み出すべき演算結果の数としてセットする。Ｓ１００２～Ｓ１００４では、演算結果を所定量ずつ読み出す読出処理が繰り返される。本例では、所定量の演算結果とは、１つの分割画像データに対する演算結果である。Ｓ１００２において、演算処理部２０３は、どのようなコマンドの組み合わせで演算結果を受信するかを決定する。以下、このようなコマンドの組み合わせを、図９の説明と同様に、コマンド群とも称する。コマンドの組み合わせの決め方は、Ｓ９０３と同様の考え方となるが、受信処理におけるコマンド群はリードコマンド、および／または、マルチリードコマンドにより構成される。こうして、演算結果を所定量ずつ受信するにおいて、その所定量とコマンドの通信に要する時間に基づいて、要求された時間内に所定量のデータの受信を終えるようにコマンド群が構成される。

Ｓ１００３では、演算処理部２０３が、Ｓ１００２で決定されたコマンド群（コマンドの組み合わせ）を用いて、着脱可能デバイス１００から演算結果の読み出しを複数回実行し、それらを受信する。Ｓ１００４では、演算処理部２０３が、Ｓ１００１でセットされた演算結果の数と読み出した演算結果の合計数を比較する。両者が一致した場合は演算結果が全て読み出されたと判断され、処理は画像の後処理を行うためにＳ１００５へ移行する。不一致の場合には未受信の演算結果があると判断され、残りの演算結果を読み出すために、処理はＳ１００２へ移行する。なお、演算処理部２０３は受信に使用したコマンドの組み合わせを記憶しておき、次のＳ１００２では記憶しておいたコマンドの組み合わせと一致しないようにコマンドの組み合わせを選択する。こうして、演算結果が送信される間に、送信に用いられるコマンド群を構成するコマンドの組み合わせが変更される。

撮像装置１１０は、分割画像データの送信順を把握しており、Ｓ１００３で受信された演算結果がどの分割画像データに対応するものであるかを判定することができる。したがって、Ｓ１００５では、演算処理部２０３が、上述のＳ１００１～Ｓ１００４の処理で取得した演算結果を元の画像に重畳し、配信部２０４からネットワーク１２０へ配信する。

以上のように第１実施形態では、撮像装置１１０は、画像データを分割することで得られた複数の分割画像データを着脱可能デバイス１００に送信し、着脱可能デバイス１００の演算処理部４１２に演算処理を行わせる。このとき、複数の分割画像データを送信するために複数種類のライトコマンドの組み合わせを用いるとともに、分割画像データごとにその組み合わせを異ならせている。したがって、分割画像データの区切りを示すための所定のコード、演算処理の対象となる分割画像データのサイズなどを知らない第３者には、撮像装置１１０により着脱可能デバイス１００へ書き込まれた画像を判別することが困難である。また、本実施形態では、演算結果を取得する際にも、演算結果ごとに異なるリードコマンドの組み合わせが用いられる。したがって、演算結果のデータサイズなどが分かりにくくなり、第３者が撮像装置１１０により読み出された演算結果の内容を特定されてしまう可能性を低減することができる。

＜第２実施形態＞
第２実施形態では、複数のフレームに渡って、第１実施形態に示す分割画像データの送信処理、演算結果の受信処理と、を組み合わせた場合の、撮像装置１１０と着脱可能デバイス１００の送受信フローとその効果を説明する。尚、第１実施形態で示した構成と、画像の送信、演算結果の受信単体の制御方法、フローは、第２実施形態においても同様である。

＜フレーム間の送受信処理＞
図１１は、第２実施形態による撮像装置１１０の送受信動作を説明するフローチャートである。以下、図１１のフローチャートを用いて、撮像装置１１０と着脱可能デバイス１００の複数フレームに渡る送受信処理を説明する。尚、第１実施形態と同じ符号で示す処理については、同様の処理を行うものとする。図１１に示すフローチャートは、図６に示すＳ６０４からＳ６０６の間に行われる処理である。なお、図１１に示される処理では、演算処理の対象である画像（分割画像データ）を送信する処理から開始される。

Ｓ１１０１において、演算処理部２０３は、送信と受信の順序を決める。着脱可能デバイス１００は、演算結果のデータをＦＰＧＡ４０２内部、もしくは、記憶部４０４に保存することができる。そのため、必ずしも分割画像データの送信と、演算結果の受信をセットで行う必要はない。なお、送信と受信の順序の決定においては、それまでの送信処理により送信された分割画像データに関して未受信の演算結果が記憶部４０４に存在している状態で受信処理が実行されるように考慮される。

Ｓ１１０２において、演算処理部２０３は、画像を分割して得られた複数の分割画像データをどのような順序で送信するかを決定し、決定された順序に基づいて次に送信される分割画像データを特定する。なお、演算処理部２０３は、Ｓ１１０２で決定された送信の順序の情報をＳ１００５まで保持しておく。そして、演算処理部２０３は、分割画像データを送信するためのコマンド群を決定し（Ｓ９０３）、決定されたコマンド群を用いてＳ１１０２で送信対象に決定された分割画像データを送信する（Ｓ９０４）。Ｓ１１０３において、演算処理部２０３は、Ｓ１１０１で決定された送受信の順序を確認し、次の処理が送信処理であるか受信処理であるかを判断する。次の処理が送信処理の場合、処理はＳ１１０２へ移行する。一方、次の処理が受信処理の場合、処理はＳ１００２へ移行する。

演算処理部２０３は、Ｓ１００２においてコマンド群を構成するリードコマンドの組み合わせを決定する。Ｓ１１０４において、演算処理部２０３は、Ｓ１００２で決定したコマンド群（リードコマンドの組み合わせ）を用いて、着脱可能デバイス１００から演算結果を受信する。演算結果は、Ｓ１１０２で決定された順序（分割画像データの送信順序）で受信されることになる。演算処理部２０３は、Ｓ１１０２で決定された、分割画像データの送信の順序の情報を保持しており、この情報から、順次に受信される演算結果がどの分割画像データに対する演算結果であるかを判断できる。

Ｓ１１０５において、演算処理部２０３は、Ｓ１１０１で決めた送受信の順序を確認し、次の処理が送信処理であるか受信処理であるかを判断する。次の処理が送信処理の場合は、処理はＳ１１０２へ移行する。一方、次のコマンドが受信処理の場合は、処理はＳ１００４へ移行する。Ｓ１００４において、演算処理部２０３は、全ての演算結果を受信し終えたか否か（例えば、Ｓ９０２で生成した分割画像データの数と一致する演算結果を受信したか否か）を判断する。演算結果を受信し終えていなければ処理はＳ１００２に戻り、演算処理部２０３は、次の演算結果の読み出しを行う。

Ｓ１００４において、全ての演算結果の受信を終えたと判断された場合、処理はＳ１００５へ進む。Ｓ１００５において、演算処理部２０３は、Ｓ１１０２で決定された分割画像データの送信の順序を参照して、読み出された演算結果を複数の分割画像データの各々に対応付ける。こうして、演算処理部２０３は、Ｓ９０１で取得された画像に演算結果を適切に重畳して配信することができる。Ｓ１００５で演算結果を重畳した画像が配信された後、処理は、Ｓ９０１へ戻り、次のフレームの画像に対して同様の処理が行われる。ただし、演算処理部２０３は、前回のフレームにおいて決定された送受信の順序と分割画像データの送信の順序を記憶しておく。そして、新たなフレームの画像について処理を行う場合には、Ｓ１１０１とＳ１１０２において、演算処理部２０３は、記憶しておいた順序と一致しないように、送受信の順序と分割画像データの送信の順序を決定する。

以上のように、第２実施形態によれば、ライトコマンドの組み合わせ、リードコマンドの組み合わせ、画像データの送信動作と演算結果の読み出し動作の順番、着脱可能デバイス１００へ送信される分割画像データの位置の順序が変更される。従って、これらを把握していない第３者は、たとえ通信プロトコルが既知であっても、撮像装置１１０と着脱可能デバイス１００の間のデータの送受信に関して、その内容を把握することが困難である。

なお、第２実施形態では、コマンドの組み合わせと分割画像データの送信の順序を変更したが、分割画像データの送信の順序を変更するだけでも、送信内容についての第３者による解析されてしまう可能性を低減することができる。また、第１実施形態、第２実施形態では、着脱可能デバイス１００を装着する電子機器として撮像装置を例示したが、これに限られるものではない。また、上記実施形態では、画像データを分割して得られた複数の分割画像データを着脱可能デバイス１００へ送信される分割データとして説明したが、これに限られるものではない。すなわち、演算処理の対象となるデータから演算処理の処理単位に対応した複数の分割データを取得し、これを送信する構成であればよく、データの内容は何等限定されるものではない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

１００ａ～１００ｄ：着脱可能デバイス、１１０ａ～１１０ｄ：撮像装置、１２０：ネットワーク、１３０：入出力装置、２０１：撮像部、２０２：画像処理部、２０３：演算処理部、２０４：配信部、２０５：ＳＤ Ｉ／Ｆ部、３０１：撮像制御部、３０２：信号処理部、３０３：記憶部、３０４：制御部、３０５：解析部、３０６：デバイス通信部、３０７：ネットワーク通信部、４０１：Ｉ／Ｆ部、４０２：ＦＰＧＡ、４０３：ＳＤコントローラ、４０４：記憶部、５０１：解析部、５０２：通信部

Claims (19)

1. 演算処理部を備えたデバイスを着脱可能な電子機器であって、
   前記演算処理部の処理対象であるデータを分割して複数の分割データを得る分割手段と、
   前記複数の分割データの各々を前記デバイスへ送信するための、複数種類のコマンドの組み合わせである第１のコマンド群を決定する決定手段と、
   前記決定手段により決定された前記第１のコマンド群を用いて分割データを送信する送信手段と、を備え、
   前記決定手段は、前記複数の分割データの内のある分割データを送信する場合と、他の分割データを送信する場合とで、前記第１のコマンド群を構成するコマンドの組み合わせを変更することを特徴とする電子機器。
2. 前記分割データは、前記演算処理部の処理単位に対応していることを特徴とする請求項１に記載の電子機器。
3. 前記複数の分割データのサイズが同じであることを特徴とする請求項２に記載の電子機器。
4. 前記データは画像データであり、
   前記分割手段は、
   前記画像データにおける被写体の大きさと位置に基づいて前記画像データを複数種類の大きさの画像へ分割して複数の分割画像を生成し、
   前記複数の分割画像の大きさを所定の大きさに揃えることにより得られる複数の分割画像データを、前記複数の分割データとして得ることを特徴とする請求項３に記載の電子機器。
5. 前記分割手段は、前記複数の分割データの各々に、データの開始または終了を示す情報を付加することを特徴とする請求項２に記載の電子機器。
6. 前記決定手段は、所定の通信規格に準拠した複数種類のコマンドを組み合わせることにより前記第１のコマンド群を決定することを特徴とする請求項１乃至５のいずれか１項に記載の電子機器。
7. 前記決定手段は、前記分割データのデータ量とコマンドの通信に要する時間に基づいて、要求された時間内に前記分割データの送信を終えるように前記第１のコマンド群を構成するコマンドの組み合わせを決定することを特徴とする請求項１乃至６のいずれか１項に記載の電子機器。
8. 前記処理対象として複数のデータを送信する場合に、データごとに、前記送信手段による前記複数の分割データの送信の順序を変更する変更手段を更に備えることを特徴とする請求項１乃至７のいずれか１項に記載の電子機器。
9. 前記変更手段により変更された送信の順序を保持する保持手段をさらに備えることを特徴とする請求項８に記載の電子機器。
10. 前記演算処理部による演算結果を前記デバイスから読み出す読出手段をさらに備えることを特徴とする請求項１乃至７のいずれか１項に記載の電子機器。
11. 前記処理対象として複数のデータを送信する場合に、データごとに、前記送信手段による前記複数の分割データの送信の順序を変更する変更手段と、
    前記変更手段により変更された送信の順序を保持する保持手段と、を備え、
    前記読出手段により読み出された演算結果が、前記保持手段に保持されている送信の順序に基づいて前記複数の分割データの各々に対応付けられることを特徴とする請求項１０に記載の電子機器。
12. 前記読出手段は、
    所定量のデータを読み出すための複数種類のコマンドの組み合わせである第２のコマンド群を決定し、
    前記第２のコマンド群を用いて前記演算結果を前記所定量ずつ前記デバイスから読み出し、
    前記所定量の演算結果を読み出す間に、前記第２のコマンド群を構成するコマンドの組み合わせを変更することを特徴とする請求項１０または１１に記載の電子機器。
13. 前記所定量のデータは、前記演算処理部が１つの前記分割データを処理することにより得られる演算結果であることを特徴とする請求項１２に記載の電子機器。
14. 前記第１のコマンド群を用いた送信により前記複数の分割データを送信する間に、前記第２のコマンド群を用いた前記所定量ずつの演算結果の受信が行われることを特徴とする請求項１２または１３に記載の電子機器。
15. 記憶部を備えたデバイスを着脱可能な電子機器であって、
    前記記憶部からデータを読み出すための複数種類のコマンドの組み合わせであるコマンド群を決定する決定手段と、
    前記コマンド群のコマンドにより前記デバイスからデータを読み出す読出処理を複数回実行することにより、読み出し対象のデータを前記記憶部から読み出す読出手段と、を備え、
    前記決定手段は、前記読み出し対象のデータの内のあるデータを読み出す前記読出処理と、他のデータを読み出す前記読出処理とで、前記コマンド群を構成する複数種類のコマンドの組み合わせを変更することを特徴とする電子機器。
16. 前記読出処理は前記デバイスから所定量のデータを読み出す処理であり、
    前記決定手段は、前記所定量のデータとコマンドの通信に要する時間に基づいて、要求された時間内に前記所定量のデータの受信を終えるように、前記コマンド群を構成するコマンドの組み合わせを決定することを特徴とする請求項１５に記載の電子機器。
17. 演算処理部を備えたデバイスを着脱可能な電子機器の制御方法であって、
    前記演算処理部の処理対象であるデータを分割して複数の分割データを得る分割工程と、
    前記複数の分割データの各々を前記デバイスへ送信するための、複数種類のコマンドの組み合わせである第１のコマンド群を決定する決定工程と、
    前記決定工程により決定された前記第１のコマンド群を用いて分割データを送信する送信工程と、を備え、
    前記決定工程では、前記複数の分割データの内のある分割データを送信する場合と、他の分割データを送信する場合とで、前記第１のコマンド群を構成するコマンドの組み合わせを変更することを特徴とする電子機器の制御方法。
18. 記憶部を備えたデバイスを着脱可能な電子機器の制御方法であって、
    前記記憶部に記憶されているデータを読み出すための複数種類のコマンドの組み合わせであるコマンド群を決定する決定工程と、
    前記コマンド群を用いて前記デバイスからデータを読み出す読出処理を複数回実行することにより、読み出し対象のデータを読み出す読出工程と、を備え、
    前記決定工程では、前記読み出し対象のデータの内のあるデータを読み出す前記読出処理と、他のデータを読み出す前記読出処理とで、前記コマンド群を構成する複数種類のコマンドの組み合わせを変更することを特徴とする電子機器の制御方法。
19. 請求項１乃至１６のいずれか１項に記載された電子機器の各手段としてコンピュータを機能させるためのプログラム。

Images