JP7325281B2 - 撮像装置、制御方法及びプログラム - Google Patents

撮像装置、制御方法及びプログラム Download PDF

Info

Publication number
JP7325281B2
JP7325281B2 JP2019171850A JP2019171850A JP7325281B2 JP 7325281 B2 JP7325281 B2 JP 7325281B2 JP 2019171850 A JP2019171850 A JP 2019171850A JP 2019171850 A JP2019171850 A JP 2019171850A JP 7325281 B2 JP7325281 B2 JP 7325281B2
Authority
JP
Japan
Prior art keywords
processing
image analysis
imaging device
executed
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019171850A
Other languages
English (en)
Other versions
JP2021048574A (ja
JP2021048574A5 (ja
Inventor
達也 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019171850A priority Critical patent/JP7325281B2/ja
Priority to CN202010983140.0A priority patent/CN112543256B/zh
Priority to US17/025,034 priority patent/US11647272B2/en
Priority to EP20196844.3A priority patent/EP3796642A3/en
Priority to KR1020200120245A priority patent/KR20210034521A/ko
Publication of JP2021048574A publication Critical patent/JP2021048574A/ja
Publication of JP2021048574A5 publication Critical patent/JP2021048574A5/ja
Application granted granted Critical
Publication of JP7325281B2 publication Critical patent/JP7325281B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00339—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an electronic or magnetic storage medium I/O device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00912—Arrangements for controlling a still picture apparatus or components thereof not otherwise provided for
    • H04N1/00954—Scheduling operations or managing resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00962—Input arrangements for operating instructions or parameters, e.g. updating internal software
    • H04N1/00965—Input arrangements for operating instructions or parameters, e.g. updating internal software using a plug-in memory module, e.g. memory card, memory stick
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00962—Input arrangements for operating instructions or parameters, e.g. updating internal software
    • H04N1/00973—Input arrangements for operating instructions or parameters, e.g. updating internal software from a remote device, e.g. receiving via the internet instructions input to a computer terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2158—Intermediate information storage for one or a few pictures using a detachable storage unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32502—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device in systems having a plurality of input or output devices
    • H04N1/32545—Distributing a job or task among a plurality of input devices or a plurality of output devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/001—Sharing resources, e.g. processing power or memory, with a connected apparatus or enhancing the capability of the still picture apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0013—Arrangements for the control of the connected apparatus by the still picture apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Description

本発明は、装置が有する処理機能の選択的使用技術に関する。
近年、様々なシーンにおいて、監視カメラにより撮像された画像を用いて、物体の検出や追尾、属性の推定等を行う画像解析、そのような画像解析の結果に基づく物体数の推定等の画像処理が行われている。従来、このような画像処理は、実際の画像処理を実行するＰＣやサーバ等の高性能な演算装置に監視カメラの映像が転送されることによって行われてきた。これに対し、近年のモバイル用演算装置の処理能力の向上に伴い、監視カメラ側で画像処理を行うことが可能となってきている。カメラ側での処理は、例えば、カメラ本体に配置された演算装置によって実行されうる。また、ＵＳＢ等の着脱可能デバイスに演算装置を配置することによって、その着脱可能デバイスが処理の少なくとも一部を実行することもできる。特許文献１には、着脱可能デバイスを撮像装置に装着することによって、拡張機能を提供する技術が記載されている。
特開平７－１８４０９８号公報
Ｊ．Ｒｅｄｍｏｎ、Ａ．Ｆａｒｈａｄｉ、「ＹＯＬＯ９０００：Ｂｅｔｔｅｒ Ｆａｓｔｅｒ Ｓｔｒｏｎｇｅｒ」、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ） ２０１６
特許文献１には、着脱可能デバイスでの処理の拡張については説明されているが、着脱可能デバイスの効率的な使用方法については検討されていない。
本発明は、所定の処理を実行可能な着脱可能デバイスを効率的に活用する技術を提供する。
本発明の一態様による撮像装置は、撮影された画像に対する画像解析処理を実行する第１の処理手段を有するデバイスを着脱可能な装着機構を有する撮像装置であって、画像解析処理の実行指示を取得する取得手段と、前記装着機構に装着されたデバイスが前記第１の処理手段を有する場合に、前記撮像装置によって実行可能な画像解析処理を示す第１のリストと、前記装着機構に装着されたデバイスの前記第１の処理手段によって実行可能な画像解析処理を示す第２のリストとに基づいて、前記実行指示に基づく画像解析処理を、当該第１の処理手段に実行させるか否かを決定する決定手段と、を有する。
本発明によれば、所定の処理を実行可能な着脱可能デバイスを効率的に活用することができる。
システム構成の一例を示す図である。 撮像装置のハードウェア構成例を示す図である。 撮像装置の機能構成例を示す図である。 着脱可能デバイスのハードウェア構成例を示す図である。 着脱可能デバイスの機能構成例を示す図である 入出力装置のハードウェア構成例を示す図である。 入出力装置の機能構成例を示す図である。 システムで実行される処理の流れの例を示す図である。 解析処理を把握する処理の流れの例を示す図である。 解析処理の内容を決定する処理の流れの例を示す図である。 解析処理を実行する制御の流れの例を示す図である。 後処理を実行する制御の流れの例を示す図である。 コマンドとレスポンスの構造を示す図である。 処理機能の情報を格納しているアドレス内のデータを概略的に示す図である。 撮像装置が取得する情報の例を示す図である。 記憶処理と画像解析処理とを自動で切り替える処理の流れの例を示す図である。 記憶処理と画像解析処理とを自動で切り替える処理の流れの例を示す図である。 記憶処理と画像解析処理とを自動で切り替える処理の流れの例を示す図である。 ユーザインタフェースの例を示す図である。 処理結果が示された状態のユーザインタフェースの例を示す図である。 顔認証処理のための画像解析処理群と、各装置において実行可能な処理群を概略的に示す図である。 使用される処理機能の選択処理の流れの例を示す図である。 使用される処理機能の選択処理の流れの例を示す図である。 使用される処理機能の選択処理の流れの例を示す図である。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
＜システム構成＞
図１に、本実施形態の画像解析システムの構成例を示す。以下では、一例として、このシステムが特定人物追跡システムである場合について説明する。ただし、これに限られず、画像を解析して所定の情報出力を行う任意のシステムに、以下の議論を適用することができる。本システムは、撮像装置１１０ａ～１１０ｄと、ネットワーク１２０と、入出力装置１３０とを含んで構成される。なお、撮像装置１１０ａ～１１０ｄは、それぞれ、例えば撮像した画像を記録可能なデバイスを着脱可能なスロットを有し、そのスロットに着脱可能デバイス１００ａ～１００ｄが挿入されることにより、着脱可能デバイス１００ａ～１００ｄと接続される。なお、以下では、着脱可能デバイス１００ａ～１００ｄを「着脱可能デバイス１００」と表記し、撮像装置１１０ａ～１１０ｄを「撮像装置１１０」と表記する。
着脱可能デバイス１００は、撮像装置１１０に対して着脱可能な演算デバイスである。着脱可能デバイス１００は、一例として、ＳＤカードに所定の処理回路を搭載したデバイスである。着脱可能デバイス１００は、例えば、ＳＤカードの態様によって、撮像装置１１０にその全体が挿入可能に構成され、これにより、撮像装置１１０から突出する部分がない状態で撮像装置１１０と接続可能に構成することができる。また、着脱可能デバイス１００は、例えば、撮像装置１１０にその半分以上の部分が挿入可能に構成され、これにより、撮像装置１１０から突出する部分が少ない状態で撮像装置１１０と接続可能に構成されてもよい。これにより、着脱可能デバイス１００が配線等の障害物と干渉することを防ぐことができ、デバイスの利用時の利便性を高めることができる。また、多くの既存のネットワークカメラなどの撮像装置１１０には、ＳＤカードスロットが用意されているため、既存の撮像装置１１０に対して、着脱可能デバイス１００により拡張機能を提供することができる。なお、着脱可能デバイス１００は、ＳＤカードの態様以外に、少なくともその撮像装置１１０で撮影された画像を記憶可能な記憶装置が装着される際に使用される任意のインタフェースで、撮像装置１１０に装着されるように構成されてもよい。例えば、着脱可能デバイス１００は、ＵＳＢ（ユニバーサリシリアルバス）インタフェースを有し、撮像装置１１０のＵＳＢソケットに装着されるように構成されてもよい。また、所定の処理回路は、例えば、所定の処理を実行するようにプログラムされたＦＰＧＡ（フィールドプログラマブルゲートアレイ）によって実装されるが、それ以外の形式で実装されてもよい。
撮像装置１１０は、ネットワークカメラ等の撮像装置である。本実施形態では、撮像装置１１０は、映像を処理することのできる演算装置を内蔵するものとするが、これに限られない。例えば、撮像装置１１０に接続されたＰＣ（パーソナルコンピュータ）等の外部コンピュータが存在してもよく、これらの組み合わせを、撮像装置１１０として扱ってもよい。また、本実施形態では、全ての撮像装置１１０に、着脱可能デバイス１００が装着されているものとする。なお、図１では、４つの撮像装置１１０と、それぞれに装着された着脱可能デバイスとが示されているが、これらの装置の組み合わせの数は３つ以下であってもよいし、５つ以上であってもよい。撮像装置１１０に、画像解析処理機能を有する着脱可能デバイス１００が装着されることにより、撮像装置１１０が画像解析処理機能を有しなくても、撮像装置１１０側で映像処理を実行することが可能となる。また、本実施形態のように撮像装置１１０に映像処理用の演算装置が配置された形態では、演算装置が配置された着脱可能デバイス１００が撮像装置１１０に装着されることにより、撮像装置１１０側で実行可能な画像処理を多様化・高度化することができる。
入出力装置１３０は、ユーザからの入力の受け付けや、ユーザへの情報の出力（例えば情報の表示）を行う装置である。本実施形態では、例えば入出力装置１３０は、ＰＣ等のコンピュータであり、そのコンピュータにインストールされたブラウザやネイティブアプリケーションによって、情報の入出力が行われる。
撮像装置１１０と入出力装置１３０は、ネットワーク１２０を介して通信可能に接続される。ネットワーク１２０は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満たす複数のルータ、スイッチ、ケーブル等を含んで構成される。本実施形態では、ネットワーク１２０は、撮像装置１１０と入出力装置１３０との間の通信を可能とする任意のネットワークであってよく、任意の規模や構成、準拠する通信規格によって構築されうる。例えば、ネットワーク１２０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等でありうる。また、ネットワーク１２０は、例えば、ＯＮＶＩＦ（Ｏｐｅｎ Ｎｅｔｗｏｒｋ Ｖｉｄｅｏ Ｉｎｔｅｒｆａｃｅ Ｆｏｒｕｍ）規格に準拠した通信プロトコルでの通信が可能なように構成されうる。ただし、これに限られず、ネットワーク１２０は、例えば、独自の通信プロトコル等の他の通信プロトコルでの通信が可能なように構成されてもよい。
＜装置構成＞
（撮像装置の構成）
続いて、撮像装置１１０の構成について説明する。図２は、撮像装置１１０のハードウェア構成例を示す図である。撮像装置１１０は、そのハードウェア構成として、例えば、撮像部２０１、画像処理部２０２、演算処理部２０３、配信部２０４、ＳＤ Ｉ／Ｆ部２０５を含む。なお、Ｉ／Ｆは、インタフェースの略語である。
撮像部２０１は、光を結像するためのレンズ部と、結像された光に応じたアナログ信号変換する撮像素子とを含んで構成される。レンズ部は、画角を調整するズーム機能や、光量の調整を行う絞り機能などを有する。撮像素子は、光をアナログ信号に変換する際の感度調整を行うゲイン機能を有する。これらの機能は、画像処理部２０２から通知された設定値に基づいて調整される。撮像部２０１によって取得されたアナログ信号は、アナログ－デジタル変換回路によってデジタル信号に変換され、画像信号として画像処理部２０２へ転送される。
画像処理部２０２は、画像処理エンジンと、その周辺デバイス等を含んで構成される。周辺デバイスは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や、各Ｉ／Ｆのドライバ等を含む。画像処理部２０２では、撮像部２０１から取得した画像信号に対して、例えば、現像処理、フィルタ処理、センサ補正、ノイズ除去等の、画像処理を施して画像データを生成する。また、画像処理部２０２は、レンズ部や撮像素子へ設定値を送信し、適切露出画像を取得できるように、露出調整を実行しうる。画像処理部２０２において生成された画像データは、演算処理部２０３へ転送される。
演算処理部２０３は、ＣＰＵやＭＰＵ等の１つ以上のプロセッサ、ＲＡＭやＲＯＭ等のメモリ、各Ｉ／Ｆのドライバなどから構成される。なお、ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの、ＭＰＵはＭｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの、ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの、ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの、頭字語である。演算処理部２０３では、一例において、上述のシステムにおいて実行されるべき処理の各部分を撮像装置１１０と着脱可能デバイス１００とのいずれが実行するかの分担を決定し、その決定した分担に対応する処理を実行しうる。この処理内容や処理の分担の詳細に関しては後述する。画像処理部２０２から受け取った画像は、配信部２０４、又は、ＳＤ Ｉ／Ｆ部２０５へ転送される。また、処理結果のデータも配信部２０４へ転送される。
配信部２０４は、ネットワーク配信エンジンと、例えば、ＲＡＭやＥＴＨ ＰＨＹモジュールなどの周辺デバイス等を含んで構成される。ＥＴＨ ＰＨＹモジュールは、Ｅｔｈｅｒｎｅｔの物理（ＰＨＹ）レイヤの処理を実行するモジュールである。配信部２０４は、演算処理部２０３から取得した画像データや処理結果のデータを、ネットワーク１２０へ配信可能な形式に変換して、変換後のデータをネットワーク１２０へ出力する。ＳＤ Ｉ／Ｆ部２０５は、着脱可能デバイス１００と接続するためのインタフェース部分で、例えば、電源と、着脱可能デバイス１００を着脱するための、着脱ソケット等の装着機構を含んで構成される。ここでは、ＳＤ Ｉ／Ｆ部２０５が、ＳＤ Ａｓｓｏｃｉａｔｉｏｎにより策定されたＳＤ規格に従って構成されるものとする。演算処理部２０３から取得された画像の着脱可能デバイス１００への転送や、着脱可能デバイス１００からのデータの取得等の、着脱可能デバイス１００と撮像装置１１０との間での通信は、ＳＤ Ｉ／Ｆ部２０５を通じて行われる。
図３に、撮像装置１１０の機能構成例を示す。撮像装置１１０は、その機能として、例えば、撮像制御部３０１、信号処理部３０２、記憶部３０３、制御部３０４、解析部３０５、デバイス通信部３０６、及び、ネットワーク通信部３０７を含む。
撮像制御部３０１は、撮像部２０１を介して周囲の環境を撮影するようにする制御を実行する。信号処理部３０２は、撮像制御部３０１によって撮影された画像に対して所定の処理を施して、撮影画像のデータを生成する。以下では、この撮影画像のデータを単に「撮影画像」と呼ぶ。信号処理部３０２は、例えば、撮像制御部３０１によって撮影された画像を符号化する。信号処理部３０２は、静止画像に対して、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の符号化方式を用いて符号化を行う。また、信号処理部３０２は、動画像に対して、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ（以下では「Ｈ．２６４」と呼ぶ。）、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）等の符号化方式を用いて符号化を行う。また、信号処理部３０２は、予め設定された複数の符号化方式の中から、例えば撮像装置１１０の不図示の操作部を介して、ユーザにより選択された符号化方式を用いて、画像を符号化してもよい。
記憶部３０３は、解析部３０５において実行可能な解析処理のリスト（以下では「第１処理リスト」と呼ぶ。）と、解析処理の結果に対する後処理のリストとを記憶する。また、記憶部３０３は、後述する解析処理の結果を記憶する。なお、本実施形態では、実行される処理が解析処理であるが、任意の処理が実行されてもよく、記憶部３０３は、その実行される処理に関連する処理について、第１処理リストと後処理のリストとを記憶するようにしうる。制御部３０４は、信号処理部３０２、記憶部３０３、解析部３０５、デバイス通信部３０６、ネットワーク通信部３０７を、それぞれが所定の処理を実行するように、制御する。
解析部３０５は、撮影画像に対して、後述する解析前処理、解析処理、解析後処理の少なくともいずれかを選択的に実行する。解析前処理は、後述の解析処理を実行する前に、撮影画像に対して実行する処理である。本実施形態の解析前処理では、一例として、撮影画像を分割して分割画像を作成する処理が実行されるものとする。解析処理は、入力された画像を解析して得られる情報を出力する処理である。本実施形態の解析処理では、一例として、解析前処理によって得られた分割画像を入力として、人体検出処理、顔検出処理、車両検出処理の少なくともいずれかを実行し、解析処理結果を出力する処理が実行されるものとする。解析処理は、例えば非特許文献１の技術によって、画像に含まれるオブジェクトを検出できるように学習が行われた機械学習モデルを用いて、分割画像中のオブジェクトの位置を出力するように構成された処理でありうる。解析後処理は、解析処理が実行された後に実行される処理である。本実施形態の解析後処理では、一例として、各分割画像に対する解析処理結果に基づいて、各分割画像において検出されたオブジェクトの数を合計した値を処理結果として出力する処理が実行されるものとする。なお、解析処理は、パターンマッチングを行って画像中のオブジェクトを検出し、その位置を出力する処理であってもよい。
デバイス通信部３０６は、着脱可能デバイス１００との通信を行う。デバイス通信部３０６は、入力されたデータを着脱可能デバイス１００が処理可能な形式に変換し、その変換によって得られたデータを着脱可能デバイス１００に送信する。また、デバイス通信部３０６は、着脱可能デバイス１００からデータを受信し、受信したデータを撮像装置１１０が処理可能な形式に変換する。本実施形態では、デバイス通信部３０６は、変換処理として、小数を浮動小数点形式と固定小数点形式との間で変換する処理を実行するものとするが、これに限られず、他の処理がデバイス通信部３０６によって実行されてもよい。また、本実施形態では、デバイス通信部３０６は、着脱可能デバイス１００に対してＳＤ規格の範囲内で事前に定められたコマンドシーケンスを送信し、着脱可能デバイス１００からの応答を受信することで、着脱可能デバイス１００との通信を行うものとする。ネットワーク通信部３０７は、ネットワーク１２０を介して、入出力装置１３０との通信を行う。
（着脱可能デバイスの構成）
図４に、着脱可能デバイス１００のハードウェア構成例を示す。着脱可能デバイス１００は、一例として、Ｉ／Ｆ部４０１、ＦＰＧＡ４０２、ＳＤコントローラ４０３、及び、を含んで構成される。着脱可能デバイス１００は、撮像装置１１０が有するＳＤ Ｉ／Ｆ部２０５の着脱ソケットに挿抜できる形状で、すなわちＳＤ規格に則った形状で成形されるものとする。
Ｉ／Ｆ部４０１は、撮像装置１１０等の装置と着脱可能デバイス１００とを接続するためのインタフェース部分である。Ｉ／Ｆ部４０１は、例えば、撮像装置１１０から電源の供給を受け、着脱可能デバイス１００内で使用する電源を生成し分配する、電気的な接点端子等を含んで構成される。Ｉ／Ｆ部４０１は、撮像装置１１０のＳＤ Ｉ／Ｆ部２０５と同様に、ＳＤ規格内で定義（準拠）されている項目に関しては、それに従うものとする。撮像装置１１０からの画像や設定データの受け取り、ＦＰＧＡ４０２から撮像装置１１０へのデータの送信は、Ｉ／Ｆ部４０１を介して実行される。
ＦＰＧＡ４０２は、入出力制御部４１０、処理切替部４１１、及び演算処理部４１２を含んで構成される。ＦＰＧＡ４０２は、内部の論理回路構造を繰り返し再構成できる半導体デバイスの一種である。ＦＰＧＡ４０２が実現する処理により、着脱可能デバイス１００が装着された装置に、処理機能を追加（提供）することができる。また、ＦＰＧＡ４０２の再構成機能により、後から論理回路構造を変更することができるため、例えば技術の進歩の早い分野の装置に着脱可能デバイス１００を装着することにより、その装置において適時に適切な処理を実行することが可能となる。なお、本実施形態では、ＦＰＧＡが用いられる例について説明するが、後述する処理を実現可能である限りにおいて、例えば、汎用のＡＳＩＣや専用のＬＳＩが用いられてもよい。ＦＰＧＡ４０２は、生成される論理回路構造の情報を含んだ設定データが専用のＩ／Ｆから書き込まれることにより、又は、その設定データがその専用のＩ／Ｆから読み出されることによって、起動される。本実施形態では、この設定データが記憶部４０４に保持されているものとする。ＦＰＧＡ４０２は、電源が投入されると、記憶部４０４から設定データを読み出し、論理回路を生成して起動する。ただし、これに限られず、例えば、着脱可能デバイス内に専用の回路を実装することにより、Ｉ／Ｆ部４０１を介して、撮像装置１１０がＦＰＧＡ４０２に設定データを書き込んでもよい。
入出力制御部４１０は、撮像装置１１０との間で画像を送受信するための回路、撮像装置１１０から受信したコマンドを解析する回路、解析した結果に基づいて制御を行う回路、等を含んで構成される。ここでのコマンドは、ＳＤ規格に定義されているものであり、入出力制御部４１０は、それらのうちのいくつかを検出することができる。機能の詳細に関しては後述する。入出力制御部４１０は、記憶処理の場合はＳＤコントローラ４０３へ画像を送信し、画像解析処理の場合は演算処理部４１２へ画像を送信するように制御を行う。また、入出力制御部４１０は、処理の切り替えの設定データを受け取った場合は、処理切替部４１１へ設定データを送信する。処理切替部４１１は、撮像装置１１０から受け取った設定データに基づいて、記憶部４０４から画像解析処理機能の情報を取得し、演算処理部４１２に書き込むための回路を含んで構成される。画像解析処理機能の情報は、例えば、演算処理部４１２内で処理される演算の順序や種類、演算の係数などを示す設定パラメータである。演算処理部４１２は、画像解析処理機能を実行するために必要な複数の演算回路を含んで構成される。演算処理部４１２は、処理切替部４１１から受け取った画像解析処理機能の情報に基づいて、各演算処理を実行して、その処理結果を撮像装置１１０へ送信し、及び／又は、その処理結果を記憶部４０４に記録する。このように、ＦＰＧＡ４０２は、事前に保持された複数の処理機能に対応する設定データに含まれる、実行対象の処理機能の設定データを抽出して、その抽出した設定データに基づいて演算処理部４１２によって実行される処理内容を書き換える。これにより、着脱可能デバイス１００が、その複数の処理機能のうちの少なくともいずれかを選択的に実行することができる。また、新規に追加する処理の設定データを随時追加することにより、撮像装置１１０側で最新の処理を実行させることができる。なお、以下では、複数の処理機能のそれぞれに対応する複数の設定データを有していることを、複数の処理機能を有すると表現する。すなわち、着脱可能デバイス１００のＦＰＧＡ４０２が１つの処理機能を実行するように構成されている状態であっても、他の処理機能のための設定データにより演算処理部４１２の処理内容を変更することができる場合、複数の処理機能を有する、と表現する。
ＳＤコントローラ４０３は、ＳＤ規格に定義されているような公知のコントロールＩＣ（集積回路）であり、ＳＤプロトコルのスレーブ動作の制御と、記憶部４０４に対するデータの読み書きの制御とを実行する。記憶部４０４は、例えばＮＡＮＤ型フラッシュメモリによって構成され、例えば、撮像装置１１０から書き込まれた記憶データ、演算処理部４１２に書き込まれる画像解析処理機能の情報、ＦＰＧＡ４０２の設定データ等の各種情報を記憶する。
図５に、着脱可能デバイス１００の機能構成例を示す。着脱可能デバイス１００は、その機能構成として、例えば、解析部５０１及び通信部５０２を含む。解析部５０１は、画像に対する解析処理を実行する。解析部５０１は、例えば、解析処理設定要求を入力された場合に、入力された解析処理を実行可能な状態にするための設定を実行する。また、解析部５０１は、画像が入力された場合、その入力された画像に対して、実行可能な状態に設定された解析処理を実行する。本実施形態では、実行可能な解析処理は、人体検出処理と顔検出処理であるものとするが、これらに限られない。例えば、事前に記憶された人物が画像に含まれるか否かを判定する処理（後述する顔認証処理）であってもよい。例えば、事前に記憶された人物の画像特徴量と、入力された画像から検出された人物の画像特徴量との一致度合いが算出され、一致度合いが閾値以上の場合に事前に記憶された人物であると判定される。また、プライバシー保護を目的として。入力された画像から検出された人物に対して、所定のマスク画像を重畳したり、モザイク処理を施したりする処理であってもよい。また、人物の特定の行動を機械学習によって学習した学習モデルを用いて、画像中の人物が特定の行動を行っているかを検出する処理であってもよい。さらには、画像中の領域がどのような領域なのかを判定する処理であってもよい。例えば、建物や道路、人物、空等を機械学習によって学習した学習モデルを用いて、画像中の領域がどのような領域なのかを判定する処理であってもよい。以上のように、実行可能な解析処理は、機械学習を用いた画像解析処理にも、機械学習を用いない画像解析処理にも応用可能である。また、上記の各解析処理は、着脱可能デバイス１００が単独で行うのではなく、撮像装置１１０と協働して実行してもよい。通信部５０２は、Ｉ／Ｆ部４０１を介して、撮像装置１１０との通信を行う。
（入出力装置の構成）
図６に、入出力装置１３０のハードウェア構成例を示す。入出力装置１３０は、一般的なＰＣ等のコンピュータとして構成され、例えば、図６に示すように、ＣＰＵ等のプロセッサ６０１、ＲＡＭ６０２やＲＯＭ６０３等のメモリ、ＨＤＤ６０４等の記憶装置、及び、通信Ｉ／Ｆ６０５を含んで構成される。入出力装置１３０は、プロセッサ６０１が、メモリや記憶装置に格納されたプログラムを実行することにより、各種機能を実行することができる。
図７に、本実施形態に係る入出力装置１３０の機能構成例を示す。入出力装置１３０は、その機能構成として、例えば、ネットワーク通信部７０１、制御部７０２、表示部７０３、及び操作部７０４を含む。ネットワーク通信部７０１は、例えばネットワーク１２０に接続し、ネットワーク１２０を介して撮像装置１１０等の外部装置との通信を実行する。なお、これは一例に過ぎず、例えば、ネットワーク通信部７０１は、撮像装置１１０と直接接続を確立して、ネットワーク１２０や他の装置を介さずに、撮像装置１１０と通信するように構成されてもよい。制御部７０２は、ネットワーク通信部７０１と表示部７０３と操作部７０４とがそれぞれの処理を実行するように、制御する。表示部７０３は、例えばディスプレイを介してユーザに情報を提示する。本実施形態では、ブラウザがレンダリングした結果をディスプレイに表示することによって、情報がユーザに提示される。なお、音声や振動等の画面表示以外の方法で情報が提示されてもよい。操作部７０４は、ユーザからの操作を受け付ける。本実施形態では、操作部７０４がマウスやキーボードであり、ユーザがこれらを操作して、ブラウザにユーザ操作を入力するものとする。ただし、これに限られず、操作部７０４は、例えば、タッチパネルやマイクなど、他のユーザの意図を検出することができる任意のデバイスであってもよい。
＜処理の流れ＞
続いて、システム内で実行される処理の流れの例について説明する。なお、以下の各処理のうち撮像装置１１０が実行する処理は、例えば、演算処理部２０３内のプロセッサがメモリ等に記憶されたプログラムを実行することによって実現される。ただし、これは一例に過ぎず、後述の処理の一部又は全部が、専用のハードウェアによって実現されてもよい。また、着脱可能デバイス１００や入出力装置１３０が実行する処理についても、各装置におけるプロセッサがメモリ等に記憶されたプログラムを実行することによって実現されてもよいし、処理の一部又は全部を、専用のハードウェアによって実現してもよい。
（全体の流れ）
図８に、システムで実行される画像解析処理の一連の流れを概略的に示す。本処理では、まず、ユーザによって、撮像装置１１０に着脱可能デバイス１００が装着される（Ｓ８０１）。撮像装置１１０は、着脱可能デバイス１００の初期化シーケンスを実行する（Ｓ８０２）。この初期化シーケンスでは、撮像装置１１０と着脱可能デバイス１００との間で所定のコマンドが送受信されることにより、撮像装置１１０が、着脱可能デバイス１００を使用可能な状態となる。その後、撮像装置１１０は、着脱可能デバイス１００が実行可能な処理を把握し、ローカルで実行可能な（撮像装置１１０単体で又は撮像装置１１０と着脱可能デバイス１００の組み合わせで実行可能な）処理を把握する（Ｓ８０３）。なお、着脱可能デバイス１００は、任意の処理を実行可能なように構成されうるが、撮像装置１１０側で実行されるべき処理と無関係な処理については考慮されなくてもよい。一例において、撮像装置１１０は、例えば入出力装置１３０から事前に取得した実行されうる処理のリストを保持しておいてもよい。この場合、撮像装置１１０は、着脱可能デバイス１００が実行可能な処理を示す情報を着脱可能デバイス１００から取得した際に、その処理がリストに含まれているか否かによって、実行されうる処理のみを把握することができる。続いて、撮像装置１１０は、実行する処理を決定し、必要に応じて着脱可能デバイス１００の設定を実行する（Ｓ８０４）。すなわち、実行対象として決定された処理の少なくとも一部が着脱可能デバイス１００によって実行される場合に、その処理のための着脱可能デバイス１００の設定が実行される。この設定においては、例えば、実行対象の処理に対応する設定データを用いたＦＰＧＡ４０２の再構成が行われうる。そして、撮像装置１１０または着脱可能デバイス１００が、解析処理を実行する（Ｓ８０５）。その後、撮像装置１１０は、後処理を実行する（Ｓ８０６）。なお、Ｓ８０５とＳ８０６の処理は繰り返し実行される。図８の処理は、例えば、着脱可能デバイス１００が装着された際に実行されるが、例えば着脱可能デバイス１００が取り外された際にも、Ｓ８０３の処理が再度実行されるようにするなど、図８の処理の少なくとも一部が繰り返し実行されてもよい。
（実行可能な処理を把握する処理）
図９に、撮像装置１１０が実行可能な処理を把握する処理の流れの例を示す。本処理は、図８のＳ８０３の処理に対応し、着脱可能デバイス１００等のデバイスが撮像装置１１０に装着された又は抜去された場合や、撮像装置１１０の電源がオンとなった際に実行されうる。本処理では、撮像装置１１０は、着脱可能デバイス１００で実行可能な処理を読み出し、撮像装置１１０自身が実行可能な解析処理と統合し、撮像装置１１０側で実行可能な解析処理を把握する。
まず、撮像装置１１０の制御部３０４は、記憶部３０３に記憶されている、撮像装置１１０自身の解析部３０５において実行可能な処理のリストである第１処理リストを読み出す（Ｓ９０１）。続いて、制御部３０４は、装着されたデバイスが、例えば従来の記憶機能のみを有するデバイスであるか、着脱可能デバイス１００等の特定の処理機能を有する所定のデバイスであるかを判定する（Ｓ９０２）。例えば、制御部３０４は、デバイス通信部３０６を制御して、装着されたデバイスに対して、特定のアドレスへの読み出し要求（リードコマンド）を発行し、その特定のアドレスに格納されているフラグデータを読み出す。以下では、この特定のアドレスを「アドレスＡ」と呼ぶ場合がある。なお、アドレスＡに格納されているデータの詳細については後述する。そして、制御部３０４は、読み出したフラグデータに基づいて、着脱可能デバイス１００が特定の処理機能を有する所定のデバイスであるかを判定しうる。ただし、これは一例に過ぎず、他の方法によって、装着されたデバイスが所定のデバイスであるか否かが判定されてもよい。
装着されたデバイスが所定のデバイスである場合（Ｓ９０２でＹＥＳ）、制御部３０４は、そのデバイス（着脱可能デバイス１００）において実行可能な処理を把握するための処理を実行する。制御部３０４は、デバイス通信部３０６を制御して着脱可能デバイス１００と通信し、着脱可能デバイス１００において実行可能な処理のリスト（以下では「第２処理リスト」と呼ぶ。）を取得する（Ｓ９０３）。制御部３０４は、例えば、着脱可能デバイス１００が所定のデバイスか否かを判定した場合と同様に、アドレスＡに格納されているデータを読み出すことにより、第２処理リストを取得しうる。なお、例えば、第２処理リストは、着脱可能デバイスが所定のデバイスであるか否かの判定を行うフラグデータと同一のアドレス（アドレスＡ）に格納されうる。この場合、撮像装置１１０は、そのアドレスＡにアクセスすることにより、フラグデータと第２処理リストとを同時に取得して、Ｓ９０２の処理とＳ９０３の処理とを同時に実行することができる。ただし、これに限られず、これらのデータは、別のアドレスに格納されてもよい。その後、制御部３０４は、記憶部３０３から読み出した撮像装置１１０自身が実行可能な処理の第１処理リストと、着脱デバイスから取得した第２処理リストとが統合された統合処理リストを作成し（Ｓ９０４）、処理を終了する。
この統合処理リストは、ネットワーク上のサーバ等の装置による処理が行われることなく、撮像装置１１０側でローカルに実行可能な処理を示すリストである。なお、本実施形態では、統合処理リストは、第１処理リストに含まれる処理と第２処理リストに含まれる処理との和集合によって得られるリストであり、第１処理リストと第２処理リストとの少なくともいずれかに含まれる処理がリスト化されたものである。ただし、これに限られず、例えば、第１処理リストに含まれる処理と第２処理リストに含まれる処理とを組み合わせることによって別の処理を実行可能となる場合などに、その実行可能となる別の処理が統合処理リストに加えられてもよい。すなわち、第１処理リストに含まれる処理の少なくとも一部と第２処理リストに含まれる処理の少なくとも一部とが共に利用される場合に、新たな解析処理が実行可能となる場合は、その解析処理の情報が統合処理リストに含められうる。例えば、顔認証処理は、顔検出処理機能と、顔特徴抽出処理機能と、顔特徴照合処理機能の機能群によって実現されうる。このとき、第１処理リストに顔検出処理機能と顔特徴抽出処理機能とが含まれ、第２処理リストに顔特徴照合処理機能が含まれているとすると、統合処理リストには、顔認証処理が含められうる。
装着されたデバイスが所定のデバイスでない場合（Ｓ９０２でＮＯ）、制御部３０４は、装着されたデバイスによって実行可能な処理がないと判定する。このため、制御部３０４は、記憶部３０３から読み出した自装置において実行可能な処理の第１処理リストを、撮像装置１１０側でローカルに実行可能な処理を示す統合処理リストとして（Ｓ９０５）、処理を終了する。なお、デバイスが抜去された際に図９の処理が実行されると、所定のデバイスが当然に装着されていないため、第１処理リストが統合処理リストとして扱われることとなる。
これにより、特定の処理を実行可能な着脱可能デバイス１００が撮像装置１１０に装着されているか否かに基づいて、撮像装置１１０側でローカルに実行可能な処理をリスト化することができる。また、この統合処理リストを後述のようにユーザに提示することにより、着脱可能デバイス１００の装着によって撮像装置１１０側でローカルに実行可能となる処理を、ユーザが選択することができるようになる。
なお、本実施形態では、統合処理リストを生成する場合の例を示したが、第１処理リストと第２処理リストとが別個に管理され、統合処理リストが生成されなくてもよい。すなわち、着脱可能デバイス１００で実行可能な処理と、着脱可能デバイス１００を伴わずに撮像装置１１０で実行可能な処理とが区別可能に管理され、出力されてもよい。また、第１処理リストと第２処理リストが区別可能に管理される場合であっても、統合処理リストが生成され、管理されてもよい。例えば、第１処理リストに含まれる処理と第２処理リストに含まれる処理とが共に使用されることにより新たな処理を実行可能な場合に、その新たな処理は、第１処理リストと第２処理リストには含まれないが、統合処理リストに含まれることとなる。なお、統合処理リストが出力される場合、併せて、その統合処理リストに含まれる処理が第１処理リストと第２処理リストとのいずれに含まれる処理であるかを区別可能に示す情報が出力されうる。これにより、例えば提示された処理を着脱可能デバイス１００なしで実行可能であるかをユーザが認識することができるようになる。
なお、上述の処理リストは、後述のように、入出力装置１３０のような、少なくとも撮像装置１１０に含まれない外部装置に提供されるが、外部に提供されなくてもよい。例えば、撮像装置１１０がディスプレイを有する場合にそのディスプレイに処理リストが表示されることや、撮像装置１１０が音声出力機能を有する場合に処理リストが音声出力されることなどによって、処理リストが出力されてもよい。撮像装置１１０において処理リストが提示されることにより、意図しない機能を有する着脱可能デバイス１００を撮像装置１１０に誤って装着させた場合等に、ユーザがその誤装着を迅速に認識することが可能となる。このように、撮像装置１１０は、撮像装置１１０が実行可能な処理を示す第１処理リストと着脱可能デバイス１００が実行可能な処理を示す第２処理リストとに基づく情報を、任意の形式で出力しうる。
また、撮像装置１１０は、着脱可能デバイス１００が抜去された場合には、図９の処理を再度実行することによって、統合処理リストを更新することができる。また、このとき、撮像装置１１０は、抜去された着脱可能デバイス１００に関する第２処理リストを破棄しうる。ただし、これに限られず、撮像装置１１０は、ある着脱可能デバイス１００についての第２処理リストを記憶部３０３に別途記憶しておき、その着脱可能デバイス１００が装着されていない場合であっても、その第２処理リストを出力しうる。すなわち、撮像装置１１０は、過去に装着されて抜去された着脱可能デバイス１００についての第２処理リストを出力するようにしてもよい。また、撮像装置１１０は、その過去に装着されて抜去された着脱可能デバイス１００についての第２処理リストに含まれる処理と、第１処理リストに含まれる（自装置で実行可能な）処理とを用いて実行可能となる処理を示す情報を出力してもよい。換言すれば、撮像装置１１０は、自装置のみでは実行できない処理の情報を出力しうる。これによれば、ユーザに対して、出力された情報が示す処理を実行可能な着脱可能デバイス１００が存在することと、その着脱可能デバイス１００を装着することにより、その処理が実行可能となることを通知することができる。
さらに、撮像装置１１０は、過去に自装置に装着されたことがないが、自装置に装着可能な他の着脱可能デバイス１００（未装着デバイス）についての第２処理リストを出力するようにしてもよい。このような未装着デバイスとその未装着デバイスが実行可能な解析処理を示す情報は、例えば、撮像装置１１０が図示を省略する外部のサーバからネットワークを介して取得することができる。また、未装着デバイスとその未装着デバイスが実行可能な解析処理を示す情報は、例えば、撮像装置１１０が事前に保持していてもよい。
また、撮像装置１１０は、未装着デバイスについての第２処理リストに含まれる処理と、第１処理リストに含まれる（自装置で実行可能な）処理とを用いて実行可能となる処理を示す情報を出力してもよい。換言すれば、撮像装置１１０は、自装置のみでは実行できない処理の情報を出力しうる。これによれば、ユーザに対して、出力された情報が示す処理を実行可能な着脱可能デバイス１００が存在することと、その着脱可能デバイス１００を装着することにより、その処理が実行可能となることを通知することができる。
なお、撮像装置１１０は、過去に装着されて抜去された着脱可能デバイス１００についての第２処理リストを記憶する際に、その着脱可能デバイス１００の機種番号などのデバイスを特定可能な情報を併せて記憶しうる。そして、撮像装置１１０は、その着脱可能デバイス１００に関する第２処理リストを出力する際に、その着脱可能デバイス１００を特定可能な情報も併せて出力しうる。これによれば、ユーザが、提示された処理機能を使用するために、どの着脱可能デバイス１００を撮像装置１１０に装着すればよいかを容易に認識することができるようになる。
（解析処理内容を決定する処理）
図１０に、撮像装置１１０が解析処理内容を決定する処理の流れの例を示す。本処理では、撮像装置１１０側でローカルに実行可能な解析処理が入出力装置１３０を介してユーザに提示され、入出力装置１３０はユーザの選択を受け付ける。そして、撮像装置１１０は、入出力装置１３０を介して受け付けられたユーザ選択を示す情報に応じて、実行する解析処理を決定する。
本処理では、まず、入出力装置１３０の制御部７０２が、ネットワーク通信部７０１を制御して、撮像装置１１０との通信を実行し、撮影画像と統合処理リストと後処理リストとの取得を要求する（Ｓ１００１）。入出力装置１３０は、一例として、ＯＮＶＩＦ規格で規定された要求メッセージを撮像装置１１０へ送信することによって、撮像装置１１０へ情報の送信を要求する。ただし、これに限られず、他のメッセージ等によって情報の送信要求が行われてもよい。撮像装置１１０は、この要求に基づいて、撮像制御部３０１が周囲の環境を撮影し、制御部３０４が信号処理部３０２を制御して、撮像制御部３０１によって撮影された画像を処理して、撮影画像を取得する（Ｓ１００２）。なお、撮像装置１１０は、要求の有無によらず周囲の環境を撮影して、撮影画像を取得し続けていてもよい。撮像装置１１０は、撮影画像をローカルに保存していてもよいし、ネットワークサーバ等の他装置に撮影画像を転送して保存させてもよい。制御部３０４は、記憶部３０３に記憶されている後処理リストを読み出す。後処理リストは、本実施形態では表示処理及び保存処理を含むものとするが、これに限られない。制御部３０４は、ネットワーク通信部３０７を制御して、後処理リストと、図９の処理によって取得した統合処理リストと、Ｓ１００２で取得した撮影画像とを入出力装置１３０へ送信する（Ｓ１００３）。撮像装置１１０は、一例として、上述のＯＮＶＩＦ規格で規定された要求メッセージに対する応答メッセージを入出力装置１３０へ送信することによって、入出力装置１３０へ情報を送信する。ただし、これに限られず、他のメッセージ等によって情報の送信が行われてもよい。なお、ここでは、実行する処理のみが考慮されてもよく、Ｓ１００１の入出力装置１３０による撮影画像の要求、Ｓ１００２における撮影画像の取得、及びＳ１００３の入出力装置１３０への撮影画像の送信は行われなくてもよい。
入出力装置１３０の制御部７０２は、ネットワーク通信部７０１を制御して、撮像装置１１０から撮影画像と統合処理リストと後処理リストを受信する。そして、制御部７０２は、表示部７０３を制御して、画面表示等によって、統合処理リストと後処理リストをユーザに提示する（Ｓ１００４）。なお、制御部７０２は、このときに、併せて撮影画像を画面表示等によってユーザに提示してもよい。その後、ユーザは、表示部７０３によって表示された統合処理リストと後処理リストを確認し、操作部７０４を介して、実行すべき解析処理（以下では、「実行対象処理」と呼ぶ。）を統合処理リストの中から選択する（Ｓ１００５）。また、ユーザは、操作部７０４を介して、実行すべき後処理（以降、実行対象後処理）を選択する（Ｓ１００６）。Ｓ１００４のユーザに対する情報の提示、Ｓ１００５のユーザによる解析処理の選択、Ｓ１００６のユーザによる後処理の選択の詳細については後述する。操作部７０４は、実行対象処理と実行対象後処理の選択結果を、制御部７０２に出力する。制御部７０２は、ネットワーク通信部７０１を制御して、操作部７０４から入力された実行対象処理と実行対象後処理を示す情報を撮像装置１１０へ送信する（Ｓ１００７）。
撮像装置１１０の制御部３０４は、ネットワーク通信部３０７を制御して、入出力装置１３０からユーザによって選択された実行対象処理を示す情報を受信すると、その実行対象処理が第２処理リストに含まれている処理であるか否かを判定する（Ｓ１００８）。そして、制御部３０４は、実行対象処理が第２処理リストに含まれない場合（Ｓ１００８でＮＯ）には、撮像装置１１０内で処理を実行するため、着脱可能デバイス１００への通知等を行うことなく図１０の処理を終了する。一方、制御部３０４は、実行対象処理が第２処理リストに含まれる場合（Ｓ１００８でＹＥＳ）、デバイス通信部３０６を制御して、実行対象処理の設定要求を着脱可能デバイス１００に送信する（Ｓ１００９）。
着脱可能デバイス１００の通信部５０２は、実行対象処理の設定要求を撮像装置１１０から受信する。このとき、通信部５０２は、撮像装置１１０から書き込まれるデータ量や書き込みコマンドの種別によって実行対象処理の設定要求を判別しうる。この設定要求の判別方法の詳細については後述する。通信部５０２は、撮像装置１１０から受信した実行対象処理の設定要求を、解析部５０１に出力する。解析部５０１は、通信部５０２から入力された実行対象処理の設定要求に基づいて、着脱可能デバイス１００が実行対象処理を実行可能な状態となるようにするための設定を実行する（Ｓ１０１０）。通信部５０２は、例えば設定処理が完了した後に、設定完了通知を撮像装置１１０へ送信する（Ｓ１０１１）。なお、通信部５０２は、着脱可能デバイス１００の設定が完了していないタイミングで撮像装置１１０がデータを書き込まないようにするための情報を通知すれば足り、設定が実際に完了する前に設定完了タイミングの情報等を撮像装置１１０に通知してもよい。撮像装置１１０の制御部３０４は、デバイス通信部３０６を制御して、着脱可能デバイス１００から設定完了通知を受信する。
着脱可能デバイス１００からの撮像装置１１０への設定完了の通知は、例えば、以下の３つ方法のうちのいずれかを用いて実行されうる。１つ目の通知方法では、通信部５０２が、撮像装置１１０からの１ブロック目のデータの書き込み処理時に、実行対象処理の設定が終了していない場合に、ＢＵＳＹ信号を出力するようにする。ＢＵＳＹ信号の出力は、例えば、ＳＤ規格で定められているＤＡＴＡの信号ラインをＬｏｗ状態にドライブしておくことにより行われる。この場合、撮像装置１１０は、ＢＵＳＹ信号を確認することにより、実行対象処理の設定が完了したか否かを判別することができる。２つ目の通知方法では、実行対象処理の設定完了までの時間を上述の特定のアドレスに事前に格納しておき、撮像装置１１０がその設定完了までの時間の情報を読み出すようにする。撮像装置１１０は、実行対象処理の設定完了までの時間が経過した後に、書き込みデータの出力（ライトコマンドの発行）を行う。これにより、撮像装置１１０は、実行対象処理の設定が完了した後に撮影画像のデータを送信することが可能となる。３つ目の通知方法では、解析部５０１が、実行対象処理の設定が完了した際に、着脱可能デバイス１００の第２の特定のアドレスに設定完了のフラグを書き込む。撮像装置１１０は、この第２の特定のアドレスのデータを読み出すことにより、実行対象処理の設定が完了したか否かを判別することができる。なお、設定完了のフラグが書き込まれるアドレスの情報は、上述の特定のアドレスに格納されてもよいし、別のアドレスに格納されてもよい。
図１０の処理のように、特定の処理を実行可能な着脱可能デバイス１００が撮像装置１１０に装着されたか否かによって定まる統合処理リストを用いることにより、撮像装置１１０側の状態を考慮して実行対象処理を適切に決定することができる。また、実行対象処理が着脱可能デバイス１００で実行される処理を含む場合に着脱可能デバイス１００の設定を自動で行うことにより、ユーザによる設定操作を行うことなく、ユーザが選択した処理を実行する準備を整えることができる。また、実行対象処理が着脱可能デバイス１００で実行される処理を含まない場合に着脱可能デバイス１００の設定を行わないことで、撮像装置１１０単体で処理を実行する場合に不必要に着脱可能デバイス１００の設定が行われることを防ぐことができる。
（解析処理の実行制御）
図１１に、撮像装置１１０が解析処理を実行する際の制御の流れの例を示す。本処理では、まず、撮像制御部３０１が周囲の環境を撮影する（Ｓ１１０１）。制御部３０４は、信号処理部３０２を制御して、撮像制御部３０１によって撮影された画像の処理を行い、撮影画像を取得する。その後、制御部３０４は、解析部３０５を制御して、制御部３０４から入力された撮影画像に対して解析前処理を実行し、解析前処理結果の画像を取得する（Ｓ１１０２）。そして、制御部３０４は、実行対象処理が第２処理リストに含まれるかを判定する（Ｓ１１０３）。
制御部３０４は、実行対象処理が第２処理リストに含まれないと判定した場合（Ｓ１１０３でＮＯ）、解析部３０５を制御して、撮像装置１１０内で解析前処理結果の画像に対する実行対象処理を実行する（Ｓ１１０４）。そして、制御部３０４は、解析部３０５を制御して、解析処理結果に対する解析後処理を実行し（Ｓ１１０８）、処理を終了する。
制御部３０４は、実行対象処理が第２処理リストに含まれている場合（Ｓ１１０３でＹＥＳ）、デバイス通信部３０６を制御して、解析前処理結果の画像を着脱可能デバイス１００に送信する（Ｓ１１０５）。例えば、制御部３０４は、解析前処理結果の書き込み要求（ライトコマンド）を発行することにより、着脱可能デバイス１００へ解析前処理結果の画像を送信する。着脱可能デバイス１００の通信部５０２は、解析前処理結果の画像を撮像装置１１０から受信し、撮像装置１１０から受信した画像を解析部５０１に出力する。解析部５０１は、通信部５０２から入力された画像に対して、図１０のＳ１０１０において設定された実行対象処理を実行する（Ｓ１１０６）。そして、通信部５０２は、解析部５０１による処理によって得られた解析処理結果を撮像装置１１０へ送信する（Ｓ１１０７）。撮像装置１１０の制御部３０４は、デバイス通信部３０６を制御して、着脱可能デバイス１００から解析処理結果を受信する。その後、制御部３０４は、解析部３０５を制御して、解析処理結果に対して解析後処理を実行する（Ｓ１１０８）。
着脱可能デバイス１００から撮像装置１１０への解析処理結果の送信は、例えば以下のようにして行われる。着脱可能デバイス１００の解析部５０１は、解析処理結果を実行対象処理ごとに割り当てられた解析処理結果の格納先アドレスに格納する。そして、撮像装置１１０は、例えば第２処理リストと共にアドレスＡに格納された解析処理結果の格納アドレスを示す情報を読み出し、その格納アドレスに対する読み出し要求（リードコマンド）を発行する。着脱可能デバイス１００は、通信部５０２を介して、解析処理結果の格納アドレスへの読み出し要求を受け取り、解析処理結果を撮像装置１１０に対して出力する。なお、撮像装置１１０は、例えばアドレスＡに格納されている推定処理時間が経過した後に、解析処理結果の格納アドレスに対する読み出し要求を発行しうる。また、着脱可能デバイス１００が、撮像装置１１０から送信された解析前処理結果の最後の１ブロックの書き込み要求から実行対象処理が終了するまでの間はＢＵＳＹ信号を出力するようにしてもよい。この場合、撮像装置１１０は、ＢＵＳＹ信号を受信しなくなってから、解析処理結果の格納アドレスに対する読み出し要求を発行しうる。これにより、撮像装置１１０は、処理が終了した後に処理結果を取得することが可能となる。
以上のような処理により、撮像装置１１０は、選択された実行対象処理に応じて、撮影画像を着脱可能デバイス１００に転送するか否かを決定することができる。これにより、解析処理を撮像装置１１０が実行するか着脱可能デバイス１００が実行するかをユーザが意識することなく、撮影画像の解析処理を実行することが可能となる。
（後処理の実行制御）
図１２に、撮像装置１１０が後処理を実行する際の制御の流れの例を示す。本処理では、撮像装置１１０の制御部３０４が、実行対象の後処理に「表示」が含まれるか否かを判定する（Ｓ１２０１）。制御部３０４は、実行対象の後処理に表示が含まれると判定した場合（Ｓ１２０１でＹＥＳ）、ネットワーク通信部３０７を制御して、解析処理の結果を入出力装置１３０へ送信する（Ｓ１２０２）。入出力装置１３０の制御部７０２は、ネットワーク通信部７０１を制御して、撮像装置１１０から解析処理の結果を受信すると、表示部７０３を制御して、解析処理の結果を画面表示等によってユーザに提示する（Ｓ１２０３）。一方、制御部３０４が実行対象の後処理に表示が含まれないと判定した場合（Ｓ１２０１でＮＯ）、Ｓ１２０２及びＳ１２０３の処理は実行されない。
また、撮像装置１１０の制御部３０４は、実行対象の後処理に「保存」が含まれるか否かの判定を行う（Ｓ１２０４）。なお、Ｓ１２０４の判定は、Ｓ１２０１の前に実行されてもよいし、Ｓ１２０１と並行して実行されてもよい。制御部３０４は、実行対象の後処理に保存が含まれると判定した場合（Ｓ１２０４でＹＥＳ）、記憶部３０３を制御して、解析処理の結果を記憶し、処理を終了する。一方、制御部３０４は、実行対象の後処理に保存が含まれないと判定した場合（Ｓ１２０４でＮＯ）は、Ｓ１２０５の処理を実行せずに処理を終了する。
このように、撮像装置１１０は、選択された後処理に応じて、解析処理の結果の入出力装置１３０への転送や記憶部３０３への格納を、ユーザによる特段の設定操作を受け付けることなく実行することができ、利便性を向上させることができる。
（撮像装置１１０と着脱可能デバイス１００との間の通信）
ここで、撮像装置１１０と着脱可能デバイス１００との通信について説明する。撮像装置１１０の演算処理部２０３と着脱可能デバイス１００のＳＤコントローラ４０３は、撮像装置１１０のＳＤ Ｉ／Ｆ部２０５のデバイス挿入用ソケットを介し、電源ライン、ＧＮＤライン、クロックライン、コマンドライン、データラインで接続される。なお、クロックライン、コマンドライン、及び、データラインは、ＦＰＧＡ４０２を経由する形で接続されるものとする。クロックラインでは、演算処理部２０３から出力される同期用のクロックが通信される。コマンドラインでは、演算処理部２０３からＳＤコントローラ４０３への動作要求用に発行するコマンド、コマンドに対するＳＤコントローラ４０３から演算処理部２０３へのレスポンスが通信される。データラインでは、演算処理部２０３からの書き込みデータ、着脱可能デバイス１００からの読み出しデータが通信される。また、演算処理部２０３は、ＳＤ Ｉ／Ｆ部２０５のデバイス挿入用ソケットのデバイスディテクト信号のＨｉｇｈとＬｏｗを判別することにより、着脱可能デバイス１００が挿入されているか否かを認識することができる。
演算処理部２０３は、ＳＤコントローラ４０３に対して電源供給後にコマンドライン上でコマンドを発行する。そして、演算処理部２０３は、ＳＤコントローラ４０３からのレスポンスと、ＳＤカードとしてのデバイス情報を示す出力データを受信したことに応じて、データの通信用の電圧、通信速度（クロック周波数）等の設定を行う。
図１３に、コマンドライン上で通信されるコマンドとレスポンスの構成例を示す。これらのコマンドとレスポンスはＳＤ規格に従う構成を有する。演算処理部２０３からＳＤコントローラ４０３に対して発行されるコマンド１３０１は、コマンドナンバー部１３０４と、コマンド引数部１３０５と、誤り訂正用データ部１３０６とを含んで構成される。コマンドナンバー部１３０４には、コマンドの種別を示す値が記述される。例えば、コマンドナンバー部１３０４に値「２３」が格納されている場合、そのコマンドがデータブロック数を指定するブロック数指定コマンドであることが示される。また、コマンドナンバー部１３０４に値「２５」が格納されている場合、そのコマンドがマルチライトコマンドであることが示され、コマンドナンバー部１３０４に値「１２」が格納されている場合、そのコマンドがデータ転送停止コマンドであることが示される。コマンド引数部１３０５では、コマンドの種別に応じて転送データブロック数、メモリの書き込み・読み出しアドレス等の情報が指定される。また、コマンドの最初のビットには、コマンドの開始位置を示すコマンドスタートビット１３０２が付加され、コマンドの最後のビットにはコマンドの終了を示すコマンドエンドビット１３０７が付加される。また、コマンドスタートビット１３０２の後ろに、撮像装置１１０から着脱可能デバイス１００に対して出力された信号であることを示すディレクションビット１３０３も付加される。
演算処理部２０３からのコマンドに対してＳＤコントローラ４０３から返されるレスポンス１３１１は、どのコマンドに対するレスポンスかを示すレスポンスナンバー部１３１４と、レスポンス引数部１３１５と、誤り訂正用データ部１３１６とを含む。また、レスポンスの最初のビットにはレスポンスの開始位置を示すレスポンススタートビット１３１２が付加され、レスポンスの最後のビットにはレスポンスの終了位置を示すレスポンスエンドビット１３１７が付加される。また、レスポンススタートビット１３１２の後ろに着脱可能デバイス１００から撮像装置１１０に対して出力された信号であることを示すディレクションビット１３１３も付加される。レスポンス引数部１３１５には、コマンド種別に応じてＳＤカードのステータス等の情報が格納される。
次に、演算処理部２０３と着脱可能デバイス１００とのデータの送受信の方法を説明する。ＳＤ Ｉ／Ｆ部２０５では、データの書き込み及び読み出し共にブロック単位でデータの転送が行われる。
演算処理部２０３が着脱可能デバイス１００に対して複数ブロックのデータを転送する方法は以下の２つの方法がある。１つ目の方法では、転送データのブロック数指定コマンドによってブロック数が指定された後に、マルチライトコマンドにより、指定されたブロック数だけデータが転送される。ブロック数指定コマンドでは、コマンド引数部１３０５において書き込みデータのブロック数が指定され、マルチライトコマンドでは、コマンド引数部１３０５においてデータが書き込まれるべき記憶部４０４のアドレスが指定される。２つ目の方法では、ブロック数指定コマンドが発行されることなくマルチライトコマンドが発行されることにより、データ転送が開始され、データ転送が終わった時点で転送停止コマンドが発行されることによって処理が終了する。このとき、マルチライトコマンドのコマンド引数部１３０５において、データが書き込まれるべき記憶部４０４のアドレスのみが指定される。演算処理部２０３は２つの書き込み方法を任意に切り替えることが可能である。
なお、記憶処理が行われる場合、ＦＰＧＡ４０２は、演算処理部２０３から送られるコマンドとデータをそのままＳＤコントローラ４０３に入力し、ＳＤコントローラ４０３は、受信したデータをコマンドで指定された記憶部４０４のアドレスに格納する。画像解析処理が行われる場合には、ＦＰＧＡ４０２は、演算処理部２０３から送られるデータに対して解析処理を実行し、その処理結果のデータと、記憶部４０４の所定のアドレスを指定する情報を、ＳＤコントローラ４０３に出力する。ＳＤコントローラ４０３は、指定された記憶部のアドレスに処理結果を格納する。
演算処理部２０３は着脱可能デバイス１００から複数ブロックのデータを読み出す方法は以下の２つの方法がある。１つ目の方法では、ブロック数指定コマンドでブロック数が指定されてからマルチリードコマンドが発行され、指定されたブロック数だけデータが読み出される。ブロック数指定コマンドでは、コマンド引数部１３０５において読み出しデータのブロック数が指定され、マルチリードコマンドのコマンド引数部１３０５においてデータの読み出し元のメモリのアドレスが指定される。２つ目の方法では、ブロック数指定コマンドが発行されることなくマルチリードコマンドが発行されることにより、データの読み出しが開始され、転送停止コマンドが発行されることによって処理が終了する。演算処理部２０３は２つの読み出し方法を任意に切り替えることが可能である。
なお、書き込みデータ、読み出しデータが１ブロックの場合には、シングルライトコマンド、シングルリードコマンドが発行されることにより、ブロック数指定コマンド、転送停止コマンドが発行されることなく、データの書き込み、読み出しが実行されうる。シングルライトコマンド、シングルリードコマンドにおいても、上述の説明と同様に、コマンド引数部１３０５において、アクセス対象の記憶部４０４のアドレスが指定される。
演算処理部２０３は、着脱可能デバイス１００に対して書き込みを行うことにより、記憶処理または画像解析処理の対象となるデータを着脱可能デバイス１００へ送信することができる。また、演算処理部２０３は、着脱可能デバイス１００に対して読み出しを行うことにより、記憶部４０４に記憶された画像データ、画像解析処理の処理結果、着脱可能デバイス１００が保有する画像解析の処理機能の情報を取得することができる。
本実施形態の着脱可能デバイス１００は、記憶部４０４の特定のアドレスＡに、自装置が有する処理機能の情報を格納する。撮像装置１１０の演算処理部２０３は、このアドレスＡに対してマルチリードコマンド又はシングルリードコマンドを発行することにより、着脱可能デバイス１００が有する処理機能の情報を確認することができる。ここでの処理機能の情報は、処理機能を保有しているか否か、処理が実行された場合に完了するまでの所要時間、処理結果のデータサイズ、処理結果が格納されるアドレス情報を含む。図１４に、この処理機能の情報の一例を示す。処理機能保有フラグ１４０１は、着脱可能デバイス１００が画像解析処理機能を有していることを示している。撮像装置１１０は、処理機能保有フラグ１４０１を確認することにより、着脱可能デバイス１００が画像解析処理機能を有しているか否かを判定する。処理機能分類１４０２は、着脱可能デバイス１００が有している解析処理を示す。入力データサイズ１４０３及び処理データ数１４０４は、各々の処理機能のデータの入力仕様に関する情報を示す。また、推定処理時間１４０５は、データ入力から処理結果出力までに掛かる時間を示し、処理結果データ数１４０６は処理結果のデータ数を示す。また、処理結果格納アドレス１４０７は、記憶部４０４のどこに処理結果が格納されるかを示す。演算処理部２０３は、図１４に示すような記憶部４０４のアドレスＡのデータを読み出すことにより、図１５に示すような処理機能テーブルを取得することができる。
また、着脱可能デバイス１００は、演算処理部２０３からアドレスＡに対するリードコマンドが発行されない場合には、自装置が装着された機器が画像解析処理機能を使用しない機器であると判断する。この場合、着脱可能デバイス１００は、転送されるデータに関しては記憶部４０４に対する記憶処理のみを実行するようにしうる。これにより、着脱可能デバイス１００は、画像解析処理機能を必要としない機器に対しては、メモリデバイスとしてのみ機能することが可能となる。ここでは、記憶部４０４の特定のアドレスＡに処理機能の情報を格納しておく方法を示したが、これに限定されない。例えば、着脱可能デバイス１００の初期設定時に使用されるコマンドに対するレスポンスにおける、レスポンス引数部１３１５に、処理機能の情報を付加するようにしてもよい。
なお、撮像装置１１０は、例えば、着脱可能デバイス１００の初期化設定終了後に、記憶部４０４のアドレスＡの読み出しを実行する。また、撮像装置１１０は、ソケットにおいてデバイスのディテクトがされなくなった場合に、読み込んだ情報を破棄する。撮像装置１１０は、情報の破棄の後にデバイスがソケットに挿入された場合、初期化設定終了後に再度アドレスＡの値を読み出す。これにより、撮像装置１１０は、異なる着脱可能デバイスが挿入された場合に、その着脱可能デバイスの保有機能の情報を読み出し、設定することができる。
（記憶処理と画像解析処理との切り替え制御）
続いて、着脱可能デバイス１００が、記憶処理と画像解析処理とを自動で切り替える方法について説明する。この処理は、着脱可能デバイス１００が、撮像装置１１０から受信した画像データをそのまま記憶するか、その画像データに画像解析処理を施すかの自動判定処理である。撮像装置１１０は、一例において、特殊なコマンドを送信することにより、着脱可能デバイス１００に送信する画像データの記憶と、その画像データに対する画像解析処理とのいずれを着脱可能デバイス１００に実行させるかを制御することができる。しかし、このような特殊なコマンドを規定するのは、着脱可能デバイス１００が準拠している規格との関係上、容易ではない。このため、本実施形態では、以下のような方法により、特殊なコマンドを定義することなく、着脱可能デバイス１００において実行される処理を切り替えることを可能とする。なお、以下の処理例では、ＳＤ規格に準拠した方法で撮像装置１１０と着脱可能デバイス１００との間の通信が行われるものとするが、これに限られない。すなわち、着脱可能デバイス１００が準拠する所定の規格に従うコマンド等を用いて、以下に説明する処理と同様の処理を実行可能である。
［転送データ量に基づく制御］
図１６は、着脱可能デバイス１００へ転送されるデータブロック数によって、記憶処理と画像解析処理とを自動で切り替える制御の流れの例を示している。
まず、撮像装置１１０の演算処理部２０３が着脱可能デバイス１００に対して、ＳＤ規格に準拠したライトコマンドを発行し、データを転送する（Ｓ１６０１）。そして、着脱可能デバイス１００のＦＰＧＡ４０２は、演算処理部２０３から書き込まれるデータのブロック数が、画像解析処理が実行される際のデータ量と一致するか否かを判定する（Ｓ１６０２）。ＦＰＧＡ４０２は、ブロック数指定コマンドのコマンド引数部１３０５に記述されているデータブロック数を確認することによって、データのブロック数を特定することができる。また、ＦＰＧＡ４０２は、ブロック数指定コマンドが発行されない場合には、データ転送停止コマンドが発行されるまでに転送されるブロック数をカウントしておくことによって、データのブロック数を特定してもよい。
演算処理部２０３から書き込まれるデータのブロック数が、画像解析処理が実行される際のデータ量と一致する場合（Ｓ１６０２でＹＥＳ）は、ＦＰＧＡ４０２は、転送されたデータに対して画像解析処理を実行する（Ｓ１６０３）。そして、ＦＰＧＡ４０２は、処理結果を取得し（Ｓ１６０４）、ＳＤコントローラ４０３に対してライトコマンドを発行して、解析処理の分類に応じた記憶部４０４の処理結果格納アドレス１４０７に、取得した処理結果を格納する（Ｓ１６０５）。一方、演算処理部２０３から書き込まれるデータのブロック数が、画像解析処理が実行される際のデータ量と一致しない場合（Ｓ１６０２でＮＯ）は、転送データがそのまま記憶部４０４に記憶される（Ｓ１６０６）。例えば、ＦＰＧＡ４０２は、ＳＤコントローラ４０３に対して演算処理部２０３が発行したライトコマンドと同様のコマンドを発行して、転送データをそのまま転送する。ＳＤコントローラ４０３は、ライトコマンドで指定された記憶部４０４のアドレスに、転送データを格納する。
着脱可能デバイス１００は、図１４に示すような情報を記憶部４０４の特定のアドレスＡに保持しており、例えば解析処理Ａが実行される際の入力データ数が２０ブロックであるべきことを認識している。このため、ＦＰＧＡ４０２は、演算処理部２０３から書き込まれるデータのブロック数が２０ブロックの場合には解析処理Ａを実行し、それ以外の場合は解析処理Ａを実行しない。なお、ＦＰＧＡ４０２は、例えば演算処理部２０３から書き込まれるデータのブロック数が４０ブロックの場合には解析処理Ｃを実行するなど、実行対象の解析処理を入力されるブロック数に応じて変更してもよい。
［書き込みアドレスに基づく制御］
図１７は、ライトコマンドのコマンド引数部１３０５で指定される書き込みアドレスに基づいて、記憶処理と画像解析処理とを切り替える制御の流れの例を示している。本処理においても、撮像装置１１０の演算処理部２０３は、ＳＤコントローラ４０３に対してライトコマンドを発行する（Ｓ１７０１）。ＦＰＧＡ４０２は、コマンド引数部１３０５で指定され、記憶部４０４における情報の格納先を示す書き込みアドレスが、図１４で示される処理結果格納アドレス１４０７と一致するか否かを判定する（Ｓ１７０２）。ＦＰＧＡ４０２は、コマンド引数部１３０５で指定される書き込みアドレスが処理結果格納アドレス１４０７と一致する場合（Ｓ１７０２でＹＥＳ）に、転送されるデータに対して、そのアドレスに対応する画像解析処理を実行する（Ｓ１７０３）。そして、ＦＰＧＡ４０２は、処理結果を取得し（Ｓ１７０４）、ＳＤコントローラ４０３に対してライトコマンドを発行し、記憶部４０４の処理結果格納アドレス１４０７に取得した処理結果を格納する（Ｓ１７０５）。一方、ＦＰＧＡ４０２は、コマンド引数部１３０５で指定される書き込みアドレスが処理結果格納アドレス１４０７と一致しない場合（Ｓ１７０２でＮＯ）は、転送データをそのまま記憶部４０４に記憶させる（Ｓ１７０６）。例えば、ＦＰＧＡ４０２は、ＳＤコントローラ４０３に対して演算処理部２０３が発行したライトコマンドと同様のコマンドを発行して、転送データをそのまま転送する。ＳＤコントローラ４０３は、ライトコマンドで指定された記憶部４０４のアドレスに、転送データを格納する。
着脱可能デバイス１００は、図１４に示すような情報を記憶部４０４の特定のアドレスＡに保持しており、例えば解析処理Ａが実行される際の解析結果格納アドレスが０ｘＦＦＦＦＦＦＦＦであるべきことを認識している。このため、ＦＰＧＡ４０２は、演算処理部２０３から取得したコマンドによって指定される書き込みアドレスが０ｘＦＦＦＦＦＦＦＦの場合には解析処理Ａを実行し、それ以外の場合は解析処理Ａを実行しない。なお、ＦＰＧＡ４０２は、例えば演算処理部２０３から取得したコマンドによって指定される書き込みアドレスが０ｘＥＥＥＥＥＥＥＥの場合には解析処理Ｃを実行するなど、実行対象の解析処理をコマンドで指定された書き込みアドレスに応じて変更してもよい。
このように、着脱可能デバイス１００は、演算処理部２０３から書き込まれるデータのブロック数や書き込み先アドレスに応じて、そのデータについて画像解析処理を行うか、そのまま格納するかを決定しうる。なお、着脱可能デバイス１００は、演算処理部２０３から書き込まれるデータのブロック数と書き込み先アドレスとの組み合わせに応じて、そのデータについて画像解析処理を行うか、そのまま格納するかを決定してもよい。例えば、データのブロック数と書き込み先アドレスとの両方が、処理データ数１４０４と処理結果格納アドレス１４０７と一致する場合に、画像解析処理を実行するようにしてもよい。また、データのブロック数と書き込み先アドレスとの少なくともいずれかが、全ての画像解析処理についての処理データ数１４０４や処理結果格納アドレス１４０７と一致しない場合に、記憶処理を実行しうる。
上述の処理により、画像解析処理を実行するか否かを示すための更なる手順を導入せずに、着脱可能デバイス１００は、画像解析処理を実行すべきデータに画像解析処理を施し、格納すべきデータについては画像解析処理を実行せずに記憶することができる。これにより、システムの複雑化を防ぎ、また、さらなる手順を実行する必要がないため、画像解析処理を迅速に開始することができるようになる。
なお、図１７の処理は、図１６の処理と組み合わせて実行されてもよい。すなわち、画像データのブロック数と、情報の格納先アドレスが、画像解析処理と関連付けられた値である場合に、その画像解析処理が実行されるようにしてもよい。
なお、画像解析処理を行う場合には処理結果だけでなく、解析処理の対象となった転送データも、記憶部４０４の、処理結果格納アドレス１４０７とは異なる領域に併せて保存するようにしてもよい。また、上述の制御において、着脱可能デバイス１００が複数の画像解析処理機能を有している場合、データの書き込みブロック数や、書き込みアドレスに応じて、実行する画像解析処理の種別を決定してもよい。例えば、データのブロック数や書き込み先アドレスが、複数の画像解析処理機能のうちのある画像解析処理についての処理データ数１４０４や処理結果格納アドレス１４０７と一致する場合に、その画像解析処理を実行するようにしうる。
［コマンドに基づく制御］
図１８は、コマンドによる記憶処理と画像解析処理とを切り替える制御の流れの例を示している。ＳＤ規格では、データの書き込み時のプロトコルとして、ブロック数指定コマンドを発行してからデータの書き込みを行う第１のプロトコルと、ブロック数指定コマンドを発行せずにデータの書き込みを行う第２のプロトコルがある。なお、第２のプロトコルでは、データの書き込みを終了する際に、データ転送停止コマンドが発行される。本処理例では、第１のプロトコルでデータが送信されたことに基づいて画像解析処理を実行するようにし、第２のプロトコルでデータが送信される場合には画像解析処理を実行せずに記憶部４０４に画像データを格納する記憶処理を実行するようにする。このため、着脱可能デバイス１００のＦＰＧＡ４０２は、画像データの送信のために、ブロック数指定コマンドが発行されたか否かによって、画像解析処理を実行するか否かを決定する。
本処理でも、まず、撮像装置１１０の演算処理部２０３が、着脱可能デバイス１００に対してライトコマンドを発行し、データを転送する（Ｓ１８０１）。ここで、着脱可能デバイス１００のＦＰＧＡ４０２は、ブロック数指定コマンドが発行されたか否かを判定する（Ｓ１８０２）。ＦＰＧＡ４０２は、ブロック数指定コマンドが発行されている場合（Ｓ１８０２でＹＥＳ）には、転送されたデータに対して画像解析処理を実行し（Ｓ１８０３）、処理結果を取得する（Ｓ１８０４）。ＦＰＧＡ４０２は、図１４で示される解析処理の分類に応じた所定の処理結果格納アドレスを指定してＳＤコントローラ４０３にライトコマンドを発行することにより、処理結果のデータを記憶部４０４に格納する（Ｓ１８０５）。ＦＰＧＡ４０２は、ブロック数指定コマンドが発行されてない場合（Ｓ１８０２でＮＯ）には、ＳＤコントローラ４０３に対して演算処理部２０３から発行されたコマンドと同様のライトコマンドを発行する。そして、ＦＰＧＡ４０２は、転送されたデータをそのままＳＤコントローラ４０３に送信する。そして、ＳＤコントローラ４０３は、ＦＰＧＡ４０２からのライトコマンドで指定された記憶部４０４のアドレスにデータを格納する（Ｓ１８０６）。
なお、ブロック数指定コマンドは、他の所定のコマンドであってもよい。すなわち、画像解析処理を実行するトリガとなる所定のコマンドが事前に設定され、ＦＰＧＡ４０２は、その所定のコマンドを受信したことに少なくとも基づいて、入力される画像データに対して画像解析処理を実行する。また、使用されるプロトコルを特定可能な他の情報が用いられてもよい。なお、ＦＰＧＡ４０２は、例えば、所定のコマンドを受信した場合に、図１６や図１７の処理を実行して、入力される画像データに対して画像解析処理を実行するか否かを決定してもよい。
このように、ブロック数指定コマンドなどのコマンドによって画像解析処理を実行すべきことが示されることで、撮像装置１１０が、ＳＤ規格に準拠したプロトコルの範囲で、着脱可能デバイス１００が実行すべき処理を指示することができる。
上述の処理の少なくとも一部は、画像データの送信のためのＳＤ規格に準拠したコマンドが、ＦＰＧＡ４０２によって実行可能な画像解析処理に関連付けられた値を含んでいるか否かによって、その画像解析処理を実行するか否かを決定する処理であると言える。すなわち、図１６の処理は、コマンドナンバー部１３０４に「２３」が格納され、かつ、コマンド引数部１３０５に所定のブロック数を示す値が格納されている場合に、画像解析処理が実行される。また、図１７の処理は、コマンド引数部１３０５に処理結果格納アドレスを示す値が格納されている場合に、画像解析処理が実行される。また、図１８の処理は、コマンドナンバー部１３０４に「２３」が格納されている場合に、画像解析処理が実行される。このように、画像データが送信される際のコマンドの内容を画像解析処理に関連付けられた所定の値に設定することにより、ＳＤ規格に準拠したコマンドを用いて、ＦＰＧＡ４０２に画像解析処理と記憶処理のいずれを実行させるかを柔軟に制御することができる。
（処理結果の読み出し）
続いて、撮像装置１１０による、着脱可能デバイス１００に記憶された画像解析処理の処理結果の読み出し方法について説明する。演算処理部２０３は、着脱可能デバイス１００に対して、図１４で示される処理結果格納アドレス１４０７を指定し、解析処理ごとの処理結果データ数１４０６の分だけ読み出すようにリードコマンドを発行する。ＳＤコントローラ４０３は、ＦＰＧＡ４０２を介してリードコマンドを受信し、指定された記憶部４０４のアドレスに格納されている処理結果のデータを撮像装置１１０の演算処理部２０３に対して出力する。これにより、撮像装置１１０は、画像解析処理による処理結果を取得することができる。
（情報のユーザへの提示及びユーザ選択の受け付け）
撮影画像と統合処理リスト及び後処理リストのユーザへの提示及びユーザ選択の受け付け方法の例について説明する。図１９は、表示部７０３を介した撮影画像と統合処理リスト及び後処理リストの画面表示の例を示している。この表示画面により、例えば、ユーザインタフェース１９０１が表示される。ユーザインタフェース１９０１は、例えば、撮影画像表示領域１９０２、統合処理リスト表示領域１９０３、及び、後処理リスト表示領域１９０４を含む。ユーザは、これらの領域を確認することにより、撮影画像と統合処理リスト及び後処理リストを把握することができる。
なお、表示されるリストは、統合処理リストのみに限定されない。例えば、撮像装置１１０は、ある着脱可能デバイス１００についての第２処理リストを記憶部３０３に記憶しておき、その着脱可能デバイス１００が装着されていない場合であっても、記憶部３０３に記憶している第２処理リストを入出力装置１３０に送信しうる。すなわち、撮像装置１１０は、過去に装着された着脱可能デバイス１００についての第２処理リストを出力するようにしてもよい。この場合、入出力装置１３０は、第２処理リストに含まれており、かつ、統合処理リストには含まれない解析処理を、着脱可能デバイス１００が装着されることで可能になる解析処理として、グレーアウトして表示しうる。これにより、グレーアウトされた処理を実行可能とするために、ユーザに対して、着脱可能デバイス１００を撮像装置１１０に装着することを促すことができる。また、例えば撮像装置１１０と着脱可能デバイス１００とが同一の処理機能を有する場合には、これらを統合して１つの処理として表示しうる。この場合、撮像装置１１０は、撮像装置１１０と着脱可能デバイス１００とのいずれでその処理を実行するかを決定しうる。この決定方法については後述する。
なお、入出力装置１３０は、ユーザに表示する解析処理と後処理とがそれぞれ撮像装置１１０と着脱可能デバイス１００とのいずれで処理されるのかを、ユーザが識別可能なように表示してもよい。例えば、撮像装置１１０は、統合処理リストを作成するときに、統合処理リストに含まれる各解析処理が第１処理リストと第２処理リストのいずれに含まれているかを示す情報を、統合処理リストに含める。入出力装置１３０は、統合処理リストに含まれる各解析処理が第１処理リストと第２処理リストのいずれに含まれているかを示す情報に応じて、各解析処理の文字色を変えて表示する。これにより、ユーザは、各処理が着脱可能デバイス１００を抜去しても実行可能な処理であるか否かを確認することができる。なお、撮像装置１１０と着脱可能デバイス１００とが同一の処理を実行可能であり、これらを１つにまとめて表示している場合は、撮像装置１１０に対応する文字色でこの処理を表示しうる。着脱可能デバイス１００が抜去されても実行可能な処理だからである。ただし、これに限られず、撮像装置１１０と着脱可能デバイス１００とのいずれでも実行可能な処理であることを示す文字色で処理が表示されてもよい。
また、撮像装置１１０と着脱可能デバイス１００とが協働することにより実行可能となる処理が統合処理リストに含まれる場合、その処理については協働が求められることを示す情報が統合処理リストに含まれてもよい。この場合、撮像装置１１０と着脱可能デバイス１００とが協働することにより実現される処理については、さらなる別の文字色で表示されてもよい。例えば、顔認証処理は、顔検出処理機能と、顔特徴抽出処理機能と、顔特徴照合処理機能の機能群によって実現されうるが、撮像装置１１０が顔検出処理機能と顔特徴抽出処理機能とを有し、着脱可能デバイス１００が顔特徴照合処理機能を有するものとする。この場合、ユーザインタフェース１９０１において、例えば、顔検出処理と顔特徴抽出処理とが青文字で表示され、顔特徴照合処理が赤文字で表示され、顔認証処理が緑文字で表示される。
なお、文字色の変更は、各機能が、撮像装置１１０と着脱可能デバイス１００とのいずれで実行されるか又はこれらが協働することによって実行されるかを区別して表示するための一態様に過ぎず、他の態様でこのような区別的表示が行われてもよい。例えば、各処理の背景色の変更などによって、その処理の実行主体が明示されてもよい。また、実行主体の違いが文字列によって示されてもよい。例えば、撮像装置１１０によって実行される処理を示す文字列の後に撮像装置１１０を表す文字列が付加され、着脱可能デバイス１００によって実行される処理を示す文字列の後に着脱可能デバイス１００を表す文字列が付加されうる。また、撮像装置１１０と着脱可能デバイス１００とが協働することによって実現される処理を示す文字列には、撮像装置１１０と着脱可能デバイス１００との協働を示す文字列が付加されうる。このように、撮像装置１１０は、第１処理リストに含まれる処理と第２処理リストに含まれる処理とを区別可能に示す情報を入出力装置１３０へ提供すことにより、入出力装置１３０の表示部７０３に、各処理の実行主体を区別可能に表示させることができる。また、撮像装置１１０に表示部が備えられている場合も、第１処理リストに含まれる処理と第２処理リストに含まれる処理とを区別可能に示す情報を用意することにより、各処理の実行主体を区別可能に表示することができる。すなわち、撮像装置１１０は、第１処理リストに含まれる処理と第２処理リストに含まれる処理とを区別可能に示す情報を出力することにより、任意の表示装置に、各処理の実行主体を区別可能に表示させることができる。
ユーザは、ユーザインタフェース１９０１において、統合処理リスト表示領域１９０３に表示されている統合処理リストから、操作部７０４を介して実行対象処理を選択しうる。また、ユーザは、後処理リスト表示領域１９０４に表示されている処理リストから、操作部７０４を介して実行対象の後処理を選択しうる。例えば、図１９には、ユーザが、実行対象の解析処理として「顔検出」処理を選択し、実行対象の後処理として「表示」及び「保存」を選択した場合の例を示している。なお、本実施形態では、実行対象の処理が１つのみ選択される例を示しているが、これに限られない。ユーザが複数の実行対象の処理を選択可能なように構成されてもよい。例えば、「顔検出」に加え、「人体検出」と「車両検出」との少なくともいずれかが選択されてもよい。また、１つの処理が選択された場合に、他の処理が選択されないようにしてもよい。一例として、図１９の統合処理リスト表示領域１９０３において、「顔検出」が選択された状態で、「人体検出」が選択されると、「顔検出」の選択が解除されるようにしてもよい。また、図１９では、２つの後処理の両方が選択されている場合の例を示しているが、これらの一方のみを選択可能とするようにしてもよい。
ユーザが実行対象の処理及び後処理を選択したことに基づいて、図１０のＳ１００７において、その選択結果が撮像装置１１０へ通知される。また、入出力装置１３０の制御部７０２は、所定期間ごとにユーザ選択の状態を確認して、どの処理が実行対象として選択されているかに応じて、実行対象の処理を撮像装置１１０へ通知してもよい。すなわち、Ｓ１００５～Ｓ１００７の処理が定期的に実行されるようにしてもよいし、Ｓ１００５及びＳ１００６の選択が常時監視され、その選択状態が変化した場合にＳ１００７の処理が実行されるようにしてもよい。
図２０に、実行対象処理として「顔検出」が選択され、実行対象後処理として「表示」が選択されている場合の、Ｓ１２０３における情報の表示方法の一例を示す。本例では、図１９のユーザインタフェース１９０１の画面に、顔検出処理によって検出された人数２００１が、解析処理の結果として表示される。なお、図２０は一例に過ぎず、ユーザインタフェース１９０１とは別個に処理の結果が表示されてもよいし、ユーザインタフェース１９０１の中の別の領域に処理の結果が表示されてもよい。
また、ユーザが選択した実行対象の処理及び後処理のそれぞれに対して、さらに優先度が設定されてもよい。例えば、撮像装置１１０の制御部３０４は、実行対象処理が複数で優先度が設定されている場合、実行対象の各処理について、設定されている優先度の順に図１１の処理（例えばＳ１１０３～Ｓ１１０７の処理）を実行する。なお、優先度に基づいて、撮像装置１１０側の計算リソースやネットワークリソースが割り振られてもよい。例えば、優先度の高い処理が、映像に対して第１の所定数フレームごとに実行され、優先度の低い処理が、その映像に対して、第１の所定数フレームより多い第２の所定数フレームごとに実行されてもよい。すなわち、処理が実行される頻度が優先度によって定められてもよい。また、優先度の高い処理の結果が入出力装置１３０へ送信される頻度が、優先度の低い処理の結果が入出力装置１３０へ送信される頻度より高くなるようにされてもよい。
（撮像装置と着脱可能デバイスの処理分担を決定する処理）
複数の処理を組み合わせることによって所定の処理が実行可能となることがある。例えば、顔認証処理は、顔検出処理と顔特徴抽出処理と顔特徴照合処理の３つの処理が組み合わせられることにより実行可能となる。ここで、撮像装置１１０と着脱可能デバイス１００とが、これらの３つの処理のうちの少なくともいずれかを実行可能である場合、これらの装置間で処理を分担して実行することができる。また、撮像装置１１０と着脱可能デバイス１００は、例えば上述の３つの処理のうちの少なくともいずれかについて、処理の対象となるデータが取得された条件（例えば撮影条件）や、解析の対象等の、それぞれの条件に適した異なる処理機能が用意されうる。例えば、昼間に撮影された画像のための処理と、夜間に撮影された画像のための処理とのそれぞれのために、別個の処理機能が用意されてもよい。例えば、図２１に示すように、撮像装置１１０及び着脱可能デバイス１００は、顔検出処理機能、顔特徴抽出処理機能、及び顔特徴照合処理機能を有し、顔認証処理を実行可能に構成されうる。なお、撮像装置１１０と着脱可能デバイス１００とがそれぞれ有する機能は、同様の機能であっても、使用するのに適した条件等が異なりうる。また、図２１の着脱可能デバイス１００が２つの顔特徴抽出処理機能を有するように、撮像装置１１０と着脱可能デバイス１００は、同様の処理を実行可能な複数の処理機能を有してもよい。これにより、撮像装置１１０と着脱可能デバイス１００との間で適切に処理を分担することにより、様々な条件等に適した処理を実行することが可能となる。
なお、同じ処理を行う場合であっても、撮像装置１１０と着脱可能デバイス１００では、構成が異なるため、それぞれにメリットとデメリットとが生じる。例えば、演算精度に関して、撮像装置１１０の演算処理部２０３の方がデータに対するビット幅が多いため有利であり、演算速度に関しては、ＦＰＧＡ４０２上の論理回路で演算するため有利でありうる。また、同じ処理を実行可能な複数の処理機能が存在する際に、撮像装置１１０による撮影の環境に基づいて、適切な処理機能が選択されることが有利である。このような事情に鑑み、着脱可能デバイス１００が処理機能を有する場合に、その処理機能を実際に使用するか否かを適切に決定し、使用されるべき処理機能を適切に選択することが重要となる。このため、以下では、着脱可能デバイス１００に処理を実行させるか、撮像装置１１０に処理を実行させるか、撮像装置１１０と着脱可能デバイス１００とを協働させて処理を実行させるかを自動的に選択するための手法について説明する。また、例えば撮像装置１１０又は着脱可能デバイス１００が、同一の処理を実行可能な複数の処理機能を有する場合に、その複数の処理機能のうちのいずれを使用するか等、使用されるべき処理機能を自動的に選択する手法についても説明する。なお、以下では３つの処理例について個別に説明するが、これらは組み合わせて用いられてもよい。
［第１の処理例］
図２２を用いて、使用されるべき処理機能を選択する第１の処理例について説明する。本例では、画像解析処理を行う上で必要となる性能を満たすように、撮像装置１１０と着脱可能デバイス１００とが有する処理機能の中から使用される処理機能が選択される。例えば、ある一定以上のフレームレートでの処理が行われる必要がある等の条件があり、かつ、同じ処理を撮像装置１１０と着脱可能デバイス１００とが共に実行可能である場合に、本処理が実行されうる。
本処理では、まず、ユーザが、入出力装置１３０において、例えば図１９のユーザインタフェース１９０１を介して、実行対象処理を選択する（Ｓ２２０１）。入出力装置１３０の制御部７０２は、ユーザ選択に基づいて、実行対象処理の実行指示コマンドを撮像装置１１０へ送信し、撮像装置１１０の制御部３０４は、選択された処理を示す実行指示コマンドを入出力装置１３０から取得する。なお、撮像装置１１０が、実行可能な処理を提示する情報提示機能と、ユーザに選択を行わせる操作受付機能とを有する場合に、ユーザは、撮像装置１１０を直接操作して、実行対象処理を撮像装置１１０の制御部３０４に指示してもよい。
撮像装置１１０の制御部３０４は、選択された処理を実行する際に必要となる処理性能を確認する（Ｓ２２０２）。処理性能の設定については、処理ごとに設定値が事前に定められていてもよいし、処理を選択する際にユーザによって目標値が設定されてもよい。そして、制御部３０４は、Ｓ２２０１において選択された処理を撮像装置１１０内において実行する（Ｓ２２０３）。なお、この処理は、撮影と並行して実行されうる。また、選択された処理を実行する際に使用される処理機能のうち、着脱可能デバイス１００にしか存在しない機能については、着脱可能デバイス１００に実行させ、撮像装置１１０内では実行しない。
制御部３０４は、処理を実行中又は一定量のデータについての処理の完了後に、実行した処理が、Ｓ２２０２で設定された処理性能を満たしているかを確認する（Ｓ２２０４）。制御部３０４は、処理性能を満たしていることを確認した場合（Ｓ２２０４でＹＥＳ）は、そのまま処理を継続するため、処理をＳ２２０３へ戻す。一方、制御部３０４は、処理性能を満たしていないことが確認された場合（Ｓ２２０４でＮＯ）は、処理性能を満足可能な処理分担への変更を試行するために、処理をＳ２２０５へ移す。
Ｓ２２０５では、撮像装置１１０で行われていた処理の一部であって、着脱可能デバイス１００においても実行可能な処理について、実行主体を着脱可能デバイス１００へ変更する。撮像装置１１０の制御部３０４は、着脱可能デバイス１００で実行可能な処理を把握しているため、その処理のリスト（第２処理リスト）内から、着脱可能デバイス１００に移管する処理を選択して、処理の実行主体を変更する。この変更が完了すると、変更後の分担で、制御部３０４及び解析部５０１が、Ｓ２２０１において選択された処理を分担して実行する（Ｓ２２０６）。その後、制御部３０４が、着脱可能デバイス１００から処理機能を撮像装置１１０に戻すべきか否かを確認する（Ｓ２２０７）。撮像装置１１０に処理を戻すことにより、高い演算精度で処理を実行することができるようになる。
制御部３０４は、例えば、Ｓ２２０４で処理性能を満たせないと判定された理由が一時的な高負荷状態であった場合等であって、そのような状態が解消した場合に、撮像装置１１０に処理を戻すと判定しうる。すなわち、制御部３０４は、撮像装置１１０の処理負荷に応じて、処理を撮像装置１１０と着脱可能デバイス１００とのいずれが実行するかを決定しうる。なお、上述のように、撮像装置１１０の処理負荷が高い状態において着脱可能デバイス１００に処理を実行させるようにするのみならず、着脱可能デバイス１００の処理負荷が高い状態において撮像装置１１０に処理を実行させるようにしてもよい。すなわち、着脱可能デバイス１００処理負荷に基づいて、処理を撮像装置１１０と着脱可能デバイス１００とのいずれが実行するかを決定してもよい。
また、制御部３０４は、ユーザによって処理性能の目標値が下げられた場合等において、撮像装置１１０に処理を戻すと判定しうる。制御部３０４は、処理を撮像装置１１０に戻すと判定した場合（Ｓ２２０７でＹＥＳ）は、着脱可能デバイス１００で行われていた処理の一部について、実行主体を撮像装置１１０へ変更する（Ｓ２２０８）。なお、Ｓ２２０８で実行主体が撮像装置１１０に戻される処理は、Ｓ２２０５で実行主体が着脱可能デバイス１００に変更された処理の一部であってもよいし全部であってもよい。処理の少なくとも一部の実行主体が撮像装置１１０に戻された後は、制御部３０４は、処理をＳ２２０３へ移す。一方、制御部３０４は、処理を撮像装置１１０に戻さないと判定した場合（Ｓ２２０７でＮＯ）は、処理をＳ２２０６に戻し、処理分担を変更せずに処理を継続する。
なお、着脱可能デバイス１００が同一の処理を実行可能な複数の処理機能を有する場合は、処理の一部の実行主体が着脱可能デバイス１００へ移された後に処理性能を充足することができないときに、同じ機能を実行する別の処理機能に切り替えてもよい。すなわち、Ｓ２２０７で、処理の実行主体を切り替えるのではなく、実行主体を着脱可能デバイス１００のままとしながら、使用する処理機能を変更してもよい。
また、処理の一部の実行主体が着脱可能デバイス１００へ移された後であっても、Ｓ２２０２で確認した処理性能を満たせない場合には、制御部３０４は、その処理の実行主体を撮像装置１１０に戻してもよい。このときに、制御部３０４は、Ｓ２２０２で確認された処理性能を示す情報を、現在装着されている着脱可能デバイス１００では満たすことができない処理性能の情報として記憶しうる。そして、制御部３０４は、同様の処理性能又はそれよりも厳しい処理性能が要求される場合には、処理を着脱可能デバイス１００に実行させないようにしてもよい。同様に、例えば撮像装置１１０の処理負荷が十分小さい状況等でも、Ｓ２２０２で確認された処理性能を満たすことができない場合は、その処理性能の情報を記憶しておいてもよい。この場合、制御部３０４は、その後の処理において、Ｓ２２０２で、記憶されている処理性能やそれより厳しい処理性能が確認された場合に、Ｓ２２０３の処理を実行することなく、処理の一部の実行主体を着脱可能デバイス１００に映してもよい。
第１の処理例によれば、要求される処理性能を満たすことができるように、撮像装置１１０と着脱可能デバイス１００とが有する処理機能が選択され、これらの装置間で処理を分担して実行する。これにより、例えば撮像装置１１０の状態等に応じて適切な処理分担がなされるようになり、処理性能を良好に保つことが可能となる。
［第２の処理例］
続いて、図２３を用いて、使用されるべき処理機能を選択する第２の処理例について説明する。本処理では、着脱可能デバイス１００において同じ処理を実行可能な複数の処理機能を有している場合に、使用すべき処理機能を選択する際に実行される。なお、本処理は、例えば第１の処理例において、着脱可能デバイス１００に一部の処理を実行させると決定された場合等に実行されうる。すなわち、着脱可能デバイス１００が処理を実行する際に、着脱可能デバイス１００がその処理を実行可能な１つ以上の処理機能のいずれを使用するかを決定する際に使用されうる。ただし、これは一例に過ぎず、本処理例により、撮像装置１１０と着脱可能デバイス１００との処理分担が決定されてもよい。例えば、撮像装置１１０と着脱可能デバイス１００とが実行可能な処理を統合した統合処理リストにおいて、同一の処理を実行可能な複数の処理機能が存在する場合に、いずれの処理機能を使用するかを決定する際に本処理例が使用されてもよい。すなわち、撮像装置１１０と着脱可能デバイス１００とが同一の処理を実行可能な処理機能をそれぞれ１つ以上有する場合に、いずれの装置において、どの処理機能を用いて処理を実行すべきかを決定する際にも、本処理が利用されうる。
本処理では、まず、図２２のＳ２２０１と同様に、ユーザが、入出力装置１３０において実行対象処理を選択し、撮像装置１１０の制御部３０４は、選択された処理を示す情報を入出力装置１３０から取得する（Ｓ２３０１）。そして、制御部３０４は、着脱可能デバイス１００が実行可能な処理のリスト（第２処理リスト）を確認し、実行対象の処理について同じ処理を実行可能な処理機能が複数あるかを確認する（Ｓ２３０２）。制御部３０４は、実行対象の処理を実行可能な処理機能が１つしかないと判定した場合（Ｓ２３０２でＮＯ）、その処理機能を使用して処理を実行する（Ｓ２３０３）。一方、制御部３０４は、実行対象の処理を実行可能な処理機能が複数存在すると判定した場合（Ｓ２３０２でＹＥＳ）、その複数の処理機能のいずれかを用いて処理を実行するために、処理をＳ２３０４へ進める。
Ｓ２３０４では、制御部３０４は、Ｓ２３０２の判定対象となった同一の処理を実行可能な複数の処理機能のそれぞれの特徴を確認する。ここでは、例えば顔特徴抽出について、第１の処理機能は日中の相対的に輝度が高い画像を処理するのに適しているという特徴を有し、第２の処理機能は夜間の相対的に輝度が低い画像を処理するのに適しているという特徴を有する、などの特徴が確認される。制御部３０４は、各処理機能の特徴の違いを確認した後に、現在どのような環境で撮像装置１１０が撮影を行っているかを確認する（Ｓ２３０５）。そして、制御部３０４は、Ｓ２３０４で取得した処理機能ごとの特徴と、Ｓ２３０５で取得した撮影環境の情報とに基づいて、実際の解析処理において用いる処理機能を選択し（Ｓ２３０６）、選択した処理機能を用いて解析処理を実行する（Ｓ２３０７）。
ここで、撮影環境の確認は、例えば、撮像装置１１０の内部時計や、撮像装置１１０によって撮影された画像の輝度値の分布に基づいて行われうる。例えば、内部時計が夜間の時間帯であることを示す場合は、相対的に輝度値が低い画像を処理するのに適した処理機能が選択される。また、撮影された画像の輝度値が低い方に偏って存在する場合は、相対的に輝度値が低い画像を処理するのに適した処理機能が選択される。また、処理機能ごとに輝度値に対する検出精度の評価値の分布を用意しておき、例えば撮影された画像の各輝度値の度数とその輝度値に対する検出精度を示す値を乗じて加算した値の和が最も良好な処理機能が選択されるようにしてもよい。また、撮影環境の確認は、例えば、撮像装置１１０の撮影時の画角（パン・チルト・ズーム）の情報に基づいて行われてもよい。例えば、室内の暗い領域を撮影しているのか、窓際の明るい領域を撮影しているのかに応じて、いずれの処理機能が使用されるかが選択される。なお、処理機能の特徴は、輝度値以外の指標によって規定されてもよい。例えば、窓等の所定のオブジェクトが含まれる画像における顔抽出精度が高い、高速移動している物体の検出精度が高い等、様々な特徴が、使用される処理機能の選択の基準として使用されうる。また、例えば、各処理機能は、処理が高速であるが低精度であるという特徴や、処理が相対的に低速であるが高精度であるという特徴等を有してもよく、処理条件に応じて適した処理機能が選択されるようにしてもよい。
制御部３０４は、処理中に、撮影環境が変化したか否かを確認する（Ｓ２３０８）。そして、制御部３０４は、撮影環境が変化した場合（Ｓ２３０８でＹＥＳ）、その変化後の環境に適した処理機能を選択する処理を再度実行し（Ｓ２３０６）、その選択された処理機能での解析処理を実行する（Ｓ２３０７）。一方、制御部３０４は、撮影環境が変化していない場合（Ｓ２３０８でＮＯ）、処理機能を変更せずに解析処理を継続する（Ｓ２３０７）。
この処理によれば、同一の処理を実行可能な複数の処理機能の中から、環境に適した処理機能を選択して使用することが可能となる。これにより、処理の精度等の観点で、環境ごとに適切な処理機能を選択的に使用することが可能となる。
［第３の処理例］
続いて、図２４を用いて、撮像装置１１０と着脱可能デバイス１００との間での処理の分担を決定する第３の処理例について説明する。本処理では、着脱可能デバイス１００が有する処理機能の組み合わせのみで処理を完遂できるか否かに応じて、処理の分担を決定する。
本処理では、まず、図２２のＳ２２０１や図２３のＳ２３０１と同様に、ユーザが、入出力装置１３０において実行対象処理を選択し、撮像装置１１０の制御部３０４は、選択された処理を示す情報を入出力装置１３０から取得する（Ｓ２４０１）。そして、制御部３０４は、選択された処理を、着脱可能デバイス１００のみで実現可能か否か（完遂できるか否か）を判定する（Ｓ２４０２）。なお、制御部３０４は、例えば、選択された処理の全機能を着脱可能デバイス１００が有する処理機能の組み合わせによって満たすことができるか否かや、着脱可能デバイス１００に処理結果を保存してよいか否か等に基づいて、Ｓ２４０２の判定を行いうる。例えば、制御部３０４は、着脱可能デバイス１００が有する処理機能の組み合わせで選択された処理の全機能を満たすことができ、かつ、処理結果を着脱可能デバイス１００に保存してよい場合に、着脱可能デバイス１００のみで処理を完遂可能であると判定する。
制御部３０４は、選択された処理を着脱可能デバイス１００のみでは完遂できないと判定した場合（Ｓ２４０２でＮＯ）、撮像装置１１０と着脱可能デバイス１００とで処理の分担を行う（Ｓ２４０３）。この場合は、第１の処理例及び第２の処理例での分担の決定が行われうる。なお、この場合、処理の全てを撮像装置１１０が実行するように、すなわち、着脱可能デバイス１００の処理機能を使用しないようにしてもよい。一方、制御部３０４は、選択された処理を着脱可能デバイス１００のみで完遂できると判定した場合（Ｓ２４０２でＹＥＳ）、着脱可能デバイス１００が有している処理機能のうち、いずれの処理機能を使用するかを選択する（Ｓ２４０４）。なお、着脱可能デバイス１００が同一の処理を実行可能な処理機能を複数有する場合は、第２の処理例のようにして、いずれの処理機能を使用するかが選択される。その後、制御部３０４は、着脱可能デバイス１００に選択された処理機能を用いて画像解析処理を実行させるための処理を実行する（Ｓ２４０５）。また、制御部３０４は、Ｓ２４０５における画像解析処理を行った結果を着脱可能デバイス１００内に保存させるための処理を実行する（Ｓ２４０６）。これらの処理は、例えばＳＤ規格のコマンドを用いて実行される。なお、Ｓ２４０６では、記憶部４０４に結果が保存されてもよいし、ＦＰＧＡ４０２内にＲＡＭが備えられている場合は、そのＲＡＭに結果が保存されてもよい。
本処理例では、着脱可能デバイス１００内で処理を完遂することができる場合に、処理を着脱可能デバイス１００に実行させる。これにより、撮像装置１１０が実行する処理を、着脱可能デバイス１００への画像の送信のみとすることができ、処理負荷を大幅に低減することができる。
以上のようにして、着脱可能デバイス１００を用いて、撮像装置１１０側で実行可能な機能を増やすことにより、システム内での処理機能を増強することができる。例えば、最新の処理機能を着脱可能デバイス１００に実装することにより、撮像装置１１０を置き換えることなく、撮像装置１１０側でその最新の処理機能による画像解析処理を実行することが可能となる。これにより、システムの柔軟な運用が可能となり、利便性を向上させることができる。
また、上述の実施形態において、解析処理として画像解析処理を例に挙げて説明したが、本発明は音声解析処理にも適用可能である。例えば、悲鳴や、銃声、ガラス破壊音のような音声パターンを検知する処理に適応可能である。例えば、スペクトル解析等の種々の音声データの分析手法で音声の特徴量が抽出され、それを検出した音声パターンと比較される。そして、その一致度合いが算出されることで、特定の音声パターンを検出することができる。
また、音声解析処理を行う場合は、音声データを所定の時間分の音声データに分割し、その所定の時間分の音声データを単位として音声解析処理を行う。また、この所定の時間は、検出対象の音声パターンに応じて、適宜、異なる。そのため、着脱可能デバイス１００に、検知したい音声パターンに対応する時間分ごとの音声データが入力される。そして、着脱可能デバイス１００は、その入力された音声データを解析する機能や、入力された音声データを保持する機能を有する。
また、上述の実施形態において、撮像装置１１０から入力されたデータを非一時的に格納可能な着脱可能デバイス１００を例として説明した。しかし、一部の実施形態においては、撮像装置１１０から入力されたデータを非一時的に格納することができない着脱可能デバイス１００であってもよい。つまり、着脱可能デバイス１００は撮像装置１１０から入力されたデータに対して解析処理を行うのみで、そのデータを非一時的に記憶しなくてもよい。言い換えると、通常のＳＤカードのようにデータを保管する目的ではなく、解析処理のみを目的とした着脱可能デバイス１００とすることも可能である。
＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
１００ａ～１００ｄ：着脱可能デバイス、１１０ａ～１１０ｄ：撮像装置、１２０：ネットワーク、１３０：入出力装置、２０１：撮像部、２０２：画像処理部、２０３：演算処理部、２０４：配信部、２０５：ＳＤ Ｉ／Ｆ部、３０１：撮像制御部、３０２：信号処理部、３０３：記憶部、３０４：制御部、３０５：解析部、３０６：デバイス通信部、３０７：ネットワーク通信部、４０１：Ｉ／Ｆ部、４０２：ＦＰＧＡ、４０３：ＳＤコントローラ、４０４：記憶部、５０１：解析部、５０２：通信部、６０１：プロセッサ、６０２：ＲＡＭ、６０３：ＲＯＭ、６０４：ＨＤＤ、６０５：通信Ｉ／Ｆ、７０１：ネットワーク通信部、７０２：制御部、７０３：表示部、７０４：操作部

Claims (18)

  1. 撮影された画像に対する画像解析処理を実行する第１の処理手段を有するデバイスを着脱可能な装着機構を有する撮像装置であって、
    画像解析処理の実行指示を取得する取得手段と、
    前記装着機構に装着されたデバイスが前記第１の処理手段を有する場合に、前記撮像装置によって実行可能な画像解析処理を示す第１のリストと、前記装着機構に装着されたデバイスの前記第１の処理手段によって実行可能な画像解析処理を示す第２のリストとに基づいて、前記実行指示に基づく画像解析処理を、当該第１の処理手段に実行させるか否かを決定する決定手段と、
    を有することを特徴とする撮像装置。
  2. 前記撮像装置で撮像された画像に対して画像解析処理を実行する第２の処理手段をさらに有する、ことを特徴とする請求項１に記載の撮像装置。
  3. 前記決定手段は、前記実行指示に基づく画像解析処理を、前記第１の処理手段に実行させるか、又は、前記第２の処理手段に実行させるかを決定する、ことを特徴とする請求項２に記載の撮像装置。
  4. 前記決定手段は、前記実行指示に基づく画像解析処理を、前記第１の処理手段と前記第２の処理手段とを協働させて実行させるか否かを決定する、ことを特徴とする請求項２又は３に記載の撮像装置。
  5. 前記決定手段は、前記実行指示に基づく画像解析処理を前記第１の処理手段によって完遂することができる場合に、前記第１の処理手段を使用すると決定する、ことを特徴とする請求項２から４のいずれか１項に記載の撮像装置。
  6. 前記決定手段は、前記実行指示に基づく画像解析処理を前記第１の処理手段によって完遂することができない場合に、前記第１の処理手段と前記第２の処理手段とで処理を分担すること、又は、前記第２の処理手段が処理を実行することを決定する、ことを特徴とする請求項２から５のいずれか１項に記載の撮像装置。
  7. 前記決定手段は、設定された処理性能を前記第２の処理手段による画像解析処理によって満たすことができない場合に、前記第１の処理手段に当該画像解析処理を実行させると
    決定する、ことを特徴とする請求項２から６のいずれか１項に記載の撮像装置。
  8. 前記処理性能は、実行される画像解析処理に応じて事前に設定される、ことを特徴とする請求項７に記載の撮像装置。
  9. 前記処理性能は、ユーザによって、実行される画像解析処理に対して設定される、ことを特徴とする請求項７に記載の撮像装置。
  10. 前記決定手段は、前記装着機構に装着されたデバイスが、同じ画像解析処理を実行する複数の処理機能を有する場合、当該複数の処理機能のうちのいずれを使用するかを決定する、ことを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
  11. 前記決定手段は、前記撮像装置の処理負荷に基づいて前記決定を行う、ことを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
  12. 前記決定手段は、前記撮像装置による撮影の環境に基づいて、前記決定を行う、ことを特徴とする請求項１から１１のいずれか１項に記載の撮像装置。
  13. 前記第１の処理手段は、処理内容を書き換え可能なデバイスを含み、
    前記決定手段は、前記第１の処理手段を使用すると決定した場合に、前記実行指示に応じた画像解析処理を実行するための設定データを用いて前記第１の処理手段を設定する、ことを特徴とする請求項１から１２のいずれか１項に記載の撮像装置。
  14. 前記デバイスは、前記設定データと画像解析処理の結果の情報を記憶する記憶手段を含み、
    前記撮像装置は、前記記憶手段から前記結果の情報を読み出して取得する、ことを特徴とする請求項１３に記載の撮像装置。
  15. 前記装着機構はＳＤカードスロットを含み、
    前記デバイスはＳＤカードの態様のデバイスである、ことを特徴とする請求項１から１４のいずれか１項に記載の撮像装置。
  16. 前記決定手段は、前記装着機構に装着されたデバイスの所定の記憶領域から前記第２のリストが取得された場合に、前記装着機構に装着されたデバイスが前記第１の処理手段を有すると判断し、前記装着機構に装着されたデバイスの所定の記憶領域から前記第２のリストが取得されなかった場合に、前記第１のリストに基づいて前記撮像装置によって実行可能かを判定する、ことをと特徴とする請求項１から１５のいずれか１項に記載の撮像装置。
  17. 撮影された画像に対する画像解析処理を実行する第１の処理手段を有するデバイスを着脱可能な装着機構を有する撮像装置によって実行される制御方法であって、
    画像解析処理の実行指示を取得する取得工程と、
    前記装着機構に装着されたデバイスが前記第１の処理手段を有する場合に、前記撮像装置によって実行可能な画像解析処理を示す第１のリストと、前記装着機構に装着されたデバイスの前記第１の処理手段によって実行可能な画像解析処理を示す第２のリストとに基づいて、前記実行指示に基づく画像解析処理を、当該第１の処理手段に実行させるか否かを決定する決定工程と、
    を有することを特徴とする制御方法。
  18. 撮影された画像に対する画像解析処理を実行する第１の処理手段を有するデバイスを着脱可能な装着機構を有する撮像装置に備えられたコンピュータに、
    画像解析処理の実行指示を取得させ、
    前記装着機構に装着されたデバイスが前記第１の処理手段を有する場合に、前記撮像装置によって実行可能な画像解析処理を示す第１のリストと、前記装着機構に装着されたデバイスの前記第１の処理手段によって実行可能な画像解析処理を示す第２のリストとに基づいて、前記実行指示に基づく画像解析処理を、当該第１の処理手段に実行させるか否かを決定させる
    ためのプログラム。
JP2019171850A 2019-09-20 2019-09-20 撮像装置、制御方法及びプログラム Active JP7325281B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019171850A JP7325281B2 (ja) 2019-09-20 2019-09-20 撮像装置、制御方法及びプログラム
CN202010983140.0A CN112543256B (zh) 2019-09-20 2020-09-18 图像捕获装置、控制方法和计算机可读存储介质
US17/025,034 US11647272B2 (en) 2019-09-20 2020-09-18 Image capturing apparatus, control method, and computer-readable storage medium
EP20196844.3A EP3796642A3 (en) 2019-09-20 2020-09-18 Image capturing apparatus, control method, and program
KR1020200120245A KR20210034521A (ko) 2019-09-20 2020-09-18 촬상 장치, 제어 방법, 및 컴퓨터 판독가능 저장 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019171850A JP7325281B2 (ja) 2019-09-20 2019-09-20 撮像装置、制御方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2021048574A JP2021048574A (ja) 2021-03-25
JP2021048574A5 JP2021048574A5 (ja) 2022-08-22
JP7325281B2 true JP7325281B2 (ja) 2023-08-14

Family

ID=72561621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019171850A Active JP7325281B2 (ja) 2019-09-20 2019-09-20 撮像装置、制御方法及びプログラム

Country Status (5)

Country Link
US (1) US11647272B2 (ja)
EP (1) EP3796642A3 (ja)
JP (1) JP7325281B2 (ja)
KR (1) KR20210034521A (ja)
CN (1) CN112543256B (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003024272A (ja) 2001-07-18 2003-01-28 Olympus Optical Co Ltd 信号処理装置
US20060001746A1 (en) 2004-06-30 2006-01-05 Canon Kabushiki Kaisha Processing device and image sensing apparatus

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3238816B2 (ja) 1993-12-24 2001-12-17 キヤノン株式会社 撮像装置
US5739850A (en) * 1993-11-30 1998-04-14 Canon Kabushiki Kaisha Apparatus for improving the image and sound processing capabilities of a camera
US7327396B2 (en) * 2002-04-10 2008-02-05 National Instruments Corporation Smart camera with a plurality of slots for modular expansion capability through a variety of function modules connected to the smart camera
US6511422B1 (en) * 2002-04-30 2003-01-28 Karl Storz Imaging, Inc. Method and apparatus for protection from high intensity light
JP2009260814A (ja) 2008-04-18 2009-11-05 Sony Ericsson Mobilecommunications Japan Inc 撮像装置
JP5127592B2 (ja) * 2008-06-25 2013-01-23 キヤノン株式会社 画像処理装置および画像処理方法、プログラム並びに、コンピュータ読み取り可能な記録媒体
WO2011075076A1 (en) * 2009-12-16 2011-06-23 T-Data Systems (S) Pte Ltd Method of converting digital data
CN113364983A (zh) * 2015-09-18 2021-09-07 索尼公司 图像处理设备、图像处理方法、程序和摄像系统
JP7067869B2 (ja) * 2017-03-10 2022-05-16 オムロン株式会社 画像処理システム、情報処理装置、情報処理方法、および情報処理プログラム
KR102495763B1 (ko) * 2018-02-23 2023-02-06 삼성전자주식회사 제1 이미지 처리 방식으로 보정된 이미지를 제2 이미지 처리 방식을 이용하여 외부 전자 장치에서 보정하기 위한 전자 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003024272A (ja) 2001-07-18 2003-01-28 Olympus Optical Co Ltd 信号処理装置
US20060001746A1 (en) 2004-06-30 2006-01-05 Canon Kabushiki Kaisha Processing device and image sensing apparatus
JP2006019932A (ja) 2004-06-30 2006-01-19 Canon Inc 処理装置及び撮像装置

Also Published As

Publication number Publication date
US20210092270A1 (en) 2021-03-25
KR20210034521A (ko) 2021-03-30
CN112543256B (zh) 2023-04-21
JP2021048574A (ja) 2021-03-25
EP3796642A3 (en) 2021-06-09
CN112543256A (zh) 2021-03-23
EP3796642A2 (en) 2021-03-24
US11647272B2 (en) 2023-05-09

Similar Documents

Publication Publication Date Title
JP7441016B2 (ja) 撮像装置、情報処理装置、制御方法及びプログラム
US11558540B2 (en) Image capturing apparatus, control method, and computer-readable storage medium
CN109756671A (zh) 使用多个相机记录图像的电子装置及其操作方法
CN113329166A (zh) 图像捕获装置、设备、控制方法和计算机可读存储介质
EP3890307A1 (en) Image capturing apparatus, device, control method, and program
JP7441017B2 (ja) デバイス、撮像装置、制御方法及びプログラム
JP7325281B2 (ja) 撮像装置、制御方法及びプログラム
JP2021163997A (ja) 撮像装置、デバイス、通信方法、及びプログラム
EP4057147A1 (en) Detection of anomalous processing means or anomalous storing means in an image capturing system.
JP2023048984A (ja) 情報処理装置、制御方法、及びプログラム
JP7425569B2 (ja) 撮像装置、デバイス、制御方法及びプログラム
JP2023011341A (ja) 情報処理装置およびその制御方法
JP2023028994A (ja) 演算装置、撮像装置、制御方法及びプログラム
US20230244551A1 (en) Image capturing apparatus, device, control method thereof, and non-transitory computer-readable storage medium
JP2021158576A (ja) 着脱可能デバイスおよびその制御方法、プログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230801

R151 Written notification of patent or utility model registration

Ref document number: 7325281

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151