JP7441016B2 - 撮像装置、情報処理装置、制御方法及びプログラム - Google Patents
撮像装置、情報処理装置、制御方法及びプログラム Download PDFInfo
- Publication number
- JP7441016B2 JP7441016B2 JP2019171849A JP2019171849A JP7441016B2 JP 7441016 B2 JP7441016 B2 JP 7441016B2 JP 2019171849 A JP2019171849 A JP 2019171849A JP 2019171849 A JP2019171849 A JP 2019171849A JP 7441016 B2 JP7441016 B2 JP 7441016B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- information
- imaging device
- executed
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 433
- 238000003384 imaging method Methods 0.000 title claims description 325
- 230000010365 information processing Effects 0.000 title 1
- 238000012545 processing Methods 0.000 claims description 663
- 230000008569 process Effects 0.000 claims description 393
- 238000004458 analytical method Methods 0.000 claims description 134
- 238000010191 image analysis Methods 0.000 claims description 97
- 230000004044 response Effects 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 claims description 14
- 239000003086 colorant Substances 0.000 claims 2
- 230000006870 function Effects 0.000 description 156
- 238000004891 communication Methods 0.000 description 66
- 238000012805 post-processing Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 25
- 238000012546 transfer Methods 0.000 description 25
- 238000001514 detection method Methods 0.000 description 22
- 230000001815 facial effect Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- CVOFKRWYWCSDMA-UHFFFAOYSA-N 2-chloro-n-(2,6-diethylphenyl)-n-(methoxymethyl)acetamide;2,6-dinitro-n,n-dipropyl-4-(trifluoromethyl)aniline Chemical compound CCC1=CC=CC(CC)=C1N(COC)C(=O)CCl.CCCN(CCC)C1=C([N+]([O-])=O)C=C(C(F)(F)F)C=C1[N+]([O-])=O CVOFKRWYWCSDMA-UHFFFAOYSA-N 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 125000000524 functional group Chemical group 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/56—Accessories
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00912—Arrangements for controlling a still picture apparatus or components thereof not otherwise provided for
- H04N1/00954—Scheduling operations or managing resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00962—Input arrangements for operating instructions or parameters, e.g. updating internal software
- H04N1/00965—Input arrangements for operating instructions or parameters, e.g. updating internal software using a plug-in memory module, e.g. memory card, memory stick
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2104—Intermediate information storage for one or a few pictures
- H04N1/2158—Intermediate information storage for one or a few pictures using a detachable storage unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Facsimiles In General (AREA)
- Studio Devices (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Camera Data Copying Or Recording (AREA)
Description
図1に、本実施形態の画像解析システムの構成例を示す。以下では、一例として、このシステムが特定人物追跡システムである場合について説明する。ただし、これに限られず、画像を解析して所定の情報出力を行う任意のシステムに、以下の議論を適用することができる。本システムは、撮像装置110a~110dと、ネットワーク120と、入出力装置130とを含んで構成される。なお、撮像装置110a~110dは、それぞれ、例えば撮像した画像を記録可能なデバイスを着脱可能なスロットを有し、そのスロットに着脱可能デバイス100a~100dが挿入されることにより、着脱可能デバイス100a~100dと接続される。なお、以下では、着脱可能デバイス100a~100dを「着脱可能デバイス100」と表記し、撮像装置110a~110dを「撮像装置110」と表記する。
(撮像装置の構成)
続いて、撮像装置110の構成について説明する。図2は、撮像装置110のハードウェア構成例を示す図である。撮像装置110は、そのハードウェア構成として、例えば、撮像部201、画像処理部202、演算処理部203、配信部204、SD I/F部205を含む。なお、I/Fは、インタフェースの略語である。
図4に、着脱可能デバイス100のハードウェア構成例を示す。着脱可能デバイス100は、一例として、I/F部401、FPGA402、SDコントローラ403、及び、を含んで構成される。着脱可能デバイス100は、撮像装置110が有するSD I/F部205の着脱ソケットに挿抜できる形状で、すなわちSD規格に則った形状で成形されるものとする。
図6に、入出力装置130のハードウェア構成例を示す。入出力装置130は、一般的なPC等のコンピュータとして構成され、例えば、図6に示すように、CPU等のプロセッサ601、RAM602やROM603等のメモリ、HDD604等の記憶装置、及び、通信I/F605を含んで構成される。入出力装置130は、プロセッサ601が、メモリや記憶装置に格納されたプログラムを実行することにより、各種機能を実行することができる。
続いて、システム内で実行される処理の流れの例について説明する。なお、以下の各処理のうち撮像装置110が実行する処理は、例えば、演算処理部203内のプロセッサがメモリ等に記憶されたプログラムを実行することによって実現される。ただし、これは一例に過ぎず、後述の処理の一部又は全部が、専用のハードウェアによって実現されてもよい。また、着脱可能デバイス100や入出力装置130が実行する処理についても、各装置におけるプロセッサがメモリ等に記憶されたプログラムを実行することによって実現されてもよいし、処理の一部又は全部を、専用のハードウェアによって実現してもよい。
図8に、システムで実行される画像解析処理の一連の流れを概略的に示す。本処理では、まず、ユーザによって、撮像装置110に着脱可能デバイス100が装着される(S801)。撮像装置110は、着脱可能デバイス100の初期化シーケンスを実行する(S802)。この初期化シーケンスでは、撮像装置110と着脱可能デバイス100との間で所定のコマンドが送受信されることにより、撮像装置110が、着脱可能デバイス100を使用可能な状態となる。その後、撮像装置110は、着脱可能デバイス100が実行可能な処理を把握し、ローカルで実行可能な(撮像装置110単体で又は撮像装置110と着脱可能デバイス100の組み合わせで実行可能な)処理を把握する(S803)。なお、着脱可能デバイス100は、任意の処理を実行可能なように構成されうるが、撮像装置110側で実行されるべき処理と無関係な処理については考慮されなくてもよい。一例において、撮像装置110は、例えば入出力装置130から事前に取得した実行されうる処理のリストを保持しておいてもよい。この場合、撮像装置110は、着脱可能デバイス100が実行可能な処理を示す情報を着脱可能デバイス100から取得した際に、その処理がリストに含まれているか否かによって、実行されうる処理のみを把握することができる。続いて、撮像装置110は、実行する処理を決定し、必要に応じて着脱可能デバイス100の設定を実行する(S804)。すなわち、実行対象として決定された処理の少なくとも一部が着脱可能デバイス100によって実行される場合に、その処理のための着脱可能デバイス100の設定が実行される。この設定においては、例えば、実行対象の処理に対応する設定データを用いたFPGA402の再構成が行われうる。そして、撮像装置110または着脱可能デバイス100が、解析処理を実行する(S805)。その後、撮像装置110は、後処理を実行する(S806)。なお、S805とS806の処理は繰り返し実行される。図8の処理は、例えば、着脱可能デバイス100が装着された際に実行されるが、例えば着脱可能デバイス100が取り外された際にも、S803の処理が再度実行されるようにするなど、図8の処理の少なくとも一部が繰り返し実行されてもよい。
図9に、撮像装置110が実行可能な処理を把握する処理の流れの例を示す。本処理は、図8のS803の処理に対応し、着脱可能デバイス100等のデバイスが撮像装置110に装着された又は抜去された場合や、撮像装置110の電源がオンとなった際に実行されうる。本処理では、撮像装置110は、着脱可能デバイス100で実行可能な処理を読み出し、撮像装置110自身が実行可能な解析処理と統合し、撮像装置110側で実行可能な解析処理を把握する。
図10に、撮像装置110が解析処理内容を決定する処理の流れの例を示す。本処理では、撮像装置110側でローカルに実行可能な解析処理が入出力装置130を介してユーザに提示され、入出力装置130はユーザの選択を受け付ける。そして、撮像装置110は、入出力装置130を介して受け付けられたユーザ選択を示す情報に応じて、実行する解析処理を決定する。
図11に、撮像装置110が解析処理を実行する際の制御の流れの例を示す。本処理では、まず、撮像制御部301が周囲の環境を撮影する(S1101)。制御部304は、信号処理部302を制御して、撮像制御部301によって撮影された画像の処理を行い、撮影画像を取得する。その後、制御部304は、解析部305を制御して、制御部304から入力された撮影画像に対して解析前処理を実行し、解析前処理結果の画像を取得する(S1102)。そして、制御部304は、実行対象処理が第2処理リストに含まれるかを判定する(S1103)。
図12に、撮像装置110が後処理を実行する際の制御の流れの例を示す。本処理では、撮像装置110の制御部304が、実行対象の後処理に「表示」が含まれるか否かを判定する(S1201)。制御部304は、実行対象の後処理に表示が含まれると判定した場合(S1201でYES)、ネットワーク通信部307を制御して、解析処理の結果を入出力装置130へ送信する(S1202)。入出力装置130の制御部702は、ネットワーク通信部701を制御して、撮像装置110から解析処理の結果を受信すると、表示部703を制御して、解析処理の結果を画面表示等によってユーザに提示する(S1203)。一方、制御部304が実行対象の後処理に表示が含まれないと判定した場合(S1201でNO)、S1202及びS1203の処理は実行されない。
ここで、撮像装置110と着脱可能デバイス100との通信について説明する。撮像装置110の演算処理部203と着脱可能デバイス100のSDコントローラ403は、撮像装置110のSD I/F部205のデバイス挿入用ソケットを介し、電源ライン、GNDライン、クロックライン、コマンドライン、データラインで接続される。なお、クロックライン、コマンドライン、及び、データラインは、FPGA402を経由する形で接続されるものとする。クロックラインでは、演算処理部203から出力される同期用のクロックが通信される。コマンドラインでは、演算処理部203からSDコントローラ403への動作要求用に発行するコマンド、コマンドに対するSDコントローラ403から演算処理部203へのレスポンスが通信される。データラインでは、演算処理部203からの書き込みデータ、着脱可能デバイス100からの読み出しデータが通信される。また、演算処理部203は、SD I/F部205のデバイス挿入用ソケットのデバイスディテクト信号のHighとLowを判別することにより、着脱可能デバイス100が挿入されているか否かを認識することができる。
続いて、着脱可能デバイス100が、記憶処理と画像解析処理とを自動で切り替える方法について説明する。この処理は、着脱可能デバイス100が、撮像装置110から受信した画像データをそのまま記憶するか、その画像データに画像解析処理を施すかの自動判定処理である。撮像装置110は、一例において、特殊なコマンドを送信することにより、着脱可能デバイス100に送信する画像データの記憶と、その画像データに対する画像解析処理とのいずれを着脱可能デバイス100に実行させるかを制御することができる。しかし、このような特殊なコマンドを規定するのは、着脱可能デバイス100が準拠している規格との関係上、容易ではない。このため、本実施形態では、以下のような方法により、特殊なコマンドを定義することなく、着脱可能デバイス100において実行される処理を切り替えることを可能とする。なお、以下の処理例では、SD規格に準拠した方法で撮像装置110と着脱可能デバイス100との間の通信が行われるものとするが、これに限られない。すなわち、着脱可能デバイス100が準拠する所定の規格に従うコマンド等を用いて、以下に説明する処理と同様の処理を実行可能である。
図16は、着脱可能デバイス100へ転送されるデータブロック数によって、記憶処理と画像解析処理とを自動で切り替える制御の流れの例を示している。
図17は、ライトコマンドのコマンド引数部1305で指定される書き込みアドレスに基づいて、記憶処理と画像解析処理とを切り替える制御の流れの例を示している。本処理においても、撮像装置110の演算処理部203は、SDコントローラ403に対してライトコマンドを発行する(S1701)。FPGA402は、コマンド引数部1305で指定され、記憶部404における情報の格納先を示す書き込みアドレスが、図14で示される処理結果格納アドレス1407と一致するか否かを判定する(S1702)。FPGA402は、コマンド引数部1305で指定される書き込みアドレスが処理結果格納アドレス1407と一致する場合(S1702でYES)に、転送されるデータに対して、そのアドレスに対応する画像解析処理を実行する(S1703)。そして、FPGA402は、処理結果を取得し(S1704)、SDコントローラ403に対してライトコマンドを発行し、記憶部404の処理結果格納アドレス1407に取得した処理結果を格納する(S1705)。一方、FPGA402は、コマンド引数部1305で指定される書き込みアドレスが処理結果格納アドレス1407と一致しない場合(S1702でNO)は、転送データをそのまま記憶部404に記憶させる(S1706)。例えば、FPGA402は、SDコントローラ403に対して演算処理部203が発行したライトコマンドと同様のコマンドを発行して、転送データをそのまま転送する。SDコントローラ403は、ライトコマンドで指定された記憶部404のアドレスに、転送データを格納する。
図18は、コマンドによる記憶処理と画像解析処理とを切り替える制御の流れの例を示している。SD規格では、データの書き込み時のプロトコルとして、ブロック数指定コマンドを発行してからデータの書き込みを行う第1のプロトコルと、ブロック数指定コマンドを発行せずにデータの書き込みを行う第2のプロトコルがある。なお、第2のプロトコルでは、データの書き込みを終了する際に、データ転送停止コマンドが発行される。本処理例では、第1のプロトコルでデータが送信されたことに基づいて画像解析処理を実行するようにし、第2のプロトコルでデータが送信される場合には画像解析処理を実行せずに記憶部404に画像データを格納する記憶処理を実行するようにする。このため、着脱可能デバイス100のFPGA402は、画像データの送信のために、ブロック数指定コマンドが発行されたか否かによって、画像解析処理を実行するか否かを決定する。
続いて、撮像装置110による、着脱可能デバイス100に記憶された画像解析処理の処理結果の読み出し方法について説明する。演算処理部203は、着脱可能デバイス100に対して、図14で示される処理結果格納アドレス1407を指定し、解析処理ごとの処理結果データ数1406の分だけ読み出すようにリードコマンドを発行する。SDコントローラ403は、FPGA402を介してリードコマンドを受信し、指定された記憶部404のアドレスに格納されている処理結果のデータを撮像装置110の演算処理部203に対して出力する。これにより、撮像装置110は、画像解析処理による処理結果を取得することができる。
撮影画像と統合処理リスト及び後処理リストのユーザへの提示及びユーザ選択の受け付け方法の例について説明する。図19は、表示部703を介した撮影画像と統合処理リスト及び後処理リストの画面表示の例を示している。この表示画面により、例えば、ユーザインタフェース1901が表示される。ユーザインタフェース1901は、例えば、撮影画像表示領域1902、統合処理リスト表示領域1903、及び、後処理リスト表示領域1904を含む。ユーザは、これらの領域を確認することにより、撮影画像と統合処理リスト及び後処理リストを把握することができる。
複数の処理を組み合わせることによって所定の処理が実行可能となることがある。例えば、顔認証処理は、顔検出処理と顔特徴抽出処理と顔特徴照合処理の3つの処理が組み合わせられることにより実行可能となる。ここで、撮像装置110と着脱可能デバイス100とが、これらの3つの処理のうちの少なくともいずれかを実行可能である場合、これらの装置間で処理を分担して実行することができる。また、撮像装置110と着脱可能デバイス100は、例えば上述の3つの処理のうちの少なくともいずれかについて、処理の対象となるデータが取得された条件(例えば撮影条件)や、解析の対象等の、それぞれの条件に適した異なる処理機能が用意されうる。例えば、昼間に撮影された画像のための処理と、夜間に撮影された画像のための処理とのそれぞれのために、別個の処理機能が用意されてもよい。例えば、図21に示すように、撮像装置110及び着脱可能デバイス100は、顔検出処理機能、顔特徴抽出処理機能、及び顔特徴照合処理機能を有し、顔認証処理を実行可能に構成されうる。なお、撮像装置110と着脱可能デバイス100とがそれぞれ有する機能は、同様の機能であっても、使用するのに適した条件等が異なりうる。また、図21の着脱可能デバイス100が2つの顔特徴抽出処理機能を有するように、撮像装置110と着脱可能デバイス100は、同様の処理を実行可能な複数の処理機能を有してもよい。これにより、撮像装置110と着脱可能デバイス100との間で適切に処理を分担することにより、様々な条件等に適した処理を実行することが可能となる。
図22を用いて、使用されるべき処理機能を選択する第1の処理例について説明する。本例では、画像解析処理を行う上で必要となる性能を満たすように、撮像装置110と着脱可能デバイス100とが有する処理機能の中から使用される処理機能が選択される。例えば、ある一定以上のフレームレートでの処理が行われる必要がある等の条件があり、かつ、同じ処理を撮像装置110と着脱可能デバイス100とが共に実行可能である場合に、本処理が実行されうる。
続いて、図23を用いて、使用されるべき処理機能を選択する第2の処理例について説明する。本処理では、着脱可能デバイス100において同じ処理を実行可能な複数の処理機能を有している場合に、使用すべき処理機能を選択する際に実行される。なお、本処理は、例えば第1の処理例において、着脱可能デバイス100に一部の処理を実行させると決定された場合等に実行されうる。すなわち、着脱可能デバイス100が処理を実行する際に、着脱可能デバイス100がその処理を実行可能な1つ以上の処理機能のいずれを使用するかを決定する際に使用されうる。ただし、これは一例に過ぎず、本処理例により、撮像装置110と着脱可能デバイス100との処理分担が決定されてもよい。例えば、撮像装置110と着脱可能デバイス100とが実行可能な処理を統合した統合処理リストにおいて、同一の処理を実行可能な複数の処理機能が存在する場合に、いずれの処理機能を使用するかを決定する際に本処理例が使用されてもよい。すなわち、撮像装置110と着脱可能デバイス100とが同一の処理を実行可能な処理機能をそれぞれ1つ以上有する場合に、いずれの装置において、どの処理機能を用いて処理を実行すべきかを決定する際にも、本処理が利用されうる。
続いて、図24を用いて、撮像装置110と着脱可能デバイス100との間での処理の分担を決定する第3の処理例について説明する。本処理では、着脱可能デバイス100が有する処理機能の組み合わせのみで処理を完遂できるか否かに応じて、処理の分担を決定する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (14)
- 画像に対する画像解析処理を実行する機能を有するデバイスを着脱可能な装着機構を有する撮像装置であって、
前記撮像装置によって撮影された画像に対して画像解析処理を実行する機能を有する前記デバイスが前記装着機構に装着された場合に、当該デバイスが実行可能な画像解析処理を示す第1の情報を取得する取得手段と、
前記取得手段によって取得された前記第1の情報と、前記撮像装置が実行可能な画像解析処理を示す第2の情報とに基づいて生成される第3の情報を、前記撮像装置が実行可能な画像解析処理を示す情報として出力する出力手段と、
前記出力手段によって出力された前記第3の情報に基づいてユーザにより選択された、実行すべき処理の情報を受け付ける受付手段と、
を有することを特徴とする撮像装置。 - 前記出力手段は、前記撮像装置に含まれない外部の装置からの要求に応じて、前記第1の情報と前記第2の情報とに基づいて、当該外部の装置へ前記第3の情報を出力する、ことを特徴とする請求項1に記載の撮像装置。
- 前記取得手段は、前記機能を有しないデバイスが前記装着機構に装着された場合またはデバイスが前記装着機構に装着されていない場合には、前記第1の情報を取得しない、ことを特徴とする請求項1又は2に記載の撮像装置。
- 前記出力手段によって出力される前記第3の情報は、前記第1の情報によって示される処理と前記第2の情報によって示される処理とのうち少なくともいずれかに含まれる処理を示す情報を含む、ことを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
- 前記出力手段によって出力される前記第3の情報は、前記第1の情報によって示される処理と前記第2の情報によって示される処理とを区別可能に示す情報を含む、ことを特徴とする請求項1から4のいずれか1項に記載の撮像装置。
- 前記出力手段によって出力される前記第3の情報は、前記第1の情報によって示される処理と前記第2の情報によって示される処理とを、異なる文字列によって区別可能に表示装置に表示させる情報を含む、ことを特徴とする請求項5に記載の撮像装置。
- 前記出力手段によって出力される前記第3の情報は、前記第1の情報によって示される処理と前記第2の情報によって示される処理とを、異なる文字色または背景色によって区別可能に表示装置に表示させる情報を含む、ことを特徴とする請求項5又は6に記載の撮像装置。
- 前記出力手段によって出力される前記第3の情報は、前記第1の情報によって示される処理の少なくとも一部と前記第2の情報によって示される処理の少なくとも一部とが共に用いられることによって実行可能となる処理を示す情報を含む、ことを特徴とする請求項1から7のいずれか1項に記載の撮像装置。
- 前記出力手段は、前記第1の情報が取得されない場合に、前記第2の情報を前記第3の情報として出力する、ことを特徴とする請求項1から8のいずれか1項に記載の撮像装置。
- 前記出力手段は、過去に前記装着機構に装着されて抜去されたデバイスが装着されることによって実行可能となる画像解析処理を示す情報をさらに出力する、ことを特徴とする請求項1から9のいずれか1項に記載の撮像装置。
- 前記取得手段は、前記機能を有するデバイスであって、過去に前記装着機構に装着されたことがないデバイスに関する情報を取得し、
前記出力手段は、前記装着されたことがないデバイスに関する情報に基づいて、前記装着されたことがないデバイスが装着されることによって実行可能となる画像解析処理を示す情報をさらに出力する、ことを特徴とする請求項1から10のいずれか1項に記載の撮像装置。 - 前記装着機構はSDカードスロットを含み、
前記デバイスはSDカードの態様のデバイスである、ことを特徴とする請求項1から11のいずれか1項に記載の撮像装置。 - 画像に対する画像解析処理を実行する機能を有するデバイスを着脱可能な装着機構を有する撮像装置によって実行される制御方法であって、
前記撮像装置によって撮影された画像に対して画像解析処理を実行する機能を有する前記デバイスが前記装着機構に装着された場合に、当該デバイスが実行可能な画像解析処理を示す第1の情報を取得する取得工程と、
前記取得工程において取得された前記第1の情報と、前記撮像装置が実行可能な画像解析処理を示す第2の情報とに基づいて生成される第3の情報を、前記撮像装置が実行可能な画僧解析処理を示す情報として出力する出力工程と、
前記出力工程において出力される前記第3の情報に基づいてユーザにより選択された、実行すべき処理の情報を受け付ける受付工程と、
を有することを特徴とする制御方法。 - 画像に対する画像解析処理を実行する機能を有するデバイスを着脱可能な装着機構を有する撮像装置に備えられたコンピュータに、
前記撮像装置によって撮影された画像に対して画像解析処理を実行する機能を有する前記デバイスが前記装着機構に装着された場合に、当該デバイスが実行可能な画像解析処理を示す第1の情報を取得させ、
取得された前記第1の情報と、前記撮像装置が実行可能な画像解析処理を示す第2の情報とに基づいて生成される第3の情報を、前記撮像装置が実行可能な画僧解析処理を示す情報として出力させ、
出力される前記第3の情報に基づいてユーザにより選択された、実行すべき処理の情報を受け付けさせる、
ためのプログラム。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019171849A JP7441016B2 (ja) | 2019-09-20 | 2019-09-20 | 撮像装置、情報処理装置、制御方法及びプログラム |
US17/024,962 US11388366B2 (en) | 2019-09-20 | 2020-09-18 | Image capturing apparatus, control method, and computer-readable storage medium |
CN202010983050.1A CN112543255B (zh) | 2019-09-20 | 2020-09-18 | 图像捕获装置、控制方法和计算机可读存储介质 |
EP20196846.8A EP3796643A1 (en) | 2019-09-20 | 2020-09-18 | Image capturing apparatus, control method, and program |
KR1020200120244A KR102704618B1 (ko) | 2019-09-20 | 2020-09-18 | 촬상 장치, 제어 방법, 및 컴퓨터 판독가능 저장 매체 |
US17/838,504 US11647150B2 (en) | 2019-09-20 | 2022-06-13 | Image capturing apparatus, control method, and computer-readable storage medium |
US18/113,125 US11956567B2 (en) | 2019-09-20 | 2023-02-23 | Image capturing apparatus, control method, and computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019171849A JP7441016B2 (ja) | 2019-09-20 | 2019-09-20 | 撮像装置、情報処理装置、制御方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021048573A JP2021048573A (ja) | 2021-03-25 |
JP2021048573A5 JP2021048573A5 (ja) | 2022-09-09 |
JP7441016B2 true JP7441016B2 (ja) | 2024-02-29 |
Family
ID=72561622
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019171849A Active JP7441016B2 (ja) | 2019-09-20 | 2019-09-20 | 撮像装置、情報処理装置、制御方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (3) | US11388366B2 (ja) |
EP (1) | EP3796643A1 (ja) |
JP (1) | JP7441016B2 (ja) |
CN (1) | CN112543255B (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3817368A3 (en) | 2019-10-30 | 2021-09-29 | Canon Kabushiki Kaisha | Image capturing apparatus, control method, and program |
JP2021136666A (ja) | 2020-02-28 | 2021-09-13 | キヤノン株式会社 | 撮像装置、デバイス、制御方法、およびプログラム |
JP7518632B2 (ja) | 2020-02-28 | 2024-07-18 | キヤノン株式会社 | デバイス、制御方法、およびプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130174042A1 (en) | 2011-12-30 | 2013-07-04 | Samsung Electronics Co., Ltd. | Display apparatus, upgrading apparatus, display system and control method thereof |
WO2016175225A1 (ja) | 2015-04-28 | 2016-11-03 | 株式会社ジェイエイアイコーポレーション | 機能拡張装置、機能拡張装置の脱着構造、及び機能拡張システム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3548191B2 (ja) | 1993-03-22 | 2004-07-28 | キヤノン株式会社 | カメラ |
JP3203127B2 (ja) * | 1994-05-18 | 2001-08-27 | シャープ株式会社 | カード型カメラ |
DE69518578T2 (de) * | 1994-05-18 | 2001-04-26 | Sharp K.K., Osaka | Kartenartige Kamera mit Bildverarbeitungsfunktion |
JPH08298610A (ja) | 1995-04-26 | 1996-11-12 | Kyocera Corp | 映像信号処理機能付きメモリカード |
JP3726272B2 (ja) | 1996-08-21 | 2005-12-14 | 富士写真フイルム株式会社 | デジタルカメラ |
JP4641571B2 (ja) * | 1999-06-04 | 2011-03-02 | 富士フイルム株式会社 | ディジタル・スチル・カメラおよびその制御方法 |
JP2006019932A (ja) | 2004-06-30 | 2006-01-19 | Canon Inc | 処理装置及び撮像装置 |
KR102010396B1 (ko) * | 2011-11-29 | 2019-08-14 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
JP2018157601A (ja) | 2018-06-14 | 2018-10-04 | 株式会社ニコン | 電子機器、プログラム、及び電子機器システム |
JP7129843B2 (ja) | 2018-08-01 | 2022-09-02 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム |
EP3817368A3 (en) | 2019-10-30 | 2021-09-29 | Canon Kabushiki Kaisha | Image capturing apparatus, control method, and program |
JP2021136666A (ja) | 2020-02-28 | 2021-09-13 | キヤノン株式会社 | 撮像装置、デバイス、制御方法、およびプログラム |
-
2019
- 2019-09-20 JP JP2019171849A patent/JP7441016B2/ja active Active
-
2020
- 2020-09-18 US US17/024,962 patent/US11388366B2/en active Active
- 2020-09-18 CN CN202010983050.1A patent/CN112543255B/zh active Active
- 2020-09-18 EP EP20196846.8A patent/EP3796643A1/en active Pending
-
2022
- 2022-06-13 US US17/838,504 patent/US11647150B2/en active Active
-
2023
- 2023-02-23 US US18/113,125 patent/US11956567B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130174042A1 (en) | 2011-12-30 | 2013-07-04 | Samsung Electronics Co., Ltd. | Display apparatus, upgrading apparatus, display system and control method thereof |
WO2016175225A1 (ja) | 2015-04-28 | 2016-11-03 | 株式会社ジェイエイアイコーポレーション | 機能拡張装置、機能拡張装置の脱着構造、及び機能拡張システム |
Also Published As
Publication number | Publication date |
---|---|
US20210092322A1 (en) | 2021-03-25 |
US11647150B2 (en) | 2023-05-09 |
JP2021048573A (ja) | 2021-03-25 |
US20220311968A1 (en) | 2022-09-29 |
KR20210034520A (ko) | 2021-03-30 |
CN112543255B (zh) | 2022-11-22 |
US11956567B2 (en) | 2024-04-09 |
CN112543255A (zh) | 2021-03-23 |
US20230199144A1 (en) | 2023-06-22 |
US11388366B2 (en) | 2022-07-12 |
EP3796643A1 (en) | 2021-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7441016B2 (ja) | 撮像装置、情報処理装置、制御方法及びプログラム | |
EP3481048B1 (en) | Electronic device for recording image using multiple cameras and operating method thereof | |
EP3817368A2 (en) | Image capturing apparatus, control method, and program | |
JP7441017B2 (ja) | デバイス、撮像装置、制御方法及びプログラム | |
EP3873086A2 (en) | Image capturing apparatus, device, control method, and program | |
CN113329167A (zh) | 图像捕获装置、设备、控制方法和计算机可读存储介质 | |
EP3890307A1 (en) | Image capturing apparatus, device, control method, and program | |
JP7325281B2 (ja) | 撮像装置、制御方法及びプログラム | |
JP2023011341A (ja) | 情報処理装置およびその制御方法 | |
KR102704618B1 (ko) | 촬상 장치, 제어 방법, 및 컴퓨터 판독가능 저장 매체 | |
KR102702575B1 (ko) | 촬상 장치, 제어 방법, 및 컴퓨터 판독가능 저장 매체 | |
KR102701518B1 (ko) | 디바이스, 촬상 장치, 제어 방법, 및 컴퓨터 판독가능 저장 매체 | |
JP2021163997A (ja) | 撮像装置、デバイス、通信方法、及びプログラム | |
JP7425569B2 (ja) | 撮像装置、デバイス、制御方法及びプログラム | |
JP7500246B2 (ja) | 撮像装置、制御方法、及び、プログラム | |
EP4057147A1 (en) | Detection of anomalous processing means or anomalous storing means in an image capturing system. | |
JP2023048984A (ja) | 情報処理装置、制御方法、及びプログラム | |
JP2023028994A (ja) | 演算装置、撮像装置、制御方法及びプログラム | |
JP2022039941A (ja) | 情報処理装置、制御方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220901 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220901 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240216 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7441016 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |