JP7353847B2 - 情報処理装置、撮像装置、制御方法およびプログラム - Google Patents

情報処理装置、撮像装置、制御方法およびプログラム Download PDF

Info

Publication number
JP7353847B2
JP7353847B2 JP2019138934A JP2019138934A JP7353847B2 JP 7353847 B2 JP7353847 B2 JP 7353847B2 JP 2019138934 A JP2019138934 A JP 2019138934A JP 2019138934 A JP2019138934 A JP 2019138934A JP 7353847 B2 JP7353847 B2 JP 7353847B2
Authority
JP
Japan
Prior art keywords
processing
inference
image
inference parameter
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019138934A
Other languages
English (en)
Other versions
JP2021022862A (ja
Inventor
章弘 田邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019138934A priority Critical patent/JP7353847B2/ja
Priority to GB2011198.5A priority patent/GB2590095B/en
Priority to US16/934,130 priority patent/US11496682B2/en
Priority to DE102020119696.2A priority patent/DE102020119696A1/de
Priority to CN202010738818.9A priority patent/CN112312007A/zh
Publication of JP2021022862A publication Critical patent/JP2021022862A/ja
Priority to US17/848,656 priority patent/US11659275B2/en
Application granted granted Critical
Publication of JP7353847B2 publication Critical patent/JP7353847B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理装置、撮像装置、制御方法およびプログラムに関する。
デジタルカメラ等の撮像装置は、撮影した画像の識別等の処理を行う。ここで、撮像装置が、ニューラルネットワークを用いて、撮影した画像の識別等の処理を行うことが考えられる。関連する技術として、特許文献１の内視鏡システムが提案されている。この特許文献１の内視鏡システムは、動的辞書更新に関するコマンドデータがカプセル型内視鏡に送信され、カプセル型内視鏡は、ＲＡＭに記憶された動的辞書をコマンドデータに基づいて更新する。
特開２００９－７８０６９号公報
一般に、ニューラルネットワークの処理は、非常に多くの積和演算を実行するため、積和演算回路を搭載した専用回路が使用される。ここで、撮像された画像に対して複数のニューラルネットワークの処理が行われる場合、ニューラルネットワークの処理を行う専用回路を効率的に使用することが求められている。特許文献１の内視鏡システムは、動的辞書をコマンドデータに基づいて更新しているが、ニューラルネットワークの処理を行う専用回路を効率的に使用するものではない。
本発明は、画像に対して適用するニューラルネットワークを効率的に切り替えることを目的とする。
上記目的を達成するために、本発明の情報処理装置は、ニューラルネットワークの演算処理を行う処理部と、画像を撮影するための撮影制御のための処理に適用される第１の推論パラメータと前記画像の加工制御のための処理に適用される第２の推論パラメータとを前記処理部に設定することが可能な制御手段と、を備え、前記制御手段は、前記画像の撮影準備指示を受け付けたことに応じて、またはフォーカスの対象が確定したことに応じて、前記処理部に設定されている前記第１の推論パラメータを前記第２の推論パラメータに切り替えることを特徴とする。
本発明によれば、画像に対して適用するニューラルネットワークを効率的に切り替えることができる。
撮像装置を示すブロック図である。 第１実施形態のニューラルネットワーク処理部の構成を示した図である。 全体的な処理の流れを示すフローチャートである。 静止画撮影処理の流れを示すフローチャートである。 連続撮影処理の流れを示すフローチャートである。 動画撮影処理の流れを示すフローチャートである。 優先モードを選択する画面例を示す図である。 第２実施形態のニューラルネットワーク処理部の構成を示した図である。 第２実施形態の静止画撮影処理の流れを示すフローチャートである。 第２実施形態の連続撮影処理の流れを示すフローチャートである。 第２実施形態の動画撮影処理の流れを示すフローチャートである。
以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。
＜第１実施形態＞
図１は、撮像装置１００を示すブロック図である。撮像装置１００は、ＣＰＵ１０１とメモリ１０２と不揮発性メモリ１０３と操作部１０４とニューラルネットワーク処理部１０５とを有する。また、撮像装置１００は、撮影レンズ１１１と撮像部１１２と画像処理部１１３と符号化処理部１１４と表示制御部１１５と表示部１１６とを有する。さらに、撮像装置１００は、通信制御部１１７と通信部１１８と記録媒体制御部１１９と内部バス１３０とを有する。撮像装置１００は、撮影レンズ１１１を用いて、被写体の光学像を撮像部１１２の画素アレイに結像する。撮影レンズ１１１は、撮像装置１００のボディ（筐体または本体）から着脱可能であってもよいし、着脱不能であってもよい。また、撮像装置１００は、記録媒体制御部１１９を介して画像データの書き込みおよび読み出しを記録媒体１２０に対して行う。記録媒体１２０も、撮像装置１００に着脱可能であってもよいし、着脱不能であってもよい。
ＣＰＵ１０１（第１のＣＰＵ）は、不揮発性メモリ１０３に記憶されているコンピュータプログラムを実行することにより、内部バス１３０を介して撮像装置１００の各部の動作を制御する。ＣＰＵ１０１は、制御手段に対応する。メモリ１０２は、書き換え可能な揮発性メモリである。メモリ１０２は、撮像装置１００の各部の動作を制御するためのコンピュータプログラムや撮像装置１００の各部の動作に関するパラメータ等の情報や通信制御部１１７が受信する情報等を一時的に記憶する。また、メモリ１０２は、撮像部１１２が取得した画像（画像データ）、或いは画像処理部１１３や符号化処理部１１４等が処理を施した画像および情報を一時的に記憶する。メモリ１０２は、各種の情報を記憶するための記憶容量を有している。また、メモリ１０２には、ニューラルネットワーク処理部１０５が使用する情報が記憶される。ニューラルネットワーク処理部１０５が使用する情報としては、ニューラルネットワークの処理内容を記述したコンピュータプログラム、および学習済み係数パラメータ（重み係数やバイアス値等）がある。重み係数は、ニューラルネットワークにおいてノード間の接続の強さを示す値である。バイアスは、重み係数と入力データとの積算値に対してオフセットを与える値である。学習済み係数パラメータの値は、ニューラルネットワークに対する機械学習により調整されている。
不揮発性メモリ１０３は、電気的な消去および記憶が可能なメモリである。例えば、不揮発性メモリ１０３には、ＥＥＰＲＯＭやハードディスク等が用いられる。不揮発性メモリ１０３は、ＣＰＵ１０１が実行するコンピュータプログラムや撮像装置１００の各部の動作に関するパラメータ等の情報を記憶する。ＣＰＵ１０１がコンピュータプログラムを実行することにより、撮像装置１００が行う各種動作が実現される。上述したニューラルネットワークが使用する情報は、不揮発性メモリ１０３に記憶されてもよい。
操作部１０４は、撮像装置１００をユーザが操作するために設けられている。操作部１０４は、電源ボタンやメニューボタン、撮影用のレリーズボタン、動画録画ボタン、キャンセルボタン等の各種ボタンを含む。各種ボタンは、スイッチやタッチパネル等により構成され得る。ＣＰＵ１０１は、操作部１０４を介して入力されたユーザからの指示に従って撮像装置１００を制御する。ＣＰＵ１０１は、例えば、リモートコントローラや携帯端末等から通信部１１８を介して入力される要求に基づいて、撮像装置１００を制御してもよい。ニューラルネットワーク処理部１０５については後述する。
撮影レンズ１１１は、レンズユニットであり、レンズ群やレンズ制御手段、絞り等を含んで構成される。レンズ群は、ズームレンズやフォーカスレンズ等を含む。撮影レンズ１１１は、画角を変更するズーム手段として機能することができる。レンズ制御手段は、ＣＰＵ１０１が送信した制御信号に従って、焦点の調整および絞り値（Ｆ値）の制御を行う。撮像部１１２は、動画像を構成する複数の画像を順次取得する。撮像部１１２には、例えば、ＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）素子等のエリアイメージセンサが適用される。撮像部１１２は、被写体の光学像を電気信号に変換する不図示の光電変換部が行列状、すなわち、２次元的に配列された画素アレイを有している。該画素アレイには、被写体の光学像が撮影レンズ１１１から結像される。撮像部１１２は、撮像した画像を画像処理部１１３またはメモリ１０２に出力する。撮像部１１２は、静止画として画像を取得することもできる。
画像処理部１１３は、撮像部１１２が出力した画像データ、またはメモリ１０２から読み出された画像データに対して、所定の画像処理を施す。該画像処理としては、ダイナミックレンジ変換処理や補間処理、縮小処理（リサイズ処理）、色変換処理等を適用することができる。また、画像処理部１１３は、撮像部１１２が取得した画像を用いて、露光制御や測距制御等を行うための所定の演算処理を行う。画像処理部１１３が演算処理した結果に基づいて、ＣＰＵ１０１は、露光制御や測距制御等を行う。例えば、ＣＰＵ１０１は、ＡＥ（自動露出）処理やＡＷＢ（オートホワイトバランス）処理、ＡＦ（オートフォーカス）処理等を行う。
符号化処理部１１４は、画像データに対してフレーム内予測符号化（画面内予測符号化）やフレーム間予測符号化（画面間予測符号化）等を行う。これにより、画像データのサイズが圧縮される。符号化処理部１１４は、例えば、半導体素子等により構成された符号化装置であってもよい。また、符号化処理部１１４は、撮像装置１００の外部に設けられた符号化装置であってもよく、撮像装置１００が、符号化された画像データを外部の符号化装置から取得してもよい。
表示制御部１１５は、表示部１１６を制御する。表示制御部１１５は、例えば、ＧＰＵにより実現される。表示制御部１１５は、表示部１１６の表示画面に表示可能な画像を生成し、生成された画像を画像信号として表示部１１６に出力する。また、表示制御部１１５は、表示部１１６に画像データを出力するだけでなく、通信制御部１１７を介して外部機器２１７に画像データを出力することも可能である。表示部１１６は、表示制御部１１５から送られてくる画像信号に基づいて、表示画面に画像を表示する。表示部１１６は、表示画面にメニュー等の設定画面を表示する機能であるＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）機能を有する。表示制御部１１５は、画像信号にＯＳＤ画像を重畳して表示部１１６に画像信号を出力することができる。表示部１１６は、液晶ディスプレイや有機ＥＬディスプレイ等により構成されており、表示制御部１１５から送られてきた画像信号を表示する。表示部１１６は、例えばタッチパネルディスプレイであってもよい。表示部１１６がタッチパネルディスプレイである場合、表示部１１６は、操作部１０４の機能を兼ね備える。
通信制御部１１７は、ＣＰＵ１０１により制御される。通信制御部１１７は、通信部１１８を制御する。通信制御部１１７は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）やＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠した映像信号を送信する。また、通信部１１８は、映像信号以外の制御信号を送受信することも可能である。通信部１１８は、映像信号と制御信号とを物理的な電気信号に変換して、外部機器２１７と送受信を行う。通信制御部１１７は、所定の無線通信規格に適合する変調信号を生成して、該変調信号を通信部１１８から送信させてもよい。また、通信制御部１１７は、通信部１１８が受信した外部機器２１７からの変調信号を取得してもよい。
記録媒体制御部１１９は、記録媒体１２０を制御する。記録媒体制御部１１９は、ＣＰＵ１０１からの要求に基づいて、記録媒体１２０を制御するための制御信号を記録媒体１２０に出力する。記録媒体１２０としては、例えば、不揮発性メモリや磁気ディスク、半導体メモリ等が適用される。記録媒体１２０は、符号化された画像データ等を記憶する。記録媒体１２０には、該記録媒体１２０のファイルシステムに適合した形式で画像データ等がファイルとして保存される。ＣＰＵ１０１やニューラルネットワーク処理部１０５等の各部は、内部バス１３０を介して相互にアクセス可能となっている。
図２は、ニューラルネットワーク処理部１０５の構成を示した図である。ニューラルネットワーク処理部１０５は、処理部としてのニューラルコア１４０により構築される。ニューラルコア１４０は、予め学習済みの係数パラメータを用いて演算処理を行うことで、推論処理を行う。各実施形態のニューラルネットワークは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）であるものとして説明する。ただし、ＣＮＮ以外のニューラルネットワークが適用されてもよい。ＣＮＮとしては、例えば、畳み込み層とプーリング層とが交互に積層され、出力側に全結合層が接続されている層構造を採用することができる。上述した学習済み係数パラメータは、全結合層における各層のノード間を結合する各エッジのそれぞれが有する重みやバイアスに相当する。また、学習済み係数パラメータは、全結合層の前段の各層では、カーネル（フィルタ）の重みやバイアスに相当する。
ニューラルコア１４０は、例えば、ニューラルネットワークの処理を行うための専用回路である。ニューラルコア１４０は、ＣＰＵ１４１、積和演算回路１４２、ＤＭＡ１４３および内部メモリ１４４を有する。ＣＰＵ１４１（第２のＣＰＵ）は、図１のＣＰＵ１０１とは異なるＣＰＵである。ＣＰＵ１４１は、ニューラルネットワークの処理内容が記述されたコンピュータプログラムを実行する。該コンピュータプログラムは、ＣＰＵ１４１が、内部バス１３０を介してメモリ１０２または不揮発性メモリ１０３から読み出してもよいし、内部メモリ１４４から読み出してもよい。また、ＣＰＵ１４１は積和演算回路１４２およびＤＭＡ１４３の制御も行う。
積和演算回路１４２は、ニューラルネットワークの処理における積和演算を行う回路である。積和演算回路１４２は、複数の積和演算回路により構成されており、各積和演算回路は、並列に演算処理を実行することが可能である。ＤＭＡ１４３は、ＣＰＵ１４１を介さないデータ転送を行う回路である。ＤＭＡ１４３は、内部バス１３０を介してメモリ１０２または不揮発性メモリ１０３と内部メモリ１４４との間のデータ転送制御を行う。また、ＤＭＡ１４３は、積和演算回路１４２と内部メモリ１４４との間のデータ転送制御も行う。ＤＭＡ１４３が転送するデータとしては、ニューラルネットワークの処理内容を記述したコンピュータプログラムや学習済み係数パラメータ、積和演算回路１４２が算出した中間データ等がある。
内部メモリ１４４は、ニューラルネットワークの処理内容を記述したコンピュータプログラムや学習済み係数パラメータ、積和演算回路１４２が算出した中間データ等を記憶する。また、内部メモリ１４４は複数のバンクを有してもよい。この場合、各バンクは動的に切り替え可能である。
次に、本実施形態の撮像装置１００が行う通常の動作について説明する。例えば、ユーザが操作部１０４の電源ボタンを操作すると、操作部１０４は、該操作に基づいて、ＣＰＵ１０１に起動の指示を出力する。ＣＰＵ１０１は、該指示を受けて、電源供給部を制御して、撮像装置１００の各ブロックに電源を供給する。各ブロックに電源が供給されると、ＣＰＵ１０１は、例えば、操作部１０４のモード切り換えスイッチを確認する。本実施形態のモードは、静止画撮影モードと連続撮影モードと動画撮影モードと再生モードとを含む。モード切り換えスイッチは、何れかのモードに設定するためのスイッチである。ユーザは、モード切り換えスイッチを切り替えることで、上記の４つのモードの何れかのモードに切り替えることができる。切り替え可能なモードは、上述した４つのモードには限定されない。ＣＰＵ１０１は、操作部１０４からの指示信号に基づいて、モード切り換えスイッチにより設定されているモードを確認する。
通常の静止画撮影モードについて説明する。ユーザが、撮影待機状態で操作部１０４のレリーズボタンを半押しすると、撮像装置１００は、フォーカスを合わせる。そして、ユーザが、操作部１０４のレリーズボタンを全押しすることで、撮像装置１００は、撮影した静止画の記録処理を行う。記録処理では、画像処理部１１３が、撮像部１１２が撮影した静止画の画像データに対して画像処理を施す。そして、符号化処理部１１４が、画像処理が施された画像データに対して符号化処理を施し、記録媒体制御部１１９が符号化された画像データを画像ファイルとして記録媒体１２０に記録する。
本実施形態では、撮像装置１００は、静止画を連続撮影する機能を有している。ユーザが操作部１０４を用いて連続撮影を行う撮影モードに設定することで、連続撮影機能が有効になる。連続撮影機能が有効であるか無効であるかを示す情報は、メモリ１０２に記憶される。撮像装置１００は、連続撮影機能が有効な状態において、レリーズボタンが全押しされている間、連続して静止画を撮影する。連続撮影機能を有効にしたモードが、連続撮影モードである。
動画撮影モードにおいて、ユーザが、操作部１０４の動画撮影ボタンを押下すると、撮像装置１００は、動画の撮影を行う。動画撮影モードでは、撮像部１１２が撮影した連続した動画像データに対して画像処理部１１３が画像処理を施し、画像処理が施された動画像データに対して符号化処理部１１４が動画として符号化処理を施す。そして、記録媒体制御部１１９は、符号化された動画像データをファイルとして記録媒体１２０に記録する。
撮影待機状態では、撮像部１１２が所定のフレームレートで画像を撮影し、画像処理部１１３が画像に対して表示用の画像処理を施す。そして、表示制御部１１５は、表示用の画像処理が施された画像データを表示部１１６に表示させる。これにより、ライブビュー画像が表示される。再生モードでは、記録媒体制御部１１９が記録媒体１２０に記憶されている画像ファイルを読み出し、符号化処理部１１４が読み出した画像ファイルの画像データを復号する。そして、画像処理部１１３が表示用の処理を画像データに対して施し、表示制御部１１５が表示部１１６に画像データを表示させる。
次に、ニューラルネットワーク処理部１０５が行う全体的な処理について説明する。図３は、ニューラルネットワーク処理部１０５が行う全体的な処理の流れを示すフローチャートである。ユーザが、撮像装置１００の電源をオンにする操作を撮像装置１００に対して行うと、撮像装置１００の電源が投入される。そして、不揮発性メモリ１０３に記憶されているコンピュータプログラムがメモリ１０２に展開され、メモリ１０２に展開されたコンピュータプログラムをＣＰＵ１０１が読み出して実行する。ＣＰＵ１０１は撮像１１２に所定のフレームレートで画像を撮影させ、表示部１１６にライブビュー画像の表示を開始させる。
ＣＰＵ１０１は、操作部１０４のモード切り換えスイッチが動画撮影モードに設定されているかを判定する（Ｓ３０１）。Ｓ３０１でＮｏと判定された場合、ＣＰＵ１０１は、連続撮影モードに設定されているかを判定する（Ｓ３０２）。ＣＰＵ１０１は、メモリ１０２に記憶されている連続撮影機能が有効であるか無効であるかの情報に基づいて、Ｓ３０２の判定を行う。Ｓ３０２でＮｏと判定された場合、ＣＰＵ１０１は、静止画撮影処理を実行するように制御する（Ｓ３０３）。Ｓ３０２でＹｅｓと判定された場合、ＣＰＵ１０１は、連続撮影処理（連写撮影処理）を実行するように制御する（Ｓ３０４）。Ｓ３０１でＹｅｓと判定された場合、動画撮影を実行するように制御する（Ｓ３０５）。静止画撮影処理、連続撮影処理および動画撮影処理の詳細については後述する。
次に、Ｓ３０３の静止画撮影処理について説明する。図４は、静止画撮影処理の流れを示すフローチャートである。ＣＰＵ１０１は、メモリ１０２から読み出した第１の推論パラメータを、ＣＰＵ１４１に通知する。通知を受けたＣＰＵ１４１は、ＤＭＡ１４３を制御して、第１の推論パラメータを読み出す（Ｓ４０１）。読み出された第１の推論パラメータは、内部メモリ１４４に記憶される。これにより、ニューラルコア１４０に第１の推論パラメータが設定される。第１の推論パラメータは、撮影制御のためにニューラルネットワークを適用する場合に使用される学習済み係数パラメータである。
ＣＰＵ１０１は、ＣＰＵ１４１に対して、第１の推論パラメータを用いたニューラルネットワークの処理を実行させる旨の通知を行う。ＣＰＵ１４１は、ライブビュー画像を入力として、積和演算回路１４２に積和演算処理を実行させて、第１の推論パラメータを適用したニューラルネットワークの処理を行う。これにより、撮影制御のための処理として、第１の推論パラメータを用いた画像の解析処理が行われる（Ｓ４０２）。第１の推論パラメータを用いた解析処理は、撮影モードの判定や被写体（人体や物体）の検出を含む。第１の推論パラメータを用いた撮影制御のための処理は、撮影パラメータを設定するための他の処理であってもよい。Ｓ４０２が行われることで、例えば、ポートレートモードや風景モードなどの静止画の撮影モードが判定され、被写体が検出される。Ｓ４０２の処理結果は、表示部１１６に表示される。
次に、ＣＰＵ１０１は、操作部１０４のレリーズボタンが半押しされ、フォーカスの対象が確定しているかを判定する（Ｓ４０３）。Ｓ４０３でＹｅｓと判定された場合、撮像装置１００は、撮影準備指示を受け付けている。この場合、フローは、後述するＳ４０５に移行する。Ｓ４０３でＮｏと判定された場合、ＣＰＵ１０１は、レリーズボタンが半押しされていなくとも、フォーカスの対象が確定しているかを判定する（Ｓ４０４）。例えば、表示部１１６がタッチパネルディスプレイである場合には、ユーザが表示部１１６をタッチすることで、フォーカスの対象を確定させることができる。あるいは、第１の推論パラメータを用いた解析処理によって、自動的にフォーカスの対象を確定させるようにしてもよい。Ｓ４０４でＮｏと判定された場合、フローは、Ｓ４０２に戻る。
Ｓ４０３でＹｅｓと判定された場合、またはＳ４０４でＹｅｓと判定された場合、ＣＰＵ１０１は、メモリ１０２から読み出した第２の推論パラメータを、ＣＰＵ１４１に通知する。通知を受けたＣＰＵ１４１は、ＤＭＡ１４３を制御して、第２の推論パラメータを読み込む（Ｓ４０５）。読み込まれた第２の推論パラメータは、内部メモリ１４４に記憶される。これにより、ニューラルコア１４０に設定されている推論パラメータは、第１の推論パラメータから第２の推論パラメータに切り替えられる。第２の推論パラメータは、画像の加工制御ためにニューラルネットワークを適用する場合に使用する学習済み係数パラメータである。
ＣＰＵ１０１は、操作部１０４のレリーズボタンが全押しされたかを判定する（Ｓ４０６）。Ｓ４０６でＮｏと判定された場合、レリーズボタンが離されているか（半押しが解除されているか）、あるいは、フォーカスの対象の確定が解除されているかを判定する（Ｓ４０７）。なお、レリーズボタンが離された場合、またはフォーカスの対象の確定が解除された場合は、フローは、Ｓ４０１に戻る。この場合、ニューラルコア１４０に設定されている推論パラメータは、Ｓ４０１において、第２の推論パラメータから第１の推論パラメータに切り替えられる。どちらでもない場合は、Ｓ４０６に戻り、操作部１０４のレリーズボタンの全押しされ、撮影が実行されるまで待機する。
Ｓ４０６でＹｅｓと判定された場合、ＣＰＵ１０１は静止画の撮影を行う（Ｓ４０８）。さらに、ＣＰＵ１０１は、メモリ１０２から読み出した第２の推論パラメータを、ＣＰＵ１４１に通知する。ＣＰＵ１４１は、Ｓ４０８で撮影した画像を入力として、積和演算回路１４２に積和演算処理を実行させて、第２の推論パラメータを適用したニューラルネットワークの処理を行う。これにより、画像の加工制御のための処理として、第２の推論パラメータを用いたニューラルネットワーク処理が行われる（Ｓ４０９）。第２の推論パラメータを用いたニューラルネットワーク処理は、画像のフィルタ処理や画像回復処理、超解像処理、現像処理、および、符号化処理部１１４の一部の処理等を含む。Ｓ４０７が行われることで、例えば、画像の画像回復処理が行われる。第２の推論パラメータを用いたニューラルネットワーク処理の処理結果は、記録媒体制御部１１９に出力され得る。これにより、記録媒体１２０に、現像処理が行われた画像が記録される。
このように、フォーカス対象が確定する前には、ニューラルコア１４０に第１の推論パラメータが設定されている。そして、ニューラルコア１４０は、第１の推論パラメータを用いたニューラルネットワーク処理を行う。そして、フォーカスの対象が確定したことに応じて、ニューラルコア１４０に設定されている推論パラメータは、第１の推論パラメータから第２の推論パラメータに切り替えられる。これにより、ニューラルコア１４０は、第２の推論パラメータを用いたニューラルネットワーク処理を行うことができる。ここで、操作部１４０のレリーズボタンが全押しされてから、ニューラルコア１４０に設定されている推論パラメータを、第１の推論パラメータから第２の推論パラメータに切り替えようとする。この場合、この切り替えのための処理に時間を要してしまい、第２の推論パラメータを用いたニューラルネットワーク処理の開始が遅れてしまう。一般的に、静止画撮影のためのフォーカスの対象が確定した後に、撮影モードやフォーカス対象とすべき被写体が変わる可能性は低い。よって、フォーカスの対象が確定したことに応じて、ニューラルコア１４０に設定されている推論パラメータを第２の推論パラメータに切り替えたとしても、撮影制御に対する影響は小さい。こうすることで、静止画の撮影後すぐに第２の推論パラメータを用いたニューラルネットワーク処理を開始することができる。以上により、静止画撮影のためのフローチャートに応じて、画像に対して適用するニューラルネットワークを効率的に切り替えることができる。
次に、図３のＳ３０４の連続撮影処理について説明する。図５は、連続撮影処理の流れを示すフローチャートである。連続撮影処理は、連続撮影モードに設定されている場合に実行される。まず、ＣＰＵ１０１からの通知により、ニューラルコア１４０は、第１の推論パラメータを読み込む（Ｓ５０１）。Ｓ５０１の処理はＳ４０１の処理と同様である。また、ニューラルコア１４０は、撮影制御のための処理として、第１の推論パラメータを用いたニューラルネットワーク処理を行う（Ｓ５０２）。Ｓ５０２の処理はＳ４０２の処理と同様である。連続撮影処理では、操作部１０４のレリーズボタンが半押しされた場合であっても、第１の推論パラメータを用いたニューラルネットワーク処理を継続する。
ＣＰＵ１０１は、操作部１０４のレリーズボタンが全押しされたかを判定する（Ｓ５０３）。全押しされていない場合（Ｓ５０３でＮｏと判定された場合）は、Ｓ５０２に戻る。
Ｓ５０３でＹｅｓと判定された場合、ＣＰＵ１０１は静止画の撮影を行う（Ｓ５０４）。なお、連続撮影モードでは、撮像装置１００が撮影した画像は、全て、メモリ１０２または記録媒体１２０に一時的に記憶されていくものとする。
さらに、ＣＰＵ１０１は、連続撮影が完了したか否かを判定する（Ｓ５０５）。ＣＰＵ１０１は、操作部１０４のレリーズボタンの全押しが解除されていれば、ユーザが連続撮影の完了を指示したと判定し、解除されていなければ、連続撮影が継続されると判定する。
Ｓ５０５でＮｏと判定された場合、第１の推論パラメータを用いたニューラルネットワーク処理を行ってから（Ｓ５０６）、次の静止画撮影を行う（Ｓ５０４）。
Ｓ５０５でＹｅｓと判定された場合、ＣＰＵ１０１は、ニューラルコア１４０に、第２の推論パラメータの通知を行う。そして、ニューラルコア１４０は、第２の推論パラメータを読み込む（Ｓ５０７）。Ｓ５０７の処理は、Ｓ４０５と同様である。これにより、ニューラルコア１４０に設定されている推論パラメータは、第１の推論パラメータから第２の推論パラメータに切り替えられる。そして、ニューラルコア１４０は、画像の加工制御のための処理として、第２の推論パラメータを用いてニューラルネットワーク処理を行う（Ｓ５０８）。Ｓ５０８の処理は、Ｓ４０９の処理と同様である。なお、連続撮影処理では、ＣＰＵ１０１は、Ｓ５０８の処理を行った静止画を、メモリ１０２または記録媒体１２０から消去する。ＣＰＵ１０１は、メモリ１０２または記録媒体１２０に一時的に記憶された静止画の全てに対して、Ｓ５０８の処理を実行すると、処理は終了する。
連続撮影モードに設定されている場合、連続撮影が終了するまで、ニューラルコア１４０は、撮影制御のための処理として、連続撮影される複数の静止画に対して、第１の推論パラメータを用いたニューラルネットワーク処理を行う。そして、連続撮影が終了したことに応じて、ニューラルコア１４０に設定されている第１の推論パラメータが、第２の推論パラメータに切り替えられる。ニューラルコア１４０は、複数の静止画に対して、第２の推論パラメータを用いてニューラルネットワーク処理を行う。被写体が動体の場合、撮像装置１００が被写体の位置を見失わないように、連続撮影した静止画、あるいは、静止画の間のライブビュー画像を用いて、被写体の検出を行うことが望ましい。ゆえに、連続撮影モードでは、第２の推論パラメータを用いたニューラルネットワーク処理の開始が多少遅れることになるとしても、連続撮影が終了までは、ニューラルコア１４０に第１の推論パラメータを設定する。
次に、図３のＳ３０５の動画撮影処理について説明する。図６は、動画撮影処理の流れを示すフローチャートである。ＣＰＵ１０１は、撮影制御のための処理と画像の加工制御のための処理との何れの処理をニューラルコア１４０で実行するのかを判定する（Ｓ６０１）。Ｓ６０１の判定は、ユーザによる選択に応じて行われてもよい。Ｓ６０１の判定の詳細については、後述するが、ＡＩ優先モードとして、ユーザによって撮影優先が選択されれば、撮影制御のための処理が選択されたと判定し、記録優先が選択されれば、画像の加工制御のための処理が選択されたと判定する。Ｓ６０１で「撮影制御のための処理」が選択されたと判定された場合、ＣＰＵ１０１は、ニューラルコア１４０に第１の推論パラメータを通知する。そして、ニューラルコア１４０は、第１の推論パラメータを読み込む（Ｓ６０２）。ニューラルコア１４０は、撮影制御のための処理として、第１の推論パラメータを用いたニューラルネットワーク処理を行う（Ｓ６０３）。Ｓ６０３の処理はＳ４０２と同様である。ＣＰＵ１０１は動画撮影が開始されたか判定する（Ｓ６０４）。
Ｓ６０４でＮｏと判定された場合、フローはＳ６０３に戻る。Ｓ６０４でＹｅｓと判定された場合、ニューラルコア１４０は、動画撮影中における撮影制御のための処理として、第１の推論パラメータを用いたニューラルネットワーク処理を行う（Ｓ６０５）。
ＣＰＵ１０１は、動画撮影が終了したかを判定する（Ｓ６０６）。撮影が終了したかは、操作部１０４の動画撮影ボタンによる撮影が継続されているかに基づいて判定できる。Ｓ６０６でＮｏと判定された場合、フローは、Ｓ６０５に戻る。Ｓ６０６でＹｅｓと判定された場合、処理は終了する。
Ｓ６０１で「画像の加工制御のための処理」が選択されたと判定された場合、ＣＰＵ１０１は、ニューラルコア１４０に第２の推論パラメータを通知する。そして、ニューラルコア１４０は、第２の推論パラメータを読み込む（Ｓ６０７）。ＣＰＵ１０１は動画撮影が開始されたか判定する（Ｓ６０８）。
フローは、Ｓ６０８でＮｏであればＹｅｓになるまで待機し、ＹｅｓであればＳ６０９に進む。ニューラルコア１４０は、動画撮影中における画像の加工制御のための処理として、第２の推論パラメータを用いたニューラルネットワーク処理を行う（Ｓ６０９）。Ｓ６０９の処理はＳ４０９と同様である。
ＣＰＵ１０１は、動画撮影が終了したかを判定する（Ｓ６１０）。Ｓ６１０の判定は、Ｓ６０６の判定と同様である。Ｓ６１０でＮｏと判定された場合、フローは、Ｓ６０９に戻る。Ｓ６１０でＹｅｓと判定された場合、処理は終了する。
上述したように、動画撮影処理では、第１の推論パラメータを用いたニューラルネットワークの処理と第２の推論パラメータを用いたニューラルネットワークの処理とのうち何れか一方が行われる。ニューラルネットワークの処理における積和演算の演算量は多いことから、１枚の画像に対するニューラルネットワークの処理には、ある程度の時間を要する。一方、動画撮影は、フレームレートに応じて画像が順次取得されていく。従って、１つのニューラルコア１４０が、高速に取得される各画像に対して、第１の推論パラメータを用いたニューラルネットワークの処理と第２の推論パラメータを用いたニューラルネットワークの処理との両者を適用することは難しい。そこで、動画撮影モードに設定されている場合、露光前処理にニューラルネットワーク処理を適用するか、または露光後処理にニューラルネットワーク処理を適用するかが、ユーザ等により選択される。
図７は、優先モードを選択する画面例を示す図である。図７（Ａ）は、メニュー画面であり、表示部１１６に表示される画面である。メニュー画面は、複数の項目を有する。ユーザは、操作部１０４を操作して、カーソル２０１を移動させることで、設定を変更する項目を選択することができる。表示部１１６がタッチパネルディスプレイである場合、ユーザは、表示部１１６に対して、選択操作を行ってもよい。図７（Ａ）のメニュー画面で、「ＡＩ優先モード選択（動画）」を選択する操作が行われたとする。該操作に応じて、表示制御部１１５は、図７（Ｂ）の選択画面を表示部１１６に表示させる。
図７（Ｂ）の選択画面は、「撮影優先」と「記録優先」とのうち何れかを選択するための画面である。ユーザは、操作部１０４または表示部１１６に対してカーソル２０２の操作を行うことで、「撮影優先」と「記録優先」とのうち何れかを選択できる。「撮影優先」は、撮影制御のためにニューラルネットワーク処理を適用する場合に選択する項目である。「記録優先」は、画像の加工制御のためにニューラルネットワーク処理を適用する場合に選択する項目である。何れかの項目が選択された状態で、セットボタン２０３が押下されると、ＣＰＵ１０１は、ニューラルネットワーク処理を撮影制御のための処理と画像の加工制御のための処理とのうち何れに適用するかを認識する。これにより、ＣＰＵ１０１は、Ｓ６０１の判定を行うことができる。Ｓ６０１の判定は、図７の画面例を用いた選択以外の手法により行われてもよい。例えば、ユーザからの指示がない場合、ＣＰＵ１０１は、初期値として、ニューラルネットワーク処理を撮影制御のための処理に適用すると判定してもよい。また、ＣＰＵ１０１は、撮影制御のための処理と画像の加工制御のための処理とのうち、最後にユーザから指示があった方の処理にニューラルネットワーク処理を適用すると判定してもよい。
また、動画撮影時に適用される第１の推論パラメータを用いたニューラルネットワーク処理の演算量は、静止画撮影時に適用される第１の推論パラメータを用いたニューラルネットワーク処理の演算量より少なくてもよい。この場合、メモリ１０２または記録媒体１２０には、動画撮影に用いられる第１の推論パラメータと静止画撮影に用いられる第１の推論パラメータとが記憶される。上述したように、動画撮影では、所定のフレームレートで画像が取得されていく。このため、動画撮影の場合、取得される画像に対して、高速にニューラルネットワーク処理を行う必要がある。ここで、動画撮影時の第１の推論パラメータの演算量が少なければ、高いフレームレートによる動画撮影で取得される画像に対して、第１の推論パラメータを用いたニューラルネットワーク処理を行うことが可能になる。第２の推論パラメータも、第１の推論パラメータと同様である。つまり、動画撮影時に適用される第２の推論パラメータの演算量は、静止画撮影時に適用される第２の推論パラメータの演算量より少なくてもよい。
また、ＣＰＵ１０１は、第１の推論パラメータを用いたニューラルネットワークの処理の処理結果に応じて、複数の第２の推論パラメータから１つの第２の推論パラメータを選択してもよい。このとき、ＣＰＵ１０１は、第１の推論パラメータを用いたニューラルネットワークの処理の処理結果に応じて、複数の第２の推論パラメータから最も適切な第２の推論パラメータを選択してもよい。
例えば、第１の推論パラメータを用いたニューラルネットワーク処理により、被写体として人体が検出され、且つ撮影モードとしてポートレートモードであると判定されたとする。この場合、ＣＰＵ１０１は、第２の推論パラメータとして、被写体がソフト且つ明るくなるフィルタ処理または画像回復処理のための推論パラメータを選択する。ニューラルコア１４０は、選択された推論パラメータを用いてニューラルネットワーク処理を行う。一方、第１の推論パラメータを用いたニューラルネットワーク処理により、人体も特定の物体も検出されず、且つ風景モードであると判定されたとする。この場合、ＣＰＵ１０１は、第２の推論パラメータとして、被写体のコントラストと彩度とを強調するフィルタ処理または画像回復処理のための推論パラメータを選択する。
さらに、メモリ１０２または記録媒体１２０には、複数種類の第１の推論パラメータ、および、第２の推論パラメータに加えて、第３の推論パラメータが記憶されていてもよい。第３の推論パラメータは、静止画や動画を再生するためにニューラルネットワークを適用する場合に使用される学習済み係数パラメータである。ＣＰＵ１０１は、第１の推論パラメータを用いたニューラルネットワーク処理の処理結果に応じて、複数種類の第３の推論パラメータから１つの第３の推論パラメータを選択してもよい。再生処理としては、例えば、再生画像のフィルタ処理や再生画像から特定の被写体（物体や人物等）を検出する処理等がある。また、撮影が完了した後に自動的にプレビュー画像を表示する際に、第３の推論パラメータを用いるようにしてもよい。
以上説明したように、本実施形態によれば、それぞれの撮影モードに適したタイミングで、ニューラルコア１４０に設定される推論パラメータが、動的に切り替われる。これにより、ニューラルコア１４０に設定するニューラルネットワークを、状況に応じて、効率的に切り替えることができる。
＜第２実施形態＞
次に、第２実施形態について説明する。撮像装置１００の構成は第１実施形態と同様であるため、説明を省略する。図８は、第２実施形態のニューラルネットワーク処理部１０５の構成を示す図である。ニューラルネットワーク処理部１０５は、ニューラルコア１４０およびニューラルコア１５０を有する。ニューラルコア１４０は、ＣＰＵ１４１、積和演算回路１４２、ＤＭ１４３および内部メモリ１４４を有する。ニューラルコア１５０は、ＣＰＵ１５１、積和演算回路１５２、ＤＭ１５３および内部メモリ１５４を有する。
ニューラルネットワーク処理部１０５は、３つ以上のニューラルコア１４０を有していてもよい。また、図８の例では、各ニューラルコアはそれぞれ内部メモリを有しているが、ニューラルネットワーク処理部１０５は、各ニューラルコアが共通で使用する内部メモリを有していてもよい。さらに、第２実施形態では、ＣＰＵ１０１または表示制御部１１５の何れかを用いてニューラルネットワークの処理を実施してもよい。第２実施形態では、各推論パラメータは、複数の処理単位に分割されているものとする。各処理単位は、それぞれ処理内容が異なる。
例えば、撮影制御のための第１の推論パラメータが、被写体検出と撮影モードの判定とのニューラルネットワークの処理に適用される推論パラメータであるとする。この場合、第１の推論パラメータは、処理単位として、被写体検出に用いられる第１の推論パラメータと撮影モードの判定に用いられる第１の推論パラメータとを含む。また、画像の加工制御のための第２の推論パラメータが、画像回復処理と符号化処理とに適用される推論パラメータであるとする。この場合、第２の推論パラメータは、処理単位として、画像回復処理に用いられる第２の推論パラメータと符号化処理に用いられる第２の推論パラメータとを含む。
第２実施形態におけるニューラルネットワーク処理部１０５が行う全体的な処理の流れを、図９のフローチャートを参照して説明する。ＣＰＵ１０１は、メモリ１０２から読み出した第１の推論パラメータを、処理単位ごとに分けてＣＰＵ１４１とＣＰＵ１５１に通知する。通知を受けたＣＰＵ１４１はＤＭＡ１４３を制御して、被写体検出に用いられる第１の推論パラメータを読み出し、ＣＰＵ１５１はＤＭＡ１５３を制御して、撮影モードの判定に用いられる第１の推論パラメータを読み出す（Ｓ９０１）。
ＣＰＵ１０１は、ＣＰＵ１４１およびＣＰＵ１５１に対して、第１の推論パラメータを用いたニューラルネットワークの処理を実行させる旨の通知を行う。ＣＰＵ１４１およびＣＰＵ１５１は、ライブビュー画像を入力として、第１の推論パラメータを適用したニューラルネットワークの処理を行う（Ｓ９０２）。
次に、ＣＰＵ１０１は、操作部１０４のレリーズボタンが半押しされ、フォーカスの対象が確定しているかを判定する（Ｓ９０３）。Ｓ９０３でＹｅｓと判定された場合、フローは、Ｓ９０５に移行する。Ｓ９０３でＮｏと判定された場合、ＣＰＵ１０１は、レリーズボタンが半押しされていなくとも、フォーカスの対象が確定しているかを判定する（Ｓ９０４）。Ｓ９０４でＮｏと判定された場合、フローは、Ｓ９０２に戻る。
Ｓ９０３でＹｅｓと判定された場合、またはＳ９０４でＹｅｓと判定された場合、ＣＰＵ１０１は、メモリ１０２から読み出した第２の推論パラメータを、ＣＰＵ１５１のみに通知する。通知を受けたＣＰＵ１５１は、ＤＭＡ１５３を制御して、符号化処理に用いられる第２の推論パラメータを読み込む（Ｓ９０５）。読み込まれた第２の推論パラメータは、内部メモリ１５４に記憶される。これにより、ニューラルコア１５０に設定されている推論パラメータは、第１の推論パラメータから第２の推論パラメータに切り替えられる。このとき、ニューラルコア１４０に設定されている推論パラメータは、第１の推論パラメータのままである。
ＣＰＵ１４１は、ライブビュー画像を入力として、第１の推論パラメータを適用したニューラルネットワークの処理を行う（Ｓ９０６）。
ＣＰＵ１０１は、操作部１０４のレリーズボタンが全押しされたかを判定する（Ｓ９０７）。Ｓ９０７でＮｏと判定された場合、レリーズボタンが離されているか（半押しが解除されているか）、あるいは、フォーカスの対象の確定が解除されているかを判定する（Ｓ９０８）。レリーズボタンが離された場合、またはフォーカスの対象の確定が解除された場合は、ＣＰＵ１０１は、ＣＰＵ１５１に、撮影モードの判定に用いられる第１の推論パラメータを読み込ませる（Ｓ９０９）。そして、Ｓ９０２に戻る。レリーズボタンが離された場合、またはフォーカスの対象の確定が解除された場合は、すぐに静止画の撮影が行われる可能性が低いため、２つのニューラルコアで第１の推論パラメータによる撮影制御を行えるようにしている。反対に、Ｓ９０８でＮｏの場合は、フローは、Ｓ９０６に戻る。
Ｓ９０７でＹｅｓと判定された場合、ＣＰＵ１０１は静止画の撮影を行う（Ｓ９１０）。さらに、ＣＰＵ１５１は、Ｓ９１０で撮影した画像を入力として、第２の推論パラメータを適用したニューラルネットワークの処理を行う。これにより、画像の加工制御のための処理として、第２の推論パラメータを用いたニューラルネットワーク処理が行われる（Ｓ９１１）。
このように、フォーカス対象が確定する前には、ニューラルコア１４０およびニューラルコア１４０の両方に第１の推論パラメータが設定されている。そして、所定の条件であるフォーカスの対象が確定したことに応じて、ニューラルコア１５０に設定されている推論パラメータのみが、第１の推論パラメータから第２の推論パラメータに切り替えられる。これにより、ニューラルコア１５０は、第２の推論パラメータを用いたニューラルネットワーク処理を行うことができる。これにより、静止画の撮影後すぐに第２の推論パラメータを用いたニューラルネットワーク処理を開始することができる。
ここで、ニューラルコア１４０に設定されている推論パラメータは、第１の推論パラメータのままである。そのため、フォーカスの対象が確定する前よりも処理速度は低下するが、フォーカスの対象が確定した後に、ライブビュー画像を入力として、第１の推論パラメータを用いたニューラルネットワーク処理を行うことができる。なお、ここでは、第１の推論パラメータを処理単位ごとに分けてＣＰＵ１４１とＣＰＵ１５１に通知するとしたが、ＣＰＵ１４１とＣＰＵ１５１に、同じ第１の推論パラメータを通知するようにしてもよい。
ＣＰＵ１０１は、Ｓ９０５の後で、第１の推論パラメータを用いたニューラルネットワークの処理の速度が低下していることを示す情報を表示部１１６に表示させてもよい。上述したように、Ｓ９０２の段階では、ニューラルコア１４０とニューラルコア１５０との２つのニューラルコアが、第１の推論パラメータを用いたニューラルネットワーク処理を行っている。一方、Ｓ９０６の段階では、ニューラルコア１５０は、第１の推論パラメータを用いたニューラルネットワーク処理を行っているが、ニューラルコア１５０は、第２の推論パラメータに切り替えられ、静止画が撮影されるまで待機している。従って、Ｓ９０２の段階よりもＳ９０６の段階の方が、第１の推論パラメータを用いたニューラルネットワーク処理の処理速度は遅くなる。上記の情報が表示されることで、ユーザに、被写体検出と撮影モードの判定の速度が遅くなったことについて、違和感を与えにくくなる。
なお、図９のフローチャートは、連続撮影処理においても用いることができる。図１０は、連続撮影処理におけるフローチャートである。図１０の連続撮影処理においては、Ｓ９１０までは、図９の静止画撮影処理と同じ処理を行う。Ｓ９０７でＹｅｓと判定され、Ｓ９１０でＣＰＵ１０１が静止画の撮影を行うと、ＣＰＵ１０１は、連続撮影が完了したか否かを判定する（Ｓ１０１１）。なお、撮像装置１００が撮影した静止画は、全て、メモリ１０２または記録媒体１２０に一時的に記憶されていくものとする。
Ｓ１０１１でＮｏと判定された場合、ＣＰＵ１４１は、静止画、あるいは、静止画の後に得られたライブビュー画像を入力として、第１の推論パラメータを適用したニューラルネットワークの処理を行ってから（Ｓ１０１２）、次の静止画撮影を行う（Ｓ９１０）。
Ｓ１０１１でＹｅｓと判定された場合、ＣＰＵ１５１は、Ｓ９１０で撮影した画像を入力として、第２の推論パラメータを適用したニューラルネットワークの処理を行う。これにより、画像の加工制御のための処理として、第２の推論パラメータを用いたニューラルネットワーク処理が行われる（Ｓ１０１３）。ＣＰＵ１０１は、メモリ１０２または記録媒体１２０に一時的に記憶された静止画の全てに対して、Ｓ１０１３の処理を実行すると、処理は終了する。
次に、第２実施形態の動画撮影処理について説明する。ＣＰＵ１０１は、ニューラルコア１４０に第１の推論パラメータの通知を行い、ニューラルコア１５０に第２の推論パラメータの通知を行う。ニューラルコア１４０は、一部の処理部に対応し、ニューラルコア１５０は、他の処理部に対応する。ニューラルコア１４０は、第１の推論パラメータを読み込む（Ｓ１１０１）。これにより、ニューラルコア１４０に第１の推論パラメータが設定される。また、ニューラルコア１５０は、第２の推論パラメータを読み込む（Ｓ１１０２）。これにより、ニューラルコア１５０に第２の推論パラメータが設定される。Ｓ１１０１より先にＳ１１０２が行われてもよいし、Ｓ１１０１とＳ１１０２とは同時に行われてもよい。
ニューラルコア１４０は、ＣＰＵ１０１からの通知に基づき、ライブビュー画像を入力画像として、第１の推論パラメータを用いたニューラルネットワーク処理（撮影制御のための処理）を行う（Ｓ１１０３）。
動画撮影が開始されると（Ｓ１１０４）、ニューラルコア１４０は、動画の各フレーム画像を入力画像として、第１の推論パラメータを用いたニューラルネットワーク処理（撮影制御のための処理）を行う（Ｓ１１０５）。また、ニューラルコア１５０は、動画の各フレーム画像を入力画像として、第２の推論パラメータを用いたニューラルネットワーク処理（画像の加工制御のための処理）を行う（Ｓ１１０６）。Ｓ１１０５より先にＳ１００６が行われてもよいし、Ｓ１１０５とＳ１１０６とは同時に行われてもよい。ＣＰＵ１０１は、撮影終了の指示があったかを判定する（Ｓ１１０７）。Ｓ１１０７でＮｏと判定された場合、動画撮影は終了していないため、フローは、Ｓ１１０５に戻る。Ｓ１１０７でＹｅｓと判定された場合、動画撮影は終了したため、処理は終了する。
動画撮影処理では、複数のニューラルコアを用いて、第１の推論パラメータを用いたニューラルネットワーク処理と第２の推論パラメータを用いたニューラルネットワーク処理とが並列に行われる。これにより、動画撮影において、撮影制御のための処理と画像の加工制御のための処理とを並列に行うことができる。
＜他の実施形態＞
上述した各実施形態では、撮像装置１００がＣＰＵ１０１およびニューラルネットワーク処理部１０５を有している例について説明した。撮像装置１００に搭載可能なニューラルコアの回路規模には限りがある。従って、撮像装置１００において、上述した各実施形態の制御が行われることで、少ないハードウェア資源のニューラルコアを有効活用できる。一方、上述した各実施形態は、撮像装置１００だけでなく、所定の情報処理装置に適用することができる。
例えば、所定の情報処理装置としてエッジコンピュータを適用できる。この場合、エッジコンピュータは、ＣＰＵ１０１およびニューラルネットワーク処理部１０５の機能を有する。撮像装置１００は、撮影した画像を、通信部１１８を介して、エッジコンピュータに送信する。エッジコンピュータは、上述した各実施形態の処理を行い、処理結果を撮像装置１００に送信する。そして、処理結果は、記録媒体１２０に記録される。この場合、情報処理装置は、取得手段および出力手段の機能を有する。撮像装置１００とエッジコンピュータとが高速通信が可能な場合、各実施形態の処理は、エッジコンピュータにより実行されてもよい。また、各実施形態の処理は、エッジコンピュータではなく、例えば、クラウドサーバ等により実行されてもよい。或いは、各実施形態の処理は、スマートフォン等のスマートデバイスにより実行されてもよい。
また、図１に示されるように、撮像装置１００は、外部機器２１７と通信可能である。従って、各実施形態の処理の一部が外部機器２１７により実行されてもよい。撮像装置１００が、ニューラルネットワーク処理部１０５を有している場合、各推論パラメータは、必要に応じて、撮像装置１００が、外部機器２１８から取得してもよい。
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１００ 撮像装置
１０１ ＣＰＵ
１０５ ニューラルネットワーク処理部
１１６ 表示部
１２０ 記録媒体
１４０ ニューラルコア
１４２ 積和演算回路
１５０ ニューラルコア
１５２ 積和演算回路

Claims (20)

  1. ニューラルネットワークの演算処理を行う処理部と、
    画像を撮影するための撮影制御のための処理に適用される第１の推論パラメータと前記画像の加工制御のための処理に適用される第２の推論パラメータとを前記処理部に設定することが可能な制御手段と、を備え、
    前記制御手段は、前記画像の撮影準備指示を受け付けたことに応じて、またはフォーカスの対象が確定したことに応じて、前記処理部に設定されている前記第１の推論パラメータを前記第２の推論パラメータに切り替えることを特徴とする情報処理装置。
  2. 前記制御手段は、前記画像の連続撮影を行う設定がされている場合、前記連続撮影が終了してから、前記第１の推論パラメータを前記第２の推論パラメータに切り替えることを特徴とする請求項１に記載の情報処理装置。
  3. 前記制御手段は、動画を撮影する設定がされている場合、前記第１の推論パラメータと前記第２の推論パラメータとのうち何れか一方を前記処理部に設定することを特徴とする請求項１に記載の情報処理装置。
  4. 前記動画の撮影に適用される前記第１の推論パラメータおよび前記第２の推論パラメータを用いたニューラルネットワークの処理の演算量は、静止画に適用される前記第１の推論パラメータおよび前記第２の推論パラメータを用いたニューラルネットワークの処理の演算量より少ないことを特徴とする請求項３に記載の情報処理装置。
  5. 表示部、をさらに備え、
    前記制御手段は、前記撮影制御のための処理と前記画像の加工制御のための処理との何れを優先させるかを選択するための画面を前記表示部に表示し、選択された処理に応じて、前記第１の推論パラメータまたは前記第２の推論パラメータを前記処理部に設定することを特徴とする請求項３または４に記載の情報処理装置。
  6. 前記制御手段は、前記撮影準備指示が解除された場合、または前記フォーカスの対象の確定が解除された場合、前記第２の推論パラメータを前記第１の推論パラメータに切り替えることを特徴とする請求項１に記載の情報処理装置。
  7. 前記制御手段は、記録された画像または動画を再生する設定がされている場合、前記第１の推論パラメータまたは前記第２の推論パラメータを、画像の再生処理に適用される第３の推論パラメータに切り替えることを特徴とする請求項１乃至６のうち何れか１項に記載の情報処理装置。
  8. ニューラルネットワークの演算処理を行う複数の処理部と、
    画像を撮影するための撮影制御のための処理に適用される第１の推論パラメータと前記画像の加工制御のための処理に適用される第２の推論パラメータとを前記ニューラルネットワークに設定することが可能な制御手段と、を備え、
    前記制御手段は、所定の条件を満たしたことに応じて、前記複数の処理部のうち一部の処理部に設定されている前記第１の推論パラメータを前記第２の推論パラメータに切り替えることを特徴とする情報処理装置。
  9. 前記所定の条件は、前記画像の撮影準備指示を受け付けたとき、またはフォーカスの対象が確定したときに満たされることを特徴とする請求項８に記載の情報処理装置。
  10. 表示部、をさらに備え、
    前記制御手段は、前記第１の推論パラメータを適用したニューラルネットワークの処理の速度が低下したことを示す情報を前記表示部に表示させることを特徴とする請求項８または９に記載の情報処理装置。
  11. 前記制御手段は、動画を撮影する設定がされている場合、前記複数の処理部のうち一部の処理部に前記第１の推論パラメータを設定し、他の処理部に前記第２の推論パラメータを設定することを特徴とする請求項９または１０に記載の情報処理装置。
  12. 前記制御手段は、前記第１の推論パラメータを用いたニューラルネットワークの処理の処理結果に応じて、複数の前記第２の推論パラメータのうち何れか１つを選択することを特徴とする請求項１乃至１１のうち何れか１項に記載の情報処理装置。
  13. ニューラルネットワークの演算処理を行う処理部と、
    画像を撮影するための撮影制御のための処理に適用される第１の推論パラメータと前記画像の加工制御のための処理に適用される第２の推論パラメータとを前記処理部に設定することが可能な制御手段と、を備え、
    前記制御手段は、撮影モードに応じて、前記第１の推論パラメータを前記第２の推論パラメータに切り替えるタイミングを異ならせることを特徴とする情報処理装置。
  14. 前記制御手段は、静止画を撮影するモードでは、撮影の開始が指示される前に前記第１の推論パラメータを前記第２の推論パラメータに切り替え、静止画を連続撮影するモードでは、連続撮影が完了してから、前記第１の推論パラメータを前記第２の推論パラメータに切り替えることを特徴とする請求項１３に記載の情報処理装置。
  15. 前記処理部が行った処理結果を、前記画像を撮影した撮像装置に出力する出力手段、を備えることを特徴とする請求項１乃至１４のうち何れか１項に記載の情報処理装置。
  16. 前記画像を撮影する撮像部と、
    請求項１乃至１４の何れか１項に記載の情報処理装置を有することを特徴とする撮像装置。
  17. ニューラルネットワークの演算処理を行う処理部を有する情報処理装置の制御方法であって、
    画像を撮影するための撮影制御のための処理に適用される第１の推論パラメータと前記画像の加工制御のための処理に適用される第２の推論パラメータとを前記処理部に設定することが可能であり、前記画像の撮影準備指示を受け付けたことに応じて、またはフォーカスの対象が確定したことに応じて、前記処理部に設定されている前記第１の推論パラメータを前記第２の推論パラメータに切り替えることを特徴とする制御方法。
  18. ニューラルネットワークの演算処理を行う複数の処理部を有する情報処理装置の制御方法であって、
    画像を撮影するための撮影制御のための処理に適用される第１の推論パラメータと前記画像の加工制御のための処理に適用される第２の推論パラメータとを前記ニューラルネットワークに設定することが可能であり、所定の条件を満たしたことに応じて、前記複数の処理部のうち一部の処理部に設定されている前記第１の推論パラメータを前記第２の推論パラメータに切り替えることを特徴とする制御方法。
  19. ニューラルネットワークの演算処理を行う処理部を有する情報処理装置の制御方法であって、
    画像を撮影するための撮影制御のための処理に適用される第１の推論パラメータと前記画像の加工制御のための処理に適用される第２の推論パラメータとを前記処理部に設定することが可能であり、撮影モードに応じて、前記第１の推論パラメータを前記第２の推論パラメータに切り替えるタイミングを異ならせることを特徴とする制御方法。
  20. 請求項１乃至１５のうち何れか１項に記載の情報処理装置の各手段をコンピュータに実行させるためのプログラム。
JP2019138934A 2019-07-29 2019-07-29 情報処理装置、撮像装置、制御方法およびプログラム Active JP7353847B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2019138934A JP7353847B2 (ja) 2019-07-29 2019-07-29 情報処理装置、撮像装置、制御方法およびプログラム
GB2011198.5A GB2590095B (en) 2019-07-29 2020-07-20 An information processing apparatus that performs arithmetic processing of a neural network, and an image pickup apparatus, control method, and storage medium
US16/934,130 US11496682B2 (en) 2019-07-29 2020-07-21 Information processing apparatus that performs arithmetic processing of neural network, and image pickup apparatus, control method, and storage medium
DE102020119696.2A DE102020119696A1 (de) 2019-07-29 2020-07-27 Informationsverarbeitungsvorrichtung, die eine Arithmetikverarbeitung eines neuronalen Netzwerks durchführt, und Bildaufnahmevorrichtung, Steuerverfahren und Speichermedium
CN202010738818.9A CN112312007A (zh) 2019-07-29 2020-07-28 信息处理设备、摄像设备、控制方法和存储介质
US17/848,656 US11659275B2 (en) 2019-07-29 2022-06-24 Information processing apparatus that performs arithmetic processing of neural network, and image pickup apparatus, control method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019138934A JP7353847B2 (ja) 2019-07-29 2019-07-29 情報処理装置、撮像装置、制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2021022862A JP2021022862A (ja) 2021-02-18
JP7353847B2 true JP7353847B2 (ja) 2023-10-02

Family

ID=72339105

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019138934A Active JP7353847B2 (ja) 2019-07-29 2019-07-29 情報処理装置、撮像装置、制御方法およびプログラム

Country Status (5)

Country Link
US (2) US11496682B2 (ja)
JP (1) JP7353847B2 (ja)
CN (1) CN112312007A (ja)
DE (1) DE102020119696A1 (ja)
GB (1) GB2590095B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7129678B1 (ja) * 2021-12-24 2022-09-02 パナソニックＩｐマネジメント株式会社 撮像装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008060989A (ja) 2006-08-31 2008-03-13 Noritsu Koki Co Ltd 撮影画像補正方法及び撮影画像補正モジュール
JP2018060268A (ja) 2016-10-03 2018-04-12 株式会社日立製作所 認識装置および学習システム
WO2018203169A1 (ja) 2017-05-02 2018-11-08 株式会社半導体エネルギー研究所 撮像装置、及び電子機器

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2761391B2 (ja) * 1988-10-04 1998-06-04 オリンパス光学工業株式会社 焦点検出装置
JP3187861B2 (ja) * 1991-05-24 2001-07-16 オリンパス光学工業株式会社 自動焦点装置
JP3925476B2 (ja) 2003-08-08 2007-06-06 セイコーエプソン株式会社 撮影場面の判定および撮影場面に応じた画像処理
JP2005202562A (ja) 2004-01-14 2005-07-28 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP5053731B2 (ja) 2007-07-03 2012-10-17 キヤノン株式会社 画像表示制御装置及び画像表示制御方法及びプログラム及び記録媒体
JP2009078069A (ja) 2007-09-27 2009-04-16 Hoya Corp 内視鏡システムおよび撮影システム
CN103841323A (zh) * 2014-02-20 2014-06-04 小米科技有限责任公司 配置拍摄参数的方法、装置和终端设备
CN106060408B (zh) * 2016-07-29 2019-10-15 维沃移动通信有限公司 一种拍照方法及移动终端
JP7169094B2 (ja) * 2017-06-01 2022-11-10 株式会社東芝 画像処理システム及び医用情報処理システム
GB2570792B (en) 2017-12-26 2020-09-30 Canon Kk Image capturing apparatus, method of controlling the same, and storage medium
CN110012210B (zh) * 2018-01-05 2020-09-22 Oppo广东移动通信有限公司 拍照方法、装置、存储介质及电子设备
JP2019138934A (ja) 2018-02-06 2019-08-22 コニカミノルタ株式会社 静電潜像現像用トナー
JP2019146022A (ja) * 2018-02-21 2019-08-29 オリンパス株式会社 撮像装置及び撮像方法
JP2019215489A (ja) * 2018-06-14 2019-12-19 オリンパス株式会社 撮像装置および焦点調節方法
CN109344715A (zh) 2018-08-31 2019-02-15 北京达佳互联信息技术有限公司 智能构图控制方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008060989A (ja) 2006-08-31 2008-03-13 Noritsu Koki Co Ltd 撮影画像補正方法及び撮影画像補正モジュール
JP2018060268A (ja) 2016-10-03 2018-04-12 株式会社日立製作所 認識装置および学習システム
WO2018203169A1 (ja) 2017-05-02 2018-11-08 株式会社半導体エネルギー研究所 撮像装置、及び電子機器

Also Published As

Publication number Publication date
GB2590095A (en) 2021-06-23
JP2021022862A (ja) 2021-02-18
US11659275B2 (en) 2023-05-23
US11496682B2 (en) 2022-11-08
CN112312007A (zh) 2021-02-02
DE102020119696A1 (de) 2021-02-04
US20210037185A1 (en) 2021-02-04
US20220321783A1 (en) 2022-10-06
GB2590095B (en) 2023-10-18
GB202011198D0 (en) 2020-09-02

Similar Documents

Publication Publication Date Title
US11743583B2 (en) Imaging apparatus and setting screen thereof
JP4645685B2 (ja) カメラ、カメラ制御プログラム及び撮影方法
JP4702401B2 (ja) カメラ、カメラ制御プログラム及びカメラ制御方法
JP6652039B2 (ja) 撮像装置、撮像方法及びプログラム
JP7453772B2 (ja) 情報処理装置及びその制御方法、撮像装置システム、プログラム
JP6460868B2 (ja) 表示制御装置およびその制御方法
JP2021093568A (ja) 撮像装置、情報処理装置、及びこれらの制御方法並びにプログラム、学習済みモデル選択システム
JP7353847B2 (ja) 情報処理装置、撮像装置、制御方法およびプログラム
JP5950755B2 (ja) 画像処理装置、制御方法、プログラム及び記憶媒体
JP2013175824A (ja) 電子カメラ
JP4788172B2 (ja) 撮像装置及びプログラム
CN107295247B (zh) 图像记录装置及其控制方法
JP7458806B2 (ja) 画像処理装置および画像処理方法
JP6702792B2 (ja) 画像処理装置およびその制御方法
JP5170217B2 (ja) カメラ、カメラ制御プログラム及び撮影方法
JP5906846B2 (ja) 電子カメラ
WO2023210334A1 (ja) 画像処理装置、撮像装置及びそれらの制御方法
JP6871795B2 (ja) 撮像装置、その制御方法、プログラム及び記録媒体
JP7213657B2 (ja) 撮像装置及びその制御方法及びプログラム
JP6188484B2 (ja) 電子機器、その制御方法及びプログラム並びに記憶媒体
JP2023058934A (ja) 撮像システム、撮像装置、情報処理サーバー、撮像方法、情報処理方法、及びコンピュータプログラム
JP2023110541A (ja) 撮像システム、撮像装置、情報処理サーバー、撮像方法、情報処理方法、及びコンピュータプログラム
US20170324904A1 (en) Image pickup apparatus that shoots moving image for predetermined time period at the time of shooting still image, control method for the image pickup apparatus, and storage medium
JP2013030949A (ja) 電子機器、撮像装置およびプログラム
JP2017168984A (ja) 撮像装置及び撮像装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230920

R151 Written notification of patent or utility model registration

Ref document number: 7353847

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151