JP7395910B2 - 情報処理装置、電子機器、端末装置、情報処理システム、情報処理方法及びプログラム - Google Patents

Description

本開示は、情報処理装置、電子機器、端末装置、情報処理システム、情報処理方法及びプログラムに関する。

デジタルカメラやデジタルビデオカメラ等に代表される電子機器には、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像装置が搭載される。撮像装置は、自動的に焦点調整を行うオートフォーカス（ＡＦ）機能を有する。オートフォーカスでは、レンズを駆動させることで、焦点が適切に調整されて、ピントの合った（合焦した）画像を取得することが可能になる。

特開２０１７－００５４４３号公報

しかしながら、従来のオートフォーカスでは、対象となる被写体によって、必ずしもユーザが望んだ通りの箇所に自動的に焦点調整されるとは限らなかった。この場合、撮影時にユーザが焦点調整のための操作をしなければならず、ユーザは構図やシャッターチャンスに専念して撮影することができなかった。そのため、撮影時にユーザが焦点調整のための操作をしなくても、ユーザが望んだ通りの箇所に自動的に焦点調整されるように、オートフォーカス機能を向上させる技術が求められている。

そこで、本開示では、オートフォーカス機能を向上させることができる情報処理装置、電子機器、端末装置、情報処理システム、情報処理方法及びプログラムを提案する。

本開示に係る情報処理装置は、画像データを収集する収集部と、収集部で収集された複数の画像データを用い、画像データに含まれる被写体位置を抽出し、画像データと被写体位置との関係について学習処理を行い、画像データから被写体を特定して焦点位置を特定する自動焦点調整用の学習済モデルを作成する学習部と、学習部で作成された学習済モデルを要求した機器に出力する出力部とを備える。

本開示に係る電子機器は、自動焦点調整用の学習済モデルを記憶する記憶部と、記憶部に記憶された学習済モデルに基づいて自動焦点調整を実施する制御部と、制御部からの制御に応じて被写体の所定の部位に合焦する光学系とを備える。

本開示に係る端末装置は、情報処理装置と通信可能な通信部と、通信部を介して、情報処理装置から自動焦点調整用の学習済モデルを取得する制御部と、情報処理装置から取得した学習済モデルを、学習済モデルに基づいて自動焦点調整を実施する電子機器に提供する提供部とを備える。

本開示に係る情報処理システムは、情報処理装置と、端末装置と、電子機器とを含む。情報処理装置は、画像データを収集し、収集された複数の画像データを用い、画像データに含まれる被写体位置を抽出し、画像データと被写体位置との関係について学習処理を行い、画像データから被写体を特定して焦点位置を特定する自動焦点調整用の学習済モデルを作成し、学習済モデルを要求した機器に出力する。端末装置は、情報処理装置から画像データに基づく学習済モデルを取得する。電子機器は、端末装置から学習済モデルを取得し、学習済モデルに基づいて自動焦点調整を実施する。

本開示に係る情報処理システムは、情報処理装置と、電子機器とを含む。情報処理装置は、画像データを収集し、収集された複数の画像データを用い、画像データに含まれる被写体位置を抽出し、画像データと被写体位置との関係について学習処理を行い、画像データから被写体を特定して焦点位置を特定する自動焦点調整用の学習済モデルを作成し、学習済モデルを要求した機器に出力する。電子機器は、情報処理装置から自動焦点調整用の学習済モデルを取得し、学習済モデルに基づいて自動焦点調整を実施する。

本開示に係る情報処理方法は、画像データを収集することと、収集された複数の画像データを用いて学習処理を行い、画像データから被写体を特定して焦点位置を特定する自動焦点調整用の学習済モデルを作成することと、作成された学習済モデルを要求した機器に出力することとを含む。

本開示に係るプログラムは、画像データを収集する処理と、収集された複数の画像データを用い、画像データに含まれる被写体位置を抽出し、画像データと被写体位置との関係について学習処理を行い、画像データから被写体を特定して焦点位置を特定する自動焦点調整用の学習済モデルを作成する処理と、作成された学習済モデルを要求した機器に出力する処理とをコンピュータに実行させる。

本開示の第１実施形態に係る情報処理システムの構成の一例を示すブロック図である。 本開示の第１実施形態に係る電子機器及び端末装置の構成の一例を示すブロック図である。 本開示の第１実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本開示の第１実施形態に係る学習済モデル導入の手順の一例を示すフローチャートである。 本開示の第１実施形態に係る撮影画像確認の手順の一例を示すフローチャートである。 動物の体の色や模様の度合いとＡＦ検出率との関係について説明するための図である。 画像データ及びその集計状況を公開するＷｅｂ画面について説明するための図である。 動物の画像に対してＡＦポイント（測距点）を指定する事例について説明するための図である。 乗り物の画像に対してＡＦポイントを指定する事例について説明するための図である。 学習済モデルに基づくオートフォーカスの検出度合いの確認について説明するための図である。 画像データのアップロード前のＡＦポイント指定の手順の一例を示すフローチャートである。 モデル用ネットワーク学習に用いる画像データの一部を、アノテーション用の一般的なネットワーク学習に流用する事例について説明するための図である。 本開示の第２実施形態に係る情報処理システムの構成の一例を示すブロック図である。 本開示の第２実施形態に係る電子機器の構成の一例を示すブロック図である。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

なお、説明は以下の順序で行うものとする。
［１．第１実施形態］
［１－１．第１実施形態に係るシステムの構成］
［１－１－１．第１実施形態に係る電子機器の構成］
［１－１－２．第１実施形態に係る端末装置の構成］
［１－１－３．第１実施形態に係る情報処理装置の構成］
［１－２．第１実施形態に係る学習済モデル導入の手順］
［１－３．第１実施形態に係る撮影画像確認の手順］
［１－４．第１実施形態の変形例（１）］
［１－４－１．画像データのアップロード前のＡＦポイント指定］
［１－５．第１実施形態の変形例（２）］
［１－５－１．学習の半自動化］
［２．第２実施形態］
［２－１．第２実施形態に係るシステムの構成］
［２－１－１．第２実施形態に係る電子機器の構成］
［２－２．第２実施形態に係る学習済モデル導入の手順］
［３．むすび］

［１．第１実施形態］
［１－１．第１実施形態に係るシステムの構成］
図１は、本開示の第１実施形態に係る情報処理システムの構成の一例を示すブロック図である。図１に示すように、情報処理システム１００は、電子機器１と、端末装置２０と、情報処理装置３０と、を含む。電子機器１及び端末装置２０はユーザ側に存在し、情報処理装置３０はネットワーク側に存在する。

電子機器１は、静止画、動画を含む画像を撮影する機能を有する機器である。電子機器１は、例えば、デジタルカメラ、デジタルビデオカメラ、Ｗｅｂカメラ、撮像機能付きのスマートフォン、タブレット端末又は携帯型ゲーム機等である。電子機器１は、監視カメラや車載用カメラ、医療用のカメラ等でもよい。電子機器１は、オートフォーカス（ＡＦ：自動焦点調整）機能を有し、撮影の際に被写体に自動的にピントを合わせる（合焦する）。電子機器１は、ＵＳＢ(Universal Serial Bus)やＳＤ（Secure Digital）メモリカードを介して、あるいは有線通信、無線通信により、端末装置２０との間で各種データのやり取りを行う。本実施形態の電子機器１は、端末装置２０からオートフォーカス用の学習済モデルＭＤを受け取る。電子機器１は、端末装置２０に画像データを提供する。

端末装置２０は、例えば、デスクトップパソコン（ＰＣ）やノートパソコン、スマートフォン、タブレット端末、デジタルテレビや映像録画再生機等のＡＶ機器、又は家庭用ゲーム機（据置型ゲーム機）等のコンピュータである。端末装置２０は、演算処理機能、記憶機能、出力機能、通信機能等を備える。端末装置２０は、ネットワークＮＷを介して情報処理装置３０との間で各種データの送受信を行う。本実施形態では、端末装置２０は、情報処理装置３０から学習済モデルＭＤをダウンロードする。また、端末装置２０は、ダウンロードした学習済モデルＭＤを電子機器１に出力する。また、端末装置２０は、情報処理装置３０に画像データを出力する。

情報処理装置３０は、例えば、ＰＣサーバやＧＰＵ（Graphics Processing Unit）サーバ等のサーバ、あるいはメインフレーム又はワークステーション等である。また、情報処理装置３０は、分散コンピューティングやクラウドコンピューティングを実現する複数台のサーバのうちの一台でもよい。情報処理装置３０は、電子機器１及び端末装置２０よりも高性能である。情報処理装置３０は、ネットワークＮＷ経由で電子機器１及び端末装置２０に各種サービスを提供する。本実施形態では、情報処理装置３０は、ネットワークＮＷ経由でアクセス可能な状態で学習済モデルＭＤをＷｅｂ上に公開し、当該学習済モデルＭＤを要求した機器に出力する。また、情報処理装置３０は、ネットワークＮＷ経由で各種画像データを収集することもできる。

［１－１－１．第１実施形態に係る電子機器の構成］
図２は、本開示の第１実施形態に係る電子機器及び端末装置の構成の一例を示すブロック図である。図２に示すように、電子機器１は、光学系２と、制御部３と、撮像素子４と、画像処理部５と、メモリ６と、記憶部７と、表示部８と、Ｉ／Ｆ部９と、入力デバイス１０と、を備える。

光学系２は、１枚又は複数枚のレンズの組み合わせによる主レンズと、主レンズを駆動するための機構と、を含み、被写体ＯＢＪからの像光（入射光）を、主レンズを介して撮像素子４の受光面上に結像させる。また、光学系２は、制御信号に従いフォーカスを調整するオートフォーカス機構や、制御信号に従いズーム率を変更するズーム機構を備える。また、電子機器１は、光学系２を着脱可能とし、他の光学系２と交換できるようにしてもよい。

撮像素子４は、例えば格子状の配列で配置される複数の光電変換素子を含む。光電変換素子は、受光した光を光電変換にて電荷に変換する。撮像素子４は、この複数の光電変換素子を駆動する駆動回路と、複数の光電変換素子それぞれから電荷を読み出し、読み出した電荷に基づきＲＡＷデータ（未加工の画像データ）を生成する信号処理回路と、を含む。

画像処理部５は、例えば画像処理エンジン等であって、撮像素子４から出力されたＲＡＷデータに対して所定の画像処理を実行する。例えば、画像処理部５は、ＲＡＭ(Random Access Memory)等のメモリ６が接続され、撮像素子４から出力されたＲＡＷデータをメモリ６に書き込む。また、画像処理部５は、メモリ６に書き込まれたＲＡＷデータに対して所定の画像処理を実行し、画像処理により生成された画像データをメモリ６に書き込む。また、電子機器１ではなく端末装置２０がＲＡＷデータに対して所定の画像処理を実行する場合には、画像処理部５は、Ｉ／Ｆ部９を介して端末装置２０にＲＡＷデータを提供してもよい。

記憶部７は、例えばフラッシュメモリ（Flash Memory）等の不揮発性メモリであって、画像処理部５から出力されたＲＡＷデータや画像データを永続的に記憶する。表示部８は、例えばＬＣＤ(Liquid Crystal Display)やＯＥＬＤ（Organic Electro-Luminescence Display）等を用いた表示デバイスと、当該表示デバイスを駆動する駆動回路と、を含み、画像処理部５から出力された画像データに基づく画像を表示することができる。Ｉ／Ｆ部９は、端末装置２０との間で各種データをやり取りするためのインタフェースである。Ｉ／Ｆ部９としては、例えばＵＳＢポートやＳＤメモリカードスロット等を適用することができる。また、Ｉ／Ｆ部９は、有線通信又は無線通信により通信可能なインタフェースであってもよい。例えば、Ｉ／Ｆ部９は、近距離無線通信規格に対応したインタフェースであってもよい。

入力デバイス１０は、ユーザ入力を受け付けるための操作子等を含む。電子機器１が例えばデジタルカメラ、デジタルビデオカメラ、撮像機能付きの携帯電話やスマートフォン、タブレット端末、携帯型ゲーム機等であれば、入力デバイス１０は、撮像素子４による撮像を指示するためのシャッタボタン、あるいは、シャッタボタンの機能を実現するための操作子を含むことができる。

制御部３は、例えばＣＰＵ(Central Processing Unit)等のプロセッサであって、ＲＯＭ(Read Only Memory)に予め記憶されたプログラムに従い、キャッシュメモリ又はＲＡＭをワークメモリとして用いて、この電子機器１の全体の動作を制御する。なお、制御部３は、一部又は全部がＳｏＣ（System-on-a-chip）、ＡＳＩＣ（Application Specific Integrated Circuit）又は（Field Programmable Gate Array）等のハードウェアで構成されてもよい。例えば、制御部３は、入力デバイス１０に受け付けられたユーザ入力に応じて、電子機器１の動作を制御することができる。また、制御部３は、記憶部７に記憶されたＲＡＷデータや画像データを、Ｉ／Ｆ部９を介して端末装置２０に提供することができる。また、制御部３は、Ｉ／Ｆ部９を介して端末装置２０から提供された学習済モデルＭＤを記憶部７に記憶し、記憶部７に記憶された学習済モデルＭＤに基づいて光学系２のオートフォーカス機構を制御することができる。

［１－１－２．第１実施形態に係る端末装置の構成］
図２に示すように、端末装置２０は、Ｉ／Ｆ部２１と、ＡＳ制御部２２と、ＡＳ記憶部２３と、通信部２４と、入力部２５と、表示部２６と、を備える。

Ｉ／Ｆ部２１は、電子機器１のＩ／Ｆ部９との間で各種データをやり取りするためのインタフェースである。すなわち、Ｉ／Ｆ部２１は、Ｉ／Ｆ部９に対応するインタフェースである。Ｉ／Ｆ部２１の例については、Ｉ／Ｆ部９と同様である。

ＡＳ制御部２２は、例えばＣＰＵ等のプロセッサであって、ＡＳ記憶部２３に予め記憶されたプログラムに従い、キャッシュメモリ又はＲＡＭをワークメモリとして用いて、この端末装置２０の全体の動作を制御する。また、ＡＳ制御部２２は、情報処理装置３０と画像データのやり取りを行うための専用アプリケーションソフトウェアＡＳを実行し、情報処理装置３０にアップロードする画像データの登録を行う。さらに、ＡＳ制御部２２は、情報処理装置３０から学習済モデルＭＤをダウンロードする。

ＡＳ記憶部２３は、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等のストレージ装置、又はフラッシュメモリ等の不揮発性メモリであって、ＡＳ制御部２２で実行される専用アプリケーションソフトウェアＡＳや、情報処理装置３０にアップロードする画像データ等を記憶する。ＡＳ記憶部２３は、端末装置に内蔵されていてもよいし、外付けの記憶装置であってもよい。また、ＡＳ記憶部２３は、光ディスク等の記憶媒体（メディア）と、その駆動装置（ドライブ）との組合せであってもよい。例えば、専用アプリケーションソフトウェアＡＳは、光ディスク等の記憶媒体に記憶されていてもよい。

通信部２４は、有線通信又は無線通信によりネットワークＮＷに接続可能なインタフェースである。通信部２４としては、例えばＮＩＣ（Network Interface Card）等のネットワークアダプタやアンテナ等を適用することができる。

入力部２５は、例えばキーボードやマウス、キーパッド、その他のボタン等の入力装置であって、ユーザの入力操作に応じた信号をＡＳ制御部２２に出力する。また、入力部２５は、表示部２６に表示されたソフトウェアキーや、表示部２６と連携したタッチパネルであってもよい。表示部２６は、例えばＧＰＵ等の画像処理プロセッサと、ＬＣＤやＯＥＬＤ等の表示装置と、を含み、ＡＳ制御部２２からの出力信号に応じて、画像等を表示する。

［１－１－３．第１実施形態に係る情報処理装置の構成］
図３は、本開示の第１実施形態に係る情報処理装置の構成の一例を示すブロック図である。図３に示すように、情報処理装置３０は、通信部３１と、制御部３２と、記憶部３３と、を備える。

通信部３１は、有線通信又は無線通信によりネットワークＮＷに接続可能なインタフェースである。通信部３１は、ネットワークＮＷを介して、端末装置２０の通信部２４との間で各種データを送受信する。通信部３１の例については、通信部２４と同様である。

制御部３２は、例えばＣＰＵやＧＰＵ等のプロセッサを含み、記憶部３３に予め記憶されたプログラムに従い、キャッシュメモリ又はＲＡＭをワークメモリとして用いて、情報処理装置３０の全体の動作を制御する。また、制御部３２は、オートフォーカスの精度を向上させるための学習処理を実行する。

制御部３２は、収集部３２１と、付与部３２２と、学習部３２３と、評価部３２４と、出力部３２５と、を含む。収集部３２１は、通信部３１を介して、ネットワークＮＷ経由で端末装置２０やその他の情報源から画像データを収集する。付与部３２２は、収集部３２１で収集した画像データの妥当性をチェックし、アノテーション（注釈）を付与する。学習部３２３は、収集部３２１で収集した画像データを基に、電子機器１のオートフォーカスの精度を向上させるための学習処理を行い、その学習結果として学習済モデルＭＤを生成する。学習部３２３は、ＧＰＵを用いて実現されてもよい。ＧＰＵは単純な計算を並列で計算できるため、特にディープラーニングではＣＰＵよりもＧＰＵのほうが適している。評価部３２４は、学習部３２３で生成された学習済モデルＭＤを評価する。出力部３２５は、ネットワークＮＷを介してダウンロード可能に学習済モデルＭＤを出力する。出力部３２５は、各部で演算した結果、例えば、収集部３２１で収集した画像データの蓄積データ、画像データも出力する。

記憶部３３は、例えばＳＳＤやＨＤＤ等の記のストレージ装置であって、ネットワークＮＷ経由で収集した画像データや、制御部３２で実行される各種プログラム、制御部３２での処理の結果として生成された各種データ等を記憶する。記憶部３３は、専用のファイルサーバとして情報処理装置３０から独立していてもよい。記憶部３３は、画像記憶部３３１と、ＡＦポイント記憶部３３２と、モデル記憶部３３３と、を含む。画像記憶部３３１は、収集部３２１で収集した画像データを記憶する。モデル記憶部３３３は、学習部３２３で生成された学習済モデルＭＤを記憶する。

［１－２．第１実施形態に係る学習済モデル導入の手順］
次に、図４を用いて、本開示の第１実施形態に係る学習済モデル導入の手順の一例について説明する。図４は、本開示の第１実施形態に係る学習済モデル導入の手順の一例を示すフローチャートである。なお、図４では、端末装置２０で実行される処理と、情報処理装置３０で実行される処理を１つの処理として説明するが、情報処理装置３０で実行する処理は、端末装置２０の処理とは別で実行してもよい。具体的には、図４のステップＳ１０３からステップＳ１１１の処理を独立して実行してもよい。

ユーザは、端末装置２０上で専用アプリケーションソフトウェアＡＳを起動する（ステップＳ１０１）。このとき、ＡＳ制御部２２は、入力部２５からの信号に応じて、ＡＳ記憶部２３に記憶された専用アプリケーションソフトウェアＡＳを読み出して実行し、表示部２６に専用のアプリケーション画面のウィンドウ（window）を表示する。

ユーザは、入力部２５を用いて、表示部２６に表示された専用のアプリケーション画面上で操作を行い、電子機器１のオートフォーカスにおいて認識して欲しい被写体ＯＢＪの画像データを学習用画像データＧＤとして登録する（ステップＳ１０２）。被写体ＯＢＪの画像データは、事前にＡＳ記憶部２３に記憶された画像データでもよいし、Ｉ／Ｆ部２１又は通信部２４を介して取得した画像データでもよい。このとき、ＡＳ制御部２２は、入力部２５からの信号に応じて、通信部２４を介して学習用画像データＧＤを情報処理装置３０にアップロードする。なお、ＡＳ制御部２２は、ＡＳ記憶部２３に用意されたアップロード用のフォルダに学習用画像データＧＤを格納するようにしてもよい。例えば、ＡＳ制御部２２は、専用アプリケーションソフトウェアＡＳの機能により、アップロード用のフォルダに格納された学習用画像データＧＤを、周期的に情報処理装置３０にアップロードするようにしてもよい。

次に、画像データがアップロードされた情報処理装置３０での処理について、説明する。情報処理装置３０は、専用アプリケーションソフトウェアＡＳを導入している端末装置２０からアップロードされた学習用画像データＧＤを収集する（ステップＳ１０３）。なお、情報処理装置３０は、クローリング等により、専用アプリケーションソフトウェアＡＳを導入している複数の端末装置２０を巡回して、ＡＳ記憶部２３に用意されたアップロード用のフォルダに格納されている学習用画像データＧＤを収集するようにしてもよい。このとき、収集部３２１は、通信部３１を介してネットワークＮＷ経由で端末装置２０から学習用画像データＧＤを受信して、画像記憶部３３１に記憶する。さらに、収集部３２１は、通信部３１を介して、ネットワークＮＷ上に公開された画像データを学習用画像データＧＤとして収集して、画像記憶部３３１に記憶してもよい。また、収集部３２１は、光ディスク等の記憶媒体に記憶された画像データを学習用画像データＧＤとして収集してもよい。

収集部３２１は、端末装置２０からアップロードされた学習用画像データＧＤを、自動的にカテゴリや種別毎に振り分ける。出力部３２５は、Ｗｅｂ上で学習用画像データＧＤ及びその集計状況の公開可能なデータを作成する（ステップＳ１０４）。ステップＳ１０４のデータの作成は、画像の収集ごとに行ってもよいが、公開情報へのアクセスが行われた場合に実行してもよい。ユーザは、図７に示すように、表示部２６に表示された専用のアプリケーション画面上の公開画面２６１で、情報処理装置３０に収集された学習用画像データＧＤ及びその集計状況を確認することができる。このとき、ユーザは、自身ではなく他のユーザによりアップロードされた学習用画像データＧＤを確認することもできる。また、ユーザは、自身がアップロードした学習用画像データＧＤを非公開に設定することもできる。非公開に設定された学習用画像データＧＤは、他のユーザには公開されないが、公開された学習用画像データＧＤと共に学習処理には使用される。

次に、収集部３２１は、収集した画像データのＡＦポイントを指定する（ステップＳ１０５）。収集部３２１は、ユーザが画像データに対して指定したＡＦポイントの情報を読み出す。情報処理装置３０は、画像データに対して画像解析を行い、ＡＦポイントを指定してもよい。また、情報処理装置３０は、ユーザが登録していない画像、つまりデータベースに記憶済みの画像データに対してＡＦポイントの情報を登録してもよい。以下、画像データにＡＦポイントを指定する処理の一例を説明する。ユーザは、入力部２５を用いて、表示部２６に表示された専用のアプリケーション画面上で操作を行い、情報処理装置３０に収集された学習用画像データＧＤに対して、ピントを合わせることを所望する位置をＡＦポイントＰ（測距点）として指定する。このとき、ＡＳ制御部２２は、表示部２６に表示された専用のアプリケーション画面上に、登録された学習用画像データＧＤを表示し、入力部２５からの信号に応じて、その学習用画像データＧＤの上に表示されたＡＦポイントＰを移動させることで指定する。例えば、ＡＳ制御部２２は、図７に示すような公開画面２６１に公開された学習用画像データＧＤの中から所望の学習用画像データＧＤが選択されたときに、ＡＦポイント指定画面２６２にその学習用画像データＧＤとＡＦポイントＰとを表示する。

本実施形態では、図８及び図９に示すように、ユーザは、１枚の学習用画像データＧＤに対し、優先順位を決めて複数のＡＦポイントＰを指定することができる。指定できるＡＦポイントＰの数は任意である。本実施形態では、ユーザは、第１優先のＡＦポイントＰ１、第２優先のＡＦポイントＰ２、第３優先のＡＦポイントＰ３の順に、最大３つのＡＦポイントＰを指定する。図８では動物（犬）の学習用画像データＧＤ＿Ｄ１を例示し、図９では乗り物（レーシングカー）の学習用画像データＧＤ＿Ｃ１を例示する。例えば、図８の（例１）に示すように、アップロードされた動物（犬）の学習用画像データＧＤ＿Ｄ１に対し、Ｗｅｂ上で複数のＡＦポイントＰを予め表示して、表示されたＡＦポイントＰをユーザが移動させることで指定する。ＡＦポイントＰをいくつ表示させるかは、ユーザが指定できるようにしてもよい。あるいは、図８の（例２）に示すように、動物（犬）の学習用画像データＧＤ＿Ｄ１に対応する動物（犬）のイラスト画像データＧＤ＿Ｄ２に対し、Ｗｅｂ上で複数のＡＦポイントＰを予め表示するようにしてもよい。また、図９の（例１）及び（例２）に示すように、これらのＡＦポイントＰの位置及び優先順位は、ユーザが任意に変更可能である。

制御部３２は、学習用画像データＧＤに対して指定されたＡＦポイントＰを示すＡＦポイントデータＰＤを、学習用画像データＧＤと関連付ける（ステップＳ１０６）。制御部３２は、関連付けたデータをＡＦポイント記憶部３３２に記憶する。例えば、ＡＦポイントデータＰＤは、ＡＦポイントＰの識別名、優先順位、フォーカス位置やオフセット等のパラメータに関する情報を含む。ＡＦポイントデータＰＤは、学習用画像データＧＤの識別情報と共に、データベース内のテーブルを構成するレコードの中に記憶されていてもよい。

付与部３２２は、学習用画像データＧＤとＡＦポイントデータＰＤと分類等の妥当性をチェックし、画像データにしてアノテーションを付与する（ステップＳ１０７）。付与部３２２は、通信部３１を介して、外部からアノテーションの付与に関する指示を受けてもよい。アノテーションとしては、画像の分類を示す情報、ＡＦポイントデータＰＤに対応着いた情報等が含まれる。

収集部３２１は、学習用画像データＧＤについてカテゴリや種別毎に所定の枚数が集まったか確認する（ステップＳ１０８）。所定の枚数は、特に限定はないが、例えば１万枚が例示される。また、少数の画像データで学習済みプログラムを作成できる場合は、所定枚数を数枚としてもよい。収集部３２１は、所定の枚数が集まっていない場合（ステップＳ１０８でＮｏ）、学習用画像データＧＤの収集を継続する（ステップＳ１０３に戻る）。つまり、情報処理装置３０は、対象の分類について、所定枚枚数の画像データが集まるまで、学習済みプログラムを作成しない。

収集部３２１は、学習用画像データＧＤについてカテゴリや種別毎に所定の枚数が集まった場合（ステップＳ１０８でＹｅｓ）、これらの学習用画像データＧＤとそのＡＦポイントデータＰＤを学習用のデータセットとして、学習部３２３に学習処理の開始を指示する（ステップＳ１０９に移行）。

学習部３２３は、これらの学習用画像データＧＤと、それぞれの学習用画像データＧＤに関連付けられたＡＦポイントデータＰＤとを基に学習処理を実施し、その学習処理の結果として学習済モデルＭＤを作成する（ステップＳ１０９）。例えば、学習部３２３は、ＡＦポイントＰの検出アルゴリズムを検討し、学習済モデルＭＤとして検出コードやパラメータを生成する。このように、学習部３２３は、ＡＦポイントＰが指定された学習用画像データＧＤを用いて学習処理を行う。また、学習部３２３は、カテゴリや種別毎に学習済モデルＭＤをそれぞれ作成する。このとき、学習部３２３は、カテゴリや種別毎に、ユーザ毎の学習済モデルＭＤと、全ユーザに共通の学習済モデルＭＤとをそれぞれ作成するようにしてもよい。ユーザ毎の学習済モデルＭＤは、そのユーザが指定したＡＦポイントＰを優先的に検出する学習済モデルＭＤとする。全ユーザに共通の学習済モデルＭＤは、各ユーザが指定したＡＦポイントＰの最大公約数的なＡＦポイントＰを検出する学習済モデルＭＤとする。例えば、全ユーザに共通の学習済モデルＭＤは、最も多くのユーザが指定したＡＦポイントＰを検出する学習済モデルＭＤとしてもよい。作成された学習済モデルＭＤは、モデル記憶部３３３に記憶される。

評価部３２４は、モデル記憶部３３３に記憶された学習済モデルＭＤの評価処理を行う（ステップＳ１１０）。例えば、評価部３２４は、学習済モデルＭＤに学習用画像データＧＤを入力して、その学習済モデルＭＤから結果を出力として受け取る。評価部３２４は、評価処理の結果、ＮＧと判断された場合には（ステップＳ１１０でＮｏ）、再度、学習部３２３に学習処理の開始を指示し、改めて学習済モデルＭＤを作成する（ステップＳ１０９に戻る）。一方、評価部３２４は、評価処理の結果、ＯＫと判断された場合（ステップＳ１１０でＹｅｓ）には、出力部３２５にその学習済モデルＭＤの公開を指示する（ステップＳ１１１に移行）。

出力部３２５は、その学習済モデルＭＤを、専用アプリケーションソフトウェアＡＳを導入している端末装置２０からのみアクセス可能な状態でネットワークＮＷ上に公開し、当該学習済モデルＭＤを要求した機器に出力する（ステップＳ１１１）。このとき、出力部３２５は、学習済モデルＭＤにアクセス制限を付与し、専用アプリケーションソフトウェアＡＳを導入している端末装置２０からのアクセス、又は専用アプリケーションソフトウェアＡＳを介してのアクセスに対してのみ、アクセスを許可するようにして、通信部３１を介してネットワークＮＷ上に学習済モデルＭＤを公開し、当該学習済モデルＭＤを要求した機器に出力する。例えば、出力部３２５は、専用アプリケーションソフトウェアＡＳを実行することで表示されるアプリケーション画面上にのみ、学習済モデルＭＤが選択可能な状態で表示されるようにしてもよい。

ユーザは、入力部２５を用いて、表示部２６に表示された専用のアプリケーション画面上で操作を行い、学習済モデルＭＤを選択してダウンロードし、ダウンロードした学習済モデルＭＤに基づくオートフォーカスの検出度合い（精度）を確認する（ステップＳ１１２）。このとき、ＡＳ制御部２２は、入力部２５からの信号に応じて、通信部２４を介して学習済モデルＭＤを取得してＡＳ記憶部２３に記憶する。そして、ＡＳ制御部２２は、入力部２５からの信号に応じて、表示部２６に表示された専用のアプリケーション画面上で、ＡＳ記憶部２３に記憶した学習済モデルＭＤに学習用画像データＧＤを入力して、図１０に示すように、その学習済モデルＭＤからの結果を表示する。なお、ＡＳ制御部２２は、表示部２６に表示された専用のアプリケーション画面上で、ＡＳ記憶部２３に記憶した学習済モデルＭＤに基づいて、電子機器１のオートフォーカスのエミュレーション（emulation）を実行するようにしてもよい。

なお、実際には、学習済モデルＭＤをダウンロードする前に、端末装置２０側ではなく、情報処理装置３０側で学習済モデルＭＤに基づくオートフォーカスの検出度合いを確認するようにしてもよい。この場合、制御部３２は、通信部３１を介してネットワークＮＷ経由でユーザにより選択された学習済モデルＭＤに学習用画像データＧＤを入力して、その学習済モデルＭＤからの結果を端末装置２０に出力する。ＡＳ制御部２２は、情報処理装置３０から出力された学習済モデルＭＤの結果を、表示部２６に表示された専用のアプリケーション画面上に表示する。

ユーザは、学習済モデルＭＤに基づくオートフォーカスの検出度合いを確認した結果、ＮＧと判断した場合（ステップＳ１１２でＮｏ）には、当該学習済モデルＭＤを採用しない。このとき、ＡＳ制御部２２は、ＡＳ記憶部２３に記憶した学習済モデルＭＤを削除してもよい。一方、ユーザは、学習済モデルＭＤに基づくオートフォーカスの検出度合いを確認した結果、ＯＫと判断した場合（ステップＳ１１２でＹｅｓ）には、当該学習済モデルＭＤを採用する（ステップＳ１１３に移行）。

ユーザは、電子機器１に学習済モデルＭＤを導入する（ステップＳ１１３）。このとき、ＡＳ制御部２２は、入力部２５からの信号に応じて、ＡＳ記憶部２３に記憶した学習済モデルＭＤを、Ｉ／Ｆ部２１を介して電子機器１に書き出す。制御部３は、Ｉ／Ｆ部９を介して学習済モデルＭＤを取得して記憶部７に記憶し、オートフォーカスに使用するように設定する。既に同じカテゴリや種別の学習済モデルＭＤが設定されている場合には、その学習済モデルＭＤを更新する。ここで、一連の処理を終了する。

電子機器１は、情報処理装置３０が保有する全て（全カテゴリ／全種別）の学習済モデルＭＤを一度に更新する必要はなく、ユーザの選択に基づいて、必要なモードに対応する学習済みプログラムＭＤを取得すればよい。これにより、ユーザは、自身が撮影することが想定される被写体の学習済モデルＭＤのみを選択的に電子機器１に導入することができる。

［１－３．第１実施形態に係る撮影画像確認の手順］
次に、図５を用いて、本開示の第１実施形態に係る撮影画像確認の手順の一例について説明する。図５は、本開示の第１実施形態に係る撮影画像確認の手順の一例を示すフローチャートである。

ユーザは、学習済モデルＭＤを導入した電子機器１を用いて被写体ＯＢＪを撮影する（ステップＳ２０１）。電子機器１は、新たに書き込まれた学習済モデルＭＤに基づいて、オートフォーカスを実施し、被写体ＯＢＪの所定の位置にピントを合わせる。このとき、制御部３は、入力デバイス１０からの信号に応じて、記憶部７に記憶された学習済モデルＭＤに基づき、光学系２のオートフォーカス機構を制御するための制御信号を出力し、フォーカスを調整する。その後、電子機器１は、被写体ＯＢＪを撮像し、画像データ（ＲＡＷデータでも可）を生成する。

ユーザは、電子機器１で撮影した被写体ＯＢＪの画像データのうち、意図した箇所（部位）にピントが合わなかった画像データ（非合焦画像データ）の有無を確認する（ステップＳ２０２）。非合焦画像データがない場合には（ステップＳ２０２でＮｏ）、そのまま処理を終了する。

ユーザは、非合焦画像データがある場合には（ステップＳ２０２でＹｅｓ）、その非合焦画像データを、新たな学習用画像データＧＤとして登録する（図４のステップＳ１０１に移行）。すなわち、ユーザは、入力部２５を用いて、端末装置２０上で専用アプリケーションソフトウェアＡＳを起動し（図４のステップＳ１０１に相当）、表示部２６に表示された専用のアプリケーション画面上で操作を行い、新たな学習用画像データＧＤを登録する（図４のステップＳ１０２に相当）。このとき、ＡＳ制御部２２は、入力部２５からの信号に応じて、ＡＳ記憶部２３に記憶された専用アプリケーションソフトウェアＡＳを読み出して実行し、表示部２６に専用のアプリケーション画面のウィンドウを表示し、Ｉ／Ｆ部２１又は通信部２４を介して学習用画像データＧＤを取得してＡＳ記憶部２３に記憶する。その後、図４のステップＳ１０３の処理に移行する。

図４に示す学習済モデル導入の手順と図５に示す撮影画像確認の手順とを繰り返すことで、累積的に学習済モデルＭＤの精度が向上するため、オートフォーカスの精度を向上させることができる。

［１－４．第１実施形態の変形例（１）］
［１－４－１．画像データのアップロード前のＡＦポイント指定］
上記の説明では、図４のステップＳ１０５において、情報処理装置３０上で学習用画像データＧＤに対してＡＦポイントＰを指定するようにしているが、更に、図４のステップＳ１０２において、学習用画像データＧＤのアップロード前に、端末装置２０上で学習用画像データＧＤに対してＡＦポイントＰを指定するようにしてもよい。

図１１を用いて、第１実施形態の変形例（１）に係る図４のステップＳ１０２の処理の一例について説明する。図１１は、図４のステップＳ１０２の処理の一例を示すフローチャートである。

ユーザは、入力部２５を用いて、表示部２６に表示された専用のアプリケーション画面上で操作を行い、電子機器１のオートフォーカスにおいて認識して欲しい被写体ＯＢＪの画像データを学習用画像データＧＤとして登録する（ステップＳ１０２Ａ）。被写体ＯＢＪの画像データは、事前にＡＳ記憶部２３に記憶された画像データでもよいし、Ｉ／Ｆ部２１又は通信部２４を介して取得した画像データでもよい。

ユーザは、入力部２５を用いて、表示部２６に表示された専用のアプリケーション画面上で操作を行い、登録された学習用画像データＧＤに対して、ピントを合わせることを所望する位置をＡＦポイントＰとして指定する（ステップＳ１０２Ｂ）。このとき、ＡＳ制御部２２は、表示部２６に表示された専用のアプリケーション画面上に、登録された学習用画像データＧＤを表示し、入力部２５からの信号に応じて、その学習用画像データＧＤの上に表示されたＡＦポイントＰを移動させることで指定する。ＡＦポイントＰの表示及び指定については、図８及び図９に示す通りである。

ＡＳ制御部２２は、学習用画像データＧＤに対して指定されたＡＦポイントＰを示すＡＦポイントデータＰＤを、学習用画像データＧＤと関連付けてＡＳ記憶部２３に記憶する（ステップＳ１０２Ｃ）。ＡＦポイントデータＰＤについては、上述した通りである。なお、ＡＦポイントデータＰＤは、メタデータ（metadata）として学習用画像データＧＤに組み込まれていてもよい。

ＡＳ制御部２２は、入力部２５からの信号に応じて、通信部２４を介して学習用画像データＧＤを、それに関連付けられたＡＦポイントデータＰＤと共に情報処理装置３０にアップロードする（ステップＳ１０２Ｄ）。

この場合、図４のステップＳ１０３において、情報処理装置３０は、専用アプリケーションソフトウェアＡＳを導入している端末装置２０からアップロードされた学習用画像データＧＤ及びＡＦポイントデータＰＤを収集する。このとき、収集部３２１は、通信部３１を介してネットワークＮＷ経由で端末装置２０から受信した学習用画像データＧＤを画像記憶部３３１に記憶し、それに関連付けられたＡＦポイントデータＰＤをＡＦポイント記憶部３３２に記憶する。

これにより、学習用画像データＧＤのアップロード前と、アップロード後との２段階でＡＦポイント指定ができる。ユーザは、アップロード前には、自身が保有する学習用画像データＧＤに対してＡＦポイントＰを指定し、アップロード後には、自身がアップロードした学習用画像データＧＤのＡＦポイントＰを修正したり、他のユーザがアップロードした学習用画像データＧＤに対してＡＦポイントＰを指定したりすることができる。

また、１人のユーザが、情報処理装置３０に集計状況と共に公開された学習用画像データＧＤの全てに目を通してＡＦポイントＰを指定するのは多大な労力を伴うことが予想される。そのため、アップロード前にユーザ自身が保有する学習用画像データＧＤに対してＡＦポイントＰを指定してもらうことで、ユーザ側の負担を軽減することができる。これにより、公開された学習用画像データＧＤの各々について、少なくともアップロードしたユーザからのＡＦポイント指定が実施されている状態にすることができる。各ユーザは、その学習用画像データＧＤをアップロードしたユーザが指定したＡＦポイントＰに不服がなければ、それを承認することで、自身が指定したＡＦポイントＰとすることができる。

［１－５．第１実施形態の変形例（２）］
［１－５－１．学習の半自動化］
情報処理装置３０は、付与部３２２でのアノテーション付与と、学習部３２３での学習処理とを、並列に行うようにしてもよい。例えば、図１２に示すように、ユーザから集めた学習用画像データＧＤは、学習済モデルＭＤを作成するため、ユーザの学習済モデル作成用のネットワーク学習に使われるが、これらの学習用画像データＧＤの一部（又は全部）を流用して自動アノテーションの一般的なネットワーク学習にも用いることにより、アノテーションの自動化を図る。ネットワーク学習とは、ニューラルネットワークを利用した機械学習のことであり、ディープニューラルネットワークを利用したディープラーニングも含まれる。一般的なネットワーク学習は、複数の手法を並行して実施してもよい。なお、自動アノテーションで未検出の場合には、手動でアノテーションを行う。これにより、学習の半自動化ができるようになる。

［２．第２実施形態］
［２－１．第２実施形態に係るシステムの構成］
図１３は、本開示の第２実施形態に係る情報処理システムの構成の一例を示すブロック図である。図１３に示すように、情報処理システム１００は、電子機器１と、情報処理装置３０と、を含む。電子機器１はユーザ側に存在し、情報処理装置３０はネットワーク側に存在する。

本開示の第２実施形態では、本開示の第１実施形態における端末装置２０に相当する構成を、例えばアプリケーションプロセッサのような形で電子機器１の内部に設ける。すなわち、電子機器１が、端末装置２０の機能も有する。本実施形態では、電子機器１として、撮像機能付きのスマートフォンやタブレット端末等、又は通信機能を有するデジタルカメラやデジタルビデオカメラ等のハイエンド機種を想定している。情報処理装置３０については、第１実施形態と同様である。すなわち、本開示の第２実施形態に係る電子機器１と、本開示の第１実施形態に係る端末装置２０とは、ネットワークＮＷ経由で同じ情報処理装置３０に接続可能である。したがって、本開示の第１実施形態と第２実施形態とは同時に実施可能である。

［２－１－１．第２実施形態に係る電子機器の構成］
図１４は、本開示の第２実施形態に係る電子機器の構成の一例を示すブロック図である。図１４に示すように、電子機器１は、光学系２と、制御部３と、撮像素子４と、画像処理部５と、メモリ６と、記憶部７と、表示部８と、入力デバイス１０と、通信部１１と、を備える。

光学系２、制御部３、撮像素子４、画像処理部５、メモリ６、記憶部７、表示部８、及び入力デバイス１０の動作については、基本的に第１実施形態と同様である。さらに、本実施形態では、制御部３が第１実施形態におけるＡＳ制御部２２に相当し、記憶部７が第１実施形態におけるＡＳ記憶部２３に相当する。すなわち、制御部３が専用アプリケーションソフトウェアＡＳを実行し、記憶部７が専用アプリケーションソフトウェアＡＳを記憶する。また、表示部８が第１実施形態における表示部２６に相当し、入力デバイス１０が第１実施形態における入力部２５に相当する。通信部１１は、第１実施形態における通信部２４に相当する。すなわち、通信部１１は、有線通信又は無線通信によりネットワークＮＷに接続可能なインタフェースである。

［２－２．第２実施形態に係る学習済モデル導入の手順］
次に、第１実施形態と同様に、図４を用いて、第２実施形態に係る学習済モデル導入の手順の一例について説明する。本実施形態では、電子機器１の内部に端末装置２０の機能を組み込んだ形であるため、電子機器１自体が端末装置２０の役割も果たすという点で動作の主体は変わるが、基本的な処理の手順は同じである。

図４のステップＳ１０１では、ユーザは、電子機器１上で専用アプリケーションソフトウェアＡＳを起動する。このとき、制御部３は、入力デバイス１０からの信号に応じて、記憶部７に記憶された専用アプリケーションソフトウェアＡＳを読み出して実行し、表示部８に専用のアプリケーション画面のウィンドウを表示する。

図４のステップＳ１０２では、ユーザは、入力デバイス１０を用いて、表示部８に表示された専用のアプリケーション画面上で操作を行い、電子機器１のオートフォーカスにおいて認識して欲しい被写体ＯＢＪの画像データを学習用画像データＧＤとして登録する。このとき、制御部３は、入力デバイス１０からの信号に応じて、通信部１１を介して学習用画像データＧＤを情報処理装置３０にアップロードする。

図４のステップＳ１０３では、情報処理装置３０は、専用アプリケーションソフトウェアＡＳを導入している電子機器１からアップロードされた学習用画像データＧＤを収集する。このとき、収集部３２１は、通信部３１を介してネットワークＮＷ経由で電子機器１から学習用画像データＧＤを受信して、画像記憶部３３１に記憶する。

図４のステップＳ１０４では、収集部３２１は、電子機器１からアップロードされた学習用画像データＧＤを、自動的にカテゴリや種別毎に振り分け、Ｗｅｂ上で学習用画像データＧＤ及びその集計状況を公開する（ステップＳ１０４）。

図４のステップＳ１０５では、ユーザは、入力デバイス１０を用いて、表示部８に表示された専用のアプリケーション画面上で操作を行い、情報処理装置３０に収集された学習用画像データＧＤに対して、ピントを合わせることを所望する位置をＡＦポイントＰとして指定する。このとき、制御部３は、表示部８に表示された専用のアプリケーション画面上に、登録された学習用画像データＧＤを表示し、入力デバイス１０からの信号に応じて、その学習用画像データＧＤの上に表示されたＡＦポイントＰを移動させることで指定する。

図４のステップＳ１０８では、制御部３２は、学習用画像データＧＤに対して指定されたＡＦポイントＰを示すＡＦポイントデータＰＤを、学習用画像データＧＤと関連付けてＡＦポイント記憶部３３２に記憶する。

図４のステップＳ１０９では、付与部３２２は、学習用画像データＧＤとＡＦポイントデータＰＤとの妥当性をチェックし、アノテーションを付与する。

図４のステップＳ１１０では、収集部３２１は、学習用画像データＧＤについてカテゴリや種別毎に所定の枚数（例えば１万枚）が集まったか確認する。収集部３２１は、所定の枚数が集まっていない場合には（ステップＳ１１０でＮｏ）、学習用画像データＧＤの収集を継続する（ステップＳ１０３に戻る）。一方、収集部３２１は、学習用画像データＧＤについてカテゴリや種別毎に所定の枚数が集まった場合には（ステップＳ１１０でＹｅｓ）、これらの学習用画像データＧＤとそのＡＦポイントデータＰＤを学習用のデータセットとして、学習部３２３に学習処理の開始を指示する（ステップＳ１０９に移行）。

図４のステップＳ１０９では、学習部３２３は、これらの学習用画像データＧＤと、それぞれの学習用画像データＧＤに関連付けられたＡＦポイントデータＰＤとを基に学習処理を実施し、その学習処理の結果として学習済モデルＭＤを作成する。

図４のステップＳ１１０では、評価部３２４は、モデル記憶部３３３に記憶された学習済モデルＭＤの評価処理を行う。評価部３２４は、評価処理の結果、ＮＧと判断された場合には（ステップＳ１１０でＮｏ）、再度、学習部３２３に学習処理の開始を指示し、改めて学習済モデルＭＤを作成する（ステップＳ１０９に戻る）。一方、評価部３２４は、評価処理の結果、ＯＫと判断された場合（ステップＳ１１０でＹｅｓ）には、出力部３２５にその学習済モデルＭＤの公開を指示する（ステップＳ１１１に移行）。

図４のステップＳ１１１では、出力部３２５は、その学習済モデルＭＤを、専用アプリケーションソフトウェアＡＳを導入している電子機器１からのみアクセス可能な状態でネットワークＮＷ上に公開し、当該学習済モデルＭＤを要求した機器に出力する。

図４のステップＳ１１２では、ユーザは、入力デバイス１０を用いて、表示部８に表示された専用のアプリケーション画面上で操作を行い、学習済モデルＭＤを選択してダウンロードし、ダウンロードした学習済モデルＭＤに基づくオートフォーカスの検出度合いを確認する。このとき、制御部３は、入力デバイス１０からの信号に応じて、通信部１１を介して学習済モデルＭＤを取得して記憶部７に記憶し、表示部８に表示された専用のアプリケーション画面上で、記憶部７に記憶した学習済モデルＭＤに学習用画像データＧＤを入力して、その学習済モデルＭＤからの結果を表示する。

ユーザは、学習済モデルＭＤに基づくオートフォーカスの検出度合いを確認した結果、ＮＧと判断した場合（ステップＳ１１２でＮｏ）には、当該学習済モデルＭＤを採用しない。このとき、制御部３は、記憶部７に記憶した学習済モデルＭＤを削除してもよい。一方、ユーザは、学習済モデルＭＤに基づくオートフォーカスの検出度合いを確認した結果、ＯＫと判断した場合（ステップＳ１１２でＹｅｓ）には、当該学習済モデルＭＤを採用する（ステップＳ１１３に移行）。

図４のステップＳ１１３では、ユーザは、電子機器１に学習済モデルＭＤを導入する。このとき、制御部３は、入力デバイス１０からの信号に応じて、記憶部７に記憶した学習済モデルＭＤを、オートフォーカスに使用するように設定する。ここで、一連の処理を終了する。

本実施形態においても、情報処理装置３０が保有する全て（全カテゴリ／全種別）の学習済モデルＭＤを一度に電子機器１に導入するのは、電子機器１の記憶容量を考慮すると現実的ではない。しかし、本実施形態では、電子機器１が直接、情報処理装置３０から学習済モデルＭＤをダウンロードできるため、ユーザは、事前に想定していなかった被写体と遭遇した際にも、その場で（リアルタイムで）情報処理装置３０からその被写体の学習済モデルＭＤをダウンロードして電子機器１に導入することができる。また、その被写体のカテゴリや種別が不明な場合にも、その被写体を撮影してその画像データを学習用画像データＧＤとして情報処理装置３０にアップロードすることで、集計状況の公開画面にてその被写体のカテゴリや種別を知ることができる。

［３．むすび］
以上説明したように、本開示の各実施形態によれば、オートフォーカス機能が向上し、ユーザの要望に副った特定の被写体が検出できるようになる。そして、その被写体に対しユーザが意図した箇所（部位）に自動的に合焦できるようになる。その結果、ユーザは構図やシャッターチャンスに専念して撮影できるようになる。

電子機器１は、オートフォーカス機能により、被写体が人や動物等の生物である場合には、狙った被写体を認識して、その瞳にピントを合わせる。しかし、被写体が特に動物、鳥、魚、昆虫等の場合には、被写体の種類が膨大であり、その体の形状や模様、色彩等のバリエーションが無数にあるので、１台の電子機器１が全ての種類を学習して、全ての種類に対してその瞳に合焦する性能を維持することは困難である。

また、図６に示すように、犬、猫などのペットの場合、体の色（漆黒等）や模様の度合いによって検出率が低下する。例えば、無地明瞭な被写体のグループＡであれば、その被写体の瞳の検出率は８０％程度である。しかし、漆黒の被写体のグループＢは、瞳と模様との区別が困難で、その被写体の瞳の検出率は５０％程度にまで落ち込む。また、模様が雑多な猫の場合には、非検出の割合がさらに増える可能性がある。したがって、オートフォーカスにおいてペットが非検出の場合、個々のユーザでは適切な学習処理を行うことができない。

また、被写体が植物や、乗り物や建築物等の人工物である場合には、狙った被写体を認識して、予め設定した箇所（部位）でピントを合わせる。例えば、被写体が車の場合には、ヘッドライト等でピントを合わせる。しかし、この場合にも、上記の動物等の場合と同様に、形や色などのバリエーションが豊富なため、１台の電子機器１が全ての種類を学習して、合焦する箇所を設定し、全ての種類に対してその設定箇所に合焦する性能を維持することが困難である。

また、電子機器１の性能は年々向上しているが、一般的に使用されている電子機器１は未だ処理能力等の点で情報処理装置３０の性能には及ばない。さらに、電子機器１の記憶容量は、情報処理装置３０と比べて少ないため、１台の電子機器１が一度に保有できる画像データの数には限界がある。そのため、１台の電子機器１が保有している画像データを基にオートフォーカスの精度を向上させるための学習処理を行ったとしても、ユーザが満足するだけの十分な学習結果を得ることはできない。

本実施形態は、電子機器１よりも高性能で、かつ、電子機器１よりも多数の画像データを保有して処理できる情報処理装置３０上でオートフォーカスの精度を向上させるための学習処理を行う。そして、その学習結果である学習済モデルＭＤを電子機器１にフィードバックすることで、本来、電子機器１単体では得られない高精度な学習済モデルＭＤを電子機器１に導入し、オートフォーカスの精度を向上させることを可能にする。

例えば、情報処理装置３０は、多数の画像データを収集し、収集した画像データの数が所定の数に達した段階で、これらの画像データを基に電子機器１のオートフォーカスの精度を向上させるための学習処理を行い、その学習結果として生成された学習済モデルＭＤを、ネットワークＮＷ経由で端末装置２０に提供する。電子機器１のユーザは、端末装置２０を用いて、端末装置２０又は情報処理装置３０上で学習済モデルＭＤに基づくオートフォーカスの動作確認を行い、その動作確認の結果としてオートフォーカスの精度が向上していると判断した場合、端末装置２０経由でその学習済モデルＭＤを電子機器１に導入する。電子機器１は、導入された学習済モデルＭＤを基にオートフォーカスを実施する。

情報処理装置３０は、端末装置２０に提供した専用のアプリケーションソフトウェアを介して、ネットワークＮＷ経由で、不特定多数の端末装置２０から画像データを収集することができる。なお、情報処理装置３０が学習処理に使用する画像データは、端末装置２０から収集した画像データに限らない。情報処理装置３０は、例えば、ネットワークＮＷ上に公開されている自由に利用可能な画像データや、一般に市販されている画像データ等を基に、オートフォーカスの精度を向上させるための学習処理を行ってもよい。

情報処理装置３０が実施する学習処理としては、ディープニューラルネットワーク（ＤＮＮ）を利用したディープラーニング（深層学習）等の機械学習を適用することができる。また、他の学習方法やアルゴリズム等を適用することもできる。

上記各実施形態によれば、提供済みの検出器では十分に検出できなかった被写体に対する検出の精度が向上し、その被写体を十分に検出できるようになる（検出改善）。また、上記各実施形態によれば、検出器が未提供で非検出の被写体に対する検出機能を提供できるようになり、その被写体を検出できるようになる（新被写体検出）。例えば、ワイルドライフ撮影において、野生動物や野鳥、その他の野生生物などの瞳に合焦することができるようになる。メニュー等で新たに被写体となる動物を選択して使用する。

また、上記各実施形態によれば、検出できた被写体の中から、特定の被写体を見分けられるようになる（被写体識別）。例えば、運動会等のイベント撮影などで、自分の子供を優先させて、その瞳に合焦することができるようになる。身近な人やペット等が被写体の場合には、日常的に撮影した際に登録し、普段から最優先に設定しておく。

また、上記各実施形態によれば、検出した被写体（特に生物以外の被写体）に対し、ＡＦポイントが指定できるようになる（ＡＦポイント指定）。例えば、モータースポーツ撮影において、又は電車や飛行機の撮影において、ユーザが狙った被写体で意図する箇所に合焦することができるようになる。メニュー等で被写体となる乗り物とＡＦポイントを選択して使用する。

また、上記各実施形態によれば、学習に用いられる画像データが蓄積し増大していくことで継続して改善させることができるため、オートフォーカス機能を累積的に向上させることができる（累積的向上）。さらに、上記各実施形態によれば、身近な人やペット等について、ユーザが定期的に撮影し画像データを更新することで、被写体の経年変化（成長）にも対応可能である（経年変化対応）。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
画像データを収集する収集部と、
前記収集部で収集された複数の前記画像データを用い、前記画像データに含まれる被写体位置を抽出し、前記画像データと前記被写体位置との関係について学習処理を行い、前記画像データから被写体を特定して焦点位置を特定する自動焦点調整用の学習済モデルを作成する学習部と、
前記学習部で作成された前記学習済モデルを要求した機器に出力する出力部と
を備える情報処理装置。
（２）
前記収集部は、収集した前記画像データを被写体の区分毎に自動的に振り分けて蓄積し、
前記学習部は、前記被写体の区分毎に、前記収集部により収集された前記画像データが所定の数に達した時に、前記被写体に対する前記学習処理を開始する、（１）に記載の情報処理装置。
（３）
前記収集部は、前記被写体の区分毎に、収集した前記画像データ及びその集計状況を公開する、（２）に記載の情報処理装置。
（４）
前記学習処理に用いられる前記画像データには、測距点が指定されている、（１）に記載の情報処理装置。
（５）
前記測距点は、複数指定可能であり、優先順位が決められている、（４）に記載の情報処理装置。
（６）
複数指定された前記測距点の優先順位は、変更可能である、（５）に記載の情報処理装置。
（７）
前記収集部は、前記測距点が指定された前記画像データを収集する、（４）に記載の情報処理装置。
（８）
前記学習部での前記学習処理に用いられる前記画像データを利用して、前記画像データに自動的に注釈を付与する付与部を更に備える、（１）に記載の情報処理装置。
（９）
自動焦点調整用の学習済モデルを記憶する記憶部と、
前記記憶部に記憶された前記学習済モデルに基づいて自動焦点調整を実施する制御部と、
前記制御部からの制御に応じて被写体の所定の部位に合焦する光学系と
を備える電子機器。
（１０）
情報処理装置と通信可能な通信部と、
前記通信部を介して、前記情報処理装置から自動焦点調整用の学習済モデルを取得する制御部と、
前記情報処理装置から取得した前記学習済モデルを、前記学習済モデルに基づいて自動焦点調整を実施する電子機器に提供する提供部と
を備える端末装置。
（１１）
前記制御部は、前記通信部を介して、前記情報処理装置に画像データを登録し、前記情報処理装置から前記画像データに基づく前記学習済モデルを取得する、（１０）に記載の端末装置。
（１２）
前記画像データを表示する表示部と、
ユーザの入力操作に応じた信号を前記制御部に出力する入力部と
を更に備え、
前記制御部は、前記入力部からの信号に応じて、前記表示部に表示された前記画像データに対して測距点を指定する、（１１）に記載の端末装置。
（１３）
前記表示部は、前記情報処理装置が公開した前記画像データを表示し、
前記制御部は、前記入力部からの信号に応じて、前記情報処理装置が公開した前記画像データに対して前記測距点を指定する、（１２）に記載の端末装置。
（１４）
前記表示部は、前記情報処理装置に登録前の前記画像データを表示し、
前記制御部は、前記入力部からの信号に応じて、前記情報処理装置に登録前の前記画像データに対して前記測距点を指定し、前記通信部を介して前記情報処理装置に、前記測距点が指定された前記画像データを登録する、（１２）に記載の端末装置。
（１５）
画像データを収集し、収集された複数の前記画像データを用い、前記画像データに含まれる被写体位置を抽出し、前記画像データと前記被写体位置との関係について学習処理を行い、前記画像データから被写体を特定して焦点位置を特定する自動焦点調整用の学習済モデルを作成し、前記学習済モデルを要求した機器に出力する情報処理装置と、
前記情報処理装置から前記学習済モデルを取得する端末装置と、
前記端末装置から前記学習済モデルを取得し、前記学習済モデルに基づいて自動焦点調整を実施する電子機器と
を含む情報処理システム。
（１６）
画像データを収集し、収集された複数の前記画像データを用い、前記画像データに含まれる被写体位置を抽出し、前記画像データと前記被写体位置との関係について学習処理を行い、前記画像データから被写体を特定して焦点位置を特定する自動焦点調整用の学習済モデルを作成し、前記学習済モデルを要求した機器に出力する情報処理装置と、
前記情報処理装置から前記学習済モデルを取得し、前記学習済モデルに基づいて自動焦点調整を実施する電子機器と
を含む情報処理システム。
（１７）
画像データを収集することと、
収集された複数の前記画像データを用い、前記画像データに含まれる被写体位置を抽出し、前記画像データと前記被写体位置との関係について学習処理を行い、前記画像データから被写体を特定して焦点位置を特定する自動焦点調整用の学習済モデルを作成することと、
作成された前記学習済モデルを要求した機器に出力することと
を含む情報処理方法。
（１８）
画像データを収集する処理と、
収集された複数の前記画像データを用い、前記画像データに含まれる被写体位置を抽出し、前記画像データと前記被写体位置との関係について学習処理を行い、前記画像データから被写体を特定して焦点位置を特定する自動焦点調整用の学習済モデルを作成する処理と、
作成された前記学習済モデルを要求した機器に出力する処理と
をコンピュータに実行させるプログラム。

１ 電子機器
２ 光学系
３ 制御部
７ 記憶部
９ Ｉ／Ｆ部
２０ 端末装置
２１ Ｉ／Ｆ部
２２ ＡＳ制御部
２３ ＡＳ記憶部
２４ 通信部
２５ 入力部
２６ 表示部
３０ 情報処理装置
３１ 通信部
３２ 制御部
３２１ 収集部
３２２ 付与部
３２３ 学習部
３２４ 評価部
３２５ 出力部
３３ 記憶部
３３１ 画像記憶部
３３２ ＡＦポイント記憶部
３３３ モデル記憶部
１００ 情報処理システム

Claims (10)

1. 画像データを収集する収集部と、
   前記収集部で収集された複数の前記画像データを用い、前記画像データに含まれる被写体位置を抽出し、前記画像データと前記被写体位置との関係について学習処理を行い、前記画像データから被写体を特定して焦点位置を特定する自動焦点調整用の学習済モデルを作成する学習部と、
   前記学習部で作成された前記学習済モデルを要求した機器に出力する出力部と
   を備え、
   前記収集部は、前記収集された前記画像データを前記被写体の区分毎に自動的に振り分けて蓄積し、
   前記学習部は、前記被写体の区分毎に、前記収集部により収集された前記画像データが所定の数に達した時に、前記被写体に対する前記学習処理を開始し、
   前記学習処理に用いられる前記画像データには、前記学習部に入力される前に測距点が指定されている、
   情報処理装置。
2. 前記出力部は、前記被写体の区分毎に、収集した前記画像データ及びその集計状況を出力する、請求項１に記載の情報処理装置。
3. 前記測距点は、複数指定可能であり、優先順位が決められている、請求項１に記載の情報処理装置。
4. 複数指定された前記測距点の優先順位は、変更可能である、請求項３に記載の情報処理装置。
5. 前記収集部は、前記測距点が指定された前記画像データを収集する、請求項１に記載の情報処理装置。
6. 前記学習部での前記学習処理に用いられる前記画像データを利用して、前記画像データに自動的に注釈を付与する付与部を更に備える、請求項１に記載の情報処理装置。
7. 画像データを収集し、収集された複数の前記画像データを用い、前記画像データに含まれる被写体位置を抽出し、前記画像データと前記被写体位置との関係について学習処理を行い、前記画像データから被写体を特定して焦点位置を特定する自動焦点調整用の学習済モデルを作成し、前記学習済モデルを要求した機器に出力する情報処理装置と、
   前記情報処理装置から前記学習済モデルを取得する端末装置と、
   前記端末装置から前記学習済モデルを取得し、前記学習済モデルに基づいて自動焦点調整を実施する電子機器と
   を含み、
   前記収集された前記画像データは、前記被写体の区分毎に自動的に振り分けて蓄積され、
   前記学習処理は、前記被写体の区分毎に、前記収集された前記画像データが所定の数に達した時に、前記被写体に対する前記学習処理を開始し、
   前記学習処理に用いられる前記画像データには、前記学習処理が行われる前に測距点が指定されている、
   情報処理システム。
8. 画像データを収集し、収集された複数の前記画像データを用い、前記画像データに含まれる被写体位置を抽出し、前記画像データと前記被写体位置との関係について学習処理を行い、前記画像データから被写体を特定して焦点位置を特定する自動焦点調整用の学習済モデルを作成し、前記学習済モデルを要求した機器に出力する情報処理装置と、
   前記情報処理装置から前記学習済モデルを取得し、前記学習済モデルに基づいて自動焦点調整を実施する電子機器と
   を含み、
   前記収集された前記画像データは、前記被写体の区分毎に自動的に振り分けて蓄積され、
   前記学習処理は、前記被写体の区分毎に、前記収集された前記画像データが所定の数に達した時に、前記被写体に対する前記学習処理を開始し、
   前記学習処理に用いられる前記画像データには、前記学習処理が行われる前に測距点が指定されている、
   情報処理システム。
9. 画像データを収集することと、
   収集された複数の前記画像データを用い、前記画像データに含まれる被写体位置を抽出し、前記画像データと前記被写体位置との関係について学習処理を行い、前記画像データから被写体を特定して焦点位置を特定する自動焦点調整用の学習済モデルを作成することと、
   作成された前記学習済モデルを要求した機器に出力することと
   を含み、
   前記収集することは、前記収集された前記画像データを前記被写体の区分毎に自動的に振り分けて蓄積し、
   前記学習処理は、前記被写体の区分毎に、前記収集された前記画像データが所定の数に達した時に、前記被写体に対する前記学習処理を開始し、
   前記学習処理に用いられる前記画像データには、前記学習処理が行われる前に測距点が指定されている、
   情報処理方法。
10. 画像データを収集する処理と、
    収集された複数の前記画像データを用い、前記画像データに含まれる被写体位置を抽出し、前記画像データと前記被写体位置との関係について学習処理を行い、前記画像データから被写体を特定して焦点位置を特定する電子機器の自動焦点調整用の学習済モデルを作成する処理と、
    作成された前記学習済モデルを要求した機器に出力する処理とを含み、
    前記収集された前記複数の前記画像データは前記被写体の区分毎に自動的に振り分けて蓄積され、
    前記学習処理は、前記被写体の区分毎に、前記収集された前記画像データが所定の数に達した時に、前記被写体に対する前記学習処理を開始し、
    前記学習処理に用いられる前記画像データには、前記学習処理が行われる前に測距点が指定されている、
    をコンピュータに実行させるプログラム。

Images