JP7154844B2 - 撮影装置、情報処理装置、情報処理方法及び情報処理システム - Google Patents

Description

撮影装置の制御機能を設定する技術に関する。

カメラには従来から、撮影結果に影響を与えるさまざまな撮影機能が備わっている。例えば、被写体に合焦させるためのフォーカス調節、撮影結果の明るさを決めるための露出調整、ボケ具合を調節するための絞り調節、などである。近年のデジタルカメラでは、これらの調節機能をカメラ側で自動設定することが行われている。例えば人物の顔検出処理を行い、その検出位置にフォーカスを合わせる機能である。

特許文献１では、撮影したときに焦点の合っている領域の物体が何であるかを特定してその情報をテーブルに記憶しておき、そのあとの撮影に関しては、テーブルに高頻度で記憶されている物体に関して、優先的にフォーカスを合わせる方法が開示されている。

特開２０１６－６１８８４号公報

フォーカス機能を含むカメラのさまざまな設定を自動制御しようとすると、従来のルールベースの方法ではユーザが意図する設定を見つけるまで時間がかかる場合がある。複数の被写体が写った画像において、フォーカスしたい被写体をはじめから特定できるとは限らない為、特許文献１の方法では、時間がかかる可能性がある。

本発明は上記課題に鑑みてなされたものであり、撮影に使う機能の設定を短時間で学習することを目的とする。

上記課題を解決する本発明にかかる情報処理システムは、撮影に関する機能を設定する制御情報を学習モデルによって推定する情報処理システムであって、前記学習モデルに従って前記機能を設定された撮影装置において、撮影を確定する第１操作または撮影を中断する第２操作を検知する検知手段と、強化学習を用いて、前記検知手段によって前記第１の操作を受け付けた場合は正の報酬を、前記検知手段によって前記第２の操作を受け付けた場合は負の報酬を決定し、前記学習モデルのパラメータを更新に関わる情報を取得する取得手段と、前記更新に関わる情報に基づいて前記学習モデルのパラメータを更新する学習手段とを有することを特徴とする。

本発明により、撮影に関する機能の設定を短時間で学習できる。

強化学習について説明する図 撮影装置のハードウエア構成例を示したブロック図 情報処理システムの機能構成例を示すブロック図 撮影装置が実行する処理の流れを説明するフローチャート 情報処理システムが実行する処理の流れを説明するフローチャート ＣＮＮを説明する図 ＣＮＮを説明する図 ＣＮＮを説明する図 情報処理システムが実行する処理の流れを説明するフローチャート 情報処理システムの機能構成例を示すブロック図 情報処理システムが実行する処理の流れを説明するフローチャート 画像に対するデータ操作を説明する図 情報処理システムの構成例を説明した図 情報処理システムの構成例を説明した図 情報処理システムの機能構成例を示すブロック図

＜第１の実施形態＞
実施形態の説明に先立って、強化学習について説明する。図１（ａ）に強化学習のモデルを示す。本実施形態における強化学習とは、ある環境における撮影装置１０００が、取得部１２００で時刻ｔにおける現在の状態Ｓを取得（観測）する。推定部１３００で、撮影装置のユーザが撮影したい画像が得られる設定に変更するような行動（制御部１４００で実行する制御指示）Ａを推定する。環境とは、有限個の状態ｓの集合Ｓから成るとする。例えば、撮影装置が撮影しようとしている画像や、撮影装置の設定を指すものとする。撮影装置とは、学習を行う主体であり、有限種類の行動の集合Ａの中から１つを選択して実行し、その結果として環境が次の状態に遷移する。上の撮影装置の例では、フォーカスする位置を制御するといった制御が行動に該当する。状態Ｓ（Ｓｔａｔｕｓ）とは、撮影装置が置かれている状況である。図１（ｂ）に状態と制御の関係を説明する。撮影装置の状態の集合Ｓは、撮影装置の各機能ｉの状態ｓ_ｉの集合で表現される。例えば、撮影装置のフォーカス機能（機能ｉ＝１）については、レンズの位置（例えば、センサ側に原点を設定し、０からｘまで可動範囲とする）が状態ｓ_１である。行動Ａ（ａｃｔｉｏｎ）とは、撮影装置が実行する制御を指す。図１（ｂ）に撮影装置のフォーカス機能の制御の例を示す。フォーカス機能に対応する行動（制御）は、レンズをセンサ側に動かす場合はマイナス、レンズをセンサと反対側に動かす場合はプラスとする。このとき、レンズの行動（制御）は、＋１、０、（－１）の３つの選択肢がある。なお、数字の１は一例である。報酬ｒとは、環境から撮影装置が得る報酬である。報酬ｒを決定する報酬関数は状態ｓ_ｔと行動ａ_ｔのペアで決定される関数で、時刻ｔにおけるある状態ｓ_ｔで、ある行動ａ_ｔをとって、状態ｓ_ｔ＋１になって得られる報酬ｒｔを返す。撮影装置は、報酬が最大になるような行動（制御）を行う。本実施形態で説明する強化学習では、ユーザによる操作で報酬を決定できるため、効率的に学習データを収集でき、短時間で学習できる。

図２に基づいて本実施形態のハードウエアの構成例を説明する。中央処理ユニット（ＣＰＵ）１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２や記憶装置１０４に格納されたＯＳやその他プログラムを読みだして実行し、システムバス１０９に接続された各構成を制御して、各種処理の演算や論理判断などを行う。ＣＰＵ１０１が実行する処理には、実施形態の情報処理が含まれる。記憶装置１０４は、ハードディスクドライブや外部記憶装置などであり、実施形態の処理にかかるプログラムや各種データを記憶する。入力部１０５は、カメラなどの撮影装置、ユーザ指示を入力するためのボタン、キーボード、タッチパネルなどの入力デバイスである。なお、記憶装置１０４は例えばＳＡＴＡなどのインタフェイスを介して、入力部１０５は例えばＵＳＢなどのシリアルバスを介して、それぞれシステムバス１０９に接続されるが、それらの詳細は省略する。通信Ｉ／Ｆ１０６は無線通信で外部の機器と通信を行う。表示部１０７はディスプレイである。センサ１０８は画像センサである。センサはこれ以外にも、例えば、距離センサや、ジャイロセンサや、オドメトリセンサを備えていてもよい。

図３（ａ）に沿って、第１の実施形態における情報処理システムの機能構成例を説明する。処理内容の具体的な詳細については後述する。情報処理システム１００００は、撮影装置１０００、情報処理装置６０００からなる。情報処理システム１００００の構成要素としての撮影装置１０００は、１つでもよいし、図１３（ａ）に描かれている１０００－１～１０００－Ｎのように複数同時に存在してもよい。

図３（ａ）における撮影装置１０００は、検知部１１００、取得部１２００、推定部１３００、制御部１４００、第１記憶部１５００、第１学習部２０００、第１送信部１７００、第１受信部１８００から構成される。なお、第１送信部１７００、第１受信部１８００を合わせて通信部としてもよい。撮影装置１０００としてもっとも一般的な例はデジタルカメラである。それ以外にも、携帯電話やスマートフォンに装備されたカメラや、タブレットやノートＰＣなどに内装されたカメラなどが考えられる。

図４（ａ）を用いて撮影装置１０００が実行する処理の流れの概要を説明する。なお、図４のフローチャートに示した処理は、コンピュータである図２のＣＰＵ１０１により記憶装置１０４に格納されているコンピュータプログラムに従って実行される。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。Ｓ４０１０では、撮影装置１０００が撮影準備をする。Ｓ４０２０では、第１受信部１８００が、推定部１３００における学習モデルのパラメータを、情報処理装置６０００から受信する。第１記憶部１５００は、受信されたパラメータを保持する。Ｓ４０３０では、検知部１１００が、撮影装置１０００を操作しているユーザが行った撮影動作（ここでは、シャッターを半押しする動作）を操作として検知する。図４（ｂ）におけるＳ４０４０は、撮影装置１０００が撮影を開始する撮影動作（例えば、シャッターを半押しする）が行われている間、繰り返し実行される処理である。Ｓ４０４１では、取得部１２００が、検知部１１００から得られた命令に従い、被写体を含むシーンを撮影し、そのシーンの画像を含む撮影時情報および撮影装置のユーザ設定情報を取得する。撮影時情報とユーザ設定情報の説明は後述する。Ｓ４０４２では、推定部１３００は、取得部１２００で取得された撮影時情報とユーザ設定情報から、学習モデルを用いて取得部１２００が次に被写体を撮影する際の制御情報を推定する。詳細な処理は後述する。Ｓ４０４３では、制御部１４００は、推定部１３００で推定された制御情報に従い、撮影装置を制御する。Ｓ４０４４では、検知部１１００が、撮影装置による撮影を行うかどうかの撮影動作を検知する。ここでの撮影動作とは、具体的には、シャッターを押して撮影を確定する動作、シャッターを解除して撮影を中断する動作がある。Ｓ４０４５では、検知部１１００が、ユーザによる撮影動作に従って、撮影を継続するか否かを判断する。シャッターが半押しされた状態であることを検知した場合、撮影を継続し、Ｓ４０４１に戻る。シャッターが押されたまたは解除された場合、撮影を確定または中断したとみなし、Ｓ４０４０を終了する。Ｓ４０５０では、第１学習部２０００が、Ｓ４０４４の検知結果に基づいて、学習モデルのパラメータの更新に関わる情報を決定する。Ｓ４０６０では、第１送信部１７００が、パラメータの更新に関わる情報を情報処理装置６０００に送信する。

図３（ａ）における情報処理装置６０００は、第２送信部６７００、第２受信部６８００、第２学習部６１００、第２記憶部６５００から構成される。第２送信部６７００、第２受信部６８００を合わせて第２通信部としてもよい。情報処理装置６０００はサーバとして設置された計算機であり、一般的にはワークステーションやＰＣなどである。第２記憶部６５００は、撮影装置１０００における推定部１３００における学習モデルのパラメータを記憶する。第２送信部６７００は、記憶部６５００から読み込んだパラメータを、撮影装置１０００へと送信する。第２受信部６８００は、撮影装置１０００の第１学習部２０００で得られたパラメータ更新値を受信し、第２学習部６１００へと送る。第２学習部６１００は、記憶部５０００に記憶されているパラメータの値と、受け取ったパラメータ更新値に従ってパラメータの値を更新する。更新されたパラメータは、第２記憶部６５００に記憶される。

撮影装置１０００と情報処理装置６０００の間の通信は、第１送信部１７００、第１受信部１８００、第２送信部６７００、第２受信部６８００によって行われる。両者間の通信は有線によるものでも無線によるものでもよい。また、両者の通信は直接行われるものに限らず、ルータや別サーバを経由して行われてもよい。

図５（ａ）を用いて情報処理システム１００００が実行する処理の流れを詳細に説明する。Ｓ４０１０は、撮影装置１０００が、撮影の準備として、推定部１３００における学習モデルのパラメータを要求する信号を情報処理装置６０００に送信する。Ｓ４０１０が開始されるトリガーとして、検知手段１１００は、ユーザによって行われる撮影を準備するための動作を検知する。撮影を準備するための動作は、ここでは撮影装置１０００の電源をＯＮにする動作を指す。第１送信部１７００が、推定部１３００における学習モデルのパラメータを要求する信号を情報処理装置６０００へ送信する。ここで、撮影を準備するための動作にはさまざまなものが考えられる。例えば撮影装置の電源を入れる、撮影モードをＯＮにする、などの動作が考えられる。あるいは、後述する撮影を開始するための操作と同じくシャッターボタンの半押しと定義して、後述する撮影制御の開始時に本ステップを実施してもよい。

Ｓ５００１では、情報処理装置６０００における第２受信部６８００が、撮影装置１０００から学習モデルのパラメータを要求する信号を受信する。Ｓ５００２では、第２送信部６７００が、情報処理装置６０００の第２記憶部６５００にあらかじめ記憶されている、推定部１３００における学習モデルのパラメータを第１受信部１８００へ送信する。Ｓ４０２０では、撮影装置１０００における第１受信部１８００が、情報処理装置６０００から、推定部１３００における学習モデルのパラメータを受け取る。情報処理装置６０００から送信されたパラメータを受け取ると、受けとったパラメータの値を推定部１３００における学習モデルに設定する。

Ｓ４０３０では、検知部１１００が、ユーザによる撮影を開始するための操作を検知する。撮影を開始するための操作は、たとえば、シャッターボタンを半押し状態にする操作を指す。撮影を開始するための操作が検知されると、Ｓ４０４０が開始される。

Ｓ４０４０における撮影時刻はｔ＝１に初期化される。図４（ｂ）のＳ４０４０は、Ｓ４０４１、Ｓ４０４２、Ｓ４０４３、Ｓ４０４４、Ｓ４０４５から成る。シャッターボタンが半押されている状態である間にこれらのステップが繰り返し行われる。Ｓ４０４１では、取得部１２００が、被写体を含むシーンに関する、撮影時情報とユーザ設定情報とを取得する。撮影時情報とユーザ設定情報は様々なものが考えられる。撮影時情報のもっとも端的なものは、撮像センサから得られる被写体の画像である。その他にも撮影装置から得られるさまざまな情報を扱うことができる。例えば、像面位相差から得られるデプス情報や、画像内の局所領域におけるコントラストの強さを領域ごとに算出したコントラストマップ、レンズのフォーカス位置などがある。画像全体の輝度絶対値であるＢｖ値なども、撮影時情報として扱うことができる。また、画像情報を入力として得られる各種認識結果を撮影時情報の一種としてもよい。例えば、顔や人体の検出結果や、動物や自動車、飛行機などの特定物体の検出結果、シーン認識結果などを撮影時情報として扱ってもよい。ユーザ設定情報は、ユーザが撮影を開始する際に行った設定に関する情報である。例えば、ユーザによって選択された撮影モード（マクロモード、夜景モード、スポーツモード、など）や、露出設定、ホワイトバランスモード、などが考えられる。

Ｓ４０４２では、推定部１３００が、取得された撮影時情報とユーザ設定情報を入力として、学習モデルに基づいて、撮影装置を制御する際の制御情報を推定する。制御情報はさまざまなものが想定されるが、たとえばフォーカス動作、露出設定、ゲイン調整値、等の制御値が考えられる。推定部１３００における学習モデルは、撮影時情報やユーザ設定情報を制御情報に変換できるものであれば、特に限定されるものではない。ここでは具体的に、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）によって制御情報を推定する手順を説明する。

図６に、ＣＮＮ６の模式図を示す。入力層２１００は、ＣＮＮの入力層である。入力層２１００は、入力画像のサイズに対応するマップ形式の撮影時情報を入力するマップ入力部２１１０と、画像全体に対してスカラ値もしくはベクトル値で与えられる撮影時情報およびユーザ設定情報を列挙した、スカラ／ベクトル入力部２１２０で構成される。マップ入力部２１１０に入力される撮影時情報としてはさまざまなものが考えられる。例えば、ＲＧＢ画像、あるいは現像処理前のＲＡＷ画像や画像のデプス情報、物体検出器による物体検出スコアのマップ、画像の局所領域における分散値から得られるコントラストマップ、などが挙げられる。スカラ／ベクトル入力部２１２０に入力される撮影時情報もさまざまなものが考えられる。例えば、画像全体の輝度絶対値（Ｂｖ値）、シーン認識器による認識結果、レンズのフォーカス位置、などがある。また、スカラ／ベクトル入力部２１２０には、カメラの撮影モード、露出設定、ホワイトバランス係数、といったユーザ設定情報も入力できる。これらさまざまな撮影時情報およびユーザ設定情報の組み合わせに対して限定されるものではない。また、Ｓ４０４０における複数の時刻に関する撮影時情報およびユーザ設定情報を、図７（ａ）のように入力層へ入力してもよい。例えば、現時刻ｔにおける撮影時情報およびユーザ設定情報をＳ_ｔとしたときに、Ｔフレーム前の時刻ｔ－Ｔまでの情報Ｓ_ｔ、Ｓ_ｔ－１、・・・Ｓ_ｔ－Ｔを利用してもよい。また、直前の時刻ｔ－１からｔ－Ｔまでの出力層の出力結果を、図７（ｂ）のように入力層に与えてもよい。

図６の中間層２２００は、少なくとも一つの層から構成される畳み込み層２２１０、少なくとも一つの層から構成される逆畳み込み層２２２０、そして、少なくとも一つの層から構成される完全結合層２２３０からなる。これらＣＮＮの各層は、少なくとも一つ以上の素子から構成されている。畳み込み層２２１０内部の各層は、畳み込みによって順番に結合している。畳み込み層２２１０の最終層２２１２は、逆畳み込みによって逆畳み込み層２２２０の最下層２２２１と結合している。逆畳み込み層２２２０内部の各層は、逆畳み込み結合によって順番に結合している。また、畳み込み層の最終層２２１２のすべての素子は、完全結合層２２３０の最下層２２３１のすべての素子と完全結合している。完全結合層２２３０は複数の層から成り、各層は完全結合によって順番に結合している。層間の各結合は、結合重みを伴っている。各層におけるこの結合重みのセットが、学習モデルのパラメータである。後述する強化学習の方法で、このパラメータが更新される。結合重みの初期値はランダムに与えてもよいし、ルールベースで得られるパラメータであらかじめ学習しておいてもよい。あるいは、プロカメラマンによって学習させた結果得られたパラメータを初期値として与えておいてもよい。この場合、事前にカメラをプロカメラマンに使ってもらって学習させる。

マップ入力部２１１０は、畳み込み層２２１０の最下層２２１１と、畳み込み結合によって結合している。スカラ／ベクトル入力部２１２０は、畳み込み層２２１０の各層の各素子に対して、バイアス信号として入力される。出力層２３００、マップ出力部２３１０と、スカラ／ベクトル出力部から構成される。マップ出力部２３１０は、入力画像のサイズに対応するマップ形式で出力信号を出力する。スカラ／ベクトル出力部２３２０は、入力画像に対してスカラ値もしくはベクトル値による出力信号を出力する。マップ出力部２３１０の各マップは、逆畳み込み層２２２０の最終層２２２２と、逆畳み込み結合で結合している。スカラ／ベクトル出力部２３２０の各素子は、完全結合層の最終層２２３２の信号を受け取り、撮影装置の制御の選択肢に対する確率を出力する。マップ出力部２３１０には、画像上の各位置に撮影装置の制御の選択肢に対する確率が出力される。例えば、マップ出力部２３１０の出力として、フォーカス動作を確率的に定義するために、図８のように、３枚のマップ２３１１ａ、２３１１ｂ、２３１１ｃを用意する。マップ２３１１ａ、２３１１ｂ、２３１１ｃは、それぞれフォーカスを手前に動かす／静止させる／奥側へ動かす、といった動作のためのマップである。マップ２３１１ａ、２３１１ｂ、２３１１ｃの出力値は、画像上のどの位置をフォーカス制御点として設定し、フォーカス用のレンズモーターを手前／奥のどちらに動かすか、という制御動作の選択肢を確率的に表している。マップの出力がピーキーであれば、より確実にピークに相当する制御動作が選ばれることになる。マップの出力が広く似たような値で分布していれば、より広くランダムに制御動作が選ばれることになる。現時刻ｔの入力層における状態がＳ_ｔのとき、マップ出力部２３１０のｉ番目の機能におけるｋ番目の動作に関する出力をＱ_ｉ，ｋ（Ｓ_ｔ，（ｘ，ｙ））と書くこととする。（ｘ，ｙ）はマップ上の座標で、画像上の位置に対応する。例えばフォーカス動作のためのマップに機能インデックスｉ＝１を割り当て、フォーカスを手前側に動かす２３１１ａ／動かさない２３１１ｂ／奥側へ動かす２３１１ｃのそれぞれのマップに対して、ｋ＝１，２，３と割り当てる。その場合、例えば、フォーカス制御点を（ｘ，ｙ）として、フォーカスを手前に動かす制御に関する出力は、Ｑ_１，１（Ｓ_ｔ，（ｘ，ｙ））と表される。

スカラ／ベクトル出力部２３２０には、画像上の位置に依存しない撮影装置の制御に関して、その選択肢の確率が出力される。例えば、スカラ・ベクトル出力部の２３２０の出力として、図８のように、露出制御端子２３２１ａ～ｃ、ゲイン調整端子２３２２ａ～ｃ、絞り調整端子２３２３ａ～ｃを用意する。露出制御するための３つの端子２３２１ａ、２３２１ｂ、２３２１ｃはそれぞれ、露出時間をさらに多くする／変えない／少なくする、という動作に対応する。ゲイン調整制御するための３つの端子２３２２ａ、２３２２ｂ、２３２２ｃはそれぞれ、撮像センサのゲインを上げる／変えない／下げる、という動作に対応する。絞り調整制御するための３つの端子２３２３ａ、２３２３ｂ、２３２３ｃはそれぞれ、レンズの絞りを現状の状態から絞る／変えない／開ける、という動作に対応する。

ここで挙げた説明は出力層の一例である。

現時刻ｔの入力層における状態がＳ_ｔのとき、スカラ／ベクトル出力層２３２０のｊ番目の機能におけるｈ番目の動作に関する出力をＱ_ｊ，ｈ（Ｓ_ｔ）と書くこととする。例えば露出制御動作に機能インデックスｊ＝１を割り当て、露出を多くする２３２１ａ／変えない２３２１ｂ／少なくする２３２１ｃのそれぞれの動作に対して、ｈ＝１，２，３と割り当てる。その場合、例えば、露出を多くする制御に関する出力は、Ｑ_１，１（Ｓ_ｔ）と表される。

現時刻ｔにおける撮影時情報およびユーザ設定情報が入力層２１００に入力されると、その情報Ｓ_ｔがＣＮＮを通して伝達される。出力層２３００の各マップ出力部２３１０およびスカラ／ベクトル出力部２３２０から出力信号Ｑ_ｉ，ｋ（Ｓ_ｔ，（ｘ，ｙ））およびＱ_ｊ，ｈ（Ｓ_ｔ）が得られる。状態Ｓに依存して決定されるＱを制御情報とする。

Ｓ４０４３では、制御部１４００が、推定部１３００で推定された制御情報に従って、撮影装置１０００の撮影に関する機能を設定する。具体的な処理を説明する。現時刻ｔにおけるマップ出力部２３１０の各機能ｉにおける制御動作Ａ_ｔ，ｉとして、位置（ｘ，ｙ）による制御行動ｋが選択される確率は、下記のようになる。

同様に、現時刻ｔ_０におけるスカラ／ベクトル出力部２３２０の各機能ｊにおける制御動作Ａ_ｔ，ｊとして、制御行動ｈが選択される確率は、下記のようになる。

このようにして、各機能は出力層の値に比例した確率で動作が選択され、フォーカス動作や露出制御、ゲイン調整、絞り調整などの各制御動作が実行される。

Ｓ４０４４では、検知部１１００が、撮影装置による撮影を行うかどうかの撮影動作を検知する。ここでの撮影動作とは、具体的には、シャッターを半押しにしたままの動作、シャッターを押して撮影を確定する動作（第１操作）、シャッターを解除して撮影を中断する動作（第２操作）がある。

Ｓ４０４５では、検知部１１００が、シャッターの状態に基づいて、撮影を継続するか否かを判断する。ユーザによってシャッターが半押しされた状態を検知した場合は、撮影シを継続すると判断する。このとき、撮影時刻をｔ←ｔ＋１と加算し、Ｓ４０４１へと戻る。ユーザによって撮影が実行された、すなわち検知部１１００が、シャッターが深押された状態を検知した場合は撮影を終了し、Ｓ４０５０へと進む。あるいは、撮影が中断された、すなわち検知部１１００が、シャッターが解除された状態を検知した場合には、撮影を終了し、Ｓ４０５０へと進む。

Ｓ４０５０では、学習部２０００が、強化学習を用いて、撮影を確定させる第１操作を検知した場合は正の報酬を、撮影を中断させる第２操作を検知した場合は負の報酬を決定する。Ｓ４０４４にてユーザが撮影実行命令を出した場合には、ここまでの撮影制御が正しかったとみなして、「報酬」を与える。撮影中断命令だった場合には、ユーザがここまでの撮影制御を不適と判断したものとして、「罰」を与える。これにより、撮影装置の撮影中に行われた制御動作について強化学習する。撮影終了時の最終フレームにおける時刻をｔ_０とする。Ｓ４０４０のｔ＝ｔ_０、ｔ_０－１、・・・ｔ・・・１におけるそれぞれの出力に対して、マップ出力部２３１０とスカラ／ベクトル出力部２３２０、それぞれの行動価値Ｑ’を次のように得る。

Ｑ’_ｉ，ｋ（Ｓ_ｔ，（ｘ，ｙ））＝ｒ_ｔ＋１＋γＱ_ｉ，ｋ（Ｓ_ｔ＋１，（ｘ，ｙ））・・・（３）
Ｑ’_ｊ，ｈ（Ｓ_ｔ）＝ｒ_ｔ＋１＋γＱ_ｊ，ｈ（Ｓ_ｔ＋１）・・・（４）
ただし、（ｘ，ｙ）およびｋは、時刻ｔにおいてマップ出力部２３１０の制御機能ｉにおいて選択された制御動作Ａ_ｔ，ｉの位置と動作を表す。また、ｈは時刻ｔにおいてスカラ／ベクトル出力部２３２０の制御機能ｊにおいて選択された制御動作Ａ_ｔ，ｊの動作を表す。
Ｓ４０４４で検知したユーザの操作によって、「正の報酬」が与えられている場合は、ｒ_１の値は１などの正の値となる。ｔが１以外の場合には、一律にｒ_ｔ＝０である。撮影制御に対して「負の報酬」が与えられている場合には、ｒ_１の値は－１などの負の値となり、ｔが１以外の場合には、一律にｒ_ｔ＝０である。γは時刻を遡る際に各動作に対して与える影響を減衰させるための係数で、γ＝０．９などと設定する。これに従って得られたＱ’の値を各出力層に対する教師値として与えると、機能ｉ、ｊおよび制御行動ｋ、ｈに対する誤差は下記のような式であらわされる。

Ｌ_ｉ，ｋ＝（Ｑ_ｉ，ｋ（Ｓ_ｔ，（ｘ，ｙ））－Ｑ’_ｉ，ｋ（Ｓ_ｔ，（ｘ，ｙ）））^２・・・（５）
Ｌ_ｊ，ｈ（Ｑ_ｊ，ｈ（Ｓ_ｔ）－Ｑ’_ｊ，ｈ（Ｓ_ｔ））^２・・・（６）
上記の誤差関数から、勾配降下法などでＣＮＮ全体を学習させる。

ここで、第１学習部２０００は撮影装置１０００の内部にあってもよいし、撮影装置１０００の外部にあるＰＣや携帯端末、あるいはサーバの中にあってもよい。撮影装置外部に第１学習部２０００がある場合には、学習モデルのパラメータ、撮影時情報とユーザ設定情報、検知ステップで得られたユーザ操作の情報が、撮影装置外部の第１学習部２０００に無線もしくは有線によって送信される。

Ｓ４０６０では、第１送信部１７００が、学習モデルのパラメータ変化分δΘを含む更新に関わる情報を情報処理装置６０００に送信する。

Ｓ５００３では、第２受信部６８００が、第１送信部１７００から送信された学習モデルのパラメータの変化分δΘを受信する。情報処理装置６０００は、複数の撮影装置から学習モデルのパラメータの変化分δΘを受信してもよい。

Ｓ５００４では、第２学習部６１００が、更新に関わる情報に基づいて学習モデルのパラメータを更新する。ここでは、第２記憶部６５００に記憶されている学習モデルのパラメータΘ_ｍに対して、受け取った学習モデルのパラメータの変化分δΘを下記のように加算することで、更新された学習モデルのパラメータΘ’が得られる。

Θ＝Θ_ｍ＋δΘ_０・・・（７）
ただし、複数の撮影装置から受信した学習モデルのパラメータの変化分δΘを合わせたデータに基づいて学習モデルのパラメータを更新しても良い。更新された学習モデルのパラメータΘ’は、第２記憶部６５００に記憶される。

このようにして、一つ以上の撮影装置１０００－１～１０００－Ｎにおいて、撮影を確定もしくは撮影を中断のいずれかが選択される。これによって各撮影装置における撮影で行われた制御動作に対して、情報処理装置６０００に記憶されている学習モデルのパラメータがバッチ的に学習され、更新される。そのため、本実施形態における撮影装置は、複数の撮影装置によって撮影を何度も行っていくことにより、さまざまなユーザが所望する動作に近い制御動作が得られるようになる。

（変形例１）
撮影装置内で学習計算を行う構成としていたが、学習計算は、外部の端末を利用して行ってもよい。例えば、撮影装置が学習処理を行うためのスペックが十分でない場合は、スマートフォン等の情報端末を介して情報処理装置に学習用のデータ（学習モデルのパラメータや制御情報）を送るとよい。この場合の情報処理システム２００００の構成例を図３（ｂ）に示す。

情報処理システム２００００は、撮影装置１０１０、情報処理装置６００１、通信端末装置７０００からなる。通信端末装置７０００は、プログラムによる計算機能と通信機能を備えた装置であって、具体的にはスマートフォンやタブレット、ノートＰＣなどが考えられる。また、計算機能を搭載した別カメラを通信端末装置７０００として利用してもよい。情報処理システム２００００の構成要素としての撮影装置１０１０および通信端末装置７０００は１つでもよいし、図６（ｂ）に示すように複数同時に存在してもよい。

撮影装置１０１０の構成は、第１学習部２０００と第１記憶部１５００を含まないこと以外、実施形態１と同様である。また、情報処理装置６００１の構成は、実施形態１と同様である。ただし、撮影装置１０００と情報処理装置６００１の間の通信は、通信端末装置７０００を使って中継される。撮影装置１０１０における第１送信部１７００は、撮影時情報およびユーザ設定情報、ユーザ操作の情報、および推定部１３００で推定された制御情報設定の履歴を、第１送信部１７００から通信端末装置７０００へ送信する。

通信端末装置７０００は、第３受信部７７００、第３送信部７８００、第３学習部７２００、第３記憶部７１００から構成される。第３受信部７７００は、撮影装置１０１０の第１送信部１７００から学習モデルのパラメータを要求する信号を受け取ると、通信端末装置７０００はその信号を第３送信部７８００から情報処理装置６００１へと送信する。また、情報処理装置６００１から受信された学習モデルのパラメータを撮影装置１０００へ送信する。第３受信部７７００は、情報処理装置６００１から、推定部１３００における学習モデルのパラメータを受信する。また、第３受信部７７００は、撮影装置１００１から撮影時情報、ユーザ設定情報、検知部１１００の検知結果を受信する。第３学習部７２００はそれらの情報をもとに、学習モデルのパラメータを更新する値を決定する。決定された更新値は、第３送信部７８００から、情報処理装置６０００へと送信される。

撮影装置１０１０と通信端末装置７０００、通信端末装置７０００と情報処理装置６００１の間の通信は、有線によるものでも無線によるものでもよい。また、通信端末装置７０００と情報処理装置６００１の間の通信は直接行われるものに限らず、ルータや別サーバを経由して行われてもよい。

次に、図５（ｂ）のフローチャートに従って、上記構成における処理の詳細を説明する。Ｓ５０１０では、撮影装置１０１０が、撮影の準備として、推定部１３００における学習モデルのパラメータを要求する信号を、通信端末装置７０００へと送信する。Ｓ５０１１では、通信端末装置７０００の第３受信部７７００が、撮影装置１０１０から、学習モデルのパラメータを要求する要求信号を受信する。さらに第２送信部６７００が、学習モデルのパラメータを要求するデータを通信端末装置７０００の第３受信部７７００へ送信する。そして、情報処理装置６０００における第２受信部６８００が、通信端末装置７０００から中継された要求信号を受け取る。続いてＳ５０１２では、第２送信部６７００が、第２記憶部６５００に記憶されている推定部１３００における学習モデルのパラメータを、通信端末装置７０００の第３受信部７８００へ送信する。通信端末装置７０００で情報処理装置６００１からパラメータを受信すると、第３送信部７７００は、受け取ったパラメータをそのまま撮影装置１０１０へと送信し、パラメータのコピーを、第３記憶部７１００に記憶しておく。

Ｓ５０１３では、撮影装置１０１０における第１受信部１８００が、通信端末装置７０００から中継されてきたパラメータを受信する。そのパラメータを推定部１３００の学習モデルに設定する。Ｓ４０３０は、検知部１１００が、ユーザによる撮影を開始するための操作を検知する。撮影を開始するための操作は、たとえば、シャッターボタンを半押し状態にする操作を指す。撮影を開始するための操作が検知されると、Ｓ４０４０が開始される。

Ｓ４０４０では、図４（ｂ）と同様に、画像から制御情報を推定し、撮影機能を制御する。Ｓ５０１４では、第１送信部１７００が、Ｓ４０４０で取得された、撮影時情報、ユーザ設定情報、ユーザ操作の情報、そして制御情報の履歴を、訓練データとして通信端末装置７０００へ送信する。訓練データとは、通信端末装置７０００で学習モデルのパラメータの更新値を決定するためのデータであって、少なくとも画像と検知部１１００における検知結果を含む。

Ｓ５０１５では、通信端末装置７０００の第３受信部７８００が、撮影時情報、ユーザ設定情報、ユーザ操作情報、制御情報の履歴を受信する。Ｓ５０１６では、第３学習部７２００が、推定部１３００における学習モデルのパラメータの更新に関わる情報（パラメータの更新値δΘ）を決定する。実施形態１において撮影装置１０００で行われた処理と同様にして学習が行われる。Ｓ５０１７では、得られた学習モデルのパラメータの更新に関わる情報を第３送信部７７００が、情報処理装置６００１へ送信する。Ｓ５０１８では、第２受信部６８００が、学習モデルのパラメータの更新に関わる情報を受信する。

Ｓ５００４では、図４（ａ）と同様の処理が行われ、第２学習部６１００が推定部１３００における学習モデルのパラメータを更新する。また、更新された学習モデルのパラメータを第２記憶部６５００が記憶する。

このようにして、撮影装置が非力な計算機能しか持たなくても、通信端末にて計算させることで、学習モデルのパラメータの更新値を決定する処理を効率的に進めることができる。情報処理装置への通信速度が遅い場合、もしくは、端末が充分な計算速度を持つ場合に有効である。なお、撮影装置で学習を行うユーザと、本実施形態のように撮影装置と通信端末を組み合わせて学習を行うユーザが、同時に情報処理装置と通信を行ってもよい。なお、通信端末装置７０００では訓練データを中継するだけで学習を行わず、情報処理装置６００１で更新値の決定とパラメータの更新を行うようにしてもよい。

（変形例２）
学習モデルのパラメータの更新値を決定する処理を、撮影装置または通信端末装置内で行う構成を説明したが、情報処理装置側で行ってもよい。図３（ｃ）の機能構成例従って説明する。情報処理システム３００００は、撮影装置１０１０及び情報処置装置６００２から構成される。なお、図３（ｃ）では第１の実施形態と同様に撮影装置１０００と情報処理装置６０００が通信するように描かれているが、図３（ｂ）のようにして途中で通信端末を経由して通信してもよい。

撮影装置１０１０は、図３（ｂ）と同様の機能構成を有する。一方で、情報処理装置６００２は、第２送信部６７００、第２受信部６８００、第２記憶部６５００に加えて、さらに第２学習部６１０１を有する。第２学習部６１０１は、学習モデルのパラメータの更新に関わる情報を取得し、更新に関わる情報を使って学習モデルのパラメータを変更する。図５（ｃ）を用いて情報処理システム３００００が実行する処理を説明する。

Ｓ４０１０からＳ４０４０までは、撮影装置１０１０が実行する処理で、図４（ａ）及び（ｂ）と同様であるため、説明は省略する。Ｓ５０２０では、第１送信部１７００が、撮影時情報、ユーザ設定情報、ユーザ操作情報、そして制御情報設定の履歴を、情報処理装置６０００へと送信する。Ｓ５０２１では、第２学習部６１０１が、撮影時情報、ユーザ設定情報、ユーザ操作情報、および制御情報設定の履歴を受信すると、実施形態１および２と同様にして推定部１３００の学習モデルのパラメータを更新する。学習して更新されたパラメータは、第２記憶部６５００に書き出される。

（変形例３）
図４（ａ）のＳ４０１０において、撮影装置１０００の取得部１２００が、撮影装置１０００が置かれている現在の状況を説明する状況情報を取得してもよい。例えば、現在の状況として位置情報を利用する場合、その観光地に適した学習モデルのパラメータを用意することによって、初めてその観光地を訪れた観光客でもすぐに適した設定で撮影できる。また、観光地では多くの人が撮影する為、通信端末装置や情報処理装置を活用して効率的に学習データを集めることができる。撮影装置もしくは通信端末装置が使われている場所や時間といった状況に関する情報から、その状況に合わせた学習モデルのパラメータが選択される。すなわち、状況毎に学習モデルのパラメータを用意することで、それぞれの状況に最適な撮影制御をすぐに学習できる。学習モデルのパラメータを選択する基準として、位置情報、時間情報、天気情報、などを状況情報として利用する。具体的に、位置情報、時間情報、天気情報について例を説明する。

位置情報は、撮影装置（またはユーザ）がどの場所に居るのか、を表す情報である。例えば、ＧＰＳによる緯度・経度の値がある。撮影装置がＧＰＳを搭載していれば、撮影装置の現在位置に関する情報を得ることができる。また、通信端末装置を経由して情報処理装置と通信する場合には、通信端末にＧＰＳが搭載してあれば、その情報を利用してもよい。また、位置情報をユーザが入力する形式でもよい。例えば、現在位置の地名や住所を撮影装置もしくは通信端末装置からキーボードや音声で入力することも考えられるし、アプリケーションソフトウェアを使ってユーザが選択する、などとしてもよい。あるいは、そのような情報を撮影装置で、あるいは通信端末装置のカメラ機能などで撮影し、文字認識などを使って読み込む、などとしてもよい。あるいは、ガイドブックなどに、その土地に対応するバーコードやＱＲコード（登録商標）などを掲載して、そのコードを読み込むことで位置情報を取得する、などとしてもよい。例えば、観光地では多くのユーザが写真を撮影するため、そのデータを使って学習を行うことでより迅速に学習できる。

時間情報は、画像が撮影された時間を表す情報である。撮影装置に内蔵された時計から取得してもよい。通信端末装置を経由して通信する場合には、通信端末装置に内蔵された時計から取得してもよい。あるいは、上記位置情報を使って、情報処理装置側で推測してもよい。あるいは、撮影装置もしくは通信端末装置から、時刻や、「昼／夜」といった情報を入力してもよい。

天気情報は、ある場所の天候を示す情報である。位置情報を使って、通信端末装置７０００や情報処理装置６０００からウェブ情報を利用して推定してもよい。あるいは、ユーザが撮影装置１０００もしくは通信端末装置７０００に、ユーザインターフェースを介して天気状況を入力してもよい。あるいは、撮影装置１０００もしくは通信端末装置７０００に付属の各種センサ（温度センサ、湿度センサ、など）から、天気を推定してもよい。

状況情報を取得する場合の処理について図５（ａ）を用いて説明する。Ｓ４０１０では、撮影装置１０００の取得部１２００が、撮影装置１０００が置かれている現在の状況を説明する状況情報を取得する。さらに第１送信部１７００が、情報処理装置６０００に、推定部１３００における学習モデルのパラメータを要求する信号とともに、上記状況情報を送信する。Ｓ５００２では、学習モデルのパラメータを要求する信号とともに上記状況情報を受け取ると、上記状況情報に対してあらかじめ割り当てられた学習モデルのパラメータを選択する。例えば、夜間という状況情報が受信された場合は夜用のパラメータを選択する。そして、第２送信部６７００が、推定部１３００における学習モデルのためのパラメータを送信する。Ｓ４０２０では、第１受信部１８００が、学習モデルのパラメータを受信する。そして推定部１３００の学習モデルのパラメータを設定する。このようにして、撮影装置の状況情報に基づいて学習モデルのパラメータが選択されるため、撮影装置の置かれた状況に則した撮影装置の学習モデルのパラメータがそれぞれ学習される。その結果、さまざまな状況で撮影装置の制御が適切に行われるようになる。これにより、例えば特定の観光地や、夕景・夜景などによる状況の変化に対して、それぞれ適した撮影制御方法を、常にアップデートしながら提供していくことができるようになる。

（変形例４）
図４（ａ）のＳ４０５０では、撮影装置１０００で設定した撮影モード毎に学習モデルのパラメータを学習してもよい。推定部１３００が撮影モードに対応した異なる学習モデルのパラメータ（結合重み）を利用して制御情報を推定する。これにより、画像に応じたそれぞれの撮影モードに対応するパラメータが、別々に学習されることとなる。その結果、撮影モードに応じた撮影設定を迅速に行える。

図３（ａ）において、情報処理部６０００における第２記憶部６５００は、学習モデルのＫ種類のパラメータΘｋ（ｋ＝１・・・Ｋ）を記憶する。パラメータは撮影モードに対応するものであって、例えば夜景撮影モード、スポーツ撮影モード、スナップショット撮影モード、などに対応している。

図４（ａ）を用いて説明する。Ｓ４０１０において、取得部１２００がユーザによって選択された撮影モードを取得する。あるいは、取得部１２００がシーン認識によって撮影モードを自動的に取得してもよい。選択された撮影モードの情報は、情報処理装置６０００へと送信される。ここで、選択された撮影モードをｋとする。Ｓ５００１では、第２受信部６８００が、撮影装置１０００から送信された撮影モードの情報を受信する。Ｓ５００２では、第２送信部６７００が、選択された撮影モードｋに対応するパラメータΘ_ｋを第２記憶部６５００から取得し、撮影装置１０００へ送信する。

（変形例５）
Ｓ４０１０では、このシーン認識器を、撮影時に同時に学習させてもよい。制御動作とともにシーン認識器が同時に学習されることにより、シーンによって異なる動作制御が自動で選択され、かつ、その制御動作もユーザの意図に近づくように学習されることとなる。図９（ａ）および図９（ｂ）を用いて説明する。Ｓ９０１０では、入力された画像からシーン認識器に基づいて撮影モードが選択される。選択された撮影モードの情報は、情報処理装置６０００へと送信される。シーン認識器は、機械学習を実施できる手法であれば、その手法によって限定されるものではない。例えばＣＮＮを用いてもよいし、画像からＳＩＦＴやＨＯＧなどの特徴量を抽出し、ＳＶＭで認識してもよい。Ｓ５００１では、第２受信部６８００が、上記撮影モード情報を受信する。Ｓ５００２では、第２送信部６７００が、パラメータΘ_ｋを第１受信部１８００へ送信する。Ｓ４０２０では、第１受信部１８００がパラメータΘ_ｋを受信し、推定部１３００に設定する。Ｓ４０３０からＳ４０４０が終了するまでの処理は、第１の実施形態と同様であるため説明は省略する。Ｓ４０５０では、第１第１学習部２０００が、Θ_ｋの更新値δΘ_ｋを取得する。同時に、シーン認識器のパラメータ更新値δＷを算出する。取得部１２００で得られた撮影時情報およびユーザ設定情報を学習データとし、この学習データを、現状選択されているシーンに対する正事例として、シーン認識器を学習させる。学習前のシーン認識器のパラメータをＷ_０、学習後のパラメータをＷ’としたとき、更新値δＷは、それらの差分によって下記のように表される。

δＷ＝Ｗ’－Ｗ_０・・・（８）
Ｓ４０６０では、第１送信部１７００が更新値δΘ_ｋおよびδＷを、情報処理装置６０００へと送信する。Ｓ５００４では、第２学習部６１００が、学習モデルのパラメータΘ_ｋを更新すると同時に、シーン認識器のパラメータＷを更新する。学習によって更新された推定部１３００とシーン認識器のパラメータは、第２記憶部６５００に記憶される。

（変形例６）
なお、撮影機能の設定をより迅速に制御する為に、Ｓ４０４０の途中における撮影装置の状態に基づいて所要時間を加味した報酬を加えてもよい。図４（ｂ）のＳ４０４３では、時刻ｔにおいてフォーカス動作を行った際に、合焦するまでにかかった時間がＦ_ｔであったとする。このＦ_ｔの値を保持しておく。図４（ａ）のＳ４０５０において、学習のための式３および式４で用いる報酬／罰則ｒ_ｔを均一な値ではなく下記のようにＦ_ｔによって微修正する。

ｒ_ｔ＝ｒ_０－δ_ｔ・・・（９）
ここでδｔは、前述のＦｔで定義される関数で、例えば下記のように設定する。

δ_ｔ＝ηＦ_ｔ・・・（１０）
ここでηは正の値のパラメータである。このようにして、撮影制御の途中における撮影装置の状態に従って、撮影制御中の各時刻における報酬／罰則を変えることによって、それぞれの時刻における制御動作に対する反応も加味した学習を行うことができる。

＜第２の実施形態＞
第１の実施形態では、撮影時におけるユーザ操作に従って、推定部にどのように学習させるのかを決定する例を示した。本実施形態では、撮影後のデータ操作に従って学習を行う例を示す。撮影後のデータ操作とは、具体的には、画像を保存する、画像をお気に入りに登録する、画像を評価（良い、悪い、点数等）する、画像を削除する、画像を加工するといった操作を指す。本実施形態では、例えば画像を削除するといった操作情報を使って、この画像の撮影制御に対して後から負の報酬を学習モデルに与える。逆に、上手く撮影できた画像に対しては、ユーザはすぐに保存することやお気に入りとして登録することが考えられる。このような画像を保存する操作情報を使って、保存された画像の撮影制御に対して正の報酬を学習モデルに与える。撮影時に意図した撮影制御で撮影できなかった場合でも、撮影後の操作情報を使って撮影制御を出力する学習モデルのパラメータを更新できる。そのため、ユーザの意図に合わせた撮影制御を行う学習モデルのパラメータを提供できる。

図１０に本実施形態における情報処理システム４００００の機能構成例を示す。情報処理システム４００００は、撮影装置１００２と情報処理装置６０００から成る。情報処理装置６０００は図３（ａ）と同様の機能構成になっている為、説明を省略する。撮影装置１００２は、図３（ａ）における機能構成に加えて、評価取得部１９００を有する。評価取得部１９００は、ユーザによって画像が保存される第３の操作と、ユーザによって画像が削除または修正される第４の操作を受け付ける。評価取得部１９００での処理は後述するフローチャートで詳細に説明する。なお、情報処理システム４００００は、図３（ｂ）や図３（ｃ）のような構成でもよい。次に、図１１（ａ）および図１１（ｂ）を用いて情報処理システム４００００が実行する処理について説明する。Ｓ１１０１０では、検知部１１００は、ユーザによって行われる撮影を準備するための動作を検知する。撮影を準備するための動作は、ここでは撮影装置１００２の電源をＯＮにする動作を指す。

Ｓ１１１００では、図４（ｂ）のＳ４０４０と対応した処理を行う。Ｓ１１００１では、検知部１１００が、撮影が実行されたかを判断する。撮影が実行された場合（シャッターが深押しされたことを検知したとき）は、第１記憶部１５００が、取得された各フレームにおける撮影時情報およびユーザ設定情報と、対応する撮影制御情報は、所定メモリに格納しておく。画像が残っていなかった場合（すなわち、撮影が中断された場合）には、処理を終了する。画像が残っていた場合には、処理をＳ１１１０２に進める。

Ｓ１１１０２では、評価取得部１００２が、画像に対するデータ操作を受け付け、画像が保存される第３操作と、画像が削除または修正される第４操作とを取得する。このデータ操作は、ユーザの画像に対する好意的または否定的な評価を示す。具体的な操作としては、第３の操作は、保存する指示の他、お気に入りに登録する操作や特定のフォルダに保存する操作でもよい。第４操作は、削除や修正の指示の他、ごみ箱ファイルに保存する操作であってもよい。このようなユーザの直観的な操作を情報として学習させることによって、効率的に学習モデルを更新できる。

画像に対するデータ操作は、撮影装置上で行ってもよいし、撮影装置外部のＰＣなどに画像ファイルをアップロードした後に行ってもよい。撮影装置上で操作を行う場合として、例えば図１２（ａ）のように、撮影装置１０２０の表示画面１００で画像を確認してデータ操作を行うことが考えられる。ここで、ユーザの行うデータ操作としては、さまざまなものが考えられる。例えば、所望の結果が得られた画像は残して、所望の結果が得られなかった画像は削除する、という処理でもよい。あるいは、画像に対するユーザの評価をｇｏｏｄ／ｂａｄなどの評価ラベルで与えてもよいし、評価スコアとして数値で与える、などしてもよい。その他にも、画像ファイルの名称変更や、所定フォルダへの移動もしくはコピー、所定記憶媒体への書き込み、所定メモリアドレスへの格納、アルバムソフトやクラウドアプリなどへの転送、といったものが考えられる。操作自体は、ダイアルやボタンなどの物理的な方法で行ってもよいし、表示画面上でのタッチパネル操作でもよい。

撮影装置外部で操作を行う例を図１２（ｂ）に示す。撮影装置外部の装置としては、ＰＣやタブレット、携帯電話やスマートフォンといったさまざまなものが考えられるが、ここでは一例としてＰＣを使った例を示す。撮影装置１０２０から画像ファイルをＰＣ６０００に無線もしくは有線でアップロードする。ＰＣ６０００ではユーザ操作アプリケーションを起動させ、画像ファイルに対して、前述の撮影装置上での操作と同様に、所望のデータ操作を行う。画像ファイルに対してユーザが行ったデータ操作は、無線もしくは有線によって撮影装置１０２０に送信される。

Ｓ１１０２２では、第１学習部２０００が、評価取得部１００２が取得した操作に基づいて決定された報酬を決定する。Ｓ２０４０にて、画像に対してユーザが行ったデータ操作に従い、その画像を得るために行われた制御動作に関する学習が行われる。データ操作として画像の削除を行った場合には、前述の式（３）および式（４）におけるｒの値をｒ＝－１などと負の値にして学習させる。あるいはユーザが、画像に対してｇｏｏｄの評価ラベルを与えた場合にはｒの値を正の値にし、ｂａｄの評価ラベルを与えた場合には、ｒの値を負の値に設定して学習を行う。画像に対して数値による評価スコアを与えた場合には、その評価スコアに従った値をｒに与えて学習を行う。例えば、評価スコアが１から５までの５段階で定義され、１が「最も悪い」、３が「普通」、５が「最も良い」とされていたとすれば、得られた評価スコアＲに対して、報酬ｒの値を例えば下記のように定義する。

また、所定フォルダや所定記憶媒体への移動やコピー、ファイル名の変更などが行われた場合には、その画像がユーザにとって必要な画像である可能性があるため、例えばｒ＝０．１などと弱めに報酬を与える、などとしてもよい。なお、撮影後の学習は、撮影時学習と比べて学習係数は小さく設定するとよい。これによって安定的に学習が行える。

上記報酬ｒの値に従い、撮影時情報およびユーザ設定情報と撮影時制御動作が関連付けて学習されるように、学習時に所定メモリに格納されている撮影時情報およびユーザ設定情報と撮影時制御動作の履歴を読み出して、強化学習を行う。

Ｓ４０５０では、第１学習部２０００が、第１の実施形態と同様にして、学習前と学習後の学習モデルのパラメータの値から、更新値δΘ（更新に関わる情報）を取得する。Ｓ４０６０では、第１送信部１７００が、得られた更新値δΘの値を、情報処理装置６０００へと送信する。Ｓ５００３では、第２受信部６８００が、更新値δΘを受信する。Ｓ５００４では、第２学習部６１００が、更新に関わる情報δΘに基づいて学習モデルのパラメータを更新する。なお、Ｓ１１０２２のデータ操作を撮影装置外部のＰＣ６０００などで行ってもよい。その場合の構成を図１２（ｃ）に示す。画像ファイルをＰＣ６０００にアップロードするときに、学習モデルのパラメータを一緒にＰＣ６０００に送る。学習処理はＰＣにおいて行われ、パラメータの更新値δΘを算出する。算出された更新値δΘは、情報処理装置６０００へと送信される。

本実施形態は、他の実施形態と併せて行ってもよい。すなわち、撮影時の情報で第１の実施形態に示した学習を行った後、撮影後のユーザ操作で本実施形態による追加学習を行う。このとき、各々の学習処理における学習係数の値を変えることで、各々の学習に対する重要度に差をつけてもよい。例えば、撮影時のユーザ操作よりも、撮影後の画像ファイル操作の結果を重視するのであれば、実施形態１における学習係数を０．０５、本実施形態における学習係数を０．１などと、設定してもよい。

（変形例１）
報酬を決める際に、様々なユーザからのフィードバックを報酬に反映してもよい。例えば、撮影装置で撮影した画像をＷＥＢサーバなどにアップロードし、その画像を複数ユーザで閲覧／共有することで画像の評価を行ってもらう。その結果に従って学習モデルのパラメータを学習させる方法を説明する。

図１３に、画像を共有するためのシステム構成を示す。サーバ装置８０００は、ＷＥＢサーバとして広く不特定多数のユーザに公開されているものでもよいし、ＬＡＮ内部で特定の複数ユーザに対してのみ公開されているサーバでもよい。図１３（ａ）では、撮影装置１０００―Ｎで撮影された画像は、サーバ装置８０００へと送信される。同時に、その画像の撮影時情報、ユーザ設定情報が、情報処理装置６０００へと送信される。ただし、これらの情報は、サーバ装置８０００に送信された画像との対応付けがとられている。対応付けの方法は、ファイル名や日付などである。サーバ装置８０００に送信された画像は、ＳＮＳやコンテストサイトなどのＷＥＢサイトやイントラネット、あるいは共有フォルダなどを介して、複数のユーザから閲覧されるようになっている。図１３（ｂ）では、撮影装置１０００－Ｎから通信端末装置７０００－Ｎを中継してサーバ装置８０００に画像や情報が通信される。図１４は、情報処理システム１６０００のシステム構成例を示す。情報処理システム１６０００は、撮影装置１０００、情報処理装置６０００、サーバ装置８０００と、情報端末９０００―Ｎから構成される。情報端末９０００―Ｎは、複数のユーザが持つＰＣやタブレット、携帯電話やスマートフォンなどである。図１５に情報処理システム１６０００の機能構成例を表す。情報処理装置６０００と撮影装置１０００は、図３（ａ）で出てきた構成と同様である。サーバ装置８０００は、第４送信部８７００、第４受信部８８００、第４記憶部８５００、情報取得部８１００を有する。第４送信部８７００と第４受信部８８００は、他の装置と画像や情報を通信する。第４記憶部８５００は、ＷＥＢページの情報等を記憶する。情報端末９０００－１は、評価取得部９１００、第５送信部９７００、第５受信部９８００、第５記憶部９５００を有する。評価取得部９１００は、ＷＥＢサイトもしくはアプリケーションソフトウェアなどにより、画像を閲覧したユーザから、画像に対する評価を取得する。第５記憶部９５００は、画像と評価が紐づけられた評価情報を記憶する。第５送信部９７００と第５受信部９８００は他の装置と画像や情報を通信する。また、情報端末９０００－１は、ユーザが画像を閲覧するための表示部９０１０を有する。情報端末９０００－Ｎは、情報端末９０００－１と同様の構成を有する。

図１１（ｂ）を使って、情報処理システムが実行する処理を説明する。Ｓ１１１０１では、情報端末９０００－１の第５受信部９８００が、サーバ装置８０００から画像と、画像に対応した学習モデルのパラメータを取得する。Ｓ１１１０２では、情報端末９０００の評価取得部９１００が、画像に対する肯定的評価または否定的評価を取得する。具体的には、ＷＥＢサイトもしくはアプリケーションソフトウェアなどにより、画像を閲覧したユーザから、当該画像に対する評価を得る。画像の評価は、第２の実施形態における撮影したユーザの評価と同様に、ｇｏｏｄ／ｂａｄ、あるいは数値による段階評価などで行われる。例えば、ユーザは表示部９０１０に表示された画像のうち、お気に入りの画像を選択する。ここでは、ユーザがある画像に対して、肯定的な評価を与える操作を第５の操作、否定的な評価を与える操作を第６の操作と呼ぶ。Ｓ１１１０３では、情報端末９０００の第５受信部９７００が、閲覧ユーザから得られた評価結果を、サーバ装置８０００の第４受信部８８００へ送信する。さらに、サーバ装置８０００の第４送信部８８００が、受け取った当該画像に対する評価結果を、情報処理装置６０００へ送信する。Ｓ１１１０４では、情報処理装置６０００の第２学習部６１００が、送信された評価結果に従って学習を行い、学習モデルのパラメータを更新する。情報端末９０００－Ｎの数が多いほど多くの評価情報が集まる。このようにして、撮影した画像を複数ユーザによって共有し、評価してもらうことで、多数のユーザにとって有用な制御が行われるように学習モデルのパラメータが学習される。

（変形例２）
あるユーザが行った画像に対する評価に基づいて、そのユーザに適した学習モデルのパラメータを特定することもできる。前提として、まず、ＳＮＳやコンテストサイトなどのＷＥＢサイトには、様々なパラメータで撮影された画像が集まっているものとする。例えば、同じ状況下で撮影された画像でも、花の色味を強調する、特定の動作をしているまたは状態である人にフォーカスを当てる、建物を暗くする、といった設定がそれぞれなされた可能性がある。すなわち、画像Ｉ_ｎ（ｎ＝１・・・Ｎ_ｍ）は、学習モデルのパラメータΘｃ（ｃ＝１・・・Ｃ）を使って撮影されたという情報が紐づけられている。あるユーザが、複数の画像Ｉｋについていいね！といった評価をする。この評価を基に、この画像に適した学習モデルのパラメータΘ‘と撮影に使われたパラメータΘとの誤差を更新値とする。このときこの更新値が小さいほど、その辞書はそのユーザのニーズに近い撮影制御ができる。逆に、更新値が大きければ、そのユーザにとって無駄な撮影動作をする撮影装置と言える。なので、学習モデルの各パラメータの更新値を比較することによって、ユーザにとって自分の趣向に近い学習モデルのパラメータを特定できる。このユーザが、撮影装置で撮影する場合は、特定された学習モデルのパラメータを使って撮影を行えば、ユーザにとって適した画像を撮影できる。ここで、学習モデルは第１の実施形態と同様にＣＮＮで構成されるものとして説明をする。

システム構成は、図１４のように示される。第２の実施形態と同様にして、撮影装置１０２０で撮影された画像は、サーバ装置８０００に送信され、情報端末９０００を介して複数ユーザから閲覧され、評価される。評価結果はサーバ８０００に送られ、そこから情報処理装置６０００へと送信される。情報処理装置６０００における第２記憶部６５００には、撮影部１０００における学習モデルに関するＣ種類のパラメータΘ_ｃ（ｃ＝１・・・Ｃ）が記憶されているとする。このとき、閲覧対象となる画像はそれぞれ、上記Ｃ種類のパラメータによる学習モデルうちいずれかを使ってカメラが制御され、撮影されたものであるとする。情報処理システム１６０００の機能構成例は図１３（ｂ）と同様である。

図１１（ｂ）を用いて、あるユーザが行った画像に対する評価に基づいて、そのユーザに適した学習モデルのパラメータを特定する手順を説明する。Ｓ１１１０１では、取得部１２００が撮影時情報として画像を取得する。次に、Ｓ１１１０２では、評価取得部１００２が、ユーザによって入力されたある画像に対する評価（第５の操作または第６の操作）を取得する。Ｓ１１１０３では、第１送信部１７００が、画像とその評価を情報処理装置６０００に送る。処理の具体的な方法は前の実施形態と同様である。違いのあるＳ１１１０４の学習処理について詳細に説明する。まず、評価取得部９１００は、閲覧ユーザｍによって与えられた、Ｎ_ｍ枚の画像Ｉ_ｎ（ｎ＝１・・・Ｎ_ｍ）に対する評価を取得する。情報処理装置の第２学習部６１００が、評価によって与えられた報酬をｒ（ｍ，ｎ）として決定する。続いて、第２学習部６１００は、行動価値Ｑ、二条誤差平均を算出する。ここで、Ｎ_ｍ枚の画像のうち、パラメータΘ_ｃによる学習モデルで撮影された画像の集合をＵ_ｍΘｃとし、画像集合Ｕ_ｍΘｃの枚数をＮ_ｍΘｃで表す。撮影終了時の最終フレームにおける時刻をｔ_０とする。撮影時間ｔ＝ｔ_０、ｔ_０－１、・・・ｔ・・・１におけるそれぞれの出力に対して、マップ出力部２３１０とスカラ／ベクトル出力部２３２０、それぞれの行動価値Ｑ’は次のようになる。

Ｑ’_ｉ，ｋ（Ｓ_ｔ，（ｘ，ｙ））＝ｒ（ｍ，ｎ）_ｔ＋１＋γＱ_ｉ，ｋ（Ｓ_ｔ＋１，（ｘ，ｙ））・・・（１２）
Ｑ’_ｊ，ｈ（Ｓ_ｔ）＝ｒ（ｍ，ｎ）_ｔ＋１＋γＱ_ｊ，ｈ（Ｓ_ｔ＋１）・・・（１３）
各変数の定義については、第１の実施形態と同様であるため説明は省く。簡単のため、ｉ、ｊ、ｋ、ｈの組み合わせをｌでまとめて表現し、パラメータΘ_ｃで設定されたＣＮＮの、時刻ｔにおける教師値および出力結果であることを表すために、出力値をＱ’（ｌ，ｔ｜Θ_ｃ）およびＱ（ｌ，ｔ｜Θ_ｃ）と書くこととする。パラメータΘ_ｃで設定されるＣＮＮ全体の、教師値に対する二乗誤差平均ＭＳＥ（ｍ，ｎ｜Θ_ｃ）は下記のように表される。

閲覧ユーザｍが評価した、パラメータΘ_ｃで撮影された画像集合Ｕ_ｍΘｃに対する誤差の平均値ＭＳＥ（ｍ｜Θ_ｃ）は下記で表される。

これによって、パラメータ毎に、誤差を得る。誤差ＭＳＥ（ｍ｜Θ_ｃ）は、パラメータΘｃが、閲覧ユーザｍの嗜好からどのくらい離れているかの指標となる。ＭＳＥに基づいて、ユーザの好みのパラメータΘを決定する。すなわち、パラメータΘｃに対する学習は、誤差ＭＳＥ（ｍ｜Θ_ｃ）に基づいて重み付けして行う。例えば、パラメータΘｃを学習する際に、ＣＮＮの学習係数に対してさらに下記η_ｃの値を乗じて学習を行う。

η_ｃ＝ｅｘｐ（－ζＭＳＥ（ｍ｜Θ_ｃ））・・・（１５）
ここでζはコントロールパラメータで、例えばζ＝１などと設定する。

あるいは、閲覧ユーザｍの嗜好に最も近いパラメータだけを学習する場合には、下記のようにη_ｃを設定してもよい。

このようにして各閲覧ユーザに対して嗜好の近いパラメータを選択して学習できる。それぞれのパラメータは特定のユーザの嗜好に近づくように学習されていくことになる。特に、パラメータの総数Ｃが閲覧ユーザの総数Ｎ_ｍより小さいときには、嗜好の近い複数のユーザによって各パラメータが学習されることになる。また、所定の範囲（例えば誤差ＭＳＥ（ｍ｜Θ_ｃ）の絶対値が１以下）という条件を満たす場合は、閲覧ユーザの嗜好に近い可能性が大きいため、そのパラメータを学習に用いる。

また、撮影装置１０００を所有するユーザは、閲覧ユーザの一人として公開画像に対して同様の評価を行う。このとき、式（１６）の値を計算し、η_ｃ＝１となるパラメータΘ_ｃを、そのユーザにとって嗜好のあったパラメータとして、そのインデックスｃを撮影装置１０００に登録しておく。そうすることにより、撮影時に学習モデルパラメータを読み込む際に、ユーザの嗜好に沿った撮影制御を行うことができるようになる。

このようにして、ユーザが撮影後の画像に対して所望のデータ操作を行うことにより、その画像を得るための制御動作に対して学習モデルのパラメータが更新される。そのため、本実施形態における撮影装置は、よりユーザの所望に近い画像を得るために適した制御動作が得られるようになる。

なお、ＣＮＮのネットワーク構造は、全装置で共通であることを前提として説明したが、異なっていてもよい。例えば、中間層の数が異なっていてもよい。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。

１０００ 撮影装置
６０００ 情報処理装置
１００００ 情報処理システム

Claims (20)

1. 撮影に関する機能を設定する制御情報を学習モデルによって推定する情報処理システムであって、
   前記学習モデルに従って前記機能を設定された撮影装置において、撮影を確定する第１操作および撮影を中断する第２操作を検知する検知手段と、
   強化学習を用いて、前記検知手段によって前記第１の操作を受け付けた場合は正の報酬を、前記検知手段によって前記第２の操作を受け付けた場合は負の報酬を決定し、前記学習モデルのパラメータの更新に関わる情報を決定する決定手段と、
   前記更新に関わる情報に基づいて前記学習モデルのパラメータを更新する学習手段とを有することを特徴とする情報処理システム。
2. 前記検知手段は、前記撮影装置が具備するシャッターボタンを第１の状態にする前記第１操作と、前記シャッターボタンを第２の状態にする前記第２操作とを検知することを特徴とする請求項１に記載の情報処理システム。
3. 少なくとも１つ以上の、前記学習モデルのパラメータを記憶する記憶手段を更に有することを特徴とする請求項１または２に記載の情報処理システム。
4. 前記撮影装置が置かれている状況に関する情報を取得する取得手段を更に有し、
   前記記憶手段は、前記撮影装置が置かれている状況に関する情報に対応した前記学習モデルのパラメータを記憶することを特徴とする請求項３に記載の情報処理システム。
5. 前記状況に関する情報は、前記撮影装置が存在する場所を示す位置情報であることを特徴とする請求項４に記載の情報処理システム。
6. 撮影を行う状況に応じて設定される撮影モードを選択する選択手段を更に有し、
   前記記憶手段は、前記撮影モードに対応した前記学習モデルのパラメータを記憶することを特徴とする請求項３に記載の情報処理システム。
7. 入力された画像から推定された前記制御情報に従って、前記撮影装置の前記機能を所定の状態に設定する制御手段を更に有すること特徴とする請求項１乃至６の何れか１項に記載の情報処理システム。
8. 前記学習モデルに基づいて前記制御情報を推定する推定手段を更に有することを特徴とする請求項１乃至７の何れか１項に記載の情報処理システム。
9. 撮影に関する機能を設定する制御情報を学習モデルによって推定する情報処理システムであって、
   画像が保存される第３操作および画像が削除される第４操作を検知する検知手段と、
   強化学習を用いて、前記検知手段によって前記第３の操作を受け付けた場合は正の報酬を、前記検知手段によって前記第４の操作を受け付けた場合は負の報酬を決定し、前記学習モデルのパラメータの更新に関わる情報を決定する決定手段と、
   前記更新に関わる情報に基づいて前記学習モデルのパラメータを更新する学習手段とを有することを特徴とする情報処理システム。
10. 撮影に関する機能を設定する制御情報を学習モデルによって推定する情報処理システムであって、
    複数の、前記学習モデルのパラメータを記憶する記憶手段と、
    前記パラメータを用いて撮影された画像に対して、肯定的な評価を与える第５の操作および否定的な評価を与える第６の操作を取得する評価取得手段と、
    強化学習を用いて、前記評価取得手段によって前記第５の操作を受け付けた場合は正の報酬を、前記評価取得手段によって前記第６の操作を受け付けた場合は負の報酬を決定し、前記学習モデルのパラメータの更新に関わる情報を前記パラメータ毎に決定する決定手段と、
    前記決定手段で決定された複数の前記更新に関わる情報のうち、所定の条件を満たす前記更新に関わる情報に従って前記学習モデルのパラメータを更新する学習手段とを有することを特徴とする情報処理システム。
11. 前記更新に関わる情報は、更新が行われた場合の前記学習モデルのパラメータと、更新が行われる前の前記学習モデルのパラメータとの差分であって、
    前記学習手段は、所定の範囲を示す前記条件を満たす前記差分を用いて前記学習モデルのパラメータを更新することを特徴とする請求項１０に記載の情報処理システム。
12. 撮影装置と情報処理装置を有する情報処理システムであって、
    前記撮影装置は、
    入力された画像から前記撮影装置の機能を撮影に適した設定にする制御情報を推定する学習モデルに基づいて推定された該制御情報に従って、前記機能を所定の状態に設定したときに撮影した画像に対して、撮影を確定する第１操作および撮影を中断する第２操作を検知する検知手段と、
    前記学習モデルに従って前記機能を設定された撮影装置において、撮影を確定する第１操作および撮影を中断する第２操作を検知する検知手段と、
    強化学習を用いて、前記検知手段によって前記第１の操作を受け付けた場合は正の報酬を、前記検知手段によって前記第２の操作を受け付けた場合は負の報酬を決定し、前記学習モデルのパラメータの更新に関わる情報を決定する決定手段と、
    前記更新に関わる情報を前記情報処理装置に送信する第１通信手段とを有し、
    前記情報処理装置は、
    前記更新に関わる情報を受信する第２通信手段と、
    前記更新に関わる情報に基づいて前記学習モデルのパラメータを更新する学習手段とを有すること特徴とする情報処理システム。
13. 撮影装置と情報処理装置を有する情報処理システムであって、
    前記撮影装置は、
    学習モデルに従って機能を設定された撮影装置において、撮影を確定する第１操作および撮影を中断する第２操作を検知する検知手段と、
    前記学習モデルに入力された画像と、前記検知手段の検知結果とである訓練データを取得する取得手段と、
    前記取得手段によって取得された前記訓練データを、前記情報処理装置に送信する第１通信手段とを有し、
    前記情報処理装置は、
    前記訓練データを受信する第２通信手段と、
    強化学習を用いて、前記訓練データに基づいて、前記第１の操作を受け付けた場合は正の報酬を、前記第２の操作を受け付けた場合は負の報酬を決定し、前記学習モデルのパラメータの更新に関わる情報を決定する決定手段と、
    前記更新に関わる情報に基づいて前記学習モデルのパラメータを更新する学習手段とを有すること特徴とする情報処理システム。
14. 撮影装置と通信端末装置と情報処理装置とを有する情報処理システムであって、
    前記撮影装置は、
    学習モデルに従って機能を設定された撮影装置において、撮影を確定する第１操作および撮影を中断する第２操作を検知する検知手段と、
    前記学習モデルに入力された画像と、前記検知手段の検知結果とである訓練データを取得する取得手段と、
    前記取得手段によって取得された前記訓練データを、前記情報処理装置に送信する第１送信手段とを有し、
    前記通信端末装置は、
    前記訓練データを受信する第３受信手段と、
    強化学習を用いて、前記訓練データに基づいて、前記第１の操作を受け付けた場合は正の報酬を、前記第２の操作を受け付けた場合は負の報酬を決定し、前記学習モデルのパラメータの更新に関わる情報を決定する決定手段と、
    前記更新に関わる情報を前記情報処理装置に送信する第３送信手段とを有し、
    前記情報処理装置は、
    前記更新に関わる情報を受信する第２受信手段と、
    前記更新に関わる情報に基づいて前記学習モデルのパラメータを更新する学習手段とを有すること特徴とする情報処理システム。
15. 撮影に関する機能を設定する制御情報を学習モデルによって推定する撮影装置であって、
    前記学習モデルに従って前記機能を設定された撮影装置において、撮影を確定する第１操作および撮影を中断する第２操作を検知する検知手段と、
    強化学習を用いて、前記検知手段によって前記第１の操作を受け付けた場合は正の報酬を、前記検知手段によって前記第２の操作を受け付けた場合は負の報酬を決定し、前記学習モデルのパラメータの更新に関わる情報を決定する取得手段と、
    前記更新に関わる情報に基づいて前記学習モデルのパラメータを更新する学習手段とを有することを特徴とする撮影装置。
16. コンピュータを請求項１５に記載の撮影装置が有する各手段として機能させるためのプログラム。
17. 撮影に関する機能を設定する制御情報を学習モデルによって推定する情報処理方法であって、
    前記学習モデルに従って前記機能を設定された撮影装置において、撮影を確定する第１操作および撮影を中断する第２操作を検知する検知工程と、
    強化学習を用いて、前記検知工程で前記第１の操作を受け付けた場合は正の報酬を、前記検知工程で前記第２の操作を受け付けた場合は負の報酬を決定し、前記学習モデルのパラメータの更新に関わる情報を決定する決定工程と、
    前記更新に関わる情報に基づいて前記学習モデルのパラメータを更新する学習工程とを有することを特徴とする情報処理方法。
18. 撮影に関する機能を設定する制御情報を学習モデルによって推定する情報処理方法であって、
    画像が保存される第３操作および画像が削除される第４操作を検知する検知工程と、
    強化学習を用いて、前記検知工程で前記第３の操作を受け付けた場合は正の報酬を、前記検知工程で前記第４の操作を受け付けた場合は負の報酬を決定し、前記学習モデルのパラメータの更新に関わる情報を決定する決定工程と、
    前記更新に関わる情報に基づいて前記学習モデルのパラメータを更新する学習工程とを有することを特徴とする情報処理方法。
19. 撮影に関する機能を設定する制御情報を学習モデルによって推定する情報処理方法であって、
    複数の、前記学習モデルのパラメータを記憶する記憶工程と、
    前記パラメータを用いて撮影された画像に対して、肯定的な評価を与える第５の操作および否定的な評価を与える第６の操作を取得する評価取得工程と、
    強化学習を用いて、前記評価取得工程で前記第５の操作を受け付けた場合は正の報酬を、前記評価取得工程で前記第６の操作を受け付けた場合は負の報酬を決定し、前記学習モデルのパラメータの更新に関わる情報を前記パラメータ毎に決定する決定工程と、
    前記決定工程で決定された複数の前記更新に関わる情報のうち、所定の条件を満たす前記更新に関わる情報に従って前記学習モデルのパラメータを更新する学習工程とを有することを特徴とする情報処理方法。
20. 前記学習モデルは入力層および中間層、出力層を有するニューラルネットワークであり、
    前記中間層は、複数の層の層間が結合重みを伴い結合している層を有し、
    前記パラメータは、前記複数の層における結合重みのセットであることを特徴とする請求項１に記載の情報処理システム。

Images