JP7348754B2 - 画像処理装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、ユーザに好適な画像を撮像装置に撮像させるための機械学習に関するものである。

カメラ等の撮像装置による静止画・動画撮影においては、ユーザがファインダー等を通して撮影対象を決定し、撮影状況を自ら確認して撮影画像のフレーミングを調整し、シャッターボタンを操作することによって、画像を撮影するのが一般的である。

このようなユーザの操作により撮影を実行する撮像装置に対し、特許文献１には、所謂ライフログカメラと呼ばれる、ユーザが撮影指示を与えることなく定期的および継続的に撮影を行うカメラが開示されている。ライフログカメラは、ストラップ等でユーザの身体に装着された状態で用いられ、ユーザが日常生活で目にする光景を一定時間間隔で映像として記録する。ライフログカメラによる撮影は、ユーザがシャッターを切るなどの意図したタイミングで行われるのではなく、一定の間隔で行われるため、普段撮影しないような不意な瞬間を映像として残すことができる。

特表２０１６－５３６８６８号公報

しかしながら、特許文献１のように一定の時間間隔で自動撮影を行う場合、ユーザの好みでないシーンで撮影が実行されることがあるという課題がある。

機械学習を用いてユーザが好みの画像を学習させることで、撮像装置に、ユーザの好みに即した自動撮影を行わせることができるようになる。ユーザの好みの画像だけでなく、ユーザが好まない画像も学習させることで、より優れた効果を得ることができる。

ここで、ユーザの好みでない画像をどのようにして判定すべきか、という課題が生じる。例えば、ユーザの指示によって削除された画像を、ユーザの好みでない画像と判断することが考えられる。しかしながら、ユーザが画像を削除する理由は、好みでないという理由だけでなく、類似する画像が複数存在する場合なども理由として考えられる。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ユーザが特別な操作を行うことなく、ユーザの好みを反映させた学習を行わせることができるようにすることである。

本発明に係わる画像処理装置は、記憶手段に記憶された画像データが、ユーザによる削除の指示を受け、かつ、所定の条件を満たす場合に、前記画像データが特定の状況を学習するために用いる画像データであると判定する判定手段と、前記ユーザによる削除の指示を受けた画像データと、前記記憶手段に記憶されている別の画像データの類似度を判定する類似度判定手段と、を備え、前記判定手段は、前記類似度判定手段により、前記記憶手段に記憶されている画像データに、前記ユーザによる削除の指示を受けた画像データと類似する画像データが存在すると判定された場合に、前記所定の条件を満たさないと判定することを特徴とする。

本発明によれば、ユーザが特別な操作を行うことなく、ユーザの好みを反映させた学習を行わせることが可能となる。

撮像装置を模式的に示す図である。 撮像装置の構成を示す図である。 撮像装置と外部機器との構成を示す図である。 外部機器の構成を示す図である。 制御回路の動作を説明するフローチャートである。 自動撮影モード処理を説明するフローチャートである。 ニューラルネットワークを説明する図である。 画像の表示処理を説明するための図である。 学習モード判定を説明するフローチャートである。 学習モード処理を説明するフローチャートである。 削除操作に基づく学習処理について説明するためのフローチャートである。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜撮像装置の構成＞
図１は、本発明の一実施形態の撮像装置を模式的に示す図である。本発明は、デジタルカメラやデジタルビデオカメラに限らず、監視カメラ、Ｗｅｂカメラ、携帯電話などにも適用可能である。本実施形態では、撮像装置そのものが機械学習を行う画像処理装置を兼ねている構成を前提として説明を行うが、撮像装置と別であって、撮像装置と通信可能な画像処理装置において撮像装置のための機械学習を行う構成としてもよい。

図１（ａ）に示す撮像装置１０１は、電源スイッチの操作を行うことができる操作部材（以後、電源ボタンというが、タッチパネルへのタップやフリック、スワイプなどの操作でもよい）などが設けられている。撮像を行う撮影レンズ群や撮像素子を含む筐体である鏡筒１０２は、撮像装置１０１に取り付けられ、鏡筒１０２を固定部１０３に対して回転駆動できる回転機構が設けられている。チルト回転ユニット１０４は、鏡筒１０２を図１（ｂ）に示すピッチ方向に回転できるモーター駆動機構であり、パン回転ユニット１０５は、鏡筒１０２をヨー方向に回転できるモーター駆動機構である。よって、鏡筒１０２は、１軸以上の方向に回転可能である。なお、図１（ｂ）は、固定部１０３位置での軸定義を示している。角速度計１０６と加速度計１０７はともに、撮像装置１０１の固定部１０３に実装されている。そして、角速度計１０６や加速度計１０７に基づいて、撮像装置１０１の振動を検出し、チルト回転ユニットとパン回転ユニットを検出した揺れ角度に基づいて回転駆動する。これにより、可動部である鏡筒１０２の振れを補正したり、傾きを補正したりする構成となっている。

図２は、本実施形態の撮像装置の構成を示すブロック図である。図２において、制御回路２２１は、プロセッサ（例えば、ＣＰＵ、ＧＰＵ、マイクロプロセッサ、ＭＰＵなど）、メモリ（例えば、ＤＲＡＭ、ＳＲＡＭなど）からなる。これらは、各種処理を実行して撮像装置１０１の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。不揮発性メモリ（ＥＥＰＲＯＭ）２１４は、電気的に消去・記録可能なメモリであり、制御回路２２１の動作用の定数、プログラム等が記憶される。

図２において、ズームユニット２０１は、変倍を行うズームレンズを含む。ズーム駆動制御回路２０２は、ズームユニット２０１を駆動制御する。フォーカスユニット２０３は、ピント調整を行うレンズを含む。フォーカス駆動制御回路２０４は、フォーカスユニット２０３を駆動制御する。

撮像部２０６は、撮像素子とＡ／Ｄ変換器を備え、撮像素子が各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像信号として画像処理回路２０７に出力する。画像処理回路２０７は複数のＡＬＵ（Ａｒｉｔｈｍｅｔｉｃ ａｎｄ Ｌｏｇｉｃ Ｕｎｉｔ）を搭載した演算回路であり、Ａ／Ｄ変換により出力されたデジタル画像データに対して、歪曲補正やホワイトバランス調整や色補間処理等の画像処理を適用し、適用後のデジタル画像データを出力する。画像処理回路２０７から出力されたデジタル画像データは、画像記録回路２０８でＪＰＥＧ形式等の記録用フォーマットに変換され、メモリ２１３や後述する映像出力回路２１５に送信される。

鏡筒回転駆動回路２０５は、チルト回転ユニット１０４、パン回転ユニット１０５を駆動して鏡筒１０２をチルト方向とパン方向に駆動させる。

装置揺れ検出回路２０９には、例えば撮像装置１０１の３軸方向の角速度を検出する角速度計（ジャイロセンサ）１０６や、装置の３軸方向の加速度を検出する加速度計（加速度センサ）１０７が搭載される。装置揺れ検出回路２０９は、検出された信号に基づいて、装置の回転角度や装置のシフト量などが演算される。

音声入力回路２１１は、撮像装置１０１に設けられたマイクから撮像装置１０１周辺の音声信号を取得し、アナログデジタル変換をして音声処理回路２１２に送信する。音声処理回路２１２は、入力されたデジタル音声信号の適正化処理等の音声に関する処理を行う。そして、音声処理回路２１２で処理された音声信号は、制御回路２２１によりメモリ２１３に送信される。メモリ２１３は、画像処理回路２０７、音声処理回路２１２により得られた画像信号及び音声信号を一時的に記憶する。

画像処理回路２０７及び音声処理回路２１２は、メモリ２１３に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号を生成する。制御回路２２１は、これらの圧縮画像信号、圧縮音声信号を、記録再生回路２１８に送信する。

記録再生回路２１８は、記録媒体２１９に対して画像処理回路２０７及び音声処理回路２１２で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、制御回路２２１は、音声処理回路２１２により生成された音声信号と画像処理回路２０７により生成された圧縮画像信号とを、記録再生回路２１８に送信し記録媒体２１９に記録させる。

記録媒体２１９は、撮像装置１０１に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。記録媒体２１９は、撮像装置１０１で生成された圧縮画像信号、圧縮音声信号、音声信号などの各種データを記録することができ、不揮発性メモリ２１４よりも大容量な媒体が一般的に使用される。例えば、記録媒体２１９は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、ＤＶＤ－Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。

記録再生回路２１８は、記録媒体２１９に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す（再生する）。そして制御回路２２１は、読み出した圧縮画像信号及び圧縮音声信号を、画像処理回路２０７及び音声処理回路２１２に送信する。画像処理回路２０７及び音声処理回路２１２は、圧縮画像信号、圧縮音声信号を一時的にメモリ２１３に記憶させ、所定の手順で復号し、復号した信号を映像出力回路２１５、音声出力回路２１６に送信する。

音声入力回路２１１には、撮像装置１０１に搭載された複数のマイクが接続され、音声処理回路２１２は複数のマイクが設置された平面上の音の方向を検出することができる。この情報は、後述する被写体の探索や自動撮影に用いられる。さらに、音声処理回路２１２では、特定の音声コマンドを検出する。音声コマンドは事前に登録された複数のコマンドの他、ユーザが特定音声を撮像装置に登録できる構成にしてもよい。また、音シーン認識も行う。音シーン認識では、予め大量の音声データを基に機械学習により学習させたネットワークにより音シーン判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出するためのネットワークが音声処理回路２１２に設定されている。そして、特定音シーンや特定音声コマンドを検出すると、制御回路２２１に、検出トリガー信号を出力する。電源回路２１０は、制御回路２２１を動作させるための電源を供給する。

音声出力回路２１６は、例えば撮影時などに撮像装置１０１に内蔵されたスピーカーから予め設定された音声パターンを出力する。ＬＥＤ制御回路２２２は、例えば撮影時などに撮像装置１０１に設けられたＬＥＤを予め設定された点灯点滅パターンで制御する。映像出力回路２１５は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。また、音声出力回路２１６、映像出力回路２１５は、結合された１つの端子、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子のような端子であってもよい。

通信回路２２０は、撮像装置１０１と外部装置との間で通信を行い、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮影開始や終了コマンド、パン・チルトやズーム駆動等の、撮影にかかわる制御信号を受信して、撮像装置１０１と相互通信可能な外部機器の指示により撮像装置１０１を駆動する。また、撮像装置１０１と外部装置との間で、後述する学習処理回路２１７で処理される学習にかかわる各種パラメータなどの情報を送信したり受信したりする。通信回路２２０は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ、ＧＰＳ受信機等の無線通信モジュールである。

＜外部通信機器との構成＞
図３は、撮像装置１０１と外部機器３０１との無線通信システムの構成例を示す図である。撮像装置１０１は撮影機能を有するデジタルカメラであり、外部機器３０１はＢｌｕｅｔｏｏｔｈ通信モジュール、無線ＬＡＮ通信モジュールを含むスマートデバイスである。

撮像装置１０１と外部機器３０１は、例えばＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮによる通信３０２と、例えばＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（以下、「ＢＬＥ」と呼ぶ）などの、制御局と従属局などの主従関係を有する通信３０３とによって通信可能である。なお、無線ＬＡＮ及びＢＬＥは通信手法の一例であり、各通信装置は、２つ以上の通信機能を有し、例えば制御局と従属局との関係の中で通信を行う一方の通信機能によって、他方の通信機能の制御を行うことが可能であれば、他の通信手法が用いられてもよい。ただし、一般性を失うことなく、無線ＬＡＮなどの第１の通信は、ＢＬＥなどの第２の通信より高速な通信が可能であり、また、第２の通信は、第１の通信よりも消費電力が少ないか通信可能距離が短いかの少なくともいずれかであるものとする。

外部機器３０１の構成を、図４を用いて説明する。外部機器３０１は、例えば、無線ＬＡＮ用の無線ＬＡＮ制御回路４０１、及び、ＢＬＥ用のＢＬＥ制御回路４０２に加え、公衆無線通信用の公衆回線制御回路４０６を有する。また、外部機器３０１は、パケット送受信回路４０３をさらに有する。無線ＬＡＮ制御回路４０１は、無線ＬＡＮのＲＦ制御、通信処理、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮによる通信の各種制御を行うドライバや無線ＬＡＮによる通信に関するプロトコル処理を行う。ＢＬＥ制御回路４０２は、ＢＬＥのＲＦ制御、通信処理、ＢＬＥによる通信の各種制御を行うドライバやＢＬＥによる通信に関するプロトコル処理を行う。公衆回線制御回路４０６は、公衆無線通信のＲＦ制御、通信処理、公衆無線通信の各種制御を行うドライバや公衆無線通信関連のプロトコル処理を行う。公衆無線通信は例えばＩＭＴ（ＩｎｔｅｒｎａｔｉｏｎａｌＭｕｌｔｉｍｅｄｉａ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ）規格やＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）規格などに準拠したものである。パケット送受信回路４０３は、無線ＬＡＮ並びにＢＬＥによる通信及び公衆無線通信に関するパケットの送信と受信との少なくともいずれかを実行するための処理を行う。なお、本例では、外部機器３０１は、通信においてパケットの送信と受信との少なくともいずれかを行うものとして説明するが、パケット交換以外に、例えば回線交換など、他の通信形式が用いられてもよい。

外部機器３０１は、例えば、制御回路４１１、記憶回路４０４、ＧＰＳ受信回路４０５、表示装置４０７、操作部材４０８、音声入力／処理回路４０９、電源回路４１０をさらに有する。制御回路４１１は、例えば、記憶回路４０４に記憶される制御プログラムを実行することにより、外部機器３０１全体を制御する。記憶回路４０４は、例えば制御回路４１１が実行する制御プログラムと、通信に必要なパラメータ等の各種情報とを記憶する。後述する各種動作は、記憶回路４０４に記憶された制御プログラムを制御回路４１１が実行することにより、実現される。

電源回路４１０は外部機器３０１に電源を供給する。表示装置４０７は、例えば、ＬＣＤやＬＥＤのように視覚で認知可能な情報の出力、又はスピーカー等の音出力が可能な機能を有し、各種情報の表示を行う。操作部材４０８は、例えばユーザによる外部機器３０１への操作を受け付けるボタン等である。なお、表示装置４０７及び操作部材４０８は、例えばタッチパネルなどの共通する部材によって構成されてもよい。

音声入力／処理回路４０９は、例えば外部機器３０１に内蔵された汎用的なマイクから、ユーザが発した音声を取得し、音声認識処理により、ユーザの操作命令を取得する構成にしてもよい。

また、外部機器３０１内の専用のアプリケーションを介して、ユーザの発音により音声コマンドを取得する。そして、無線ＬＡＮによる通信３０２を介して、撮像装置１０１の音声処理回路２１２に特定音声コマンをド認識させるための特定音声コマンドとして登録することもできる。

ＧＰＳ（Ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）４０５は、衛星から通知されるＧＰＳ信号を受信し、ＧＰＳ信号を解析し、外部機器３０１の現在位置（経度・緯度情報）を推定する。もしくは、位置推定は、ＷＰＳ（Ｗｉ－Ｆｉ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を利用して、周囲に存在する無線ネットワークの情報に基づいて、外部機器３０１の現在位置を推定するようにしてもよい。取得した現在のＧＰＳ位置情報が予め事前に設定されている位置範囲（所定半径の範囲以内）に位置している場合に、ＢＬＥ制御回路４０２を介して撮像装置１０１へ移動情報を通知し、後述する自動撮影や自動編集のためのパラメータとして使用する。また、ＧＰＳ位置情報に所定以上の位置変化があった場合に、ＢＬＥ制御回路４０２を介して撮像装置１０１へ移動情報を通知し、後述する自動撮影や自動編集のためのパラメータとして使用する。

上記のように撮像装置１０１と外部機器３０１は、無線ＬＡＮ制御回路４０１、及び、ＢＬＥ制御回路４０２を用いた通信により、撮像装置１０１とデータのやりとりを行う。例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、外部機器３０１から撮像装置１０１へ、撮影などの操作指示や、音声コマンド登録データ送信や、ＧＰＳ位置情報に基づいた所定位置検出通知や場所移動通知を行う。また、外部機器３０１内の専用のアプリケーションを介しての学習用データの送受信も行う。

＜撮像動作のシーケンス＞
図５は、本実施形態における撮像装置１０１の制御回路２２１が受け持つ動作の例を説明するフローチャートである。

ユーザが撮像装置１０１に設けられた電源ボタンを操作すると、電源回路２１０が制御回路２２１及び撮像装置１０１の各ブロックに電源を供給する。電源が供給されると、図５の処理がスタートする。ステップＳ５０１（以下では、「ステップＳ」を単に「Ｓ」と省略する）では、起動条件の読み込みが行われる。本実施形態においては、電源ボタンが手動で押下されて電源起動をしてもよいし、外部機器（例えば３０１）から外部通信（例えばＢＬＥ通信）からの指示で電源起動してもよい。あるいは、ユーザが撮像装置１０１をタップしたことを検知して電源起動してもよいし、特定に音声コマンドが入力されたことを検知して電源起動してもよい。また、ここで読み込まれた起動条件は、被写体探索や自動撮影時の１つのパラメータ要素として用いられるが、これについては後述する。起動条件読み込みが終了するとＳ５０２に進む。

Ｓ５０２では、各種センサの検出値の読み込みが行われる。ここで読み込まれるセンサの検出値は、装置揺れ検出回路２０９からのジャイロセンサや加速度センサなどの振動を検出するセンサの検出値である。また、チルト回転ユニット１０４やパン回転ユニット１０５の回転位置である。さらに、音声処理回路２１２において検出される音声レベルや特定音声認識の検出トリガーや音方向の検出値である。

また、図１乃至図４には図示していないが、環境情報を検出するセンサでも情報を取得する。例えば、所定の周期で撮像装置１０１の周辺の温度を検出する温度センサや、撮像装置１０１の周辺の気圧の変化を検出する気圧センサを備える。また、撮像装置１０１の周辺の明るさを検出する照度センサや、撮像装置１０１の周辺の湿度を検出する湿度センサや、撮像装置１０１の周辺の紫外線量を検出するＵＶセンサ等を備えてもよい。検出した温度情報や気圧情報や明るさ情報や湿度情報やＵＶ情報に加え、検出した各種情報から所定時間間隔での変化率を算出した温度変化量や気圧変化量や明るさ変化量や湿度変化量や紫外線変化量などを後述する自動撮影などの判定に使用する。

Ｓ５０２で各種センサの検出値の読み込みが行われるとＳ５０３に進む。Ｓ５０３では、外部機器からの通信が指示されているかを検出し、通信指示があった場合、外部機器との通信を行う。例えば、外部機器３０１から、無線ＬＡＮやＢＬＥを介した、リモート操作を受信したり、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、外部機器３０１からの撮像装置１０１の撮影などの操作指示や、音声コマンド登録データ送信や、ＧＰＳ位置情報に基づいた所定位置検出通知や場所移動通知や学習用データの送受信の指示があるかどうかの読み込みを行う。

また、上述した環境情報を検出する各種センサは、撮像装置１０１に搭載されていてもよいが、外部機器３０１に搭載されていてもよく、その場合、ＢＬＥを介した環境情報の読み込みも行う。Ｓ５０３で外部機器からの通信読み込みが行われると、Ｓ５０４に進む。

Ｓ５０４では、モード設定判定が行われる。Ｓ５０４で設定されるモードは、以下の内から判定され選ばれる。

（１）手動撮影モード
［モード判定条件］
外部機器３０１から手動撮影モードを設定するコマンドが送信されたことを検出した場合に、手動撮影モードに設定される。

［モード内処理］
手動撮影モード処理（Ｓ５０６）では、ユーザの入力内容に応じて、パン・チルトあるいはズームを駆動し、ユーザの撮影指示に応じて静止画の撮影をしたり、動画の記録を開始したりする。

（２）自動撮影モード
［モード判定条件］
後述する学習により設定された各検出情報（画像、音、時間、振動、場所、身体の変化、環境変化）や、自動撮影モードに移行してからの経過時間や、過去の撮影情報などから、自動撮影を行うべきと判定されると、自動撮影モードに設定される。

［モード内処理］
自動撮影モード処理（Ｓ５０８）では、各検出情報（画像、音、時間、振動、場所、体の変化、環境変化）に基づいて、パン・チルトやズームを駆動して被写体を自動探索する。そして、ユーザの好みの撮影が行えるタイミングであると判定されると、自動で撮影が行われる。なお、ユーザから撮影指示があった場合には、その指示に応じて撮影を行う。

（３）学習モード
［モード判定条件］
前回学習処理を行ってからの経過時間と、学習に使用することのできる画像に対応付けられた情報や学習データの数などから、学習を行うべきと判定されると、学習モードに設定される。または、外部機器３０１からの通信を介して学習パラメータを設定するように指示があった場合も本モードに設定される。

［モード内処理］
学習モード処理（Ｓ５１０）では、ユーザの好みに合わせた学習を行う。外部機器３０１での各操作、外部機器３０１からの学習データ通知などの情報を基にニューラルネットワークを用いて、ユーザの好みに合わせた学習が行われる。外部機器３０１での各操作の情報としては、例えば、撮像装置１０１からの画像取得情報、専用アプリケーションを介して手動による編集指示がされた情報、撮像装置内の画像に対してユーザが入力した判定値情報がある。

なお、自動撮影モード処理、および、学習モード処理についての詳細は、後述する。

図５のＳ５０５では、Ｓ５０４でモード設定判定が手動撮影モードに設定されているか否かを判定する。手動撮影モードであると判定されれば、Ｓ５０６に進み、手動撮影モード処理が行われる。手動撮影モード処理では、上述したようにユーザの入力内容に応じて撮像装置１０１を駆動する。処理が終了すると、Ｓ５０２に戻る。

一方、Ｓ５０５で手動撮影モードでないと判定されると、Ｓ５０７に進み、モード設定が自動撮影モードであるか否かを判定し、自動撮影モードであればＳ５０８に進み、自動撮影モード処理が行われる。処理が終了すると、Ｓ５０２に戻る。Ｓ５０７で、自動撮影モードでないと判定されると、Ｓ５０９に進む。

Ｓ５０９では、モード設定が学習モードであるか否かを判定し、学習モードであればＳ５１０に進み、学習モード処理が行われる。処理が終了すると、Ｓ５０２に戻り、処理を繰り返す。Ｓ５０９で、学習モードでないと判定されると、Ｓ５０２に戻り、処理を繰り返す。

＜自動撮影モード処理＞
図６を用いて、図５のＳ５０８の自動撮影モード処理の詳細について説明する。前述したように、以下の処理は、本実施形態における撮像装置１０１の制御回路２２１が制御を行う。

Ｓ６０１では、画像処理回路２０７に撮像部２０６で取り込まれた画像信号に対して画像処理を行わせ、被写体認識用の画像を生成させる。生成された画像に対して、人物や物体認識などの被写体認識が行われる。

人物を認識する場合、被写体の顔や人体を検出する。顔検出処理では、人物の顔を判断するためのパターンが予め定められており、撮像された画像内に含まれる領域のうち、このパターンに一致する箇所を人物の顔画像として検出することができる。また、被写体の顔としての確からしさを示す信頼度も同時に算出する。信頼度は、例えば画像内における顔領域の大きさや、顔パターンとの一致度等から算出される。

物体認識についても同様に、予め登録されたパターンに一致する物体を認識することができる。また、撮像された画像内の色相や彩度等のヒストグラムを使用する方法で特徴被写体を抽出する方法などもある。この場合、撮影画角内に捉えられている被写体の画像に関し、その色相や彩度等のヒストグラムから導出される分布を複数の区間に分け、区間ごとに撮像された画像を分類する処理が実行される。

例えば、撮像された画像について複数の色成分のヒストグラムが作成され、その山型の分布範囲を区分けし、同一の区間の組み合わせに属する領域において撮像された画像が分類され、被写体の画像領域が認識される。

認識された被写体の画像領域ごとに評価値を算出することにより、その評価値が最も高い被写体の画像領域を主被写体領域として判定することができる。

以上の方法で、撮像情報から各被写体情報を得ることができる。

Ｓ６０２では、揺れ補正量の算出を行う。具体的には、まず、装置揺れ検出回路２０９において取得した角速度および加速度情報に基づいて、撮像装置１０１の姿勢変化の絶対角度を算出する。そして、絶対角度を打ち消す角度方向にチルト回転ユニット１０４およびパン回転ユニット１０５を動かす揺れ補正角度を求め、揺れ補正量とする。

Ｓ６０３では、撮像装置１０１の状態判定を行う。角速度情報や加速度情報やＧＰＳ位置情報などで検出した角度や移動量などにより、現在、撮像装置１０１がどのような振動／動き状態なのかを判定する。例えば、車に撮像装置１０１を装着して撮影する場合、移動された距離によって周りの風景などの被写体情報が大きく変化する。

そのため、車などに装着して速い速度で移動している「乗り物移動状態」か否かを判定し、後に説明する自動被写体探索に使用することができる。

また、角度の変化が大きいか否かを判定し、撮像装置１０１が揺れ角度がほとんどない「置き撮り状態」であるのか否かを判定する。「置き撮り状態」である場合は、撮像装置１０１自体の角度変化はないと考えてよいので、置き撮り用の被写体探索を行うことができる。また、比較的角度変化が大きい場合は、「手持ち状態」と判定され、手持ち用の被写体探索を行うことができる。また、比較的角度変化が大きい場合は、「手持ち状態」と判定され、手持ち用の被写体探索を行うことができる。

Ｓ６０４では、被写体探索処理を行う。制御回路２２１は、撮像装置１０１の位置（図１の原点Ｏが撮像装置の位置とする）を中心として、全周囲でエリア分割を行う。分割した各エリアについて、エリア内に存在する被写体やエリアのシーン状況に応じて、探索を行う優先順位を示す重要度レベルを算出する。

被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する人物の数、人物の顔の大きさ、顔の向き、顔検出の確からしさ、人物の表情、人物の個人認証結果に基づいて算出される。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判別結果（青空、逆光、夕景など）、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等から算出される。また、撮像装置１０１の状態判定（Ｓ６０３）で、撮像装置１０１の振動状態が検出されており、振動状態に応じても重要度レベルが変化するようにすることができる。例えば、「置き撮り状態」と判定された場合、顔認証で登録されている中で優先度の高い被写体（例えば撮像装置のユーザ）を中心に被写体探索が行われるように、特定人物の顔が検出されると重要度レベルが高くなるように判定される。また、後述する自動撮影も特定人物の顔を優先して行われることになり、撮像装置１０１のユーザが撮像装置を身に着けて持ち歩き撮影を行っている時間が多くても、撮像装置を取り外して机の上などに置くことで、ユーザが写った画像も多く残すことができる。このときパン・チルトにより探索可能であることから、撮像装置の置き角度などを考えなくても、適当に設置するだけでユーザが写った画像やたくさんの顔が写った集合写真などを残すことができる。

なお、上記条件だけでは、各エリアに変化がない限りは、最も重要度レベルが高いエリアが同じとなり、その結果探索されるエリアがずっと変わらないことになってしまう。そこで、過去の撮影情報に応じて重要度レベルを変化させる。具体的には、所定時間継続して探索エリアに指定され続けたエリアは重要度レベルを下げたり、後述するＳ６１０において撮影を行ったエリアでは、所定時間の間重要度レベルを下げたりしてもよい。

上記のように各エリアの重要度レベルが算出されたら、重要度レベルが高いエリアを探索対象エリアとして決定する。そして、探索対象エリアを画角に捉えるために必要なパン・チルト探索目標角度を算出する。

Ｓ６０５では、パン・チルト駆動を行う。具体的には、像振れ補正量とパン・チルト探索目標角度に基づいて、制御サンプリングでの駆動角度を加算することにより、パン・チルト駆動量を算出する。そして、鏡筒回転駆動回路２０５によって、チルト回転ユニット１０４、パン回転ユニット１０５をそれぞれ駆動制御する。

Ｓ６０６では、ズームユニット２０１を制御しズーム駆動を行う。具体的には、Ｓ６０４で決定した探索対象被写体の状態に応じてズームを駆動させる。例えば、探索対象被写体が人物の顔である場合、画像上の顔が小さすぎると検出可能な最小サイズを下回って検出することができず、見失ってしまう恐れがある。そのような場合は、望遠側にズームすることにより、画像上の顔のサイズが大きくなるように制御する。一方で、画像上の顔が大きすぎる場合、被写体や撮像装置１０１自体の動きによって被写体が画角から外れやすくなってしまう。そのような場合は、広角側にズームすることにより、画面上の顔のサイズが小さくなるように制御する。このようにズーム制御を行うことにより、被写体を追跡するのに適した状態を保つことができる。

Ｓ６０４～Ｓ６０６では、パン・チルトやズーム駆動により被写体探索を行う方法について説明したが、広角レンズを複数使用して全方位を一度に撮影する撮像システムで被写体探索を行ってもよい。全方位カメラの場合、撮像によって得られる信号全てを入力画像として被写体検出などの画像処理を行うと、膨大な処理が必要となる。そこで、画像の一部を切り出して、切り出した画像範囲の中で被写体の探索処理を行う構成にする。上述した方法と同様にエリア毎の重要度レベルを算出し、重要度レベルに基づいて切り出し位置を変更し、後述する自動撮影の判定を行う。これにより画像処理による消費電力の低減や高速な被写体探索が可能となる。

Ｓ６０７では、自動撮影モードが設定されている状態で、ユーザ（手動）による撮影指示があったがどうかを判定し、撮影指示があった場合、Ｓ６１０に進む。この時、ユーザ（手動）による撮影指示は、シャッターボタンの押下により行ってもよいし、撮像装置１０１の筺体を指等で軽く叩く（タップ）、音声コマンド入力、外部機器からの指示などによって行ってもよい。タップ操作による撮影指示は、ユーザが撮像装置１０１の筺体をタップした際の振動を、装置揺れ検出回路２０９によって短期間に連続した高周波の加速度として検知し、撮影のトリガーとする撮影指示方法である。音声コマンド入力は、ユーザが所定の撮影を指示する合言葉（例えば「写真とって」等）を発声した場合、その音声を音声処理回路２１２で認識し、撮影のトリガーとする撮影指示方法である。外部機器からの撮影指示は、例えば撮像装置１０１とＢｌｕｅＴｏｏｔｈ接続したスマートフォン等から、専用のアプリケーションを介して送信されたシャッター指示信号をトリガーとする撮影指示方法である。

Ｓ６０７で撮影指示がなかった場合、Ｓ６０８に進み、自動撮影判定を行う。自動撮影判定では、自動撮影を行うかどうかの判定を行う。

自動撮影を行うか否かの判定は、機械学習の１つであるニューラルネットワークに基づいて行われる。ニューラルネットワークの一例として、多層パーセプトロンによるネットワークの例を図７に示す。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値と、その入力に対して模範となる出力値とを学習しておくことで、新たな入力値に対して、学習した模範に倣った出力値を推定することができる。なお、学習の方法は後述する。

図７の７０１およびその縦に並ぶ丸は入力層のニューロンであり、７０３およびその縦に並ぶ丸は中間層のニューロンであり、７０４は出力層のニューロンである。７０２のような矢印は各ニューロンを繋ぐ結合を示している。ニューラルネットワークに基づく判定では、入力層のニューロンに対して、現在の画角中に写る被写体や、シーンや撮像装置の状態に基づいた特徴量を入力として与え、多層パーセプトロンの順伝播則に基づく演算を経て出力層から出力された値を得る。そして、出力の値が閾値以上であれば、自動撮影を実施する判定を下す。

なお、被写体の特徴は、現在のズーム倍率、現在の画角における一般物体認識結果、顔検出結果、現在画角に写る顔の数、顔の笑顔度・目瞑り度、顔角度、顔認証ＩＤ番号、被写体人物の視線角度、シーン判別結果、特定の構図の検出結果等を使用する。また、前回撮影時からの経過時間、現在時刻、ＧＰＳ位置情報および前回撮影位置からの変化量、現在の音声レベル、声を発している人物、拍手、歓声が上がっているか否か等を使用してもよい。また、振動情報（加速度情報、撮像装置の状態）、環境情報（温度、気圧、照度、湿度、紫外線量）等を使用してもよい。この特徴を所定の範囲の数値に変換し、特徴量として入力層の各ニューロンに与える。そのため、入力層の各ニューロンは上記の使用する特徴量の数だけ必要となる。

なお、このニューラルネットワークに基づく判断は、後述する学習処理によって、各ニューロン間の結合重みを変化させることによって、出力値が変化し、判断の結果を学習結果に適応させることができる。

また、図５のＳ５０１で読み込んだ起動条件によって、自動撮影される判定も変化する。例えば、タップ検出による起動や特定音声コマンドによる起動の場合は、ユーザが現在撮影してほしいための操作である可能性が非常に高い。そこで、撮影頻度が多くなるように設定されるようになる。

Ｓ６０９では、Ｓ６０８の自動撮影判定により撮影する判定が下された場合、Ｓ６１０に進み、下されなかった場合、撮影モード処理を終了し、図５のＳ５０２に進む。

Ｓ６１０では、撮影を開始する。この時、手動撮影であれば静止画の撮影、あるいは、ユーザが手動で設定した撮影方法で撮影を行い、自動撮影であればＳ６０８において判定されたタイミングで撮影を開始する。その際、フォーカス駆動制御回路２０４によるオートフォーカス制御を行う。また、不図示の絞り制御回路およびセンサゲイン制御回路、シャッター制御回路を用いて、被写体が適切な明るさになるような露出制御を行う。さらに、撮影後には画像処理回路２０７において、オートホワイトバランス処理、ノイズリダクション処理、ガンマ補正処理等、種々の画像処理を行い、画像を生成する。

なお、この撮影の際に、所定の条件を満たした場合、撮像装置１０１が撮影対象となる人物に対し撮影を行う旨を報知した上で撮影する手段を取ってもよい。報知の方法は、例えば、音声出力回路２１６からの音声やＬＥＤ制御回路２２２によるＬＥＤ点灯光を使用してもよいし、パン・チルトを駆動することにより視覚的に被写体の視線を誘導するモーション動作をしてもよい。所定の条件は、例えば、画角内における顔の数、顔の笑顔度・目瞑り度、被写体人物の視線角度や顔角度、顔認証ＩＤ番号、個人認証登録されている人物の数等である。また、撮影時の一般物体認識結果、シーン判別結果、前回撮影時からの経過時間、撮影時刻、ＧＰＳ情報に基づく現在位置が景勝地であるか否か、撮影時の音声レベル、声を発している人物の有無、拍手、歓声が上がっているか否か等である。また、振動情報（加速度情報、撮像装置の状態）、環境情報（温度、気圧、照度、湿度、紫外線量）等である。これらの条件に基づき報知撮影を行うことによって、重要性が高いシーンにおいてカメラ目線の好ましい画像を残すことができる。

また、所定の条件を複数もち、各条件に応じて音声を変更したり、ＬＥＤの点灯方法（色や点滅時間など）を変更したり、パン・チルトのモーション方法（動き方や駆動速度）を変更してもよい。

Ｓ６１１では、Ｓ６１０において生成した画像を加工したり、動画に追加したりといった編集処理を行う。画像加工は、具体的には、人物の顔や合焦位置に基づいたトリミング処理、画像の回転処理、ＨＤＲ（ハイダイナミックレンジ）効果、ボケ効果、色変換フィルタ効果などの各種効果の追加処理などである。画像加工は、Ｓ６１０において生成した画像を元に、上記の処理の組み合わせによって複数生成し、前記Ｓ６１０にて生成した画像とは別に保存するようにしてもよい。また、動画処理については、撮影した動画または静止画を、生成済みの編集動画にスライド、ズーム、フェードの特殊効果処理をつけながら追加するといった処理をしてもよい。Ｓ６１１での編集についても、撮影画像の情報、或いは撮影前に検出した各種情報をニューラルネットワークに基づいて判断し、画像加工の方法を判定することもできる。また、この判定処理は、後述する学習処理によって、判定条件を変更することができる。

Ｓ６１２では、撮影画像から学習データを生成する処理を行う。ここでは、後述する学習処理に使用する情報を生成し、記録する。具体的には、今回の撮影画像における、撮影時のズーム倍率、撮影時の一般物体認識結果、顔検出結果、撮影画像に写る顔の数、顔の笑顔度・目瞑り度、顔角度、顔認証ＩＤ番号、被写体人物の視線角度等である。また、シーン判別結果、前回撮影時からの経過時間、撮影時刻、ＧＰＳ位置情報および前回撮影位置からの変化量、撮影時の音声レベル、声を発している人物、拍手、歓声が上がっているか否か等である。また、振動情報（加速度情報、撮像装置の状態）、環境情報（温度、気圧、照度、湿度、紫外線量）、動画撮影時間、手動撮影指示によるものか否か、等である。更にユーザの画像の好みを数値化したニューラルネットワークの出力であるスコアも演算する。

これらの情報を生成し、撮影画像ファイルへタグ情報として記録する。あるいは、不揮発性メモリ２１４へ書き込むか、記録媒体２１９内に、所謂カタログデータとして各々の撮影画像（撮像画像）の情報をリスト化した形式で保存する、としてもよい。

Ｓ６１３では過去撮影情報の更新を行う。具体的には、Ｓ６０８の説明で述べたエリア毎の撮影枚数や、個人認証登録された人物毎の撮影枚数、一般物体認識で認識された被写体毎の撮影枚数、シーン判別のシーン毎の撮影枚数について、今回撮影された画像が該当する枚数のカウントを１つ増やす。

＜学習モード処理＞
次に、本実施形態におけるユーザの好みに合わせた学習について説明する。

本実施形態では、図７に示すようなニューラルネットワークを用い、機械学習アルゴリズムを使用して、学習処理回路２１７においてユーザの好みに合わせた学習を行う。学習処理回路２１７は、例えば、ＮＶＩＤＩＡ社のＪｅｔｓｏｎ ＴＸ２を用いる。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値の実績値と出力値の実績値を学習しておくことで、新たな入力値に対して、出力値を推定することができる。ニューラルネットワークを用いることにより、前述の自動撮影や被写体探索に対して、ユーザの好みに合わせた学習を行う。

また、ニューラルネットワークに入力する特徴データともなる被写体登録（顔認証や一般物体認識など）を登録することも行う。

本実施形態における自動撮影に対する学習について説明する。自動撮影では、ユーザの好みに合った画像の撮影を自動で行うための学習を行う。図６のフローチャートを用いて説明したように、撮影後（Ｓ６１２）に学習データを生成する処理が行われている。後述する方法により学習させる画像を選択させ、画像に含まれる学習データに基づいて、ニューラルネットワークのニューロン間の結合重みを変化させることで学習する。

次に、学習方法について説明する。学習方法としては、「撮像装置内の学習」と「通信機器との連携による学習」がある。撮像装置内学習の方法について、以下説明する。

本実施形態における撮像装置内学習は、以下の方法がある。

（１）ユーザによる撮影指示時の検出情報による学習
図６のＳ６０７～Ｓ６１３で説明したとおり、本実施形態においては、撮像装置１０１は、手動撮影と自動撮影の２つの撮影を行うことができる。Ｓ６０７で手動操作による撮影指示（上記説明したとおり、３つの判定に基づいて行う。）があった場合は、Ｓ６１２において、撮影画像は手動で撮影された画像であるとの情報が付加される。また、Ｓ６０９において自動撮影ＯＮと判定されて撮影された場合においては、Ｓ６１２において、撮影画像は自動で撮影された画像であると情報が付加される。また、Ｓ５０６の手動撮影モードで撮影した画像に対しても、手動で撮影された画像であるとの情報が付加される。

ここで手動撮影される場合、ユーザの好みの被写体、好みのシーン、好みの場所や時間間隔を基に撮影された可能性が非常に高い。よって、手動撮影時に得られた各特徴データや撮影画像の学習データを基とした学習が行われるようにする。

また、手動撮影時の検出情報から、撮影画像における特徴量の抽出や個人認証の登録、個人ごとの表情の登録、人の組み合わせの登録に関して学習を行う。また、被写体探索時の検出情報からは、例えば、個人登録された被写体の表情から、近くの人や物体の重要度を変更するような学習を行う。

（２）ユーザによる削除操作に基づく学習
ユーザの操作によって削除された画像を学習に利用することもできる。記録媒体２１９あるいは不揮発性メモリ２１４に保存された画像がユーザの操作によって削除された場合、その画像は価値が低いと判断された可能性がある。さらに、画像の評価が低かった原因が、自動撮影に用いるニューラルネットワークの学習が未成熟であるためと考えられる場合には、削除された画像や、その画像に関連付けられた検出情報を、好ましくないシーンのサンプルとして学習に用いることができる。これによって、好ましくないシーンにおける自動撮影を抑制することが可能となる。

ユーザの削除操作に基づく学習処理について、図１１のフローチャートを用いて説明する。図１１は、ユーザが画像の削除操作を行った場合の学習処理を示すフローチャートである。この学習処理は、ユーザの操作によって画像が削除された際に行われる。ユーザの操作は、撮像装置１０１を直接操作するものでもよいし、撮像装置と連携したスマートデバイスやアクセサリ機器の操作によって通信により削除指示を与えるものでもよい。

Ｓ１１０１では、削除された画像と類似する別の画像が記録媒体２１９または不揮発性メモリ２１４内に存在するか否かを判定する。存在する場合には、記録媒体２１９または不揮発性メモリ２１４内に類似の画像が存在するために、削除画像の相対的な価値が低下して削除された、すなわち、画像に対する絶対的評価が低いわけではないと判断することができる。

判定方法としては、削除画像と記録媒体２１９または不揮発性メモリ２１４内の比較画像の画像データを直接比較して類似度を求める（類似度判定）方法と、各々の画像に関連付けられた検出情報を比較して類似度を求める方法に分けることが出来る。

画像同士を比較して類似度を求める方法の例を以下に説明する。まず、比較しようとする画像について、特徴点抽出処理によって、複数の特徴点（特徴点群）を抽出する。特徴点抽出処理としては、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）など、任意の方法を用いることができる。次に、画像間で類似する特徴点をペアリングする特徴点マッチング処理を行い、マッチングされた特徴点のペアの数が多いほど、高い類似度を出力するようにする。

画像同士を比較して類似度を求める方法はこれに限らず、例えば２つの画像を入力として、類似度を出力するように訓練されたニューラルネットワークを用いてもよい。

また、画像に関連付けられた検出情報を比較して類似度を求める方法の例としては、ベクトル表現された２つの検出情報の間のユークリッド距離を算出し、検出情報間の距離が小さいほど類似度が高いと判定する方法が考えられる。距離を計算する上では、ユークリッド距離に限らず、任意の定義の距離を用いてもよい。また、距離計量学習などによって検出情報の類似性を判定するために最適化された距離計算器を用いてもよい。また、画像データに関連付けられた撮影時刻情報、撮影位置情報のうちの少なくとも１つと、削除画像に関連付けられた撮影時刻情報、撮影位置情報の差が所定の閾値以内である画像を比較するようにしてもよい。

以上のような判定処理によって、所定の閾値より類似度が大きいと判断された画像が記録媒体２１９または不揮発性メモリ２１４内に存在する場合には、Ｓ１１０５に進み、存在しない場合には、Ｓ１１０２に進む。

Ｓ１１０２では、削除画像が、撮像装置１０１の焦点位置制御や露出制御が不適切な状態で撮影された画像であるか否かを判定する。焦点位置制御や露出制御が不適切な状態で画像が撮影され、被写体ボケや被写体ブレが発生していたり、被写体の露出が不適正な状態になっていたりする場合には、それがユーザの低評価の原因であると判断できる。

被写体ボケや被写体ブレを判定する方法としては、特開２０１５－１７０３０６号公報に記載のエッジ検出に基づく方法がある。また、画像を入力として被写体ボケや被写体ブレの有無を出力するように訓練されたニューラルネットワークを用いてもよい。

被写体の露出が適正か否かを判定する方法としては、例えば画像から算出した輝度ヒストグラムを用いる方法がある。輝度ヒストグラムが低輝度もしくは高輝度に極端に偏っている場合には、被写体が適正な明るさで撮像されていないと判断することができる。他にも、画像を入力として被写体の明るさが適正か否かを出力するように訓練されたニューラルネットワークを用いてもよい。

上記のような判定処理によって、削除画像が、被写体ボケや被写体ブレが発生している画像である、もしくは被写体の明るさが不適切な状態になっている画像であると判定された場合には、Ｓ１１０５に進み、判定されなかった場合には、Ｓ１１０３に進む。

Ｓ１１０３においては、削除画像が撮影されたタイミングの前後でシーンに大きな変化があったか否かを判定する。

判定方法としては、削除画像の撮影を行う直前に取得された検出情報と、撮影を実行した直後に取得された検出情報を比較し、２つの検出情報の類似度が所定の閾値より低い場合に、シーンに大きな変化があったと判断できる。検出情報の比較方法としては、Ｓ１１０１で説明した類似判定処理と同様の手法を用いることが可能である。

上記の判定処理によって、削除画像が撮影されたタイミングの前後でシーンに大きな変化があったと判定された場合には、Ｓ１１０５に進み、判定されなかった場合には、Ｓ１１０４に進む。

Ｓ１１０４においては、削除された画像とそれに関連付けられた検出情報を、好ましくないシーンのサンプルとして学習データに追加し、自動撮影のニューラルネットワークの学習を行う。なお、ニューラルネットワークの学習は、学習データが追加される度に逐次行ってもよいし、所定の数の学習データが追加された際にまとめて行ってもよい。

Ｓ１１０５では、削除画像を好ましくないシーンのサンプルとして学習することは適切でないと判断し、学習を行わずに本学習処理を終了する。

以上、ユーザの削除操作に基づく学習処理について説明したが、本学習処理は必ずしもユーザの削除操作に応じて即時に行う必要はなく、ユーザによる削除操作の履歴を記憶しておき、後から学習処理を行ってもよい。

また、上記の学習処理を必ずしも撮像装置１０１内で行う必要はなく、必要な情報を撮像装置と連携したサーバ等に送信し、別途、サーバ上で学習処理を行ってもよい。撮像装置１０１は、サーバによって学習された結果を受け取ることで、撮像装置１０１自身で学習した場合と同様の効果を得ることができる。また、削除画像は記憶媒体２１９または不揮発性メモリ２１４内の画像として説明を行ったが、撮像装置１０１とは別のサーバ上に保存されている画像であってもよい。なお、学習結果を用いて撮像装置に自動撮影を行わせる処理、撮像装置で撮影された画像を記憶媒体に記憶する処理、記憶媒体から学習に用いる画像を判定する処理、および、判定された画像を用いて学習を行う処理は、それぞれ別の装置で行うようにしてもよいし、いずれか一部、あるいは、全てを同一の装置内で行うようにしてもよい。

次に、本実施形態における外部通信機器との連携による学習について説明する。本実施形態における外部通信機器との連携による学習には、以下の方法がある。

（３）外部通信機器で画像を取得したことによる学習
図３で説明したとおり、撮像装置１０１と外部機器３０１は、通信３０２,３０３を行う通信手段を有している。主に通信３０２によって画像の送受信が行われ、外部機器３０１は、その内部の専用のアプリケーションを介して、撮像装置１０１内の画像を通信により取得することができる。また、外部機器３０１は、その内部の専用のアプリケーションを介して、撮像装置１０１内の保存されている画像データのサムネイル画像を閲覧可能である。これにより、ユーザはサムネイル画像の中から、自分が気に入った画像を選択して、画像確認し、取得指示を操作することにより、その画像を外部機器３０１に取得することができる。

このとき、ユーザが選んだ画像について送信指示（送信要求）して取得しているので、取得された画像はユーザの好みの画像である可能性が非常に高い。よって取得された画像は、学習すべき画像であると判定し、取得された画像から図６のＳ６１２と同様に学習データを生成し、この学習データに基づいて学習する。これにより、ユーザの好みの各種学習を行うことができる。

操作例について説明する。スマートデバイスである外部機器３０１の専用のアプリケーションを介して、撮像装置１０１内の画像を閲覧している例を図８に示す。表示装置４０７に、撮像装置１０１内に保存されている画像データのサムネイル画像（８０４～８０９）が表示されており、ユーザは自分が気に入った画像を選択し、取得することができる。このとき、表示方法を変更する変更ボタンアイコン８０１,８０２,８０３が設けられている。変更ボタンアイコン８０１を押下すると、表示順序が日時優先表示モードに変更され、撮像装置１０１内の画像が撮影日時の順番で表示装置４０７に表示される。例えば、画像８０４は日時が新しく、画像８０９が日時は古いように表示される。変更ボタンアイコン８０２を押下すると、おすすめ画像優先表示モードに変更される。図６のＳ６１２で算出された、各画像に対してのユーザの好みを判定した評価結果であるスコアに基づいて、撮像装置１０１内の画像がスコアの高い順番で表示装置４０７に表示される。例えば、画像８０４はスコアが高く、画像８０９がスコアは低いように表示される。変更ボタンアイコン８０３を押下すると、人物や物体被写体を指定でき、続いて特定の人物や物体被写体を指定すると特定の被写体のみを表示することもできる。

変更ボタンアイコン８０１～８０３は、同時に設定をＯＮすることもでき、例えば全ての設定がＯＮされている場合、指定された被写体のみを表示し、且つ、撮影日時が新しい画像が優先され、且つ、スコアの高い画像が優先され、表示されることになる。

このように、撮影画像についてもユーザの好みを学習するため、撮影された大量の画像の中から簡単な確認作業で、ユーザの好みの画像のみを簡単に抽出することが可能である。

（４）外部通信機器を介して画像に判定値を入力することによる学習
上記で説明したとおり、撮像装置１０１と外部機器３０１は、通信手段を有しており、撮像装置１０１内の保存されている画像を、外部機器３０１内の専用のアプリケーションを介して、閲覧可能である。ここで、ユーザは、各画像に対して点数付を行う構成にしてもよい。ユーザが好みと思った画像に対して高い点数（例えば５点）を付けたり、好みでないと思った画像に対して低い点数（例えば１点）を付けることができ、ユーザの操作によって、撮像装置１０１が学習していくような構成にする。各画像の点数は、撮像装置内で学習データと共に再学習に使用する。指定した画像情報からの特徴データを入力にした、ニューラルネットワークの出力がユーザが指定した点数に近づくように学習される。

本実施形態では、外部機器３０１を介して、撮影済み画像にユーザが点数を入力する構成にしたが、撮像装置１０１を操作して、直接、画像に点数を入力する構成にしてもよい。その場合、例えば、撮像装置１０１にタッチパネルディスプレイを設け、タッチパネルディスプレイに表示されたＧＵＩボタンをユーザが押下して、撮影済み画像を表示するモードに設定する。そして、ユーザは撮影済み画像を確認しながら、各画像に点数を入力するなどの方法により、同様の学習を行うことができる。

（５）外部通信機器でパラメータを変更することによる学習
上記で説明したとおり、撮像装置１０１と外部機器３０１は、通信手段を有しており、撮像装置１０１内に現在設定されている学習パラメータを外部機器３０１に通信し、外部機器３０１の記憶回路４０４に保存することができる。学習パラメータとしては、例えば、ニューラルネットワークのニューロン間の結合重みや、ニューラルネットワークに入力する被写体の選択などが考えられる。また、外部機器３０１内の専用のアプリケーションを介して、専用のサーバにセットされた学習パラメータを公衆回線制御回路４０６を介して取得して、撮像装置１０１内の学習パラメータに設定することもできる構成とする。これにより、ある時点でのパラメータを外部機器３０１に保存しておいて、撮像装置１０１に設定することにより学習パラメータを戻すこともできるし、他のユーザが持つ学習パラメータを専用のサーバを介して取得し自身の撮像装置１０１に設定することもできる。

次に、学習処理シーケンスについて説明する。図５のＳ５０４のモード設定判定において、学習処理を行うべきか否かを判定し、学習処理を行う場合、学習モードであると判定され、Ｓ５１０の学習モード処理を行う。

学習モードの判定条件について説明する。学習モードに移行するか否かは、前回学習処理を行ってからの経過時間と、学習に使用できる情報の数、通信機器を介して学習処理指示があったかなどから判定される。Ｓ５０４のモード設定判定処理内で判定される、学習モードに移行すべきか否かの判定処理フローを図９に示す。

Ｓ５０４のモード設定判定処理内において学習モード判定が開始指示されると、図９の処理がスタートする。Ｓ９０１では外部機器からの学習指示があるか否かを判定する。ここでの学習指示の有無の判定は、＜（５）外部通信機器でパラメータを変更することによる学習＞のように、学習パラメータをセットする指示があったか否かの判定である。Ｓ９０１で、外部機器３０１からの学習指示があった場合、Ｓ９０７に進み、学習モード判定をＴＲＵＥにして、Ｓ５１０の処理を行うように設定し、学習モード判定処理を終了する。Ｓ９０１で外部機器からの学習指示がない場合、Ｓ９０２に進む。

Ｓ９０２では、前回学習モード処理が行われてからの経過時間ＴｉｍｅＮを取得し、Ｓ９０３に進む。Ｓ９０３では、学習する新規のデータ数ＤＮ（前回学習処理が行われてからの経過時間ＴｉｍｅＮの間で、学習するように指定された画像の数）を取得し、Ｓ９０４に進む。Ｓ９０４では、ＴｉｍｅＮから閾値ＤＴを算出する。あるいは、ＴｉｍｅＮから閾値ＤＴを得るためのテーブルを用意しておいてもよい。例えば、ＴｉｍｅＮが所定値よりも小さい場合の閾値ＤＴａが、所定値よりも大きい場合の閾値ＤＴｂよりも大きく設定されており、時間経過によって、閾値が小さくなるように設定されている。これにより、学習データが少ない場合においても、時間経過が大きいと再度学習するようにすることで、使用時間が長くなると撮像装置が学習モードに変化し易いようにすることができる。なお、学習モード処理が行われてから暫くの期間は学習モードに移行しないように、閾値ＤＴを大きくするとよい。

Ｓ９０４において閾値ＤＴが算出されると、Ｓ９０５に進み、学習するデータ数ＤＮが、閾値ＤＴ以上であるか否かを判定する。データ数ＤＮが、閾値ＤＴ以上である場合、Ｓ９０６に進み、ＤＮを０に設定する。その後、Ｓ９０７に進み、学習モード判定をＴＲＵＥにして、Ｓ５１０の処理を行うように設定し、学習モード判定処理を終了する。

Ｓ９０５においてデータ数ＤＮが、閾値ＤＴ未満の場合、Ｓ９０８に進む。Ｓ９０８では、外部機器３０１からの登録指示も、外部機器からの学習指示もなく、且つ学習データの数も所定値未満であるので、学習モード判定をＦＡＬＳＥにし、Ｓ５１０の処理は行わないように設定し、学習モード判定処理を終了する。

図５のＳ５０９で学習モードと判定され、Ｓ５１０に進むと、図１０の処理がスタートする。Ｓ１００１では、外部機器３０１からの学習パラメータの設定指示があるか否かを判定する。外部機器３０１から学習パラメータの設定指示があった場合、Ｓ１００６に進み、外部機器から通信された学習パラメータを各判定器（ニューラルネットワークのニューロン間の結合重みなど）に設定し、Ｓ１００７に進む。Ｓ１００１で外部機器３０１からの学習指示がない場合、Ｓ１００２に進む。

Ｓ１００２では、いずれかの学習データを選択して機械学習を行う。この学習データは、手動で撮影された画像であるとの情報が付加された撮影画像から生成された学習データ、ユーザによる削除操作に基づく学習データ、外部通信機器で取得した画像から生成された学習データ、外部通信機器を介して判定値が入力された撮影画像から生成された学習データを含む。誤差逆伝搬法あるいは、勾配降下法などの方法を用いて学習させ、ニューラルネットワークのニューロン間の結合重みを再計算して、各判定器のパラメータを変更する。学習データを生成した画像に対してユーザが点数を付けていれば、その点数を加味した学習を行う。

Ｓ１００３では、機械学習のために用意した全ての学習データを用いて学習を行ったかを判定する。まだ残っている学習データがあればＳ１００２に戻り、全ての学習データを用いて学習を行っていればＳ１００４に進む。

Ｓ１００４では、機械学習により得られた学習パラメータを、基準回数に対応付けて不揮発性メモリ２１４に記憶する。

Ｓ１００５では、Ｓ１００４で記憶した最新の学習パラメータを各判定器（ニューラルネットワークのニューロン間の結合重みなど）に設定し、Ｓ１００７に進む。

Ｓ１００７では、記録媒体２１９内あるいは不揮発性メモリ２１４内の画像に対してスコアを付け直す（再評価する）。本実施形態においては、新たな学習結果に基づいて、記録媒体２１９内あるいは不揮発性メモリ２１４内に保存されている全ての撮影画像にスコアを付けておき、付けられたスコアに応じて、自動編集や自動ファイル削除を行う構成とする。つまり、再学習や外部機器からの学習パラメータのセットが行われた場合には、撮影済み画像のスコアも更新する必要がある。よって、Ｓ１００７では、記録媒体２１９内あるいは不揮発性メモリ２１４内に保存されている撮影画像に対して、新たなスコアを付ける再計算が行われ、処理が終了すると学習モード処理を終了する。なお、新たなスコアを付ける再計算は、ユーザの指示に応じて行うようにしてもよい。

本実施形態においては、撮像装置１０１内で学習する構成を基に説明したが、外部機器３０１側に学習機能を持たせ、学習に必要なデータを外部機器３０１に通信し、外部機器側でのみ学習を実行する構成でも同様の学習効果を実現可能である。その場合、上記の＜（５）外部通信機器でパラメータを変更することによる学習＞で説明したように、外部機器側で学習したニューラルネットワークのニューロン間の結合重みなどのパラメータを撮像装置１０１に送信して設定することにより、学習を行う構成にしてもよい。

また、撮像装置１０１内と、外部機器３０１内の両方に、それぞれ学習処理機能をもつ構成にしてもよい。例えば撮像装置１０１内で学習モード処理が行われるタイミングで外部機器３０１が持つ学習データを撮像装置１０１に通信し、学習パラメータをマージすることで学習を行う構成にしてもよい。

以上説明したように、上記の実施形態によれば、ユーザが削除した画像のうち、撮影ミスなどではなく、純粋にユーザの好みではないという理由で削除されたと判断される画像のみについて、それらを好ましくないシーンの画像として学習する。この学習により、ユーザが特別な操作を行うことなく、ユーザの好みでないシーンで撮影が実行されることを抑制することが可能となる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：撮像装置、１０２：鏡筒、１０４：チルト回転ユニット、１０５：パン回転ユニット、２１７：学習処理回路、２１９：記録媒体、２２１：制御回路、３０１：外部機器

Claims (16)

1. 記憶手段に記憶された画像データが、ユーザによる削除の指示を受け、かつ、所定の条件を満たす場合に、前記画像データが特定の状況を学習するために用いる画像データであると判定する判定手段と、
   前記ユーザによる削除の指示を受けた画像データと、前記記憶手段に記憶されている別の画像データの類似度を判定する類似度判定手段と、を備え、
   前記判定手段は、前記類似度判定手段により、前記記憶手段に記憶されている画像データに、前記ユーザによる削除の指示を受けた画像データと類似する画像データが存在すると判定された場合に、前記所定の条件を満たさないと判定することを特徴とする画像処理装置。
2. 前記判定手段は、前記画像データと該画像データに関連付けられた情報との少なくともいずれかに基づいて、前記画像データが前記所定の条件を満たすか否かを判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記類似度判定手段は、前記ユーザによる削除の指示を受けた画像データから特徴点抽出処理によって第１の特徴点群を抽出し、前記記憶手段に記憶されている別の画像データから前記特徴点抽出処理によって第２の特徴点群を抽出し、前記第１の特徴点群と前記第２の特徴点群の間でマッチング処理を行い、類似する特徴点のペアの数が多いほど類似度が高いと判定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記類似度判定手段は、前記記憶手段に記憶されている別の画像データに関連付けられた情報と、前記ユーザによる削除の指示を受けた画像データに関連付けられた情報とを比較することにより、画像の類似度を判定することを特徴とする請求項１または２に記載の画像処理装置。
5. 前記類似度判定手段は、前記記憶手段に記憶されている別の画像データに関連付けられた撮影時刻情報、撮影位置情報のうちの少なくとも１つと、前記ユーザによる削除の指示を受けた画像データに関連付けられた撮影時刻情報、撮影位置情報のうちの少なくとも１つの差が所定の閾値以内である画像の類似度を判定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記判定手段は、前記ユーザによる削除の指示を受けた画像データの状態が、被写体ボケの状態、被写体ブレの状態、被写体の露出が適正でない状態の少なくとも１つに該当する場合に、前記所定の条件を満たさないと判定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 記憶手段に記憶された画像データが、ユーザによる削除の指示を受け、かつ、所定の条件を満たす場合に、前記画像データが特定の状況を学習するために用いる画像データであると判定する判定手段を備え、
   前記判定手段は、前記ユーザによる削除の指示を受けた画像データが撮像された前後の、前記ユーザによる削除の指示を受けた画像データに関連付けられた情報の差が大きい場合に、前記所定の条件を満たさないと判定することを特徴とする画像処理装置。
8. 前記判定手段によって、前記特定の状況を学習するために用いる画像データと判定された画像データと該画像データに関連付けられた情報とを用いて、学習を行う学習手段をさらに有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記特定の状況とは、撮像手段に自動撮影を行わせるべき状況であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 前記学習手段によって学習された結果に基づいて、自動撮影を行う撮像手段を有することを特徴とする請求項８に記載の画像処理装置。
11. 前記記憶手段は、前記撮像手段によって生成された画像データを記憶することを特徴とする請求項１０に記載の画像処理装置。
12. 前記記憶手段は、前記画像処理装置の外部にあることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
13. 記憶手段に記憶された画像データが、ユーザによる削除の指示を受け、かつ、所定の条件を満たす場合に、前記画像データが特定の状況を学習するために用いる画像データであると判定する判定工程と、
    前記ユーザによる削除の指示を受けた画像データと、前記記憶手段に記憶されている別の画像データの類似度を判定する類似度判定工程と、を備え、
    前記判定工程では、前記類似度判定工程において、前記記憶手段に記憶されている画像データに、前記ユーザによる削除の指示を受けた画像データと類似する画像データが存在すると判定された場合に、前記所定の条件を満たさないと判定することを特徴とする画像処理装置の制御方法。
14. 記憶手段に記憶された画像データが、ユーザによる削除の指示を受け、かつ、所定の条件を満たす場合に、前記画像データが特定の状況を学習するために用いる画像データであると判定する判定工程を備え、
    前記判定工程では、前記ユーザによる削除の指示を受けた画像データが撮像された前後の、前記ユーザによる削除の指示を受けた画像データに関連付けられた情報の差が大きい場合に、前記所定の条件を満たさないと判定することを特徴とする画像処理装置の制御方法。
15. 請求項１３または１４に記載の制御方法をコンピュータに実行させるためのプログラム。
16. 請求項１３または１４に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images