JP6852141B2 - 情報処理装置、撮像装置、情報処理装置の制御方法、および、プログラム - Google Patents

情報処理装置、撮像装置、情報処理装置の制御方法、および、プログラム Download PDF

Info

Publication number
JP6852141B2
JP6852141B2 JP2019208988A JP2019208988A JP6852141B2 JP 6852141 B2 JP6852141 B2 JP 6852141B2 JP 2019208988 A JP2019208988 A JP 2019208988A JP 2019208988 A JP2019208988 A JP 2019208988A JP 6852141 B2 JP6852141 B2 JP 6852141B2
Authority
JP
Japan
Prior art keywords
learning
image
parameter
data
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019208988A
Other languages
English (en)
Other versions
JP2020095702A (ja
Inventor
潤二 多田
潤二 多田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2020095702A publication Critical patent/JP2020095702A/ja
Application granted granted Critical
Publication of JP6852141B2 publication Critical patent/JP6852141B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Description

本発明は、機械学習における学習の偏りを抑制する技術に関するものである。
カメラ等の撮像装置による静止画・動画撮影においては、ユーザがファインダー等を通して撮影対象を決定し、撮影状況を自ら確認して撮影画像のフレーミングを調整し、シャッターボタンを操作することによって、画像を撮影するのが通常である。
このようなユーザの操作により撮影を実行する撮像装置に対し、ユーザが撮影指示を与えることなく定期的および継続的に撮影を行うライフログカメラが存在する（特許文献１）。ライフログカメラは、ストラップ等でユーザの身体に装着された状態で用いられ、ユーザが日常生活で目にする光景を一定時間間隔で映像として記録するものである。ライフログカメラによる撮影は、ユーザがシャッターを切るなどの意図したタイミングで撮影するのではなく、一定の間隔で撮影を行うため、普段撮影しないような不意な瞬間を映像として残すことができる。
特表２０１６−５３６８６８号公報
しかしながら、ライフログカメラをユーザが身に着けた状態において、定期的に自動撮影を行った場合、ユーザの好みでない映像が取得され、本当に得たい瞬間の映像を取得できない場合があった。
そこで、機械学習を用いてユーザの好みを学習させる方法が考えられるが、これは学習に用いる学習データによって、学習精度が左右される。撮像装置がユーザの手に渡った状態で、ユーザが精度の高い学習データのみを用意することは容易ではなく、誤った学習、あるいは、偏った学習を進めてしまうことも考えらえる。
また、ライフログカメラ以外でも、機械学習を用いて学習を行わせる撮影システムが存在する。例えば、工場では、機械学習を用いて、製品表面のキズや汚れを学習させ、搬送されてくる製品を撮影して、この製品の不良を判定する検査システムが知られている。
このような検査システムにおいても、学習データが特異な状況下で生成されたものに偏ってしまうと、偏った学習を進めてしまい、ユーザが所望する検査結果を得られなくなってしまうおそれがある。
本発明は上述した課題に鑑みてなされたものであり、その目的は、機械学習における学習の偏りを抑制する情報処理装置を提供することである。
本発明に係わる情報処理装置の一つの側面は、学習パラメータ基づいて画像の判定を行う判定器に、前記学習パラメータを設定あるいは送信し、前記判定器による判定結果に応じて自動撮影を行わせる制御手段を有し、前記制御手段は、第１の学習パラメータを設定あるいは送信した前記判定器の判定結果に応じた自動撮影の頻度が閾値より低い場合に、前記判定器に、前記第１の学習パラメータに代えて、第２の学習パラメータを、設定あるいは送信するものであって、前記第１の学習パラメータは、第１の学習データの群を用いて機械学習を行うことで得られた学習パラメータであり、前記第２の学習パラメータは、第２の学習データの群を用いて機械学習を行うことで得られた学習パラメータであり、前記第１の学習データの群は、前記第２の学習データの群を含み、かつ、前記第２の学習データの群には含まれていない学習データを含むものである。
本発明によれば、ユーザにとって好ましくない学習が進むことを抑制し、ユーザに好適な映像を撮像装置に撮像させることが可能な画像処理装置を提供することが可能となる。
撮像装置を模式的に示す図である。 撮像装置の構成を示す図である。 無線通信システムの構成を示す図である。 外部機器の構成を示す図である。 制御回路の動作を説明するフローチャートである。 自動撮影モード処理を説明するフローチャートである。 ニューラルネットワークを説明する図である。 画像の表示処理を説明するための図である。 学習モード判定を説明するフローチャートである。 学習モード処理を説明するフローチャートである。 学習戻しモード判定を説明するフローチャートである。 学習戻しモード処理を説明するフローチャートである。 学習データの表示処理を説明するための図である。
＜撮像装置の構成＞
図１は、第１の実施形態の撮像装置を模式的に示す図である。本発明は、デジタルカメラやデジタルビデオカメラの撮影に限らず、監視カメラ、Ｗｅｂカメラ、携帯電話などの撮影装置にも適用できる。本実施形態では、撮像装置そのものが機械学習を行う情報処理装置を兼ねている構成を前提として説明を行うが、撮像装置と別であって、撮像装置と通信可能な情報処理装置において撮像装置のための機械学習を行う構成としてもよい。
図１（ａ）に示す撮像装置１０１は、電源スイッチの操作を行うことができる操作部材（以後、電源ボタンというが、タッチパネルへのタップやフリック、スワイプなどの操作でもよい）などが設けられている。撮像を行う撮影レンズ群や撮像素子を含む筐体である鏡筒１０２は、撮像装置１０１に取り付けられ、鏡筒１０２を固定部１０３に対して回転駆動できる回転機構を設けている。チルト回転ユニット１０４は、鏡筒１０２を図１（ｂ）に示すピッチ方向に回転できるモーター駆動機構であり、パン回転ユニット１０５は、鏡筒１０２をヨー方向に回転できるモーター駆動機構である。よって、鏡筒１０２は、１軸以上の方向に回転可能である。なお、図１（ｂ）は、固定部１０３位置での軸定義である。角速度計１０６と加速度計１０７はともに、撮像装置１０１の固定部１０３に実装されている。そして、角速度計１０６や加速度計１０７に基づいて、撮像装置１０１の振動を検出し、チルト回転ユニットとパン回転ユニットを検出した揺れ角度に基づいて回転駆動する。これにより、可動部である鏡筒１０２の振れを補正したり、傾きを補正したりする構成となっている。
図２は、本実施形態の撮像装置の構成を示すブロック図である。図２において、制御回路２２１は、プロセッサ（例えば、ＣＰＵ、ＧＰＵ、マイクロプロセッサ、ＭＰＵなど）、メモリ（例えば、ＤＲＡＭ、ＳＲＡＭなど）からなる。これらは、各種処理を実行して撮像装置１０１の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。不揮発性メモリ（ＥＥＰＲＯＭ）２１４は、電気的に消去・記録可能なメモリであり、制御回路２２１の動作用の定数、プログラム等が記憶される。
図２において、ズームユニット２０１は、変倍を行うズームレンズを含む。ズーム駆動制御回路２０２は、ズームユニット２０１を駆動制御する。フォーカスユニット２０３は、ピント調整を行うレンズを含む。フォーカス駆動制御回路２０４は、フォーカスユニット２０３を駆動制御する。
撮像部２０６は、撮像素子とＡ／Ｄ変換器を備え、撮像素子が各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像データとして画像処理回路２０７に出力する。画像処理回路２０７は複数のＡＬＵ（Ａｒｉｔｈｍｅｔｉｃ ａｎｄ Ｌｏｇｉｃ Ｕｎｉｔ）を搭載した演算回路であり、Ａ／Ｄ変換により出力されたデジタル画像データに対して、歪曲補正やホワイトバランス調整や色補間処理等の画像処理を適用し、適用後のデジタル画像データを出力する。画像処理回路２０７から出力されたデジタル画像データは、画像記録回路２０８でＪＰＥＧ形式等の記録用フォーマットに変換し、メモリ２１３や後述する映像出力回路２１５に送信される。
鏡筒回転駆動回路２０５は、チルト回転ユニット１０４、パン回転ユニット１０５を駆動して鏡筒１０２をチルト方向とパン方向に駆動させる。
装置揺れ検出回路２０９は、例えば撮像装置１０１の３軸方向の角速度を検出する角速度計（ジャイロセンサ）１０６や、装置の３軸方向の加速度を検出する加速度計（加速度センサ）１０７が搭載される。装置揺れ検出回路２０９は、検出された信号に基づいて、装置の回転角度や装置のシフト量などが演算される。
音声入力回路２１１は、撮像装置１０１に設けられたマイクから撮像装置１０１周辺の音声信号を取得し、アナログデジタル変換をして音声処理回路２１２に送信する。音声処理回路２１２は、入力されたデジタル音声信号の適正化処理等の音声に関する処理を行う。そして、音声処理回路２１２で処理された音声信号は、制御回路２２１によりメモリ２１３に送信される。メモリ２１３は、画像処理回路２０７、音声処理回路２１２により得られた画像信号及び音声信号を一時的に記憶する。
画像処理回路２０７及び音声処理回路２１２は、メモリ２１３に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号を生成する。制御回路２２１は、これらの圧縮画像信号、圧縮音声信号を、記録再生回路２１８に送信する。
記録再生回路２１８は、記録媒体２１９に対して画像処理回路２０７及び音声処理回路２１２で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、制御回路２２１は、音声処理回路２１２により生成された音声信号と画像処理回路２０７により生成された圧縮画像信号とを、記録再生回路２１８に送信し記録媒体２１９に記録させる。
記録媒体２１９は、撮像装置１０１に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。記録媒体２１９は、撮像装置１０１で生成した圧縮画像信号、圧縮音声信号、音声信号などの各種データを記録することができ、不揮発性メモリ２１４よりも大容量な媒体が一般的に使用される。例えば、記録媒体２１９は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。
記録再生回路２１８は、記録媒体２１９に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す（再生する）。そして制御回路２２１は、読み出した圧縮画像信号及び圧縮音声信号を、画像処理回路２０７及び音声処理回路２１２に送信する。画像処理回路２０７及び音声処理回路２１２は、圧縮画像信号、圧縮音声信号を一時的にメモリ２１３に記憶させ、所定の手順で復号し、復号した信号を映像出力回路２１５、音声出力回路２１６に送信する。
音声入力回路２１１は撮像装置１０１に搭載された複数のマイクから音声信号を取得し、音声処理回路２１２は複数のマイクが設置された平面上の音の方向を検出することができ、後述する探索や自動撮影に用いられる。さらに、音声処理回路２１２では、特定の音声コマンドを検出する。音声コマンドは事前に登録された複数のコマンドの他、ユーザが特定音声を撮像装置に登録できる構成にしてもよい。また、音シーン認識も行う。音シーン認識では、予め大量の音声データを基に機械学習により学習させたネットワークにより音シーン判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出するためのネットワークが音声処理回路２１２に設定されている。そして、音声処理回路２１２は、特定音シーンや特定音声コマンドを検出すると、制御回路２２１に、検出トリガー信号を出力する構成になっている。電源回路２１０は、制御回路２２１を動作させるための電源を供給する。
音声出力回路２１６は、例えば撮影時などに撮像装置１０１に内蔵されたスピーカーから予め設定された音声パターンを出力する。ＬＥＤ制御回路２２２は、例えば撮影時などに撮像装置１０１に設けられたＬＥＤを予め設定された点灯点滅パターンで制御する。映像出力回路２１５は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。また、音声出力回路２１６、映像出力回路２１５は、結合された１つの端子、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子のような端子であってもよい。
通信回路２２０は、撮像装置１０１と外部装置との間で通信を行うもので、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮影開始や終了コマンド、パン・チルトやズーム駆動等の、撮影にかかわる制御信号を受信して、撮像装置１０１と相互通信可能な外部機器の指示から撮像装置１０１を駆動する。また、撮像装置１０１と外部装置との間で、後述する学習処理回路２１７で処理される学習にかかわる各種パラメータなどの情報を送信したり受信したりする。通信回路２２０は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ、ＧＰＳ（Ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）受信機等の無線通信モジュールである。
＜無線通信システムの構成＞
図３は、撮像装置１０１と外部機器３０１との無線通信システムの構成例を示す図である。撮像装置１０１は撮影機能を有するデジタルカメラであり、外部機器３０１はＢｌｕｅｔｏｏｔｈ通信モジュール、無線ＬＡＮ通信モジュールを含むスマートデバイスである。
撮像装置１０１と外部機器３０１は、例えばＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮによる通信装置３０２と、例えばＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（以下、「ＢＬＥ」と呼ぶ。）などの、制御局と従属局などの主従関係を有する通信装置３０３とによって通信可能である。なお、無線ＬＡＮ及びＢＬＥは通信手法の一例であり、各通信装置は、２つ以上の通信機能を有し、例えば制御局と従属局との関係の中で通信を行う一方の通信機能によって、他方の通信機能の制御を行うことが可能であれば、他の通信手法が用いられてもよい。ただし、一般性を失うことなく、無線ＬＡＮなどの第１の通信は、ＢＬＥなどの第２の通信より高速な通信が可能であり、また、第２の通信は、第１の通信よりも消費電力が少ないか通信可能距離が短いかの少なくともいずれかであるものとする。
外部機器３０１の構成を、図４を用いて説明する。外部機器３０１は、例えば、無線ＬＡＮ用の無線ＬＡＮ制御回路４０１、及び、ＢＬＥ用のＢＬＥ制御回路４０２に加え、公衆無線通信用の公衆回線制御回路４０６を有する。また、外部機器３０１は、パケット送受信回路４０３をさらに有する。無線ＬＡＮ制御回路４０１は、無線ＬＡＮのＲＦ制御、通信処理、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮによる通信の各種制御を行うドライバや無線ＬＡＮによる通信に関するプロトコル処理を行う。ＢＬＥ制御回路４０２は、ＢＬＥのＲＦ制御、通信処理、ＢＬＥによる通信の各種制御を行うドライバやＢＬＥによる通信に関するプロトコル処理を行う。公衆回線制御回路４０６は、公衆無線通信のＲＦ制御、通信処理、公衆無線通信の各種制御を行うドライバや公衆無線通信関連のプロトコル処理を行う。公衆無線通信は例えばＩＭＴ（ＩｎｔｅｒｎａｔｉｏｎａｌＭｕｌｔｉｍｅｄｉａ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ）規格やＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）規格などに準拠したものである。パケット送受信回路４０３は、無線ＬＡＮ並びにＢＬＥによる通信及び公衆無線通信に関するパケットの送信と受信との少なくともいずれかを実行するための処理を行う。なお、本例では、外部機器３０１は、通信においてパケットの送信と受信との少なくともいずれかを行うものとして説明するが、パケット交換以外に、例えば回線交換など、他の通信形式が用いられてもよい。
外部機器３０１は、例えば、制御回路４１１、記憶回路４０４、ＧＰＳ受信回路４０５、表示装置４０７、操作部材４０８、音声入力／処理回路４０９、電源回路４１０をさらに有する。制御回路４１１は、例えば、記憶回路４０４に記憶される制御プログラムを実行することにより、外部機器３０１全体を制御する。記憶回路４０４は、例えば制御回路４１１が実行する制御プログラムと、通信に必要なパラメータ等の各種情報とを記憶する。後述する各種動作は、記憶回路４０４に記憶された制御プログラムを制御回路４１１が実行することにより、実現される。
電源回路４１０は外部機器３０１に電源を供給する。表示装置４０７は、例えば、ＬＣＤやＬＥＤのように視覚で認知可能な情報の出力、又はスピーカー等の音出力が可能な機能を有し、各種情報の表示を行う。操作部材４０８は、例えばユーザによる外部機器３０１の操作を受け付けるボタン等である。なお、表示装置４０７及び操作部材４０８は、例えばタッチパネルなどの共通する部材によって構成されてもよい。
音声入力／処理回路４０９は、例えば外部機器３０１に内蔵された汎用的なマイクから、ユーザが発した音声を取得し、音声認識処理により、ユーザの操作命令を取得する構成にしてもよい。
また、外部機器３０１内の専用のアプリケーションを介して、ユーザの発音により音声コマンドを取得する。そして、無線ＬＡＮによる通信装置３０２を介して、撮像装置１０１の音声処理回路２１２に特定音声コマンド認識させるための特定音声コマンドとして登録することもできる。
ＧＰＳ受信回路４０５は、衛星から通知されるＧＰＳ信号を受信し、ＧＰＳ信号を解析し、外部機器３０１の現在位置（経度・緯度情報）を推定する。もしくは、位置推定は、ＷＰＳ（Ｗｉ−Ｆｉ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を利用して、周囲に存在する無線ネットワークの情報に基づいて、外部機器３０１の現在位置を推定するようにしてもよい。取得した現在のＧＰＳ位置情報が予め事前に設定されている位置範囲（所定半径の範囲以内）に位置している場合に、ＢＬＥ制御回路４０２を介して撮像装置１０１へ移動情報を通知し、後述する自動撮影や自動編集のためのパラメータとして使用する。また、ＧＰＳ位置情報に所定以上の位置変化があった場合に、ＢＬＥ制御回路４０２を介して撮像装置１０１へ移動情報を通知し、後述する自動撮影や自動編集のためのパラメータとして使用する。
上記のように外部機器３０１は、無線ＬＡＮ制御回路４０１、及び、ＢＬＥ制御回路４０２を用いた通信により、撮像装置１０１とデータのやりとりを行う。例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、外部機器３０１から撮像装置１０１の撮影などの操作指示であったり、音声コマンド登録データ送信や、ＧＰＳ位置情報に基づいた所定位置検出通知や場所移動通知を行う。また、外部機器３０１内の専用のアプリケーションを介しての学習用データの送受信も行う。
＜撮像動作のシーケンス＞
図５は、本実施形態における撮像装置１０１の制御回路２２１が受け持つ動作の例を説明するフローチャートである。
ユーザが撮像装置１０１に設けられた電源ボタンを操作すると、電源回路２１０が制御回路２２１及び撮像装置１０１の各ブロックに電源を供給する。電源が供給されると、図５の処理がスタートする。ステップＳ５０１（以下では、「ステップＳ」を単に「Ｓ」と省略する）では、起動条件の読み込みが行われる。本実施形態においては、電源ボタンが手動で押下されて電源起動をしてもよいし、外部機器（例えば３０１）から外部通信（例えばＢＬＥ通信）からの指示で電源起動してもよい。あるいは、ユーザが撮像装置１０１をタップしたことを検知して電源起動してもよいし、特定に音声コマンドが入力されたことを検知して電源起動してもよい。また、ここで読み込まれた起動条件は、被写体探索や自動撮影時の１つのパラメータ要素として用いられるが、後述して説明する。起動条件読み込みが終了するとＳ５０２に進む。
Ｓ５０２では、各種センサから情報の読み込みが行われる。ここで読み込まれる情報は、装置揺れ検出回路２０９に搭載されたジャイロセンサや加速度センサなどの振動検出するセンサにより検出された状態である。また、チルト回転ユニット１０４やパン回転ユニット１０５の回転位置であったりする。また、音声処理回路２１２にて検出される音声レベルや特定音声認識の検出トリガーや音方向検出だったりする。
また、図１乃至図４には図示していないが、環境情報を検出するセンサでも情報を取得する。例えば、所定の周期で撮像装置１０１の周辺の温度を検出する温度センサや、撮像装置１０１の周辺の気圧の変化を検出する気圧センサがある。また、撮像装置１０１の周辺の明るさを検出する照度センサや、撮像装置１０１の周辺の湿度を検出する湿度センサや、撮像装置１０１の周辺の紫外線量を検出するＵＶセンサ等を備えてもよい。検出した温度情報や気圧情報や明るさ情報や湿度情報やＵＶ情報に加え、検出した各種情報から所定時間間隔での変化率を算出した温度変化量や気圧変化量や明るさ変化量や湿度変化量や紫外線変化量などを後述する自動撮影などの判定に使用する。
Ｓ５０２で各種センサ読み込みが行われるとＳ５０３に進む。Ｓ５０３では、外部機器からの通信が指示されているかを検出し、通信指示があった場合、外部機器との通信を行う。例えば、外部機器３０１から、無線ＬＡＮやＢＬＥを介した、リモート操作であったり、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、外部機器３０１からの撮像装置１０１の撮影などの操作指示や、音声コマンド登録データ送信や、ＧＰＳ位置情報に基づいた所定位置検出通知や場所移動通知や学習用データの送受信の指示があるかどうかの読み込みを行う。
また、上述した環境情報を検出する各種センサは、撮像装置１０１に搭載してもよいが、外部機器３０１に搭載していてもよく、その場合、ＢＬＥを介した環境情報の読み込みも行う。Ｓ５０３で外部機器からの通信読み込みが行われると、Ｓ５０４に進む。
Ｓ５０４では、モード設定判定が行われる。Ｓ５０４で設定されるモードは、以下の内から判定され選ばれる。
（１）手動撮影モード
［モード判定条件］
外部機器３０１から手動撮影モードを設定するコマンドが送信されたことを検出した場合に、手動撮影モードに設定される。
［モード内処理］
手動撮影モード（Ｓ５０６）では、ユーザの入力内容に応じて、パン・チルトあるいはズームを駆動し、ユーザの撮影指示に応じて静止画の撮影をしたり、動画の記録を開始したりする。
（２）自動撮影モード
［モード判定条件］
後述する学習により設定された各検出情報（画像、音、時間、振動、場所、身体の変化、環境変化）や、自動撮影モードに移行してからの経過時間や、過去の撮影情報などから、自動撮影を行うべきと判定されると、自動撮影モードに設定される。
［モード内処理］
自動撮影モード処理（Ｓ５０８）では、判定器として機能する学習処理回路２１７が、各検出情報（画像、音、時間、振動、場所、体の変化、環境変化）に基づいて、パン・チルトやズームを駆動して被写体を自動探索する。そして、ユーザの好みの撮影が行えるタイミングであると判定されると、自動で撮影が行われる。なお、ユーザから撮影指示があった場合には、その指示に応じて撮影を行う。
（３）学習モード
［モード判定条件］
前回学習処理を行ってからの経過時間と、学習に使用することのできる画像に対応付けられた情報や学習データの数などから、学習を行うべきと判定されると、学習モードに設定される。または、外部機器３０１からの通信を介して学習パラメータを設定するように指示があった場合も本モードに設定される。
［モード内処理］
学習モード処理（Ｓ５１０）では、学習処理回路２１７はユーザの好みに合わせた学習を行う。外部機器３０１での各操作、外部機器３０１からの学習データ通知などの情報を基にニューラルネットワークを用いて、ユーザの好みに合わせた学習が行われる。外部機器３０１での各操作の情報としては、例えば、撮像装置からの画像取得情報、専用アプリケーションを介して手動による編集指示がされた情報、撮像装置内の画像に対してユーザが入力した判定値情報がある。
（４）学習戻しモード
［モード判定条件］
前回学習処理を行ってからの累積起動時間と、前回学習処理を行ってから自動撮影が実施された回数から、学習パラメータを戻すべきと判定されると、学習戻しモードに設定される。あるいは、外部機器３０１からの通信を介して学習パラメータを戻すように指示があった場合も本モードに設定される。
［モード内処理］
学習戻しモード処理（Ｓ５１２）では、判定器としての学習処理回路２１７に設定する学習パラメータを、前回学習処理において取得した学習パラメータに戻す。あるいは、学習データのうち、新たに取得した学習データを除外した残りの学習データを用いて再度学習処理を行うようにする。
なお、自動撮影モード処理、学習モード処理、および、学習戻しモード処理についての詳細は、後述する。
図５のＳ５０５ではＳ５０４でモード設定判定が手動撮影モードに設定されているかどうかを判定する。手動撮影モードであると判定されれば、Ｓ５０６に進み、手動撮影モード処理が行われる。手動撮影モード処理では、上述したようにユーザの入力内容に応じて撮像装置１０１を駆動する。処理が終了すると、Ｓ５０２に戻る。
一方、Ｓ５０５で手動撮影モードでないと判定されると、Ｓ５０７に進み、モード設定が自動撮影モードであるか否かを判定し、自動撮影モードであればＳ５０８に進み、自動撮影モード処理が行われる。処理が終了すると、Ｓ５０２に戻る。Ｓ５０７で、自動撮影モードでないと判定されると、Ｓ５０９に進む。
Ｓ５０９では、モード設定が学習モードであるか否かを判定し、学習モードであればＳ５１０に進み、学習モード処理が行われる。処理が終了すると、Ｓ５０２に戻り、処理を繰り返す。Ｓ５０９で、学習モードでないと判定されると、Ｓ５１１に進む。
Ｓ５１１では、モード設定が学習戻しモードであるか否かを判定し、学習戻しモードであればＳ５１２に進み、学習戻しモード処理が行われる。処理が終了すると、Ｓ５０２に戻り、処理を繰り返す。Ｓ５１１で、学習戻しモードでないと判定されると、Ｓ５０２に戻り、処理を繰り返す。
＜自動撮影モード処理＞
図６を用いて、図５のＳ５０８の自動撮影モード処理の詳細を説明する。前述したように、以下の処理は、本実施形態における撮像装置１０１の制御回路２２１が制御を受け持つ。
Ｓ６０１では、画像処理回路２０７に撮像部２０６で取り込まれた信号を画像処理させ、被写体認識用の画像を生成させる。生成された画像に対して、人物や物体認識などの被写体認識が行われる。
人物を認識する場合、被写体の顔や人体を検出する。顔検出処理では、人物の顔を判断するためのパターンが予め定められており、撮像された画像内に含まれる該パターンに一致する箇所を人物の顔画像として検出することができる。
また、被写体の顔としての確からしさを示す信頼度も同時に算出し、信頼度は、例えば画像内における顔領域の大きさや、顔パターンとの一致度等から算出される。
物体認識についても同様に、予め登録されたパターンに一致する物体を認識することができる。また、撮像された画像内の色相や彩度等のヒストグラムを使用する方法で特徴被写体を抽出する方法などもある。この場合、撮影画角内に捉えられている被写体の画像に関し、その色相や彩度等のヒストグラムから導出される分布を複数の区間に分け、区間ごとに撮像された画像を分類する処理が実行される。
例えば、撮像された画像について複数の色成分のヒストグラムが作成され、その山型の分布範囲で区分けし、同一の区間の組み合わせに属する領域にて撮像された画像が分類され、被写体の画像領域が認識される。
認識された被写体の画像領域ごとに評価値を算出することで、当該評価値が最も高い被写体の画像領域を主被写体領域として判定することができる。
以上の方法で、撮像情報から各被写体情報を得ることができる。
Ｓ６０２では、揺れ補正量の算出を行う。具体的には、まず、装置揺れ検出回路２０９において取得した角速度および加速度情報に基づいて撮像装置の絶対角度の算出を行う。そして、絶対角度を打ち消す角度方向にチルト回転機構１０４およびパン回転機構１０５を動かす防振角度を求め、揺れ補正量とする。
Ｓ６０３では、撮像装置の状態判定を行う。角速度情報や加速度情報やＧＰＳ位置情報などで検出した角度や移動量などにより、現在、撮像装置がどのような振動／動き状態なのかを判定する。例えば、車に撮像装置１０１を装着して撮影する場合、移動された距離によって大きく周りの風景などの被写体情報が変化する。
そのため、撮像装置１０１が車などに装着されて速い速度で移動している「乗り物移動状態」か否かを判定し、その結果を後に説明する自動被写体探索に使用することができる。
また、角度の変化が大きいか否かを判定し、撮像装置１０１が揺れ角度がほとんどない「置き撮り状態」であるのかを判定する。「置き撮り状態」である場合は、撮像装置１０１自体の角度変化はないと考えてよいので、置き撮り用の被写体探索を行うことができる。
また、比較的、角度変化が大きい場合は、「手持ち状態」と判定され、手持ち用の被写体探索を行うことができる。
Ｓ６０４では、被写体探索処理を行う。制御回路２２１は、撮像装置（原点Ｏが撮像装置位置とする。）位置を中心として、全周囲でエリア分割を行う。分割した各エリアについて、エリア内に存在する被写体やエリアのシーン状況に応じて、探索を行う優先順位を示す重要度レベルを算出する。被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する人物の数、人物の顔の大きさ、顔向き、顔検出の確からしさ、人物の表情、人物の個人認証結果に基づいて算出する。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判別結果（青空、逆光、夕景など）、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等に基づいて算出する。また、撮像装置の状態判定（Ｓ６０３）で、撮像装置の振動状態が検出されており、振動状態に応じても重要度レベルが変化するようにもすることができる。例えば、「置き撮り状態」と判定された場合、顔認証で登録されている中で優先度の高い被写体（例えば撮像装置のユーザである）を中心に被写体探索が行われるように、特定人物の顔認証を検出すると重要度レベルが高くなるように判定される。また、後述する自動撮影も上記顔を優先して行われることになり、撮像装置のユーザが撮像装置を身に着けて持ち歩き撮影を行っている時間が多くても、撮像装置を取り外して机の上などに置くことで、ユーザが写った画像も多く残すことができる。このときパン・チルトにより探索可能であることから、撮像装置の置き角度などを考えなくても、適当に設置するだけでユーザが写った画像やたくさんの顔が写った集合写真などを残すことができる。なお、上記条件だけでは、各エリアに変化がない限りは、最も重要度レベルが高いエリアが同じとなり、その結果探索されるエリアがずっと変わらないことになってしまう。そこで、過去の撮影情報に応じて重要度レベルを変化させる。具体的には、所定時間継続して探索エリアに指定され続けたエリアは重要度レベルを下げたり、後述するＳ６１０にて撮影を行ったエリアでは、所定時間の間重要度レベルを下げたりしてもよい。
前記のように各エリアの重要度レベルが算出されたら、重要度レベルが高いエリアを探索対象エリアとして決定する。そして、探索対象エリアを画角に捉えるために必要なパン・チルト探索目標角度を算出する。
Ｓ６０５では、パン・チルト駆動を行う。具体的には、像振れ補正量とパン・チルト探索目標角度に基づいた制御サンプリングでの駆動角度を加算することで、パン・チルト駆動量を算出し、鏡筒回転駆動回路２０５によって、チルト回転ユニット１０４、パン回転ユニット１０５をそれぞれ駆動制御する。
Ｓ６０６ではズームユニット２０１を制御しズーム駆動を行う。具体的には、Ｓ６０４で決定した探索対象被写体の状態に応じてズームを駆動させる。例えば、探索対象被写体が人物の顔であるとき、画像上の顔が小さすぎると検出可能な最小サイズを下回ることで検出ができず、見失ってしまう恐れがある。そのような場合は、望遠側にズームすることで画像上の顔のサイズが大きくなるように制御する。一方で、画像上の顔が大きすぎる場合、被写体や撮像装置自体の動きによって被写体が画角から外れやすくなってしまう。そのような場合は、広角側にズームすることで、画面上の顔のサイズが小さくなるように制御する。このようにズーム制御を行うことで、被写体を追跡するのに適した状態を保つことができる。
Ｓ６０４乃至Ｓ６０６では、パン・チルトやズーム駆動により被写体探索を行う方法を説明したが、広角なレンズを複数使用して全方位を一度に撮影する撮像システムで被写体探索を行ってもよい。全方位カメラの場合、撮像によって得られる信号すべてを入力画像として、被写体検出などの画像処理を行うと膨大な処理が必要となる。そこで、画像の一部を切り出して、切り出した画像範囲の中で被写体の探索処理を行う構成にする。上述した方法と同様にエリア毎の重要度レベルを算出し、重要度レベルに基づいて切り出し位置を変更し、後述する自動撮影の判定を行う。これにより画像処理による消費電力の低減や高速な被写体探索が可能となる。
Ｓ６０７では、自動撮影モードが設定されている中で、ユーザ（手動）による撮影指示があったがどうかを判定し、撮影指示があった場合、Ｓ６１０に進む。この時、ユーザ（手動）による撮影指示は、シャッターボタン押下によるものや、撮像装置の筺体を指等で軽く叩く（タップ）、音声コマンド入力、外部機器からの指示などによってもよい。タップ操作による撮影指示は、ユーザが撮像装置の筺体をタップした際、装置揺れ検出回路２０９によって短期間に連続した高周波の加速度を検知し、撮影のトリガーとする撮影指示方法である。音声コマンド入力は、ユーザが所定の撮影を指示する合言葉（例えば「写真とって」等）を発声した場合、音声処理回路２１２で音声を認識し、撮影のトリガーとする撮影指示方法である。外部機器からの指示は、例えば撮像装置とＢｌｕｅＴｏｏｔｈ接続したスマートフォン等から、専用のアプリケーションを介して送信されたシャッター指示信号をトリガーとする撮影指示方法である。
Ｓ６０７で撮影指示がなかった場合、Ｓ６０８に進み、学習処理回路２１７が自動撮影判定を行う。自動撮影判定では、自動撮影を行うかどうかの判定を行う。
自動撮影を行うかどうかの判定は、機械学習の１つであるニューラルネットワークに基づく判定である。ニューラルネットワークの一例として、多層パーセプトロンによるネットワークの例を図７に示す。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値と、その入力に対して模範となる出力値とを学習しておくことで、新たな入力値に対して、学習した模範に倣った出力値を推定することができる。なお、学習の方法は後述する。図７の７０１およびその縦に並ぶ丸は入力層のニューロンであり、７０３およびその縦に並ぶ丸は中間層のニューロンであり、７０４は出力層のニューロンである。７０２のような矢印は各ニューロンを繋ぐ結合を示している。ニューラルネットワークに基づく判定では、入力層のニューロンに対して、現在の画角中に写る被写体や、シーンや撮像装置の状態に基づいた特徴量を入力として与え、多層パーセプトロンの順伝播則に基づく演算を経て出力層から出力された値を得る。そして、出力の値が閾値以上であれば、自動撮影を実施する判定を下す。なお、被写体の特徴は、現在のズーム倍率、現在の画角における一般物体認識結果、顔検出結果、現在画角に写る顔の数、顔の笑顔度・目瞑り度、顔角度、顔認証ＩＤ番号、被写体人物の視線角度、シーン判別結果、特定の構図の検出結果等を使用する。また、前回撮影時からの経過時間、現在時刻、ＧＰＳ位置情報および前回撮影位置からの変化量、現在の音声レベル、声を発している人物、拍手、歓声が上がっているか否か等を使用してもよい。また、振動情報（加速度情報、撮像装置の状態）、環境情報（温度、気圧、照度、湿度、紫外線量）等を使用してもよい。この特徴を所定の範囲の数値に変換し、特徴量として入力層の各ニューロンに与える。そのため、入力層の各ニューロンは上記使用する特徴量の数だけ必要となる。
なお、このニューラルネットワークに基づく判断は、後述する学習処理によって、各ニューロン間の結合重みを変化させることによって、出力値が変化し、判断の結果を学習結果に適応させることができる。
また、図５のＳ５０１で読み込んだ起動条件によって、自動撮影される判定も変化する。例えば、タップ検出による起動や特定音声コマンドによる起動の場合は、ユーザが現在撮影してほしいための操作である可能性が非常に高い。そこで、撮影頻度が多くなるように設定されるようになる。
Ｓ６０９では、Ｓ６０８の自動撮影判定により撮影する判定が下された場合、Ｓ６１０に進み、下されなかった場合、撮影モード処理を終了し、図５のＳ５０２に進む。
Ｓ６１０では、撮影を開始する。この時、手動撮影であれば静止画の撮影、あるいは、ユーザが手動で設定した撮影方法で撮影を行い、自動撮影であればＳ６０８にて判定されたタイミングで撮影を開始する。その際、フォーカス駆動制御回路２０４によるオートフォーカス制御を行う。また、不図示の絞り制御回路およびセンサゲイン制御回路、シャッター制御回路を用いて、被写体が適切な明るさになるような露出制御を行う。さらに、撮影後には画像処理回路２０７において、オートホワイトバランス処理、ノイズリダクション処理、ガンマ補正処理等、種々の画像処理を行い、画像を生成する。
なお、この撮影の際に、所定の条件を満たした時、撮像装置が撮影対象となる人物に対し撮影を行う旨を報知した上で撮影する手段を取ってもよい。報知の方法は、例えば、音声出力回路２１６からの音声やＬＥＤ制御回路２２２によるＬＥＤ点灯光を使用してもよいし、パン・チルトを駆動することにより視覚的に被写体の視線を誘導するモーション動作をしてもよい。所定の条件は、例えば、画角内における顔の数、顔の笑顔度・目瞑り度、被写体人物の視線角度や顔角度、顔認証ＩＤ番号、個人認証登録されている人物の数等である。また、撮影時の一般物体認識結果、シーン判別結果、前回撮影時からの経過時間、撮影時刻、ＧＰＳ情報に基づく現在位置が景勝地であるか否か、撮影時の音声レベル、声を発している人物の有無、拍手、歓声が上がっているか否か等である。また、振動情報（加速度情報、撮像装置の状態）、環境情報（温度、気圧、照度、湿度、紫外線量）等である。これらの条件に基づき報知撮影を行うことによって、重要性が高いシーンにおいてカメラ目線の好ましい画像を残すことができる。
また、所定の条件を複数もち、各条件に応じて音声を変更したり、ＬＥＤの点灯方法（色や点滅時間など）を変更したり、パン・チルトのモーション方法（動き方や駆動速度）を変更してもよい。
Ｓ６１１では、Ｓ６１０にて生成した画像を加工したり、動画に追加したりといった編集処理を行う。画像加工については、具体的には、人物の顔や合焦位置に基づいたトリミング処理、画像の回転処理、ＨＤＲ（ハイダイナミックレンジ）効果、ボケ効果、色変換フィルタ効果などである。画像加工は、Ｓ６１０にて生成した画像を元に、上記の処理の組み合わせによって複数生成し、前記Ｓ６１０にて生成した画像とは別に保存するとしてもよい。また、動画処理については、撮影した動画または静止画を、生成済みの編集動画にスライド、ズーム、フェードの特殊効果処理をつけながら追加するといった処理をしてもよい。Ｓ６１１での編集についても、撮影画像の情報、或いは撮影前に検出した各種情報をニューラルネットワークに基づく判断によって、画像加工の方法を判定することもできるし、この判定処理は、後述する学習処理によって、判定条件を変更することができる。
Ｓ６１２では撮影画像から学習データを生成する処理を行う。ここでは、後述する学習処理に使用する情報を生成し、記録する。具体的には、今回の撮影画像における、撮影時のズーム倍率、撮影時の一般物体認識結果、顔検出結果、撮影画像に写る顔の数、顔の笑顔度・目瞑り度、顔角度、顔認証ＩＤ番号、被写体人物の視線角度等である。また、シーン判別結果、前回撮影時からの経過時間、撮影時刻、ＧＰＳ位置情報および前回撮影位置からの変化量、撮影時の音声レベル、声を発している人物、拍手、歓声が上がっているか否か等である。また、振動情報（加速度情報、撮像装置の状態）、環境情報（温度、気圧、照度、湿度、紫外線量）、動画撮影時間、手動撮影指示によるものか否か、等である。更にユーザの画像の好みを数値化したニューラルネットワークの出力であるスコアも演算する。
これらの情報を生成し、撮影画像ファイルへタグ情報として記録する。あるいは、不揮発性メモリ２１４へ書き込むか、記録媒体２１９内に、所謂カタログデータとして各々の撮影画像の情報をリスト化した形式で保存する、としてもよい。
Ｓ６１３では過去撮影情報の更新を行う。具体的には、Ｓ６０８の説明で述べたエリア毎の撮影枚数や、個人認証登録された人物毎の撮影枚数、一般物体認識で認識された被写体毎の撮影枚数、シーン判別のシーン毎の撮影枚数について、今回撮影された画像が該当する枚数のカウントを１つ増やす。
＜学習モード処理＞
次に、本実施形態におけるユーザの好みに合わせた学習について説明する。
本実施形態では、図７に示すようなニューラルネットワークを用い、機械学習アルゴリズムを使用して、学習処理回路２１７にてユーザの好みに合わせた学習を行う。学習処理回路２１７は、例えば、ＮＶＩＤＩＡ社のＪｅｔｓｏｎ ＴＸ２を用いる。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値の実績値と出力値の実績値を学習しておくことで、新たな入力値に対して、出力値を推定することができる。ニューラルネットワークを用いることにより、前述の自動撮影や被写体探索に対して、ユーザの好みに合わせた学習を行う。なお、本実施形態では、学習処理回路２１７が、機械学習と、機械学習を行うことで得られた学習パラメータを用いた判定処理の両方を行う構成としているが、これに限られるものではない。例えば、機械学習は外部の別の装置で行い、その別の装置で生成された学習パラメータを受信して、学習処理回路２１７に判定させるようにしてもよい。
また、ニューラルネットワークに入力する特徴データともなる被写体情報（顔認証や一般物体認識などから得られる）を登録することも行う。
本実施形態における自動撮影に対する学習について説明する。自動撮影では、ユーザの好みに合った画像の撮影を自動で行うための学習を行う。図６のフローを用いて説明したように、撮影後（Ｓ６１２）に学習データを生成する処理が行われている。後述する方法により学習させる画像を選択させ、画像に含まれる学習データを基に、ニューラルネットワークのニューロン間の結合重みを変化させることで学習する。
次に、学習方法について説明する。学習方法としては、「撮像装置内の学習」と「通信機器との連携による学習」がある。撮像装置内学習の方法について、以下説明する。
本実施形態における撮像装置内学習は、以下の方法がある。
（１）ユーザによる撮影指示時の検出情報による学習
図６のＳ６０７乃至Ｓ６１３で説明したとおり、本実施形態においては、撮像装置１０１は、手動撮影と自動撮影の２つの撮影を行うことができる。Ｓ６０７で手動操作による撮影指示（上記説明したとおり、３つの判定に基づいて行う。）があった場合は、Ｓ６１２において、撮影画像は手動で撮影された画像であるとの情報が付加される。また、Ｓ６０９にて自動撮影ＯＮと判定されて撮影された場合においては、Ｓ６１２において、撮影画像は自動で撮影された画像であると情報が付加される。また、Ｓ５０６の手動撮影モードで撮影した画像に対しても、手動で撮影された画像であるとの情報が付加される。
ここで手動撮影される場合、ユーザの好みの被写体、好みのシーン、好みの場所や時間間隔を基に撮影された可能性が非常に高い。よって、手動撮影時に得られた各特徴データや撮影画像の学習データを基とした学習が行われるようにする。
また、手動撮影時の検出情報から、撮影画像における特徴量の抽出や個人認証の登録、個人ごとの表情の登録、人の組み合わせの登録に関して学習を行う。また、被写体探索時の検出情報からは、例えば、個人登録された被写体の表情から、近くの人や物体の重要度を変更するような学習を行う。
次に、本実施形態における外部通信機器との連携による学習を説明する。本実施形態における外部通信機器との連携による学習には、以下の方法がある。
（２）外部通信機器で画像を取得したことによる学習
図３で説明したとおり、撮像装置１０１と外部機器３０１は、通信装置３０２、３０３の通信手段を有している。主に通信装置３０２によって画像の送受信が行われ、外部機器３０１内の専用のアプリケーションを介して、撮像装置１０１内の画像を外部機器３０１に通信取得することができる。また、撮像装置１０１内の保存されている画像データのサムネイル画像を外部機器３０１内の専用のアプリケーションを介して、閲覧可能な構成である。これにより、ユーザはサムネイル画像の中から、自分が気に入った画像を選択して、画像確認し、画像取得指示を操作することで外部機器３０１に画像取得できる。
このとき、ユーザが画像を選んで送信指示し取得しているので、取得された画像はユーザの好みの画像である可能性が非常に高い。よって取得された画像は、学習すべき画像であると判定し、取得された画像から図６のＳ６１２と同様に学習データを生成し、この学習データを基に学習することでユーザの好みの各種学習を行うことができる。
操作例を説明する。スマートデバイスである外部機器３０１の専用のアプリケーションを介して、撮像装置１０１内の画像を閲覧している例を図８に示す。表示装置４０７に撮像装置内に保存されている画像データのサムネイル画像（８０４乃至８０９）を表示してあり、ユーザは自分が気に入った画像を選択し画像取得を行える。このとき、表示方法を変更する表示方法変更部（８０１、８０２、８０３）が設けられている。８０１を押下すると表示順序が日時優先表示モードに変更され、撮像装置１０１内画像の撮影日時の順番で表示装置４０７に画像が表示される。（例えば、８０４は日時が新しく、８０９が日時は古いように表示される。）８０２を押下するとおすすめ画像優先表示モードに変更される。図６のＳ６１２で演算した各画像に対してユーザの好みを判定したスコアに基づいて、撮像装置１０１内画像のスコアの高い順番で表示装置４０７に画像が表示される。（例えば、８０４はスコアが高く、８０９がスコアは低いように表示される。）８０３を押下すると人物や物体被写体を指定でき、続いて特定の人物や物体被写体を指定すると特定の被写体のみを表示することもできる。
８０１乃至８０３は同時に設定をＯＮすることもでき、例えばすべての設定がＯＮされている場合、指定された被写体のみを表示し、且つ、撮影日時が新しい画像が優先され、且つ、スコアの高い画像が優先され、表示されることになる。
このように、撮影画像に対してもユーザの好みを学習しているため、撮影された大量の画像の中から簡単な確認作業でユーザの好みの画像のみを簡単に抽出することが可能である。
（３）外部通信機器を介して、画像に判定値を入力することによる学習
上記で説明したとおり、撮像装置１０１と外部機器３０１は、通信手段を有しており、撮像装置１０１内の保存されている画像を外部機器３０１内の専用のアプリケーションを介して、閲覧可能な構成である。ここで、ユーザは、各画像に対して点数付を行う構成にしてもよい。ユーザが好みと思った画像に対して高い点数（例えば５点）を付けたり、好みでないと思った画像に対して低い点数（例えば１点）を付けることができ、ユーザの操作によって、撮像装置が学習していくような構成にする。各画像の点数は、撮像装置内で学習データと共に再学習に使用する。指定した画像情報からの特徴データを入力にした、ニューラルネットワークの出力がユーザが指定した点数に近づくように学習される。
本実施形態では、外部機器３０１を介して、撮影済み画像にユーザが判定値を入力する構成にしたが、撮像装置１０１を操作して、直接、画像に判定値を入力する構成にしてもよい。その場合、例えば、撮像装置１０１にタッチパネルディスプレイを設け、タッチパネルディスプレイに表示されたＧＵＩボタンをユーザが押下して、撮影済み画像を表示するモードに設定する。そして、ユーザは撮影済み画像を確認しながら、各画像に判定値を入力するなどの方法により、同様の学習を行うことができる。
（４）外部通信機器で、パラメータを変更することによる学習
上記で説明したとおり、撮像装置１０１と外部機器３０１は、通信手段を有しており、撮像装置１０１内に現在設定されている学習パラメータを外部機器３０１に通信し、外部機器３０１の記憶回路４０４に保存することができる。学習パラメータとしては、例えば、ニューラルネットワークのニューロン間の結合重みや、ニューラルネットワークに入力する被写体の選択などが考えられる。また、外部機器３０１内の専用のアプリケーションを介して、専用のサーバにセットされた学習パラメータを公衆回線制御回路４０６を介して取得して、撮像装置１０１内の学習パラメータに設定することもできる構成とする。これにより、ある時点でのパラメータを外部機器３０１に保存しておいて、撮像装置１０１に設定することで学習パラメータを戻すこともできるし、他のユーザが持つ学習パラメータを専用のサーバを介して取得し自身の撮像装置１０１に設定することもできる。
次に、学習処理シーケンスについて説明する。図５のＳ５０４のモード設定判定にて、学習処理を行うべきか否かを判定し、学習処理を行う場合、学習モードであると判定され、Ｓ５１０の学習モード処理を行う。
学習モードの判定条件を説明する。学習モードに移行するか否かは、前回学習処理を行ってからの経過時間と、学習に使用できる情報の数、通信機器を介して学習処理指示があったかなどから判定される。Ｓ５０４のモード設定判定処理内で判定される、学習モードに移行すべきか否かの判定処理フローを図９に示す。
Ｓ５０４のモード設定判定処理内で学習モード判定が開始指示されると、図９の処理がスタートする。Ｓ９０１では外部機器からの学習指示があるかどうかを判定する。ここでの学習指示は＜通信機器で、撮像装置パラメータを変更することによる学習＞のように、学習パラメータをセットする指示があったかどうかの判定である。Ｓ９０１で、外部機器からの学習指示があった場合、Ｓ９０７に進み、学習モード判定をＴＲＵＥにして、Ｓ５１０の処理を行うように設定し、学習モード判定処理を終了する。Ｓ９０１で外部機器からの学習指示がない場合、Ｓ９０２に進む。
Ｓ９０２では、前回学習モード処理が行われてからの経過時間ＴｉｍｅＮを取得し、Ｓ９０３に進む。Ｓ９０３では、学習する新規のデータ数ＤＮ（前回学習処理が行われてからの経過時間ＴｉｍｅＮの間で、学習するように指定された画像の数）を取得し、Ｓ９０４に進む。Ｓ９０４では、ＴｉｍｅＮから閾値ＤＴを演算する。ＴｉｍｅＮから閾値ＤＴを得るためのテーブルを用意しておいてもよい。例えば、ＴｉｍｅＮが所定値よりも小さい場合の閾値ＤＴａが、所定値よりも大きい場合の閾値ＤＴｂよりも大きく設定されており、時間経過によって、閾値が小さくなるように設定してある。これにより、学習データが少ない場合においても、時間経過が大きいと再度学習するようにすることで、使用時間に応じて撮像装置が学習変化し易いようにしてある。なお、学習モード処理が行われてから暫くの期間は学習モードに移行しないように、閾値ＤＴを０にするとよい。
Ｓ９０４で閾値ＤＴを演算すると、Ｓ９０５に進み、学習するデータ数ＤＮが、閾値ＤＴ以上であるか否かを判定する。ＤＮが、閾値ＤＴ以上である場合、Ｓ９０６に進み、ＤＮを０に設定した後、Ｓ９０７に進み、学習モード判定をＴＲＵＥにして、Ｓ５１０の処理を行うように設定し、学習モード判定処理を終了する。
Ｓ９０５でＤＮが、閾値ＤＴ未満の場合、Ｓ９０８に進む。外部機器からの登録指示も、外部機器からの学習指示もなく、且つ学習データの数も所定値未満であるので、学習モード判定をＦＡＬＳＥにし、Ｓ５１０の処理は行わないように設定し、学習モード判定処理を終了する。
次に、学習モード処理（Ｓ５１０）内の処理について説明する。学習モード処理の詳細なフローを図１０に示す。
図５のＳ５０９で学習モードと判定され、Ｓ５１０に進むと、図１０の処理がスタートする。Ｓ１００１では、外部機器３０１からの学習パラメータの設定指示があるかどうかを判定する。外部機器から学習パラメータの設定指示があった場合、Ｓ１０１２に進み、外部機器から通信された学習パラメータを各判定器（ニューラルネットワークのニューロン間の結合重みなど）に設定し、Ｓ１０１３に進む。
Ｓ１００１で外部機器からの学習パラメータの設定指示がない場合、Ｓ１００２に進む。Ｓ１００２では、これまで取得した学習データを取得したタイミングが古いものから順にソートする。この学習データは、手動で撮影された画像であるとの情報が付加された撮影画像から生成された学習データ、外部通信機器で取得した画像から生成された学習データ、外部通信機器を介して判定値が入力された撮影画像から生成された学習データを含む。なお、学習データを取得したタイミングの代わりに、それぞれの画像が撮影された順にソートするようにしてもよい。
Ｓ１００３では、基準回数の初期値を設定する。この基準回数は、学習データを用いて学習を行った回数を示すものであり、本実施形態では２５０、５００、７５０、１０００、・・・と２５０単位で設定される値であるものとする。このＳ１００３では、基準回数として、最も小さな値である２５０を設定する。
Ｓ１００４では、Ｓ１００２でソートされた順に従って１つの学習データを選択し、機械学習を行う。誤差逆伝搬法或いは、勾配降下法などの方法を使って学習させ、ニューラルネットワークのニューロン間の結合重みを再計算して、各判定器のパラメータを変更する。学習データを生成した画像に対してユーザが点数を付けていれば、その点数を加味した学習を行う。
Ｓ１００５では、学習回数をインクリメントする。学習モード処理を開始する時点で、学習回数の初期値は０に設定されているものとする。
Ｓ１００６では、学習に用いた学習データが、Ｓ１００２でソートされた学習データのうちの最後の学習データであるかを判定する。最後の学習データでなければＳ１００７に進む。
Ｓ１００７では、学習回数が基準回数に達したかを判定し、達していなければＳ１００４に戻り、達していればＳ１００８に進む。
Ｓ１００８では、学習回数が基準回数に達した時点で生成されている学習パラメータを、基準回数に対応付けて不揮発性メモリ２１４に記憶する。学習回数が２５０、５００、７５０、および、１０００のそれぞれに達するたびに、それぞれの学習回数に対応付けられた学習パラメータが記憶される。
Ｓ１００９では、基準回数を次に小さな値に更新する。本実施形態では、５００、７５０、１０００の順に更新し、Ｓ１００４に戻る。
Ｓ１００６に戻り、学習に用いた学習データが、Ｓ１００２でソートされた学習データのうちの最後の学習データであれば、Ｓ１０１０に進む。
Ｓ１０１０では、最後の学習データを用いて学習した時点で生成された学習パラメータを、最新の学習パラメータとして、Ｓ１００８において学習回数に紐づけられた学習パラメータとは別に、不揮発性メモリ２１４に記憶する。つまり、学習データの数が９００であった場合には、Ｓ１００８で基準回数２５０、５００、および、７５０に対応付けられた学習パラメータが不揮発性メモリ２１４に記憶される。さらに、Ｓ１０１０で、９００の学習データを用いて生成された学習パラメータが不揮発性メモリ２１４に記憶されることになる。
Ｓ１０１１では、Ｓ１０１０で記憶した最新の学習パラメータを各判定器（ニューラルネットワークのニューロン間の結合重みなど）に設定し、Ｓ１０１３に進む。
Ｓ１０１３では、記録媒体２１９内の画像に対してスコアを付け直す。本実施形態においては、新たな学習結果に基づいて記録媒体２１９内に保存されているすべての撮影画像にスコアを付けておき、付けられたスコアに応じて、自動編集や自動ファイル削除を行う構成となっている。よって、再学習や外部機器からの学習パラメータのセットが行われた場合には、撮影済み画像のスコアも更新を行う必要がある。よって、Ｓ１０１３では、記録媒体２１９内に保存されている撮影画像に対して新たなスコアを付ける再計算が行われ、処理が終了すると学習モード処理を終了する。なお、新たなスコアを付ける再計算は、ユーザの指示に応じて行うようにしてもよい。
本実施形態においては、撮像装置１０１内で、学習する構成を基に説明したが、外部機器３０１側に学習機能を持たせ、学習に必要なデータを外部機器３０１に通信し、外部機器側でのみ学習を実行する構成でも同様の学習効果を実現可能である。その場合、上記＜通信機器で、パラメータを変更することによる学習＞で説明したように、外部機器側で学習したニューラルネットワークのニューロン間の結合重みなどのパラメータを撮像装置１０１に通信により設定することで学習を行う構成にしてもよい。
また、撮像装置１０１内と、外部機器３０１内の両方に、それぞれ学習機能をもつ構成にしてもよい。例えば撮像装置１０１内で学習モード処理Ｓ５１０が行われるタイミングで外部機器３０１が持つ学習データを撮像装置１０１に通信し、学習パラメータをマージすることで学習を行う構成にしてもよい。
次に、学習戻しモードの判定条件を説明する。学習戻しモードに移行するか否かは、前回学習モード処理を行ってからの累積起動時間と、その間に自動的に撮影を行った画像枚数、通信機器を介して学習戻し処理指示があったかなどから判定される。Ｓ５０４のモード設定判定処理内で判定される、学習戻しモードに移行すべきか否かの判定処理フローを図１１に示す。
Ｓ５０４のモード設定判定処理内で学習戻しモード判定が開始指示されると、図１１の処理がスタートする。Ｓ１１０１では、外部機器からの学習戻し指示があるかどうかを判定する。ここでの学習戻し指示は学習パラメータを過去のものにセットし直す指示があったかどうかの判定である。Ｓ１１０１で、外部機器から学習を戻すよう指示があった場合、Ｓ１１０６に進み、学習戻しモード判定をＴＲＵＥにして、Ｓ５１２の処理を行うように設定し、学習戻しモード判定処理を終了する。Ｓ１１０１で外部機器からの学習戻し指示がない場合、Ｓ１１０２に進む。
Ｓ１１０２では、前回、学習モード処理または学習戻しモード処理が行われてからの累積起動時間ＴｉｍｅＮ２を取得し、Ｓ１１０３に進む。Ｓ１１０３では、前回学習処理または学習戻しモード処理が行われてからの自動撮影枚数ＳＮを取得し、Ｓ１１０４に進む。Ｓ１１０４では、ＴｉｍｅＮ２から閾値ＳＴを演算する。ＴｉｍｅＮ２から閾値ＳＴを得るためのテーブルを用意してもよい。例えば、ＴｉｍｅＮ２が所定値よりも小さい場合の閾値ＳＴａが、所定値よりも大きい場合の閾値ＳＴｂよりも大きく設定されており、時間経過によって、閾値が小さくなるように設定してある。これにより、累積起動時間に対して撮影枚数が少ない場合、そのときに用いている学習パラメータがユーザに適したものになっていないと判断し、学習パラメータを過去のものに戻すようにしてある。なお、学習モード処理あるいは学習戻しモード処理が行われてから暫くの期間は、学習戻しモードに移行しないように、閾値ＳＴを０にするとよい。
Ｓ１１０４で閾値ＳＴを演算すると、Ｓ１１０５に進み、自動撮影枚数ＳＮが、閾値ＳＴより小さいか否かを判定する。ＳＮが、閾値ＳＴよりも小さい場合、Ｓ１１０６に進み、学習戻しモード判定をＴＲＵＥにして、Ｓ５１２の処理を行うように設定し、学習戻しモード判定処理を終了する。また、Ｓ１１０５で、ＳＮが閾値ＳＴ以上である場合、Ｓ１１０７に進み、学習戻しモード判定をＦＡＬＳＥにし、学習戻しモード判定処理を終了する。
なお、この図１１に示す判定処理フローは一つの例であって、自動撮影がユーザの好みに合っていないことを検出できるのであれば、他の方法で判定してもよい。例えば、自動撮影によって得られた画像に対してユーザが入力した点数のうち、所定の点数に満たないものが、ユーザが点数を入力した画像に対して所定の割合以上ある場合に、学習戻しモードに移行すると判定するようにしてもよい。あるいは、自動撮影によって得られた画像に対して、所定のラインに達しない点数が所定回数だけ入力された場合に、学習戻しモードに移行すると判定するようにしてもよい。
次に、学習戻しモード処理（Ｓ５１２）内の処理について説明する。学習戻しモード処理の詳細なフローを図１２に示す。
図５のＳ５１１で学習戻しモードと判定され、Ｓ５１２に進むと、図１２の処理がスタートする。Ｓ１２０１では、外部機器３０１からの学習戻し指示があるかどうかを判定する。
外部機器３０１を用いた学習戻し指示の操作例を説明する。スマートデバイスである外部機器３０１の専用のアプリケーションを介して、撮像装置１０１内に記憶してある複数の学習パラメータを表示している例を図１３に示す。図１３では、表示装置４０７が撮像装置内に保存されている学習パラメータ（１３０１乃至１３０３）を表示しており、ユーザは任意の学習パラメータを選択し、撮像装置１０１に設定することができる。ここでは、基準回数毎の学習パラメータを区別して選択できるようにすればよい。あるいは、ユーザに分かりやすくするために、ユーザは学習パラメータを作成した日付のみを選択し、その日付を含み、かつ、最も大きい基準回数に対応する学習パラメータを自動で選択するようにしても良い。
外部機器からの学習戻し指示があった場合、Ｓ１２０３に進み、外部機器から通信された学習パラメータを各判定器（ニューラルネットワークのニューロン間の結合重みなど）に設定する。Ｓ１２０１で外部機器からの学習戻し指示がない場合は、Ｓ１２０２に進み、学習パラメータの選択を行う。
Ｓ１２０２の学習パラメータを選択する方法としては、例えば、図１１のＳ１１０３で取得した自動撮影枚数ＳＮと、Ｓ１１０４で算出した閾値ＳＴを比較した結果に基づく方法がある。例えば、閾値ＳＴに対して所定割合、例えば８割に相当する値を基準値とし、自動撮影枚数ＳＮが基準値以上である場合は、その学習パラメータを得るために用いた学習データには、信用できる学習データも多く含まれていると判断できる。そのため、前回の学習モード処理において、図１０のＳ１００８で記憶した基準回数に対応する学習パラメータのいずれかを選択し直して、各判定器のパラメータを変更する。具体的には、９００の学習データを用いて得られた学習パラメータを設定した状態で、図１２のＳ１２０２に進んだのであれば、最も大きな基準回数に対応する７５０に対応する学習パラメータを選択する。さらに、基準回数７５０に対応する学習パラメータを設定した状態で、図１２のＳ１２０２に進んだのであれば、次に大きな基準回数に対応する５００に対応する学習パラメータを選択する。
これに対し、自動撮影枚数ＳＮが基準値未満である場合は、前回の学習モード処理で得た基準回数に対応する学習パラメータのいずれも選択せずに、前回の学習モード処理よりも、さらに前の学習モード処理で生成した学習パラメータに戻すようにする。これは、自動撮影枚数ＳＮが基準値未満である場合は、前回の学習モード処理で用いた学習データに、正しいスコアが付与されていないノイズが多く含まれている可能性が高いと考えられる。原因としては、ユーザが手動撮影した画像が、ユーザの好みに沿ったものになっていないことや、日によってユーザが画像に対して入力する点数に大きな差があることなどが考えられる。このような場合は、同じ学習データの群を用いて学習した、異なる基準回数に対応する学習パラメータを用いても、自動撮影される枚数が増加することが期待できない。よって、前回の学習モード処理で用いた学習データを、不揮発性メモリ２１４から削除する。つまり、９００の学習データを用いて得られた学習パラメータを設定した状態で、基準回数７５０に対する学習パラメータを選択した場合には、７５１〜９００の学習データを削除し、新たに生成された９０１番目の学習データを、新たな７５１の学習データとして機械学習に用いる。
なお、自動撮影回数ＳＮが基準値以上である場合において、いずれの基準回数に対応する学習パラメータにおいても、Ｓ５１１において学習戻しモードの判定がＴＲＵＥになるのであれば、さらに前の学習モード処理で生成した学習パラメータに戻すようにする。
また、簡易的には、いつの学習モード処理で用いた学習データであるかは区別せずに、学習戻しモード処理が開始された場合には、常に１つ前の学習パラメータに戻すようにしても良い。
戻す学習パラメータが選択されると、Ｓ１２０３に進み、新たな学習パラメータを各判定器に設定し、に設定し、Ｓ１２０４に進む。
Ｓ１２０４では、記録媒体２１９内の画像に対してスコアを付け直して、学習戻しモード処理を終了する。
以上説明したように、本実施形態によれば、撮像装置がユーザにとって好適な映像を取得できていないと判定された場合に、他の学習データ、あるいは、異なる範囲の学習データに対応する学習パラメータを用いた撮影に切り替える。こうすることにより、ユーザにとって好適な映像を取得する頻度を高めることができるようになる。
さらに、学習データの参照範囲を異ならせた複数の学習パラメータを用意しておくことで、有効活用できる学習データをなるべく無駄にすることなく、有効活用することが可能になる。
なお、撮像装置１０１あるいは外部機器３０１が通信可能なサーバに学習機能を持たせた場合には、基準回数に対応付けられた学習パラメータを、撮像装置１０１とサーバのどちらに記憶させてもよい。サーバに学習機能を持たせ、かつ、基準回数に対応付けられた学習パラメータを記憶させた場合には、サーバは、撮像装置１０１あるいは外部機器３０１からの指示によって選択された学習パラメータを、撮像装置１０１に送信する。あるいは、サーバが撮像装置１０１と通信して撮像装置１０１の通信頻度を判定することで、サーバがいずれかの基準回数に対応付けられた学習パラメータを選択し、撮像装置１０１に送信するようにしてもよい。あるいは、基準回数の代わりに、曜日や日付などの基準となる時期に対応付けた学習パラメータを記憶させるようにしてもよい。また、本実施形態では、ユーザの好みを自動撮影するために機械学習を行わせたが、これは一つの例であって、これに限られるものではない。機械学習を用いて、製品表面のキズや汚れを学習させ、搬送されてくる製品を撮影して、この製品の不良を判定する製品検査システムに本発明を適用することも可能である。本発明を用いることで、製品表面のキズや汚れについての学習が偏ってしまった場合に、他の学習データ、あるいは、異なる範囲の学習データに対応する学習パラメータを用いた検査を行うことが可能となる。
（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。
１０１ 撮像装置
３０１ 外部機器
１０４ チルト回転ユニット
１０５ パン回転ユニット

Claims (14)

  1. 学習パラメータに基づいて画像の判定を行う判定器に、前記学習パラメータを設定あるいは送信し、前記判定器による判定結果に応じて自動撮影を行わせる制御手段を有し、
    前記制御手段は、第１の学習パラメータを設定あるいは送信した前記判定器の判定結果に応じた自動撮影の頻度が閾値より低い場合に、前記判定器に、前記第１の学習パラメータに代えて、第２の学習パラメータを、設定あるいは送信するものであって、
    前記第１の学習パラメータは、第１の学習データの群を用いて機械学習を行うことで得られた学習パラメータであり、
    前記第２の学習パラメータは、第２の学習データの群を用いて機械学習を行うことで得られた学習パラメータであり、
    前記第１の学習データの群は、前記第２の学習データの群を含み、かつ、前記第２の学習データの群には含まれていない学習データを含むことを特徴とする情報処理装置。
  2. 複数の学習データを順に並べた場合に、前記第１の学習データの群は、前記第２の学習データの群よりも後に位置する学習データを含むことを特徴とする請求項１に記載の情報処理装置。
  3. 前記複数の学習データが、それぞれの学習データが取得された順に並べられることを特徴とする請求項２に記載の情報処理装置。
  4. 前記複数の学習データのそれぞれは、撮影された画像から生成されるものであって、前記複数の学習データが、それぞれの学習データに対応する画像が撮影された順に並べられることを特徴とする請求項２に記載の情報処理装置。
  5. 前記制御手段は、繰り返し行う学習の回数が、予め設定された複数の基準回数のいずれかに達すると、当該基準回数だけ繰り返し行った学習によって得られた学習パラメータを、前記基準回数に対応付けてメモリに記憶させることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
  6. 前記第２の学習パラメータは、前記第１の学習パラメータを得るために繰り返し行われた学習の回数よりも小さい前記基準回数のうち、最も大きな基準回数に対応する学習パラメータであることを特徴とする請求項５に記載の情報処理装置。
  7. 前記制御手段は、いずれかの基準回数に対応する学習パラメータを設定あるいは送信した前記判定器の判定結果に応じた自動撮影の頻度が閾値より低い場合に、前記判定器に、次に大きな基準回数に対応する学習パラメータを設定あるいは送信することを特徴とする請求項６に記載の情報処理装置。
  8. 前記制御手段は、前記第１の学習データの群を含む複数の学習データを順に選択して学習を繰り返した際に生成された、前記複数の基準回数のそれぞれに対応付けられたいずれの学習パラメータを設定あるいは送信しても、前記判定器の判定結果に応じた自動撮影の頻度が閾値より低い場合には、前記第１の学習データの群を含む複数の学習データを用いた学習よりも前に行われた学習において生成された学習パラメータを、前記判定器に設定あるいは送信することを特徴とする請求項５乃至７のいずれか１項に記載の情報処理装置。
  9. 前記制御手段は、前記判定器に、記憶媒体に保存されている画像に対して判定を行わせ、前記画像に判定結果に基づくスコアを付与するものであって、
    前記制御手段は、前記判定器に新たな学習パラメータを設定あるいは送信した場合には、前記判定器に、前記記憶媒体に保存されている前記画像に対して判定を再度行わせ、前記画像に付与されたスコアを更新することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
  10. 前記判定器は、ニューラルネットワークを用いており、前記学習パラメータは、前記ニューラルネットワークの各ニューロン間の結合重みを設定するための値であることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
  11. 前記判定器を有することを特徴とする請求項１乃至１０に記載の情報処理装置。
  12. 撮像素子と、
    学習パラメータに基づいて画像の判定を行う判定器と、
    前記判定器に前記学習パラメータを設定し、前記判定器による判定結果に応じて自動撮影を行う制御手段と、を有し、
    前記制御手段は、第１の学習パラメータを設定した前記判定器の判定結果に応じた自動撮影の頻度が閾値より低い場合に、前記判定器に、前記第１の学習パラメータに代えて、第２の学習パラメータを、設定するものであって、
    前記第１の学習パラメータは、第１の学習データの群を用いて機械学習を行うことで得られた学習パラメータであり、
    前記第２の学習パラメータは、第２の学習データの群を用いて機械学習を行うことで得られた学習パラメータであり、
    前記第１の学習データの群は、前記第２の学習データの群を含み、かつ、前記第２の学習データの群には含まれていない学習データを含むことを特徴とする撮像装置。
  13. 学習パラメータに基づいて画像の判定を行う判定器に、前記学習パラメータを設定あるいは送信し、前記判定器による判定結果に応じて自動撮影を行わせる制御手段を有する情報処理装置の制御方法において、
    前記制御手段が、第１の学習パラメータを設定あるいは送信した前記判定器の判定結果に応じた自動撮影の頻度が閾値より低い場合に、前記制御手段が、前記判定器に、前記第１の学習パラメータに代えて、第２の学習パラメータを、設定あるいは送信する工程を有し、
    前記第１の学習パラメータは、第１の学習データの群を用いて機械学習を行うことで得られた学習パラメータであり、
    前記第２の学習パラメータは、第２の学習データの群を用いて機械学習を行うことで得られた学習パラメータであり、
    前記第１の学習データの群は、前記第２の学習データの群を含み、かつ、前記第２の学習データの群には含まれていない学習データを含むことを特徴とする情報処理装置の制御方法。
  14. コンピュータに、請求項１乃至１１のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2019208988A 2018-11-29 2019-11-19 情報処理装置、撮像装置、情報処理装置の制御方法、および、プログラム Active JP6852141B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018224125 2018-11-29
JP2018224125 2018-11-29

Publications (2)

Publication Number Publication Date
JP2020095702A JP2020095702A (ja) 2020-06-18
JP6852141B2 true JP6852141B2 (ja) 2021-03-31

Family

ID=70849502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019208988A Active JP6852141B2 (ja) 2018-11-29 2019-11-19 情報処理装置、撮像装置、情報処理装置の制御方法、および、プログラム

Country Status (3)

Country Link
US (1) US11165952B2 (ja)
JP (1) JP6852141B2 (ja)
CN (1) CN111246056B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6766086B2 (ja) * 2017-09-28 2020-10-07 キヤノン株式会社 撮像装置およびその制御方法
JP7348754B2 (ja) * 2019-06-03 2023-09-21 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
JP2022086195A (ja) * 2020-11-30 2022-06-09 キヤノン株式会社 撮像装置、電子機器およびそれらの制御方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04262453A (ja) * 1991-02-15 1992-09-17 Hitachi Ltd ニュ−ロ学習制御方法及び装置
JPH117435A (ja) * 1997-06-13 1999-01-12 Toyo Electric Mfg Co Ltd ニューラルネットワーク
DE60231480D1 (de) 2001-02-21 2009-04-23 Sony Corp Signalverarbeitungseinrichtung
JP4296935B2 (ja) 2002-02-21 2009-07-15 ソニー株式会社 信号処理装置
US7472096B2 (en) 2005-07-18 2008-12-30 Microsoft Corporation Training a learning system with arbitrary cost functions
JP4757116B2 (ja) 2006-06-30 2011-08-24 キヤノン株式会社 パラメータ学習方法及びその装置、パターン識別方法及びその装置、プログラム
JP2009147647A (ja) * 2007-12-13 2009-07-02 Sony Corp 自動撮像装置
JP5533662B2 (ja) * 2008-10-30 2014-06-25 コニカミノルタ株式会社 情報処理装置
KR20130090147A (ko) * 2012-02-03 2013-08-13 안병익 신경망 컴퓨팅 장치 및 시스템과 그 방법
US9852019B2 (en) * 2013-07-01 2017-12-26 Agent Video Intelligence Ltd. System and method for abnormality detection
US9470911B2 (en) * 2013-08-22 2016-10-18 Bespoke, Inc. Method and system to create products
CN105850111A (zh) 2013-10-14 2016-08-10 纳拉提弗股份公司 操作穿戴式生活记录设备的方法
JP2015082823A (ja) * 2013-10-24 2015-04-27 キヤノン株式会社 撮影制御装置、撮影制御方法およびプログラム
CN103678647B (zh) * 2013-12-20 2017-12-19 Tcl集团股份有限公司 一种实现信息推荐的方法及系统
JP6511951B2 (ja) * 2015-05-14 2019-05-15 富士ゼロックス株式会社 情報処理装置及びプログラム
US10007849B2 (en) * 2015-05-29 2018-06-26 Accenture Global Solutions Limited Predicting external events from digital video content
JP2017055913A (ja) * 2015-09-15 2017-03-23 株式会社東芝 動作フォーム判定装置、判定方法、判定プログラム、判定システム
CN108140133B (zh) * 2015-10-22 2022-03-22 富士通株式会社 程序生成装置、程序生成方法及记录介质
JP2017102906A (ja) * 2015-11-25 2017-06-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN107609642B (zh) * 2016-01-20 2021-08-31 中科寒武纪科技股份有限公司 计算装置和方法
EP3432228A4 (en) * 2016-03-14 2019-04-10 Omron Corporation DEVICE FOR MAINTAINING EXTENSIBILITY
CN107203518A (zh) * 2016-03-16 2017-09-26 阿里巴巴集团控股有限公司 在线系统个性化推荐的方法、系统以及装置、电子设备
US20190188567A1 (en) * 2016-09-30 2019-06-20 Intel Corporation Dynamic neural network surgery
EP3324343A1 (en) * 2016-11-21 2018-05-23 Centre National de la Recherche Scientifique Unsupervised detection of repeating patterns in a series of events
KR101836096B1 (ko) * 2016-12-02 2018-03-12 주식회사 수아랩 이미지 데이터의 상태 판단 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
WO2018117704A1 (en) * 2016-12-23 2018-06-28 Samsung Electronics Co., Ltd. Electronic apparatus and operation method thereof
US10769551B2 (en) * 2017-01-09 2020-09-08 International Business Machines Corporation Training data set determination
JP6912890B2 (ja) * 2017-01-13 2021-08-04 キヤノン株式会社 情報処理装置、情報処理方法、システム
US10769448B2 (en) * 2017-05-31 2020-09-08 Panasonic I-Pro Sensing Solutions Co., Ltd. Surveillance system and surveillance method
CN107705183B (zh) * 2017-09-30 2021-04-27 深圳乐信软件技术有限公司 一种商品的推荐方法、装置、存储介质及服务器
KR20190044878A (ko) * 2017-10-23 2019-05-02 삼성전자주식회사 뉴럴 네트워크에서 파라미터를 처리하는 방법 및 장치
US10282237B1 (en) * 2017-10-30 2019-05-07 SigOpt, Inc. Systems and methods for implementing an intelligent application program interface for an intelligent optimization platform
CN109902811B (zh) * 2017-12-11 2020-03-10 中科寒武纪科技股份有限公司 神经网络运算设备和方法
CN108171329A (zh) 2017-12-13 2018-06-15 华南师范大学 深度学习神经网络训练方法、层数调整装置和机器人系统
CN110352297B (zh) * 2018-02-05 2020-09-15 丰田自动车株式会社 机器学习装置
CN108875603B (zh) * 2018-05-31 2021-06-04 上海商汤智能科技有限公司 基于车道线的智能驾驶控制方法和装置、电子设备
KR20200044173A (ko) * 2018-10-05 2020-04-29 삼성전자주식회사 전자 장치 및 그의 제어 방법
JP6848949B2 (ja) * 2018-10-25 2021-03-24 トヨタ自動車株式会社 制御支援装置、車両、および制御支援システム
EP3709191A1 (en) * 2019-03-12 2020-09-16 Nokia Technologies Oy Apparatus and method for visualizing and operating on large data sets accessible via a graph
CN110263938B (zh) * 2019-06-19 2021-07-23 北京百度网讯科技有限公司 用于生成信息的方法和装置

Also Published As

Publication number Publication date
CN111246056B (zh) 2022-05-17
JP2020095702A (ja) 2020-06-18
CN111246056A (zh) 2020-06-05
US11165952B2 (en) 2021-11-02
US20200177801A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
JP6799660B2 (ja) 画像処理装置、画像処理方法、プログラム
JP6766086B2 (ja) 撮像装置およびその制御方法
CN111294488B (zh) 摄像设备及其控制方法和存储介质
JP6641446B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、記憶媒体
CN109981976B (zh) 摄像设备及其控制方法和存储介质
US11812132B2 (en) Imaging device, control method therefor, and recording medium
CN112040115B (zh) 图像处理设备及其控制方法和存储介质
JP6852141B2 (ja) 情報処理装置、撮像装置、情報処理装置の制御方法、および、プログラム
WO2019124055A1 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2019110509A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US11463617B2 (en) Information processing apparatus, information processing system, image capturing apparatus, information processing method, and memory
JP7403218B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP7267686B2 (ja) 撮像装置及びその制御方法
JP6896818B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2022053355A (ja) 撮像装置
JP7199808B2 (ja) 撮像装置およびその制御方法
JP2021057815A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP7393133B2 (ja) 画像処理装置及び画像処理方法、撮像装置、プログラム、記憶媒体
JP2020145556A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210310

R151 Written notification of patent or utility model registration

Ref document number: 6852141

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151