JP7222683B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents
撮像装置及びその制御方法、プログラム、記憶媒体 Download PDFInfo
- Publication number
- JP7222683B2 JP7222683B2 JP2018229210A JP2018229210A JP7222683B2 JP 7222683 B2 JP7222683 B2 JP 7222683B2 JP 2018229210 A JP2018229210 A JP 2018229210A JP 2018229210 A JP2018229210 A JP 2018229210A JP 7222683 B2 JP7222683 B2 JP 7222683B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- imaging
- image
- camera
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
- H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Accessories Of Cameras (AREA)
Description
図1は、本発明の撮像装置の一実施形態であるカメラの外観を模式的に示す図である。図1(a)に示すカメラ101には、電源スイッチ、カメラ操作を行うことができる操作部材などが設けられている。被写体像の撮像を行う撮像光学系としての撮影レンズ群や撮像素子を一体的に含む鏡筒102は、カメラ101の固定部103に対して移動可能に取り付けられている。具体的には、鏡筒102は、固定部103に対して回転駆動できる機構であるチルト回転ユニット104とパン回転ユニット105とを介して固定部103に取り付けられている。
図3は、カメラ101と外部装置301との無線通信システムの構成例を示す図である。カメラ101は撮影機能を有するデジタルカメラであり、外部装置301はBluetooth通信モジュール、無線LAN通信モジュールを含むスマートデバイスである。
図5は、カメラ101と通信可能である外部装置501の構成例を示す図である。カメラ101は撮影機能を有するデジタルカメラであり、外部装置501は、例えばBluetooth通信モジュールなどによりカメラ101と通信可能である各種センシング部を含むウエアラブルデバイスである。
図7は、本実施形態におけるカメラ101の第1制御部223が受け持つ動作の例を説明するフローチャートである。
(1)電源ボタンが手動で押下されて電源が起動される
(2)外部装置(例えば外部装置301)から外部通信(例えばBLE通信)により起動指示が送られ、電源が起動される
(3)第2制御部211の指示により、電源が起動される
ここで、(3)の第2制御部211の指示により電源が起動される場合は、第2制御部211内で演算された起動条件が読み込まれることになるが、詳細は図8を用いて後述する。また、ここで読み込まれた起動条件は、被写体探索や自動撮影時の1つのパラメータ要素として用いられるが、それについても後述する。起動条件読み込みが終了するとステップS702に進む。
<モード判定条件>
学習設定された各検出情報(画像、音、時間、振動、場所、身体の変化、環境変化)、自動撮影モードに移行してからの経過時間、過去の撮影情報・撮影枚数などの情報から、自動撮影を行うべきと判定されると、自動撮影モードに設定される。
自動撮影モード処理(ステップS710)では、各検出情報(画像、音、時間、振動、場所、体の変化、環境変化)に基づいて、パン・チルトやズームを駆動して被写体を自動探索する。そして、撮影者の好みの撮影が行えるタイミングであると判定されると自動で撮影が行われる。
<モード判定条件>
前回自動編集を行ってからの経過時間、過去の撮影画像情報から、自動編集を行うべきと判定されると、自動編集モードに設定される。
自動編集モード処理(ステップS712)では、学習に基づいた静止画像や動画像の選抜処理を行い、学習に基づいて、画像効果や編集後動画の時間などにより、一つの動画にまとめたハイライト動画を作成する自動編集処理が行われる。
<モード判定条件>
外部装置301内の専用のアプリケーションを用いた指示により、画像自動転送モードに設定されている場合、前回画像転送を行ってからの経過時間と過去の撮影画像情報から、自動転送を行うべきと判定されると、自動画像転送モードに設定される。
画像自動転送モード処理(ステップS714)では、カメラ101は、ユーザの好みに合うであろう画像を自動で抽出し、外部装置301にユーザの好みと思われる画像を自動で転送する。ユーザの好みの画像抽出は、後述する各画像に付加されたユーザの好みを判定したスコアにより行われる。
<モード判定条件>
前回学習処理を行ってからの経過時間と、学習に使用することのできる画像に一体となった情報や学習データの数などから、自動学習を行うべきと判定されると、自動学習送モードに設定される。または、外部装置301からの通信を介して学習モードが設定されるように指示があった場合もこのモードに設定される。
学習モード処理(ステップS716)では、外部装置301での各操作情報(カメラからの画像取得情報、専用アプリケーションを介して手動編集した情報、カメラ内の画像に対してユーザが入力した判定値情報)、外部装置301からの学習情報の通知などに基づいて、ニューラルネットワークを用いて、ユーザの好みに合わせた学習を行う。また、個人認証の登録、音声登録、音シーン登録、一般物体認識登録などの、検出に関する学習や、上述した低消費電力モードの条件などの学習も同時に行われる。
<モード判定条件>
前回ファイル自動削除を行ってからの経過時間と、画像を記録している不揮発性メモリ216の残容量とに基づいて、ファイル自動削除を行うべきと判定されると、ファイル自動削除モードに設定される。
ファイル自動削除モード処理(ステップS718)では、不揮発性メモリ216内の画像の中から、各画像のタグ情報と撮影された日時などから自動削除されるべきファイルを指定し削除する。
(1)特定揺れ検出の判定(後述するステップS804で用いる)
(2)特定音検出の判定(後述するステップS805で用いる)
(3)時間経過の判定(後述するステップS807で用いる)
ステップS802で学習情報が読み込まれると、ステップS803に進み、揺れ検出値が取得される。揺れ検出値は、装置揺れ検出部209におけるジャイロセンサや加速度センサなどの出力値である。
ユーザがカメラ101を例えば指先などで叩いた状態(タップ状態)を、カメラ101に取り付けられた加速度センサ107の出力値から検出することが可能である。3軸の加速度センサ107の出力を、所定サンプリング周期で、特定の周波数領域に設定したバンドパスフィルタ(BPF)に通すことで、タップによる加速度変化の信号領域を抽出することができる。BPFに通した後の加速度信号が、所定時間TimeAの間に、所定閾値ThreshAを超えた回数が、所定回数CountAであるか否かにより、タップ検出を行う。ダブルタップの場合は、CountAは2に設定され、トリプルタップの場合は、CountAは3に設定される。また、TimeAやThreshAについても、学習情報によって変化させることができる。
カメラ101の揺れ状態を、カメラ101に取り付けられたジャイロセンサ106や加速度センサ107の出力値から検出することが可能である。ジャイロセンサ106や加速度センサ107の出力の高周波成分をハイパスフィルタ(HPF)でカットし、低周波成分をローパスフィルタ(LPF)でカットした後、絶対値変換を行う。算出した絶対値が、所定時間TimeBの間に、所定閾値ThreshBを超えた回数が、所定回数CountB以上であるか否かにより、振動検出を行う。これにより、例えばカメラ101を机などに置いたような揺れが小さい状態か、カメラ101をウエアラブルカメラとして体に装着して歩いているような揺れが大きい状態かを判定することが可能である。また、判定閾値や判定のカウント数の条件を複数設けることにより、揺れレベルに応じた細かい揺れ状態を検出することも可能である。TimeBやThreshBやCountBについても、学習情報によって変化させることができる。
特定の音声コマンドを検出する。音声コマンドは事前に登録されたいくつかのコマンドの他、ユーザが特定音声をカメラに登録できる。
予め大量の音声データに基づいて、機械学習により学習させたネットワークにより音シーンの判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出する。検出するシーンは学習によって変化する。
音声レベルの大きさが所定時間の間、所定の大きさを超えているかを判定することよって、音レベルの検出を行う。所定時間や所定の大きさなどが学習によって変化する。
平面上に配置された複数のマイクにより、所定の大きさの音について、音の方向を検出する。
(1)特定の揺れが検出されたこと
(2)特定の音が検出されたこと
(3)所定の時間が経過したこと
(1)については、ステップS804での特定揺れ状態検出処理により、特定の揺れが検出されたか否かが判定されている。(2)については、ステップS805での特定音検出処理により、特定の音が検出されたか否かが判定されている。(3)については、ステップS807での時間経過検出処理により、所定の時間が経過したか否かが判定されている。(1)~(3)の少なくとも1つが成立すれば、低消費電力モード解除を行うように判定される。
図9Aを用いて、自動撮影モード処理について説明する。まず、ステップS901において、撮像部206により取り込まれた信号に対して、画像処理部207で画像処理を行い、被写体検出用の画像を生成する。生成された画像に対して、人物や物体などを検出する被写体検出処理が行われる。
(1)エリア分割
(2)エリア毎の重要度レベルの算出
(3)探索対象エリアの決定
以下、各処理について順次説明する。
図10を用いて、エリア分割について説明する。図10(a)のようにカメラ(原点Oがカメラ位置とする)位置を中心として、全周囲でエリア分割を行う。図10(a)の例においては、チルト方向、パン方向をそれぞれ22.5度ごとに分割している。図10(a)のように分割すると、チルト方向の角度が0度から離れるにつれて、水平方向の円周が小さくなり、エリア領域が小さくなる。よって、図10(b)のように、チルト角度が45度以上の場合、水平方向のエリア範囲を22.5度よりも大きく設定している。
上記のように分割した各エリアについて、エリア内に存在する被写体の状況やシーンの状況に応じて、探索を行う優先順位を示す重要度レベルを算出する。被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する人物の数、人物の顔の大きさ、顔の向き、顔検出の確からしさ、人物の表情、人物の個人認証結果等に基づいて算出される。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判別結果(青空、逆光、夕景など)、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等に基づいて算出される。
上記のように各エリアの重要度レベルが算出されたら、重要度レベルが高いエリアを探索対象エリアとして決定する。そして、探索対象エリアを画角に捉えるために必要なパン・チルト探索目標角度を算出する。
自動撮影を行うか否かの判定は以下のように行われる。具体的には、以下の2つの場合に、自動撮影を実行すると判定する。1つは、ステップS904において得られたエリア別の重要度レベルに基づき、重要度レベルが所定値を超えている場合、自動撮影を実施すると判定する。2つめは、ニューラルネットワークに基づく判定である。
撮影方法の判定では、ステップS901~S904において検出した、カメラの状態や周辺の被写体の状態に基づいて、静止画撮影、動画撮影、連写撮影、パノラマ撮影などの内どれを実行するかを判定する。例えば、被写体(人物)が静止している場合は静止画撮影を実行し、被写体が動いている場合は動画撮影または連写撮影を実行する。また、被写体がカメラを取り囲むように複数存在している場合や、前述したGPS情報に基づいて景勝地であるということが判断出来ている場合には、パン・チルトを操作させながら順次撮影した画像を合成してパノラマ画像を生成するパノラマ撮影処理を実行してもよい。なお、<自動撮影を行うか否かの判定>での判定方法と同様に、撮影前に検出した各種情報をニューラルネットワークに基づいて判断し、撮影方法を決定することもできる。また、この判定処理では、後述する学習処理によって、判定条件を変更することも出来る。
次に、本実施形態におけるユーザの好みに合わせた学習について説明する。本実施形態では、図11に示すようなニューラルネットワークを用い、機械学習アルゴリズムを使用して、学習処理部219においてユーザの好みに合わせた学習を行う。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値の実績値と出力値の実績値を学習しておくことで、新たな入力値に対して、出力値を推定することができる。ニューラルネットワークを用いることにより、前述の自動撮影や自動編集、被写体探索に対して、ユーザの好みに合わせた学習を行う。また、ニューラルネットワークに入力する特徴データともなる被写体情報(顔認証や一般物体認識などの結果)の登録や、撮影報知制御や低消費電力モード制御やファイル自動削除を学習により変更する動作も行う。
(1)自動撮影
(2)自動編集
(3)被写体探索
(4)被写体登録
(5)撮影報知制御
(6)低消費電力モード制御
(7)ファイル自動削除
(8)像ブレ補正
(9)画像自動転送
なお、上記の学習処理が適用される動作のうち、自動編集、ファイル自動削除、画像自動転送については、本発明の主旨と直接関係しないので、説明を省略する。
自動撮影に対する学習について説明する。自動撮影では、ユーザの好みに合った画像の撮影を自動で行うための学習を行う。図9Aのフローチャートを用いて説明したように、撮影後(ステップS910の後)に学習用情報生成処理(ステップS912)が行われている。後述する方法により学習させる画像を選択させ、画像に含まれる学習情報に基づいて、ニューラルネットワークの重みを変化させることにより学習を行わせる。
被写体探索に対する学習について説明する。被写体探索では、ユーザの好みに合った被写体の探索を自動的に行うための学習を行う。図9Aのフローチャートを用いて説明したように、被写体探索処理(ステップS904)において、各エリアの重要度レベルを算出し、パン・チルト、ズームを駆動し、被写体探索を行う。学習は撮影画像や探索中の検出情報に基づいて行われ、ニューラルネットワークの重みを変化させることで学習結果として反映される。探索動作中の各種検出情報をニューラルネットワークに入力し、重要度レベルの判定を行うことにより、学習を反映した被写体探索を行う。また、重要度レベルの算出以外にも、例えば、パン・チルト探索方法(速度、動かす頻度)の制御や、カメラの移動速度に応じた被写体探索領域の制御も行う。
被写体登録に対する学習について説明する。被写体登録では、ユーザの好みに合った被写体の登録やランク付けを自動的に行うための学習を行う。学習として、例えば、顔認証登録や一般物体認識の登録、ジェスチャーや音声認識、音によるシーン認識の登録を行う。人と物体に対する認証登録を行い、画像の取得される回数や頻度、手動撮影される回数や頻度、探索中の被写体の現れる頻度からランク付けの設定を行う。登録された情報は、各ニューラルネットワークを用いた判定のための入力として登録されることになる。
撮影報知に対する学習について説明する。図9AのステップS910で説明したように、撮影直前に、所定の条件を満たしたとき、カメラが撮影対象となる人物に対して撮影を行う旨を報知した上で撮影することを行う。例えば、パン・チルトを駆動することにより視覚的に被写体の視線を誘導したり、音声出力部218から発するスピーカー音や、LED制御部224によるLED点灯光を使用して被写体の注意を誘導したりする。上記の報知の直後に、被写体の検出情報(例えば、笑顔度、目線検出、ジェスチャー)が得られたか否かに基づいて、検出情報を学習に使用するかを判定し、ニューラルネットワークの重みを変化させることで学習する。
図7、図8を用いて、説明したようにMainCPU(第1制御部223)への電源供給をON/OFFする制御を行うが、低消費電力モードからの復帰条件や、低消費電力状態への遷移条件の学習も行う。低消費電力モードを解除する条件の学習について説明する。
上述したとおり、所定時間TimeAや所定閾値ThreshAを学習により変化させる。上記のタップ検出の閾値を下げた状態での仮タップ検出も行っており、タップ検出前に仮タップ検出が判定されていたか否かにより、TimeAやThreshAのパラメータを検出し易いように設定する。また、タップ検出後のカメラ検出情報から、起動要因ではなかったと判定された場合、TimeAやThreshAのパラメータをタップ検出し難いように設定する。
上述したとおり、所定時間TimeB、所定閾値ThreshB、所定回数CountBなどを学習により変化させる。揺れ状態の判定結果が起動条件に入った場合、起動を行うが、起動後所定時間の間のカメラ検出情報から、起動要因ではなかったと判定されると、揺れ状態判定により起動し難いように学習する。また、揺れが大きい状態での撮影頻度が高いと判定されると、揺れ状態判定により起動し難いように設定する。
ユーザが特定音声や検出したい特定音シーンや特定音レベルを、例えば外部装置301の専用アプリケーションを用いた通信により、手動で設定することで学習することができる。また、複数の検出方法を音声処理部に予め設定しておき、後述する方法により学習させる画像を選択させ、画像に含まれる前後音情報を学習し、起動要因とする音判定(特定音コマンドや、「歓声」、「拍手」などの音シーン)を設定することで学習することもできる。
ユーザが起動条件としたい環境情報変化を、例えば外部装置301の専用アプリケーションを用いた通信により、手動で設定することで学習することができる。例えば、温度、気圧、明るさ、湿度、紫外線量の絶対量や変化量等の特定条件によって起動させることができる。各環境情報に基づく判定閾値を学習することもできる。環境情報による起動後のカメラ検出情報から、起動要因ではなかったと判定されると、各判定閾値のパラメータを環境変化を検出し難いように設定する。
上述したとおり、エリア毎の重要度レベルを判定し、パン・チルトで被写体探索をしながら自動撮影を行うが、撮影される被写体が存在しないと判定されると、自動撮影モードが解除される。例えば、すべのエリアの重要度レベルや、各エリアの重要度レベルを加算した値が、所定閾値以下になったとき、自動撮影モードを解除する。このとき、自動撮影モードに遷移してからの経過時間によって所定閾値を下げていくことも行われる。自動撮影モードに遷移してからの経過時間が長くなるにつれて低消費電力モードへ移行し易くしている。
像ブレ補正に対する学習について説明する。像ブレ補正は、図9AのステップS902で補正量を算出し、補正量に基づいてステップS905でパン・チルトを駆動することにより行われる。像ブレ補正では、ユーザの揺れの特徴に合わせた補正を行うための学習を行う。撮影画像に対して、例えば、PSF(Point Spread Function)を用いることにより、ブレの方向及び大きさを推定することが可能である。図9AのステップS912の学習用情報生成では、推定したブレの方向と大きさが、情報として画像に付加される。
(1)手動撮影時の検出情報による学習
(2)被写体探索時の検出情報による学習
<手動撮影時の検出情報による学習>
図9AのステップS907~ステップS913で説明したとおり、本実施形態においては、カメラ101は、手動撮影と自動撮影の2つの撮影を行うことができる。ステップS907で手動撮影指示があった場合には、ステップS912において、撮影画像は手動で撮影された画像であるとの情報が付加される。また、ステップS909において自動撮影ONと判定されて撮影された場合においては、ステップS912において、撮影画像は自動で撮影された画像であると情報が付加される。
被写体探索動作中において、個人認証登録されている被写体が、どんな人物、物体、シーンと同時に写っているかを判定し、同時に画角内に写っている時間比率を算出しておく。例えば、個人認証登録被写体の人物Aが、個人認証登録被写体の人物Bと同時に写っている時間比率を計算する。そして、人物Aと人物Bが画角内に入る場合は、自動撮影判定の点数が高くなるように、各種検出情報を学習データとして保存して、学習モード処理(ステップS716)で学習する。
(1)外部装置で画像を取得したことによる学習
(2)外部装置を介して画像に判定値を入力することによる学習
(3)外部装置内の保存されている画像を解析することによる学習
(4)外部装置でSNSのサーバにアップロードされた情報からの学習
(5)外部装置でカメラパラメータを変更することによる学習
(6)外部装置で画像が手動編集された情報からの学習
<外部装置で画像を取得したことによる学習>
図3で説明したとおり、カメラ101と外部装置301は、第1及び第2の通信302,303を行う通信手段を有している。そして、主に第1の通信302によって画像の送受信が行われ、外部装置301内の専用のアプリケーションを介して、カメラ101内の画像を外部装置301に送信することができる。また、カメラ101内の保存されている画像データのサムネイル画像を外部装置301内の専用のアプリケーションを用いて、閲覧可能である。ユーザは、このサムネイル画像の中から、自分が気に入った画像を選んで、画像確認し、画像取得指示を操作することで外部装置301に画像を送信させることができる。
上記で説明したとおり、カメラ101と外部装置301は、通信手段を有しており、カメラ101内に保存されている画像を外部装置301内の専用のアプリケーションを用いて、閲覧可能である。ここで、ユーザは、各画像に対して点数付けを行う構成にしてもよい。ユーザが好みと思った画像に対して高い点数(例えば5点)を付けたり、好みでないと思った画像に対して低い点数(例えば1点)を付けることができ、ユーザの操作によって、カメラが学習していくような構成にする。各画像の点数は、カメラ内で学習情報と共に再学習に使用される。指定した画像情報からの特徴データを入力にした、ニューラルネットワークの出力がユーザが指定した点数に近づくように学習される。
外部装置301は、記憶部404を有し、記憶部404にはカメラ101で撮影された画像以外の画像も記録される構成とする。このとき、外部装置301内に保存されている画像は、ユーザが閲覧し易く、公衆無線制御部406を介して、共有サーバに画像をアップロードすることも容易なため、ユーザの好みの画像が多く含まれる可能性が非常に高い。
次に、人と人の繋がりに主眼をおいた社会的なネットワークを構築できるサービスやウェブサイトであるソーシャル・ネットワーキング・サービス(SNS)における情報を学習に使用する方法について説明する。画像をSNSにアップロードする際に、外部装置301から画像に関するタグを入力した上で、画像と共に送信する技術がある。また、他のユーザがアップロードした画像に対して好き嫌いを入力する技術もあり、他のユーザがアップロードした画像が、外部装置301を所有するユーザの好みの写真であるかも判定できる。
上記で説明したとおり、カメラ101と外部装置301は、通信手段を有している。そして、カメラ101内に現在設定されている学習パラメータ(ニューラルネットワークの重みや、ニューラルネットワークに入力する被写体の選択など)を外部装置301に通信し、外部装置301の記憶部404に保存することができる。また、外部装置301内の専用のアプリケーションを用いて、専用のサーバにセットされた学習パラメータを公衆無線制御部406を介して取得し、カメラ101内の学習パラメータに設定することもできる。これにより、ある時点でのパラメータを外部装置301に保存しておいて、カメラ101に設定することで、学習パラメータを戻すこともできる。また、他のユーザが持つ学習パラメータを、専用のサーバを介して取得し、自身のカメラ101に設定することもできる。
外部装置301の専用のアプリケーションにユーザの操作により手動で編集できる機能を持たせ、編集作業の内容を学習にフィードバックすることもできる。例えば、画像効果付与(トリミング処理、回転処理、スライド、ズーム、フェード、色変換フィルタ効果、時間、静止画動画比率、BGM)の編集が可能である。そして、画像の学習情報に対して、手動で編集した画像効果付与が判定されるように、自動編集のニューラルネットワークを学習させる。
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
Claims (11)
- 被写体像を撮像する撮像手段と、
前記撮像手段により撮像された画像データから被写体を探索する領域を決定する決定手段と、
前記撮像手段の撮影画角を変更するためのズーム手段と、
前記撮像手段の撮影画角を複数の領域に分割し、該複数の領域の重要度レベルを算出する算出手段と、
前記撮像手段が手動によりパン動作された場合の動作量が所定量以上である場合に、以前に記憶されている前記重要度レベルを消去し、前記ズーム手段により前記撮像手段の撮影画角を広角側に変更するように制御する制御手段と、
を備えることを特徴とする撮像装置。 - 前記算出手段は、前記制御手段により前記重要度レベルが消去され、前記撮影画角が広角側に変更された後、前記重要度レベルを再度算出することを特徴とする請求項1に記載の撮像装置。
- 前記決定手段は、前記複数の領域の重要度レベルに基づいて、前記重要度レベルの高い領域を前記被写体を探索する領域として決定することを特徴とする請求項1または2に記載の撮像装置。
- 前記算出手段は、前記制御手段により前記重要度レベルが消去され、前記撮影画角が広角側に変更された後、前記重要度レベルを再度算出し、
前記決定手段は、前記算出手段により再度算出された、前記複数の領域の重要度レベルに基づいて、前記重要度レベルの高い領域を前記被写体を探索する領域として決定することを特徴とする請求項1に記載の撮像装置。 - 前記制御手段は、前記算出手段による前記重要度レベルの算出が初回である場合、あるいは前記重要度レベルの前回の算出から所定の時間が経過している場合に、前記ズーム手段により前記撮影画角を広角側に変更するように制御することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
- 前記制御手段は、前記撮像手段が手動によりパン動作された場合の動作量が所定量より少ない場合に、前記ズーム手段により前記撮影画角を広角端の手前の所定の広角位置に移動させることを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
- 前記制御手段は、前記撮像手段が手動によりパン動作された場合の動作量が所定量より少ない場合に、以前に記憶されている前記重要度レベルを保持することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
- 前記制御手段は、前記撮像手段が手動によりパン動作された場合に、前記撮像手段をチルト方向について水平位置に移動させることを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
- 被写体像を撮像する撮像手段を備える撮像装置を制御する方法であって、
前記撮像手段により撮像された画像データから被写体を探索する領域を決定する決定工程と、
前記撮像手段の撮影画角を変更するためのズーム工程と、
前記撮像手段の撮影画角を複数の領域に分割し、該複数の領域の重要度レベルを算出する算出工程と、
前記撮像手段が手動によりパン動作された場合の動作量が所定量以上である場合に、以前に記憶されている前記重要度レベルを消去し、前記ズーム工程により前記撮像手段の撮影画角を広角側に変更するように制御する制御工程と、
を有することを特徴とする撮像装置の制御方法。 - 請求項9に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
- 請求項9に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018229210A JP7222683B2 (ja) | 2018-12-06 | 2018-12-06 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
US16/700,795 US11184550B2 (en) | 2018-12-06 | 2019-12-02 | Image capturing apparatus capable of automatically searching for an object and control method thereof, and storage medium |
CN201911241530.4A CN111294488B (zh) | 2018-12-06 | 2019-12-06 | 摄像设备及其控制方法和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018229210A JP7222683B2 (ja) | 2018-12-06 | 2018-12-06 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020092354A JP2020092354A (ja) | 2020-06-11 |
JP7222683B2 true JP7222683B2 (ja) | 2023-02-15 |
Family
ID=70971373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018229210A Active JP7222683B2 (ja) | 2018-12-06 | 2018-12-06 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11184550B2 (ja) |
JP (1) | JP7222683B2 (ja) |
CN (1) | CN111294488B (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7348754B2 (ja) * | 2019-06-03 | 2023-09-21 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、記憶媒体 |
JP2022053356A (ja) | 2020-09-24 | 2022-04-05 | キヤノン株式会社 | 通信装置、通信装置の制御方法、プログラム |
JP2022053355A (ja) | 2020-09-24 | 2022-04-05 | キヤノン株式会社 | 撮像装置 |
US11893668B2 (en) | 2021-03-31 | 2024-02-06 | Leica Camera Ag | Imaging system and method for generating a final digital image via applying a profile to image information |
US11394865B1 (en) * | 2021-06-28 | 2022-07-19 | Western Digital Technologies, Inc. | Low-power, fast-response machine learning autofocus enhancements |
CN113676624A (zh) * | 2021-06-30 | 2021-11-19 | 西人马帝言(北京)科技有限公司 | 一种图像获取方法、装置、设备及存储介质 |
CN115550544B (zh) * | 2022-08-19 | 2024-04-12 | 荣耀终端有限公司 | 图像处理方法及装置 |
CN116772730B (zh) * | 2023-08-22 | 2023-11-10 | 成都睿铂科技有限责任公司 | 一种裂缝尺寸测量方法、计算机存储介质及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016100636A (ja) | 2014-11-18 | 2016-05-30 | キヤノン株式会社 | 撮像装置 |
JP2018050146A (ja) | 2016-09-21 | 2018-03-29 | キヤノン株式会社 | 探索装置及び、その撮像装置及び、探索方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6734911B1 (en) * | 1999-09-30 | 2004-05-11 | Koninklijke Philips Electronics N.V. | Tracking camera using a lens that generates both wide-angle and narrow-angle views |
US7233684B2 (en) * | 2002-11-25 | 2007-06-19 | Eastman Kodak Company | Imaging method and system using affective information |
JP2006191411A (ja) * | 2005-01-07 | 2006-07-20 | Canon Inc | カメラ制御装置、画像表示装置、カメラ制御方法、画像表示方法及びプログラム |
JP2010068030A (ja) * | 2008-09-08 | 2010-03-25 | Panasonic Corp | 画像処理装置、画像処理方法、画像処理プログラム、撮像装置 |
JP5297222B2 (ja) * | 2009-02-17 | 2013-09-25 | キヤノン株式会社 | 焦点調節装置、及び焦点調節方法 |
JP5453953B2 (ja) | 2009-06-24 | 2014-03-26 | ソニー株式会社 | 可動機構部制御装置、可動機構部制御方法、プログラム |
JP2011188065A (ja) * | 2010-03-05 | 2011-09-22 | Sony Corp | 撮像制御装置、被写体検出方法、プログラム |
US8395653B2 (en) * | 2010-05-18 | 2013-03-12 | Polycom, Inc. | Videoconferencing endpoint having multiple voice-tracking cameras |
JP2012054810A (ja) * | 2010-09-02 | 2012-03-15 | Olympus Corp | 画像処理装置、画像処理方法、撮像装置、および画像処理プログラム |
US20130188045A1 (en) * | 2012-01-20 | 2013-07-25 | Nokia Corporation | High Resolution Surveillance Camera |
US9800782B2 (en) | 2013-10-14 | 2017-10-24 | Narrative AB | Method of operating a wearable lifelogging device |
KR101533686B1 (ko) * | 2014-06-30 | 2015-07-09 | 숭실대학교산학협력단 | 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체 |
WO2016038969A1 (ja) | 2014-09-08 | 2016-03-17 | 富士フイルム株式会社 | カメラの初期位置設定方法、カメラ及びカメラシステム |
WO2016068057A1 (ja) | 2014-10-31 | 2016-05-06 | 富士フイルム株式会社 | 撮像装置及び対象物認識方法 |
JP6618255B2 (ja) | 2014-12-24 | 2019-12-11 | キヤノン株式会社 | ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム及び記憶媒体 |
JP6574645B2 (ja) * | 2015-08-28 | 2019-09-11 | キヤノン株式会社 | 撮像装置を制御する制御装置、撮像装置の制御方法、及びプログラム |
JP6824710B2 (ja) | 2015-12-15 | 2021-02-03 | キヤノン株式会社 | ズーム制御装置およびズーム制御方法、撮像装置 |
-
2018
- 2018-12-06 JP JP2018229210A patent/JP7222683B2/ja active Active
-
2019
- 2019-12-02 US US16/700,795 patent/US11184550B2/en active Active
- 2019-12-06 CN CN201911241530.4A patent/CN111294488B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016100636A (ja) | 2014-11-18 | 2016-05-30 | キヤノン株式会社 | 撮像装置 |
JP2018050146A (ja) | 2016-09-21 | 2018-03-29 | キヤノン株式会社 | 探索装置及び、その撮像装置及び、探索方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200186721A1 (en) | 2020-06-11 |
JP2020092354A (ja) | 2020-06-11 |
US11184550B2 (en) | 2021-11-23 |
CN111294488A (zh) | 2020-06-16 |
CN111294488B (zh) | 2022-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7222683B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP7423685B2 (ja) | 画像処理装置およびその制御方法 | |
JP7233162B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP6799660B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP6641446B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、記憶媒体 | |
WO2019124055A1 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2022070684A (ja) | 撮像装置およびその制御方法、プログラム | |
RU2762998C2 (ru) | Оборудование фиксации изображений и способ управления для него | |
JP2023057157A (ja) | 撮像装置及びその制御方法、プログラム | |
JP7267686B2 (ja) | 撮像装置及びその制御方法 | |
JP7348754B2 (ja) | 画像処理装置及びその制御方法、プログラム、記憶媒体 | |
JP7403218B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP7527769B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP7199808B2 (ja) | 撮像装置およびその制御方法 | |
JP6896818B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP2020145556A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2023127983A (ja) | 撮像装置およびその制御方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211203 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230203 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7222683 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |