JP7423685B2 - 画像処理装置およびその制御方法 - Google Patents
画像処理装置およびその制御方法 Download PDFInfo
- Publication number
- JP7423685B2 JP7423685B2 JP2022080613A JP2022080613A JP7423685B2 JP 7423685 B2 JP7423685 B2 JP 7423685B2 JP 2022080613 A JP2022080613 A JP 2022080613A JP 2022080613 A JP2022080613 A JP 2022080613A JP 7423685 B2 JP7423685 B2 JP 7423685B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- image
- user
- shooting
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 365
- 238000012545 processing Methods 0.000 title claims description 210
- 238000003384 imaging method Methods 0.000 claims description 287
- 230000008569 process Effects 0.000 claims description 262
- 238000013528 artificial neural network Methods 0.000 claims description 64
- 238000010801 machine learning Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 238000001454 recorded image Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 160
- 238000004891 communication Methods 0.000 description 91
- 230000008859 change Effects 0.000 description 83
- 238000012546 transfer Methods 0.000 description 42
- 230000033001 locomotion Effects 0.000 description 36
- 230000000694 effects Effects 0.000 description 31
- 230000001133 acceleration Effects 0.000 description 30
- 238000012217 deletion Methods 0.000 description 30
- 230000037430 deletion Effects 0.000 description 30
- 238000004091 panning Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 27
- 238000012937 correction Methods 0.000 description 24
- 230000005236 sound signal Effects 0.000 description 24
- 238000003860 storage Methods 0.000 description 19
- 230000007613 environmental effect Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 230000004913 activation Effects 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 10
- 210000002569 neuron Anatomy 0.000 description 9
- 210000000887 face Anatomy 0.000 description 8
- 230000008921 facial expression Effects 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000003825 pressing Methods 0.000 description 6
- 241000135164 Timea Species 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000009966 trimming Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000017531 blood circulation Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 230000004622 sleep time Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 208000033748 Device issues Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 229920001940 conductive polymer Polymers 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000030808 detection of mechanical stimulus involved in sensory perception of sound Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/56—Accessories
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
- G03B7/091—Digital circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/51—Housings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/56—Accessories
- G03B17/561—Support related camera accessories
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
- G03B2205/0046—Movement of one or more optical elements for zooming
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Human Computer Interaction (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Accessories Of Cameras (AREA)
- Exposure Control For Cameras (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Closed-Circuit Television Systems (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Adjustment Of Camera Lenses (AREA)
Description
<撮像装置の構成>
図1は、第1の実施形態の撮像装置を模式的に示す図である。
図3は、撮像装置101と外部装置301との無線通信システムの構成例を示す図である。撮像装置101は撮影機能を有するデジタルカメラであり、外部装置301はBluetooth通信モジュール、無線LAN通信モジュールを含むスマートデバイスである。
図5は、撮像装置101と通信可能である外部装置501との構成例を示す図である。撮像装置101は撮影機能を有するデジタルカメラであり、外部装置501は、例えばBluetooth通信モジュールなどにより撮像装置101と通信可能である各種センシング部を含むウエアラブルデバイスである。
図7は、本実施形態における撮像装置101の第1制御部223が受け持つ動作の例を説明するフローチャートである。
(2)外部機器(例えば301)から外部通信(例えばBLE通信)からの指示で電源起動
(3)Subプロセッサ(第2制御部211)から、電源起動
ここで、(3)のSubプロセッサから電源起動の場合は、Subプロセッサ内で演算された起動条件が読み込まれることになるが、詳細は後述する図8で説明する。
[モード判定条件]
後述する学習により設定された各検出情報(画像、音、時間、振動、場所、身体の変化、環境変化)や、自動撮影モードに移行してからの経過時間や、過去の撮影情報などから、自動撮影を行うべきと判定されると、自動撮影モードに設定される。
自動撮影モード処理(ステップ710)では、各検出情報(画像、音、時間、振動、場所、体の変化、環境変化)に基づいて、パン・チルトやズームを駆動して被写体を自動探索する。そして、ユーザの好みの撮影が行えるタイミングであると判定されると、静止画一枚撮影、静止画連続撮影、動画撮影、パノラマ撮影、タイムラプス撮影など様々な撮影方法の中から、撮影方法の判定処理が行われ、自動で撮影が行われる。
[モード判定条件]
前回自動編集を行ってからの経過時間と、過去の撮影画像情報から、自動編集を行うべきと判定されると、自動編集モードに設定される。
自動編集モード処理(ステップ712)では、学習に基づいた静止画像や動画像の選抜処理を行い、学習に基づいて画像効果や編集後動画の時間などにより、一つの動画にまとめたハイライト動画を作成する自動編集処理が行われる。
[モード判定条件]
スマートデバイス内の専用のアプリケーションを介した指示により、画像自動転送モードに設定されている場合、前回画像転送を行ってからの経過時間と過去の撮影画像情報から画像自動を行うべきと判定されると、自動画像転送モードに設定される。
画像自動転送モード処理(ステップ714)では、撮像装置101は、ユーザの好みであろう画像を自動で抽出し、スマートデバイス301にユーザの好みの画像を自動で抽出し、画像転送が行われる。ユーザの好みの画像抽出は、後述する各画像に付加されたユーザの好みを判定したスコアにより行う。
[モード判定条件]
前回学習処理を行ってからの経過時間と、学習に使用することのできる画像に対応付けられた情報や学習データの数などから、自動学習を行うべきと判定されると、自動学習モードに設定される。または、スマートデバイス301からの通信を介して学習データが設定されるように指示があった場合も本モードに設定される。
自動学習モード処理(ステップ716)では、ユーザの好みに合わせた学習を行う。スマートデバイス301での各操作、スマートデバイス301からの学習情報通知などの情報を基にニューラルネットワークを用いて、ユーザの好みに合わせた学習が行われる。スマートデバイス301での各操作の情報としては、例えば、撮像装置からの画像取得情報、専用アプリケーションを介して手動による編集指示がされた情報、撮像装置内の画像に対してユーザが入力した判定値情報がある。
[モード判定条件]
前回ファイル自動削除を行ってからの経過時間と、画像を記録している不揮発性メモリ216の残容量とから、ファイル自動削除を行うべきと判定されると、ファイル自動削除モードに設定される。
ファイル自動削除モード処理(ステップ718)では、不揮発性メモリ216内の画像の中から、各画像のタグ情報と撮影された日時などから自動削除されるファイルを指定し(三択処理)削除する。
(2)特定音検出の判定条件
(3)時間経過判定の判定条件
ステップ802で学習情報が読み込まれると、ステップ803に進み、揺れ検出値が取得される。揺れ検出値は、装置揺れ検出部209からのジャイロセンサや加速度センサなどの振動検出するセンサからの出力値である。
ユーザが撮像装置101を例えば指先などで叩いた状態(タップ状態)を、撮像装置101に取り付けられた加速度センサの出力値より検出することが可能である。3軸の加速度センサの出力を所定サンプリングで特定の周波数領域に設定したバンドパスフィルタ(BPF)に通すことで、タップによる加速度変化の信号領域を抽出することができる。BPF後の加速度信号を所定時間TimeA間に、所定閾値ThreshAを超えた回数が、所定回数CountAであるか否かにより、タップ検出を行う。ダブルタップの場合は、CountAは2に設定され、トリプルタップの場合は、CountAは3に設定される。また、TimeAやThreshAについても、学習情報によって変化させることができる。
撮像装置101の揺れ状態を、撮像装置101に取り付けられたジャイロセンサや加速度センサの出力値より検出することが可能である。ジャイロセンサや加速度センサの出力をHPFで高周波成分をカットし、LPFで低周波成分をカットした後、絶対値変換を行う。算出した絶対値が所定時間TimeB間に、所定閾値ThreshBを超えた回数が、所定回数CountB以上であるか否かにより、振動検出を行う。例えば撮像装置101を机などに置いたような揺れが小さい状態か、ウエアラブルで撮像装置101を装着し歩いているような揺れが大きい状態かを判定することが可能である。また、判定閾値や判定のカウント数の条件を複数もつことで、揺れレベルに応じた細かい揺れ状態を検出することも可能である。
特定の音声コマンドを検出する。音声コマンドは事前に登録されたいくつかのコマンドの他、ユーザが特定音声を撮像装置に登録できる。
予め大量の音声データを基に機械学習により学習させたネットワークにより音シーン判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出する。検出するシーンは学習によって変化する。
所定時間の間で、音レベルの大きさがレベル所定値を超えている時間を加算するなどの方法によって、音レベル判定による検出を行う。所定時間やレベル所定値の大きさなどが学習によって変化する。
複数のマイクが設置された平面上の音の方向を検出することができ、所定大きさの音レベルに対して、音の方向を検出する。
(2)特定音検出の判定条件
(3)時間経過判定の判定条件
それぞれ、ステップ804での特定揺れ状態検出処理により、特定揺れ検出の判定条件に入ったか否かを判定できる。また、ステップ805での特定音検出処理により、特定音検出の判定条件に入ったか否かを判定できる。また、ステップ807での時間経過検出処理により、時間経過検出の判定条件に入ったか否かを判定できる。したがって、何れか一つ以上の条件に入っていれば、低消費電力モード解除を行うような判定が行われる。
図9を用いて、自動撮影モード処理の詳細を説明する。前述したように、以下の処理は、本実施形態における撮像装置101の第1制御部223が制御を受け持つ。
図13を用いて、エリア分割を説明する。図13(a)のように撮像装置(原点Oが撮像装置位置とする。)位置を中心として、全周囲でエリア分割を行う。図13(a)の例においては、チルト方向、パン方向それぞれ22.5度で分割している。図13(a)のように分割すると、チルト方向の角度が0度から離れるにつれて、水平方向の円周が小さくなり、エリア領域が小さくなる。よって、図13(b)のように、チルト角度が45度以上の場合、水平方向のエリア範囲は22.5度よりも大きく設定している。図13(c)、(d)に撮影画角内でのエリア分割された例を示す。軸1301は初期化時の撮像装置101の方向であり、この方向角度を基準位置としてエリア分割が行われる。1302は、撮像されている画像の画角エリアを示しており、そのときの画像例を図13(d)に示す。画角に写し出されている画像内ではエリア分割に基づいて、図13(d)の1303~1318のように画像分割される。
前記のように分割した各エリアについて、エリア内に存在する被写体やエリアのシーン状況に応じて、探索を行う優先順位を示す重要度レベルを算出する。被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する人物の数、人物の顔の大きさ、顔向き、顔検出の確からしさ、人物の表情、人物の個人認証結果に基づいて算出する。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判別結果(青空、逆光、夕景など)、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等である。また、撮像装置の状態判定(S903)で、撮像装置の振動状態が検出されており、振動状態に応じても重要度レベルが変化するようにもすることができる。例えば、「置き撮り状態」と判定された場合、顔認証で登録されている中で優先度の高い被写体(例えば撮像装置のユーザである)を中心に被写体探索が行われるように、特定人物の顔認証を検出すると重要度レベルが高くなるように判定される。また、後述する自動撮影も上記顔を優先して行われることになり、撮像装置のユーザが撮像装置を身に着けて持ち歩き撮影を行っている時間が多くても、撮像装置を取り外して机の上などに置くことで、ユーザが写った画像も多く残すことができる。このときパン・チルトにより探索可能であることから、撮像装置の置き角度などを考えなくても、適当に設置するだけでユーザが写った画像やたくさんの顔が写った集合写真などを残すことができる。なお、上記条件だけでは、各エリアに変化がない限りは、最も重要度レベルが高いエリアが同じとなり、その結果探索されるエリアがずっと変わらないことになってしまう。そこで、過去の撮影情報に応じて重要度レベルを変化させる。具体的には、所定時間継続して探索エリアに指定され続けたエリアは重要度レベルを下げたり、後述するS910にて撮影を行ったエリアでは、所定時間の間重要度レベルを下げたりしてもよい。
前記のように各エリアの重要度レベルが算出されたら、重要度レベルが高いエリアを探索対象エリアとして決定する。そして、探索対象エリアを画角に捉えるために必要なパン・チルト探索目標角度を算出する。
自動撮影を行うかどうかの判定は以下の2つの判定に基づいて行う。1つは、S904にて得られたエリア別の重要度レベルに基づき、重要度レベルが所定値を超えている場合、自動撮影を実施する判定を下す。2つめは、ニューラルネットワークに基づく判定である。ニューラルネットワークの一例として、多層パーセプトロンによるネットワークの例を図12に示す。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値と、その入力に対して模範となる出力値とを学習しておくことで、新たな入力値に対して、学習した模範に倣った出力値を推定することができる。なお、学習の方法は後述する。図12の1201およびその縦に並ぶ丸は入力層のニューロンであり、1203およびその縦に並ぶ丸は中間層のニューロンであり、1204は出力層のニューロンである。1202のような矢印は各ニューロンを繋ぐ結合を示している。ニューラルネットワークに基づく判定では、入力層のニューロンに対して、現在の画角中に写る被写体や、シーンや撮像装置の状態に基づいた特徴量を入力として与え、多層パーセプトロンの順伝播則に基づく演算を経て出力層から出力された値を得る。そして、出力の値が閾値以上であれば、自動撮影を実施する判定を下す。なお、被写体の特徴は、現在のズーム倍率、現在の画角における一般物体認識結果、顔検出結果、現在画角に写る顔の数、顔の笑顔度・目瞑り度、顔角度、顔認証ID番号、被写体人物の視線角度、シーン判別結果、特定の構図の検出結果等を使用する。また、前回撮影時からの経過時間、現在時刻、GPS位置情報および前回撮影位置からの変化量、現在の音声レベル、声を発している人物、拍手、歓声が上がっているか否か等を使用してもよい。また、振動情報(加速度情報、撮像装置の状態)、環境情報(温度、気圧、照度、湿度、紫外線量)等を使用してもよい。更に、ウエアラブルデバイス501からの情報通知がある場合、通知情報(ユーザの運動情報、腕のアクション情報、心拍などの生体情報など)も特徴として使用してもよい。この特徴を所定の範囲の数値に変換し、特徴量として入力層の各ニューロンに与える。そのため、入力層の各ニューロンは上記使用する特徴量の数だけ必要となる。
撮影方法の判定では、S901乃至S904において検出した、撮像装置の状態や周辺の被写体の状態に基づいて、静止画撮影、動画撮影、連写、パノラマ撮影などの内どれを実行するかの判定を行う。例えば、被写体(人物)が静止している場合は静止画撮影を実行し、被写体が動いている場合は動画撮影または連写を実行する。また、被写体が撮像装置を取り囲むように複数存在している場合や、前述したGPS情報に基づいて景勝地であることが判断できた場合には、パン・チルトを操作させながら順次撮影した画像を合成してパノラマ画像を生成するパノラマ撮影処理を実行してもよい。なお、<自動撮影を行うかどうかの判定>での判定方法と同様に、撮影前に検出した各種情報をニューラルネットワークに基づく判断によって、撮影方法を判定することもできるし、この判定処理は、後述する学習処理によって、判定条件を変更することができる。
上記図9のS907で、説明したとおり、ユーザ(手動)による撮影指示は、音声コマンド入力による指示もある。音声コマンド入力は、ユーザが自分自身を含む撮影を行いたい場合の音声コマンド入力(例えば「私の写真撮って」等)を含む。そして、パン・チルトやズームを用いた探索処理にて、声を発声した被写体を探索し、撮影画角内に音声コマンドを発声した被写体を含めた撮影を実行する。
画像認識処理の一般的な機械学習手段として、畳み込みニューラルネットワークによる主被写体検出が知られている。畳み込みニューラルネットワークによって、検出した主被写体(声掛けした被写体)の有無と、存在すれば画像上の位置情報が得られる。或いは、顔検出や人体検出結果に基づいて、各人物の領域を切り出した画像毎に畳み込みニューラルネットワークによる主被写体判定を行い、主被写体を推定してもよい。この畳み込みニューラルネットワークは、音声コマンドによる発声を行った人物の画像に基づいて予め学習されたものとして用意しておくが、後に説明する方法で使用していくうちに学習させていくこともできる。
現在の画角中に写る人物毎に、被写体の特徴量を入力として与え、各人物に対して、主被写体判定を行う方法がある。その場合、顔の表情判定結果や目瞑り度、顔角度、顔認証ID番号、被写体人物の視線角度などの顔の特徴の他にも、ジェスチャー判定結果、画像シーン判結果、現在の音レベル、音シーン判定結果などを入力する特徴としてしようしてもよい。このニューラルネットワークについても、音声コマンドによる発声を行った人物の画像に基づいて被写体特徴量に基づいた学習されたものであり、後に説明する方法で使用していくうちに学習させていくこともできる。
被写体は撮像装置101に向かって音声コマンドを発声した後であるので、カメラの方向を向いている可能性が非常に高い。そこで、顔認証ID番号、顔表情結果、顔角度、視線方向、ジェスチャー判定結果のそれぞれの検出結果に重み係数をかけ単純に判定を行ってもよい。顔認証IDが登録済みの場合、主被写体である可能性が高い。顔表情の笑顔度が高い場合、主被写体である可能性が高い。顔角度や視線方向がカメラの方向を向いている場合、主被写体である可能性が高い。ジェスチャー(例えば、カメラに向かって手ふりなど)を行っている場合、主被写体である可能性が高い。何れか1つ以上の情報を用いて、主被写体を推定してもよい。
次に、本実施形態における自動編集モード処理(ハイライト動画)について説明する。
次に、本実施形態におけるファイル自動削除モードの処理について説明する。
次に、本実施形態におけるユーザの好みに合わせた学習について説明する。
自動撮影に対する学習について説明する。自動撮影では、ユーザの好みに合った画像の撮影を自動で行うための学習を行う。図9のフローを用いた説明で上述したように、撮影後(ステップS912)に学習情報生成処理が行われている。後述する方法により学習させる画像を選択させ、画像に含まれる学習情報を基に、ニューラルネットワークの重みを変化させることで学習する。学習は、自動撮影タイミングの判定を行うニューラルネットワークの変更と、撮影方法(静止画撮影、動画撮影、連写、パノラマ撮影など)の判定をニューラルネットワークの変更で行われる。
自動編集に対する学習について説明する。自動編集は、図9のステップ911での撮影直後の編集と、図11で説明したハイライト動画の編集のそれぞれに対して学習が行われる。撮影直後の編集について説明する。後述する方法により学習させる画像を選択させ、画像に含まれる学習情報を基に、ニューラルネットワークの重みを変化させることで学習する。撮影或いは撮影直前の情報により得られた各種検出情報をニューラルネットワークに入力し、編集方法(トリミング処理、画像の回転処理、HDR(ハイダイナミックレンジ)効果、ボケ効果、色変換フィルタ効果など)の判定を行う。ハイライト動画の編集について説明する。ハイライト動画は、ユーザの好みに合ったアルバム動画作成を自動で行うための学習を行う。後述する方法により学習させる画像を選択させ、画像に含まれる学習情報を基に、ニューラルネットワークの重みを変化させることで学習する。撮影或いは撮影直前の情報により得られた各種検出情報をニューラルネットワークに入力し、画像効果付与(トリミング処理、回転処理、HDR効果、ボケ効果、スライド、ズーム、フェード、色変換フィルタ効果、BGM、時間、静止画動画比率)の判定を行う。
被写体探索に対する学習について説明する。被写体探索では、ユーザの好みに合った被写体の探索を自動で行うための学習を行う。図9のフローを用いた説明で上述したように、被写体探索処理(ステップS904)において、各エリアの重要度レベルを算出し、パン・チルト、ズームを駆動し、被写体探索を行っている。学習は撮影画像や探索中の検出情報によって学習され、ニューラルネットワークの重みを変化させることで学習する。探索動作中の各種検出情報をニューラルネットワークに入力し、重要度レベルの算出を行い、重要度レベルに基づきパン・チルトの角度を設定することで学習を反映した被写体探索を行う。また、重要度レベルに基づくパン・チルト角度の設定以外にも、例えば、パン・チルト駆動(速度、加速度、動かす頻度)の学習も行う。
被写体登録に対する学習について説明する。被写体登録では、ユーザの好みに合った被写体の登録やランク付けを自動で行うための学習を行う。学習として、例えば、顔認証登録や一般物体認識の登録、ジェスチャーや音声認識、音によるシーン認識の登録を行う。認証登録は人と物体に対する認証登録を行い、画像取得される回数や頻度、手動撮影される回数や頻度、探索中の被写体の現れる頻度からランク設定を行う。登録された情報は、各ニューラルネットワークを用いた判定の入力として登録されることになる。
撮影報知に対する学習について説明する。図9のS910で説明したように、撮影直前に、所定の条件を満たしたとき、撮像装置が撮影対象となる人物に対して撮影を行う旨を報知した上で撮影することも行う。例えば、パン・チルトを駆動することにより視覚的に被写体の視線を誘導するモーションや、音声出力部218から発するスピーカー音や、LED制御部224によるLED点灯光を使用する。上記報知の直後に被写体の検出情報(例えば、笑顔度、目線検出、ジェスチャー)が得られたか否かで、検出情報を学習に使用するかを判定し、ニューラルネットワークの重みを変化させることで学習する。または、後述する方法により学習させる画像を選択させ、画像に含まれる学習情報を基に、ニューラルネットワークの重みを変化させることで学習する。画像には、撮影直前にどのように報知動作が行われたかの情報が埋め込まれており、選択された画像に付加された検出情報や上記撮影直前の報知動作情報を教師データとして学習する。撮影直前の各検出情報をニューラルネットワークに入力し、報知を行うか否かの判定や、各報知動作(音(音レベル/音の種類/タイミング)、LED光(色、点灯時間、点滅間隔)、パン・チルトモーション(動き方、駆動速度))の判定を行う。各報知動作の学習については、予め用意された報知方法(音、LED光、パン・チルトモーションの複合動作)の中からどの報知を行うかを選択する学習を行う方法でもよい。また、音、LED光、パン・チルトモーションの各報知動作それぞれに対して別々のニューラルネットワークを設けてそれぞれの動作を学習する方法でもよい。
図7、図8を用いて、説明したようにMainプロセッサ(第1制御部223)の供給電源をON/OFFする制御を行うが、低消費電力モードからの復帰条件や、低消費電力状態への遷移条件の学習が行われる。
上述したとおり、所定時間TimeAや所定閾値ThreshAを学習により変化させる。上記のタップ検出の閾値を下げた状態での仮タップ検出も行っており、タップ検出前に仮タップ検出が判定されていたか否かで、TimeAやThreshAのパラメータを検出し易いように設定する。また、タップ検出後の検出情報から、起動要因ではなかった(上述した被写体探索や自動撮影判定の結果、撮影対象がいない)と判定されると、TimeAやThreshAのパラメータを検出し難いように設定する。起動時の撮影対象がいるか否かの判定は後述する学習方法により学習された画像に埋め込まれた被写体検出情報により変化することになる。
上述したとおり、所定時間TimeBや所定閾値ThreshBや所定回数CountBなど学習により変化させる。揺れ状態により起動条件に入った場合、起動を行うが、起動後所定時間間の検出情報から、起動要因ではなかった(上述した被写体探索や自動撮影判定の結果、撮影対象がいない)と判定されると、揺れ状態判定のパラメータを変更し、起動し難いように学習する。また、揺れが大きい状態での撮影頻度が高いと判定されると、揺れ状態判定により起動し易いように設定する。起動時の撮影対象がいるか否かの判定や、揺れが大きい状態での撮影頻度が多いかの判定は、後述する学習方法により学習された画像に埋め込まれた被写体検出情報や撮影時の揺れ情報などにより変化することになる。
ユーザが検出したい特定音声や、特定音シーンや、特定音レベルを、例えば外部機器301の専用アプリケーションと通信を介して、手動で設定することでの学習ができる。また、複数の検出を音声処理部に予め設定しておき、後述する方法により学習させる画像を選択させ、画像に含まれる撮影前後の音情報などの学習情報を基に、学習する。これにより、起動要因とする音判定(特定音コマンドや、「歓声」「拍手」などの音シーン)を設定でき、音検出による起動を学習することができる。
ユーザが起動したい環境情報変化の条件を、例えば外部機器301の専用アプリケーションと通信を介して、手動で設定することでの学習ができる。例えば、温度や気圧や明るさや湿度や紫外線量の絶対量や変化量の特定条件によって起動させることができる。また、各環境情報に基づく、判定閾値を学習することもできる。環境情報による起動後後の検出情報から、起動要因ではなかった(上述した被写体探索や自動撮影判定の結果、撮影対象がいない)と判定されると、各判定閾値のパラメータを検出し難いように設定したりする。或いは、後述する学習方法により学習された画像に埋め込まれた各環境の情報から学習することで、環境情報による起動を学習することができる。例えば、温度上昇時において撮影された画像を多く学習させた場合、温度上昇時に駆動し易いように学習がされることになる。また、上記各パラメータは、電池の残容量によっても変化する。例えば、電池残量が少ないときは各種判定に入り難くなり、電池残量が多いときは各種判定に入り易くなる。具体的には、ユーザが必ず撮像装置を起動してほしい要因でない条件である揺れ状態検出結果や、音検出の音シーン検出は、電池残量によって各検出判定のし易さが変化することになる。
ファイル自動削除に対する学習について説明する。ファイル自動削除では、ファイルの空き容量や優先して削除する画像の選択などについて学習を行う。後述する方法により学習させる画像を選択させ、画像に含まれる学習情報を基に、ニューラルネットワークの重みを変化させることで学習することができる。上述したように、上記自動撮影で説明したとおり各画像には、ユーザの好みを判定されたスコアが演算されており、スコアが低い画像が優先して記録媒体221から削除される。また、スコアの点数だけでなく、記録媒体221内の各画像に埋め込まれた撮影日時や、後述する方法で、選択されたハイライト動画(自動編集された動画)の編集内容によって学習する。例えば、取得されたハイライト動画が、短い時間間隔で撮影された画像が多い場合、撮影された日時が古いファイルが優先的に削除されるが、長い時間間隔で撮影された画像を含む場合、日時が古くてもスコアの高いファイルは削除しないように学習される。或いは、逐次所定時間間隔で、記録媒体221内の各画像のスコアを再計算するようにする。スコア算出時のニューラルネットワークには撮影日時情報も入力されており、短い時間間隔で撮影された画像が多い場合、撮影日時が古いファイルはスコアが低くなるように学習される。これにより、優先的に削除されるようになり、長い時間間隔で撮影された画像を含む場合、日時が古くてもスコアは低くならないように学習されることで、日時が古くてもスコアの高いファイルは削除しないように学習される。他の例では、後述する方法で学習させる画像が選択されるが、選択される画像の日時が比較的新しいものを集中して選択されることが多い場合、撮影された日時が古いファイルを優先的に削除される。しかし、選択される画像の日時が古いものも選択されることが多い場合は、日時が古くてもスコアの高いファイルは削除しないように学習する。他の例では、撮影頻度が多くなるように学習されている場合は、ファイルの空き領域を多くとるようにファイルが自動削除され、撮影頻度が少なくなるように学習されている場合は、ファイルの空き領域は少なくていいようにファイルの自動削除が行われる。他の例では、動画の撮影頻度が多くなるように学習されている場合、ファイルの空き領域を多くとるようにファイルが自動削除され、静止画の撮影頻度が多くなるように学習されている場合、ファイルの空き領域は少なくなるようにファイルの自動削除が行われる。
像揺れ補正に対する学習について説明する。像揺れ補正は、図9のS902で補正量を算出し、補正量に基づいてS905でパン・チルトを駆動することにより、像揺れ補正を行う。像揺れ補正では、ユーザの揺れの特徴に合わせた補正を行うための学習を行う。撮影画像に対して、例えば、PSF(Point Spread Function)を推定することにより、ブレの方向及び大きさを推定することが可能である。図9のS912の学習用情報生成では、推定したブレの方向と大きさが、情報として画像に付加されている。図7のステップ716での学習モード処理内では、推定したブレの方向と大きさを出力として、撮影時の各検出情報を入力として、揺れ補正用のニューラルネットワークの重みを学習させる。撮影時の各検出情報とは、撮影前所定時間における画像の動きベクトル情報や、検出した被写体(人や物体)の動き情報、振動情報(ジャイロ出力、加速度出力、撮像装置の状態)等である。他にも、環境情報(温度、気圧、照度、湿度)、音情報(音シーン判定、特定音声検出、音レベル変化)、時間情報(起動からの経過時間、前回撮影時からの経過時間)、場所情報(GPS位置情報、位置移動変化量)なども入力に加えて判定してもよい。S902での補正量算出時において、上記各検出情報をニューラルネットワークに入力することで、その瞬間撮影したときのブレの大きさを推定することができ、推定したブレの大きさが大きいときは、シャッター速度を短くするなどの制御が可能となる。また、推定したブレの大きさが大きいときはブレ画像になってしまうので撮影を禁止するなどの方法もとれる。また、パン・チルト駆動角度には制限があるため、駆動端に到達してしまうとそれ以上補正を行うことができないが、上記のように撮影時のブレの大きさと方向を推定することで、露光中揺れ補正するためのパン・チルト駆動に必要な範囲を推定できる。露光中可動範囲の余裕がない場合は、揺れ補正量を算出するフィルタのカットオフ周波数を大きくして、可動範囲を超えないように設定することで、大きなブレを抑制することもできる。また、可動範囲を超えそうな場合は、露光直前にパン・チルトの角度を可動範囲を超えそうな方向とは逆の方向に回転してから、露光開始することで、可動範囲を確保してブレない撮影を行うこともできる。これにより、ユーザの撮影時の特徴や使い方に合わせて揺れ補正を学習することができるので、ブレのない画像を撮影することができる。また、上述した「撮影方法の判定」において、流し撮り撮影を行うか否かを判定し、撮影前までの検出情報から、被写体がブレなく撮影するためのパン・チルト駆動速度を推定して、被写体ブレ補正を行ってもよい。ここで、流し撮り撮影は、動いている被写体はブレがなく、動いていない背景が流れる撮影である。その場合、上記各検出情報をニューラルネットワークに入力することで、静止画像撮影中の駆動速度を推定する。学習は、画像を各ブロックで分割して、各ブロックのPSFを推定することで、主被写体が位置するブロックでのブレの方向及び大きさを推定し、その情報を基に学習することができる。また、後述する学習方法により、選択された画像の背景の流れ量に基づいて、背景の流し量を学習することもできる。その場合、選択された画像の中で、主被写体が位置しないブロックでのブレの大きさを推定し、その情報を基にユーザの好みを学習することができる。学習した好みの背景流し量に基づいて、撮影時のシャッター速度を設定することで、ユーザの好みにあった流し撮り効果が得られる撮影を自動で行うことができる。
画像自動転送に対する学習について説明する。画像自動転送では、記録媒体221に記録された画像の中から、優先して転送する画像の選択や転送頻度などについて学習を行う。後述する方法により学習させる画像を選択させ、画像に含まれる学習情報を基に、ニューラルネットワークの重みを変化させることで学習することができる。上述したように、上記自動撮影で説明したとおり各画像には、ユーザの好みを判定されたスコアが演算されており、スコアが高い画像が優先して画像転送する。また、過去に画像転送した画像に対応した学習情報も画像転送判定に使用する。後述する方法で学習させる画像が選択されると、画像に含まれる学習情報(特徴量)の何を重要視するかが設定され、過去に画像転送した画像が同じような特徴量を含むものが多い場合、別の特徴量を含み且つスコアの高い画像を転送するように設定する。また、撮像装置の各状態に応じて、画像転送頻度も変化する。電池の残容量によって変化する。例えば、電池残量が少ないときは、画像転送され難く、電池残量が多いときは、画像転送しやすくなるように設定される。具体的に例えば、前回自動転送された時からの経過時間と、その経過時間の間で撮影された画像の中で最も高いスコアとを乗算し、乗算した値が閾値を超えた時に画像転送するようにしておき、閾値を電池残量によって変化するような構成をとっても実現できる。他の例では、撮像装置101が設定された撮影頻度に応じて、画像自動転送の頻度を変更する。撮影頻度が多くなるように学習されている場合は、画像自動転送の頻度も多くなるように設定され、撮影頻度が少なくなるように学習されている場合は、画像自動転送の頻度も少なくなるように設定される。このとき撮影頻度によって上記閾値を変化させることで撮影頻度設定に応じた画像転送頻度を変更できる。他の例では、ファイル(記録媒体221)の空き容量に応じて、画像自動転送の頻度を変更することも行われる。ファイルの空き容量が多い場合は、画像自動転送の頻度は少なく、ファイルの空き容量が少ない場合は、画像自動転頻度が多くなるように設定される。このときファイル空き容量によって上記閾値を変化させることでファイル空き容量に応じた画像転送頻度を変更できる。
図9のステップS907乃至S913で説明したとおり、本実施形態においては、撮像装置101は、手動撮影と自動撮影の2つの撮影を行うことができる。ステップS907で手動操作による撮影指示(上記説明したとおり、3つの判定に基づいて行う。)があった場合は、ステップS912において、撮影画像は手動で撮影された画像であるとの情報が付加される。また、ステップS909にて自動撮影ONと判定されて撮影された場合においては、ステップS912において、撮影画像は自動で撮影された画像であると情報が付加される。
被写体探索動作中において、個人認証登録されている被写体が、どんな人物、物体、シーンと同時に写っているかを判定し、同時に画角内に写っている時間比率を演算しておく。
図3で説明したとおり、撮像装置101と外部機器301は、通信302、303の通信手段を有している。主に通信302によって画像の送受信が行われ、外部機器301内の専用のアプリケーションを介して、撮像装置101内の画像を外部機器301に通信取得することができる。また、撮像装置101内の保存されている画像データのサムネイル画像を外部機器301内の専用のアプリケーションを介して、閲覧可能な構成である。これにより、ユーザはサムネイル画像の中から、自分が気に入った画像を選択して、画像確認し、画像取得指示を操作することで外部機器301に画像取得できる。
上記で説明したとおり、撮像装置101と外部機器301は、通信手段を有しており、撮像装置101内の保存されている画像を外部機器301内の専用のアプリケーションを介して、閲覧可能な構成である。ここで、ユーザは、各画像に対して点数付を行う構成にしてもよい。ユーザが好みと思った画像に対して高い点数(例えば5点)を付けたり、好みでないと思った画像に対して低い点数(例えば1点)を付けることができ、ユーザの操作によって、撮像装置が学習していくような構成にする。各画像の点数は、撮像装置内で学習情報と共に再学習に使用する。指定した画像情報からの特徴データを入力にした、ニューラルネットワークの出力がユーザが指定した点数に近づくように学習される。
外部機器301は、記憶部404を有し、記憶部404には撮像装置101で撮影された画像以外の画像も記録される構成とする。このとき、外部機器301内に保存されている画像は、ユーザが閲覧し易く、公衆回線制御部406を介して、共有サーバに画像をアップロードすることも容易なため、ユーザの好みの画像が多く含まれる可能性が非常に高い。
人と人の繋がりに主眼をおいた社会的なネットワークを構築できるサービスやウェブサイトであるソーシャル・ネットワーキング・サービス(SNS)における情報を学習に使用する方法について説明する。画像をSNSにアップロードする際に、スマートデバイスから画像に関するタグを入力した上で、画像と共に送信する技術がある。また、他のユーザがアップロードした画像に対して好き嫌いを入力する技術もあり、他のユーザがアップロードした画像が、外部機器301を所有するユーザの好みの写真であるかも判定できる。
上記で説明したとおり、撮像装置101と外部機器301は、通信手段を有しており、撮像装置101内に現在設定されている学習パラメータを外部機器301に通信し、外部機器301の記憶部404に保存することができる。学習パラメータとしては、例えば、ニューラルネットワークの重みや、ニューラルネットワークに入力する被写体の選択などが考えられる。また、外部機器301内の専用のアプリケーションを介して、専用のサーバにセットされた学習パラメータを公衆回線制御部406を介して取得して、撮像装置101内の学習パラメータに設定することもできる構成とする。これにより、ある時点でのパラメータを外部機器301に保存しておいて、撮像装置101に設定することで学習パラメータを戻すこともできるし、他のユーザが持つ学習パラメータを専用のサーバを介して取得し自身の撮像装置101に設定することもできる。
外部機器301の専用のアプリケーションにユーザの操作により手動で編集できる機能を持たせ、編集作業の内容を学習にフィードバックすることもできる。例えば、画像効果付与の編集が可能であり、画像の学習情報に対して、手動で編集した画像効果付与が判定されるように、自動編集のニューラルネットワークを学習させる。画像効果は、例えば、トリミング処理、回転処理、スライド、ズーム、フェード、色変換フィルタ効果、時間、静止画動画比率、BGMが考えられる。
学習については、上記説明したとおりユーザの好みの学習を実施する。そして、「自動撮影」のS908において、ニューラルネットワークの出力値が、教師データであるユーザの好みとは異なることを示す値であるときに自動撮影する。例えば、ユーザが好んだ画像を教師画像とし、教師画像と類似する特徴を示すときに高い値が出力されように学習をさせた場合は、逆に出力値が所定以上低いことを条件として自動撮影を行う。また、同様に被写体探索処理や自動編集処理においても、ニューラルネットワークの出力値が、教師データであるユーザの好みとは異なることを示す値となる処理を実行する。
この方法では、学習処理の時点で、ユーザの好みとは異なるシチュエーションを教師データとして学習を実行する。例えば、手動で撮影した画像はユーザが好んで撮影したシーンであるとして、これを教師データとする学習方法を上述した。これに対し、本実施形態では逆に手動撮影した画像は教師データとして使用せず、所定時間以上手動撮影が行われなかったシーンを教師データとして追加する。あるいは、教師データの中に手動撮影した画像と特徴が類似するシーンがあれば、教師データから削除してもよい。また、外部通信機器で画像取得した画像と特徴が異なる画像を教師データに加えるか、画像取得した画像と特徴が似た画像を教師データから削除してもよい。このようにすることで、教師データには、ユーザの好みと異なるデータが集まり、学習の結果、ニューラルネットワークは、ユーザの好みと異なるシチュエーションを判別することができるようになる。そして、自動撮影ではそのニューラルネットワークの出力値に応じて撮影を行うことで、ユーザの好みとは異なるシーンを撮影できる。また、自動編集では、同様にユーザの好みとは異なる編集画像の提案が可能となる。
kt(f)×(y1-y0) (式2)
kp(f)は撮像装置の焦点距離fに応じて変化する被写体の画像上での目標位置と現在位置の差からパンの目標位置算出するための変換係数である。kt(f)は撮像装置の焦点距離fに応じて変化する被写体の画像上での目標位置と現在位置の差からチルトの目標位置算出するための変換係数である。
図9において本実施形態における撮影モードの基本的な処理シーケンスを説明したが、いかなる時もこのシーケンスにしたがって処理をしていると、被写体を捉えて自動撮影が行われるまでに時間が掛かってしまう。この場合、シャッターチャンスを逸失したり、ユーザの意図と異なる被写体を撮影してしまったりする恐れがある。特に、低消費電力モードが解除される(以下ウェイクアップという)際、どのような条件に基づいて解除されたかによって、最適な処理シーケンスは異なる。ここでは、ウェイクアップ条件とそれに適した処理シーケンスの例を示す。
タップ検出によるウェイクアップができると上述した。このような場合は、撮像装置101の所有者が撮影の意思を持ってウェイクアップを指示したと考えられる。そのため、周囲を探索して所有者を見つけ、所有者が写るように即座に自動撮影するような処理が好ましい。
音検出および音声コマンド認識によるウェイクアップができると上述した。音検出の場合は、音の方向に関心の対象人物がいる可能性が高い。また、音声コマンド認識の場合は、音声コマンドを発した人物が、自身を撮影してほしいという意思を持っていると考えられる。そこで、音声を検知した方向にいる人物を見つけて即座に自動撮影するような処理が好ましい。
その他の条件に基づくウェイクアップ(例えば、図8で説明した時間経過判定)の際は、基本とする図9のシーケンスにしたがって処理を行う。こうすることによって、重要な被写体が要るときに限り自動撮影が行なわれ、消費電力や記憶装置の空き容量の消費を抑えることができる。
起動した条件に応じて、起動後の探索、撮影処理を変更する。
[例2]タップで起こされたら持ち主(認証顔)を探す
(2)スリープ
被写体シーン判定手段を有し、シーン判定結果に応じて、自動スリープに入ることを決定する。判定結果に応じてスリープ時間を調整する。撮像装置の内部状態を判定する手段を有し、内部状態判定手段に応じて自動スリープに入る。
[例2]シーンが変化に乏しければ長めにスリープ
[例3]自動撮影、学習、編集、転送モードのいずれにも該当しない場合スリープ
[例4]電池残量
(3)自動画像転送
経過時間、撮影済画像の評価値、電池残量、カード容量のうち少なくとも一つの条件に応じて、画像を自動で転送したり、画像転送頻度を自動で決定したりする。
経過時間、教師データのたまり度合、現在のシーンや被写体の判別結果、予定時刻、今後の撮影可能性、電源OFF時のうち少なくとも一つの条件に応じて、自動で学習モードに入る。
条件に応じて自動削除を行う。撮影頻度、空き容量に応じて削除目標枚数を設定する。<ユーザが手動撮影した画像>、<ユーザが高評価した画像>、<撮像装置が算出した重要度スコアが高い画像>を削除されづらく設定する。また、<外部装置に転送済み画像>、<一度もユーザの目に触れてない画像>を削除されやすく設定する。また、取得されたハイライト動画が短い間隔で撮影されていれば、古いファイルを優先的に削除してもよい。また、長い間隔で撮影されていれば、古くてもスコアの高いファイルは削除しないようにしてもよい。また、動画の撮影頻度が多くなるように学習されていれば、通常より多くを自動削除するようにしてもよい。
撮影画像のたまり度合、前回編集時からの経過時間、撮影済み画像の評価値、時間的な節目のうち少なくとも一つの条件に応じて、編集処理を自動実行する。
(1)カメラ3201の情報を撮像装置101に転送
例えば、ユーザ操作でカメラ3201で撮影された画像から、メイン被写体を抽出する。
例えば、ユーザ操作でカメラ3201が撮影されたタイミングを撮像装置101に通知する。そして、撮影タイミングにおける撮像装置101の画像から重要被写体を設定する。その後、撮像装置101は被写体を撮影した枚数から、重要な被写体であるかを判断し、被写体登録して、自動撮影/追尾などを行う。
撮像装置101と別カメラ3201とを連携して撮影する場合の撮像装置101からの情報によりカメラ3201をアシストする例を説明する。
撮像装置101で検出した被写体情報(例えば、個人登録された顔、犬猫など所有者の好みと判定された被写体、ユーザの好みの被写体を判定された審美性判定結果)をカメラ3201に通知する。そして、カメラ3201のライブ画像においてその被写体がどこに位置するかや、画像外においてどんな被写体がいるか(例えば、画面右方向に車がいますとか)を通知し、ユーザの好みの被写体がいるかどうかを通知する。
撮像装置101から、カメラ3201に撮影指示を行う構成にしてもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
301 スマートデバイス
501 ウエアラブルデバイス
104 チルト回転ユニット
105 パン回転ユニット
Claims (10)
- 機械学習により得られたパラメータを用いて記録用の画像を撮像するタイミングが自動で指定される自動撮影処理が実行されることで得られた第1の画像データと、ユーザによる指示に従って第1の処理が実行されることで得られた第2の画像データとを取得する取得手段と、
前記機械学習により前記パラメータを更新する学習部と、を有し、
前記学習部は、前記第1の画像データよりも前記第2の画像データの方が高い値が出力されるように前記機械学習を行うことを特徴とする画像処理装置。 - 前記第1の処理は、記録用の画像を撮像するタイミングが前記ユーザにより手動で指定される手動撮影処理、画像処理、画像編集処理、被写体の探索処理、被写体登録処理のいずれかであることを特徴とする請求項1に記載の画像処理装置。
- 前記学習部は、前記第1の画像データと前記第2の画像データとを教師データとして、画像を評価するためのニューラルネットワークを生成することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記学習部により更新されたパラメータを外部機器に送信する送信部を備えることを特徴とする請求項1乃至3のいずれか1項に記載の学習処理装置。
- 前記学習部により更新されたパラメータを用いて、記録用の画像を撮像するタイミングが自動で指定される自動撮影処理を制御する制御手段を備えることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 前記学習部により更新されたパラメータを用いて、自動編集処理を制御する制御手段を備えることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記自動編集処理は、記録された画像を前記パラメータを用いて選択し、選択された画像に基づいてハイライト動画を作成する処理であることをと特徴とする請求項6に記載の画像処理装置。
- 前記学習部により更新されたパラメータを用いて、被写体探索処理を制御する制御手段を備えることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
- 前記制御手段は、前記第1の画像データを取得する撮像手段のパン駆動、チルト駆動、ズーム駆動のうち少なくともいずれかを制御することで被写体探索処理を行うことを特徴とする請求項8に記載の画像処理装置。
- 機械学習により得られたパラメータを用いて記録用の画像を撮像するタイミングが自動で指定される自動撮影処理が実行されることで得られた第1の画像データを取得するステップと、
ユーザによる指示に従って第1の処理が実行されることで得られた第2の画像データを取得する取得ステップと、
前記機械学習により前記パラメータを更新する学習ステップと、を有し、
前記学習ステップにおいて、前記第1の画像データよりも前記第2の画像データの方が高い値が出力されるように前記機械学習が行われることを特徴とする画像処理装置の制御方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017188938 | 2017-09-28 | ||
JP2017188938 | 2017-09-28 | ||
JP2017254231 | 2017-12-28 | ||
JP2017254231 | 2017-12-28 | ||
JP2020156654A JP7077376B2 (ja) | 2017-09-28 | 2020-09-17 | 撮像装置およびその制御方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020156654A Division JP7077376B2 (ja) | 2017-09-28 | 2020-09-17 | 撮像装置およびその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022111133A JP2022111133A (ja) | 2022-07-29 |
JP7423685B2 true JP7423685B2 (ja) | 2024-01-29 |
Family
ID=67062687
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018053078A Active JP6766086B2 (ja) | 2017-09-28 | 2018-03-20 | 撮像装置およびその制御方法 |
JP2020156654A Active JP7077376B2 (ja) | 2017-09-28 | 2020-09-17 | 撮像装置およびその制御方法 |
JP2022080613A Active JP7423685B2 (ja) | 2017-09-28 | 2022-05-17 | 画像処理装置およびその制御方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018053078A Active JP6766086B2 (ja) | 2017-09-28 | 2018-03-20 | 撮像装置およびその制御方法 |
JP2020156654A Active JP7077376B2 (ja) | 2017-09-28 | 2020-09-17 | 撮像装置およびその制御方法 |
Country Status (7)
Country | Link |
---|---|
US (2) | US11102389B2 (ja) |
JP (3) | JP6766086B2 (ja) |
KR (1) | KR102405171B1 (ja) |
CN (1) | CN111345028B (ja) |
BR (1) | BR112020006277A2 (ja) |
DE (1) | DE112018005025T5 (ja) |
RU (1) | RU2741480C1 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4900891B2 (ja) * | 2005-04-27 | 2012-03-21 | キヤノン株式会社 | 通信装置及び通信方法 |
CN110012210B (zh) * | 2018-01-05 | 2020-09-22 | Oppo广东移动通信有限公司 | 拍照方法、装置、存储介质及电子设备 |
CN108391057B (zh) * | 2018-04-04 | 2020-10-16 | 深圳市冠旭电子股份有限公司 | 摄像头拍摄控制方法、装置、智能设备及计算机存储介质 |
JP7348754B2 (ja) * | 2019-06-03 | 2023-09-21 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、記憶媒体 |
US10949715B1 (en) * | 2019-08-19 | 2021-03-16 | Neon Evolution Inc. | Methods and systems for image and voice processing |
JP7215382B2 (ja) * | 2019-09-20 | 2023-01-31 | 株式会社デンソーウェーブ | 監視システム |
JP7438706B2 (ja) * | 2019-09-30 | 2024-02-27 | キヤノン株式会社 | 撮像制御装置、撮像装置、及び撮像制御方法 |
US11412149B1 (en) * | 2019-10-10 | 2022-08-09 | Mehul Gandhi | Autonomous positioning system for in interchangeable camera devices |
KR20210049264A (ko) * | 2019-10-25 | 2021-05-06 | 주식회사 닥터픽 | 음압을 활용한 구강 관리 방법, 구강 관리 장치 및 그 구강 관리 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체 |
JP2021093568A (ja) * | 2019-12-06 | 2021-06-17 | キヤノン株式会社 | 撮像装置、情報処理装置、及びこれらの制御方法並びにプログラム、学習済みモデル選択システム |
JP2021097287A (ja) * | 2019-12-16 | 2021-06-24 | シャープ株式会社 | 携帯端末、動画像取得方法、および動画像取得プログラム |
WO2021140879A1 (ja) * | 2020-01-06 | 2021-07-15 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、プログラム |
JP7471827B2 (ja) * | 2020-01-09 | 2024-04-22 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
KR20210092620A (ko) * | 2020-01-16 | 2021-07-26 | 삼성전자주식회사 | 카메라 이동 제어 방법 및 장치 |
JP7393245B2 (ja) | 2020-02-26 | 2023-12-06 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
US11451703B2 (en) * | 2020-03-23 | 2022-09-20 | Samsung Electronics Co.. Ltd. | Method and system for customizing camera parameters |
CN111929035B (zh) * | 2020-07-27 | 2023-04-28 | 歌尔科技有限公司 | 心率模组led亮度检测方法和装置 |
WO2022044928A1 (ja) * | 2020-08-25 | 2022-03-03 | 富士フイルム株式会社 | 撮像支援装置、撮像支援システム、撮像支援方法、及びプログラム |
CN112135107B (zh) * | 2020-09-25 | 2021-08-03 | 智洋创新科技股份有限公司 | 一种基于智能监拍装置的低功耗机芯控制方法 |
JP2022070464A (ja) | 2020-10-27 | 2022-05-13 | キヤノン株式会社 | 撮像装置、制御方法、およびプログラム |
JP2022071984A (ja) | 2020-10-29 | 2022-05-17 | キヤノン株式会社 | 撮像装置、制御方法、およびプログラム |
JP2022086195A (ja) | 2020-11-30 | 2022-06-09 | キヤノン株式会社 | 撮像装置、電子機器およびそれらの制御方法 |
WO2022201810A1 (ja) * | 2021-03-24 | 2022-09-29 | 富士フイルム株式会社 | 制御装置、制御方法、及びプログラム |
US11893668B2 (en) | 2021-03-31 | 2024-02-06 | Leica Camera Ag | Imaging system and method for generating a final digital image via applying a profile to image information |
US11861315B2 (en) * | 2021-04-21 | 2024-01-02 | Meta Platforms, Inc. | Continuous learning for natural-language understanding models for assistant systems |
US20220366170A1 (en) * | 2021-04-21 | 2022-11-17 | Meta Platforms, Inc. | Auto-Capture of Interesting Moments by Assistant Systems |
JP2023006632A (ja) | 2021-06-30 | 2023-01-18 | キヤノン株式会社 | 撮像装置、制御方法、およびプログラム |
US11308657B1 (en) | 2021-08-11 | 2022-04-19 | Neon Evolution Inc. | Methods and systems for image processing using a learning engine |
CN116055859B (zh) * | 2022-08-29 | 2023-10-20 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008103784A (ja) | 2006-10-17 | 2008-05-01 | Hitachi Ltd | 映像記録装置 |
JP2013054430A (ja) | 2011-09-01 | 2013-03-21 | Nikon Corp | 画像評価装置、撮像装置およびプログラム |
JP2016061884A (ja) | 2014-09-17 | 2016-04-25 | カシオ計算機株式会社 | 撮影装置、撮影方法及びプログラム |
JP2017098633A (ja) | 2015-11-18 | 2017-06-01 | カシオ計算機株式会社 | 撮影装置、画像評価方法及びプログラム |
Family Cites Families (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19511713A1 (de) | 1995-03-30 | 1996-10-10 | C Vis Computer Vision Und Auto | Verfahren und Vorrichtung zur automatischen Bildaufnahme von Gesichtern |
JPH09205574A (ja) | 1996-01-24 | 1997-08-05 | Fuji Photo Optical Co Ltd | ビデオカメラ装置の制御方法 |
JPH09289609A (ja) | 1996-04-24 | 1997-11-04 | Aiphone Co Ltd | カメラ監視装置 |
US6301440B1 (en) | 2000-04-13 | 2001-10-09 | International Business Machines Corp. | System and method for automatically setting image acquisition controls |
JP2002344957A (ja) | 2001-05-11 | 2002-11-29 | Hitachi Kokusai Electric Inc | 画像監視装置 |
US6606458B2 (en) | 2001-09-05 | 2003-08-12 | Nisca Corporation | Automatic framing camera |
JP4268008B2 (ja) * | 2003-10-08 | 2009-05-27 | 富士通株式会社 | 配送計画作成プログラムおよび配送計画作成方法 |
TWI235358B (en) | 2003-11-21 | 2005-07-01 | Acer Inc | Interactive speech method and system thereof |
JP2005184485A (ja) | 2003-12-19 | 2005-07-07 | Casio Comput Co Ltd | 撮像装置、撮像装置の動作制御方法及びプログラム |
AU2004311841B2 (en) * | 2003-12-24 | 2008-10-09 | Walker Digital, Llc | Method and apparatus for automatically capturing and managing images |
JP2005217862A (ja) | 2004-01-30 | 2005-08-11 | Hitachi Kokusai Electric Inc | 監視システム |
JP4400315B2 (ja) * | 2004-06-02 | 2010-01-20 | セイコーエプソン株式会社 | 学習機能付きカメラ |
EP1793580B1 (en) | 2005-12-05 | 2016-07-27 | Microsoft Technology Licensing, LLC | Camera for automatic image capture having plural capture modes with different capture triggers |
CN2904500Y (zh) | 2006-06-01 | 2007-05-23 | 洪汉雄 | 可拍摄声源位置的摄像机 |
WO2009079809A1 (en) | 2007-12-07 | 2009-07-02 | Multi Base Limited | Video surveillance system with object tracking and retrieval |
JP5173861B2 (ja) | 2008-01-17 | 2013-04-03 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2009177480A (ja) | 2008-01-24 | 2009-08-06 | Yamaha Corp | 撮影装置 |
JP5109697B2 (ja) | 2008-02-07 | 2012-12-26 | ソニー株式会社 | 画像送信装置、画像受信装置、画像送受信システム、画像送信プログラムおよび画像受信プログラム |
JP5141392B2 (ja) | 2008-06-20 | 2013-02-13 | カシオ計算機株式会社 | 撮像装置、周音範囲表示方法及びプログラム |
US8364660B2 (en) * | 2008-07-11 | 2013-01-29 | Videosurf, Inc. | Apparatus and software system for and method of performing a visual-relevance-rank subsequent search |
JP2011188055A (ja) | 2010-03-05 | 2011-09-22 | Panasonic Corp | 撮像装置 |
JP2012175533A (ja) | 2011-02-23 | 2012-09-10 | Sanyo Electric Co Ltd | 電子機器 |
JP2012235257A (ja) | 2011-04-28 | 2012-11-29 | Panasonic Corp | 撮影装置 |
JP5906693B2 (ja) * | 2011-11-30 | 2016-04-20 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN102496195A (zh) | 2011-12-02 | 2012-06-13 | 宁波通亿物联技术有限公司 | 一种移动式引航记录仪 |
JP6007487B2 (ja) | 2011-12-07 | 2016-10-12 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システムおよびプログラム |
CN102833476B (zh) | 2012-08-17 | 2015-01-21 | 歌尔声学股份有限公司 | 终端设备用摄像头和终端设备用摄像头的实现方法 |
CN203038337U (zh) | 2012-12-21 | 2013-07-03 | 上海海达通信公司 | 桥吊无线全方位行车影像装置 |
CN103051838A (zh) | 2012-12-25 | 2013-04-17 | 广东欧珀移动通信有限公司 | 一种摄像控制方法及装置 |
JP5847070B2 (ja) * | 2012-12-27 | 2016-01-20 | オリンパス株式会社 | サーバ装置及び撮影装置 |
RU2541353C2 (ru) | 2013-06-19 | 2015-02-10 | Общество с ограниченной ответственностью "Аби Девелопмент" | Автоматическая съемка документа с заданными пропорциями |
US9800782B2 (en) | 2013-10-14 | 2017-10-24 | Narrative AB | Method of operating a wearable lifelogging device |
CN103595953B (zh) | 2013-11-14 | 2017-06-20 | 华为技术有限公司 | 一种控制视频拍摄的方法和装置 |
JP6396066B2 (ja) * | 2014-04-10 | 2018-09-26 | 株式会社東芝 | 画質改善システム、画質改善方法及びプログラム |
US9351118B2 (en) | 2014-04-11 | 2016-05-24 | Keith Crutchfield | Apparatus, systems and methods for visually connecting people |
CN104978956A (zh) | 2014-04-14 | 2015-10-14 | 美的集团股份有限公司 | 语音控制方法和系统 |
CN103957359B (zh) | 2014-05-15 | 2016-08-24 | 努比亚技术有限公司 | 摄像装置及其对焦方法 |
JP2014211642A (ja) * | 2014-06-09 | 2014-11-13 | フリュー株式会社 | 写真撮影編集機、写真撮影編集機の処理方法、並びにプログラム |
CN104092936B (zh) | 2014-06-12 | 2017-01-04 | 小米科技有限责任公司 | 自动对焦方法及装置 |
JP2016033571A (ja) | 2014-07-31 | 2016-03-10 | キヤノン株式会社 | カメラ雲台装置 |
CN104253944B (zh) | 2014-09-11 | 2018-05-01 | 陈飞 | 基于目光连接的声音命令下达装置和方法 |
JP2016062637A (ja) | 2014-09-12 | 2016-04-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 記録媒体、再生装置、および再生方法 |
JP6503559B2 (ja) | 2014-10-20 | 2019-04-24 | ソニー株式会社 | 音声処理システム |
JP6504808B2 (ja) | 2014-12-22 | 2019-04-24 | キヤノン株式会社 | 撮像装置、音声コマンド機能の設定方法、コンピュータプログラム、及び記憶媒体 |
JP6436760B2 (ja) * | 2014-12-24 | 2018-12-12 | キヤノン株式会社 | ズーム制御装置、撮像装置、ズーム制御装置の制御方法、及びズーム制御装置の制御プログラム |
CN105812969A (zh) | 2014-12-31 | 2016-07-27 | 展讯通信(上海)有限公司 | 一种拾取声音信号的方法、系统及装置 |
JP6360204B2 (ja) | 2015-02-02 | 2018-07-18 | 富士フイルム株式会社 | カメラ装置、撮像システム、制御方法及びプログラム |
JP6374536B2 (ja) * | 2015-02-02 | 2018-08-15 | 富士フイルム株式会社 | 追尾システム、端末装置、カメラ装置、追尾撮影方法及びプログラム |
JP2016156877A (ja) | 2015-02-23 | 2016-09-01 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN108089691A (zh) | 2015-06-01 | 2018-05-29 | 中兴通讯股份有限公司 | 一种降低终端设备功耗的方法及装置 |
JP6667268B2 (ja) * | 2015-11-26 | 2020-03-18 | キヤノン株式会社 | 動きベクトル検出装置およびその制御方法、撮像装置 |
CN105938657B (zh) | 2016-06-27 | 2018-06-26 | 常州加美科技有限公司 | 一种无人驾驶车辆的听觉感知与智能决策系统 |
JP6665066B2 (ja) | 2016-09-28 | 2020-03-13 | コスモ石油ルブリカンツ株式会社 | 滑り案内面用潤滑油組成物 |
US11615566B2 (en) * | 2017-05-10 | 2023-03-28 | Fotonation Limited | Multi-camera vehicle vision system and method |
US20190077353A1 (en) * | 2017-09-13 | 2019-03-14 | International Business Machines Corporation | Cognitive-based vehicular incident assistance |
US11032468B2 (en) * | 2017-12-26 | 2021-06-08 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image capturing apparatus, and storage medium |
GB2570792B (en) * | 2017-12-26 | 2020-09-30 | Canon Kk | Image capturing apparatus, method of controlling the same, and storage medium |
JP6852141B2 (ja) * | 2018-11-29 | 2021-03-31 | キヤノン株式会社 | 情報処理装置、撮像装置、情報処理装置の制御方法、および、プログラム |
-
2018
- 2018-03-20 JP JP2018053078A patent/JP6766086B2/ja active Active
- 2018-09-20 DE DE112018005025.4T patent/DE112018005025T5/de active Pending
- 2018-09-20 CN CN201880072663.0A patent/CN111345028B/zh active Active
- 2018-09-20 BR BR112020006277-4A patent/BR112020006277A2/pt unknown
- 2018-09-20 KR KR1020207010743A patent/KR102405171B1/ko active Application Filing
- 2018-09-20 RU RU2020114752A patent/RU2741480C1/ru active
-
2020
- 2020-03-25 US US16/830,028 patent/US11102389B2/en active Active
- 2020-09-17 JP JP2020156654A patent/JP7077376B2/ja active Active
-
2021
- 2021-07-09 US US17/371,437 patent/US11729487B2/en active Active
-
2022
- 2022-05-17 JP JP2022080613A patent/JP7423685B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008103784A (ja) | 2006-10-17 | 2008-05-01 | Hitachi Ltd | 映像記録装置 |
JP2013054430A (ja) | 2011-09-01 | 2013-03-21 | Nikon Corp | 画像評価装置、撮像装置およびプログラム |
JP2016061884A (ja) | 2014-09-17 | 2016-04-25 | カシオ計算機株式会社 | 撮影装置、撮影方法及びプログラム |
JP2017098633A (ja) | 2015-11-18 | 2017-06-01 | カシオ計算機株式会社 | 撮影装置、画像評価方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022111133A (ja) | 2022-07-29 |
JP2020205637A (ja) | 2020-12-24 |
US11729487B2 (en) | 2023-08-15 |
US11102389B2 (en) | 2021-08-24 |
DE112018005025T5 (de) | 2020-07-09 |
BR112020006277A2 (pt) | 2020-10-20 |
JP2019106694A (ja) | 2019-06-27 |
JP7077376B2 (ja) | 2022-05-30 |
JP6766086B2 (ja) | 2020-10-07 |
US20200228692A1 (en) | 2020-07-16 |
CN111345028A (zh) | 2020-06-26 |
KR102405171B1 (ko) | 2022-06-14 |
RU2741480C1 (ru) | 2021-01-26 |
KR20200049864A (ko) | 2020-05-08 |
US20210337100A1 (en) | 2021-10-28 |
CN111345028B (zh) | 2021-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7423685B2 (ja) | 画像処理装置およびその制御方法 | |
KR102475999B1 (ko) | 화상 처리장치 및 그 제어방법 | |
JP6641447B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP6641446B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、記憶媒体 | |
JP7233162B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
WO2019124055A1 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2022070684A (ja) | 撮像装置およびその制御方法、プログラム | |
CN110557560B (zh) | 摄像设备及其控制方法和存储介质 | |
JP7545505B2 (ja) | 撮像装置及びその制御方法、プログラム | |
JP7403218B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
CN111105039A (zh) | 信息处理设备及其控制方法和存储器 | |
JP7527769B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP7199808B2 (ja) | 撮像装置およびその制御方法 | |
JP2020071873A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP2020145556A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2023127983A (ja) | 撮像装置およびその制御方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220613 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220613 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231117 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240117 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7423685 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |