JP2024011298A

JP2024011298A - Electronic apparatus, control method of the same and program

Info

Publication number: JP2024011298A
Application number: JP2022113191A
Authority: JP
Inventors: 紀章佐藤; Noriaki Sato; 誠 ▲浜▼▲崎▼; Makoto Hamasaki
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2022-07-14
Filing date: 2022-07-14
Publication date: 2024-01-25

Abstract

PROBLEM TO BE SOLVED: To allow a desired image to be easily selected from a plurality of images that is continuously captured.

SOLUTION: An electronic apparatus (100) of recording and reproducing a plurality of images that is continuously captured by imaging means (22) comprises: detection means which detects a subject imaged in the image; tracking means which tracks the subject detected by the detection means among the plurality of images; evaluation means which evaluates accuracy of a focus of the subject for each of the plurality of images; recording control means which records the plurality of images and the evaluation result of the evaluation means in a recording medium; and display control means which performs control so as to display the image recorded in the recording medium. The display control means performs control so as to display the plurality of images recorded in the recording medium with a priority based on the evaluation result of the selected subject when the subject detected in the plurality of images is selected.

SELECTED DRAWING: Figure 2

Description

本発明は、撮像手段で連写した複数の画像を記録及び再生する電子機器、その制御方法及びプログラムに関する。 TECHNICAL FIELD The present invention relates to an electronic device that records and reproduces a plurality of images shot continuously by an imaging device, and a control method and program for the electronic device.

デジタルカメラ等の撮像装置において、シャッターチャンスを逃さないようにするために、複数枚の撮影を連続で行う連写を実行し、連写した複数の画像の中から所望の画像を選択できるようにしたものがある。しかしながら、連写速度等の基本性能向上に伴い、大量の画像が得られるようになっており、連写した複数の画像の中から所望の画像を選択する負荷が増大している。
複数の画像の中から所望の画像を選択できるようにする技術として、特許文献１には、複数枚連続撮影することによって得られた各撮影画像の中から特定人物部分を抽出し、この特定人物部分を解析しながらその撮影状態を評価し、撮影画像毎に評価された特定人物部分の評価結果のうち、高い評価を得た特定人物部分を含む撮影画像を特定する技術が開示されている。 In imaging devices such as digital cameras, in order not to miss a photo opportunity, it is now possible to execute continuous shooting, which takes multiple images in succession, and to select the desired image from among the multiple images shot in succession. There is something I did. However, as basic performance such as continuous shooting speed improves, a large number of images are now obtained, and the burden of selecting a desired image from among a plurality of continuously shot images is increasing.
As a technology that allows a desired image to be selected from a plurality of images, Patent Document 1 discloses a technique that extracts a specific person part from each photographed image obtained by continuously photographing multiple images, and A technique has been disclosed that evaluates the photographing state of a portion while analyzing the portion, and identifies a photographed image including a particular person portion that received a high evaluation among the evaluation results of a particular person portion evaluated for each photographed image.

特開２００５－４５６００号公報Japanese Patent Application Publication No. 2005-45600

特許文献１に開示されている技術は、予め人物に関する情報を記憶管理しておき、人物が特定されていることを前提とするものである。そのため、画像に写る特定人物以外の人物に着目して画像を選択したいときには、所望の画像を選択する負荷を低減させることができない。 The technique disclosed in Patent Document 1 is based on the premise that information regarding a person is stored and managed in advance and the person is identified. Therefore, when the user wants to select an image by focusing on a person other than the specific person appearing in the image, it is not possible to reduce the burden of selecting the desired image.

本発明は上記のような点に鑑みてなされたものであり、連写した複数の画像の中から所望の画像を選択しやすくすることを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to make it easier to select a desired image from a plurality of continuously shot images.

本発明の電子機器は、画像に写る被写体を検出する検出手段と、前記検出手段で検出した被写体を前記複数の画像間で追尾する追尾手段と、前記複数の画像毎に前記被写体を評価する評価手段と、前記複数の画像と前記評価手段の評価結果とを記録媒体に記録する記録制御手段と、前記記録媒体に記録された画像を表示するように制御する表示制御手段とを備え、前記表示制御手段は、前記複数の画像において検出された被写体が選択された場合、前記記録媒体に記録された前記複数の画像を、当該選択された被写体の前記評価結果に基づいた優先度で表示するように制御することを特徴とする。 The electronic device of the present invention includes a detection means for detecting a subject appearing in an image, a tracking means for tracking the subject detected by the detection means among the plurality of images, and an evaluation for evaluating the subject for each of the plurality of images. means, recording control means for recording the plurality of images and the evaluation results of the evaluation means on a recording medium, and display control means for controlling to display the images recorded on the recording medium, The control means is configured to display the plurality of images recorded on the recording medium with a priority based on the evaluation result of the selected subject when a subject detected in the plurality of images is selected. It is characterized by controlling.

本発明によれば、連写した複数の画像の中から所望の画像を選択しやすくなる。 According to the present invention, it becomes easier to select a desired image from among a plurality of continuously shot images.

実施形態に係るデジタルカメラの外観図である。FIG. 1 is an external view of a digital camera according to an embodiment. 実施形態に係るデジタルカメラの構成例を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration example of a digital camera according to an embodiment. 実施形態に係るデジタルカメラが撮影時に実行する処理を示すフローチャートである。3 is a flowchart illustrating a process that the digital camera according to the embodiment executes when photographing. 実施形態に係るデジタルカメラが再生時に実行する処理を示すフローチャートである。7 is a flowchart illustrating a process that the digital camera according to the embodiment executes during playback. １つの連写シーンにおいて連写した複数の画像の例を示す図である。FIG. 3 is a diagram illustrating an example of a plurality of images continuously shot in one continuous shooting scene. 被写体の選択がないときの画像の表示順の例を示す図である。FIG. 7 is a diagram illustrating an example of the display order of images when no subject is selected. 被写体を選択したときの画像の表示順の例を示す図である。FIG. 7 is a diagram illustrating an example of the display order of images when a subject is selected. 被写体に関する情報及びスコアの例を示す図である。FIG. 3 is a diagram illustrating an example of information regarding a subject and a score. １つの連写シーンにおける代表画像を説明するための図である。FIG. 3 is a diagram for explaining representative images in one continuous shooting scene.

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
本実施形態では、撮像手段で連写した複数の画像を記録及び再生する電子機器の一例としてデジタルカメラ１００を説明する。図１は、実施形態に係るデジタルカメラ１００の外観図である。図１（ａ）はデジタルカメラ１００を前側から見た斜視図、（ｂ）はデジタルカメラ１００を背面側から見た斜視図である。 Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.
In this embodiment, a digital camera 100 will be described as an example of an electronic device that records and reproduces a plurality of images shot continuously by an imaging device. FIG. 1 is an external view of a digital camera 100 according to an embodiment. FIG. 1(a) is a perspective view of the digital camera 100 seen from the front side, and FIG. 1(b) is a perspective view of the digital camera 100 seen from the back side.

表示部２８は、デジタルカメラ１００の背面に設けられた表示部であり、画像や各種情報を表示する。タッチパネル７０ａは、表示部２８の表示面（タッチ操作面）に対するタッチ操作を検出する。ファインダ外表示部４３は、デジタルカメラ１００の上面に設けられた表示部であり、シャッター速度や絞り等の様々な設定値を表示する。シャッターボタン６１は、撮影指示を行うための操作部材である。モード切替スイッチ６０は、各種モードを切り替えるための操作部材である。端子カバー４０は、デジタルカメラ１００を外部機器に接続する接続ケーブル等とのコネクタ（不図示）を保護するカバーである。 The display unit 28 is a display unit provided on the back of the digital camera 100, and displays images and various information. The touch panel 70a detects a touch operation on the display surface (touch operation surface) of the display unit 28. The outside viewfinder display section 43 is a display section provided on the top surface of the digital camera 100, and displays various setting values such as shutter speed and aperture. The shutter button 61 is an operation member for instructing photography. The mode changeover switch 60 is an operation member for switching between various modes. The terminal cover 40 is a cover that protects a connector (not shown) for a connection cable or the like that connects the digital camera 100 to an external device.

メイン電子ダイヤル７１は、回転操作部材であり、シャッター速度や絞り等の設定値の変更等に用いられる。電源スイッチ７２は、デジタルカメラ１００の電源のＯＮ、ＯＦＦを切り替えるための操作部材である。サブ電子ダイヤル７３は、回転操作部材であり、選択枠（カーソル）の移動や画像送り等に用いられる。４方向キー７４は、上、下、左、右部分をそれぞれ押し込み可能に構成され、押した部分に応じた処理が実行される。ＳＥＴボタン７５は、主に選択項目の決定等に用いられる操作部材である。 The main electronic dial 71 is a rotary operation member, and is used to change settings such as shutter speed and aperture. The power switch 72 is an operation member for switching the power of the digital camera 100 on and off. The sub-electronic dial 73 is a rotary operation member and is used to move a selection frame (cursor), advance images, and the like. The four-direction key 74 is configured such that the upper, lower, left, and right portions can be pressed, and a process is executed depending on the pressed portion. The SET button 75 is an operation member mainly used for determining selection items.

動画ボタン７６は、動画撮影（記録）の開始や停止の指示を行うための操作部材である。ＡＥロックボタン７７は、ＡＥをロックするための操作部材である。撮影待機状態でＡＥロックボタン７７を押下することにより、露出状態を固定することができる。拡大ボタン７８は、撮影モードのライブビュー表示において拡大モードのＯＮ、ＯＦＦを切り替えるための操作部材である。拡大モードをＯＮとしてからメイン電子ダイヤル７１を操作することにより、ライブビュー画像の拡大や縮小を行うことができる。また、再生モードにおいては、拡大ボタン７８は、再生画像を拡大したり、その拡大率を増加させたりするための操作部材として機能する。 The video button 76 is an operation member for instructing to start or stop video shooting (recording). The AE lock button 77 is an operation member for locking the AE. By pressing the AE lock button 77 in the shooting standby state, the exposure state can be fixed. The magnification button 78 is an operation member for switching the magnification mode on and off in live view display in the shooting mode. By operating the main electronic dial 71 after turning on the enlargement mode, the live view image can be enlarged or reduced. Furthermore, in the playback mode, the enlargement button 78 functions as an operation member for enlarging the playback image and increasing its enlargement rate.

再生ボタン７９は、撮影モードと再生モードとを切り替えるための操作部材である。撮影モード中に再生ボタン７９を押下することにより、再生モードに移行し、後述する記録媒体２００に記録された画像のうち最新の画像を表示部２８に表示させることができる。メニューボタン８１は、メニュー画面を表示させる指示操作を行うための操作部材である。メニューボタン８１を押下することにより、各種の設定が可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、４方向キー７４やＳＥＴボタン７５を用いて直感的に各種設定を行うことができる。 The playback button 79 is an operation member for switching between shooting mode and playback mode. By pressing the playback button 79 during the shooting mode, the mode shifts to the playback mode, and the latest image among the images recorded on the recording medium 200, which will be described later, can be displayed on the display section 28. The menu button 81 is an operation member for performing an instruction operation to display a menu screen. By pressing the menu button 81, a menu screen on which various settings can be made is displayed on the display unit 28. The user can intuitively make various settings using the menu screen displayed on the display unit 28, the four-direction keys 74, and the SET button 75.

タッチバー８２（マルチファンクションバー：Ｍ－Ｆｎバー）は、タッチ操作を受け付けることが可能なライン状のタッチ操作部材（ラインタッチセンサ）である。タッチバー８２は、右手の人差し指でシャッターボタン６１押下可能なようにグリップ部９０を右手で握った状態（右手の小指、薬指、中指で握った状態）で、右手の親指でタッチ操作可能（タッチ可能）な位置に配置されている。すなわち、タッチバー８２は、接眼部１６に接眼してファインダを覗き、いつでもシャッターボタン６１を押下できるように構えた状態（撮影姿勢）で操作可能な位置に配置されている。タッチバー８２は、タッチバー８２に対するタップ操作（タッチして所定期間以内に移動せずに離す操作）、左右へのスライド操作（タッチした後、タッチしたままタッチ位置を移動する操作）等を受け付け可能である。タッチバー８２は、タッチパネル７０ａとは異なる操作部材であり、表示機能を備えていない。 The touch bar 82 (multi-function bar: M-Fn bar) is a line-shaped touch operation member (line touch sensor) that can accept touch operations. The touch bar 82 can be touch-operated with the thumb of the right hand (touchable) when the grip section 90 is held with the right hand (held with the little finger, ring finger, and middle finger of the right hand) so that the shutter button 61 can be pressed with the index finger of the right hand. ) is placed in the position. That is, the touch bar 82 is arranged at a position where it can be operated while the user is holding the eyepiece 16, looking through the finder, and holding the shutter button 61 so that the shutter button 61 can be pressed at any time (photographing posture). The touch bar 82 can accept tap operations on the touch bar 82 (operation of touching and releasing without moving within a predetermined period), sliding operations to the left and right (operation of moving the touch position after touching and keeping the touch), etc. be. The touch bar 82 is an operation member different from the touch panel 70a and does not have a display function.

通信端子１０は、デジタルカメラ１００が後述する着脱可能なレンズユニット１５０側と通信を行うための通信端子である。接眼部１６は、接眼ファインダ１７（覗き込み型のファインダ）の接眼部であり、ユーザは、接眼部１６を介して内部のＥＶＦ２９（ＥｌｅｃｔｒｏｎｉｃＶｉｅｗＦｉｎｄｅｒ）に表示された映像を視認することができる。接眼検知部５７は、接眼部１６にユーザ（撮影者）が接眼しているか否かを検知する接眼検知センサで構成される。蓋２０２は、記録媒体２００を格納するスロットの蓋である。グリップ部９０は、ユーザがデジタルカメラ１００を構える際に右手で握りやすい形状とした保持部である。グリップ部９０を右手の小指、薬指、中指で握ってデジタルカメラ１００を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン６１とメイン電子ダイヤル７１が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル７３とタッチバー８２が配置されている。サムレスト部９１（親指待機位置）は、デジタルカメラ１００の背面側の、どの操作部材も操作しない状態でグリップ部９０を握った右手の親指を置きやすい箇所に設けられたグリップ部材である。サムレスト部９１は、保持力（グリップ感）を高めるためのラバー部材等で構成される。 The communication terminal 10 is a communication terminal through which the digital camera 100 communicates with a detachable lens unit 150, which will be described later. The eyepiece section 16 is an eyepiece section of an eyepiece finder 17 (a peering type finder), and the user can visually check the image displayed on the internal EVF 29 (Electronic View Finder) through the eyepiece section 16. Can be done. The eyepiece detecting section 57 includes an eyepiece detecting sensor that detects whether or not the user (photographer) is looking at the eyepiece section 16 . The lid 202 is a lid of a slot in which the recording medium 200 is stored. The grip section 90 is a holding section shaped so that the user can easily grip it with his or her right hand when holding the digital camera 100. The shutter button 61 and the main electronic dial 71 are arranged at a position where they can be operated with the index finger of the right hand while holding the digital camera 100 by gripping the grip part 90 with the little finger, ring finger, and middle finger of the right hand. Further, in the same state, the sub-electronic dial 73 and the touch bar 82 are arranged at positions that can be operated with the thumb of the right hand. The thumb rest portion 91 (thumb standby position) is a grip member provided on the back side of the digital camera 100 at a location where the right thumb can be easily placed while gripping the grip portion 90 without operating any operating member. The thumb rest portion 91 is made of a rubber member or the like to increase the holding force (grip feeling).

図２は、実施形態に係るデジタルカメラ１００の構成例を示すブロック図である。なお、図１に示した構成要素と同一の構成要素には、同一の符号を付す。
デジタルカメラ１００には、レンズユニット１５０が装着される。レンズユニット１５０は、絞り１と、レンズ１０３と、絞り駆動回路２と、ＡＦ駆動回路３と、レンズシステム制御回路４と、通信端子６とを備える。レンズ１０３は、通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示す。通信端子６は、レンズユニット１５０がデジタルカメラ１００側と通信を行うための通信端子である。通信端子１０は、デジタルカメラ１００がレンズユニット１５０側と通信を行うための通信端子である。レンズユニット１５０は、これら通信端子６、１０を介してシステム制御部５０と通信する。レンズユニット１５０では、レンズシステム制御回路４によって絞り駆動回路２を介して絞り１の制御を行う。また、レンズユニット１５０では、レンズシステム制御回路４によってＡＦ駆動回路３を介してレンズ１０３の位置を変位させることでピント（焦点）を合わせる。 FIG. 2 is a block diagram showing a configuration example of the digital camera 100 according to the embodiment. Note that the same components as those shown in FIG. 1 are given the same reference numerals.
A lens unit 150 is attached to the digital camera 100. The lens unit 150 includes an aperture 1 , a lens 103 , an aperture drive circuit 2 , an AF drive circuit 3 , a lens system control circuit 4 , and a communication terminal 6 . Although the lens 103 is usually composed of a plurality of lenses, only one lens is shown here for simplicity. The communication terminal 6 is a communication terminal through which the lens unit 150 communicates with the digital camera 100 side. The communication terminal 10 is a communication terminal through which the digital camera 100 communicates with the lens unit 150 side. The lens unit 150 communicates with the system control section 50 via these communication terminals 6 and 10. In the lens unit 150, the aperture 1 is controlled by the lens system control circuit 4 via the aperture drive circuit 2. Further, in the lens unit 150, the lens system control circuit 4 focuses the lens 103 by displacing the position of the lens 103 via the AF drive circuit 3.

シャッター１０１は、システム制御部５０の制御で、撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。
撮像部２２は、本発明でいう撮像手段として機能するものであり、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子（イメージセンサ）を備える。撮像部２２は、システム制御部５０にデフォーカス量情報を出力する撮像面位相差センサを有していてもよい。
Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換する。
画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに所定の処理（画素補間、縮小といったリサイズ処理、色変換処理等）を行う。また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、画像処理部２４により得られた演算結果に基づいて露光制御や測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理等が行われる。また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。 The shutter 101 is a focal plane shutter that can freely control the exposure time of the imaging section 22 under the control of the system control section 50.
The imaging unit 22 functions as an imaging means in the present invention, and includes an imaging element (image sensor) made of a CCD, CMOS device, or the like that converts an optical image into an electrical signal. The imaging unit 22 may include an imaging plane phase difference sensor that outputs defocus amount information to the system control unit 50.
The A/D converter 23 converts the analog signal output from the imaging section 22 into a digital signal.
The image processing section 24 performs predetermined processing (pixel interpolation, resizing processing such as reduction, color conversion processing, etc.) on the data from the A/D converter 23 or the data from the memory control section 15. The image processing unit 24 also performs predetermined calculation processing using the captured image data, and performs exposure control and distance measurement control based on the calculation results obtained by the image processing unit 24. As a result, TTL (through-the-lens) type AF (autofocus) processing, AE (automatic exposure) processing, EF (flash pre-emission) processing, etc. are performed. The image processing unit 24 also performs predetermined calculation processing using the captured image data, and performs TTL-based AWB (auto white balance) processing based on the obtained calculation results.

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介してメモリ３２に書き込まれる。あるいは、Ａ／Ｄ変換器２３からの出力データは、画像処理部２４を介さずにメモリ制御部１５を介してメモリ３２に書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８やＥＶＦ２９に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は、画像表示用のメモリ（ビデオメモリ）を兼ねる。Ｄ／Ａ変換器１９は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８やＥＶＦ２９に供給する。こうして、メモリ３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１９を介して表示部２８やＥＶＦ２９により表示される。表示部２８及びＥＶＦ２９は、ＬＣＤや有機ＥＬ等のディスプレイであり、Ｄ／Ａ変換器１９からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によってＡ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１９においてアナログ信号に変換し、表示部２８又はＥＶＦ２９に逐次転送して表示することで、ライブビュー表示が行われる。 Output data from the A/D converter 23 is written into the memory 32 via the image processing section 24 and the memory control section 15. Alternatively, the output data from the A/D converter 23 is written into the memory 32 via the memory control unit 15 without passing through the image processing unit 24. The memory 32 stores image data obtained by the imaging section 22 and converted into digital data by the A/D converter 23, and image data to be displayed on the display section 28 and EVF 29. The memory 32 has a storage capacity sufficient to store a predetermined number of still images, moving images and audio for a predetermined period of time. Furthermore, the memory 32 also serves as a memory for displaying images (video memory). The D/A converter 19 converts the image display data stored in the memory 32 into an analog signal and supplies it to the display section 28 and the EVF 29. In this way, the display image data written in the memory 32 is displayed on the display unit 28 and the EVF 29 via the D/A converter 19. The display unit 28 and the EVF 29 are displays such as an LCD or organic EL, and perform display according to an analog signal from the D/A converter 19. The digital signal A/D converted by the A/D converter 23 and stored in the memory 32 is converted into an analog signal by the D/A converter 19, and is sequentially transferred to the display unit 28 or EVF 29 for display. View display is performed.

システム制御部５０は、少なくとも１つのプロセッサー又は回路からなる制御部であり、デジタルカメラ１００全体を制御する。システム制御部５０は、不揮発性メモリ５６に格納されたプログラムを実行することで、後述する各処理を実現する。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１９、表示部２８、ＥＶＦ２９等を制御することにより表示制御も行う。
システムメモリ５２は、例えばＲＡＭである。システム制御部５０は、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等をシステムメモリ５２に展開する。
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭである。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記録される。 The system control unit 50 is a control unit consisting of at least one processor or circuit, and controls the entire digital camera 100. The system control unit 50 executes programs stored in the nonvolatile memory 56 to implement each process described below. The system control unit 50 also performs display control by controlling the memory 32, D/A converter 19, display unit 28, EVF 29, and the like.
The system memory 52 is, for example, a RAM. The system control unit 50 expands constants and variables for operation of the system control unit 50, programs read from the nonvolatile memory 56, etc. into the system memory 52.
The nonvolatile memory 56 is an electrically erasable/recordable memory, and is, for example, an EEPROM. Constants, programs, etc. for operation of the system control unit 50 are recorded in the nonvolatile memory 56.

システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
通信部５４は、無線又は有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部５４は、無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）やインターネットとも接続可能である。また、通信部５４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈＬｏｗＥｎｅｒｇｙでも外部機器と通信可能である。通信部５４は、撮像部２２で撮像した画像（ライブビュー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、外部機器から画像データやその他の各種情報を受信することができる。
姿勢検知部５５は、重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮像した画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像した画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部５５としては、加速度センサやジャイロセンサ等を用いることができる。姿勢検知部５５である加速度センサやジャイロセンサを用いて、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。 The system timer 53 is a timer that measures the time used for various controls and the time of a built-in clock.
The communication unit 54 transmits and receives video signals and audio signals to and from an external device connected via a wireless or wired cable. The communication unit 54 can also be connected to a wireless LAN (Local Area Network) and the Internet. The communication unit 54 can also communicate with external devices using Bluetooth (registered trademark) or Bluetooth Low Energy. The communication unit 54 can transmit images captured by the imaging unit 22 (including live view images) and images recorded on the recording medium 200, and can receive image data and other various information from external devices. can.
The attitude detection unit 55 detects the attitude of the digital camera 100 with respect to the direction of gravity. Based on the orientation detected by the orientation detection unit 55, it is determined whether the image captured by the imaging unit 22 is an image taken with the digital camera 100 held horizontally or an image taken with the digital camera 100 held vertically. Identifiable. The system control unit 50 can add orientation information according to the orientation detected by the orientation detection unit 55 to the image file of the image captured by the imaging unit 22, or rotate and record the image. . As the posture detection section 55, an acceleration sensor, a gyro sensor, or the like can be used. It is also possible to detect movements of the digital camera 100 (panning, tilting, lifting, whether it is stationary, etc.) using an acceleration sensor or a gyro sensor that is the posture detection section 55.

接眼検知部５７は、接眼ファインダ１７の接眼部１６に対する目（物体）の接近（接眼）及び離反（離眼）を検知する（接近検知）、接眼検知センサである。システム制御部５０は、接眼検知部５７で検知された状態に応じて、表示部２８とＥＶＦ２９の表示（表示状態）／非表示（非表示状態）を切り替える。具体的には、少なくとも撮影待機状態で、かつ、表示先の切替設定が自動切替である場合において、非接眼中は表示先を表示部２８として表示をオンとし、ＥＶＦ２９は非表示とする。また、接眼中は表示先をＥＶＦ２９として表示をオンとし、表示部２８は非表示とする。接眼検知部５７としては、例えば赤外線近接センサを用いることができ、ＥＶＦ２９を内蔵する接眼ファインダ１７の接眼部１６への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部５７の投光部（図示せず）から投光した赤外線が物体で反射して赤外線近接センサの受光部（図示せず）で受光される。受光された赤外線の量によって、物体が接眼部１６からどの距離まで近づいているか（接眼距離）も判別することができる。このように、接眼検知部５７は、接眼部１６への物体の近接距離を検知する接眼検知を行う。非接眼状態（非接近状態）から、接眼部１６に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設ける等して異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサは一例であって、接眼検知部５７には、接眼とみなせる状態を検知できるものであれば他のセンサを採用してもよい。 The eyepiece detection section 57 is an eyepiece detection sensor that detects (approach detection) when the eye (object) approaches (closes the eye) and moves away from the eyepiece section 16 of the eyepiece finder 17 (closest eye). The system control unit 50 switches the display unit 28 and the EVF 29 between display (display state) and non-display (non-display state) according to the state detected by the eye proximity detection unit 57. Specifically, at least in the shooting standby state and when the display destination switching setting is automatic switching, the display destination is set to the display section 28 and the display is turned on while the eye is not close, and the EVF 29 is not displayed. Further, while the eye is being viewed, the EVF 29 is set as the display destination and the display is turned on, and the display section 28 is not displayed. As the eyepiece detecting section 57, for example, an infrared proximity sensor can be used, and it is possible to detect the approach of some object to the eyepiece section 16 of the eyepiece finder 17 containing the EVF 29. When an object approaches, infrared light emitted from a light projecting section (not shown) of the eye proximity detection section 57 is reflected by the object and is received by a light receiving section (not shown) of an infrared proximity sensor. Depending on the amount of infrared rays received, it is also possible to determine how close the object is from the eyepiece 16 (eyepiece distance). In this way, the eyepiece detection section 57 performs eyepiece detection to detect the proximity distance of an object to the eyepiece section 16. When an object is detected that approaches the eyepiece unit 16 within a predetermined distance from the non-eye-closed state (non-approaching state), it is determined that the object is close to the eyepiece 16 . When the object whose approach was detected moves away from the eye-closed state (approach state) by a predetermined distance or more, it is determined that the eye has left the eye. The threshold value for detecting close eye contact and the threshold value for detecting eye separation may be different by providing hysteresis, for example. Furthermore, after detecting eye contact, it is assumed that the eye remains in close contact until eye separation is detected. After eye separation is detected, it is assumed that the eye is not in eye contact until eye contact is detected. Note that the infrared proximity sensor is just one example, and other sensors may be used as the eye proximity detection section 57 as long as they can detect a state that can be considered as eye proximity.

ファインダ外表示部４３には、ファインダ外表示部駆動回路４４を介して、シャッター速度や絞り等の様々な設定値が表示される。
電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出等を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部に供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。 Various setting values such as shutter speed and aperture are displayed on the outside viewfinder display section 43 via the outside viewfinder display section drive circuit 44.
The power supply control unit 80 is comprised of a battery detection circuit, a DC-DC converter, a switch circuit for switching the block to be energized, and the like, and detects whether or not a battery is attached, the type of battery, the remaining battery level, and the like. Further, the power supply control section 80 controls the DC-DC converter based on the detection result and the instruction from the system control section 50, and supplies the necessary voltage to each section including the recording medium 200 for a necessary period. The power supply unit 30 includes a primary battery such as an alkaline battery or a lithium battery, a secondary battery such as a NiCd battery, a NiMH battery, or a Li battery, an AC adapter, or the like.

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。 The recording medium I/F 18 is an interface with a recording medium 200 such as a memory card or a hard disk. The recording medium 200 is a recording medium such as a memory card for recording photographed images, and is composed of a semiconductor memory, a magnetic disk, or the like.

操作部７０は、ユーザの操作を受け付ける入力部であり、システム制御部５０に各種の動作指示を入力するのに使用される。操作部７０は、シャッターボタン６１、モード切替スイッチ６０、電源スイッチ７２、タッチパネル７０ａ、その他の操作部材７０ｂ等を含む。その他の操作部材７０ｂには、メイン電子ダイヤル７１、サブ電子ダイヤル７３、４方向キー７４、ＳＥＴボタン７５、動画ボタン７６、ＡＥロックボタン７７、拡大ボタン７８、再生ボタン７９、メニューボタン８１、タッチバー８２等が含まれる。 The operation unit 70 is an input unit that accepts user operations, and is used to input various operation instructions to the system control unit 50. The operation unit 70 includes a shutter button 61, a mode changeover switch 60, a power switch 72, a touch panel 70a, other operation members 70b, and the like. Other operating members 70b include a main electronic dial 71, a sub electronic dial 73, a four-way key 74, a SET button 75, a video button 76, an AE lock button 77, an enlarge button 78, a playback button 79, a menu button 81, and a touch bar 82. etc. are included.

シャッターボタン６１は、第１シャッタースイッチ６２及び第２シャッタースイッチ６４を備える。第１シャッタースイッチ６２は、シャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり、第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の撮影準備を開始する。第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから、撮像した画像を画像ファイルとして記録媒体２００に書き込むまでの、一連の撮影処理を開始する。シャッターボタン６１の全押しを続けることで、連写を実行させることができる。 The shutter button 61 includes a first shutter switch 62 and a second shutter switch 64. The first shutter switch 62 is turned on when the shutter button 61 is pressed halfway (instruction to prepare for photographing) during operation of the shutter button 61, and generates a first shutter switch signal SW1. The system control unit 50 starts photographing preparations such as AF processing, AE processing, AWB processing, and EF processing in response to the first shutter switch signal SW1. The second shutter switch 64 is turned ON when the operation of the shutter button 61 is completed, that is, when the shutter button 61 is fully pressed (photographing instruction), and generates a second shutter switch signal SW2. In response to the second shutter switch signal SW2, the system control unit 50 starts a series of photographing processes from reading out the signal from the imaging unit 22 to writing the photographed image into the recording medium 200 as an image file. By continuing to press the shutter button 61 fully, continuous shooting can be performed.

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ６０より、ユーザは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。 The mode changeover switch 60 switches the operation mode of the system control unit 50 to one of a still image shooting mode, a moving image shooting mode, a playback mode, and the like. Modes included in the still image shooting mode include an automatic shooting mode, an automatic scene discrimination mode, a manual mode, an aperture priority mode (Av mode), a shutter speed priority mode (Tv mode), and a program AE mode (P mode). Additionally, there are various scene modes, custom modes, etc., which are shooting settings for each shooting scene. The mode selector switch 60 allows the user to directly switch to any of these modes. Alternatively, after once switching to the shooting mode list screen using the mode changeover switch 60, the user may selectively switch to any of the displayed plurality of modes using another operating member. Similarly, the video shooting mode may include a plurality of modes.

タッチパネル７０ａは、表示部２８の表示面（タッチパネル７０ａの操作面）への各種タッチ操作を検出するタッチセンサである。タッチパネル７０ａと表示部２８とは一体的に構成することができる。例えばタッチパネル７０ａは、光の透過率が表示部２８の表示を妨げないように構成され、表示部２８の表示面の上層に取り付けられる。そして、タッチパネル７０ａにおける入力座標と、表示部２８の表示面上の表示座標とを対応付ける。これにより、あたかもユーザが表示部２８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザインターフェース）を提供できる。 The touch panel 70a is a touch sensor that detects various touch operations on the display surface of the display unit 28 (the operation surface of the touch panel 70a). The touch panel 70a and the display section 28 can be configured integrally. For example, the touch panel 70a is configured such that its light transmittance does not interfere with the display on the display section 28, and is attached to the upper layer of the display surface of the display section 28. Then, the input coordinates on the touch panel 70a are associated with the display coordinates on the display surface of the display unit 28. Thereby, it is possible to provide a GUI (graphical user interface) as if the user could directly operate the screen displayed on the display unit 28.

図３は、実施形態に係るデジタルカメラ１００が撮影時に実行する処理を示すフローチャートである。図３のフローチャートは、シャッターボタン６１の半押し（撮影準備指示）で開始される。本実施形態では、システム制御部５０が所定のプログラムを実行することにより、本発明でいう検出手段、追尾手段、評価手段、及び記録制御手段の機能が実現され、図３に示す各処理が実行される。
ステップＳ３０１で、システム制御部５０は、撮像部２２で撮像した画像（ライブビュー画像や連写中の画像）に写る被写体を検出して、その被写体情報を取得する。被写体情報は、例えば被写体の位置及びサイズの情報である。 FIG. 3 is a flowchart showing the processing that the digital camera 100 according to the embodiment executes when photographing. The flowchart in FIG. 3 is started when the shutter button 61 is pressed halfway (photography preparation instruction). In this embodiment, the system control unit 50 executes a predetermined program to realize the functions of the detection means, tracking means, evaluation means, and recording control means in the present invention, and execute each process shown in FIG. be done.
In step S301, the system control unit 50 detects a subject appearing in an image captured by the imaging unit 22 (a live view image or an image being shot continuously), and acquires subject information. The subject information is, for example, information on the position and size of the subject.

ステップＳ３０２で、システム制御部５０は、ステップＳ３０１で検出した被写体の特徴量（例えば色情報）に基づいて被写体の動きを検出して、被写体を追尾する追尾処理を実行する。追尾処理として、精密な追尾処理と、簡易的な追尾処理とを実行可能とし、追尾処理に時間を割けない場合と、そうではない場合とで、実行する追尾処理を変えるようにしてもよい。この場合、どちらの追尾処理を実行したかの情報を例えば不揮発性メモリ５６に保存しておく。
ステップＳ３０３で、システム制御部５０は、主被写体に対してピントを合わせるＡＦ処理を実行する。 In step S302, the system control unit 50 detects the movement of the subject based on the feature amount (for example, color information) of the subject detected in step S301, and executes tracking processing to track the subject. The tracking process may be a precise tracking process or a simple tracking process, and the tracking process to be executed may be changed depending on whether time is not available for the tracking process or not. In this case, information on which tracking process was executed is stored in the nonvolatile memory 56, for example.
In step S303, the system control unit 50 executes AF processing to focus on the main subject.

ステップＳ３０４で、システム制御部５０は、シャッターボタン６１の全押し（撮影指示）を受けて、撮像部２２からの信号読み出しから、撮像した画像を画像ファイルとして記録媒体２００に書き込むまでの、一連の撮影処理を開始する。シャッターボタン６１の全押しが続けられるときは、連写を実行する。
ステップＳ３０５で、システム制御部５０は、被写体のピントの精度を評価する（ピントレーティング）。システム制御部５０は、被写体のボケ、ブレ度合に基づいたスコアを算出する。 In step S304, the system control unit 50, upon receiving the full press of the shutter button 61 (photography instruction), performs a series of steps from reading out signals from the imaging unit 22 to writing the captured image into the recording medium 200 as an image file. Start the shooting process. When the shutter button 61 is continuously pressed fully, continuous shooting is executed.
In step S305, the system control unit 50 evaluates the focus accuracy of the subject (focus rating). The system control unit 50 calculates a score based on the degree of blur and blur of the subject.

ステップＳ３０６で、システム制御部５０は、ステップＳ３０１で検出し、ステップＳ３０２で追尾した結果を表す情報である被写体情報及び追尾情報（以下、被写体に関する情報と称する）、及びステップＳ３０５で算出したスコアを、各画像データに付加して記録媒体２００記録する。また、ステップＳ３０２で実行した追尾処理が簡易的な追尾処理である場合、そのことを確認できる情報を画像データに付加するようにしてもよい。
なお、画像データに被写体に関する情報及びスコアを付加するとしたが、これに限定されるものではない。画像データに付加した上で又は付加しないで、画像データとは別に、被写体に関する情報及びスコアのうちの少なくともいずれか一方を画像に関連付けた状態で記録媒体２００又は他の記録媒体（例えば不揮発性メモリ５６）に記録するようにしてもよい。この場合、個別の画像データにアクセスして読み出すことなく、被写体に関する情報やスコアを読み出し可能にすることができる。 In step S306, the system control unit 50 uses subject information and tracking information (hereinafter referred to as information related to the subject) that are information representing the results of detection in step S301 and tracking in step S302, and the score calculated in step S305. , are added to each image data and recorded on the recording medium 200. Furthermore, if the tracking process executed in step S302 is a simple tracking process, information that can confirm this may be added to the image data.
Note that although information regarding the subject and a score are added to the image data, the present invention is not limited to this. The recording medium 200 or another recording medium (for example, a non-volatile memory 56). In this case, information and scores regarding the subject can be read out without accessing and reading out individual image data.

ステップＳ３０７で、システム制御部５０は、撮影操作中であるか否かを判定する。連写を実行させるためにシャッターボタン６１の全押しが続けられている場合、ステップＳ３０１に戻り、撮影操作が終了した場合、本フローチャートを終了する。 In step S307, the system control unit 50 determines whether a shooting operation is in progress. If the shutter button 61 is kept being pressed all the way to execute continuous shooting, the process returns to step S301, and if the shooting operation is finished, this flowchart ends.

図５に、１つの連写シーンにおいて連写した複数の画像の例を示す。図５（ａ）が連写１枚目の画像を示し、（ｂ）が連写２枚目の画像を示し、（ｃ）が連写３枚目の画像を示す。画像には被写体Ａ，Ｂ，Ｃが写っている。各画像の下に、画像毎に算出した被写体Ａ，Ｂ，Ｃのスコアを示す。スコアが高いほどピントが合っており、ピントの精度が高いことを表す。図５の例では、連写１枚目の画像では、被写体Ａ，Ｂ，Ｃの順でピントの精度が高く、スコアが高くなっている。そして、連写２枚目の画像では、被写体Ａ，Ｃ，Ｂの順でスコアが高くなるように変化している。さらに、連写３枚目の画像では、主被写体が入れ替わって、被写体Ｂ，Ｃ，Ａの順でスコアが高くなるように変化している。 FIG. 5 shows an example of a plurality of images shot continuously in one continuous shooting scene. FIG. 5A shows the first continuously shot image, FIG. 5B shows the second continuously shot image, and FIG. 5C shows the third continuously shot image. Subjects A, B, and C appear in the image. Below each image, the scores of subjects A, B, and C calculated for each image are shown. The higher the score, the better the focus is, and the higher the accuracy of the focus. In the example of FIG. 5, in the first consecutively shot image, the focus accuracy is high and the score is high for subjects A, B, and C in that order. In the second consecutively shot image, the scores of subjects A, C, and B increase in that order. Furthermore, in the third consecutively shot image, the main subject is replaced, and the scores of subjects B, C, and A increase in that order.

次に、図４は、実施形態に係るデジタルカメラ１００が再生時に実行する処理を示すフローチャートである。図５の連写シーンを想定して、図６乃至図９を用いて、連写した複数の画像を再生するときの処理を説明する。本実施形態では、システム制御部５０が所定のプログラムを実行することにより、本発明でいう表示制御手段及び別の追尾手段の機能が実現され、各処理が実行される。
ステップＳ４０１で、システム制御部５０は、選択された連写シーン内の代表画像を表示部２８に表示する。代表画像とは、１つの連写シーンをグループとして扱う場合に、そのシーンを代表して表示される画像を指す。通常時は、図９に示すように、連写の順で画像が表示され、連写１枚目の画像が代表画像として１番目の表示画像となる。 Next, FIG. 4 is a flowchart showing the processing that the digital camera 100 according to the embodiment executes during playback. Assuming the continuous shooting scene of FIG. 5, the process for reproducing a plurality of continuously shot images will be described using FIGS. 6 to 9. In this embodiment, the system control unit 50 executes a predetermined program to realize the functions of the display control means and another tracking means in the present invention, and execute each process.
In step S401, the system control unit 50 displays a representative image in the selected continuous shooting scene on the display unit 28. A representative image refers to an image that is displayed as a representative of one continuous shooting scene when that scene is treated as a group. Normally, as shown in FIG. 9, images are displayed in the order of continuous shooting, and the first continuously shot image becomes the first displayed image as a representative image.

ステップＳ４０２で、システム制御部５０は、タッチパネル７０ａ又はその他の操作部材７０ｂを介して、連写シーン内の画像の優先度表示開始が指示されたか否かを判定する。優先度表示開始が指示された場合、ステップＳ４０３に進み、指示されていない場合、ステップＳ４０１に戻る。 In step S402, the system control unit 50 determines whether an instruction to start displaying the priority of images in the continuous shooting scene has been given via the touch panel 70a or other operation member 70b. If priority display start is instructed, the process advances to step S403; if not instructed, the process returns to step S401.

ステップＳ４０３で、システム制御部５０は、ステップＳ３０６で各画像データに付加した被写体に関する情報及びスコアを読み出して、システムメモリ５２に情報テーブルを展開する。情報テーブルには、図８に示すように、被写体毎の被写体情報（位置、サイズ）、追尾情報（色、方向）、ピントレーティング（スコア）が含まれる。図８（ａ）が連写１枚目の画像に写る被写体に関する情報及びスコアを示し、（ｂ）が連写２枚目の画像に写る被写体に関する情報及びスコアを示し、（ｃ）が連写３枚目の画像に写る被写体に関する情報及びスコアを示す。
なお、上述したように画像データとは別に、被写体に関する情報やスコアを記録媒体２００又は他の記録媒体（例えば不揮発性メモリ５６）に記録した場合は、個別の画像データにアクセスして読み出すことなく、被写体に関する情報やスコアを読み出すことができる。 In step S403, the system control unit 50 reads out the information regarding the subject and the score added to each image data in step S306, and develops an information table in the system memory 52. As shown in FIG. 8, the information table includes object information (position, size), tracking information (color, direction), and focus rating (score) for each object. Figure 8 (a) shows information and scores regarding the subject in the first continuous image, (b) shows information and scores regarding the subject in the second continuous image, and (c) shows the scores in the second continuous image. Information and score regarding the subject in the third image are shown.
Note that, as described above, if information and scores related to the subject are recorded in the recording medium 200 or other recording medium (for example, non-volatile memory 56) separately from the image data, the information and scores can be recorded without accessing and reading the individual image data. , information and scores related to the subject can be read out.

ステップＳ４０４で、システム制御部５０は、追尾しなおすか否かを判定する。ステップＳ３０２で不揮発性メモリ５６に保存した追尾処理の情報を参照し、撮影時に時間制約を考慮して簡易的な追尾処理を実行しているときは、追尾しなおすと判定する。追尾しなおす場合、ステップＳ４０５に進み、追尾しなおさない場合、ステップＳ４０７に進む。なお、画像間の被写体の位置を照合するやり方で、追尾精度が低いか否かを判断し、追尾しなおすか否かを判定するようにしてもよい。
ステップＳ４０５で、システム制御部５０は、追尾精度を向上させるために、記録媒体２００に記録された画像間で、撮影時に実行した簡易的な追尾処理とは別の追尾処理を実行する。
ステップＳ４０６で、システム制御部５０は、ステップＳ４０５で追尾しなおした結果に基づいて、被写体の再評価を行い、被写体に関する情報を検出し、スコアを算出する。システム制御部５０は、再評価の内容を、ステップＳ４０３で作成した情報テーブルに反映する。 In step S404, the system control unit 50 determines whether to perform tracking again. The tracking process information stored in the nonvolatile memory 56 is referred to in step S302, and if a simple tracking process is being executed in consideration of the time constraints at the time of photographing, it is determined that tracking is to be performed again. If tracking is to be performed again, the process advances to step S405; if tracking is not to be performed again, the process is to proceed to step S407. Note that it may be determined whether the tracking accuracy is low by comparing the position of the subject between images, and then it may be determined whether or not to re-track the subject.
In step S405, the system control unit 50 performs tracking processing between the images recorded on the recording medium 200, which is different from the simple tracking processing performed at the time of photographing, in order to improve tracking accuracy.
In step S406, the system control unit 50 re-evaluates the subject based on the result of re-tracking in step S405, detects information regarding the subject, and calculates a score. The system control unit 50 reflects the contents of the reevaluation in the information table created in step S403.

ステップＳ４０７で、システム制御部５０は、システムメモリ５２に展開された情報テーブルを参照して、表示の優先度を決定する。ここでは、画像毎にスコアの最高値を選定し、その最高値の大きい順に優先度が高いものとする。図５（ａ）の連写１枚目の画像ではスコア「０．７」（被写体Ａ）が最高値であり、図５（ｂ）の連写２枚目の画像ではスコア「０．８」（被写体Ａ）が最高値であり、図５（ｃ）の連写３枚目の画像ではスコア「１．０」（被写体Ｂ）が最高値である。そして、スコアの最高値の大きい順に優先度が高くなるので、連写３枚目の画像の優先度が高く、連写２枚目の画像、連写１枚目の画像の順で優先度が低くなる。 In step S407, the system control unit 50 refers to the information table developed in the system memory 52 and determines the display priority. Here, it is assumed that the highest score value is selected for each image, and the priorities are set in descending order of the highest score. The highest score is "0.7" (Subject A) for the first consecutive image in Figure 5(a), and the score is "0.8" for the second consecutive image in Figure 5(b). (Subject A) has the highest value, and in the third consecutively shot image in FIG. 5(c), the score "1.0" (Subject B) has the highest value. The priority increases in descending order of the highest score, so the third consecutive image has the highest priority, the second consecutive image has the highest priority, and then the first consecutive image has the highest priority. It gets lower.

ステップＳ４０８で、システム制御部５０は、ステップＳ４０７で決定した優先度に従って画像をソートして表示部２８に表示する。図６は、被写体の選択がないときの画像の表示順の例を示す図である。スコアの最高値の大きい順に優先度が高くなるので、図６（ａ）に示すように、連写３枚目の画像が代表画像として１番目の表示画像となる。そして、図６（ｂ）に示すように、連写２枚目の画像が２番目の表示画像になり、図６（ｃ）に示すように、連写１枚目の画像が３番目の表示画像になる。 In step S408, the system control unit 50 sorts the images according to the priority determined in step S407 and displays them on the display unit 28. FIG. 6 is a diagram illustrating an example of the display order of images when no subject is selected. Since the priority increases in descending order of the highest score, the third continuously shot image becomes the first display image as the representative image, as shown in FIG. 6(a). Then, as shown in FIG. 6(b), the second continuously shot image becomes the second displayed image, and as shown in FIG. 6(c), the first continuously shot image becomes the third displayed image. It becomes an image.

ステップＳ４０９で、システム制御部５０は、タッチパネル７０ａ又はその他の操作部材７０ｂを介して、表示中の画像において、主被写体とは別の被写体が選択されたか否かを判定する。例えば図６（ａ）に示すように連写３枚目の画像が表示されているとき、当該画像における主被写体Ｂとは別の被写体Ａ又は被写体Ｃが選択されたか否かを判定する。被写体が選択された場合、ステップＳ４１０に進み、被写体が選択されていない場合、ステップＳ４１１に進む。 In step S409, the system control unit 50 determines whether a subject other than the main subject has been selected in the displayed image via the touch panel 70a or other operation member 70b. For example, when the third consecutively shot image is displayed as shown in FIG. 6A, it is determined whether the subject A or the subject C, which is different from the main subject B in the image, has been selected. If a subject has been selected, the process advances to step S410; if no subject has been selected, the process advances to step S411.

ステップＳ４１０で、システム制御部５０は、システムメモリ５２に展開された情報テーブルを参照して、ステップＳ４０９で選択された被写体のスコアに基づいた表示の優先度を決定する。ステップＳ４０９において、例えば図６（ａ）に示すように連写３枚目の画像が表示されているとき、被写体Ａが選択されたとする。この場合、連写１枚目の画像では被写体Ａのスコアが「０．７」、連写２枚目の画像では被写体Ａのスコアが「０．８」、連写３枚目の画像では被写体Ａのスコアが「０．４」であり、連写２枚目の画像の優先度が高く、連写１枚目の画像、連写３枚目の画像の順で優先度が低くなる。 In step S410, the system control unit 50 refers to the information table developed in the system memory 52 and determines the display priority based on the score of the subject selected in step S409. Assume that in step S409, subject A is selected when the third consecutively shot image is displayed, for example, as shown in FIG. 6(a). In this case, the score of subject A in the first continuous image is "0.7", the score of subject A in the second continuous image is "0.8", and the score of subject A in the third continuous image is "0.7". The score of A is "0.4", and the priority of the second continuously shot image is high, and the priority decreases in the order of the first continuously shot image and the third continuously shot image.

ステップＳ４０８で、システム制御部５０は、ステップＳ４１０で決定した優先度に従って画像をソートして表示部２８に表示する。被写体Ａに着目してスコアの高い順で優先度が高くなるので、図６（ａ）～（ｃ）の表示順から、図７（ａ）～（ｃ）の表示順に変更される。図７は、被写体を選択したときの画像の表示順の例を示す図である。図７（ａ）に示すように、連写２枚目の画像が代表画像として１番目の表示画像となる。そして、図７（ｂ）に示すように、連写１枚目の画像が２番目の表示画像になり、図７（ｃ）に示すように、連写３枚目の画像が３番目の表示画像になる。 In step S408, the system control unit 50 sorts the images according to the priority determined in step S410 and displays them on the display unit 28. Focusing on subject A, the priority increases in descending order of score, so the display order of FIGS. 6(a) to 6(c) is changed to the display order of FIGS. 7(a) to 7(c). FIG. 7 is a diagram showing an example of the display order of images when a subject is selected. As shown in FIG. 7(a), the second consecutively shot image becomes the first display image as the representative image. Then, as shown in FIG. 7(b), the first continuously shot image becomes the second displayed image, and as shown in FIG. 7(c), the third continuously shot image becomes the third displayed image. It becomes an image.

なお、本実施形態では、表示中の画像において、主被写体とは別の被写体を選択可能とする例としたが、全被写体を選択可能としてもよい。ステップＳ４０９において、例えば図６（ａ）に示すように連写３枚目の画像が表示されているとき、当該画像における主被写体Ｂが選択されたとする。この場合、連写１枚目の画像では被写体Ｂのスコアが「０．５」、連写２枚目の画像では被写体Ｂのスコアが「０．３」、連写３枚目の画像では被写体Ｂのスコアが「１．０」であり、連写３枚目の画像の優先度が高く、連写１枚目の画像、連写２枚目の画像の順で優先度が低くなる。その結果、ステップＳ４０８では、連写３枚目の画像が代表画像として１番目の表示画像となることは図６と変わらないが、連写１枚目の画像が２番目の表示画像になり、連写２枚目の画像が３番目の表示画像になる。すなわち、図６の表示順から、図６（ｂ）、（ｃ）の表示順が入れ替わるように変更される。 Note that in the present embodiment, an example is given in which a subject other than the main subject can be selected in the image being displayed, but all subjects may be selectable. Assume that in step S409, when the third consecutively shot image is displayed as shown in FIG. 6A, for example, the main subject B in the image is selected. In this case, the score of subject B is "0.5" in the first continuous image, the score of subject B is "0.3" in the second continuous image, and the score of subject B is "0.3" in the third continuous image. The score of B is "1.0", and the priority of the third continuously shot image is high, and the priority decreases in the order of the first continuously shot image and the second continuously shot image. As a result, in step S408, the third continuously shot image becomes the first display image as the representative image, which is the same as in FIG. 6, but the first continuously shot image becomes the second display image, The second continuously shot image becomes the third displayed image. That is, the display order in FIG. 6 is changed so that the display order in FIGS. 6(b) and 6(c) is switched.

ステップＳ４０８で、システム制御部５０は、タッチパネル７０ａ又はその他の操作部材７０ｂを介して、再生終了が指示されたか否かを判定する。再生終了が指示されていない場合、ステップＳ４０１に戻り、再生終了が指示された場合、本フローチャートを終了する。 In step S408, the system control unit 50 determines whether an instruction to end playback has been given via the touch panel 70a or other operation member 70b. If the end of playback is not instructed, the process returns to step S401, and if the end of playback is instructed, this flowchart ends.

以上述べたように、連写した複数の画像に写る被写体を検出、追尾して、画像毎に被写体のピントの精度を評価するようにしており、人物が特定されていること前提とするものではなく、予め人物に関する情報を記憶管理しておく必要がない。そして、連写した複数の画像を再生するときに、被写体毎のピントの精度に基づいて、表示の優先度が決定されるとともに、ユーザが被写体を選択することにより、当該被写体のピントの精度の高い画像が優先的に表示されるようになる。このように、撮影後に、着目する被写体を変更して画像を選択したいとき、ユーザが意図する優先度で画像を並べることができる。これにより、連写した複数の画像の中から所望の画像を選択しやすくなる。 As mentioned above, the system detects and tracks subjects in multiple consecutive images and evaluates the accuracy of the subject's focus for each image, and does not assume that the person has been identified. There is no need to store and manage information about people in advance. When playing back multiple consecutively shot images, the display priority is determined based on the focus accuracy of each subject, and when the user selects a subject, the focus accuracy of the subject can be adjusted. Higher images will be displayed preferentially. In this way, when the user wants to change the subject of interest and select images after shooting, the images can be arranged in accordance with the priority level intended by the user. This makes it easier to select a desired image from a plurality of consecutively shot images.

なお、本実施形態では、画像毎に被写体を評価する例として、画像毎に被写体のピントの精度を評価する例を述べたが、これに限定されるものではない。例えば、ピントの精度に加えて又はそれに替えて、画像における被写体の位置やサイズ、被写体の向き等に関して被写体を評価するようにしてもよい。 Note that in this embodiment, as an example of evaluating the subject for each image, an example has been described in which the focus accuracy of the subject is evaluated for each image, but the present invention is not limited to this. For example, in addition to or in place of focus accuracy, the subject may be evaluated in terms of the position, size, orientation, etc. of the subject in the image.

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
上述した実施形態においては、本発明をデジタルカメラに適用した例を説明したが、これに限定されるものではない。本発明は、撮像手段で連写した複数の画像を記録及び再生する電子機器であれば広く適用可能であり、スマートフォンやタブレット端末等も含まれる。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えばＡＳＩＣ）によっても実現可能である。 Although the present invention has been described above along with the embodiments, the above embodiments are merely examples of implementation of the present invention, and the technical scope of the present invention should not be construed as limited by these embodiments. It is something that should not happen. That is, the present invention can be implemented in various forms without departing from its technical idea or main features.
In the embodiment described above, an example in which the present invention is applied to a digital camera has been described, but the present invention is not limited to this. The present invention can be applied to a wide range of electronic devices that record and reproduce a plurality of images shot continuously by an imaging device, and includes smartphones, tablet terminals, and the like.
(Other embodiments)
The present invention provides a system or device with a program that implements one or more functions of the embodiments described above via a network or a recording medium, and one or more processors in the computer of the system or device reads and executes the program. This can also be achieved by processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

本実施形態の開示は、以下の構成、方法及びプログラムを含む。
（構成１）
撮像手段で連写した複数の画像を記録及び再生する電子機器であって、
画像に写る被写体を検出する検出手段と、
前記検出手段で検出した被写体を前記複数の画像間で追尾する追尾手段と、
前記複数の画像毎に前記被写体を評価する評価手段と、
前記複数の画像と前記評価手段の評価結果とを記録媒体に記録する記録制御手段と、
前記記録媒体に記録された画像を表示するように制御する表示制御手段とを備え、
前記表示制御手段は、前記複数の画像において検出された被写体が選択された場合、前記記録媒体に記録された前記複数の画像を、当該選択された被写体の前記評価結果に基づいた優先度で表示するように制御することを特徴とする電子機器。
（構成２）
前記評価手段は、前記被写体のピントの精度を評価することを特徴とする構成１に記載の電子機器。
（構成３）
前記記録制御手段は、前記検出手段で検出し、前記追尾手段で追尾した結果を表す情報を前記記録媒体に記録することを特徴とする構成１又は２に記載の電子機器。
（構成４）
前記記録制御手段は、前記画像にアクセスすることなく、前記評価手段で評価した前記評価結果を読み出し可能にすることを特徴とする構成１乃至３のいずれか一つに記載の電子機器。
（構成５）
前記記録媒体に記録された前記画像間で前記被写体を追尾する別の追尾手段を備えたことを特徴とする構成１乃至４のいずれか一つに記載の電子機器。
（構成６）
撮像手段で連写した複数の画像を記録及び再生する電子機器の制御方法であって、
画像に写る被写体を検出する検出ステップと、
前記検出ステップで検出した被写体を前記複数の画像間で追尾する追尾ステップと、
前記複数の画像毎に前記被写体を評価する評価ステップと、
前記複数の画像と前記評価ステップの評価結果とを記録媒体に記録する記録ステップと、
前記記録媒体に記録された画像を表示するように制御する表示制御ステップとを有し、
前記表示制御ステップでは、前記複数の画像において検出された被写体が選択された場合、前記記録媒体に記録された前記複数の画像を、当該選択された被写体の前記評価結果に基づいた優先度で表示するように制御することを特徴とする電子機器の制御方法。
（構成７）
撮像手段で連写した複数の画像を記録及び再生するためのプログラムであって、
画像に写る被写体を検出する検出手段と、
前記検出手段で検出した被写体を前記複数の画像間で追尾する追尾手段と、
前記複数の画像毎に前記被写体を評価する評価手段と、
前記複数の画像と前記評価手段の評価結果とを記録媒体に記録する記録制御手段と、
前記記録媒体に記録された画像を表示するように制御する表示制御手段としてコンピュータを機能させ、
前記表示制御手段は、前記複数の画像において検出された被写体が選択された場合、前記記録媒体に記録された前記複数の画像を、当該選択された被写体の前記評価結果に基づいた優先度で表示するように制御することを特徴とするプログラム。 The disclosure of this embodiment includes the following configuration, method, and program.
(Configuration 1)
An electronic device that records and plays back multiple images taken continuously by an imaging means,
a detection means for detecting a subject in the image;
tracking means for tracking the subject detected by the detection means between the plurality of images;
evaluation means for evaluating the subject for each of the plurality of images;
recording control means for recording the plurality of images and the evaluation results of the evaluation means on a recording medium;
Display control means for controlling to display an image recorded on the recording medium,
When a subject detected in the plurality of images is selected, the display control means displays the plurality of images recorded on the recording medium with priority based on the evaluation result of the selected subject. An electronic device characterized by being controlled to.
(Configuration 2)
The electronic device according to configuration 1, wherein the evaluation means evaluates focus accuracy of the subject.
(Configuration 3)
3. The electronic device according to configuration 1 or 2, wherein the recording control means records information representing a result of detection by the detection means and tracking by the tracking means on the recording medium.
(Configuration 4)
4. The electronic device according to any one of configurations 1 to 3, wherein the recording control means makes it possible to read out the evaluation results evaluated by the evaluation means without accessing the image.
(Configuration 5)
5. The electronic device according to any one of configurations 1 to 4, further comprising another tracking means for tracking the subject between the images recorded on the recording medium.
(Configuration 6)
A method for controlling an electronic device that records and reproduces a plurality of images taken continuously by an imaging means, the method comprising:
a detection step of detecting a subject in the image;
a tracking step of tracking the subject detected in the detection step between the plurality of images;
an evaluation step of evaluating the subject for each of the plurality of images;
a recording step of recording the plurality of images and the evaluation results of the evaluation step on a recording medium;
a display control step for controlling to display an image recorded on the recording medium,
In the display control step, when a subject detected in the plurality of images is selected, the plurality of images recorded on the recording medium are displayed with priority based on the evaluation result of the selected subject. 1. A method of controlling an electronic device, the method comprising: controlling an electronic device so as to perform the control.
(Configuration 7)
A program for recording and reproducing a plurality of images taken continuously by an imaging means, the program comprising:
a detection means for detecting a subject in the image;
tracking means for tracking the subject detected by the detection means between the plurality of images;
evaluation means for evaluating the subject for each of the plurality of images;
recording control means for recording the plurality of images and the evaluation results of the evaluation means on a recording medium;
causing the computer to function as a display control means for controlling to display images recorded on the recording medium;
When a subject detected in the plurality of images is selected, the display control means displays the plurality of images recorded on the recording medium with priority based on the evaluation result of the selected subject. A program characterized by controlling to.

２２：撮像部、２８：表示部、５０：システム制御部、５６：不揮発性メモリ、１００：カメラ、２００：記録媒体 22: Imaging unit, 28: Display unit, 50: System control unit, 56: Nonvolatile memory, 100: Camera, 200: Recording medium

Claims

An electronic device that records and plays back multiple images taken continuously by an imaging means,
a detection means for detecting a subject in the image;
tracking means for tracking the subject detected by the detection means between the plurality of images;
evaluation means for evaluating the subject for each of the plurality of images;
recording control means for recording the plurality of images and the evaluation results of the evaluation means on a recording medium;
Display control means for controlling to display an image recorded on the recording medium,
When a subject detected in the plurality of images is selected, the display control means displays the plurality of images recorded on the recording medium with priority based on the evaluation result of the selected subject. An electronic device characterized by being controlled to.

The electronic device according to claim 1, wherein the evaluation means evaluates focus accuracy of the subject.

3. The electronic device according to claim 1, wherein the recording control means records information representing a result of detection by the detection means and tracking by the tracking means on the recording medium.

3. The electronic device according to claim 1, wherein the recording control means makes it possible to read out the evaluation results evaluated by the evaluation means without accessing the image.

The electronic device according to claim 1 or 2, further comprising another tracking means for tracking the subject between the images recorded on the recording medium.

A method for controlling an electronic device that records and reproduces a plurality of images taken continuously by an imaging means, the method comprising:
a detection step of detecting a subject in the image;
a tracking step of tracking the subject detected in the detection step between the plurality of images;
an evaluation step of evaluating the subject for each of the plurality of images;
a recording step of recording the plurality of images and the evaluation results of the evaluation step on a recording medium;
a display control step for controlling to display an image recorded on the recording medium,
In the display control step, when a subject detected in the plurality of images is selected, the plurality of images recorded on the recording medium are displayed with priority based on the evaluation result of the selected subject. 1. A method of controlling an electronic device, the method comprising: controlling an electronic device so as to perform the control.

A program for recording and reproducing a plurality of images taken continuously by an imaging means, the program comprising:
a detection means for detecting a subject in the image;
tracking means for tracking the subject detected by the detection means between the plurality of images;
evaluation means for evaluating the subject for each of the plurality of images;
recording control means for recording the plurality of images and the evaluation results of the evaluation means on a recording medium;
causing the computer to function as a display control means for controlling to display images recorded on the recording medium;
When a subject detected in the plurality of images is selected, the display control means displays the plurality of images recorded on the recording medium with priority based on the evaluation result of the selected subject. A program characterized by controlling to.