JP7185563B2 - IMAGING DEVICE, CONTROL METHOD AND PROGRAM THEREOF - Google Patents

IMAGING DEVICE, CONTROL METHOD AND PROGRAM THEREOF Download PDF

Info

Publication number
JP7185563B2
JP7185563B2 JP2019036396A JP2019036396A JP7185563B2 JP 7185563 B2 JP7185563 B2 JP 7185563B2 JP 2019036396 A JP2019036396 A JP 2019036396A JP 2019036396 A JP2019036396 A JP 2019036396A JP 7185563 B2 JP7185563 B2 JP 7185563B2
Authority
JP
Japan
Prior art keywords
image data
image
control unit
system control
hdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019036396A
Other languages
Japanese (ja)
Other versions
JP2020141297A (en
Inventor
達也 西口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019036396A priority Critical patent/JP7185563B2/en
Priority to CN202311008646.XA priority patent/CN116962609A/en
Priority to PCT/JP2020/006201 priority patent/WO2020175231A1/en
Priority to DE112020001019.8T priority patent/DE112020001019T5/en
Priority to CN202080016877.3A priority patent/CN113491103B/en
Priority to GB2111298.2A priority patent/GB2597141B/en
Publication of JP2020141297A publication Critical patent/JP2020141297A/en
Priority to US17/406,449 priority patent/US11871124B2/en
Priority to JP2022187581A priority patent/JP7399247B2/en
Application granted granted Critical
Publication of JP7185563B2 publication Critical patent/JP7185563B2/en
Priority to US18/502,548 priority patent/US20240080574A1/en
Priority to JP2023204909A priority patent/JP2024015185A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、撮像装置及びその制御方法及びプログラムに関するものである。 The present invention relates to an imaging apparatus, its control method, and program.

昨今のデジタルカメラに代表される撮像装置は、ＨＤＲ画像を撮像し、そのＨＤＲ画像を記録媒体に記録可能になっている。ここで、ＨＤＲとはHigh Dynamic Range（ハイダイナミックレンジ）のことであり、ＳＤＲ（スタンダードダイナミックレンジ）に比べてより広いダイナミックレンジを持つ画像を生成する技術である。また、ＲＡＷ画像とは現像前の生の画像を指す。 2. Description of the Related Art Imaging devices represented by recent digital cameras are capable of capturing an HDR image and recording the HDR image on a recording medium. Here, HDR stands for High Dynamic Range, and is a technique for generating an image with a wider dynamic range than SDR (Standard Dynamic Range). A RAW image refers to a raw image before development.

ＨＤＲビデオのコンテンツを記録する場合には、当該コンテンツがＨＤＲビデオであるか否かの識別情報と共に記録する（例えば特許文献１）。 When HDR video content is recorded, it is recorded together with identification information indicating whether the content is HDR video (for example, Patent Document 1).

特開２０１８－７１９４号公報JP 2018-7194 A

通常のＲＡＷ画像ファイルは、表示用画像として現像済みの画像をＪＰＥＧ圧縮したデータを含めることが可能である。しかし、ＪＰＥＧ画像はＨＤＲ画質に対応していないためＨＤＲ画質で表示用画像を保存することはできない。そのため、ＨＤＲ撮影したＲＡＷ画像をＨＤＲディスプレイに表示してもＨＤＲ画質で確認するには、一度ＲＡＷ画像を現像する必要がある。 A normal RAW image file can contain JPEG-compressed data of a developed image as a display image. However, since JPEG images do not support HDR image quality, images for display cannot be saved with HDR image quality. Therefore, even if a RAW image shot in HDR is displayed on an HDR display, it is necessary to develop the RAW image once in order to check the HDR image quality.

本発明はかかる問題に鑑みなされたものであり、例えばＳＤＲとＨＤＲのような複数のダイナミックレンジに対応している撮像装置においてＲＡＷ画像データを記録する場合であっても、選択されたダイナミックレンジに対応する現像済み画像データをＲＡＷ画像ファイルに含めて記録することで、ＲＡＷ画像ファイルの再生時にも選択されたダイナミックレンジの画像を確認できる技術を提供しようとするものである。 The present invention has been made in view of such a problem, and even when recording RAW image data in an imaging device that supports multiple dynamic ranges such as SDR and HDR, the selected dynamic range can be used. It is an object of the present invention to provide a technique that enables confirmation of a selected dynamic range image even when reproducing a RAW image file by recording corresponding developed image data in the RAW image file.

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
撮像手段と、前記撮像手段により取得した画像データに現像処理を施す現像手段と、ダイナミックレンジを選択する選択手段と、ダイナミックレンジを選択する選択手段と、前記撮像手段で得たＲＡＷ画像データに対して現像処理を施す現像手段と、前記撮像手段により取得したＲＡＷ画像データをＲＡＷ画像ファイルとして記録する際に、前記選択手段により第１のダイナミックレンジが選択された場合は、前記ＲＡＷ画像データに対して第１のダイナミックレンジ用の現像処理を前記現像手段により施した画像データを、前記ＲＡＷ画像データと共に前記ＲＡＷ画像ファイルとして記録し、前記選択手段により第２のダイナミックレンジが選択された場合は、前記ＲＡＷ画像データに対して第２のダイナミックレンジ用の現像処理を前記現像手段により施した画像データを、前記ＲＡＷ画像データと共に前記ＲＡＷ画像ファイルとして記録するように制御する制御手段と、を有する。 In order to solve this problem, for example, the imaging device of the present invention has the following configuration. i.e.
imaging means, developing means for applying development processing to image data acquired by the imaging means, selection means for selecting a dynamic range, selection means for selecting a dynamic range, and RAW image data obtained by the imaging means. When the first dynamic range is selected by the selecting means when recording the RAW image data acquired by the developing means for performing development processing and the imaging means as a RAW image file, the RAW image data is When the image data subjected to development processing for the first dynamic range by the developing means is recorded as the RAW image file together with the RAW image data, and the second dynamic range is selected by the selecting means, and control means for controlling such that image data obtained by subjecting the RAW image data to development processing for a second dynamic range by the developing means is recorded as the RAW image file together with the RAW image data.

本発明によれば、ＳＤＲとＨＤＲのような複数種類のダイナミックレンジに対応している撮像装置において、ＲＡＷ画像データを記録する場合であっても、選択されたダイナミックレンジに対応する現像済み画像データをＲＡＷ画像ファイルに含めて記録することで、例えばファイル一覧表示等の簡易表示の際に、選択されたダイナミックレンジの画像を確認できるようになる。 According to the present invention, even when recording RAW image data in an imaging apparatus that supports multiple types of dynamic ranges such as SDR and HDR, developed image data corresponding to the selected dynamic range is recorded in the RAW image file, it becomes possible to confirm the image of the selected dynamic range in simple display such as file list display.

実施形態における撮像/表示装置の外観図。1 is an external view of an imaging/display device according to an embodiment; FIG. 実施形態における撮像/表示装置の構成を示すブロック図。1 is a block diagram showing the configuration of an imaging/display device according to an embodiment; FIG. 外部機器との接続構成図。Connection block diagram with an external device. 実施形態におけるＬＶ撮影モード処理のフローチャート。4 is a flowchart of LV imaging mode processing in the embodiment; クイックレビューのフローチャート。Quick review flow chart. 実施形態におけるＨＤＭＩ接続処理のシーケンス図。4 is a sequence diagram of HDMI connection processing in the embodiment; FIG. 実施形態におけるＨＤＭＩ接続処理のシーケンス図。4 is a sequence diagram of HDMI connection processing in the embodiment; FIG. 実施形態におけるＨＤＭＩ接続処理のシーケンス図。4 is a sequence diagram of HDMI connection processing in the embodiment; FIG. 実施形態におけるＨＤＲ撮影メニュー処理のフローチャート。4 is a flowchart of HDR shooting menu processing in the embodiment; 実施形態におけるＨＤＲ撮影メニュー処理のフローチャート。4 is a flowchart of HDR shooting menu processing in the embodiment; 実施形態におけるＨＤＲ撮影処理のフローチャート。4 is a flowchart of HDR imaging processing according to the embodiment; 実施形態におけるＲＡＷファイルの構成図。FIG. 3 is a configuration diagram of a RAW file in the embodiment; ＲＡＷファイルにおける領域ImageDataの例を示す図。FIG. 4 is a diagram showing an example of area ImageData in a RAW file; 実施形態における再生モード処理のフローチャート。4 is a flowchart of playback mode processing in the embodiment; 実施形態における再生モード処理のフローチャート。4 is a flowchart of playback mode processing in the embodiment; 実施形態における再生モード処理のフローチャート。4 is a flowchart of playback mode processing in the embodiment; 実施形態における再生モード処理のフローチャート。4 is a flowchart of playback mode processing in the embodiment; 実施形態における再生モード処理のフローチャート。4 is a flowchart of playback mode processing in the embodiment; 実施形態における再生モード処理のフローチャート。4 is a flowchart of playback mode processing in the embodiment; 実施形態における再生モード処理のフローチャート。4 is a flowchart of playback mode processing in the embodiment; 実施形態における再生モード処理のフローチャート。4 is a flowchart of playback mode processing in the embodiment; 実施形態におけるＨＤＭＩ再生処理のフローチャート。4 is a flowchart of HDMI playback processing in the embodiment; 実施形態におけるＨＤＭＩ再生処理のフローチャート。4 is a flowchart of HDMI playback processing in the embodiment; 実施形態における再生メニュー処理のフローチャートと、データの流れを示す図。4A and 4B are flowcharts of playback menu processing and data flow in the embodiment; FIG. 実施形態における現像処理のフローチャート。4 is a flowchart of development processing according to the embodiment; ＣｘＣｙ平面を示す図。The figure which shows a CxCy plane. 階調補正パラメータ生成処理のフローチャート。6 is a flowchart of tone correction parameter generation processing; 階調補正量を示す図。FIG. 5 is a diagram showing a tone correction amount; ＳＤＲ、ＨＤＲでの見えの例を示す図。4A and 4B are diagrams showing examples of appearance in SDR and HDR;

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでするものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. In addition, the following embodiments are not intended to limit the invention according to the claims. Although multiple features are described in the embodiments, not all of these multiple features are essential to the invention, and multiple features may be combined arbitrarily. Furthermore, in the accompanying drawings, the same or similar configurations are denoted by the same reference numerals, and redundant description is omitted.

図１（ａ）、（ｂ）に本実施形態が適用する装置の一例としてのデジタルカメラ１００の外観図を示す。図１（ａ）はデジタルカメラ１００の前面斜視図であり、図１（ｂ）はデジタルカメラ１００の背面斜視図である。図１（ａ），（ｂ）において、表示部２８は画像や各種情報を表示する、カメラ背面に設けられた表示部である。ファインダー外表示部４３は、カメラ上面に設けられた表示部であり、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。シャッターボタン６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。端子カバー４０は外部機器との接続ケーブルとデジタルカメラ１００とを接続する接続ケーブル等のコネクタ（不図示）を保護するカバーである。メイン電子ダイヤル７１は操作部７０に含まれる回転操作部材であり、ユーザはこのメイン電子ダイヤル７１を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ７２はデジタルカメラ１００の電源のＯＮ及びＯＦＦを切り替える操作部材である。サブ電子ダイヤル７３は、操作部７０に含まれる回転操作部材であり、選択枠の移動や画像送りなどに利用される。十字キー７４は操作部７０に含まれ、上、下、左、右部分をそれぞれ押し込み可能な十字キー（４方向キー）である。十字キー７４の押した部分に応じた操作が可能である。ＳＥＴボタン７５は操作部７０に含まれ、押しボタンであり、主に選択項目の決定などに用いられる。ＬＶボタン７６は操作部７０に含まれ、静止画撮影モードおいてライブビュー（以下、ＬＶ）のＯＮとＯＦＦを切り替えるボタンである。動画撮影モードにおいては、動画撮影（記録）の開始、停止の指示に用いられる。拡大ボタン７７は操作部７０に含まれ、撮影モードのライブビュー表示において拡大モードのＯＮ、ＯＦＦ，及び拡大モード中の拡大率の変更を行うための操作ボタンである。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。縮小ボタン７８は操作部７０に含まれ、拡大された再生画像の拡大率を低減させ、表示された画像を縮小させるためのボタンである。再生ボタン７９は操作部７０に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン７９を押下することで再生モードに移行し、記録媒体２００に記録された画像のうち最新の画像を表示部２８、または、外部機器３００に表示させることができる。クイックリターンミラー１２は、システム制御部５０から指示されて、不図示のアクチュエータによりアップダウンされる。通信端子１０はデジタルカメラ１００がレンズ側（着脱可能）と通信を行う為の通信端子である。接眼ファインダー１６はフォーカシングスクリーン１３を観察することで、レンズユニット１５０を通して得た被写体の光学像の焦点や構図の確認を行うための覗き込み型のファインダーである。蓋２０２は記録媒体２００を格納したスロットの蓋である。グリップ部９０は、ユーザがデジタルカメラ１００を構えた際に右手で握りやすい形状とした保持部である。 1A and 1B are external views of a digital camera 100 as an example of a device to which this embodiment is applied. 1A is a front perspective view of the digital camera 100, and FIG. 1B is a rear perspective view of the digital camera 100. FIG. In FIGS. 1A and 1B, a display unit 28 is a display unit provided on the rear surface of the camera for displaying images and various information. The outside viewfinder display section 43 is a display section provided on the upper surface of the camera, and displays various setting values of the camera such as shutter speed and aperture. A shutter button 61 is an operation unit for instructing photographing. A mode changeover switch 60 is an operation unit for switching between various modes. The terminal cover 40 is a cover that protects a connector (not shown) such as a connection cable that connects a connection cable with an external device and the digital camera 100 . A main electronic dial 71 is a rotary operation member included in the operation unit 70, and by turning the main electronic dial 71, the user can change set values such as shutter speed and aperture. A power switch 72 is an operation member for switching ON and OFF of the power of the digital camera 100 . A sub-electronic dial 73 is a rotary operation member included in the operation unit 70, and is used for moving a selection frame, transferring images, and the like. A cross key 74 is included in the operation unit 70 and is a cross key (four-direction key) whose up, down, left, and right portions can be pressed. An operation corresponding to the pressed portion of the cross key 74 is possible. A SET button 75 is included in the operation unit 70, is a push button, and is mainly used for determining selection items. An LV button 76 is included in the operation unit 70 and is a button for switching between ON and OFF of live view (hereinafter referred to as LV) in still image shooting mode. In the moving image shooting mode, it is used to instruct start and stop of moving image shooting (recording). An enlargement button 77 is included in the operation unit 70 and is an operation button for turning ON/OFF the enlargement mode and changing the enlargement ratio in the enlargement mode in the live view display in the shooting mode. In the reproduction mode, it functions as an enlargement button for enlarging the reproduced image and increasing the enlargement ratio. A reduction button 78 is included in the operation unit 70 and is a button for reducing the enlargement ratio of the enlarged reproduced image and reducing the displayed image. A playback button 79 is included in the operation unit 70 and is an operation button for switching between shooting mode and playback mode. By pressing the playback button 79 in the shooting mode, the playback mode is entered, and the latest image among the images recorded in the recording medium 200 can be displayed on the display unit 28 or the external device 300 . The quick return mirror 12 is instructed by the system controller 50 to be moved up and down by an actuator (not shown). A communication terminal 10 is a communication terminal for the digital camera 100 to communicate with the lens side (detachable). The eyepiece finder 16 is a looking-in type finder for confirming the focus and composition of the optical image of the subject obtained through the lens unit 150 by observing the focusing screen 13 . A lid 202 is a lid of a slot in which the recording medium 200 is stored. The grip part 90 is a holding part having a shape that allows the user to easily hold the digital camera 100 with his or her right hand.

図２は、本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。 FIG. 2 is a block diagram showing a configuration example of the digital camera 100 according to this embodiment.

図２において、レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。 In FIG. 2, a lens unit 150 is a lens unit that mounts an interchangeable photographing lens.

レンズ１０３は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子６はレンズユニット１５０がデジタルカメラ１００側と通信を行う為の通信端子であり、通信端子１０はデジタルカメラ１００がレンズユニット１５０側と通信を行う為の通信端子である。レンズユニット１５０は、この通信端子６，１０を介してシステム制御部５０と通信し、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１の制御を行い、ＡＦ駆動回路３を介して、レンズ１０３の位置を変位させることで焦点を合わせる。 Although the lens 103 is normally composed of a plurality of lenses, only one lens is shown here for simplicity. A communication terminal 6 is a communication terminal for the lens unit 150 to communicate with the digital camera 100 side, and a communication terminal 10 is a communication terminal for the digital camera 100 to communicate with the lens unit 150 side. The lens unit 150 communicates with the system control section 50 via the communication terminals 6 and 10, controls the diaphragm 1 via the diaphragm driving circuit 2 by the internal lens system control circuit 4, and controls the diaphragm 1 via the AF driving circuit 3. The focus is adjusted by displacing the position of the lens 103.

ＡＥセンサー１７は、レンズユニット１５０を通した被写体の輝度を測光する。焦点検出部１１は、システム制御部５０にデフォーカス量情報を出力する。システム制御部５０はそれに基づいてレンズユニット１５０を制御し、位相差ＡＦを行う。 The AE sensor 17 measures the brightness of the subject through the lens unit 150 . The focus detection section 11 outputs defocus amount information to the system control section 50 . Based on this, the system control unit 50 controls the lens unit 150 to perform phase difference AF.

クイックリターンミラー１２（以下、ミラー１２）は、露光、ライブビュー撮影、動画撮影の際にシステム制御部５０から指示されて、不図示のアクチュエータによりアップダウンされる。ミラー１２は、レンズ１０３から入射した光束をファインダ１６側と撮像部２２側とに切替えるためのミラーである。ミラー１２は通常時はファインダ１６へと光束を導くよう反射させるように配されているが、撮影が行われる場合やライブビュー表示の場合には、撮像部２２へと光束を導くように上方に跳ね上がり光束中から待避する（ミラーアップ）。またミラー１２はその中央部が光の一部を透過できるようにハーフミラーとなっており、光束の一部を、焦点検出を行うための焦点検出部１１に入射するように透過させる。 The quick return mirror 12 (hereinafter referred to as mirror 12) is moved up and down by an actuator (not shown) according to an instruction from the system control unit 50 during exposure, live view shooting, and video shooting. The mirror 12 is a mirror for switching the luminous flux incident from the lens 103 to the finder 16 side and the imaging section 22 side. The mirror 12 is normally arranged so as to reflect the light flux to the finder 16 , but when photographing is performed or live view display is performed, the mirror 12 is directed upward to guide the light flux to the imaging section 22 . Retreat from the rising luminous flux (mirror up). Further, the mirror 12 has a half-mirror at its central portion so that part of the light beam can be transmitted therethrough so that part of the light beam is incident on the focus detection unit 11 for focus detection.

ユーザ（撮影者）は、ペンタプリズム１４とファインダー１６を介して、フォーカシングスクリーン１３を観察することで、レンズユニット１５０を通して得た被写体の光学像の焦点や構図の確認が可能となる。 By observing the focusing screen 13 through the pentaprism 14 and the finder 16 , the user (photographer) can check the focus and composition of the optical image of the subject obtained through the lens unit 150 .

シャッター１０１は、システム制御部５０の制御で撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。 The shutter 101 is a focal plane shutter that can freely control the exposure time of the imaging unit 22 under the control of the system control unit 50 .

撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。この撮像部２２の撮像面には、Ｒ，Ｇ，Ｂの各色成分のフィルタが２次元的に周期的に配置されている。隣接する２×２個のフィルタについて着目したとき、その対角関係にある２つにはＧ成分のフィルタが配置され、残りの２つにＧ成分とＢ成分のフィルタが配置される。そして、この２×２個のフィルタが、撮像部２２の撮像面に配列されている。かかる配列は一般にベイヤ配列と呼ばれる。それ故、撮像部２２から出力される信号（アナログ信号）が表す画像も、ベイヤ配列の画素信号となる。Ａ／Ｄ変換器２３は、撮像部２２から出力される１画素のアナログ信号を、例えば１０ビットのデジタル信号に変換する。なお、この段階での画像データは、上記のように、１画素１成分で、１成分当たり１０ビットのベイヤ配列の画像データであり、未現像の画像データである。それ故、この段階での画像データをＲＡＷ画像データという。なお、欠陥画素を補った後のベイヤ配列の画像データをＲＡＷ画像データとしても良い。なお、実施形態ではＡ／Ｄ変換器２３がアナログ信号を１０ビットのデジタルデータに変換するものとしているが、このビット数は８ビットを超えるビット数であれば良く、特に制限はない。ビット数が多いほど、高階調表現が可能となる。 The imaging unit 22 is an imaging device configured by a CCD, a CMOS device, or the like that converts an optical image into an electrical signal. Filters for each of the R, G, and B color components are two-dimensionally and periodically arranged on the imaging surface of the imaging unit 22 . Focusing on adjacent 2×2 filters, G component filters are arranged in two diagonally related filters, and G component and B component filters are arranged in the remaining two. These 2×2 filters are arranged on the imaging surface of the imaging unit 22 . Such an array is commonly called a Bayer array. Therefore, the image represented by the signal (analog signal) output from the imaging unit 22 also becomes pixel signals of the Bayer array. The A/D converter 23 converts the one-pixel analog signal output from the imaging unit 22 into, for example, a 10-bit digital signal. As described above, the image data at this stage is Bayer array image data with one component per pixel and 10 bits per component, and is undeveloped image data. Therefore, the image data at this stage is called RAW image data. Note that the Bayer array image data after the defective pixels are compensated may be used as the RAW image data. In the embodiment, the A/D converter 23 converts the analog signal into 10-bit digital data, but the number of bits is not particularly limited as long as it exceeds 8 bits. As the number of bits increases, higher gradation expression becomes possible.

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。更に画像処理部２４は、システム制御部５０の制御下で、画像データの符号化／復号処理をも行う。この符号化には、ＪＰＥＧ，ＨＥＶＣが含まれる。ＪＰＥＧは１色成分当たり８ビットの画像データを符号化するためのものであり、ＨＥＶＣは１色成分当たり８ビット超の画像データを符号化するためのものである。 The image processing unit 24 performs resizing processing such as predetermined pixel interpolation and reduction, and color conversion processing on the data from the A/D converter 23 or the data from the memory control unit 15 . Further, the image processing unit 24 performs predetermined arithmetic processing using captured image data, and the system control unit 50 performs exposure control and distance measurement control based on the obtained arithmetic results. As a result, TTL (through-the-lens) AF (autofocus) processing, AE (automatic exposure) processing, and EF (flash pre-emission) processing are performed. The image processing unit 24 also performs predetermined arithmetic processing using captured image data, and also performs TTL AWB (auto white balance) processing based on the obtained arithmetic results. Furthermore, the image processing unit 24 also performs encoding/decoding processing of image data under the control of the system control unit 50 . This encoding includes JPEG and HEVC. JPEG is for encoding image data with 8 bits per color component, and HEVC is for encoding image data with more than 8 bits per color component.

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８、または、外部機器３００に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。 Output data from the A/D converter 23 is directly written into the memory 32 via the image processing section 24 and the memory control section 15 or via the memory control section 15 . The memory 32 stores image data obtained by the imaging unit 22 and converted into digital data by the A/D converter 23 and image data to be displayed on the display unit 28 or the external device 300 . The memory 32 has a storage capacity sufficient to store a predetermined number of still images, moving images for a predetermined period of time, and audio.

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１９は、メモリ３２に格納されている表示用画像データをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用画像データはＤ／Ａ変換器１９を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１９からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１９においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示（ライブビュー表示）を行える。 The memory 32 also serves as an image display memory (video memory). The D/A converter 19 converts the display image data stored in the memory 32 into an analog signal and supplies it to the display section 28 . Thus, the display image data written in the memory 32 is displayed by the display section 28 via the D/A converter 19 . The display unit 28 displays on a display such as an LCD in accordance with the analog signal from the D/A converter 19 . The digital signal that is once A/D converted by the A/D converter 23 and stored in the memory 32 is converted to analog by the D/A converter 19, and is sequentially transferred to the display unit 28 for display. It functions and enables through image display (live view display).

ファインダー内液晶表示部４１には、ファインダー内表示部駆動回路４２を介して、現在オートフォーカスが行われている測距点を示す枠（ＡＦ枠）や、カメラの設定状態を表すアイコンなどが表示される。ファインダー外液晶表示部４３には、ファインダー外表示部駆動回路４４を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。 The in-finder liquid crystal display 41 displays a frame (AF frame) indicating the range-finding point where autofocus is currently being performed, an icon indicating the setting state of the camera, and the like, via an in-finder display drive circuit 42. be done. Various setting values of the camera such as the shutter speed and the aperture are displayed on the outside-finder liquid crystal display section 43 via the outside-finder display section drive circuit 44 .

デジタル出力Ｉ／Ｆ９０は、メモリ３２に格納されている画像表示用のデータをデジタル信号のまま外部機器３００に供給する。例えば、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）規格に準拠した通信プロトコルに従って、動画データをストリーム形式で出力する。こうして、メモリ３２に書き込まれた表示用の画像データは外部機器３００に表示される。 The digital output I/F 90 supplies the image display data stored in the memory 32 to the external device 300 as digital signals. For example, moving image data is output in a stream format according to a communication protocol conforming to the HDMI (registered trademark) (High-Definition Multimedia Interface) standard. Thus, the image data for display written in the memory 32 is displayed on the external device 300 .

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。 The nonvolatile memory 56 is an electrically erasable/recordable memory, and for example, an EEPROM or the like is used. The nonvolatile memory 56 stores constants, programs, etc. for the operation of the system control unit 50 . The program here is a program for executing various flowcharts described later in this embodiment.

システム制御部５０は、少なくとも１つのプロセッサーを有する制御部であり、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。参照符号５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１９、デジタル出力Ｉ／Ｆ９０、表示部２８等を制御することにより表示制御も行う。 A system control unit 50 is a control unit having at least one processor and controls the digital camera 100 as a whole. By executing the program recorded in the non-volatile memory 56 described above, each process of this embodiment, which will be described later, is realized. Reference numeral 52 is a system memory, and RAM is used. In the system memory 52, constants and variables for operation of the system control unit 50, programs read from the nonvolatile memory 56, and the like are expanded. The system control unit 50 also performs display control by controlling the memory 32, the D/A converter 19, the digital output I/F 90, the display unit 28, and the like.

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。 A system timer 53 is a timer that measures the time used for various controls and the time of a built-in clock.

モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段としてとして機能する。 The mode changeover switch 60 , the first shutter switch 62 , the second shutter switch 64 , and the operation section 70 function as operation means for inputting various operation instructions to the system control section 50 .

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０で、これらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。 The mode switch 60 switches the operation mode of the system control unit 50 between a still image recording mode, a moving image shooting mode, a playback mode, and the like. Modes included in the still image recording mode include an auto shooting mode, an auto scene determination mode, a manual mode, an aperture priority mode (Av mode), and a shutter speed priority mode (Tv mode). In addition, there are various scene modes, program AE modes, custom modes, etc., which are shooting settings for each shooting scene. A mode selector switch 60 allows direct switching between these modes. Alternatively, after once switching to the shooting mode list screen with the mode switching switch 60, one of the displayed multiple modes may be selected and switched using another operation member. Similarly, the movie shooting mode may also include multiple modes.

ユーザが操作するシャッターボタン６１は、第１シャッタースイッチ６２と第２シャッタースイッチ６３を含む。第１シャッタースイッチ６２は、ユーザがシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１を入力した場合、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。 A user-operated shutter button 61 includes a first shutter switch 62 and a second shutter switch 63 . The first shutter switch 62 is turned on when the user is halfway pressing the shutter button 61 (instructing preparation for shooting) to generate a first shutter switch signal SW1. When the first shutter switch signal SW1 is input, the system control unit 50 performs operations such as AF (auto focus) processing, AE (auto exposure) processing, AWB (auto white balance) processing, and EF (flash pre-emission) processing. Start. The second shutter switch 64 is turned ON when the operation of the shutter button 61 is completed, that is, when the shutter button 61 is fully pressed (imaging instruction), and generates a second shutter switch signal SW2. In response to the second shutter switch signal SW2, the system control unit 50 starts a series of photographing processing operations from reading out signals from the imaging unit 22 to writing image data in the recording medium 200. FIG.

操作部７０の各操作部材は、表示部２８、または、外部機器３００に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタン７０ｅが押されると各種の設定可能なメニュー画面が表示部２８、または、外部機器３００に表示される。ユーザは、表示部２８、または、外部機器３００に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。 Each operation member of the operation unit 70 is appropriately assigned a function for each scene by selecting and operating various function icons displayed on the display unit 28 or the external device 300, and acts as various function buttons. The function buttons include, for example, an end button, a return button, an image forward button, a jump button, a refinement button, an attribute change button, and the like. For example, when the menu button 70e is pressed, a menu screen allowing various settings is displayed on the display unit 28 or the external device 300. FIG. The user can intuitively perform various settings by using the menu screen displayed on the display unit 28 or the external device 300, the up, down, left, and right four-way buttons and the SET button.

なお、実施形態における表示部２８はＳＤＲ画質の画像表記機能、すなわち、Ｒ，Ｇ，Ｂの各色成分が８ビット（２５６階調）で表示可能とする。また、外部機器３００がデジタルカメラ１００に接続された場合は、外部機器３００が、表示部２８に代わって撮像画像やライブ画像の出力対象デバイスとして設定されるものとする。また、ユーザが、操作部７０を操作して、表示部２８、外部機器３００のいずれにするかを明示的に選択した場合には、その選択した方が出力対象デバイスとなるものとする。 Note that the display unit 28 in the embodiment has an image representation function of SDR image quality, that is, each color component of R, G, and B can be displayed with 8 bits (256 gradations). Also, when the external device 300 is connected to the digital camera 100 , the external device 300 is set as an output target device for captured images and live images instead of the display unit 28 . Also, when the user operates the operation unit 70 to explicitly select either the display unit 28 or the external device 300, the selected one is assumed to be the output target device.

操作部７０は、ユーザからの操作を受け付ける入力部としての各種操作部材である。操作部７０には、少なくとも以下の操作部が含まれる。シャッターボタン６１、メイン電子ダイヤル７１、電源スイッチ７２、サブ電子ダイヤル７３、十字キー７４、ＳＥＴボタン７５、ＬＶボタン７６、拡大ボタン７７、縮小ボタン７８、再生ボタン７９である。十字キー７４は、十字キー７４における上、下、右、左の各部を押し込み可能な方向ボタンである。本実施形態では一体的な操作部として説明しているが、上ボタン、下ボタン、右ボタン、左ボタンがそれぞれ独立したボタンであってもよい。以下、上、または下部分を上下キー、左または右部分を左右キーと称する。また、操作部７０には以下の操作部も含まれる。 The operation unit 70 is various operation members as an input unit that receives operations from the user. The operation unit 70 includes at least the following operation units. A shutter button 61 , a main electronic dial 71 , a power switch 72 , a sub electronic dial 73 , a cross key 74 , a SET button 75 , an LV button 76 , an enlargement button 77 , a reduction button 78 and a playback button 79 . The cross key 74 is a directional button that can be pressed in up, down, right, and left portions of the cross key 74 . In this embodiment, the operating unit is described as an integrated operation unit, but the up button, down button, right button, and left button may be independent buttons. Hereinafter, the upper or lower portion will be referred to as an up/down key, and the left or right portion will be referred to as a left/right key. The operation unit 70 also includes the following operation units.

ＡＦ－ＯＮボタン７０ｂは、操作部７０に含まれる押しボタンスイッチであり、押下することでＡＦの実行を指示することができる。ＡＦ－ＰＮボタン７０ｂの押下方向は、レンズ１０３から撮像部２２に入射する被写体光の方向（光軸）と平行である。 The AF-ON button 70b is a push button switch included in the operation unit 70, and can be pressed to instruct execution of AF. The direction in which the AF-PN button 70b is pressed is parallel to the direction (optical axis) of subject light entering the imaging unit 22 from the lens 103 .

クイック設定ボタン７０ｃ（以下、Ｑボタン７０ｃ）は、操作部７０に含まれる押しボタンスイッチであり、押下することで、各動作モードにおいて設定可能な設定項目の一覧であるクイック設定メニューが表示される。例えばライブビュー撮影での撮影待機中に押下されると、電子先幕シャッター、モニターの明るさ、ＬＶ画面のＷＢ、２点拡大、無音撮影などの設定項目の一覧がＬＶに重畳して１列に表示される。ユーザは表示されたクイック設定メニューの内、任意の選択肢を上下キーで選択してセットボタンを押下することで、選択した設定項目に関する設定変更や動作モードへの移行を行うことができる。 The quick setting button 70c (hereinafter referred to as the Q button 70c) is a push button switch included in the operation unit 70, and when pressed, a quick setting menu, which is a list of setting items that can be set in each operation mode, is displayed. . For example, when pressed during live view shooting standby, a list of setting items such as the electronic first curtain shutter, monitor brightness, LV screen WB, 2-point magnification, silent shooting, etc. is superimposed on the LV in one row. to be displayed. By selecting any option from the displayed quick setting menu with the up/down key and pressing the set button, the user can change the setting of the selected setting item or switch to the operation mode.

アクティブ枠切替ボタン７０ｄは、操作部７０に含まれる押しボタンスイッチであり、後述する２点拡大処理において押下することで、拡大している２箇所のうち、アクティブな拡大位置（枠）を切り替えることができる。また、動作モードによって異なる機能が割り当てられており、再生モードにおいて押下すると、表示している画像にプロテクト属性を付与することができる。 The active frame switching button 70d is a push button switch included in the operation unit 70, and by pressing it in the two-point enlargement process described later, the active enlargement position (frame) is switched between the two enlargements. can be done. Also, different functions are assigned depending on the operation mode, and when pressed in the playback mode, a protection attribute can be given to the displayed image.

メニューボタン７０ｅは、操作部７０に含まれる押しボタンスイッチであり、各種の設定が可能なメニュー画面が表示部２８、または、外部機器３００に表示される。 The menu button 70 e is a push button switch included in the operation unit 70 and displays a menu screen on which various settings can be made on the display unit 28 or the external device 300 .

ファンクションボタン７０ｆは、操作部７０に含まれる３つの押しボタンスイッチであり、それぞれ機能が割り当てられている。ファンクションボタン７０ｆのそれぞれは、グリップ部９０を保持する右手の指（中指または薬指または小指）によって操作可能な位置に配置されており、押下方向はレンズ１０３から撮像部２２に入射する被写体光の方向（光軸）と平行である。 The function buttons 70f are three push button switches included in the operation unit 70, and functions are assigned to each of them. Each of the function buttons 70f is arranged at a position where it can be operated by the finger (middle finger, ring finger, or little finger) of the right hand holding the grip section 90, and the direction of depression is the direction of subject light incident on the imaging section 22 from the lens 103. (optical axis).

インフォボタン７０ｇは、操作部７０に含まれる押しボタンスイッチであり、各種情報表示の切り替えなどに使用される。 The info button 70g is a push button switch included in the operation unit 70, and is used for switching various information displays.

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。 The power control unit 80 is composed of a battery detection circuit, a DC-DC converter, a switch circuit for switching blocks to be energized, and the like, and detects whether or not a battery is installed, the type of battery, and the remaining amount of the battery. Also, the power supply control unit 80 controls the DC-DC converter based on the detection results and instructions from the system control unit 50, and supplies necessary voltage to each unit including the recording medium 200 for a necessary period.

電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。 The power supply unit 30 includes a primary battery such as an alkaline battery or a lithium battery, a secondary battery such as a NiCd battery, a NiMH battery, or a Li battery, an AC adapter, or the like. A recording medium I/F 18 is an interface with a recording medium 200 such as a memory card or hard disk. A recording medium 200 is a recording medium such as a memory card for recording captured images, and is composed of a semiconductor memory, a magnetic disk, or the like.

通信部５４は、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Local Area Network）やインターネットとも接続可能である。通信部５４は撮像部２２で撮像した画像（スルー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。 The communication unit 54 is connected wirelessly or by a wired cable, and transmits and receives video signals and audio signals. The communication unit 54 can be connected to a wireless LAN (Local Area Network) or the Internet. The communication unit 54 can transmit images (including through images) captured by the imaging unit 22 and images recorded on the recording medium 200, and can receive image data and other various information from external devices. can.

姿勢検知部５５は重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録することが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。 The orientation detection unit 55 detects the orientation of the digital camera 100 with respect to the direction of gravity. Based on the posture detected by the posture detection unit 55, whether the image captured by the imaging unit 22 is an image captured with the digital camera 100 held horizontally or an image captured with the digital camera 100 held vertically is determined. It is identifiable. The system control unit 50 can add orientation information corresponding to the orientation detected by the orientation detection unit 55 to the image file of the image captured by the imaging unit 22, or rotate and record the image. An acceleration sensor, a gyro sensor, or the like can be used as the posture detection unit 55 .

なお、操作部７０の一つとして、表示部２８に対する接触を検知可能なタッチパネル７０ａを有する。タッチパネル７０ａと表示部２８とは一体的に構成することができる。例えば、タッチパネル７０ａを光の透過率が表示部２８の表示を妨げないように構成し、表示部２８の表示面の上層に取り付ける。そして、タッチパネル７０ａにおける入力座標と、表示部２８上の表示座標とを対応付ける。これにより、恰もユーザが表示部２８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザインターフェース）を構成することができる。システム制御部５０はタッチパネル７０ａへの以下の操作あるいは状態を検出できる。
・タッチパネル７０ａにタッチしていなかった指やペンが新たにタッチパネル７０ａにタッチしたこと。すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしている状態であること（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）と称する）。
・タッチパネル７０ａへタッチしていた指やペンを離したこと。すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）と称する）。
・タッチパネル７０ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）と称する）。 As one of the operation units 70, a touch panel 70a capable of detecting contact with the display unit 28 is provided. The touch panel 70a and the display section 28 can be configured integrally. For example, the touch panel 70 a is configured so that the light transmittance does not interfere with the display of the display section 28 and is attached to the upper layer of the display surface of the display section 28 . Then, the input coordinates on the touch panel 70a and the display coordinates on the display unit 28 are associated with each other. This makes it possible to construct a GUI (Graphical User Interface) as if the user could directly operate the screen displayed on the display unit 28 . The system control unit 50 can detect the following operations or states on the touch panel 70a.
- A finger or pen that has not touched the touch panel 70a newly touches the touch panel 70a. That is, the start of touch (hereinafter referred to as Touch-Down).
- The touch panel 70a is in a state of being touched with a finger or a pen (hereinafter referred to as Touch-On).
- Moving while touching the touch panel 70a with a finger or pen (hereinafter referred to as touch-move).
- The finger or pen that has touched the touch panel 70a has been released. That is, the end of the touch (hereinafter referred to as Touch-Up).
A state in which nothing is touched on the touch panel 70a (hereinafter referred to as Touch-Off).

タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。 When touchdown is detected, touchon is also detected at the same time. After touchdown, touchon continues to be detected unless touchup is detected. A touch-move is also detected when a touch-on is detected. Even if touch-on is detected, touch-move is not detected if the touch position does not move. After it is detected that all the fingers and pens that have touched have touched up, the touch is turned off.

これらの操作・状態や、タッチパネル７０ａ上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部５０に通知される。システム制御部５０は、通知された情報に基づいてタッチパネル７０ａ上にどのような操作（タッチ操作）が行なわれたかを判定する。タッチムーブについてはタッチパネル７０ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル７０ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル７０ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル７０ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式ものがあるが、いずれの方式でもよい。 The system control unit 50 is notified of these operations/states and the coordinates of the position where the finger or pen touches the touch panel 70a through the internal bus. The system control unit 50 determines what kind of operation (touch operation) has been performed on the touch panel 70a based on the notified information. As for the touch move, the moving direction of the finger or pen moving on the touch panel 70a can also be determined for each vertical component/horizontal component on the touch panel 70a based on the change in the position coordinates. If it is detected that the touch-move has been performed for a predetermined distance or more, it is determined that the slide operation has been performed. An operation of touching a touch panel with a finger and quickly moving it by a certain distance and then releasing it is called a flick. A flick is, in other words, an operation of quickly tracing the touch panel 70a as if flicking it with a finger. It can be determined that a flick has been performed when a touch-move of a predetermined distance or more at a predetermined speed or more is detected, and a touch-up is detected as it is (it can be determined that a flick has occurred following a slide operation). Further, a touch operation of simultaneously touching a plurality of points (for example, two points) to bring the touch positions closer to each other is called pinch-in, and a touch operation of moving the touch positions away from each other is called pinch-out. Pinch-out and pinch-in are collectively called pinch operation (or simply pinch). The touch panel 70a may be any one of various types of touch panels such as a resistive film type, a capacitance type, a surface acoustic wave type, an infrared type, an electromagnetic induction type, an image recognition type, an optical sensor type, and the like. good. Depending on the method, there is a method of detecting that there is a touch when there is contact with the touch panel, and a method of detecting that there is a touch when there is an approach of a finger or pen to the touch panel.

また、撮像装置本体に限らず、有線または無線通信を介して撮像装置（ネットワークカメラを含む）と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットＰＣ、デスクトップＰＣなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。 In addition, the present invention can be applied not only to the main body of an imaging device but also to a control device that communicates with an imaging device (including a network camera) via wired or wireless communication and remotely controls the imaging device. Devices that remotely control imaging devices include, for example, devices such as smartphones, tablet PCs, and desktop PCs. It is possible to remotely control the image capturing apparatus by notifying the image capturing apparatus of commands for performing various operations and settings from the control apparatus side based on operations performed on the control apparatus side and processing performed on the control apparatus side. be. Also, a live view image captured by an imaging device may be received via wired or wireless communication and displayed on the control device side.

なお、上記では、デジタルカメラに適用した場合を例にして説明したが、本発明はこれに限定されない。例えば、ＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなど、表示部を備えた装置であれば、本発明は適用可能である。 In addition, although the case where the present invention is applied to a digital camera has been described above as an example, the present invention is not limited to this. For example, the present invention can be applied to any device having a display unit, such as a PDA, a mobile phone terminal, a portable image viewer, a printer device having a display, a digital photo frame, a music player, a game machine, an electronic book reader, and the like. is.

図３はデジタルカメラ１００と外部機器３００との接続例を示す図である。デジタルカメラ１００と外部機器３００を接続ケーブル３０２で接続すると、デジタルカメラ１００の表示部２８が消灯し、外部機器３００のディスプレイ３０１にデジタルカメラ１００の表示が切り替わり表示される。 FIG. 3 is a diagram showing an example of connection between the digital camera 100 and the external device 300. As shown in FIG. When the digital camera 100 and the external device 300 are connected with the connection cable 302 , the display unit 28 of the digital camera 100 is turned off, and the display of the digital camera 100 is switched and displayed on the display 301 of the external device 300 .

図４Ａは、デジタルカメラ１００でのＬＶ撮影モード処理を示すフローチャートである。この処理は、不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２に展開してシステム制御部５０が実行することで実現する。 4A is a flowchart showing LV shooting mode processing in the digital camera 100. FIG. This process is realized by loading the program recorded in the nonvolatile memory 56 into the system memory 52 and executing it by the system control unit 50 .

まず、本実施形態におけるＨＤＲ撮影モード及びＳＤＲ撮影モードについて説明する。本実施形態のデジタルカメラ１００は、ユーザからのメニュー操作などによってＨＤＲ撮影モードまたはＳＤＲ撮影モードを設定できる。これらのモードは、ユーザが最終的にＨＤＲ画質の画像データを得るかＳＤＲ画質の画像データを得るかの意図を設定するためのものであり、以下の処理はいずれのモードが設定されているかに応じて種々の制御が行われる。以下、ＨＤＲ撮影モード及びＳＤＲ撮影モードで撮影を行うことを「ＨＤＲ撮影」、「ＳＤＲ撮影」と記載することがある。ただし、後述するようにＲＡＷ形式のみの記録を設定することも可能であるため、ＨＤＲ撮影モードで撮影された場合に必ずＨＤＲ画像が記録されるとは限らない。 First, the HDR imaging mode and the SDR imaging mode in this embodiment will be described. The digital camera 100 of the present embodiment can set the HDR shooting mode or the SDR shooting mode by a user's menu operation or the like. These modes are for the purpose of setting the user's intention to finally obtain HDR image data or SDR image data. Various controls are performed accordingly. Hereinafter, shooting in HDR shooting mode and SDR shooting mode may be referred to as “HDR shooting” and “SDR shooting”. However, as will be described later, it is possible to set recording only in the RAW format, so an HDR image is not necessarily recorded when the image is captured in the HDR shooting mode.

Ｓ４０１にて、システム制御部５０は、ユーザによる操作部７０に対する設定がＨＤＲ撮影モードとなっているか否かを判定する。システム制御部５０は、ＨＤＲ撮影モードに設定されていると判定した場合は処理をＳ４０２に、ＳＤＲ撮影モードになっていると判定した場合は処理をＳ４２２に進める。 In S401, the system control unit 50 determines whether or not the user has set the operation unit 70 to the HDR imaging mode. If the system control unit 50 determines that the HDR imaging mode is set, the process proceeds to S402, and if it determines that the SDR imaging mode is set, the process proceeds to S422.

Ｓ４０２にて、システム制御部５０は、デジタルカメラ１００に外部機器３００が接続されているか否かを判定する。システム制御部５０は、外部機器３００が接続されていると判定した場合はＳ４０３に、接続されていないと判定した場合は処理をＳ４０４に進める。 In S<b>402 , system control unit 50 determines whether external device 300 is connected to digital camera 100 . If the system control unit 50 determines that the external device 300 is connected, the process proceeds to S403, and if it determines that the external device 300 is not connected, the process proceeds to S404.

Ｓ４０３にて、システム制御部５０は、デジタルカメラ１００と外部機器３００の接続処理を行う。そして、システム制御部５０は処理をＳ４０４へ進める。この接続処理の詳細は図５を用いて後述する。なお、外部機器がＨＤＲ接続に対応していればＨＤＲ接続され、対応していなければＳＤＲ接続となる。 In S<b>403 , the system control unit 50 performs connection processing between the digital camera 100 and the external device 300 . Then, the system control unit 50 advances the process to S404. The details of this connection processing will be described later with reference to FIG. If the external device supports HDR connection, HDR connection is made, and if not, SDR connection is made.

Ｓ４０４にて、システム制御部５０は、撮像部２２で撮像しＡ／Ｄ変換器２３でデジタル信号に変換して得たライブのＲＡＷ画像データに対し、画像処理部２４を用いてＨＤＲ画質の現像処理を行う。以下、ＨＤＲ画質の現像処理で得た画像をＨＤＲ画像という。 In S404, the system control unit 50 uses the image processing unit 24 to develop HDR image quality for live RAW image data captured by the imaging unit 22 and converted into digital signals by the A/D converter 23. process. Hereinafter, an image obtained by development processing with HDR image quality will be referred to as an HDR image.

なお、実施形態における、ＨＤＲ画像データとは、１画素が３成分（ＬｕｖやＹＣｂＣｒ等）で構成され、且つ、実施形態では各成分が１０ビット（１０２４階調）で表されるデータである。ＨＤＲ画像データには、ＨＤＲ画像用のガンマカーブ（例えば、ＩＴＵ－Ｒの勧告ＢＴ．２１００のＰＱやＨＬＧ）が適用されている。 Note that HDR image data in the embodiment is data in which one pixel is composed of three components (Luv, YCbCr, etc.), and each component is represented by 10 bits (1024 gradations) in the embodiment. A gamma curve for HDR images (for example, PQ and HLG of ITU-R recommendation BT.2100) is applied to the HDR image data.

Ｓ４０５にて、システム制御部５０は、ＬＶ画像を表示するデバイス（表示部２８または外部機器３００）がＨＤＲ対応かどうかを判定し、ＨＤＲ対応してないと判定した場合は処理をＳ４０６に、ＨＤＲ対応していると判定した場合は処理をＳ４０９へ進める。 In S405, system control unit 50 determines whether the device (display unit 28 or external device 300) that displays the LV image supports HDR. If it is determined that they are compatible, the process advances to S409.

Ｓ４０６にて、システム制御部５０は、ＨＤＲアシスト表示設定を確認する。システム制御部５０は、アシスト１が設定されていると判定した場合は処理をＳ４０７へ、アシスト２が設定されている場合は処理をＳ４０８へ進める。アシスト１は、ＨＤＲ画像の高輝度領域を確認するための設定であり、ＨＤＲ画像の高輝度範囲に多くの階調（コード値）を割り当てる処理が行われる。アシスト２は、ＨＤＲ画像の中間輝度範囲を確認するための設定であり、ＨＤＲ画像の中間輝度領域に多くの階調を割り当てる処理が行われる。 In S406, system control unit 50 confirms the HDR assist display setting. If the system control unit 50 determines that the assist 1 is set, the process proceeds to S407, and if the assist 2 is set, the process proceeds to S408. Assist 1 is a setting for confirming the high-luminance area of the HDR image, and a process of assigning many gradations (code values) to the high-luminance range of the HDR image is performed. Assist 2 is a setting for confirming the intermediate luminance range of the HDR image, and a process of allocating many gradations to the intermediate luminance area of the HDR image is performed.

Ｓ４０７にて、システム制御部５０は、Ｓ４０４の現像処理で得たＨＤＲ画像データに対して、アシスト１の設定に従ってＨＤＲ→ＳＤＲ変換処理を行い、且つ、出力対象デバイス（表示部２８または外部機器３００）に適したサイズにリサイズ処理を行って得たＳＤＲ画質のＬＶ画像データを表示し、処理をＳ４１０に進める。 In S407, the system control unit 50 performs HDR→SDR conversion processing on the HDR image data obtained in the development processing in S404 according to the setting of assist 1, and converts the HDR image data to the output target device (display unit 28 or external device 300). ), the SDR-quality LV image data obtained by resizing to a size suitable for ) is displayed, and the process proceeds to S410.

Ｓ４０８にて、システム制御部５０は、Ｓ４０４の現像処理で得たＨＤＲ画像データに対してアシスト２の設定に従いＨＤＲ→ＳＤＲ変換処理を行い、且つ、出力対象デバイス（表示部２８または外部機器３００）に適したサイズにリサイズ処理を行って得たＳＤＲ画質のＬＶ画像データを表示し、処理をＳ４１０に進める。 In S408, the system control unit 50 performs HDR→SDR conversion processing on the HDR image data obtained in the development processing in S404 in accordance with the setting of assist 2, and converts the data to the output target device (display unit 28 or external device 300). LV image data of SDR image quality obtained by resizing to a size suitable for the image is displayed, and the process proceeds to S410.

ここで、Ｓ４０７、Ｓ４０８におけるＳＤＲ画質の画像データ（ＳＤＲ画像データ）とは、１成分当たり８ビットの画像データをいう。ＳＤＲ画質の画像データには、ＳＤＲ画像用のガンマカーブ（例えば、ｓＲＧＢ規格のガンマカーブ）が適用されている。なお、ｓＲＧＢ規格のガンマカーブは、一般的には暗部が直線で明部が２．４のべき乗のカーブであるが、簡易的には２．２のべき乗のカーブを用いても良い。 Here, the SDR quality image data (SDR image data) in S407 and S408 means image data of 8 bits per component. A gamma curve for SDR images (for example, a gamma curve of the sRGB standard) is applied to the image data of SDR image quality. Note that the sRGB standard gamma curve generally has a straight line in the dark portion and a power-of-2.4 curve in the bright portion, but for simplicity, a power-of-2.2 curve may be used.

Ｓ４０９にて、システム制御部５０は、Ｓ４０４での現像処理で得たＨＤＲ画像データを、出力対象デバイス（表示部２８または外部機器３００）に適したサイズにリサイズ処理し、そのリサイズ後のＨＤＲ画質の画像（以降、ＨＤＬ＿ＬＶ画像）をライブ表示し、処理をＳ４１０に進める。 In S409, the system control unit 50 resizes the HDR image data obtained by the development processing in S404 to a size suitable for the output target device (display unit 28 or external device 300), and adjusts the HDR image quality after resizing. image (hereinafter referred to as HDL_LV image) is displayed live, and the process proceeds to S410.

Ｓ４１０にて、システム制御部５０は、メニュー表示ボタン７０ｅが押されたかを判定し、押されたと判定した場合は処理をＳ４１１に、押されていないと判定した場合は処理をＳ４１２に進める。Ｓ４１１にて、システム制御部５０は、撮影メニュー処理を行い、処理をＳ４１２に進める。この撮影メニュー処理の詳細は図６を用いて後述する。 In S410, the system control unit 50 determines whether the menu display button 70e has been pressed. If it is determined that it has been pressed, the process proceeds to S411. In S411, the system control unit 50 performs shooting menu processing, and advances the processing to S412. The details of this shooting menu process will be described later with reference to FIG.

Ｓ４１２にて、システム制御部５０は、インフォ表示ボタン７０ｇが押されたかを判定し、押されたと判定した場合は処理をＳ４１３に、押されていないと判定した場合は処理をＳ４１４に進める。Ｓ４１３では、システム制御部５０は、撮影情報の表示を切り替え、Ｓ４１４に進む。撮影情報には、ヒストグラムやハイライト警告表等がある。 In S412, the system control unit 50 determines whether the information display button 70g has been pressed. If it is determined that it has been pressed, the process proceeds to S413, and if it is determined that it has not been pressed, the process proceeds to S414. In S413, the system control unit 50 switches the display of shooting information, and proceeds to S414. The shooting information includes a histogram, a highlight warning table, and the like.

Ｓ４１４にて、システム制御部５０は、信号ＳＷ１を受信しているか否かに基づき、シャッターボタン６１が半押し状態かどうかを判定し、半押しされていないと判定した場合は処理をＳ４２０に、半押し状態であると判定した場合は処理をＳ４１５に進める。 In S414, the system control unit 50 determines whether or not the shutter button 61 is half-pressed based on whether or not the signal SW1 has been received. If it is determined that the button is half-pressed, the process proceeds to S415.

Ｓ４１５にて、システム制御部５０は、図２で説明したＡＦ／ＡＥ処理を行い、Ｓ４１６に進む。Ｓ４１６にて、システム制御部５０は、信号ＳＷ２を受信しているか否かに基づき、シャッターボタン６１が全押し状態かどうかを判定し、全押し状態でないと判定した場合は処理をＳ４１７に進み、全押し状態であると判定した場合は処理をＳ４１８に進める。Ｓ４１７にて、システム制御部５０は、シャッターボタン６１が半押し状態が保持されているかを判定し、半押し状態が保持されていれば処理をＳ４１５に戻し、半押し状態が保持されていないと判定した場合は処理をＳ４２０に進める。Ｓ４１８にて、システム制御部５０は、ＨＤＲ撮影処理を行い、記録媒体に予め設定した記録形式に応じた画像データファイルを記録する。図８Ａは、記録されるファイルのデータ構造を示している。そして、システム制御部５０は処理をＳ４１９に進める。なお、このＨＤＲ撮影処理の詳細は図７を用いて後述する。そして、Ｓ４１９にて、システム制御部５０は、クイックレビュー表示処理を行い、処理をＳ４２０に進める。このクイックレビュー表示処理の詳細は図４Ｂを用いて後述する。 In S415, the system control unit 50 performs the AF/AE processing described with reference to FIG. 2, and proceeds to S416. In S416, the system control unit 50 determines whether or not the shutter button 61 is fully pressed based on whether or not the signal SW2 has been received. If it is determined that the button is fully pressed, the process proceeds to S418. In S417, the system control unit 50 determines whether the shutter button 61 is held half-pressed. If the half-pressed state is held, the process returns to S415. If so, the process proceeds to S420. In S418, system control unit 50 performs HDR imaging processing, and records an image data file according to a preset recording format on a recording medium. FIG. 8A shows the data structure of a recorded file. Then, the system control unit 50 advances the process to S419. The details of this HDR imaging process will be described later with reference to FIG. Then, in S419, the system control unit 50 performs quick review display processing, and advances the processing to S420. The details of this quick review display process will be described later with reference to FIG. 4B.

Ｓ４２０にて、システム制御部５０は、ＬＶボタン７６が押されたかを判定し、押されていると判定した場合は処理をＳ４２１に、押されていないと判定した場合は処理をＳ４２２に進める。 In S420, the system control unit 50 determines whether the LV button 76 has been pressed, and if it determines that it has been pressed, the process proceeds to S421, and if it determines that it has not been pressed, the process proceeds to S422.

Ｓ４２１にて、システム制御部５０は、Ｓ４０４でＨＤＲ画質に現像処理した画像データ（１画素３成分で、１成分当たり１０ビットの画像データ）をＨＥＶＣ（Ｈ．２６５）圧縮し、ＨＤＲ動画ファイルとして記録し、Ｓ４３８に処理を進める。 In S421, the system control unit 50 HEVC (H.265) compresses the image data developed to HDR image quality in S404 (10-bit image data with 3 components per pixel) as an HDR moving image file. It is recorded, and the process proceeds to S438.

Ｓ４２２にて、システム制御部５０は、外部機器３００がデジタルカメラ１００に接続されているか否かを判定する。システム制御部５０は、外部機器３００が接続されていると判定した場合は処理をＳ４２３に、接続されていないと判定した場合は処理をＳ４２４に進める。Ｓ４２３にて、システム制御部５０は、デジタルカメラ１００と外部機器３００の接続処理を行い、処理をＳ４２４へ進める。この接続処理の詳細は図５を用いて後述する。なお、ＳＤＲ撮影モードのため外部機器とはＳＤＲ接続されることになる。 At S<b>422 , system control unit 50 determines whether or not external device 300 is connected to digital camera 100 . If the system control unit 50 determines that the external device 300 is connected, the process proceeds to S423, and if it determines that the external device 300 is not connected, the process proceeds to S424. In S423, the system control unit 50 performs connection processing between the digital camera 100 and the external device 300, and advances the processing to S424. The details of this connection processing will be described later with reference to FIG. It should be noted that, because of the SDR shooting mode, an SDR connection is made with an external device.

Ｓ４２４にて、システム制御部５０は、撮像部２２で撮像し、Ａ／Ｄ変換器２３でデジタル信号に変換した画像を画像処理部２４でＳＤＲ画質（１画素３成分で、１成分当たり８ビット（２５６階調））に現像し、処理をＳ４２５に進む。なお、以降、ＳＤＲ画質の現像処理後の画像をＳＤＲ画像という。 In S424, the system control unit 50 converts the image captured by the imaging unit 22 into a digital signal by the A/D converter 23 to SDR image quality (3 components per pixel, 8 bits per component) by the image processing unit 24. (256 gradations)), and the process proceeds to S425. Hereinafter, an image after development processing with SDR image quality will be referred to as an SDR image.

Ｓ４２５にて、システム制御部５０は、Ｓ４２４の現像処理で得たＳＤＲ画像を、出力先のデバイスの解像度（表示部２８または外部機器３００）に適したサイズにリサイズ処理を行い、ＳＤＲ画質のライブ画像（ＳＤＲ＿ＬＶ画像）を生成し、生成したＳＤＲ＿ＬＶ画像を表示する。 In S425, the system control unit 50 resizes the SDR image obtained by the development processing in S424 to a size suitable for the resolution of the output destination device (the display unit 28 or the external device 300), and converts the SDR image to a live image of SDR image quality. An image (SDR_LV image) is generated and the generated SDR_LV image is displayed.

Ｓ４２６にて、システム制御部５０は、メニュー表示ボタン７０ｅが押されたかを判定し、押されたと判定した場合は処理をＳ４２７に、押されていないと判定した場合は処理をＳ４２８に進める。Ｓ４２７にて、システム制御部５０は、撮影メニュー処理を行い、処理をＳ４２８に進める。このＳ４２７の撮影メニュー処理の詳細は図６を用いて後述する。 In S426, the system control unit 50 determines whether the menu display button 70e has been pressed. If it is determined that it has been pressed, the process proceeds to S427, and if it is determined that it has not been pressed, the process proceeds to S428. In S427, system control unit 50 performs shooting menu processing, and advances the processing to S428. Details of the shooting menu processing in S427 will be described later with reference to FIG.

Ｓ４２８にて、システム制御部５０は、インフォ表示ボタン７０ｇが押されたかを判定し、押されたと判定した場合は処理をＳ４２９に、押されていないと判定した場合は処理をＳ４３０に進める。Ｓ４２９にて、システム制御部５０は、撮影情報の表示を切り替え、Ｓ４３０に進む。撮影情報には、ヒストグラムやハイライト警告表等がある。 In S428, the system control unit 50 determines whether the information display button 70g has been pressed. If it is determined that it has been pressed, the process proceeds to S429, and if it is determined that it has not been pressed, the process proceeds to S430. In S429, the system control unit 50 switches the display of shooting information, and proceeds to S430. The shooting information includes a histogram, a highlight warning table, and the like.

Ｓ４３０にて、システム制御部５０は、シャッターボタン６１が半押し状態かどうかを判定し、半押し状態にないと判定した場合は処理をＳ４３６に、半押し状態であると判定した場合は処理をＳ４３１に進める。 In S430, the system control unit 50 determines whether or not the shutter button 61 is half-pressed. Proceed to S431.

Ｓ４３１にて、システム制御部５０は、図２で説明したＡＦ／ＡＥ処理を行い、Ｓ４３２に進める。Ｓ４３２にて、システム制御部５０は、信号ＳＷ２を受信したか否かに基づき、シャッターボタン６１が全押し状態かどうかを判定する。システム制御部５０は、全押し状態でないと判定した場合は処理をＳ４３３に、全押し状態であると判定した場合は処理をＳ４３４に進める。Ｓ４３３にて、システム制御部５０は、信号ＳＷ１を受信したか否かに基づき、シャッターボタン６１が半押し状態が保持されているかを判定する。システム制御部５０は、半押し状態が保持されていると判定した場合は処理をＳ４３１に戻し、半押し状態が保持されていないと判定した場合は処理をＳ４３６に進める。 In S431, the system control unit 50 performs the AF/AE processing described with reference to FIG. 2, and proceeds to S432. In S432, system control unit 50 determines whether or not shutter button 61 is fully pressed based on whether or not signal SW2 has been received. If the system control unit 50 determines that the button is not fully pressed, the process proceeds to S433, and if it determines that the button is fully pressed, the process proceeds to S434. In S433, system control unit 50 determines whether shutter button 61 is kept half-pressed based on whether or not signal SW1 has been received. If the system control unit 50 determines that the half-pressed state is maintained, the process returns to S431, and if it determines that the half-pressed state is not maintained, the process proceeds to S436.

Ｓ４３４にて、システム制御部５０は、ＳＤＲ撮影処理を行いＳ４３５に進む。このＳＤＲ撮影処理では、システム制御部５０は、ＳＤＲ撮影で得たＲＡＷ画像データをＳＤＲ画質で現像処理し、ＳＤＲ画質の画像をＪＰＥＧ符号化してＪＰＥＧ画像データを生成し、ＪＰＥＧ形式のＪＰＥＧファイルとして記録媒体に記録する。記録設定として、ＳＤＲ画像のみをＪＰＥＧファイルとして記録する設定がされている場合は、ＪＰＥＧファイルのみを記録する。記録設定として、ＪＰＥＧファイルとＲＡＷ画像ファイルの記録が設定されている場合は、ＪＰＥＧファイルを記録すると共に、ＳＤＲ撮影で得たＲＡＷ画像データを符号化したデータと、ＪＰＥＧ画像データとを図８Ａに示すＲＡＷ画像ファイル形式でＲＡＷ画像ファイルとして記録媒体に記録する。ＲＡＷ画像ファイルにおいて、図８Ａのデータ構造におけるＩｍａｇｅＤａｔａ８０９は、図８Ｂ（ａ）に示す形式となる。すなわち、表示用の各サイズの画像は８ビットの精度で、ＪＰＥＧ符号化して得た符号化データを統合して１つのファイルに格納される。そして、Ｓ４３５にて、システム制御部５０は、クイックレビュー表示処理を行い、Ｓ４３６に進む。このクイックレビュー表示処理の詳細は図４Ｂを用いて後述する。 In S434, the system control unit 50 performs SDR imaging processing and proceeds to S435. In this SDR shooting process, the system control unit 50 develops the RAW image data obtained by SDR shooting with SDR image quality, JPEG-encodes the SDR image quality image to generate JPEG image data, and converts it into a JPEG file in JPEG format. Record on a recording medium. If the recording setting is set to record only the SDR image as a JPEG file, only the JPEG file is recorded. If recording of a JPEG file and a RAW image file is set as the recording setting, the JPEG file is recorded, and data obtained by encoding the RAW image data obtained by SDR shooting and the JPEG image data are shown in FIG. 8A. It is recorded on a recording medium as a RAW image file in the RAW image file format shown. In the RAW image file, ImageData 809 in the data structure of FIG. 8A has the format shown in FIG. 8B(a). That is, an image of each size for display is stored in one file by integrating coded data obtained by JPEG coding with 8-bit precision. Then, in S435, the system control unit 50 performs quick review display processing, and proceeds to S436. The details of this quick review display process will be described later with reference to FIG. 4B.

Ｓ４３６にて、システム制御部５０は、ＬＶボタン７６が押されたかを判断し、押されたと判定した場合は処理をＳ４３７に、押されていないと判定した場合は処理をＳ４３８に進める。Ｓ４３７にて、システム制御部５０は、Ｓ４２５でＳＤＲ画質の現像処理で得たＳＤＲ画像をＨ２６４圧縮し、ＳＤＲ動画ファイルとして記録し、処理をＳ４３８に進める。 In S436, the system control unit 50 determines whether the LV button 76 has been pressed. If it is determined that it has been pressed, the process proceeds to S437, and if it is determined that it has not been pressed, the process proceeds to S438. In S437, the system control unit 50 H264-compresses the SDR image obtained in SDR image quality development processing in S425, records it as an SDR moving image file, and advances the process to S438.

Ｓ４３８にて、システム制御部５０は、再生ボタン７９が押されたかを判定する。システム制御部５０は、再生ボタン７９が押されたと判定した場合は処理をＳ４３９に、押されていないと判定した場合は処理をＳ４４０に進める。Ｓ４３９にて、システム制御部５０は，再生モード処理行い、処理をＳ４４０に進む。この再生モード処理の詳細は図９、図１０を用いて後述する。 At S438, system control unit 50 determines whether play button 79 has been pressed. If the system control unit 50 determines that the play button 79 has been pressed, the process proceeds to S439, and if it determines that the play button 79 has not been pressed, the process proceeds to S440. In S439, system control unit 50 performs reproduction mode processing, and proceeds to S440. The details of this reproduction mode processing will be described later with reference to FIGS. 9 and 10. FIG.

Ｓ４４０にて、システム制御部５０は、ＬＶモードの終了指示があったか否かを判定し、ＬＶモードの終了指示がないと判定した場合は処理をＳ４０１に戻し、終了指示があったと判定した場合は本処理を終了する。 In S440, the system control unit 50 determines whether or not there is an instruction to end the LV mode. End this process.

図４Ｂは、システム制御部５０のクイックレビュー表示処理を示すフローチャートである。この処理は、不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２に展開して、システム制御部５０が実行することで実現するものである。 FIG. 4B is a flow chart showing quick review display processing of the system control unit 50 . This processing is realized by loading the program recorded in the nonvolatile memory 56 into the system memory 52 and executing it by the system control unit 50 .

Ｓ４５１にて、システム制御部５０は、クイックレビュー表示有りに設定されているかを判定し、クイックレビュー表示有りに設定されていると判定した場合は処理をＳ４５２に、クイックレビュー表示無しに設定されていると判定した場合は本処理を終了する。 In S451, the system control unit 50 determines whether or not the quick review display is set. If it is determined that the quick review display is set, the process proceeds to S452, and the quick review display is set to non-display. If it is determined that there is, the process ends.

Ｓ４５２にて、システム制御部５０は、ＨＤＲ撮影モードでの撮影であるかを判定し、ＨＤＲ撮影モードでの撮影であると判定した場合は処理をＳ４５３に、ＳＤＲ撮影モードでの撮影であると判定した場合は処理をＳ４６０に進める。 In S452, the system control unit 50 determines whether the shooting is in the HDR shooting mode.If it is determined that the shooting is in the HDR shooting mode, the process proceeds to S453. If so, the process proceeds to S460.

Ｓ４５３にて、システム制御部５０は、クイックレビュー表示するデバイス（表示部２８または外部機器３００）がＨＤＲ対応かどうかを判定し、ＨＤＲ対応でないと判定した場合は処理をＳ４５４に、ＨＤＲ対応であると判定した場合は処理をＳ４５７へ進む。 In S453, system control unit 50 determines whether the device (display unit 28 or external device 300) for quick review display is HDR compatible. If so, the process proceeds to S457.

Ｓ４５４にて、システム制御部５０は、ＲＡＷ静止画撮影で撮影したかを判定し、ＲＡＷ静止画撮影での撮影であると判定した場合は処理をＳ４５５に、ＨＩＥＦ静止画撮影の場合は処理をＳ４５６へ進める。 In S454, the system control unit 50 determines whether or not the RAW still image was shot. If it is determined that the RAW still image was shot, the process proceeds to S455, and if the HIEF still image is shot, the process proceeds to S455. Proceed to S456.

Ｓ４５５にて、システム制御部５０は、ＨＤＲ ＲＡＷ画像内の表示用ＨＤＲ画像８２８を、Ｓ４０６～Ｓ４０８と同等の処理でＨＤＲ→ＳＤＲ変換を行い、出力対象デバイス（表示部２８または外部機器３００）に適したサイズにリサイズ処理を行い、ＳＤＲ画質で表示し、処理をＳ４６３に進める。 In S455, system control unit 50 converts HDR image 828 for display in the HDR RAW image from HDR to SDR in the same processing as in S406 to S408, and outputs it to the output target device (display unit 28 or external device 300). The image is resized to a suitable size, displayed with SDR image quality, and the process proceeds to S463.

Ｓ４５６にて、システム制御部５０は、ＨＥＩＦ画像内の表示用ＨＤＲ画像をＳ４０６～Ｓ４０８と同等の処理でＨＤＲ→ＳＤＲ変換を行い、出力対象デバイス（表示部２８または外部機器３００）に適したサイズにリサイズ処理を行い、ＳＤＲ画質で表示し、処理をＳ４６３に進める。 In S456, system control unit 50 converts the HDR image for display in the HEIF image from HDR to SDR by processing equivalent to S406 to S408, and converts the HDR image into a size suitable for the output target device (display unit 28 or external device 300). is resized, displayed in SDR image quality, and the process proceeds to S463.

Ｓ４５７にて、システム制御部５０はＲＡＷ静止画撮影で撮影したかを判定し、ＲＡＷ静止画撮影で撮影したと判定した場合は処理をＳ４５８に、ＨＩＥＦ静止画撮影での撮影であると判定した場合は処理をＳ４５９へ進める。Ｓ４５８にて、システム制御部５０は、ＨＤＲ ＲＡＷ画像内の表示用ＨＤＲ画像８２８を、出力対象デバイス（表示部２８または外部機器３００）に適したサイズにリサイズ処理を行い、ＨＤＲ画質で表示し、処理をＳ４６３に進める。Ｓ４５９にて、システム制御部５０は、ＨＥＩＦ画像内の表示用ＨＤＲ画像を、出力対象デバイス（表示部２８または外部機器３００）に適したサイズにリサイズ処理を行いＨＤＲ画質で表示し、処理をＳ４６３に進める。 In S457, the system control unit 50 determines whether or not the RAW still image was captured. If it is determined that the RAW still image was captured, the process proceeds to S458, and it is determined that the HIEF still image was captured. If so, the process proceeds to S459. In S458, the system control unit 50 resizes the display HDR image 828 in the HDR RAW image to a size suitable for the output target device (the display unit 28 or the external device 300), and displays it with HDR image quality. The process proceeds to S463. In S459, the system control unit 50 resizes the HDR image for display in the HEIF image to a size suitable for the output target device (the display unit 28 or the external device 300) and displays it with HDR image quality, and the process ends in S463. proceed to

Ｓ４６０では、外部機器３００はＲＡＷ静止画撮影で撮影したかを判定し、ＲＡＷ静止画撮影での撮影であると判定した場合は処理をＳ４６１に進み、ＨＩＥＦ静止画撮影での撮影であると判定した場合は処理をＳ４６２へ進める。Ｓ４６１にて、システム制御部５０は、ＳＤＲ ＲＡＷ画像内の表示用ＳＤＲ画像８２３を、出力対象デバイス（表示部２８または外部機器３００）に適したサイズにリサイズ処理を行いＳＤＲ画質で表示し、処理をＳ４６３に進める。Ｓ４６２にて、システム制御部５０は、ＪＰＥＧ画像内の表示用ＳＤＲ画像を、出力対象デバイス（表示部２８または外部機器３００）に適したサイズにリサイズ処理を行い、ＳＤＲ画質で表示し、処理をＳ４６３に進める。 In S460, the external device 300 determines whether or not the RAW still image was shot. If it is determined that the RAW still image was shot, the process advances to S461 to determine that the HIEF still image was shot. If so, the process proceeds to S462. In S461, the system control unit 50 resizes the display SDR image 823 in the SDR RAW image to a size suitable for the output target device (the display unit 28 or the external device 300) and displays it with SDR image quality. to S463. In S462, system control unit 50 resizes the display SDR image in the JPEG image to a size suitable for the output target device (display unit 28 or external device 300), displays the image with SDR image quality, and executes the processing. Proceed to S463.

Ｓ４６３にて、システム制御部５０は、シャッターボタン６１が押されたかを判定し、押されていないと判定した場合は処理をＳ４６４に、押されたと判定した場合は本処理を終了する。 In S463, the system control unit 50 determines whether the shutter button 61 has been pressed. If it is determined that it has not been pressed, the process proceeds to S464, and if it has been determined that it has been pressed, this process ends.

Ｓ４６４にて、システム制御部５０は、クイックレビュー表示時間で設定された時間が経過したかを判定し、経過していないと判定した場合は処理をＳ４６３に戻し、経過していると判定した場合は本処理を終了する。 In S464, the system control unit 50 determines whether or not the time set in the quick review display time has elapsed. terminates this process.

図５Ａは、デジタルカメラ１００と外部機器３００が接続された場合の、デジタルカメラ１００と外部機器３００の制御手順を示すシーケンス図である。ここでは、デジタルカメラ１００と外部機器３００がＨＤＭＩ接続されるものとして説明する。 FIG. 5A is a sequence diagram showing a control procedure for digital camera 100 and external device 300 when digital camera 100 and external device 300 are connected. Here, it is assumed that the digital camera 100 and the external device 300 are connected via HDMI.

Ｓ５０１にて、システム制御部５０はデジタル出力Ｉ／Ｆ９０を制御して＋５Ｖ信号の送信開始を指示する。この結果、デジタル出力Ｉ／Ｆ９０は＋５Ｖ信号の送信を開始する。送信された＋５Ｖ信号は接続ケーブル３０２の＋５Ｖ信号線（不図示）を通じて、外部機器３００に伝送される。外部機器３００は、接続ケーブル３０２の＋５Ｖ信号を受信し、Ｓ５０２へ進む。 At S501, the system control unit 50 controls the digital output I/F 90 and instructs to start transmitting the +5V signal. As a result, the digital output I/F 90 starts transmitting the +5V signal. The transmitted +5V signal is transmitted to the external device 300 through the +5V signal line (not shown) of the connection cable 302 . The external device 300 receives the +5V signal from the connection cable 302 and proceeds to S502.

Ｓ５０２にて、外部機器３００は、デジタルカメラ１００が外部機器３００の接続を確認したと判定し、処理をＳ５０３へ進む。 In S502, the external device 300 determines that the digital camera 100 has confirmed the connection of the external device 300, and advances the process to S503.

Ｓ５０３では、外部機器３００は、接続ケーブル３０２のＨＰＤ信号線（不図示）からＨＰＤ信号の送信を開始する。デジタルカメラ１００のデジタル出力Ｉ／Ｆ９０は、送信されたＨＰＤ信号を、接続ケーブル３０２を介して受信する。デジタル出力Ｉ／Ｆ９０は、ＨＰＤ信号を受信すると、システム制御部５０にＨＰＤ受信を通知する。 In S<b>503 , the external device 300 starts transmitting the HPD signal from the HPD signal line (not shown) of the connection cable 302 . Digital output I/F 90 of digital camera 100 receives the transmitted HPD signal via connection cable 302 . Upon receiving the HPD signal, the digital output I/F 90 notifies the system control unit 50 of HPD reception.

Ｓ５０４にて、システム制御部５０は、ＨＰＤの通知によって外部機器３００からの接続応答を検知し、処理をＳ５０５へ進める。 In S504, system control unit 50 detects a connection response from external device 300 from the HPD notification, and advances the process to S505.

Ｓ５０５にて、システム制御部５０は、デジタル出力Ｉ／Ｆ９０を制御して、接続ケーブル３０２からＥＤＩＤ要求信号を送信する。送信されたＥＤＩＤ要求信号は接続ケーブル３０２のＥＤＩＤ信号線（不図示）を通じて、外部機器３００に伝送される。外部機器３００は、このＥＤＩＤ要求信号を受信し、処理をＳ５０６へ進める。 In S<b>505 , system control unit 50 controls digital output I/F 90 to transmit an EDID request signal from connection cable 302 . The transmitted EDID request signal is transmitted to the external device 300 through an EDID signal line (not shown) of the connection cable 302 . The external device 300 receives this EDID request signal and advances the process to S506.

Ｓ５０６にて、外部機器３００は、接続ケーブル３０２のＥＤＩＤ信号線（不図示）からＥＤＩＤを送信する。デジタルカメラ１００のデジタル出力Ｉ／Ｆ９０は、このＥＤＩＤを、接続ケーブル３０２を介して受信する。そして、デジタル出力Ｉ／Ｆ９０は、ＥＤＩＤを受信すると、システム制御部５０にＥＤＩＤ受信を通知する。 In S<b>506 , external device 300 transmits EDID from an EDID signal line (not shown) of connection cable 302 . The digital output I/F 90 of the digital camera 100 receives this EDID via the connection cable 302 . Upon receiving the EDID, the digital output I/F 90 notifies the system control unit 50 of the EDID reception.

Ｓ５０７にて、システム制御部５０は、ＥＤＩＤ受信の通知を受けることで、デジタル出力Ｉ／Ｆ９０に対し、Ｓ５０６において受信したＥＤＩＤのメモリ３２へのコピーを指示する。コピー完了後、システム制御部５０は、メモリ３２に展開されたＥＤＩＤを解析し、外部機器３００が受付可能な映像信号の能力の判断処理を行い、処理をＳ５０８へ進める。 At S<b>507 , the system control unit 50 receives the EDID reception notification, and instructs the digital output I/F 90 to copy the EDID received at S<b>506 to the memory 32 . After the copy is completed, the system control unit 50 analyzes the EDID developed in the memory 32, performs determination processing of the capability of the video signal that the external device 300 can accept, and advances the processing to S508.

Ｓ５０８にて、システム制御部５０は本体設定がＨＤＲ有効かつＳ５０７で判断した外部機器３００が受付可能な映像信号の能力がＨＤＲ信号対応である場合、外部機器３００にＨＤＲ信号を出力すると判断し、それ以外の場合はＳＤＲ信号を出力すると判断し、Ｓ５０９へ進める。 In S508, system control unit 50 determines that an HDR signal is to be output to external device 300 when the main body setting is HDR enabled and the capability of the video signal acceptable to external device 300 determined in S507 corresponds to the HDR signal. Otherwise, it determines that the SDR signal is to be output, and advances to S509.

Ｓ５０９にて、システム制御部５０はデジタル出力Ｉ／Ｆ９０に対し、Ｓ５０８で判断したＨＤＲまたはＳＤＲ映像信号の送信開始を指示する。映像信号送信開始指示を受信したデジタル出力Ｉ／Ｆ９０は接続ケーブル３０２を通して映像信号の送信を開始し、Ｓ５１０へ進める。 In S509, system control unit 50 instructs digital output I/F 90 to start transmitting the HDR or SDR video signal determined in S508. The digital output I/F 90 that has received the video signal transmission start instruction starts transmitting the video signal through the connection cable 302, and advances to S510.

Ｓ５１０にて、デジタルカメラ１００は接続ケーブル３０２のＴＭＤＳ信号線（不図示）へ映像信号を出力する。外部機器３００は接続ケーブル３０２のＴＭＤＳ信号線（不図示）を介して前記映像信号を受信し、Ｓ５１１へ進む。 At S<b>510 , digital camera 100 outputs a video signal to the TMDS signal line (not shown) of connection cable 302 . The external device 300 receives the video signal via the TMDS signal line (not shown) of the connection cable 302, and advances to S511.

Ｓ５１１にて、外部機器３００はＳ５０８において受信した映像信号を解析し、映像信号を表示できる設定にディスプレイ３０１の駆動を切り替え、処理をＳ５１２に進める。Ｓ５１２にて、外部機器３００は、Ｓ５０８において受信した映像信号を外部機器３００のディスプレイ３０１に表示する。 In S511, external device 300 analyzes the video signal received in S508, switches driving of display 301 to a setting capable of displaying the video signal, and advances the process to S512. In S<b>512 , external device 300 displays the video signal received in S<b>508 on display 301 of external device 300 .

図５Ｂは、デジタルカメラ１００と外部機器３００の映像出力をＳＤＲ画像からＨＤＲ画像に切り替える処理を示すシーケンス図である。 FIG. 5B is a sequence diagram showing processing for switching the video output of the digital camera 100 and the external device 300 from the SDR image to the HDR image.

このシーケンスでは、デジタルカメラ１００と外部機器３００との接続は図５Ａで説明したシーケンスで完了しているものとする。 In this sequence, it is assumed that the connection between the digital camera 100 and the external device 300 has been completed by the sequence described with reference to FIG. 5A.

Ｓ５２１にて、システム制御部５０はデジタル出力Ｉ／Ｆ９０に対しＳＤＲ映像信号の送信を指示し、Ｓ５２２へ進む。 In S521, system control unit 50 instructs digital output I/F 90 to transmit the SDR video signal, and proceeds to S522.

Ｓ５２２にて、デジタルカメラ１００は接続ケーブル３０２のＴＭＤＳ信号線（不図示）へＳＤＲ映像信号を出力する。外部機器３００は、接続ケーブル３０２のＴＭＤＳ信号線（不図示）を介してＳＤＲ映像信号を受信し、処理をＳ５２３へ進める。 At S<b>522 , digital camera 100 outputs the SDR video signal to the TMDS signal line (not shown) of connection cable 302 . The external device 300 receives the SDR video signal via the TMDS signal line (not shown) of the connection cable 302, and advances the process to S523.

Ｓ５２３にて、外部機器３００は、Ｓ５２２において受信したＳＤＲ映像を外部機器３００のディスプレイ３０１に表示する。 In S<b>523 , external device 300 displays the SDR video received in S<b>522 on display 301 of external device 300 .

デジタルカメラ１００がＳＤＲ信号を出力している間は、Ｓ５２１からＳ５２３を繰り返すことで、外部機器３００のディスプレイ３０１にＳＤＲ画像が表示されることになる。 While the digital camera 100 is outputting the SDR signal, the SDR image is displayed on the display 301 of the external device 300 by repeating S521 to S523.

デジタルカメラ１００が外部機器３００への映像出力をＳＤＲ画像からＨＤＲ画像に切り替える場合、Ｓ５２４以降の処理が実行される。 When the digital camera 100 switches the video output to the external device 300 from the SDR image to the HDR image, the processes after S524 are executed.

Ｓ５２４にて、システム制御部５０はデジタル出力Ｉ／Ｆ９０に対しＳＤＲ映像信号の停止を指示し、処理をＳ５２５へ進める。 In S524, system control unit 50 instructs digital output I/F 90 to stop the SDR video signal, and the process proceeds to S525.

Ｓ５２５にて、システム制御部５０は、接続ケーブル３０２のＴＭＤＳ信号線（不図示）へ映像信号を停止する。外部機器３００は接続ケーブル３０２のＴＭＤＳ信号線（不図示）を介してＳＤＲ映像信号の受信を停止し、処理をＳ５２６へ進める。 At S<b>525 , system control unit 50 stops the video signal to the TMDS signal line (not shown) of connection cable 302 . The external device 300 stops receiving the SDR video signal via the TMDS signal line (not shown) of the connection cable 302, and advances the process to S526.

Ｓ５２６にて、外部機器３００は、デジタルカメラ１００からの映像の受信が停止したため、外部機器３００のディスプレイ３０１への映像の表示を停止する。 In S<b>526 , external device 300 stops displaying video on display 301 of external device 300 because reception of video from digital camera 100 has stopped.

Ｓ５２７にて、システム制御部５０は、デジタル出力Ｉ／Ｆ９０に対しＨＤＲ映像信号の送信を指示し、処理をＳ５２８へ進める。 In S527, system control unit 50 instructs digital output I/F 90 to transmit the HDR video signal, and the process proceeds to S528.

Ｓ５２８にて、システム制御部５０は、接続ケーブル３０２のＴＭＤＳ信号線（不図示）へＨＤＲ映像信号を出力する。外部機器３００は、接続ケーブル３０２のＴＭＤＳ信号線（不図示）を介してＨＤＲ映像信号を受信し、処理をＳ５２９へ進める。 At S<b>528 , system control unit 50 outputs the HDR video signal to the TMDS signal line (not shown) of connection cable 302 . The external device 300 receives the HDR video signal via the TMDS signal line (not shown) of the connection cable 302, and advances the process to S529.

Ｓ５２９にて、外部機器３００はＳ５２８において受信した映像信号を解析し、ＨＤＲ映像信号を表示できる設定にディスプレイ３０１の駆動を切り替えＳ５３０に進める。 In S529, external device 300 analyzes the video signal received in S528, and switches the drive of display 301 to a setting capable of displaying the HDR video signal, and proceeds to S530.

Ｓ５３０にて、外部機器３００はＳ５２８において受信したＨＤＲ映像信号を外部機器３００のディスプレイ３０１に表示する。 At S<b>530 , external device 300 displays the HDR video signal received at S<b>528 on display 301 of external device 300 .

この時、Ｓ５２９からＳ５３０の処理時間は、外部機器３００の性能によって異なり、映像が表示されるまで１秒から５秒程度の時間がかかる。 At this time, the processing time from S529 to S530 differs depending on the performance of the external device 300, and it takes about 1 to 5 seconds until the image is displayed.

図５Ｃは、デジタルカメラ１００と外部機器３００の映像出力をＨＤＲ画像からＳＤＲ画像に切り替える処理を示すシーケンス図である。 FIG. 5C is a sequence diagram showing processing for switching the video output of the digital camera 100 and the external device 300 from an HDR image to an SDR image.

このシーケンスでは、デジタルカメラ１００と外部機器３００との接続は図５Ａで説明したシーケンスで完了しているものとする。 In this sequence, it is assumed that the connection between the digital camera 100 and the external device 300 has been completed by the sequence described with reference to FIG. 5A.

Ｓ５４１にて、システム制御部５０は、デジタル出力Ｉ／Ｆ９０に対しＨＤＲ映像信号の送信を指示し、処理をＳ５４２へ進める。Ｓ５４２にて、システム制御部５０は、接続ケーブル３０２のＴＭＤＳ信号線（不図示）へＨＤＲ映像信号を出力する。また、外部機器３００は接続ケーブル３０２のＴＭＤＳ信号線（不図示）を介してＨＤＲ映像信号を受信し、処理をＳ５２３へ進める。 In S541, system control unit 50 instructs digital output I/F 90 to transmit the HDR video signal, and the process proceeds to S542. At S<b>542 , system control unit 50 outputs the HDR video signal to the TMDS signal line (not shown) of connection cable 302 . Also, the external device 300 receives the HDR video signal via the TMDS signal line (not shown) of the connection cable 302, and advances the process to S523.

Ｓ５４３にて、外部機器３００は、Ｓ５４２にて受信したＨＤＲ映像を外部機器３００のディスプレイ３０１に表示する。 In S<b>543 , external device 300 displays the HDR video received in S<b>542 on display 301 of external device 300 .

デジタルカメラ１００がＨＤＲ信号を出力している間は、Ｓ５４１からＳ５４３を繰り返すことで、外部機器３００のディスプレイ３０１にＨＤＲ画像が表示されることになる。 While the digital camera 100 is outputting the HDR signal, the HDR image is displayed on the display 301 of the external device 300 by repeating S541 to S543.

デジタルカメラ１００が外部機器３００への映像出力をＨＤＲ画像からＳＤＲ画像に切り替える場合にはＳ５４４以降の処理が実行される。 When the digital camera 100 switches the video output to the external device 300 from the HDR image to the SDR image, the processing after S544 is executed.

Ｓ５４４にて、システム制御部５０はデジタル出力Ｉ／Ｆ９０に対しＨＤＲ映像信号の停止を指示し、処理をＳ５４５へ進める。Ｓ５４５にて、システム制御部５０は、接続ケーブル３０２のＴＭＤＳ信号線（不図示）へ映像信号を停止する。外部機器３００は接続ケーブル３０２のＴＭＤＳ信号線（不図示）を介してＨＤＲ映像信号の受信を停止し、処理をＳ５４６へ進める。 In S544, system control unit 50 instructs digital output I/F 90 to stop the HDR video signal, and the process proceeds to S545. At S<b>545 , system control unit 50 stops the video signal to the TMDS signal line (not shown) of connection cable 302 . The external device 300 stops receiving the HDR video signal via the TMDS signal line (not shown) of the connection cable 302, and advances the process to S546.

Ｓ５４６にて、外部機器３００は、デジタルカメラ１００からの映像の受信が停止したため、外部機器３００のディスプレイ３０１への映像の表示を停止する。 In S<b>546 , external device 300 stops displaying video on display 301 of external device 300 because reception of video from digital camera 100 has stopped.

Ｓ５４７にて、システム制御部５０は、デジタル出力Ｉ／Ｆ９０に対しＳＤＲ映像信号の送信を指示し、処理をＳ５４８へ進める。 In S547, system control unit 50 instructs digital output I/F 90 to transmit the SDR video signal, and the process proceeds to S548.

Ｓ５４８にて、システム制御部５０は、接続ケーブル３０２のＴＭＤＳ信号線（不図示）へＳＤＲ映像信号を出力する。外部機器３００は、接続ケーブル３０２のＴＭＤＳ信号線（不図示）を介してＳＤＲ映像信号を受信し、処理をＳ５４９へ進める。 At S<b>548 , system control unit 50 outputs the SDR video signal to the TMDS signal line (not shown) of connection cable 302 . The external device 300 receives the SDR video signal via the TMDS signal line (not shown) of the connection cable 302, and advances the process to S549.

Ｓ５４９にて、外部機器３００はＳ５４８にて受信した映像信号を解析し、ＳＤＲ映像信号を表示できる設定にディスプレイ３０１の駆動を切り替え、処理をＳ５３０に進める。Ｓ５５０にて、外部機器３００はＳ５２８において受信したＳＤＲ映像信号を外部機器３００のディスプレイ３０１に表示する。 In S549, external device 300 analyzes the video signal received in S548, switches the driving of display 301 to a setting capable of displaying the SDR video signal, and advances the process to S530. At S550, external device 300 displays the SDR video signal received at S528 on display 301 of external device 300. FIG.

なお、Ｓ５４９からＳ５５０の処理時間は、外部機器３００の性能によって異なり、映像が表示されるまで１秒から５秒程度の時間がかかる。 Note that the processing time from S549 to S550 differs depending on the performance of the external device 300, and it takes about 1 to 5 seconds until the video is displayed.

図６Ａ、６Ｂは、図４ＡのＳ４１１，４２７の撮影メニュー処理の詳細を示すフローチャートである。この処理は、不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２に展開してシステム制御部５０が実行することで実現する。 6A and 6B are flowcharts showing the details of the shooting menu processing in S411 and S427 of FIG. 4A. This process is realized by loading the program recorded in the nonvolatile memory 56 into the system memory 52 and executing it by the system control unit 50 .

Ｓ６０１にて、システム制御部５０は、ユーザによりＨＤＲ撮影モードが有効に設定されているかに基づき、ＨＤＲ撮影するか否かを判定する。システム制御部５０は、ＨＤＲ撮影しないと判定した場合は処理をＳ６０２に進み、通常のＳＤＲ撮影時のメニューを表示する。また、システム制御部５０は、ＨＤＲ撮影すると判定した場合は処理をＳ６０２に進め、ＨＤＲ撮影時のメニューを表示する。このＳ６０３で、ＨＤＲ撮影時に併用させない機能についてグレーアウトなりの無効状態にしてメニュー上に表示させる。 In S601, the system control unit 50 determines whether or not to perform HDR imaging based on whether the HDR imaging mode is enabled by the user. If the system control unit 50 determines not to perform HDR shooting, the process advances to S602 to display a menu for normal SDR shooting. If the system control unit 50 determines to perform HDR shooting, the process advances to S602 to display a menu for HDR shooting. In S603, the functions that are not used together during HDR shooting are displayed on the menu in an invalid state such as grayed out.

Ｓ６０４にて、システム制御部５０は、ユーザにより、ＨＤＲ撮影を行うか否かの設定項目が選択されたか否かを判定する。選択されたと判定した場合、システム制御部５０は処理をＳ６０５に、そうでない場合は処理をＳ６１１に進める。Ｓ６０５にて、システム制御部５０は、ユーザによりＨＤＲ撮影を行うか否かの設定が有効に切り替わったか否かを判定する。有効に切り替わったと判定された場合は、システム制御部５０は処理をＳ６０６に進み、そうでない場合は処理をＳ６０７に進める。Ｓ６０６にて、システム制御部５０は、ＨＤＲ撮影を行うか否かの設定を有効に変更し、設定値をシステムメモリ５２に記憶する。 In S604, the system control unit 50 determines whether or not the user has selected a setting item for whether or not to perform HDR imaging. If determined to be selected, the system control unit 50 advances the process to S605, otherwise advances the process to S611. In S<b>605 , the system control unit 50 determines whether or not the setting of whether or not to perform HDR imaging has been enabled by the user. If it is determined that the switching has been enabled, the system control unit 50 advances the process to S606, otherwise advances the process to S607. In S<b>606 , system control unit 50 changes the setting of whether or not to perform HDR imaging to valid, and stores the set value in system memory 52 .

ＨＤＲ撮影を行うか否かの設定が有効の時のＳ６０７にて、システム制御部５０は、ユーザによりＨＤＲアシスト表示設定が変更に切り替わったか否かを判定する。変更に切り替わったと判定された場合は処理をＳ６０８に進め、そうでない場合は処理をＳ６０９に進める。尚、ＨＤＲ撮影を行うか否かの設定が無効の時はＨＤＲアシスト表示設定を変更できないことが望ましい。 In S607 when the setting as to whether or not to perform HDR imaging is valid, the system control unit 50 determines whether or not the HDR assist display setting has been changed by the user. If it is determined that the change has been made, the process proceeds to S608; otherwise, the process proceeds to S609. It is desirable that the HDR assist display setting cannot be changed when the setting for whether or not to perform HDR photography is disabled.

Ｓ６０８にて、システム制御部５０は、撮影時のＨＤＲアシスト表示設定をするか否かに変更し、設定値をシステムメモリ５２に記憶する。ＨＤＲアシスト表示設定「する」のバリエーションは２つ以上あっても構わない。 In S<b>608 , system control unit 50 changes whether or not HDR assist display setting is performed during shooting, and stores the set value in system memory 52 . There may be two or more variations of the HDR assist display setting “Yes”.

なお、このように、メニュー画面において、ＨＤＲ撮影設定やＨＤＲアシスト表示設定を変更した場合には、ライブビュー画面へ遷移したタイミングで表示設定の変更結果を表示に反映させてもよい。メニュー画面ではなくライブビュー画面において、操作部７０の特定のボタンを使用する等して、それらの設定を変更した場合には、その変更したタイミング（そのボタンを押下したタイミング）で変更結果を表示に反映させてもよい。 When the HDR shooting setting and the HDR assist display setting are changed on the menu screen in this way, the change result of the display setting may be reflected in the display at the timing of transition to the live view screen. If the settings are changed by using a specific button on the operation unit 70 on the live view screen instead of the menu screen, the result of the change is displayed at the timing of the change (timing of pressing the button). can be reflected in

Ｓ６０９にて、システム制御部５０は、ユーザによりＨＤＲ設定メニュー表示処理の終了指示がされたか否かを判定する。終了指示がされたと判定した場合、システム制御部５０は処理をＳ６１０に進める。 In S609, the system control unit 50 determines whether or not the user has given an instruction to end the HDR setting menu display process. If the system control unit 50 determines that the termination instruction has been issued, the process proceeds to S610.

Ｓ６１０にて、システム制御部５０は、ユーザにより、静止画記録画質の設定項目が選択されたか否かを判定する。システム制御部５０は、その選択があったと判定した場合は処理をＳ６１１に進み、そうでない場合は処理をＳ６５１に進める。 In S610, system control unit 50 determines whether or not the user has selected a setting item for still image recording quality. If the system control unit 50 determines that the selection has been made, the process proceeds to S611; otherwise, the process proceeds to S651.

Ｓ６１１にて、システム制御部５０は、ユーザによりＨＤＲ撮影の指示入力があった否かの設定を判定する。システム制御部５０は、ＨＤＲ撮影の指示入力があったと判定した場合は処理をＳ６１２に、その指示入力が無いと判定した場合は処理をＳ６１４に進める。 In S611, the system control unit 50 determines whether or not the user has input an instruction for HDR imaging. If the system control unit 50 determines that an HDR imaging instruction has been input, the process proceeds to S612, and if it determines that the instruction has not been input, the process proceeds to S614.

Ｓ６１２にて、システム制御部５０はＨＤＲ撮影用の画面表示を行い、Ｓ６１３にて、ＨＤＲ撮影用の記録画質のユーザ選択を受け付ける。ＨＤＲ撮影用の設定記録画質としては、ファイルフォーマットとして、ＲＡＷ、ＨＤＲ静止画ファイルおよび、ＲＡＷ＋ＨＤＲ静止画ファイルの２画像同時出力を用意する。また画像サイズについても、センサー読み出し時の画素数に近いＬａｒｇｅから、少し小さいＭｉｄｄｌｅ、さらに小さいＳｍａｌｌなどがある。さらに、ファイルサイズ容量を下げるために圧縮するための圧縮率も高画質（低圧縮率）から標準（高圧縮率）、低画質（高圧縮率）などがある。 In S612, the system control unit 50 displays a screen for HDR imaging, and in S613, receives user selection of the recording image quality for HDR imaging. As the set recording image quality for HDR shooting, two image simultaneous output of RAW, HDR still image file, and RAW+HDR still image file are prepared as file formats. The image size also ranges from Large, which is close to the number of pixels at the time of sensor reading, to Middle, which is slightly smaller, and Small, which is even smaller. Furthermore, the compression ratio for compression to reduce the file size capacity ranges from high image quality (low compression ratio) to standard (high compression ratio) to low image quality (high compression ratio).

Ｓ６１４にて、システム制御部５０は、ＳＤＲ撮影用の画面表示を行い、Ｓ６１５にてＳＤＲ撮影用の記録画質のユーザ選択を受け付ける。ＳＤＲ撮影用の設定記録画質としても、ＨＤＲ撮影用と同様の選択肢を用意する。 In S614, the system control unit 50 displays a screen for SDR imaging, and in S615 accepts user selection of recording image quality for SDR imaging. As the set recording image quality for SDR shooting, options similar to those for HDR shooting are prepared.

Ｓ６５１にて、システム制御部５０は、ユーザにより、動画記録画質の設定項目が選択されたか否かを判定する。システム制御部５０は、動画記録画質の設定項目が選択されたと判定した場合は処理をＳ６５２に進み、そうでない場合は処理をＳ６５７に進める。 In S651, system control unit 50 determines whether or not the user has selected a setting item for moving image recording quality. If the system control unit 50 determines that the moving image recording image quality setting item has been selected, the process proceeds to S652; otherwise, the process proceeds to S657.

Ｓ６５２にて、システム制御部５０は、ユーザによるＨＤＲ撮影を行うか否かの設定を判定する。設定が行うことを示している場合、システム制御部５０は処理をＳ６５３に、そうでない場合は処理をＳ６５５に進める。 In S652, the system control unit 50 determines whether or not HDR imaging is to be performed by the user. If the setting indicates to perform, the system control unit 50 advances the process to S653, and otherwise advances the process to S655.

Ｓ６５３にて、システム制御部５０はＨＤＲ撮影用の画面表示を行い、Ｓ６５４にてＨＤＲ撮影用の記録画質のユーザ選択を受け付ける。ＨＤＲ撮影用の設定記録画質としては、ファイルフォーマットとして、ＲＡＷ動画、ＲＡＷ動画＋プロキシ動画、ＨＤＲ動画ファイルおよび、ＲＡＷ＋プロキシ動画＋ＨＤＲ動画ファイルの３動画同時出力を用意する。また画像サイズについても、８Ｋ、４Ｋ、ＦｕｌｌＨＤ、ＨＤ、ＶＧＡなどがある。さらに、ファイルサイズを下げるための圧縮率も、ＡＬＬ－Ｉなどの高画質（低圧縮率）からＩＰＢなどの標準～低画質（高圧縮率）などがある。その他、フレームレートの選択、ＮＴＳＣ／ＰＡＬなどの放送方式の選択もある。 In S653, the system control unit 50 displays a screen for HDR imaging, and in S654 accepts the user's selection of recording image quality for HDR imaging. As for the set recording image quality for HDR shooting, simultaneous output of three moving images of RAW moving image, RAW moving image+proxy moving image, HDR moving image file, and RAW+proxy moving image+HDR moving image file are prepared as file formats. Image sizes include 8K, 4K, FullHD, HD, and VGA. Furthermore, the compression rate for reducing the file size ranges from high image quality (low compression rate) such as ALL-I to standard to low image quality (high compression rate) such as IPB. In addition, there are frame rate selection and broadcasting system selection such as NTSC/PAL.

Ｓ６５５にて、システム制御部５０は、Ｓ６５３と同様にＳＤＲ撮影用の画面表示を行い、Ｓ６５６にてＳＤＲ撮影用の記録画質のユーザ選択を受け付ける。ＳＤＲ撮影用の設定記録画質としても、ＨＤＲ撮影用と同様の選択肢を用意する。 In S655, the system control unit 50 displays the screen for SDR imaging in the same manner as in S653, and accepts the user's selection of the recording image quality for SDR imaging in S656. As the set recording image quality for SDR shooting, options similar to those for HDR shooting are prepared.

Ｓ６５７にて、システム制御部５０は、ユーザにより、ＨＤＲ出力の設定項目が選択されたか否かを判定する。システム制御部５０は、ユーザにより、ＨＤＲ出力の設定項目が選択されたと判定した場合は処理をＳ６５８に、そうでない場合は処理をＳ６６０に進める。Ｓ６５８にて、システム制御部５０は、ユーザによりＨＤＲ出力設定が有効に切り替わったか否かを判定し、有効に切り替わったと判定した場合は処理をＳ６５９に、そうでない場合は処理をＳ６６０に進める。Ｓ６５９にて、システム制御部５０は、ＨＤＲ出力設定を有効に変更し、設定値をシステムメモリ５２に記憶する。 In S657, system control unit 50 determines whether or not the user has selected a setting item for HDR output. If the system control unit 50 determines that the HDR output setting item has been selected by the user, the process proceeds to S658; otherwise, the process proceeds to S660. In S658, system control unit 50 determines whether or not the HDR output setting has been enabled by the user, and if it is determined that it has been enabled, the process proceeds to S659; In S<b>659 , system control unit 50 changes the HDR output setting to valid and stores the set value in system memory 52 .

Ｓ６６０にて、システム制御部５０は、ユーザにより、再生時のビューアシストの設定項目が選択されたか否かを判定する。システム制御部５０は、再生時のビューアシストの設定項目が選択されたと判定した場合は処理をＳ６６１に、そうでない場合は処理をＳ６６３に進める。Ｓ６６１にて、システム制御部５０は、ユーザにより再生時のビューアシストの設定が有効に切り替わったか否かを判定し、有効に切り替わったと判定した場合は処理をＳ６６２に、そうでない場合は処理をＳ６６３に進める。Ｓ６６２にて、システム制御部５０は、再生時のビューアシスト設定を有効に変更し、設定値をシステムメモリ５２に記憶する。 In S660, system control unit 50 determines whether or not the user has selected a setting item for view assist during playback. If the system control unit 50 determines that the setting item for view assist during playback has been selected, the process proceeds to S661; otherwise, the process proceeds to S663. In S661, the system control unit 50 determines whether or not the setting of view assist during playback has been enabled by the user. proceed to In S<b>662 , system control unit 50 enables the view assist setting during reproduction, and stores the set value in system memory 52 .

Ｓ６６３にて、システム制御部５０は、ユーザにより、転送時のＳＤＲ変換の設定項目が選択されたか否かを判定し、選択されたと判定した場合は処理をＳ６６４に、そうでない場合は処理をＳ６６５に進める。Ｓ６６４にて、システム制御部５０は、ユーザにより転送時のＳＤＲ変換の設定が有効に切り替わったか否かを判定し、有効に切り替わったと判定された場合はＳ６６４にて、転送時のＳＤＲ変換設定を有効に変更し、処理をＳ６６５に進める。 In S663, system control unit 50 determines whether or not the setting item for SDR conversion at the time of transfer has been selected by the user. proceed to At S664, system control unit 50 determines whether or not the setting of SDR conversion at the time of transfer has been enabled by the user. It is changed to valid, and the process proceeds to S665.

Ｓ６６５にて、システム制御部５０は、ユーザにより、その他ＨＤＲ撮影に関連する設定項目が選択されたか否かを判定し、選択されたと判定した場合は処理をＳ６６６に、そうでない場合は処理をＳ６６７に進める。Ｓ６６６にて、システム制御部５０は、その他の処理を有効に変更し、処理をＳ６６７に進める。 In S665, the system control unit 50 determines whether or not the user has selected other setting items related to HDR imaging. proceed to In S666, system control unit 50 enables other processing, and advances the processing to S667.

Ｓ６６７にて、システム制御部５０は、ユーザにより、メニューを抜ける指示があったか否かを判定し、抜けないと判定した場合に処理をＳ６６０に戻し、抜けると判定した場合は本処理を終了する。 In S667, the system control unit 50 determines whether or not the user has issued an instruction to exit the menu.

図７は、システム制御部５０のＨＤＲ撮影処理の詳細を示すフローチャートである。メモリ３２に書き込まれたＲＡＷデータを画像処理部２４でＨＤＲ現像するフローである。 FIG. 7 is a flowchart showing details of the HDR imaging process of the system control unit 50. As shown in FIG. 3 is a flow of HDR development by the image processing unit 24 on the RAW data written in the memory 32. FIG.

デジタルカメラやデジタルビデオカメラ等の撮像装置は、撮影時の光源に応じて撮影画像の色調を補正するホワイトバランス機能を備えている。ホワイトバランス機能は、光源（晴天や曇天等の自然光源、蛍光灯や白熱灯等の人工光源）によって変わる色調の違いを補正し、光源に関わらず白さが同じに見えるようにする機能である。Ｓ７０１～Ｓ７０３において、ホワイトバランス処理に必要なホワイトバランス係数が算出されることになる。また、本実施形態では、空などの高輝度領域の階調をなるべく白飛びさせないよう、人物などの明るさが適正となる露出よりも低い露出で撮影するものとする。 2. Description of the Related Art Imaging apparatuses such as digital cameras and digital video cameras have a white balance function that corrects the color tone of a captured image according to the light source at the time of capturing. The white balance function is a function that corrects differences in color tones that change depending on the light source (natural light sources such as sunny or cloudy weather, artificial light sources such as fluorescent and incandescent lights) so that the whiteness looks the same regardless of the light source. . In S701 to S703, white balance coefficients necessary for white balance processing are calculated. Also, in this embodiment, in order to prevent the gradation of a high-luminance region such as the sky from being overexposed as much as possible, the exposure of a person or the like is taken at a lower exposure than the exposure at which the brightness is appropriate.

まずＳ７０１にて、システム制御部５０は、メモリ制御部１５を介して、ＲＡＷ画像データを取得する。 First, in S<b>701 , the system control unit 50 acquires RAW image data via the memory control unit 15 .

Ｓ７０２にて、システム制御部５０は、ホワイトバランス係数を算出するために取得したＲＡＷ画像データに対して白らしい画素を判定する、白サーチ枠内判定処理を行う。 In S702, the system control unit 50 performs white search frame inside determination processing for determining white-like pixels in the RAW image data acquired for calculating the white balance coefficient.

Ｓ７０３にて、システム制御部５０は、白サーチ枠内判定結果に基づいてホワイトバランス用係数を算出する。 In S703, the system control unit 50 calculates a white balance coefficient based on the result of the inside-of-white-search-frame determination.

Ｓ７０２，７０３の処理の詳細について図１２のフローチャートを用いて説明する。 Details of the processing of S702 and S703 will be described using the flowchart of FIG.

ＲＡＷ画像データは、先に説明したように、１つの画素はＲ，Ｇ，Ｂのいずれか１つの成分の信号しか有さない。白サーチを行うため、システム制御部５０は、色信号に変換する必要があるためデベイヤ処理Ｓ１２０１を行い、１画素につきＲ，Ｇ，Ｂの全チャンネルの信号を生成する。デベイヤの方法は幾つかあるが、例えばローパスフィルターによる線形補間で信号生成できる。ＲＡＷ画像データは一般的にノイズによる影響があるため光学的黒（Ｏｐｔｉｃａｌ Ｂｌａｃｋ）は、０ではなく値を持っている。よってシステム制御部５０は、デベイヤ後の信号からＯＢ分を減算する処理（Ｓ１２０２）を行う。そして、システム制御部５０は、取得したＲＧＢ信号から色信号Ｃｘ、Ｃｙを次式により算出する（Ｓ１２０３）。 In RAW image data, one pixel has only one component signal of R, G, and B, as described above. In order to perform a white search, the system control unit 50 performs debayer processing S1201 because it is necessary to convert to color signals, and generates signals of all channels of R, G, and B for each pixel. Although there are several methods of debayering, for example, signals can be generated by linear interpolation using a low-pass filter. Since RAW image data is generally affected by noise, Optical Black has a value instead of 0. Therefore, the system control unit 50 performs a process (S1202) of subtracting the OB from the debayered signal. Then, the system control unit 50 calculates the color signals Cx and Cy from the acquired RGB signals using the following equations (S1203).

Figure 0007185563000001
ここで、Ｇ1，Ｇ2は、ベイヤ配列の２×２画素における２つのＧ成分値である。また、Ｃxは色温度を表し、Ｃyは緑方向補正量を表している。また、Ｙiは輝度値である。
Figure 0007185563000001
 Here, G 1 and G 2 are two G component values in 2×2 pixels of the Bayer array. C x represents the color temperature, and C y represents the green direction correction amount. Also, Y i is a luminance value.

図１３に、Ｃx－Ｃy平面を図示する。同図に示すように、撮像装置において予め白色を高色温度下（例えば日中など）から低色温度下（例えば日暮れ時など）まで撮影し、色評価値Ｃｘ、Ｃｙを座標上にプロットすることで、白色を検出するための基準となる白軸１２００を定めることができる。実際の光源において白色には若干のばらつきが存在するため、システム制御部５０は、白軸１２００の両側に或る程度の幅を持たせる（Ｓ１２０４）。この白軸に幅を持たせた枠を白サーチ枠１２０１と呼ぶ。 FIG. 13 illustrates the C x -C y plane. As shown in the figure, white is photographed in advance with an imaging device from a high color temperature (for example, daytime) to a low color temperature (for example, at sunset), and the color evaluation values Cx and Cy are plotted on coordinates. Thus, a white axis 1200 that serves as a reference for detecting white can be determined. Since there is some variation in white in an actual light source, the system controller 50 provides a certain amount of width on both sides of the white axis 1200 (S1204). A frame with a width around the white axis is called a white search frame 1201 .

Ｓ１２０５にて、システム制御部５０は、デベイヤ後の各画素についてＣx-Ｃy座標系にプロットし、白サーチ枠内に入っているかどうかを判定する。Ｓ１２０６にて、システム制御部５０は、白サーチ枠内に入った画素の中で、積分対象とする画素を輝度方向で制限する明暗除外処理を行う。これは暗すぎる色はノイズの影響を受けやすくなるのでホワイトバランス係数の算出精度が低下してしまうことを防ぐために行う。同様に明るすぎる色は各チャンネルのいずれかがセンサー飽和することでＲ／ＧもしくはＢ／Ｇ比のバランスが崩れ正しい色から離れていってしまいホワイトバランス係数の算出精度が低下してしまうことを防ぐために行う。このとき、ＳＤＲとＨＤＲでは明暗除外処理の対象とする画素の輝度を異ならせる。つまり、ＳＤＲとＨＤＲとで後述するホワイトバランス係数の算出に用いる画素を異ならせる。これはＳＤＲに比べてＨＤＲの方が高輝度域の再現性が高いことによる。本実施形態では、ＳＤＲでは明度側が例えば＋１ＥＶまでの明るさまで対象とするのに対して、ＨＤＲでは＋２ＥＶまでの明るさまで対象とすることでよりＨＤＲに最適化されたホワイトバランス係数を算出することが可能となる。 In S1205, the system control unit 50 plots each debayered pixel on the Cx - Cy coordinate system and determines whether it is within the white search frame. In S1206, the system control unit 50 performs light/dark exclusion processing for limiting, in the luminance direction, the pixels to be integrated among the pixels within the white search frame. This is done in order to prevent the accuracy of white balance coefficient calculation from deteriorating, since colors that are too dark are susceptible to noise. Similarly, for too bright colors, one of the channels will saturate the sensor, and the balance of the R/G or B/G ratio will be lost and the correct color will be lost. do to prevent At this time, the brightness of the pixels to be subjected to the light/dark exclusion process is made different between SDR and HDR. That is, different pixels are used for calculating white balance coefficients, which will be described later, between SDR and HDR. This is because HDR has higher reproducibility in a high luminance region than SDR. In this embodiment, SDR targets brightness up to, for example, +1 EV, while HDR targets brightness up to +2 EV, so that a white balance coefficient optimized for HDR can be calculated. It becomes possible.

Ｓ１２０７にて、システム制御部５０は、白サーチ枠内でかつ明暗除外処理のなされたＣx、Ｃyからそれぞれの色評価値の積分値ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢを算出する。そして、Ｓ１２０８にて、システム制御部５０は、算出した積分値から、次式によりホワイトバランス係数ＷＢＣｏR、ＷＢＣｏG、ＷＢＣｏBを算出する。 In S1207, the system control unit 50 calculates integrated values SumR, SumG, and SumB of the respective color evaluation values from Cx and Cy , which are within the white search frame and subjected to light/darkness exclusion processing. Then, in S1208, the system control unit 50 calculates white balance coefficients WBCo R , WBCo G , and WBCo B from the calculated integrated values using the following equations.

Figure 0007185563000002
上式における右辺の“１０２４”は、１色成分が１０ビット精度となっているためである。
Figure 0007185563000002
 "1024" on the right side of the above equation is because one color component has 10-bit precision.

尚、ホワイトバランス係数はユーザによって設定されている撮影モード（ＳＤＲ撮影もしくはＨＤＲ撮影）用の値を算出してもよいし、ＳＤＲ用、ＨＤＲ用の両方を算出してもよい。 The white balance coefficient may be calculated for the shooting mode (SDR shooting or HDR shooting) set by the user, or may be calculated for both SDR and HDR.

図７の説明に戻る。Ｓ７０４～Ｓ７０６において、システム制御部５０は、階調補正処理に必要な階調補正テーブルを算出する。階調補正の詳細を図１４のフローチャートを用いて説明する。 Returning to the description of FIG. In S704 to S706, the system control unit 50 calculates a tone correction table required for tone correction processing. Details of tone correction will be described with reference to the flowchart of FIG.

Ｓ１２２１にて、システム制御部５０は、図７のＳ７０１～Ｓ７０３の処理で生成したＷＢ係数を用いてＷＢ処理を行う。Ｓ１２２２にて、システム制御部５０は、ヒストグラム検出を行う。具体的には、Ｓ１２２１で得られたホワイトバランスのゲイン値を画像データ全体に適用し、さらにガンマ補正処理を行った画素値について、輝度情報としてヒストグラムを作成する。ガンマ補正処理は公知のルックアップテーブルを用いる方法で良いが、現像で用いるものと同じガンマ特性を用いることが好ましい。ただし、処理時間やメモリ量の節約のために、折れ線で近似したガンマ特性など、簡略化したガンマ特性を用いてもよい。なお、画像の端の部分は、一般に重要でないことが多く、また撮像レンズによっては周辺光量の低下の影響を受ける部分であるため、周縁部の画素を除いてヒストグラムを作成してもよい。 In S1221, the system control unit 50 performs WB processing using the WB coefficients generated in the processing of S701 to S703 in FIG. At S1222, system control unit 50 performs histogram detection. Specifically, the white balance gain value obtained in S1221 is applied to the entire image data, and a histogram is created as luminance information for pixel values subjected to gamma correction processing. Gamma correction processing may be performed by a method using a known lookup table, but it is preferable to use the same gamma characteristics as those used in development. However, in order to save processing time and memory capacity, a simplified gamma characteristic such as a gamma characteristic approximated by a polygonal line may be used. Note that the edges of the image are generally unimportant in many cases, and depending on the imaging lens, are affected by the reduction in the amount of peripheral light. Therefore, the histogram may be generated by excluding the pixels in the peripheral portion.

Ｓ１２２３にて、システム制御部５０は、顔検出前処理を行う。これは画像データに対して縮小処理、ガンマ処理等を施して、顔を容易に検出しやすいようにする処理である。Ｓ１２２４にて、システム制御部５０は、前処理した画像データに対し、公知の方法を用いて顔検出処理を実行する。この顔検出処理により、顔と思われる領域（顔領域）の位置とサイズ、検出の信頼度とが得られる。 In S1223, the system control unit 50 performs face detection pre-processing. This is a process that performs reduction processing, gamma processing, etc. on image data so that faces can be easily detected. At S1224, system control unit 50 executes face detection processing on the preprocessed image data using a known method. Through this face detection processing, the position and size of a region thought to be a face (face region) and the reliability of detection are obtained.

Ｓ１２２５にて、システム制御部５０は、露出補正量（低下量）を補うための階調補正量（階調補正量（Ａ））を第１の階調補正量として算出する。この際、画像の暗部については適正露出になるようにする一方、予め定めた輝度レベル以上の高輝度画素については補正されない（少なくとも、露出補正量を完全には補わない）、入出力特性の階調補正量を算出する。これにより、階調補正後の明部が白トビすることをさらに抑制することができる。この階調補正量は、露出補正量に応じた複数の補正テーブルとして予め用意しておくことができる。
Ｓ１２２６にて、システム制御部５０は、Ｓ１２２４の顔検出処理により検出された顔領域のうち、信頼度があらかじめ設定した評価閾値より高い顔領域がある場合に、顔が検出されたと判定する。システム制御部５０は、顔が検出されたと判定した場合は処理をＳ１２２７に、顔が検出されなかったと判定した場合は処理をＳ１２３１に進める。 In S1225, the system control unit 50 calculates the gradation correction amount (gradation correction amount (A)) for compensating for the exposure correction amount (reduction amount) as the first gradation correction amount. At this time, while the dark portions of the image are properly exposed, high-brightness pixels above a predetermined brightness level are not corrected (at least, the amount of exposure correction is not completely compensated). Tone correction amount is calculated. As a result, it is possible to further suppress overexposure in bright areas after gradation correction. This gradation correction amount can be prepared in advance as a plurality of correction tables corresponding to the exposure correction amount.
In S1226, the system control unit 50 determines that a face has been detected if there is a face area whose reliability is higher than a preset evaluation threshold among the face areas detected by the face detection processing in S1224. If the system control unit 50 determines that the face has been detected, the process proceeds to S1227, and if it determines that the face has not been detected, the process proceeds to S1231.

Ｓ１２２７にて、システム制御部５０は、検出された顔領域の一部の領域を、顔輝度取得領域として算出する。顔輝度取得領域は、顔の明るい部分の輝度を取得するための領域であり、その数や位置などに関して特に制限はない。Ｓ１２２８にて、システム制御部５０は、顔輝度取得領域の各々について、含まれるＲ画素、Ｇ画素、Ｂ画素の種類ごとに平均値を求める。さらにシステム制御部５０は、ＲＧＢ画素の各平均値に対し、ヒストグラム検出と同様にしてホワイトバランスのゲイン値を適用し、ガンマ補正を行った後、以下の式により輝度値Ｙに変換する。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
なお、ヒストグラム検出および顔検出において適用するホワイトバランスのゲイン値は、同一画像データに対してＷＢ処理で使用したゲイン値を用いることが好ましい。輝度ガンマも、理想的には現像と同じものを用いるのが好ましいが、処理時間やメモリ量の節約のために、折れ線で近似したガンマ特性など、簡略化したガンマ特性を用いてもよい。 In S1227, system control unit 50 calculates a partial region of the detected face region as a face luminance acquisition region. The face brightness acquisition area is an area for acquiring the brightness of the bright part of the face, and there are no particular restrictions on the number, position, and the like. In S1228, system control unit 50 obtains an average value for each type of R pixel, G pixel, and B pixel included in each face luminance acquisition region. Further, the system control unit 50 applies a white balance gain value to each average value of RGB pixels in the same manner as in histogram detection, performs gamma correction, and then converts the average value to a luminance value Y using the following equation.
Y=0.299×R+0.587×G+0.114×B
Note that it is preferable to use the gain value used in the WB processing for the same image data as the white balance gain value applied in histogram detection and face detection. Ideally, it is preferable to use the same luminance gamma as in development, but in order to save processing time and memory capacity, a simplified gamma characteristic such as a gamma characteristic approximated by a polygonal line may be used.

Ｓ１２２９にて、システム制御部５０は、Ｓ１２２８で顔輝度取得領域の各々について求めた輝度値を、適正露出時を想定した値に変換する。これは、画像データが、適正露出よりも低い露出で撮像されていることから、適正露出で撮像した場合よりも顔の輝度が低く検出されることを補正する処理である。輝度値の変換は、露出制御が決定した露出補正量（低下量）を補償するように行ってもよいし、Ｓ１２２５で算出した階調補正量を用いて行ってもよい。 In S1229, system control unit 50 converts the luminance values obtained for each of the face luminance acquisition regions in S1228 into values assuming proper exposure. This is a process for correcting the fact that the brightness of the face is detected to be lower than when the image is captured with the appropriate exposure because the image data is captured with an exposure lower than the appropriate exposure. The luminance value conversion may be performed so as to compensate for the exposure correction amount (decrease amount) determined by the exposure control, or may be performed using the gradation correction amount calculated in S1225.

Ｓ１２３０にて、システム制御部５０は、検出された顔の輝度の代表値を算出する。代表値としては例えば検出されている顔領域の顔輝度取得領域の各々の輝度値の中から最大値を求めるなどが考えられる
Ｓ１２３１の処理は、Ｓ１２２６にてシステム制御部５０が顔領域が検出されなかったと判定した場合の処理である。Ｓ１２３１にて、システム制御部５０は、ヒストグラム特徴量を検出する。ヒストグラム特徴量は例えば、ヒストグラムで暗部側から累積度数が１％である画素が属するレベル（ＳＤ）、明部側から累積度数が１％である画素が属するレベル（ＨＬ）等であってよい。続くＳ１２３２にて、システム制御部５０は、Ｓ１２３１で算出したヒストグラム特徴量を、適正露出での撮像を想定した値に変換する。これは、画像データが、適正露出よりも低い露出で撮像されていることから、適正露出で撮像した場合よりもヒストグラム特徴量が低く検出されることを補正する処理である。輝度値の変換は、露出制御が決定した露出補正量（低下量）を補償するように行ってもよいし、Ｓ１２２５で算出した階調補正量を用いて行ってもよい。 At S1230, system control unit 50 calculates a representative luminance value of the detected face. As the representative value, for example, it is conceivable to obtain the maximum value among the brightness values of the face brightness acquisition regions of the detected face region. This is the process when it is determined that there is no At S1231, system control unit 50 detects a histogram feature amount. The histogram feature amount may be, for example, a level (SD) to which pixels with a cumulative frequency of 1% from the dark side of the histogram belong, a level (HL) to which pixels with a cumulative frequency of 1% from the bright side of the histogram belong, and the like. In subsequent S1232, the system control unit 50 converts the histogram feature amount calculated in S1231 into a value assuming imaging with proper exposure. This is a process for correcting the fact that the histogram feature amount is detected to be lower than when the image data is captured with an appropriate exposure because the image data is captured with an exposure lower than the appropriate exposure. The luminance value conversion may be performed so as to compensate for the exposure correction amount (decrease amount) determined by the exposure control, or may be performed using the gradation correction amount calculated in S1225.

Ｓ１２３３にて、システム制御部５０は、目標の補正量の算出を行う。システム制御部５０は、顔の代表輝度値、もしくはヒストグラム特徴量に対する目標輝度レベルを求める。そして、システム制御部５０は、これらの目標輝度レベルと、画像データ中の輝度の最小値と最大値とから、スプライン補間などにより、入力輝度レベルに対する出力輝度レベルを定めたルックアップテーブル（入出力特性）を、階調補正量（Ｂ）として作成する。階調補正量（Ｂ）は、第２の階調補正量である。 In S1233, the system control unit 50 calculates the target correction amount. The system control unit 50 obtains the target luminance level for the representative luminance value of the face or the histogram feature amount. Based on these target luminance levels and the minimum and maximum luminance values in the image data, the system control unit 50 uses spline interpolation or the like to create a lookup table (input/output table) that determines the output luminance level for the input luminance level. characteristic) is created as a gradation correction amount (B). The tone correction amount (B) is the second tone correction amount.

ここでＨＤＲではＳＤＲと目標の階調補正量を変えても良い。例えば、図１６（ａ）はＳＤＲでの見え、図１６（ｂ）はＨＤＲでの見えの例を示している。被写体（人物）の輝度値はいずれも同じ値であるが、背景についてＳＤＲでは高くても１００ｃｄ／ｍ2で突き当たるのに対して、ＨＤＲでは１００ｃｄ／ｍ2を超えた値となる。その結果、被写体の輝度値は同じであっても、ＨＤＲの方が暗く感じる場合がある。これは明度対比と言って、人間の視覚特性に起因する現象である。例えば図１６（ａ）と図１６（ｂ）では被写体の輝度は同じであるが、被写体の輝度と背景の輝度の差は、図１６（ａ）よりも図１６（ｂ）の方が大きい。このような場合、ユーザ図１６（ａ）よりも図１６（ｂ）の方が被写体を暗く感じてしまう。つまり、ＨＤＲは空などの高輝度域をより明るく表現することが可能であるため、ＳＤＲに比べて被写体が暗く見えてしまう可能性が高い。そこで本実施形態では、ＳＤＲの場合は図１５（ａ）に示すような階調特性を用いるのに対し、ＨＤＲの場合は図１５（ｂ）で示すような階調特性を用いて、より暗部を持ち上げる階調補正量を適用することで、見た目として好ましい結果にすることができる。なお、本実施形態の階調補正は露出の不足を補うための補正を例としたが、画作りのための明るさ補正においても同様の階調補正を行うことができる。 Here, in HDR, the SDR and the target gradation correction amount may be changed. For example, FIG. 16(a) shows an example of appearance in SDR, and FIG. 16(b) shows an example of appearance in HDR. The luminance values of the subjects (persons) are all the same, but the background has a value of 100 cd/m 2 at the highest in SDR, while the value exceeds 100 cd/m 2 in HDR. As a result, even if the luminance value of the subject is the same, HDR may appear darker. This is called brightness contrast, and is a phenomenon caused by human visual characteristics. For example, although the brightness of the object is the same in FIGS. 16(a) and 16(b), the difference between the brightness of the object and the background is greater in FIG. 16(b) than in FIG. 16(a). In such a case, the user feels darker in FIG. 16B than in FIG. 16A. In other words, since HDR is capable of brightening a high-luminance region such as the sky, there is a high possibility that the subject will appear darker than in SDR. Therefore, in the present embodiment, the gradation characteristics as shown in FIG. 15A are used for SDR, whereas the gradation characteristics as shown in FIG. By applying a gradation correction amount that raises Note that although the gradation correction in this embodiment is an example of correction for compensating for insufficient exposure, similar gradation correction can also be performed in brightness correction for image creation.

顔の代表輝度値や画像データのヒストグラム特徴量に対する目標輝度レベルは、経験的に好ましいと考えられる固定値に設定することが可能であるが、代表輝度値やヒストグラム特徴量の値に応じて異なる目標輝度レベルを設定してもよい。この場合、目標輝度レベルを設定するパラメータ（代表輝度値やヒストグラム特徴量）毎に、入力レベルに対する目標輝度レベルの関係を定めたルックアップテーブルを用意しておけばよい。 The target luminance level for the representative luminance value of the face and the histogram feature value of the image data can be set to a fixed value that is empirically considered preferable, but it varies depending on the value of the representative luminance value and the histogram feature value. A target brightness level may be set. In this case, it is sufficient to prepare a lookup table that defines the relationship of the target brightness level to the input level for each parameter (representative brightness value or histogram feature amount) for setting the target brightness level.

このようにして定めた目標輝度レベルへの変換を実現するための補正特性を、スプライン補間などの方法によって求め、必要であれば階調補正量（Ｂ）を適用するルックアップテーブル（又は関係式）として保存する。 A look-up table (or a relational expression) for applying the tone correction amount (B), if necessary, obtains the correction characteristics for realizing the conversion to the target luminance level determined in this way by a method such as spline interpolation. ).

Ｓ１２３４にて、システム制御部５０は、Ｓ１２２５で算出した階調補正量（Ａ）と、Ｓ１２３３で算出した階調補正量（Ｂ）を合成する。システム制御部５０は、例えば各入力輝度レベルに対して、まず階調補正量（Ａ）を適用した後に、補正後の輝度レベルに対して階調補正量（Ｂ）を適用した結果の輝度値を求め、各入力輝度レベルに対する出力輝度レベルのルックアップテーブルを作成する。 In S1234, the system control unit 50 synthesizes the tone correction amount (A) calculated in S1225 and the tone correction amount (B) calculated in S1233. For example, the system control unit 50 first applies the gradation correction amount (A) to each input luminance level, and then applies the gradation correction amount (B) to the corrected luminance level. and create a lookup table of output luminance levels for each input luminance level.

Ｓ１２３５にて、システム制御部５０は、Ｓ１２３４で求めた合成補正量（合成階調補正量）の上限値を制限する処理（リミッター処理）を行う。階調補正量（Ａ）と階調補正量（Ｂ）を合成することで、補正量が大きくなり、補正後の画像においてノイズ量が目立ちやすくなるため、全体の補正量に制限を設ける。リミッター処理は、各輝度値において許容する最大の補正量をテーブルとして用意しておき、Ｓ１２３４で作成したルックアップテーブルの値のうち、最大補正量を超える出力レベルを最大補正量に対応する出力レベルに置換することで実現できる。尚、階調補正量はユーザによって設定されている撮影モード（ＳＤＲ撮影もしくはＨＤＲ撮影）用の値を算出してもよいし、ＳＤＲ用、ＨＤＲ用の両方を算出してもよい。 In S1235, the system control unit 50 performs processing (limiter processing) for limiting the upper limit value of the synthetic correction amount (composite gradation correction amount) obtained in S1234. Combining the gradation correction amount (A) and the gradation correction amount (B) increases the correction amount, making the amount of noise more noticeable in the corrected image. Therefore, the overall correction amount is limited. In limiter processing, the maximum correction amount allowed for each luminance value is prepared as a table, and among the values in the lookup table created in S1234, the output level exceeding the maximum correction amount is determined as the output level corresponding to the maximum correction amount. It can be realized by replacing with Note that the gradation correction amount may be calculated for the shooting mode (SDR shooting or HDR shooting) set by the user, or may be calculated for both SDR and HDR.

図７の説明に戻る。Ｓ７０７にて、システム制御部５０は、算出したホワイトバランス係数、階調補正用パラメータおよび種々のＨＤＲ用のパラメータを用いて現像する。その他の現像パラメータとして、色マトリクス、カメラＯＥＴＦカーブデータ、色調整パラメータ、ノイズリダクションパラメータ、シャープネスパラメータなどを用いてＨＤＲ現像画像を生成する。カメラＯＥＴＦ（ガンマカーブ）としては、例えばＩＴＵ－Ｒの勧告ＢＴ．２１００のＰＱ（Perceptual Quantization）のＥＯＴＦ（Electro-Optical Transfer Function）の逆特性を想定しているが、カメラ側の味付けをＯＯＴＦ（Opto-Optical Transfer Function）として組み合わせても良い。もしくは同じくＩＴＵ－Ｒの勧告ＢＴ．２１００のＨＬＧ（Hybrid Log-Gamma）のＯＥＴＦを使用しても構わない。 Returning to the description of FIG. In S707, the system control unit 50 performs development using the calculated white balance coefficient, tone correction parameters, and various HDR parameters. As other development parameters, a color matrix, camera OETF curve data, color adjustment parameters, noise reduction parameters, sharpness parameters, etc. are used to generate an HDR developed image. As a camera OETF (gamma curve), for example, ITU-R recommendation BT. Although the inverse characteristics of the EOTF (Electro-Optical Transfer Function) of the 2100 PQ (Perceptual Quantization) are assumed, the OOTF (Opto-Optical Transfer Function) may be combined with the camera side. Alternatively, ITU-R Recommendation BT. A 2100 HLG (Hybrid Log-Gamma) OETF may be used.

Ｓ７０８にて、システム制御部５０は、Ｓ７０７で現像した画像からリサイズして２画面比較画像用などの簡易表示用としてＭＰＦ（Multi Pixel Format）用画像を生成し、ＨＥＶＣで圧縮符号化する。 In S708, the system control unit 50 resizes the image developed in S707 to generate an MPF (Multi Pixel Format) image for simple display such as a two-screen comparison image, and compression-encodes it by HEVC.

Ｓ７０９にて、システム制御部５０は、Ｓ７０８で生成したＭＰＦ画像をさらにリサイズしてインデックス表示などに用いるサムネイル画像を生成、圧縮する。 In S709, the system control unit 50 further resizes the MPF image generated in S708 to generate and compress a thumbnail image used for index display or the like.

Ｓ７１０にて、システム制御部５０は、本画像としてＳ７０７で現像したＨＤＲ画像を圧縮する。圧縮する方法はいろいろ考えられるが例えば、１０ｂｉｔのＹＵＶ４２２のデータであればＨ．２６５ （ＩＳＯ／ＩＥＣ ２３００８－２ ＨＥＶＣ）で圧縮すればよい。 At S710, the system control unit 50 compresses the HDR image developed at S707 as a main image. Various compression methods are conceivable. 265 (ISO/IEC 23008-2 HEVC).

Ｓ７１１にて、システム制御部５０は、ユーザによる記録画質設定を判定する。システム制御部５０は、ＲＡＷ画像のみが記録される設定であると判定した場合は処理をＳ７１２に、ＨＤＲ画像のみが記録される設定であると判定した場合は処理をＳ７１３に、ＲＡＷ画像及びＨＤＲ画像が記録される設定であると判定した場合は処理をＳ７１４に進める。 In S711, the system control unit 50 determines the recording image quality setting by the user. If the system control unit 50 determines that only the RAW image is to be recorded, the process proceeds to S712; if it is determined that only the HDR image is to be recorded, the system controller 50 proceeds to S713; If it is determined that the image is to be recorded, the process advances to S714.

Ｓ７１２にて、システム制御部５０は、ＲＡＷ画像を圧縮してヘッダを付加して図８Ａのような構造のＲＡＷ画像ファイルとして、記録媒体Ｉ／Ｆ１８を介して記録媒体２００に記録する。圧縮方式としては幾つか考えられるが劣化のない可逆であるロスレス圧縮や、非可逆ではあるがファイルサイズが軽くなるロッシー圧縮などを用いればよい。またヘッダには、検出メタデータとしてＳ１２０５で求めたホワイトバランスの白サーチ枠内判定結果とＳ７０４で求めたヒストグラムおよびＳ７０５で求めた顔検出結果を記録する。ここで検出される白サーチ枠内判定結果は、Ｓ１２０６における明暗除外処理を行う前の判定結果である。したがって、ＨＤＲ撮影でもＳＤＲ撮影でも同じ判定結果が記録されることになる。また、ユーザによりＨＤＲ撮影モードとなっていた場合は、図１２で求めたホワイトバランス係数や図１４で求めた階調補正量といったＨＤＲ用の現像パラメータ、Ｓ７０８でＨＤＲ現像した画像データからＨＥＶＣ形式で符号化して生成した表示用のＭＰＦ用画像もメタデータとして図８Ｂ（ｂ）のように併せて記録する。上述したように、これらのデータはＨＤＲ撮影かＳＤＲ撮影かで内容が異なる。なお、ＳＤＲ撮影であれば、上述したＳＤＲ用の白サーチ枠内判定や階調特性を用いた場合の現像パラメータが記録される。なお、ＨＤＲ撮影時であっても、ＳＤＲ用にＳ７０２～Ｓ７０６の処理を行い、ＳＤＲ用の現像パラメータも生成して両方を記録しても構わない。なおた、ＨＤＲ、ＳＤＲ両方の現像パラメータを生成するのは処理負荷が大きいため、連写時などには行わず、単写時など比較的処理負荷に余裕がある場合に行うようにしてもよい。 In S712, the system control unit 50 compresses the RAW image, adds a header, and records it on the recording medium 200 via the recording medium I/F 18 as a RAW image file structured as shown in FIG. 8A. Although several compression methods are conceivable, lossless compression, which is reversible without deterioration, lossy compression, which is irreversible but reduces the file size, may be used. Also, in the header, the white balance determination result within the white search frame obtained in S1205, the histogram obtained in S704, and the face detection result obtained in S705 are recorded as detection metadata. The result of determination within the white search frame detected here is the result of determination before performing the light/dark exclusion processing in S1206. Therefore, the same determination result is recorded for both HDR shooting and SDR shooting. If the HDR shooting mode has been set by the user, HDR development parameters such as the white balance coefficient obtained in FIG. 12 and the gradation correction amount obtained in FIG. The MPF image for display generated by encoding is also recorded together as metadata as shown in FIG. 8B(b). As described above, the contents of these data differ depending on whether HDR imaging or SDR imaging is performed. In the case of SDR photography, development parameters for the case of using the above-described white search frame determination and tone characteristics for SDR are recorded. It should be noted that even during HDR shooting, the processing of S702 to S706 may be performed for SDR, development parameters for SDR may also be generated, and both may be recorded. Since the processing load of generating development parameters for both HDR and SDR is large, it may not be performed during continuous shooting, and may be performed when the processing load is relatively low, such as during single shooting. .

また単写など処理負荷に余裕がある時はＨＤＲ用の表示用画像とは別に、ＳＤＲ用の現像パラメータを用いてＳＤＲ画質の本画像、ＭＰＦ用画像、サムネイル用画像を作成し、ＨＤＲ用の表示用画像とＳＤＲ用の表示用画像を同じファイルに記録しても構わない（図８Ｂ（ｃ））。 Also, when there is a margin in the processing load, such as for single shots, in addition to the HDR display image, SDR development parameters are used to create an SDR-quality main image, an MPF image, and a thumbnail image. The display image and the SDR display image may be recorded in the same file (FIG. 8B(c)).

また、サムネイルを表示する際は、画像が小さいのでどのような画像かが分かれば十分であるため、Ｓ７０９で作成するサムネイル用画像のみＳＤＲ現像画像で作成し保存しても構わない（図８Ｂ（ｄ））。このような構成にすることで、ＨＤＲの圧縮方式であるＨ．２６５のデコードに対応していない表示装置やＰＣでもサムネイル画像のみ表示することも可能になる。 Also, when displaying thumbnails, since the images are small, it is sufficient to know what kind of image it is. Therefore, only the thumbnail image created in S709 may be created as an SDR developed image and saved (see FIG. 8B ( d)). With such a configuration, H.264, which is an HDR compression method, can be used. It is also possible to display only thumbnail images on display devices and PCs that do not support H.265 decoding.

Ｓ７１３にて、システム制御部５０は、現像したＨＤＲ画像をＨＥＶＣ形式で圧縮符号化して静的メタデータもしくは動的メタデータを付加し、ＨＩＥＦ（High Efficiency Image File Format）形式のＨＥＩＦファイルとして、記録媒体Ｉ／Ｆ１８を介して記録媒体２００に記録する。静的メタデータとしては、ＣＥＡ－８６１．３に準拠したディスプレイの３原色および白色点のｘ，ｙ座標、マスタリングディスプレイの最大輝度値、最小輝度値、コンテンツ最大輝度値（Maximum Content Light Level）、フレーム平均輝度レベル（Maximum Frame-average Light Level）などである。また、動的メタデータとしては、ＳＭＰＴＥ ＳＴ ２０９４で定義されているカラーボリューム変換の動的トーンマッピングのメタデータなどである。尚、ＨＤＲ特性をＰＱ信号で表すには１０ｂｉｔ以上の深度であることが好ましいが従来のＪＰＥＧフォーマットだと８ｂｉｔであるため新たに静止画ＨＤＲ用のコンテナを採用する必要がある。ここでは、ＭＰＥＧ（Moving Picture Experts Group）によって開発され、 ＭＰＥＧ－Ｈ Ｐａｒｔ １２（ＩＳＯ／ＩＥＣ ２３００８－１２）で定義された画像ファイルフォーマットであるＨＥＩＦのコンテナを使用する。ＨＥＩＦは本画像だけでなく、サムネイルや複数の時間的に関連ある画像やＥＸＩＦやＸＭＰといったメタデータも１つのファイルの中に格納することができるという特徴がある。よって、ＨＥＶＣでエンコードされた１０ｂｉｔのイメージシーケンスも格納できるため使い回しが良い。 In S713, the system control unit 50 compression-encodes the developed HDR image in the HEVC format, adds static metadata or dynamic metadata, and records the image as an HEIF file in HIEF (High Efficiency Image File Format) format. It records on the recording medium 200 via the medium I/F 18 . The static metadata includes the x, y coordinates of the three primary colors and the white point of the display conforming to CEA-861.3, the maximum luminance value, the minimum luminance value, and the maximum content light level of the mastering display, For example, the frame average luminance level (Maximum Frame-average Light Level). The dynamic metadata includes dynamic tone mapping metadata for color volume conversion defined in SMPTEST 2094, and the like. In order to express the HDR characteristics with a PQ signal, it is preferable to have a depth of 10 bits or more, but in the conventional JPEG format, the depth is 8 bits, so it is necessary to adopt a new container for still image HDR. Here, a container of HEIF, which is an image file format developed by MPEG (Moving Picture Experts Group) and defined in MPEG-H Part 12 (ISO/IEC 23008-12), is used. HEIF has the feature that not only the main image but also thumbnails, multiple temporally related images, and metadata such as EXIF and XMP can be stored in one file. Therefore, it is possible to store a 10-bit image sequence encoded by HEVC, so it can be reused.

Ｓ７１４及びＳ７１５では、Ｓ７１２及びＳ７１３の処理を順次行い、ＲＡＷ画像とＨＤＲ画像の両方を記録する。 In S714 and S715, the processes of S712 and S713 are sequentially performed, and both the RAW image and the HDR image are recorded.

続いて前述した記録処理において記録媒体２００に記録する静止画ＲＡＷ画像データのファイル構造を図８Ａに示す。以下で例示するファイルフォーマットはＩＳＯ／ＩＥＣ１４４９６－１２ で規定されているＩＳＯベースメディアファイルフォーマットである。そのため、本ファイルフォーマットは木構造を持ちボックスと呼ばれる各ノードを持っている。また、各ボックスは複数のボックスを子要素として持つことができる。 FIG. 8A shows the file structure of the still image RAW image data to be recorded on the recording medium 200 in the recording process described above. The file format exemplified below is the ISO base media file format defined in ISO/IEC14496-12. Therefore, this file format has a tree structure and each node called a box. Also, each box can have multiple boxes as child elements.

画像データ８０１は先頭にファイルタイプの記述のためのボックスｆｔｙｐ８０２、全てのメタデータを含むボックスｍｏｏｖ８０３、トラックのメディアデータ本体のボックスｍｄａｔ８０８、その他のボックス８０７を有する。前述のボックスｍｏｏｖ８０３は子要素として、ＭｅｔａＤａｔａ８０５を格納するボックスｕｕｉｄ８０４とＩｍａｇｅＤａｔａを参照する情報を格納するｔｒａｋボックス８０６を有する。ＭｅｔａＤａｔａ８０５には、画像のメタデータが記載されており、例えば画像の作成日時、撮影時条件、ＨＤＲまたはＳＤＲで撮影したかどうかの情報、前述した検出メタデータ、その他の撮影情報から構成される。前述のボックスｍｄａｔ８０８は子要素として、撮影した静止画像データであるＩｍａｇｅＤａｔａ８０９を持つ。 The image data 801 has a box ftyp 802 for file type description at the top, a box moov 803 containing all metadata, a box mdat 808 for the body of the media data of the track, and a miscellaneous box 807 . The aforementioned box moov 803 has, as child elements, a box uuid 804 storing MetaData 805 and a trak box 806 storing information referring to ImageData. The MetaData 805 describes image metadata, and includes, for example, image creation date and time, shooting conditions, information on whether the image was shot in HDR or SDR, the aforementioned detection metadata, and other shooting information. The box mdat 808 described above has ImageData 809 as a child element, which is captured still image data.

なお、ＳＤＲで撮影したＲＡＷ画像と、ＨＤＲで撮影したＲＡＷ画像では、ＩｍａｇｅＤａｔａ８０９に記録される画像データが異なる。 Image data recorded in the ImageData 809 differs between a RAW image captured with SDR and a RAW image captured with HDR.

図８Ｂ（ａ）はＳＤＲで撮影したＲＡＷ画像に記録されるＩｍａｇｅＤａｔａ８０９である。この場合のＩｍａｇｅＤａｔａ８０９は、ＳＤＲ画質現像しＪＰＥＧ圧縮したＴＨＭ画像８２１、ＭＰＦ画像８２２、本画像８２３とＲＡＷ画像８２４及び、ＲＡＷ現像パラメータ８２５を持つ。各ＳＤＲ画質の画像は、その１色成分が８ビット（２５６階調）の画像である。なお、図８Ｂ（ａ）のＲＡＷ現像パラメータ８２５は、少なくともＳＤＲ現像用の現像パラメータを含む。 FIG. 8B(a) is ImageData 809 recorded in a RAW image captured by SDR. ImageData 809 in this case has a THM image 821 , MPF image 822 , main image 823 , RAW image 824 , and RAW development parameters 825 , which are SDR-quality developed and JPEG-compressed. Each SDR quality image is an image in which one color component is 8 bits (256 gradations). Note that the RAW development parameters 825 in FIG. 8B(a) include at least development parameters for SDR development.

図８Ｂ（ｂ）はＨＤＲで撮影時にＨＤＲ画像のみ表示用画像として持つＲＡＷ画像に記録されるＩｍａｇｅＤａｔａ８０９である。この場合のＩｍａｇｅＤａｔａ８０９は、ＨＤＲ画質現像しＨＥＶＣ圧縮したＴＨＭ画像８２６、ＭＰＦ画像８２７、本画像８２８とＲＡＷ画像８２４及び、ＲＡＷ現像パラメータ８２５を持つ。各ＨＤＲ画質の画像は、１色成分が１０ビット（１０２４階調）の画像である。図８Ｂ（ｂ）、（ｃ）、（ｄ）のＲＡＷ現像パラメータ８２５は、少なくともＨＤＲ現像用の現像パラメータを含む。 FIG. 8B (b) is ImageData 809 recorded in a RAW image having only an HDR image as a display image when shooting in HDR. The ImageData 809 in this case has a THM image 826 , an MPF image 827 , a main image 828 , a RAW image 824 , and RAW development parameters 825 , which are HEVC-compressed by HDR quality development. Each HDR quality image is an image in which one color component is 10 bits (1024 gradations). The RAW development parameters 825 in FIGS. 8B(b), (c), and (d) include at least development parameters for HDR development.

図８Ｂ（ｃ）はＨＤＲで撮影時にＨＤＲ画像とＳＤＲ画像の両方を表示用画像として持つＲＡＷ画像に記録されるＩｍａｇｅＤａｔａ８０９である。この場合のＩｍａｇｅＤａｔａ８０９は、ＳＤＲ画質現像しＪＰＥＧ圧縮したＴＨＭ画像８２１、ＭＰＦ画像８２２、本画像８２３とＨＤＲ画質現像しＨＥＶＣ圧縮したＴＨＭ画像８２６、ＭＰＦ画像８２７、本画像８２８とＲＡＷ画像８２４及び、ＲＡＷ現像パラメータ８２５を持つ。 FIG. 8B(c) is ImageData 809 recorded in a RAW image having both an HDR image and an SDR image as display images when shooting in HDR. ImageData 809 in this case includes a THM image 821 developed with SDR image quality and JPEG-compressed, an MPF image 822, a main image 823, a THM image 826 developed with HDR image quality and HEVC-compressed, an MPF image 827, a main image 828, a RAW image 824, and a RAW image. It has development parameters 825 .

図８Ｂ（ｄ）はＨＤＲで撮影時にＴＨＭ画像のみＳＤＲ画像で、ＭＰＦと本画像はＨＤＲ画像の表示用画像として持つＲＡＷ画像に記録されるＩｍａｇｅＤａｔａ８０９である。この場合のＩｍａｇｅＤａｔａ８０９は、ＳＤＲ画質現像しＪＰＥＧ圧縮したＴＨＭ画像８２１とＨＤＲ画質現像しＨＥＶＣ圧縮したＭＰＦ画像８２７、本画像８２８とＲＡＷ画像８２）及び、ＲＡＷ現像パラメータ８２５を持つ。 FIG. 8B (d) is ImageData 809 recorded in a RAW image held as a display image of the HDR image, while only the THM image is an SDR image when shooting in HDR, and the MPF and main image are images. The ImageData 809 in this case has a THM image 821 developed with SDR image quality and JPEG compressed, an MPF image 827 developed with HDR image quality and HEVC compressed, a main image 828 and a RAW image 82 ), and RAW development parameters 825 .

本例で示したファイルフォーマットは実施形態の１つであり、必要に応じて他のボックスを有しても良い。また、表示用画像をｍｏｏｖ８０３内のボックスや、その他のボックス８０７に持つ構成としてもよい。 The file format shown in this example is one embodiment, and may have other boxes as required. Also, a configuration may be adopted in which a display image is held in a box within the moov 803 or another box 807 .

上記のようなファイルフォーマットを有することにより、ＳＤＲとして撮影されたＲＡＷ画像ファイルにはＳＤＲ画像用の現像パラメータが記録され、ＨＤＲとして撮影されたＲＡＷ画像ファイルにはＨＤＲ画像用の現像パラメータが記録されることになる。このようにすることで、後からＲＡＷ画像を現像する場合も、撮影時の設定を反映した現像パラメータで現像を行うことが可能となる。例えばＲＡＷ現像を行う装置（デジタルカメラ１００でもよいし、ＰＣなどの他の装置でもよい）は、ＲＡＷ画像のＭｅｔａＤａｔａ８０５を参照し、ＨＤＲとして撮影したか、ＳＤＲとして撮影したかを判定する。そしてＨＤＲとして撮影したと判定した場合は、ＲＡＷ画像をそのファイルに含まれるＨＤＲ画像用の現像パラメータを用いてＨＤＲ画像として現像する。また、ＳＤＲとして撮影したと判定した場合は、ＲＡＷ画像をそのファイルに含まれるＳＤＲ画像用の現像パラメータを用いてＳＤＲ画像として現像する。このような処理を行うことを可能とするために、本実施形態におけるデジタルカメラ１００は、ＳＤＲとして撮影されたＲＡＷ画像ファイルにはＳＤＲ画像用の現像パラメータを記録し、ＨＤＲとして撮影されたＲＡＷ画像ファイルにはＨＤＲ画像用の現像パラメータを記録している。なお、ＲＡＷ現像を行う装置は、前述したＨＥＩＦのコンテナを使用して現像した静止画ＨＤＲ画像を記録するようにすればよい。 By having the above file format, development parameters for SDR images are recorded in RAW image files shot as SDR, and development parameters for HDR images are recorded in RAW image files shot as HDR. will be By doing so, even when the RAW image is developed later, it is possible to perform the development with the development parameters that reflect the settings at the time of shooting. For example, a device that performs RAW development (either the digital camera 100 or another device such as a PC) refers to the MetaData 805 of the RAW image and determines whether the image was shot as HDR or SDR. If it is determined that the image was shot in HDR, the RAW image is developed as an HDR image using the HDR image development parameters included in the file. If it is determined that the image was shot as an SDR, the RAW image is developed as an SDR image using the SDR image development parameters included in the file. To enable such processing, the digital camera 100 according to the present embodiment records development parameters for SDR images in RAW image files shot as SDR, and records RAW image files shot as HDR. The file records development parameters for HDR images. Note that an apparatus that performs RAW development may record a still HDR image developed using the above-described HEIF container.

さらに、検出メタデータとしてＨＤＲ撮影でもＳＤＲ撮影でも同じ判定結果を記録することとしたため、ＨＤＲ撮影モードで撮影されたＲＡＷ画像ファイルであっても、記録された検出データを用いてＳＤＲ画像に現像することも可能となる。したがって、ＳＤＲ画像にしか対応していない装置でも、ＨＤＲ撮影モードで撮影されたＲＡＷ画像ファイルを適切に表示することが可能となる。 Furthermore, since the same determination result is recorded as detection metadata for HDR shooting and SDR shooting, even a RAW image file shot in HDR shooting mode is developed into an SDR image using the recorded detection data. is also possible. Therefore, even a device that supports only SDR images can appropriately display a RAW image file shot in the HDR shooting mode.

図９Ａは、システム制御部５０の、表示部２８を使用した再生モード処理の詳細を示すフローチャートである。この処理は、不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２に展開してシステム制御部５０が実行することで実現する。 FIG. 9A is a flow chart showing details of playback mode processing using the display section 28 of the system control section 50 . This process is realized by loading the program recorded in the nonvolatile memory 56 into the system memory 52 and executing it by the system control unit 50 .

Ｓ９０１にて、システム制御部５０は、インデックス再生か、通常の再生かを判定する。Ｓ９０１にて、システム制御部５０はインデックス再生と判定した場合は処理をＳ９０２に進める。このＳ９０２にて、システム制御部５０は、再生する画像枚数を決定する。 In S901, the system control unit 50 determines index reproduction or normal reproduction. If the system control unit 50 determines in S901 that index reproduction is to be performed, the process proceeds to S902. At S902, the system control unit 50 determines the number of images to be reproduced.

Ｓ９０３にて、システム制御部５０は、再生する画像を決定する。そして、Ｓ９０４にて、システム制御部５０は、再生する画像の描画処理を行う。 In S903, system control unit 50 determines an image to be reproduced. Then, in S904, the system control unit 50 performs drawing processing of the image to be reproduced.

Ｓ９０５にて、システム制御部５０は、表示する全ての画像の描画が完了したかを判定し、完了していないと判定した場合は、Ｓ９０３に戻し、描画処理を継続する。また、システム制御部５０は、描画処理が完了したと判定した場合、処理をＳ９０６に進める。このＳ９０６にて、システム制御部５０は、表示部２８へ、Ｓ９０６の画像出力処理を行い表示処理を終了する。その後、システム制御部５０は、操作受付処理を行う。 In S905, the system control unit 50 determines whether rendering of all images to be displayed has been completed. If it is determined that rendering has not been completed, the system control unit 50 returns to S903 and continues rendering processing. If the system control unit 50 determines that the rendering process has been completed, the process proceeds to S906. In this S906, the system control unit 50 performs the image output processing of S906 to the display unit 28, and ends the display processing. Thereafter, the system control unit 50 performs operation reception processing.

図９Ｂは、システム制御部５０の、表示部２８を使用した再生モード処理の描画処理の詳細を示すフローチャートである。 FIG. 9B is a flow chart showing details of drawing processing of the playback mode processing using the display unit 28 of the system control unit 50 .

Ｓ９１１にて、システム制御部５０は、再生する画像の情報を取得する。Ｓ９１２にて、システム制御部５０は、再生する画像を決定する。Ｓ９１３にて、システム制御部５０は、再生する画像を記録媒体２００から読み出す。Ｓ９１４にて、システム制御部５０は、再生する画像の伸長処理を行う。Ｓ９１５にて、システム制御部５０は、Ｓ９１４で伸長処理を施した画像データから画素ごとのデータを収集する。この画像データとは例えば輝度情報であり、ヒストグラム処理やハイライト警告処理などに用いる。 In S911, the system control unit 50 acquires information on the image to be reproduced. In S912, system control unit 50 determines an image to be reproduced. In S<b>913 , system control unit 50 reads an image to be reproduced from recording medium 200 . In S914, the system control unit 50 decompresses the image to be reproduced. At S915, the system control unit 50 collects data for each pixel from the image data decompressed at S914. This image data is luminance information, for example, and is used for histogram processing, highlight warning processing, and the like.

Ｓ９１６にて、システム制御部５０は、再生する画像がＨＤＲ画像であるかＳＤＲ画像であるかを判定する。システム制御部５０は、再生する画像がＨＤＲ画像であると判定した場合は処理をＳ９１７に、ＳＤＲ画像であると判定した場合は処理をＳ９２０に進める。Ｓ９１７にて、システム制御部５０は、再生時のＨＤＲアシスト表示設定を確認し、アシスト１の設定の場合には処理をＳ９１８へ、アシスト設定２の場合には処理をＳ９１９へ進める。Ｓ９１８にて、システム制御部５０は、Ｓ９１４で伸長した画像に対してアシスト１の設定に従ってＨＤＲ→ＳＤＲ変換処理を行う。また、Ｓ９１９にて、システム制御部５０は、Ｓ９１４で伸長した画像に対してアシスト２の設定に従ってＨＤＲ→ＳＤＲ変換処理を行う。 In S916, system control unit 50 determines whether the image to be reproduced is an HDR image or an SDR image. If the system control unit 50 determines that the image to be reproduced is an HDR image, the process proceeds to S917, and if it determines that it is an SDR image, the process proceeds to S920. In S917, the system control unit 50 confirms the HDR assist display setting during playback, and advances the process to S918 in the case of the setting of assist 1, and to S919 in the case of the setting of assist 2. In S918, the system control unit 50 performs HDR→SDR conversion processing on the image decompressed in S914 according to the setting of assist 1. FIG. Also, in S919, the system control unit 50 performs HDR→SDR conversion processing on the image expanded in S914 according to the setting of assist 2 .

Ｓ９２０にて、システム制御部５０は、Ｓ９１４で伸長した画像または、Ｓ９１８、Ｓ９１０でＳＤＲ変換処理を行った画像に対し、表示部２８に適したサイズに拡縮処理を行う。そして、Ｓ９２１にて、システム制御部５０は、生成した画像の配置を決定し、描画処理を終了する。 In S920, the system control unit 50 scales the image expanded in S914 or the image subjected to SDR conversion processing in S918 and S910 to a size suitable for the display unit . Then, in S921, the system control unit 50 determines the layout of the generated image, and terminates the drawing process.

図９Ｃ～９Ｈは、システム制御部５０の読込画像選択処理の詳細を示すフローチャートである。 9C to 9H are flowcharts showing details of the read image selection processing of the system control unit 50. FIG.

Ｓ９２６にて、システム制御部５０は、取得した画像の情報を判定し、再生可能であるかを判定し、可能であると判定した場合は処理をＳ９２７に、再生不可と判定した場合は処理をＳ９３６に進める。 In S926, the system control unit 50 determines the information of the acquired image and determines whether or not the image can be reproduced. Proceed to S936.

Ｓ９２７にて、システム制御部５０は、再生する画像が静止画像か否かを判定する。システム制御部５０は、再生する画像が静止画像であると判定した場合には処理をＳ９２８に、そうでない場合は処理をＳ９３５に進める。 In S927, system control unit 50 determines whether the image to be reproduced is a still image. If the system control unit 50 determines that the image to be reproduced is a still image, the process proceeds to S928; otherwise, the process proceeds to S935.

Ｓ９２８にて、システム制御部５０は、再生する画像がＲＡＷ画像か否かを判定する。システム制御部５０は、再生する画像がＲＡＷ画像であると判定した場合は処理をＳ９２９に、そうでない場合は処理をＳ９３０に進める。 In S928, system control unit 50 determines whether the image to be reproduced is a RAW image. If the system control unit 50 determines that the image to be reproduced is a RAW image, the process proceeds to S929; otherwise, the process proceeds to S930.

Ｓ９２９にて、システム制御部５０は、ＲＡＷ画像がＨＤＲで撮影されたＲＡＷ画像か、ＳＤＲで撮影されたＲＡＷ画像かを判定する。システム制御部５０は、このときの判定を、図８で説明した、ＲＡＷファイル内にあるメタデータを用いて行う。システム制御部５０は、ＨＤＲで撮影されたＲＡＷ画像であると判定した場合は処理をＳ９３１に、ＳＤＲ画像であると判定した場合は処理をＳ９３２に進める。 In S929, the system control unit 50 determines whether the RAW image is a RAW image captured in HDR or a RAW image captured in SDR. The system control unit 50 makes this determination using the metadata in the RAW file described with reference to FIG. If the system control unit 50 determines that the image is a RAW image captured in HDR, the process proceeds to S931, and if it determines that the image is an SDR image, the process proceeds to S932.

Ｓ９３０にて、システム制御部５０は、ＲＡＷ画像でないと判定された静止画像がＨＤＲで撮影された画像か、ＳＤＲで撮影された画像かを判定する。本実施形態ではＨＤＲで撮影した画像はＨＥＩＦとして記録、ＳＤＲで撮影した画像はＪＰＥＧとして記録するため、ＨＥＩＦかＪＰＥＧかでＨＤＲ画像かＳＤＲ画像かを判定しているが、ＨＥＩＦ内のメタデータを使用してＨＤＲ画像かＳＤＲ画像かを判定してもよい。 In S930, system control unit 50 determines whether the still image determined not to be a RAW image is an image shot in HDR or an image shot in SDR. In this embodiment, an image shot with HDR is recorded as HEIF, and an image shot with SDR is recorded as JPEG. may be used to determine whether it is an HDR or SDR image.

Ｓ９３１にて、システム制御部５０は、ＨＤＲで撮影されたＲＡＷ画像から再生に使用する画像データを選択する。Ｓ９３２にて、システム制御部５０は、ＳＤＲで撮影されたＲＡＷ画像から再生に使用する画像データを選択する。Ｓ９３３にて、システム制御部５０は、ＨＤＲ現像した静止画像から再生に使用する画像データを選択する。Ｓ９３４にて、システム制御部５０は、ＳＤＲ現像した静止画像から再生に使用する画像データを選択する。Ｓ９３５にて、システム制御部５０は、動画ファイルの中から表示すべき画像データを選択する。Ｓ９３６にて、システム制御部５０は、再生画像の非表示処理を行う。この場合、再生できない画像ということをユーザに知らせるために再生不可の情報を表示する。 In S931, the system control unit 50 selects image data to be used for reproduction from the RAW image captured in HDR. In S932, system control unit 50 selects image data to be used for reproduction from the RAW image captured by SDR. In S933, system control unit 50 selects image data to be used for reproduction from the HDR-developed still image. At S934, system control unit 50 selects image data to be used for reproduction from the SDR-developed still image. At S935, system control unit 50 selects image data to be displayed from the moving image file. In S936, the system control unit 50 performs non-display processing of the reproduced image. In this case, reproduction-impossible information is displayed to inform the user that the image cannot be reproduced.

図９Ｄは、システム制御部５０が、ＨＤＲで撮影されたＲＡＷ画像から再生に使用する画像データを選択するフローである。 FIG. 9D is a flow in which the system control unit 50 selects image data to be used for reproduction from RAW images shot in HDR.

Ｓ９４１にて、システム制御部５０は、インデックス再生か、通常の再生かを判定する。システム制御部５０は、インデックス再生であると判定した場合は処理をＳ９４２に、通常再生であると判定した場合は処理をＳ９４３に進める。 In S941, system control unit 50 determines whether index reproduction or normal reproduction is to be performed. If the system control unit 50 determines that index reproduction is to be performed, the process proceeds to S942, and if it is determined to be normal reproduction, the process proceeds to S943.

Ｓ９４２にて、システム制御部５０は、インデックス再生の再生画像枚数によって、使用する画像データを判定する。本実施形態は３６枚を閾値とするものとするが、その枚数は一例であって、ユーザにより適宜設定するようにしても良いし、表示部２８のサイズに依存して決定しても良い。システム制御部５０は、表示する画像が３６枚以上であると判定した場合は処理をＳ９４５に進み、３６枚より少ないと判定した場合はＳ９４４に処理を進める。 In S942, system control unit 50 determines image data to be used based on the number of images to be reproduced in index reproduction. In the present embodiment, 36 images are used as the threshold, but this number is just an example, and may be set by the user as appropriate, or may be determined depending on the size of the display unit 28 . If the system control unit 50 determines that the number of images to be displayed is 36 or more, the process proceeds to S945, and if it determines that the number of images to be displayed is less than 36, the process proceeds to S944.

Ｓ９４３にて、システム制御部５０は、「表示用 ＨＤＲ 本画像（ＨＥＶＣ）」（８２８）を再生に使用する画像データとして決定する。Ｓ９４４にて、システム制御部５０は、「表示用 ＨＤＲ ＭＰＦ画像（ＨＥＶＣ）」（８２７）を再生に使用する画像データとして決定する。Ｓ９４５にて、システム制御部５０は、「表示用 ＨＤＲ ＴＨＭ画像（ＨＥＶＣ）」（８２６）を再生に使用する画像データとして決定する。 In S943, system control unit 50 determines "HDR main image for display (HEVC)" (828) as image data to be used for reproduction. In S944, system control unit 50 determines "HDR MPF image for display (HEVC)" (827) as image data to be used for reproduction. In S945, system control unit 50 determines "HDR THM image for display (HEVC)" (826) as image data to be used for reproduction.

図９Ｅは、ＨＤＲで撮影されたＲＡＷ画像がＳＤＲの表示用画像を持つ場合にＲＡＷ画像から再生に使用する画像データの選択処理を示すフローである。 FIG. 9E is a flow showing a process of selecting image data to be used for reproduction from a RAW image when the RAW image shot in HDR has an SDR display image.

Ｓ９５１にて、システム制御部５０が、インデックス再生か、通常の再生かを判定する。システム制御部５０は、インデックス再生であると判定した場合は処理をＳ９５２に、通常再生と判定した場合は処理をＳ９５３に進める。 In S951, the system control unit 50 determines whether index reproduction or normal reproduction is to be performed. The system control unit 50 advances the process to S952 when determining to be index reproduction, and to S953 when determining to be normal reproduction.

Ｓ９５２にて、システム制御部５０は、インデックス再生の再生画像枚数によって、使用する画像データを判定する。ここでは、３６枚を判定の際の閾値とする。システム制御部５０は、再生画像数が３６枚以上であると判定した場合は処理をＳ９５５に、３６枚未満であると判定した場合は処理をＳ９５４に進める。 In S952, system control unit 50 determines image data to be used based on the number of images to be reproduced in index reproduction. Here, 36 sheets are used as the threshold for determination. If the system control unit 50 determines that the number of reproduced images is 36 or more, the process proceeds to S955, and if it determines that the number is less than 36, the process proceeds to S954.

Ｓ９５３、Ｓ９５４、Ｓ９５５では、システム制御部５０は、再生するＲＡＷ画像にＳＤＲ画像が含まれているかを確認する。このときの判定は図８で説明した、ＲＡＷファイル内にあるメタデータを用いる。 In S953, S954, and S955, the system control unit 50 checks whether the RAW image to be reproduced includes an SDR image. The determination at this time uses the metadata in the RAW file described with reference to FIG.

Ｓ９５６にて、システム制御部５０は、「表示用 ＨＤＲ 本画像（ＨＥＶＣ）」（８２８）を再生に使用する画像データとして決定する。Ｓ９５７にて、システム制御部５０は、「表示用 ＳＤＲ 本画像（ＪＰＥＧ）」（８２３）を再生に使用する画像データとして決定する。Ｓ９５８にて、システム制御部５０は、「表示用 ＨＤＲ ＭＰＦ画像（ＨＥＶＣ）」（８２７）を再生に使用する画像データとして決定する。Ｓ９５９にて、システム制御部５０は、「表示用 ＳＤＲ ＭＰＦ画像（ＪＰＥＧ）」（８２２）を再生に使用する画像データとして決定する。Ｓ９６０にて、システム制御部５０は、「表示用 ＨＤＲ ＴＨＭ画像（ＨＥＶＣ）」（８２６）を再生に使用する画像データとして決定する。Ｓ９６１にて、システム制御部５０は、「表示用 ＳＤＲ ＴＨＭ画像（ＪＰＥＧ）」（８２１）を再生に使用する画像データとして決定する。 In S956, system control unit 50 determines "HDR main image for display (HEVC)" (828) as image data to be used for reproduction. In S957, system control unit 50 determines "SDR main image for display (JPEG)" (823) as image data to be used for reproduction. In S958, system control unit 50 determines "HDR MPF image for display (HEVC)" (827) as image data to be used for reproduction. In S959, system control unit 50 determines "SDR MPF image for display (JPEG)" (822) as image data to be used for reproduction. In S960, system control unit 50 determines "HDR THM image for display (HEVC)" (826) as image data to be used for reproduction. In S961, system control unit 50 determines "SDR THM image for display (JPEG)" (821) as image data to be used for reproduction.

図９Ｆは、システム制御部５０が、ＨＤＲ現像静止画像から再生に使用する画像データを選択するフローである。 FIG. 9F is a flow in which the system control unit 50 selects image data to be used for reproduction from the HDR developed still image.

Ｓ９７１にて、システム制御部５０は、インデックス再生か、通常の再生かを判定する。システム制御部５０は、インデックス再生と判定した場合は処理をＳ９７２に、通常再生であると判定した場合は処理をＳ９７３に進める。 In S971, the system control unit 50 determines whether index reproduction or normal reproduction is to be performed. The system control unit 50 advances the process to S972 when determining to be index reproduction, and to S973 when determining to be normal reproduction.

Ｓ９７２にて、システム制御部５０は、インデックス再生の再生画像枚数によって、使用する画像データを判定する。実施形態では、枚数の閾値として３６枚とする。システム制御部５０は、再生画像枚数が３６枚以上であると判定した場合は処理をＳ９７５に、３６枚未満であると判定した場合は処理をＳ９７４に進める。 In S972, system control unit 50 determines image data to be used based on the number of images to be reproduced in index reproduction. In the embodiment, the threshold for the number of sheets is set to 36 sheets. If the system control unit 50 determines that the number of reproduced images is 36 or more, the process proceeds to S975, and if it determines that it is less than 36, the process proceeds to S974.

Ｓ９７３にて、システム制御部５０は、「ＨＤＲ 本画像（ＨＥＶＣ）」（不図示）を再生に使用する画像データとして決定する。Ｓ９７４にて、システム制御部５０は、「ＨＤＲ ＭＰＦ画像（ＨＥＶＣ）」（不図示）を再生に使用する画像データとして決定する。Ｓ９７５にて、システム制御部５０は、「ＨＤＲ ＴＨＭ画像（ＨＥＶＣ）」（不図示）を再生に使用する画像データとして決定する。 In S973, system control unit 50 determines "HDR main image (HEVC)" (not shown) as image data to be used for reproduction. In S974, system control unit 50 determines "HDR MPF image (HEVC)" (not shown) as image data to be used for reproduction. In S975, system control unit 50 determines "HDR THM image (HEVC)" (not shown) as image data to be used for reproduction.

図９ＧはＳＤＲで撮影されたＲＡＷ画像から再生に使用する画像データを選択するフローである。 FIG. 9G is a flow for selecting image data to be used for reproduction from a RAW image shot with SDR.

Ｓ９８１にて、システム制御部５０は、インデックス再生か、通常の再生かを判定する。システム制御部５０は、インデックス再生と判定した場合は処理をＳ９８２に、通常再生と判定した場合は処理をＳ９８３に進める。 In S981, the system control unit 50 determines whether index reproduction or normal reproduction is to be performed. The system control unit 50 advances the process to S982 if index reproduction is determined, and advances the process to S983 if normal reproduction is determined.

Ｓ９８２にて、システム制御部５０は、インデックス再生の再生画像枚数によって、使用する画像データを判定する。実施形態では、枚数の閾値として３６枚とする。システム制御部５０は、表示する画像が３６枚以上と判定した場合は処理をＳ９８５に、３６枚未満であると判定した場合は処理をＳ９８４に進める。 In S982, system control unit 50 determines image data to be used based on the number of images to be reproduced in index reproduction. In the embodiment, the threshold for the number of sheets is set to 36 sheets. If the system control unit 50 determines that the number of images to be displayed is 36 or more, the process proceeds to S985, and if it determines that the number of images to be displayed is less than 36, the process proceeds to S984.

Ｓ９８３にて、システム制御部５０は、「表示用 ＳＤＲ 本画像（ＪＰＥＧ）」（８２３）を再生に使用する画像データとして決定する。Ｓ９８４にて、システム制御部５０は、「表示用 ＳＤＲ ＭＰＦ画像（ＪＰＥＧ）」（８２２）を再生に使用する画像データとして決定する。Ｓ９８５にて、システム制御部５０は、「表示用 ＳＤＲ ＴＨＭ画像（ＪＰＥＧ）」（８２１）を再生に使用する画像データとして決定する。 In S983, the system control unit 50 determines the "SDR main image for display (JPEG)" (823) as image data to be used for reproduction. In S984, system control unit 50 determines "SDR MPF image for display (JPEG)" (822) as image data to be used for reproduction. In S985, system control unit 50 determines the "SDR THM image for display (JPEG)" (821) as image data to be used for reproduction.

図９Ｈは、ＳＤＲ現像静止画像から再生に使用する画像データを選択するフローである。 FIG. 9H is a flow for selecting image data to be used for reproduction from the SDR-developed still image.

Ｓ９９１にて、システム制御部５０は、インデックス再生か、通常の再生かを判定する。システム制御部５０は、インデックス再生と判定した場合は処理をＳ９９２に、通常再生と判定した場合は処理をＳ９９３に進める。 In S991, the system control unit 50 determines index reproduction or normal reproduction. The system control unit 50 advances the process to S992 if index reproduction is determined, and advances the process to S993 if normal reproduction is determined.

Ｓ９９２にて、システム制御部５０は、インデックス再生の再生画像枚数によって、使用する画像データを判定する。実施形態では、枚数の閾値として３６枚とする。システム制御部５０は、再生する画像が３６枚以上と判定した場合は処理をＳ９９５に、３６枚未満であると判定した場合は処理をＳ９９４に進める。 In S992, system control unit 50 determines image data to be used based on the number of images to be reproduced in index reproduction. In the embodiment, the threshold for the number of sheets is set to 36 sheets. If the system control unit 50 determines that the number of images to be reproduced is 36 or more, the process proceeds to S995, and if it determines that the number is less than 36, the process proceeds to S994.

Ｓ９９３にて、システム制御部５０は、「ＳＤＲ 本画像（ＪＰＥＧ）」（不図示）を再生に使用する画像データとして決定する。Ｓ９９４にて、システム制御部５０は、「ＳＤＲ ＭＰＦ画像（ＪＰＥＧ）」（不図示）を再生に使用する画像データとして決定する。Ｓ９９５にて、システム制御部５０は、「ＳＤＲ ＴＨＭ画像（ＪＰＥＧ）」（不図示）を再生に使用する画像データとして決定する。 In S993, system control unit 50 determines "SDR original image (JPEG)" (not shown) as image data to be used for reproduction. In S994, system control unit 50 determines "SDR MPF image (JPEG)" (not shown) as image data to be used for reproduction. At S995, system control unit 50 determines "SDR THM image (JPEG)" (not shown) as image data to be used for reproduction.

図１０Ａは、外部機器３００を使用した再生モード処理の詳細を示すフローチャートである。この処理は、不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２に展開してシステム制御部５０が実行することで実現する。 FIG. 10A is a flowchart showing details of playback mode processing using the external device 300. FIG. This process is realized by loading the program recorded in the nonvolatile memory 56 into the system memory 52 and executing it by the system control unit 50 .

Ｓ１００１にて、システム制御部５０は、外部機器３００がデジタルカメラ１００に接続されているか否かを判定する。システム制御部５０は、外部機器３００が接続されていると判定した場合は処理をＳ１００２に、接続されていないと判定した場合は処理をＳ１００５に進める。 In S<b>1001 , system control unit 50 determines whether or not external device 300 is connected to digital camera 100 . If the system control unit 50 determines that the external device 300 is connected, the process proceeds to S1002, and if it determines that the external device 300 is not connected, the process proceeds to S1005.

Ｓ１００２にて、システム制御部５０は、再生時ＨＤＲ設定が有効かどうかを判定する。再生設定としては、「ＨＤＲ再生する」、「ＨＤＲ再生しない」、「撮影モード連動」が選択可能である。「ＨＤＲ再生する」を設定している場合は、再生する画像がＨＤＲ画像かＳＤＲ画像かに関係なく、外部機器３００がＨＤＲに対応していれば、ＨＤＲ出力するモードであり、「ＨＤＲ再生しない」はＳＤＲ出力するモードとなる。「撮影モード連動」は再生時の出力を撮影モードに連動させるモードである。すなわち、「ＨＤＲ撮影」が「する」に設定されているＨＤＲ撮影モードの場合は、再生時もＨＤＲ出力し、「ＨＤＲ撮影」が「しない」に設定されているＳＤＲ撮影モードの場合は再生時もＳＤＲ出力するモードである。なお、デフォルトは「撮影モード連動」に設定されており、ユーザが撮影モードを変更しても再生設定は「撮影モード連動」のまま維持される。ユーザが再生設定を「撮影モード連動」から「ＨＤＲ再生する」又は「ＨＤＲ再生しない」へ変更した場合だけ、その連動が切れる。また、「ＨＤＲ再生する」及び「ＨＤＲ再生しない」の代わりに「ＨＥＩＦ（再生）」及び「ＪＰＥＧ（再生）」等のファイルフォーマットを選択肢としてもよい。なお、同様に、「ＨＤＲ撮影する」及び「ＨＤＲ撮影しない」の代わりに「ＨＥＩＦ（撮影）」及び「ＪＰＥＧ（撮影）」等のファイルフォーマットを選択肢としてもよい。 In S1002, system control unit 50 determines whether the HDR setting during playback is valid. As the playback setting, "HDR playback", "no HDR playback", and "shooting mode interlocking" can be selected. When "HDR playback" is set, regardless of whether the image to be played back is an HDR image or an SDR image, if the external device 300 supports HDR, the HDR output mode is selected. ” is the SDR output mode. "Shooting mode interlock" is a mode in which the output during playback is linked to the shooting mode. That is, in the HDR shooting mode in which "HDR shooting" is set to "Yes", HDR is output during playback, and in the case of the SDR shooting mode in which "HDR shooting" is set to "No", HDR is output during playback. is also a mode for SDR output. Note that the default setting is “interlocked with shooting mode”, and even if the user changes the shooting mode, the playback setting remains “interlocked with shooting mode”. Only when the user changes the playback setting from "shooting mode interlocking" to "HDR playback" or "HDR playback off", the interlocking is cut off. File formats such as "HEIF (playback)" and "JPEG (playback)" may be used instead of "HDR playback" and "do not play HDR". Similarly, file formats such as "HEIF (shooting)" and "JPEG (shooting)" may be used instead of "HDR shooting" and "do not shoot HDR".

Ｓ１００２において、システム制御部５０は、「ＨＤＲ再生する」の場合は処理をＳ１００３に、「ＨＤＲ再生しない」の場合は処理をＳ１００５に進める。また、システム制御部５０は、「撮影モード連動」の場合であって、Ｓ６０６で設定した「ＨＤＲ撮影」が「する」の場合は処理をＳ１００３に進め、「しない」の場合はＳ１００５に処理を進める。 In S1002, the system control unit 50 advances the process to S1003 in the case of "HDR reproduction", and advances the process to S1005 in the case of "no HDR reproduction". In addition, in the case of "shooting mode interlocking", the system control unit 50 advances the process to S1003 if the "HDR shooting" set in S606 is "yes", and advances the process to S1005 if "does not". proceed.

Ｓ１００３にて、システム制御部５０は、外部機器３００がＨＤＲに対応したディスプレイかどうかを判定する。システム制御部５０は、ＨＤＲに対応したディスプレイであると判定した場合は処理をＳ１００４に、対応していないと判定した場合は処理をＳ１００５に進める。 In S1003, system control unit 50 determines whether external device 300 is a display compatible with HDR. If the system control unit 50 determines that the display supports HDR, the process proceeds to S1004, and if it determines that the display does not support HDR, the process proceeds to S1005.

Ｓ１００４にて、システム制御部５０は、外部機器３００にＨＤＲの信号を出力する。Ｓ１００５にて、システム制御部５０は、外部機器３００にＳＤＲの信号を出力する。 In S<b>1004 , system control unit 50 outputs an HDR signal to external device 300 . At S<b>1005 , system control unit 50 outputs an SDR signal to external device 300 .

Ｓ１００６～Ｓ１０１１は、図９ＡのＳ９０１～９０６と同じため、ここでの説明は省略する。 Since S1006 to S1011 are the same as S901 to S906 in FIG. 9A, their description is omitted here.

図１０Ｂは、外部機器３００にＨＤＲの信号を出力した場合の描画処理（Ｓ１００９）の詳細を示すフローチャートである。 FIG. 10B is a flowchart showing the details of the rendering process (S1009) when an HDR signal is output to the external device 300. FIG.

Ｓ１０２１～Ｓ１０２５、Ｓ１０２８、Ｓ１０２９は図９Ｂで説明した、Ｓ９１１～Ｓ９１５、Ｓ９２０、Ｓ９２１と同じため、ここでの説明は省略する。 S1021 to S1025, S1028, and S1029 are the same as S911 to S915, S920, and S921 described with reference to FIG. 9B, so the description is omitted here.

Ｓ１０２６にて、システム制御部５０は、再生する画像がＨＤＲ画像であるかＳＤＲ画像であるかを判定する。システム制御部５０は、再生する画像がＨＤＲ画像であると判定した場合は処理をＳ１０２８に、ＳＤＲ画像であると判定した場合は処理をＳ１０２７に進める。 In S1026, system control unit 50 determines whether the image to be reproduced is an HDR image or an SDR image. If the system control unit 50 determines that the image to be reproduced is an HDR image, the process proceeds to S1028, and if it determines that it is an SDR image, the process proceeds to S1027.

Ｓ１０２７にて、システム制御部５０は、ＳＤＲ→ＨＤＲ変換処理を行う。この後のＳ１０２８，Ｓ１０２９は、図９ＢのＳ９２０、Ｓ９２１と同じである。なお、外部機器３００にＳＤＲの信号を出力した場合の描画処理（Ｓ１００９）の詳細は、図９Ｂと同じであるため、説明を省略する。 In S1027, system control unit 50 performs SDR→HDR conversion processing. S1028 and S1029 after this are the same as S920 and S921 in FIG. 9B. The details of the rendering process (S1009) when the SDR signal is output to the external device 300 are the same as those in FIG. 9B, and thus the description is omitted.

図１１（ａ）は再生メニュー処理の詳細を示すフローチャートである。この処理は、不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２に展開してシステム制御部５０が実行することで実現する。 FIG. 11(a) is a flow chart showing the details of the reproduction menu process. This process is realized by loading the program recorded in the nonvolatile memory 56 into the system memory 52 and executing it by the system control unit 50 .

Ｓ１１０１にて、システム制御部５０は、ユーザによりＲＡＷ現像の設定項目（不図示）でＲＡＷ現像すると設定された否かを判定する。システム制御部５０は、ＲＡＷ現像しないと判定した場合は処理をＳ１１０３に、ＲＡＷ現像すると判定した場合は処理をＳ１１０２に進める。 In S1101, the system control unit 50 determines whether or not the user has set a RAW development setting item (not shown) to perform RAW development. If the system control unit 50 determines not to perform the RAW development, the process proceeds to S1103, and if it determines to perform the RAW development, the process proceeds to S1102.

Ｓ１１０３にて、システム制御部５０は、ＨＤＲファイルのＳＤＲ変換の設定項目（不図示）でＨＤＲ→ＳＤＲ変換すると設定されているか否かを判定する。システム制御部５０は、ＨＤＲ→ＳＤＲ変換しないと判定した場合は処理をＳ１１０５へ、ＨＤＲ→ＳＤＲ変換すると判定した場合は処理をＳ１１０４へ進める。 In S1103, the system control unit 50 determines whether HDR→SDR conversion is set in the setting item (not shown) for SDR conversion of the HDR file. If the system control unit 50 determines not to convert from HDR to SDR, the process proceeds to S1105, and if it determines to convert from HDR to SDR, the process proceeds to S1104.

Ｓ１１０５にて、システム制御部５０は、ファイル転送の設定項目（不図示）でファイル転送すると設定されたか否かを判定する。システム制御部５０は、ファイル転送しないと判定した場合は処理をＳ１１０７へ、ファイル転送すると判定した場合は処理をＳ１１０６へ進める。 In S1105, the system control unit 50 determines whether or not the setting item (not shown) for file transfer is set to transfer the file. If the system control unit 50 determines not to transfer the file, the process proceeds to S1107, and if it determines to transfer the file, the process proceeds to S1106.

Ｓ１１０７にて、システム制御部５０は、メニューを抜けるか否かを判定する。システム制御部５０は、メニューを抜けないと判定した場合は処理をＳ１１０１に戻し、メニューを抜けると判定した場合は、この再生メニュー処理を終了する。 At S1107, system control unit 50 determines whether or not to exit the menu. If the system control unit 50 determines that the menu should not be exited, the process returns to S1101, and if it determines that the menu should be exited, the playback menu process ends.

Ｓ１１０６にて、システム制御部５０は、ユーザ指定の画像ファイルに対して転送処理を行う。ＨＤＲ画像ファイルを転送する際は、受信先がＳＤＲ表示しかできない場合はＳ１１０４で示すＨＤＲ→ＳＤＲ変換をカメラ内で実施してからＳＤＲ画像ファイルとして転送してもよい。 In S1106, the system control unit 50 performs transfer processing on the image file specified by the user. When transferring an HDR image file, if the recipient is only capable of SDR display, the conversion from HDR to SDR shown in S1104 may be performed within the camera before being transferred as an SDR image file.

Ｓ１１０２にて、システム制御部５０は、ユーザ指定のＲＡＷ画像ファイルに対してＲＡＷ現像を行う。このＲＡＷ現像処理の詳細を、図１１（ｂ）のブロック図を参照して以下に説明する。なお、図１１（ｂ）に示す各処理部は、画像処理部２４に含まれるものとするが、システム制御部５０が実行するプログラムで実現させても構わない。 In S1102, the system control unit 50 performs RAW development on the RAW image file specified by the user. Details of this RAW development processing will be described below with reference to the block diagram of FIG. Each processing unit shown in FIG. 11B is assumed to be included in the image processing unit 24, but may be realized by a program executed by the system control unit 50. FIG.

記録媒体２００に記録されている撮影されたＲＡＷ画像１１０１をシステム制御部５０が読み出し画像処理部２４でＲＡＷ現像処理を行わせる。ＲＡＷ画像はベイヤ配列の画素の集合であるので、１つの画素は単一の色成分の強度データしか有さない。尚、ＲＡＷ画像はＳＤＲ撮影されたときのＲＡＷ（ＳＤＲ）とＨＤＲ撮影されたときのＲＡＷ（ＨＤＲ）が存在する。また、現像時にＲＡＷ（ＳＤＲ）をそのままＳＤＲ現像する場合と、ＨＤＲ現像する場合も有り得る。反対にＲＡＷ（ＨＤＲ）をＨＤＲ現像する場合と、ＳＤＲ現像する場合もある。ホワイトバランス部１１０２では、白を白くする処理がなされる。ＲＡＷ（ＨＤＲ）をＨＤＲ現像の場合は、ファイルに記録されているＨＤＲ現像メタであるＨＤＲ用のホワイトバランス係数を用いてホワイトバランス処理を実施する。逆に、ＳＤＲ現像する場合は、ファイルに格納されている検出メタである白サーチ枠内判定結果からＳＤＲ用のホワイトバランス係数を生成して、ホワイトバランス処理を実施する。もちろんＲＡＷにＨＤＲ用、ＳＤＲ用の両方のホワイトバランス係数が記録されている場合は適宜必要な方を用いればよい。 The system control unit 50 reads the photographed RAW image 1101 recorded on the recording medium 200 and causes the image processing unit 24 to perform RAW development processing. Since a RAW image is a set of pixels in a Bayer array, one pixel has only intensity data of a single color component. RAW images include RAW (SDR) for SDR shooting and RAW (HDR) for HDR shooting. In addition, RAW (SDR) may be SDR-developed as it is, or may be HDR-developed. Conversely, RAW (HDR) may be HDR-developed or SDR-developed. A white balance unit 1102 performs processing to whiten white. When RAW (HDR) is subjected to HDR development, white balance processing is performed using a white balance coefficient for HDR, which is the HDR development meta recorded in the file. Conversely, in the case of SDR development, a white balance coefficient for SDR is generated from the white search frame determination result, which is detection metadata stored in the file, and white balance processing is performed. Of course, if both white balance coefficients for HDR and SDR are recorded in RAW, the necessary one may be used as appropriate.

色補間部１１０３は、ノイズリダクションや色モザイク画像を補間することによって、全ての画素において、１画素が３成分（例えばＲ、Ｇ、Ｂの色情報）を持つカラー画像を生成する。生成されたカラー画像は、マトリクス変換部１１０４およびガンマ変換部１１０５を経て基本的なカラー画像が生成される。その後、色輝度調整部１１０６が、画像の見栄えを改善するための処理をカラー画像に対し行う。例えば、夕景検出して彩度強調といった画像補正がシーンに応じて行われる。階調補正も同様に実施するが、ＲＡＷ（ＨＤＲ）をＨＤＲ現像する場合は、ファイルに格納されているＨＤＲ現像メタであるＨＤＲ用の階調補正量を用いて階調補正を実施する。逆にＳＤＲ現像する場合は、ファイルに記録されている検出メタである顔検出結果、ヒストグラムを用いてＳＤＲ用の階調補正量を算出し階調補正を実施する。もちろんＲＡＷにＨＤＲ用、ＳＤＲ用の両方の階調補正量が記録されている場合は適宜必要な方を用いればよい。 A color interpolation unit 1103 generates a color image in which one pixel has three components (for example, R, G, and B color information) in all pixels by performing noise reduction or interpolating a color mosaic image. The generated color image passes through a matrix conversion unit 1104 and a gamma conversion unit 1105 to generate a basic color image. After that, the color brightness adjustment unit 1106 performs processing on the color image to improve the appearance of the image. For example, an evening scene is detected and image correction such as saturation enhancement is performed depending on the scene. Gradation correction is performed in the same manner, but when RAW (HDR) is subjected to HDR development, gradation correction is performed using the HDR gradation correction amount, which is the HDR development meta stored in the file. Conversely, in the case of SDR development, the gradation correction amount for SDR is calculated using the face detection result, which is the detection metadata recorded in the file, and the histogram, and gradation correction is performed. Of course, if the RAW records both the gradation correction amounts for HDR and SDR, the necessary one may be used as appropriate.

所望の色調整を行った画像に対して、圧縮部１１０７で高解像度画像をＪＰＥＧやＨＥＶＣ等の方法で圧縮し、記録部１１０８にてフラッシュメモリ等の記録媒体に記録する現像画像が生成される。尚、先述したＨＥＩＦコンテナには複数の画像を格納できるので、ＨＤＲ現像した画像の他にＳＤＲ現像した画像も含めて格納しても構わない。 A compression unit 1107 compresses a high-resolution image by a method such as JPEG or HEVC for an image subjected to desired color adjustment, and a recording unit 1108 generates a developed image to be recorded in a recording medium such as a flash memory. . Since a plurality of images can be stored in the HEIF container described above, it is possible to store not only HDR-developed images but also SDR-developed images.

Ｓ１１０４にて、システム制御部５０は、ユーザ指定のＨＤＲ画像ファイルに対してＳＤＲ変換を行う。ＨＤＲ画像はＯＥＴＦがＰＱ、色域がＢＴ．２０２０などの色空間で生成された画像であるため、ＳＤＲのγ２．２、ｓＲＧＢなどの色空間にトーンマッピングおよびガマットマッピング処理を行う必要がある。具体的な方法としては公知の技術を用いれば良いが、例えば適正露出をＳＤＲと揃えるようなトーンマッピングを行うとＳＤＲと比較して明るさを合わせた結果を得ることができる。 In S1104, the system control unit 50 performs SDR conversion on the HDR image file specified by the user. For HDR images, OETF is PQ and color gamut is BT. 2020 color space, it is necessary to perform tone mapping and gamut mapping processing in color spaces such as SDR γ2.2 and sRGB. As a specific method, a well-known technique may be used. For example, if tone mapping is performed so as to align proper exposure with SDR, it is possible to obtain a result in which brightness is matched in comparison with SDR.

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上記実施形態では、１色成分が８ビットを超える画像データの符号化にＨＥＶＣ（High Efficiency Video Coding）を採用するものとしたが、１色成分当たり８ビットを超える画像を符号化することが可能であれば、特にその種類は問わない。また、上記実施形態ではデジタルカメラに適用するものとして説明したが、撮像機能を有するコンピュータ（スマートフォンやカメラ付きノートＰＣ等）に適用しても構わず、上記実施形態に限定されるものではない。 Although preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and changes are possible within the scope of the gist. For example, in the above embodiment, HEVC (High Efficiency Video Coding) is adopted for encoding image data in which one color component exceeds 8 bits. As long as it is possible, the type is not particularly limited. In addition, although the above embodiment has been described as being applied to a digital camera, it may be applied to a computer having an imaging function (smartphone, notebook PC with a camera, etc.), and is not limited to the above embodiment.

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the embodiments described above, and various modifications and variations are possible without departing from the spirit and scope of the invention. Accordingly, the claims are appended to make public the scope of the invention.

１００…デジタルカメラ、１５０…レンズユニット、３００…外部機器、５０…システム制御部、７０…操作部、２００…記録媒体 DESCRIPTION OF SYMBOLS 100... Digital camera, 150... Lens unit, 300... External device, 50... System control part, 70... Operation part, 200... Recording medium

Claims (12)

撮像手段と、
ダイナミックレンジを選択する選択手段と、
前記撮像手段で得たＲＡＷ画像データに対して現像処理を施す現像手段と、
前記撮像手段により取得したＲＡＷ画像データをＲＡＷ画像ファイルとして記録する際に、前記選択手段により第１のダイナミックレンジが選択された場合は、前記ＲＡＷ画像データに対して第１のダイナミックレンジ用の現像処理を前記現像手段により施した画像データを、前記ＲＡＷ画像データと共に前記ＲＡＷ画像ファイルとして記録し、前記選択手段により第２のダイナミックレンジが選択された場合は、前記ＲＡＷ画像データに対して第２のダイナミックレンジ用の現像処理を前記現像手段により施した画像データを、前記ＲＡＷ画像データと共に前記ＲＡＷ画像ファイルとして記録するように制御する制御手段と、
を有することを特徴とする撮像装置。 imaging means;
a selection means for selecting a dynamic range;
Developing means for performing development processing on the RAW image data obtained by the imaging means;
When the first dynamic range is selected by the selecting means when recording the RAW image data acquired by the imaging means as a RAW image file, development for the first dynamic range is performed on the RAW image data. The image data processed by the developing means is recorded as the RAW image file together with the RAW image data, and when the second dynamic range is selected by the selecting means, the second a control means for controlling the image data subjected to the development processing for the dynamic range of (1) by the developing means to be recorded as the RAW image file together with the RAW image data;
An imaging device characterized by comprising: 前記制御手段は、現像済みの画像データを画像ファイルとして記録する際に、前記選択手段により前記第１のダイナミックレンジが選択された場合は、前記撮像手段により取得したＲＡＷ画像データに対して第１のダイナミックレンジ用の現像処理を前記現像手段により施した画像データを第１の形式の画像ファイルとして記録し、前記選択手段により前記第２のダイナミックレンジが選択された場合は、前記ＲＡＷ画像データに対して第２のダイナミックレンジ用の現像処理を前記現像手段により施した画像データを第２の形式の画像ファイルとして記録するように制御することを特徴とする請求項１に記載の撮像装置。 When the first dynamic range is selected by the selecting means when recording developed image data as an image file, the control means controls the first dynamic range for the RAW image data acquired by the imaging means. is recorded as an image file in the first format, and when the second dynamic range is selected by the selection means, the RAW image data is 2. The imaging apparatus according to claim 1, wherein control is performed such that image data subjected to development processing for a second dynamic range by said developing means is recorded as an image file of the second format. 前記制御手段は、前記選択手段により前記第１のダイナミックレンジが選択された場合は、前記現像手段により施した画像データをＪＰＥＧファイルとして記録し、前記選択手段により前記第２のダイナミックレンジが選択された場合は、前記現像手段により施した画像データをＨＥＩＦファイルとして記録するように制御することを特徴とする請求項２に記載の撮像装置。 The control means records the image data applied by the developing means as a JPEG file when the first dynamic range is selected by the selection means, and the second dynamic range is selected by the selection means. 3. The image pickup apparatus according to claim 2, wherein the image data processed by said developing means is recorded as a HEIF file. 前記現像手段により現像処理が施された画像データを符号化する符号化手段を有し、
前記第１のダイナミックレンジ用の現像処理を施した画像データと、前記第２のダイナミックレンジ用の現像処理を施した画像データとで、異なる符号化形式で符号化することを特徴とする請求項２または３に記載の撮像装置。 encoding means for encoding image data developed by the developing means;
3. The image data subjected to the development processing for the first dynamic range and the image data subjected to the development processing for the second dynamic range are encoded in different encoding formats. 4. The imaging device according to 2 or 3. 前記第１のダイナミックレンジ用の現像処理を施した画像データはＪＰＥＧ形式で符号化し、前記第２のダイナミックレンジ用の現像処理を施した画像データはＨＥＶＣ形式で符号化することを特徴とする請求項４に記載の撮像装置。 The image data that has undergone development processing for the first dynamic range is encoded in JPEG format, and the image data that has undergone development processing for the second dynamic range is encoded in HEVC format. Item 5. The imaging device according to item 4. 前記第２のダイナミックレンジは前記第１のダイナミックレンジよりも広いダイナミックレンジであることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。 6. The imaging apparatus according to any one of claims 1 to 5, wherein the second dynamic range is a wider dynamic range than the first dynamic range. 前記第１のダイナミックレンジはＳＤＲ、前記第２のダイナミックレンジはＨＤＲであることを特徴とする請求項６に記載の撮像装置。 7. The imaging apparatus according to claim 6, wherein the first dynamic range is SDR and the second dynamic range is HDR. 前記現像手段は、前記第１のダイナミックレンジが選択された場合は、前記現像手段により１色成分が８ビットの画像データが生成されるように現像処理を施し、前記第２のダイナミックレンジが選択された場合は、前記現像手段により１色成分が８ビット超える画像データが生成されるように現像処理を施すことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。 When the first dynamic range is selected, the developing means performs development processing so that the developing means generates 8-bit image data for one color component, and the second dynamic range is selected. 8. The imaging apparatus according to any one of claims 1 to 7, characterized in that, when the image data is detected, the developing means performs development processing so that image data in which one color component exceeds 8 bits is generated. 更に、前記現像処理で得た画像データから、複数のサイズの画像データを生成する生成手段を有し、
前記撮像手段により取得したＲＡＷ画像データをＲＡＷ画像ファイルとして記録する際に、前記制御手段は、前記生成手段で生成した複数のサイズの画像データを、前記ＲＡＷ画像データと共に前記ＲＡＷ画像ファイルとして記録する
ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。 further comprising generating means for generating image data of a plurality of sizes from the image data obtained by the development process;
When recording the RAW image data acquired by the imaging means as a RAW image file, the control means records the image data of a plurality of sizes generated by the generating means as the RAW image file together with the RAW image data. 9. The imaging apparatus according to any one of claims 1 to 8, characterized by: 前記生成手段が生成する複数のサイズには、少なくとも、サムネイルのサイズ、ＲＡＷ画像データが表す画像サイズの２つが含まれることを特徴とする請求項９に記載の撮像装置。 10. The imaging apparatus according to claim 9, wherein the plurality of sizes generated by said generating means include at least two sizes of a thumbnail and an image size represented by RAW image data. 撮像手段を有する撮像装置の制御方法であって、
ダイナミックレンジを選択する選択工程と、
前記撮像手段で得たＲＡＷ画像データに対して現像処理を施す現像工程と、
前記撮像手段により取得したＲＡＷ画像データをＲＡＷ画像ファイルとして記録する際に、前記選択工程により第１のダイナミックレンジが選択された場合は、前記ＲＡＷ画像データに対して第１のダイナミックレンジ用の現像処理を前記現像工程により施した画像データを、前記ＲＡＷ画像データと共に前記ＲＡＷ画像ファイルとして記録し、前記選択工程により第２のダイナミックレンジが選択された場合は、前記ＲＡＷ画像データに対して第２のダイナミックレンジ用の現像処理を前記現像工程により施した画像データを、前記ＲＡＷ画像データと共に前記ＲＡＷ画像ファイルとして記録するように制御する制御工程と、
を有することを特徴とする撮像装置の制御方法。 A control method for an imaging device having imaging means, comprising:
a selection step of selecting a dynamic range;
a developing step of developing the RAW image data obtained by the imaging means;
When the first dynamic range is selected in the selection step when recording the RAW image data acquired by the imaging means as a RAW image file, the RAW image data is developed for the first dynamic range. The image data processed in the developing step is recorded together with the RAW image data as the RAW image file, and when the second dynamic range is selected in the selection step, the second a control step of controlling such that the image data subjected to development processing for the dynamic range of (1) in the developing step is recorded as the RAW image file together with the RAW image data;
A control method for an imaging device, comprising: 撮像手段を有するコンピュータに読み込ませ実行させることで、前記コンピュータに、
ダイナミックレンジを選択する選択工程と、
前記撮像手段で得たＲＡＷ画像データに対して現像処理を施す現像工程と、
前記撮像手段により取得したＲＡＷ画像データをＲＡＷ画像ファイルとして記録する際に、前記選択工程により第１のダイナミックレンジが選択された場合は、前記ＲＡＷ画像データに対して第１のダイナミックレンジ用の現像処理を前記現像工程により施した画像データを、前記ＲＡＷ画像データと共に前記ＲＡＷ画像ファイルとして記録し、前記選択工程により第２のダイナミックレンジが選択された場合は、前記ＲＡＷ画像データに対して第２のダイナミックレンジ用の現像処理を前記現像工程により施した画像データを、前記ＲＡＷ画像データと共に前記ＲＡＷ画像ファイルとして記録するように制御する制御工程と、
を実行させるためのプログラム。 By causing a computer having an imaging means to read and execute, the computer,
a selection step of selecting a dynamic range;
a developing step of developing the RAW image data obtained by the imaging means;
When the first dynamic range is selected in the selection step when recording the RAW image data acquired by the imaging means as a RAW image file, the RAW image data is developed for the first dynamic range. The image data processed in the developing step is recorded as the RAW image file together with the RAW image data, and when the second dynamic range is selected in the selection step, the second dynamic range is applied to the RAW image data. a control step of controlling to record the image data subjected to the development process for the dynamic range in the developing step together with the RAW image data as the RAW image file;
program to run the
JP2019036396A 2019-02-28 2019-02-28 IMAGING DEVICE, CONTROL METHOD AND PROGRAM THEREOF Active JP7185563B2 (en)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2019036396A JP7185563B2 (en) 2019-02-28 2019-02-28 IMAGING DEVICE, CONTROL METHOD AND PROGRAM THEREOF
PCT/JP2020/006201 WO2020175231A1 (en) 2019-02-28 2020-02-18 Imaging device, control method therefor, and program
DE112020001019.8T DE112020001019T5 (en) 2019-02-28 2020-02-18 Image capture device, method of controlling it, and program
CN202080016877.3A CN113491103B (en) 2019-02-28 2020-02-18 Image pickup apparatus, control method thereof, and storage medium
GB2111298.2A GB2597141B (en) 2019-02-28 2020-02-18 Image capturing apparatus, method of controlling the same, and program
CN202311008646.XA CN116962609A (en) 2019-02-28 2020-02-18 Image pickup apparatus, control method thereof, and storage medium
US17/406,449 US11871124B2 (en) 2019-02-28 2021-08-19 Image capturing apparatus, method of controlling the same, and non-transitory computer-readable storage medium
JP2022187581A JP7399247B2 (en) 2019-02-28 2022-11-24 Imaging device and its control method and program
US18/502,548 US20240080574A1 (en) 2019-02-28 2023-11-06 Image capturing apparatus, method of controlling the same, and non-transitory computer-readable storage medium
JP2023204909A JP2024015185A (en) 2019-02-28 2023-12-04 Imaging device and its control method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019036396A JP7185563B2 (en) 2019-02-28 2019-02-28 IMAGING DEVICE, CONTROL METHOD AND PROGRAM THEREOF

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022187581A Division JP7399247B2 (en) 2019-02-28 2022-11-24 Imaging device and its control method and program

Publications (2)

Publication Number Publication Date
JP2020141297A JP2020141297A (en) 2020-09-03
JP7185563B2 true JP7185563B2 (en) 2022-12-07

Family

ID=72280759

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019036396A Active JP7185563B2 (en) 2019-02-28 2019-02-28 IMAGING DEVICE, CONTROL METHOD AND PROGRAM THEREOF
JP2022187581A Active JP7399247B2 (en) 2019-02-28 2022-11-24 Imaging device and its control method and program
JP2023204909A Pending JP2024015185A (en) 2019-02-28 2023-12-04 Imaging device and its control method and program

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022187581A Active JP7399247B2 (en) 2019-02-28 2022-11-24 Imaging device and its control method and program
JP2023204909A Pending JP2024015185A (en) 2019-02-28 2023-12-04 Imaging device and its control method and program

Country Status (1)

Country Link
JP (3) JP7185563B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021261109A1 (en) * 2020-06-26 2021-12-30

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229474A (en) 2005-02-16 2006-08-31 Canon Inc Imaging apparatus and control method thereof
JP2015179909A (en) 2014-03-18 2015-10-08 キヤノン株式会社 Imaging apparatus and control method of the same

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6325841B2 (en) 2014-02-27 2018-05-16 オリンパス株式会社 Imaging apparatus, imaging method, and program
JP6233424B2 (en) 2016-01-05 2017-11-22 ソニー株式会社 Imaging system and imaging method
JP2018042198A (en) 2016-09-09 2018-03-15 オリンパス株式会社 Imaging apparatus and imaging method
JP2018107664A (en) 2016-12-27 2018-07-05 キヤノン株式会社 Image processing device, image processing method, imaging apparatus, and program
JP2018148353A (en) 2017-03-03 2018-09-20 オリンパス株式会社 Imaging apparatus and imaging method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229474A (en) 2005-02-16 2006-08-31 Canon Inc Imaging apparatus and control method thereof
JP2015179909A (en) 2014-03-18 2015-10-08 キヤノン株式会社 Imaging apparatus and control method of the same

Also Published As

Publication number Publication date
JP2023010980A (en) 2023-01-20
JP2020141297A (en) 2020-09-03
JP2024015185A (en) 2024-02-01
JP7399247B2 (en) 2023-12-15

Similar Documents

Publication Publication Date Title
JP7263053B2 (en) IMAGING DEVICE, IMAGE PROCESSING DEVICE, CONTROL METHOD THEREOF, AND PROGRAM
JP7313893B2 (en) IMAGING DEVICE, RECORDING CONTROL METHOD AND PROGRAM
JP7365133B2 (en) Communication device, its control method, and program
JP2021124638A (en) Display control device, display control method, program and storage medium
US11050943B2 (en) Electronic apparatus
JP2024015185A (en) Imaging device and its control method and program
JP7091068B2 (en) Electronics
US11165970B2 (en) Image processing apparatus, imaging apparatus, image processing method, and non-transitory computer readable medium
CN113491103B (en) Image pickup apparatus, control method thereof, and storage medium
JP2020141334A (en) Imaging device and control method thereof, and program
JP7191649B2 (en) Electronics
JP7005340B2 (en) Electronics

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221028

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221125

R151 Written notification of patent or utility model registration

Ref document number: 7185563

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151