WO2023127674A1 - Ｒａｗ画像を生成する撮像装置、制御方法、及びプログラム - Google Patents

Ｒａｗ画像を生成する撮像装置、制御方法、及びプログラム Download PDF

Info

Publication number
WO2023127674A1
WO2023127674A1 PCT/JP2022/047272 JP2022047272W WO2023127674A1 WO 2023127674 A1 WO2023127674 A1 WO 2023127674A1 JP 2022047272 W JP2022047272 W JP 2022047272W WO 2023127674 A1 WO2023127674 A1 WO 2023127674A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
data
raw image
metadata
raw
Prior art date
Application number
PCT/JP2022/047272
Other languages
English (en)
French (fr)
Inventor
道紀 中島
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2023127674A1 publication Critical patent/WO2023127674A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals

Definitions

  • the present invention relates to an imaging device, a control method, and a program that generate RAW images.
  • Japanese National Publication of International Patent Application No. 2013-520874 describes a method of embedding metadata (watermark information) in one or more chrominance portions of video data and distributing video data containing the embedded metadata.
  • JP-T-2013-520874 there is a problem that image degradation occurs because metadata is embedded in one or more chrominance portions of video data.
  • image degradation occurs because metadata is embedded in one or more chrominance portions of video data.
  • there is a limit to the amount of metadata to be embedded because the degree of image deterioration increases when the amount of metadata to be embedded is large.
  • an object of the present invention is to enable output of image data and metadata corresponding to the image data without causing image deterioration.
  • an imaging apparatus includes: first generation means for generating a RAW image; second generation means for generating metadata corresponding to the RAW image; arranging means for arranging the metadata generated by the second generating means together with the RAW image thus obtained in an image area in a YCC 4:2:2 video format; and output means for outputting said RAW image and said metadata arranged in an image area in a video format of the same type.
  • FIG. 4 is a flowchart for explaining processing of the imaging device 100 in Embodiment 1.
  • FIG. FIG. 4 is a diagram for explaining RAW data;
  • FIG. 4 is a diagram for explaining RAW data;
  • FIG. 4 is a diagram for explaining details of RAW data;
  • FIG. 3 is a diagram for explaining a memory area for HDMI (registered trademark) output;
  • FIG. 4 is a diagram for explaining a state in which RAW data is stored in a memory area for HDMI output;
  • FIG. 4 is a diagram for explaining a state in which RAW data is stored in a memory area for HDMI output;
  • 3 is a block diagram for explaining components of the receiver 800 according to Embodiment 1.
  • FIG. 4 is a flowchart for explaining processing of the receiver 800 in Embodiment 1.
  • FIG. 4 is a flowchart for explaining processing of the receiver 800 in Embodiment 1.
  • FIG. 4 is a flowchart for explaining processing of the receiver 800 in Embodiment 1.
  • FIG. 1 is a block diagram for explaining components of an imaging device 100 according to the first embodiment.
  • the lens unit 101 is an optical system composed of a fixed lens group for condensing light, a variable power lens group, an aperture, a correction lens group, and the like.
  • the correcting lens group is a lens group that has both a function of correcting an imaging position that has moved due to the movement of the variable magnification lens group and a function of performing focus adjustment.
  • a subject image is formed by the lens unit 101 on an imaging plane of an image sensor 102, which will be described later.
  • the lens knit 101 is detachable from the imaging device 100 .
  • the image sensor 102 is an imaging device such as a CCD image sensor or a CMOS image sensor, and converts light into electric charge to generate an imaging signal.
  • An imaging signal generated by the image sensor 102 is output to the image processing unit 103, for example.
  • an imaging element all pixels on the imaging surface are each composed of a pair of light receiving elements, and a pair of optical images formed by microlenses in each pixel can be photoelectrically converted by the pair of light receiving elements, a so-called dual pixel. type may be used.
  • the image processing unit 103 converts the imaging signal output from the image sensor 102 into RAW data (RAW image).
  • the image processing unit 103 also performs RAW development processing such as interpolation processing and image quality adjustment processing on the converted RAW data to generate YCC 4:2:2 format image data corresponding to the RAW data.
  • the RAW data of the present embodiment is image data before YCC 4:2:2 format image data is converted.
  • the RAW data (RAW image) obtained by the image processing unit 103 and the YCC 4:2:2 format image data are stored in the RAM 111 .
  • RAW data is an example of first image data
  • YCC 4:2:2 format image data is an example of second image data.
  • the display resizing unit 104 performs resizing processing on the image data stored in the RAM 111 to generate resized image data.
  • the display resizing unit 104 stores the generated resized image data in the RAM 111 .
  • the recording resizing unit 105 performs resizing processing on the image data stored in the RAM 111 to create recording image data.
  • the resizing unit for recording 105 stores the generated image data for recording in the RAM 111 .
  • the on-screen display (OSD) generation unit 106 generates OSD data related to the on-screen display (OSD).
  • OSD generator 106 stores the generated OSD data in RAM 111 .
  • the OSD data includes OSD data such as various setting menus, titles, and time.
  • the OSD data stored in the RAM 111 is synthesized with the display image data stored in the RAM 111 and displayed on the display unit 107 or output from the external output unit 115 to the outside.
  • the display unit 107 is a display member for displaying display image data and OSD.
  • the display unit 107 is, for example, a liquid crystal panel.
  • a CPU (central processing unit) 108 controls the imaging device 100 as a whole.
  • the operation switch group 109 is an operation member for user's operation input.
  • the operation switch group 109 also includes switches for selecting any one of a camera mode for camera photography, a playback mode for playback, and a power-off mode for turning off the power.
  • a ROM (read only memory) 110 is, for example, a flash ROM, and stores programs executed by the CPU 108 and the like. A partial area of the ROM 110 is used as a backup for holding the system status.
  • a RAM (random access memory) 111 is a volatile memory used as work by the CPU 108, the image processing unit 103, the compression/decompression unit 114, and the like.
  • the memory card controller 112 records the moving image data generated by the compression/decompression unit 114 and output to the RAM 111 to the memory card 113 according to a format compatible with computers such as the FAT file system.
  • the memory card 113 is a recording medium that can be attached to and detached from the imaging device 100 and can be attached to a computer or the like in addition to the imaging device 100 .
  • the compression/decompression unit 114 encodes (for example, MPEG-compresses) the image data stored in the RAM 111 to generate moving image data and outputs it to the RAM 111 .
  • the external output unit 115 outputs the image data and the like output to the RAM 111 by the image processing unit 103 to the outside.
  • the external output unit 115 is, for example, an interface conforming to the HDMI (registered trademark) standard, the SDI standard, or the like.
  • the external output unit 115 can output image data as a standard signal such as 4K60P or 2K60P.
  • a bus 116 is a bus for exchanging data between units of the imaging apparatus 100 .
  • FIG. 2 is a flowchart for explaining the processing of the imaging device 100 according to the first embodiment. Each process in the flowchart of FIG. 2 is controlled by executing a program stored in the ROM 110 by the CPU 108 of the imaging apparatus 100 .
  • step S201 the CPU 108 determines whether or not a menu operation using the operation switch group 109 has been performed.
  • This menu operation is an operation for setting the operation of the imaging device 100. For example, an operation for setting the resolution of the video signal captured by the image sensor 102 or setting the bit rate for encoding by the compression/decompression unit 114. is. In addition, through this menu operation, settings such as the HDMI RAW mode, which will be described later, are also performed.
  • the CPU 108 stores the information set by the menu operation in the RAM 111, and proceeds to step S202. If it is determined that the menu operation has not been performed (NO in step S201), the CPU 108 proceeds to step S203.
  • step S202 the CPU 108 performs mode setting processing, and controls each component in the imaging device 100 so as to transition to the mode set in step S201.
  • step S203 the CPU 108 refers to the information held in the RAM 111 and determines whether the HDMI connection is already established.
  • HDMI connection is a state in which an HDMI connection process, which will be described later, is completed, and information on this state is held in the RAM 111 by the process in step S205. If it is determined that the HDMI connection has been established (YES in step S203), the CPU 108 proceeds to step S206. When it is determined that the HDMI connection is not completed (NO in step S203), the CPU 108 proceeds to step S204.
  • step S204 the CPU 108 controls the external output unit 115 to check whether a hot plug detection signal (HPD) according to the HDMI standard is detected and whether the signal line of the TMDS signal according to the HDMI standard is pulled up. judge.
  • HPD hot plug detection signal
  • the CPU 108 determines that HDMI connection is present, and proceeds to step S205. Otherwise (NO in step S204), CPU 108 determines that there is no HDMI connection, and terminates the process of FIG.
  • step S205 the CPU 108 performs HDMI connection processing.
  • the CPU 108 controls the external output unit 115 to acquire the EDID of the sink device HDMI-connected to the external output unit 115 .
  • the EDID is information of the sink device connected via the external output unit 115, and is composed of video format data supported by the sink device, unique data of the vendor, and the like.
  • CPU 108 stores the acquired EDID in RAM 111 .
  • step S206 the CPU 108 determines whether the imaging device 100 is in camera mode.
  • image data collected by the lens unit 101 and captured by the image sensor 102 is subjected to various signal processing, recorded on the memory card 113, displayed on the display unit 107, and output by the external output unit 115. It is a mode that outputs to
  • the imaging apparatus 100 also has a playback mode in which video data recorded in the memory card 113 is displayed on the display unit 107 and output to the external output unit 115 .
  • the CPU 108 proceeds to step S207.
  • the CPU 108 ends the processing in FIG.
  • step S207 the CPU 108 refers to the mode information held in the RAM 111, controls the image sensor 102 and the like according to the mode information, and captures RAW data (RAW image) relating to the subject image.
  • the captured RAW data is held in the RAM 111 .
  • step S208 the CPU 108 refers to the mode information held in the RAM 111 and determines whether the imaging device 100 is in HDMI RAW mode.
  • the HDMI RAW mode is a mode in which the imaging apparatus 100 outputs the RAW data captured in step S207 and subjected to ⁇ processing in step S209 to an external sink via the external output unit 115 . If the HDMI RAW mode is determined (YES in step S208), the CPU 108 proceeds to step S209. If it is determined that the HDMI RAW mode is not selected (NO in step S208), the CPU 108 proceeds to step S211.
  • step S209 the CPU 108 controls the image processing unit 103 to perform ⁇ processing on the RAW data captured in step S207.
  • step S210 the CPU 108 controls the image processing unit 103 to write the RAW data subjected to ⁇ processing in step S208 to the HDMI output memory area in the RAM 111.
  • FIG. 3A 300 indicates the entire RAW data written to the RAM 111 in step S210.
  • RAW data is composed of effective pixel area 301 data and additional pixel area 302 data.
  • the surplus pixel area 302 is an area in which several pixels are added to the upper, lower, left, and right sides of the effective pixel area 301. used. Due to such a configuration, the data written in step S210 is obtained by adding the effective pixel area and the surplus pixel area as shown in FIG. 3B.
  • data for a total of 4120 ⁇ 2176 pixels is written to the RAM 111 by adding 12 pixels in the left and right surplus pixel areas and 8 pixels in the upper and lower surplus pixel areas to the 4096 ⁇ 2160 pixels of the effective pixel area. .
  • FIG. 4 is a diagram for explaining the details of the RAW data written to the RAM 111 in step S210.
  • the RAW data is configured in a Bayer arrangement of R/Gr/Gb/B.
  • 2060 pieces (4120 pixels as pixel data) of this Bayer array are arranged in the horizontal direction as indicated by 401, and 1088 pieces (2176 pixels as pixel data) are arranged in the vertical direction as indicated by 402. It is.
  • step S211 the CPU 108 controls the image processing unit 103 to perform RAW data correction processing on the RAW data captured in step S207.
  • This RAW data correction processing includes pre-development lens correction processing (peripheral light amount correction processing, magnification chromatic aberration correction, etc.) and processing such as white balance.
  • Data used for pre-development lens correction processing is stored in advance in the ROM 110 for each lens type. Determines parameters for lens correction processing.
  • step S212 the CPU 108 controls the image processing unit 103 to perform development processing on the image data corrected in step S211.
  • This development processing includes processing such as debayer processing, ⁇ processing, and color blur correction.
  • the CPU 108 determines parameters for correction processing based on data pre-stored in the ROM 110 and the type of the lens unit 101 attached to the imaging apparatus 100 .
  • RAW data becomes YCC 4:2:2 format data by performing development processing.
  • Image data in the YCC 4:2:2 format after development processing is stored in the RAM 111 .
  • step S213 the CPU 108 controls the image processing unit 103 to perform development data correction processing such as distortion correction on the YCC 4:2:2 format data generated in step S212 and stored in the RAM 111. Also for this distortion correction, the CPU 108 determines parameters for distortion correction based on data pre-stored in the ROM 110 and the type of the lens unit 101 attached to the imaging apparatus 100 .
  • the post-development corrected data (YCC 4:2:2 format) corrected in step S 213 is stored in the RAM 111 .
  • step S214 the CPU 108 refers to the mode information held in the RAM 111 and determines whether the imaging device 100 is in HDMI RAW mode. If the HDMI RAW mode is determined (YES in step S214), the CPU 108 proceeds to step S215. If it is determined that the HDMI RAW mode is not selected (NO in step S214), the CPU 108 proceeds to step S216.
  • the CPU 108 writes metadata corresponding to the RAW data to the area after the RAW data written to the RAM 111 at step S210.
  • the metadata includes, for example, data used for correction processing of corresponding RAW data.
  • FIG. 5 is a diagram for explaining a memory area for HDMI output when 4096 ⁇ 2160 pixel YCC 4:2:2 format 12-bit video data is output as a video signal conforming to the HDMI standard.
  • this memory area 501 has an image area of 4096 pixels in the horizontal direction as indicated by 502 and 2160 pixels in the vertical direction as indicated by 503 .
  • the image data is composed of 2-pixel units (one each of Cb and Cr data for two Y data), and the size of each data is Each data of Y, Cb, Cr is 12 bits.
  • FIG. 6 As indicated by 601, Bayer data (R, Gr data in the first column, In the second column, data of Gr and B) are arranged without gaps.
  • the metadata is data used for correction processing of the corresponding RAW image, and includes ⁇ data of RAW data ( ⁇ in step S209).
  • the metadata may include parameters used for development processing and correction processing in the imaging apparatus 100 (raw data correction processing parameters in step S211, development processing parameters in step S212, development data correction processing in step S213, processing parameters).
  • 701 is 8224 x 4336 pixel RAW data with a bit depth of 10 bits.
  • the inside is configured in a Bayer arrangement of R, Gr, Gb, and B as described with reference to FIG.
  • 704 is a memory area (first frame) for HDMI output in which RAW data is arranged.
  • 707 is a memory area for HDMI output (second frame) in which RAW data is arranged.
  • step S216 the CPU 108 controls the display resizing unit 105 to resize the development-corrected data generated in step S213, and writes the resized data to the HDMI output memory area in the RAM 111.
  • the data written to the RAM 111 is the YCC 4:2:2 format data described with reference to FIG.
  • step S217 the CPU 108 controls the display resizing unit 104 to resize the development-corrected data generated in step S213, and writes the resized data to the memory area for display output in the RAM 111.
  • the data written to the RAM 111 is the YCC 4:2:2 format data described with reference to FIG.
  • step S218 the CPU 108 outputs to the display unit 107 the data for display output written in the memory area for display output in the RAM 111 in step S217. Since the display unit 107 supports display of image signals in the YCC 4:2:2 format, the image captured in step S207 is displayed.
  • step S219 the CPU 108 controls the external output unit 115 to output the HDMI output data written to the HDMI output memory area in the RAM 111 to an external device or the like as a video signal conforming to the HDMI standard.
  • the imaging device 100 is in HDMI RAW mode
  • the RAW data is written to the HDMI output memory area in step S210
  • the metadata corresponding to the RAW data is written in step S215.
  • the imaging device 100 is in HDMI RAW mode
  • a signal in which RAW data and metadata are mapped (or stored) to the image area in the YCC 4:2:2 (12-bit) video format is output.
  • the YCC 4:2:2 (12-bit) video format is a video format defined by the HDMI standard.
  • the video format may also be called a transmission format or an output format.
  • the imaging apparatus 100 is in a mode other than the HDMI RAW mode, the post-development correction data resized in step S216 is written to the HDMI output memory area. Therefore, if the imaging device 100 is in a mode other than the HDMI RAW mode, a YCC 4:2:2 format video signal is output.
  • the CPU 108 repeatedly executes the processing from step S201 onwards until it is determined in step S204 that there is no HDMI connection, or until it is determined in step S206 that the camera mode is not set.
  • FIG. 8 is a block diagram for explaining components of the receiver 800 according to the first embodiment.
  • the receiving unit 801 receives signals conforming to the HDMI standard.
  • a video signal received by the receiver 801 is input to the receiver 800 .
  • Image data received by the receiving unit 801 is stored in the RAM 808 .
  • An image processing unit 802 performs various image processing on the image data received by the receiving unit 801 .
  • the image processing unit 802 stores image data after image processing in the RAM 808 .
  • a display resizing unit 803 resizes the image data stored in the RAM 808 to generate display image data in order to output a video signal to the display unit 804 and the external output unit 809 .
  • the display resizing unit 803 stores the generated display image data in the RAM 808 .
  • a display unit 804 is a display member for displaying display image data stored in the RAM 111 .
  • the display unit 804 is, for example, a liquid crystal panel.
  • the CPU 805 controls the entire receiver 800 .
  • the operation switch group 806 is an operation member for user's operation input.
  • the ROM 807 is, for example, a flash ROM, and stores programs to be executed by the CPU 805. A partial area of the ROM 807 is used as a backup for holding the system status.
  • a RAM 808 is a volatile memory used as work by the CPU 805, the image processing unit 802, and the like.
  • An external output unit 809 outputs the image data for display output to the RAM 808 by the image processing unit 803 to the outside.
  • the external output unit 809 is, for example, an interface conforming to the HDMI standard, the SDI standard, or the like.
  • the external output unit 809 can output display image data in the form of standard signals such as 4K60P and 2K60P.
  • a bus 810 is a bus for exchanging data between units of the receiver 800 .
  • FIG. 9 is a flowchart for explaining processing of the receiver 800 according to the first embodiment. Each process in the flowchart of FIG. 9 is controlled by executing a program stored in the ROM 807 by the CPU 805 of the receiver 800 .
  • step S901 the CPU 805 controls the receiving unit 801 to receive a signal conforming to the HDMI standard.
  • the received signal is stored in RAM 808 .
  • the image data received in step S901 may be YCC image data or RAW data (RAW image) as described above.
  • RAW data RAW image
  • step S ⁇ b>902 the CPU 805 controls the image processing unit 802 to perform inverse ⁇ processing on the RAW data held in the RAM 808 .
  • the information of ⁇ applied to the RAW data may be metadata information corresponding to the RAW data described above.
  • information notified from the source device by VSIF (Vender-Specific InfoFrame) or the like indicating additional information about the video signal may be used.
  • step S903 the CPU 805 determines whether or not corresponding metadata is added to the RAW data held in the RAM 808. If it is determined that corresponding metadata is added (YES in step S903), the CPU 805 proceeds to step S904. If it is determined that the corresponding metadata is not added (NO in step S903), the CPU 805 proceeds to step S909.
  • step S ⁇ b>904 the CPU 805 controls the image processing unit 802 to perform pre-development lens correction processing (peripheral light amount correction processing, magnification chromatic aberration correction, etc.) on the RAW data held in the RAM 808 .
  • pre-development lens correction processing peripheral light amount correction processing, magnification chromatic aberration correction, etc.
  • the data used for this correction process is stored in the metadata attached to the RAW data.
  • step S905 the CPU 805 controls the image processing unit 802 to perform white balance processing on the RAW data corrected in step S904.
  • step S906 the CPU 805 controls the image processing unit 802 to perform development processing on the data corrected in step S905.
  • This development processing is Debayer or the like.
  • the RAW data is converted into YCC 4:2:2 format data.
  • step S907 the CPU 805 controls the image processing unit 802 to perform post-development lens correction processing on the data subjected to the development processing in step S906.
  • This post-development lens correction processing includes processing such as color fringing correction and distortion correction.
  • the data used for this correction process is stored in the metadata attached to the RAW data.
  • step S908 the CPU 805 controls the image processing unit 802 to perform display image processing such as ⁇ correction and LUT.
  • the CPU 805 stores the data after image processing for display in the RAM 808 as development data.
  • step S ⁇ b>909 the CPU 805 controls the image processing unit 802 to perform white balance processing on the RAW data held in the RAM 808 .
  • step S910 the CPU 805 controls the image processing unit 802 to perform development processing on the data corrected in step S909.
  • This development processing is Debayer or the like.
  • the RAW data is converted into YCC 4:2:2 format data.
  • step S911 the CPU 805 controls the image processing unit 802 to perform display image processing such as ⁇ correction and LUT.
  • the CPU 805 stores the data after image processing for display in the RAM 808 as development data.
  • the development data stored here is data that has not been subjected to correction processing such as distortion correction, since the processing described in step S904 and the processing described in step S907 have not been performed.
  • step S912 the CPU 805 controls the display resizing unit 803 to resize the development data stored in the RAM 808, and writes the resized data to the RAM 808 as data for HDMI output.
  • step S ⁇ b>913 the CPU 805 controls the display resizing unit 803 to resize the development data stored in the RAM 808 and writes the resized data to the display output memory area in the RAM 111 .
  • step S914 the CPU 805 outputs the data for display output generated in step S913 and written to the memory area for display output in the RAM 111 to the display unit 804, and ends the process.
  • the data output here is an image that has undergone lens correction processing such as distortion correction using that metadata.
  • metadata is not added to the RAW data received in step S901, it is data of an image that has not undergone lens correction processing.
  • the imaging apparatus 100 stores RAW data (RAW image) and metadata corresponding to the RAW data as an image in the YCC 4:2:2 (12-bit) video format. Map to a region. Then, the imaging device 100 outputs the image data and the metadata mapped to the image area in the YCC 4:2:2 (12-bit) video format as a video signal conforming to the HDMI standard. In this manner, a large amount of image data and metadata corresponding to the image data can be output to the outside without causing image deterioration.
  • RAW data RAW image
  • metadata corresponding to the RAW data as an image in the YCC 4:2:2 (12-bit) video format. Map to a region.
  • the imaging device 100 outputs the image data and the metadata mapped to the image area in the YCC 4:2:2 (12-bit) video format as a video signal conforming to the HDMI standard. In this manner, a large amount of image data and metadata corresponding to the image data can be output to the outside without causing image deteriorat
  • Embodiment 2 Various functions, processes, or methods described in Embodiment 1 can also be realized by a personal computer, microcomputer, CPU (Central Processing Unit), or microprocessor executing a program.
  • a personal computer, a microcomputer, a CPU (Central Processing Unit), or a microprocessor will be referred to as "computer X”.
  • program Y a program for controlling the computer X and for realizing various functions, processes, or methods described in the first embodiment.
  • Embodiment 1 Various functions, processes, or methods described in Embodiment 1 are implemented by computer X executing program Y.
  • program Y is supplied to computer X via a computer-readable storage medium.
  • a computer-readable storage medium in the second embodiment includes at least one of a hard disk device, a magnetic storage device, an optical storage device, a magneto-optical storage device, a memory card, a volatile memory, a non-volatile memory, and the like.
  • a computer-readable storage medium in the second embodiment is a non-transitory storage medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

撮像装置は、ＲＡＷ画像を生成する第１の生成手段と、前記ＲＡＷ画像に対応するメタデータを生成する第２の生成手段と、前記第１の生成手段により生成された前記ＲＡＷ画像とともに前記第２の生成手段により生成された前記メタデータを、ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置する配置手段と、前記配置手段により前記ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置された前記ＲＡＷ画像及び前記メタデータを出力する出力手段とを有する。

Description

ＲＡＷ画像を生成する撮像装置、制御方法、及びプログラム
　本発明は、ＲＡＷ画像を生成する撮像装置、制御方法、及びプログラムに関する。
　特表２０１３－５２０８７４号公報には、ビデオデータの１つ又は複数のクロミナンス部分にメタデータ（透かし情報）を埋め込み、埋め込まれたメタデータを含むビデオデータを配信する方法が記載されている。
特表２０１３－５２０８７４号公報
　しかしながら、特表２０１３－５２０８７４号公報では、ビデオデータの１つ又は複数のクロミナンス部分にメタデータを埋め込むために、画像劣化が生じてしまうという問題点があった。また、埋め込むメタデータの量が多いと画像劣化の度合が大きくなるため、埋め込むメタデータの量に制限があった。
　そこで、本発明は、画像劣化を生じさせることなく、画像データと画像データに対応したメタデータとを出力できるようにすることを目的とする。
　上記課題を解決するために、撮像装置は、ＲＡＷ画像を生成する第１の生成手段と、前記ＲＡＷ画像に対応するメタデータを生成する第２の生成手段と、前記第１の生成手段により生成された前記ＲＡＷ画像とともに前記第２の生成手段により生成された前記メタデータを、ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置する配置手段と、前記配置手段により前記ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置された前記ＲＡＷ画像及び前記メタデータを出力する出力手段とを有する。
実施形態１における撮像装置１００の構成要素を説明するためのブロック図である。 実施形態１における撮像装置１００の処理を説明するためのフローチャートである。 ＲＡＷデータを説明するための図である。 ＲＡＷデータを説明するための図である。 ＲＡＷデータの詳細を説明するための図である。 ＨＤＭＩ（登録商標）出力用のメモリ領域を説明するための図である。 ＨＤＭＩ出力用のメモリ領域にＲＡＷデータを格納した状態を説明するための図である。 ＨＤＭＩ出力用のメモリ領域にＲＡＷデータを格納した状態を説明するための図である。 実施形態１における受像機８００の構成要素を説明するためのブロック図である。 実施形態１における受像機８００の処理を説明するためのフローチャートである。
　以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。
　［実施形態１］
　図１は、実施形態１における撮像装置１００の構成要素を説明するためのブロック図である。
　レンズユニット１０１は、集光のための固定レンズ群、変倍レンズ群、絞り、及び補正レンズ群等により構成される光学系である。補正レンズ群は、変倍レンズ群の動きで移動した結像位置を補正する機能と焦点調節を行う機能とを兼ね備えたレンズ群である。レンズユニット１０１によって、後述のイメージセンサー１０２の結像面上に被写体像が結像される。レンズニット１０１は、撮像装置１００とは着脱可能となっている。
　イメージセンサー１０２は、例えばＣＣＤイメージセンサーやＣＭＯＳイメージセンサーなどの撮像素子であり、光を電荷に変換して撮像信号を生成する。イメージセンサー１０２により生成された撮像信号は、例えば画像処理部１０３へ出力される。なお、撮像素子として、撮像面上のすべての画素がそれぞれ一対の受光素子により構成され、各画素においてマイクロレンズにより形成された対の光学像を該一対の受光素子により光電変換できる、いわゆるデュアルピクセルタイプのものを用いてもよい。
　画像処理部１０３は、イメージセンサー１０２より出力された撮像信号をＲＡＷデータ（ＲＡＷ画像）に変換する。また、画像処理部１０３は、変換後のＲＡＷデータに対して補間処理及び画質調整処理等のＲＡＷ現像処理を行って、ＲＡＷデータに対応したＹＣＣ４：２：２形式の画像データを生成する。言い換えれば、本実施形態のＲＡＷデータは、ＹＣＣ４：２：２形式の画像データが変換される前の画像データである。画像処理部１０３によって得られたＲＡＷデータ（ＲＡＷ画像）及びＹＣＣ４：２：２形式の画像データは、ＲＡＭ１１１に格納される。ここで、ＲＡＷデータは第一の画像データの一例であり、ＹＣＣ４：２：２形式の画像データは第二の画像データの一例である。
　表示用リサイズ部１０４は、ＲＡＭ１１１に格納された画像データに対してリサイズ処理を行い、リサイズされた画像データを生成する。表示用リサイズ部１０４は、生成したリサイズ後の画像データをＲＡＭ１１１に格納する。
　記録用リサイズ部１０５は、ＲＡＭ１１１に格納された画像データに対して、リサイズ処理を行い、記録用画像データを作成する。記録用リサイズ部１０５は、生成した記録用画像データをＲＡＭ１１１に格納する。
　オンスクリーンディスプレイ（ＯＳＤ）生成部１０６は、オンスクリーンディスプレイ（ＯＳＤ）に係るＯＳＤデータを生成する。ＯＳＤ生成部１０６は、生成したＯＳＤデータをＲＡＭ１１１に格納する。ＯＳＤデータには、各種設定メニュー、タイトル、及び時間などのＯＳＤデータがある。ＲＡＭ１１１に格納されたＯＳＤデータは、ＲＡＭ１１１に格納された表示用画像データと合成され、表示部１０７に表示されたり、外部出力部１１５より外部に出力されたりする。
　表示部１０７は、表示用画像データやＯＳＤを表示させるための表示部材である。表示部１０７は、例えば液晶パネルである。
　ＣＰＵ（ｃｅｎｔｒａｌ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）１０８は、撮像装置１００全体を制御する。
　操作スイッチ群１０９は、ユーザが操作入力するための操作部材である。また、操作スイッチ群１０９には、カメラ撮影を行うためのカメラモードと、再生させるための再生モードと、電源をオフにするパワーオフモードとのいずれかを選択するためのスイッチも含む。
　ＲＯＭ（ｒｅａｄ　ｏｎｌｙ　ｍｅｍｏｒｙ）１１０は、例えばフラッシュＲＯＭであり、ＣＰＵ１０８が実行するプログラムなどが格納されている。また、ＲＯＭ１１０の一部領域は、バックアップ用として、システムの状態などを保持するために使用される。
　ＲＡＭ（ｒａｎｄｏｍ　Ａｃｃｅｓｓ　ｍｅｍｏｒｙ）１１１は、ＣＰＵ１０８、画像処理部１０３、及び圧縮伸張部１１４等がワークとして使用する揮発性メモリである。
　メモリカードコントローラー１１２は、圧縮伸張部１１４で生成され、ＲＡＭ１１１に出力された動画像データをＦＡＴファイルシステム等のコンピュータと互換のあるフォーマットに従って、メモリカード１１３に記録する。メモリカード１１３は、撮像装置１００と着脱可能な記録媒体であり、撮像装置１００以外にもコンピュータ等に装着することができる。
　圧縮伸張部１１４は、ＲＡＭ１１１に格納された画像データをエンコード（例えば、ＭＰＥＧ圧縮）して動画像データを生成し、ＲＡＭ１１１に出力する。
　外部出力部１１５は、画像処理部１０３がＲＡＭ１１１に出力した画像データ等を外部に出力する。外部出力部１１５は、例えば、ＨＤＭＩ（登録商標）規格又はＳＤＩ規格等に準拠したインターフェースである。外部出力部１１５は、４Ｋ６０Ｐ、２Ｋ６０Ｐ等の規格の信号で画像データを出力することができる。バス１１６は、撮像装置１００の各部の間でのデータのやり取りを行うバスである。
　次に、図２を参照して、実施形態１における撮像装置１００がＨＤＭＩ規格に準拠した映像信号によりＲＡＷデータ及びそれに対応するメタデータを出力する処理について説明する。図２は、実施形態１における撮像装置１００の処理を説明するためのフローチャートである。図２のフローチャートにおける各処理は、撮像装置１００のＣＰＵ１０８がＲＯＭ１１０に保存されているプログラムを実行することにより制御される。
　ステップＳ２０１において、ＣＰＵ１０８は、操作スイッチ群１０９を使用したメニュー操作が行われたか否かを判定する。このメニュー操作とは、撮像装置１００の動作を設定する操作であり、例えば、イメージセンサー１０２でキャプチャする映像信号の解像度を設定したり、圧縮伸張部１１４でエンコードするビットレートを設定したりする操作である。また、このメニュー操作により、後述するＨＤＭＩ　ＲＡＷモードの設定等も行われる。メニュー操作が行われたと判定した場合（ステップＳ２０１でＹＥＳ）、ＣＰＵ１０８は、メニュー操作により設定された情報をＲＡＭ１１１に格納して、ステップＳ２０２に進む。メニュー操作が行われていないと判定した場合（ステップＳ２０１でＮＯ）、ＣＰＵ１０８は、ステップＳ２０３に進む。
　ステップＳ２０２において、ＣＰＵ１０８は、モード設定処理を行い、ステップＳ２０１で設定されたモードに遷移するように、撮像装置１００内の各構成要素を制御する。
　ステップＳ２０３において、ＣＰＵ１０８は、ＲＡＭ１１１に保持されている情報を参照し、ＨＤＭＩ接続済みであるか否かを判定する。ＨＤＭＩ接続とは、後述するＨＤＭＩ接続処理が完了した状態であり、この状態の情報はステップＳ２０５での処理によりＲＡＭ１１１に保持される。ＨＤＭＩ接続済みであると判定した場合（ステップＳ２０３でＹＥＳ）、ＣＰＵ１０８は、ステップＳ２０６に進む。ＨＤＭＩ接続済みでないと判定した場合（ステップＳ２０３でＮＯ）、ＣＰＵ１０８は、ステップＳ２０４に進む。
　ステップＳ２０４において、ＣＰＵ１０８は、外部出力部１１５を制御して、ＨＤＭＩ規格でのホットプラグ検出信号（ＨＰＤ）が検出されているか、及びＨＤＭＩ規格でのＴＭＤＳ信号の信号ラインがプルアップされているかを判定する。ホットプラグ検出信号が検出され、かつＴＭＤＳ信号の信号ラインがプルアップされていると判定した場合（ステップＳ２０４でＹＥＳ）、ＣＰＵ１０８は、ＨＤＭＩ接続ありと判定し、ステップＳ２０５に進む。それ以外の場合（ステップＳ２０４でＮＯ）、ＣＰＵ１０８は、ＨＤＭＩ接続なしと判定し、図２の処理を終了する。
　ステップＳ２０５において、ＣＰＵ１０８は、ＨＤＭＩ接続処理を行う。ＨＤＭＩ接続処理では、ＣＰＵ１０８は、外部出力部１１５を制御して、外部出力部１１５にＨＤＭＩ接続されたシンク機器のＥＤＩＤを取得する。ＥＤＩＤとは、外部出力部１１５を介して接続されたシンク機器の情報であり、シンク機器が対応しているビデオフォーマットのデータ及びベンダーの独自データ等により構成されている。ＣＰＵ１０８は、取得したＥＤＩＤをＲＡＭ１１１に格納する。
　ステップＳ２０６において、ＣＰＵ１０８は、撮像装置１００がカメラモードであるか否かを判定する。カメラモードとは、レンズユニット１０１で集光しイメージセンサー１０２でキャプチャされた映像データに対して各種信号処理を行い、メモリカード１１３に記録したり、表示部１０７に表示したり、外部出力部１１５に出力したりするモードである。なお、撮像装置１００は、カメラモード以外に、メモリカード１１３に記録されている映像データを表示部１０７に表示したり、外部出力部１１５に出力したりする再生モードも有している。撮像装置１００がカメラモードであると判定した場合（ステップＳ２０６でＹＥＳ）、ＣＰＵ１０８は、ステップＳ２０７に進む。撮像装置１００がカメラモードではないと判定した場合（ステップＳ２０６でＮＯ）、ＣＰＵ１０８は、図２の処理を終了する。
　ステップＳ２０７において、ＣＰＵ１０８は、ＲＡＭ１１１に保持されたモード情報を参照し、モード情報に合わせてイメージセンサー１０２等を制御して、被写体像に係るＲＡＷデータ（ＲＡＷ画像）をキャプチャする。キャプチャしたＲＡＷデータは、ＲＡＭ１１１に保持される。
　ステップＳ２０８において、ＣＰＵ１０８は、ＲＡＭ１１１に保持されたモード情報を参照して、撮像装置１００がＨＤＭＩ　ＲＡＷモードであるか否かを判定する。ＨＤＭＩ　ＲＡＷモードとは、撮像装置１００が、ステップＳ２０７でキャプチャし、ステップＳ２０９でγ処理を施したＲＡＷデータを、外部出力部１１５を介して外部のシンクへ出力するモードである。ＨＤＭＩ　ＲＡＷモードであると判定した場合（ステップＳ２０８でＹＥＳ）、ＣＰＵ１０８は、ステップＳ２０９に進む。ＨＤＭＩ　ＲＡＷモードではないと判定した場合（ステップＳ２０８でＮＯ）、ＣＰＵ１０８は、ステップＳ２１１に進む。
　ステップＳ２０９において、ＣＰＵ１０８は、画像処理部１０３を制御して、ステップＳ２０７でキャプチャしたＲＡＷデータに対してγ処理を行う。
　ステップＳ２１０において、ＣＰＵ１０８は、画像処理部１０３を制御して、ステップＳ２０８でγ処理を行ったＲＡＷデータをＲＡＭ１１１内のＨＤＭＩ出力用のメモリ領域に書き出す。
　ここで、図３Ａ、図３Ｂ及び図４を用いて、このＲＡＭ１１１に書き出すＲＡＷデータについて説明する。図３Ａにおいて、３００は、ステップＳ２１０でＲＡＭ１１１に書き出されたＲＡＷデータの全体を示している。ＲＡＷデータは、有効画素領域（Ｅｆｆｅｃｔｉｖｅ　Ｐｉｘｅｌ　Ａｒｅａ）３０１のデータと余剰画素領域（Ａｄｄｉｔｉｏｎａｌ　Ｐｉｘｅｌ　Ａｒｅａ）３０２のデータで構成される。余剰画素領域３０２は、図３Ａに示すように、有効画素領域３０１に対して上下左右に数画素付加される領域であり、この領域の画素は有効画素領域３０１の上下左右端を現像する際に使用される。このような構成であるため、ステップＳ２１０で書き出すデータは、図３Ｂに示すように有効画素領域と余剰画素領域とを加えたものとなる。例えば、４ＫのＲＡＷデータの際は、有効画素領域の４０９６ｘ２１６０ピクセルに、左右の余剰画素領域の１２ピクセル及び上下の余剰画素領域の８ピクセルを加算した、合計４１２０ｘ２１７６ピクセル分のデータがＲＡＭ１１１に書き出される。
　図４は、ステップＳ２１０でＲＡＭ１１１に書き出すＲＡＷデータの詳細を説明するための図である。図４において、４００に示すように、ＲＡＷデータはＲ／Ｇｒ／Ｇｂ／Ｂのベイヤー配列で構成されている。４ＫのＲＡＷデータは、このベイヤー配列が４０１に示すように横方向に２０６０個（画素データとしては４１２０ピクセル）、４０２に示すように縦方向に１０８８個（画素データとしては２１７６ピクセル）配置されたものである。なお、このデータサイズは４１２０（横）ｘ２１７６（縦）ｘ１２（ビット深度）÷８（ビットからバイトへ）＝１３４４７６８０バイトである。
　図２に戻り、ステップＳ２１１において、ＣＰＵ１０８は、画像処理部１０３を制御して、ステップＳ２０７でキャプチャしたＲＡＷデータに対してＲＡＷデータ補正処理を行う。このＲＡＷデータ補正処理は、現像前レンズ補正処理（周辺光量補正処理、倍率色収差補正等）及びホワイトバランス等の処理を含む。現像前レンズ補正処理に用いるデータは、予めレンズの種別毎にＲＯＭ１１０に保持されており、ＣＰＵ１０８は、この保持されたデータと、撮像装置１００に装着されているレンズユニット１０１の種別により、現像前レンズ補正処理のパラメタを決定する。
　ステップＳ２１２において、ＣＰＵ１０８は、画像処理部１０３を制御して、ステップＳ２１１で補正処理が施された画像データに対して現像処理を行う。この現像処理は、Ｄｅｂａｙｅｒ、γ処理、及び色にじみ補正等の処理を含む。なお、色にじみ補正については、ＣＰＵ１０８は、予めＲＯＭ１１０に保持されているデータと、撮像装置１００に装着されているレンズユニット１０１の種別により、補正処理のパラメタを決定する。現像処理を行うことでＲＡＷデータがＹＣＣ４：２：２の形式のデータとなる。現像処理後のＹＣＣ４：２：２の形式の画像データは、ＲＡＭ１１１に格納される。
　ステップＳ２１３において、ＣＰＵ１０８は、画像処理部１０３を制御して、ステップＳ２１２で生成されＲＡＭ１１１に格納されたＹＣＣ４：２：２の形式のデータに対して、歪曲補正等の現像データ補正処理を行う。この歪曲補正についても、ＣＰＵ１０８は、予めＲＯＭ１１０に保持されているデータと、撮像装置１００に装着されているレンズユニット１０１の種別により、歪曲補正のパラメタを決定する。ステップＳ２１３で補正された現像補正後データ（ＹＣＣ４：２：２の形式）は、ＲＡＭ１１１に格納される。
　ステップＳ２１４において、ＣＰＵ１０８は、ＲＡＭ１１１に保持されたモード情報を参照して、撮像装置１００がＨＤＭＩ　ＲＡＷモードであるか否かを判定する。ＨＤＭＩ　ＲＡＷモードであると判定した場合（ステップＳ２１４でＹＥＳ）、ＣＰＵ１０８は、ステップＳ２１５に進む。ＨＤＭＩ　ＲＡＷモードではないと判定した場合（ステップＳ２１４でＮＯ）、ＣＰＵ１０８は、ステップＳ２１６に進む。
　ステップＳ２１５において、ＣＰＵ１０８は、ステップＳ２１０でＲＡＭ１１１に書き出したＲＡＷデータの後の領域に、そのＲＡＷデータに対応するメタデータを書き出す。メタデータは、例えば、対応するＲＡＷデータの補正処理に用いるデータを含む。
　ここで、図５～図７を参照して、ステップＳ２１０及びステップＳ２１５で生成されるＨＤＭＩ出力用のメモリ領域について説明する。
　図５は、４０９６ｘ２１６０ピクセルのＹＣＣ４：２：２形式の１２ｂｉｔの映像データを、ＨＤＭＩ規格に準拠した映像信号により出力する際のＨＤＭＩ出力用のメモリ領域を説明するための図である。図５に示すように、このメモリ領域５０１は、５０２に示すように横方向４０９６ピクセル、５０３に示すように縦方向２１６０ピクセルの画像領域を有する。そして、図５において、５０１で示すように、画像データは、２ピクセル単位（２つのＹデータに対して、Ｃｂ、Ｃｒのデータが１つずつ）で構成されており、各データのサイズは、Ｙ、Ｃｂ、Ｃｒの各データともに１２ｂｉｔである。このＨＤＭＩ出力用のメモリ領域における１ライン（横方向）のデータサイズは、４０９６（横）ｘ２（２ピクセルで４つのデータ（Ｙが２つ、Ｃｂが１つ、Ｃｒが１つ）であるので）ｘ１２（ビット深度）÷８（ビットからバイトへ）＝１２２８８バイトである。また、ＨＤＭＩ出力用のメモリ領域全体としては、データサイズは、４０９６（横）ｘ２１６０（縦）ｘ２（２ピクセルで４つのデータ）ｘ１２（ビット深度）÷８（ビットからバイトへ）＝２６５４２０８０バイトである。
　図６は、図５で説明したＨＤＭＩ出力用のメモリ領域に対して、ステップＳ２１０でＲＡＷデータを格納し、ステップＳ２１５でそれに対応するメタデータを格納した状態を説明するための図である。なお、ＲＡＷデータのサイズは、図４を参照して説明した４１２０（横）ｘ２１７６（縦）ｘ１２（ビット深度）÷８（ビットからバイトへ）＝１３４４７６８０バイトである。
　図６において、６０１に示すように、ＨＤＭＩ出力用のメモリ領域におけるＣｂ、Ｙ、Ｃｒ、Ｙの各データ列を配置する画像領域に対して、ベイヤーデータ（１列目がＲ、Ｇｒのデータ、２列目がＧｒ、Ｂのデータ）を隙間なく配置していく。ＲＡＷデータのサイズが１３４４７６８０バイトであり、ＨＤＭＩ出力用のメモリ領域における１ラインのデータサイズが１２２８８バイトである。したがって、図６において、６０２に示すように、ＨＤＭＩ出力用のメモリ領域における１０９５ライン（１３４４７６８０÷１２２８８＝１０９４．３７５）で、４１２０ｘ２１７６ピクセルでビット深度１２ビットのＲＡＷデータを格納することができる。そして、ＲＡＷデータの後の領域（ＨＤＭＩ出力用のメモリ領域における１０９６ライン～２１６０ライン）は空き領域となるので、６０３に示すように、この画像領域に１０９５ライン目までに配置されたＲＡＷデータに対応するメタデータを配置する。例えば、メタデータは、対応するＲＡＷ画像の補正処理に用いられるデータであり、ＲＡＷデータのγデータ（ステップＳ２０９でのγ）を含む。また、例えば、メタデータは、撮像装置１００での現像処理及び補正処理に用いたパラメタ（ステップＳ２１１でのＲＡＷデータ補正処理のパラメタ、ステップＳ２１２での現像処理のパラメタ、ステップＳ２１３での現像データ補正処理のパラメタ）を含む。
　図６では、ＨＤＭＩ出力用のメモリ領域にステップＳ２１０で書き出すＲＡＷデータが収まる場合を説明した。それに対して、ステップＳ２１０で書き出すＲＡＷデータがＨＤＭＩ出力用のメモリ領域に収まらない場合について図７を参照して説明する。
　図７において、７０１は８２２４ｘ４３３６ピクセルでビット深度１０ｂｉｔのＲＡＷデータである。内部は、図４を参照して説明した通り、Ｒ、Ｇｒ、Ｇｂ、Ｂのベイヤー配列で構成されている。このＲＡＷデータのデータサイズは、８２２４（横）ｘ４３３６（縦）ｘ１０（ビット深度）÷８（ビットからバイトへ）＝４４５７４０８０バイトとなる。したがって、このＲＡＷデータは、４０９６ｘ２１６０ピクセルでビット深度１２ｂｉｔに対応するメモリ領域（２６５４２０８０バイト）には収まらない。そのため、ＲＡＷデータを上下に２分割して、２フレームのＨＤＭＩ出力用のメモリ領域にＲＡＷデータを格納していく。例えば、図７において、７０２に示すように２１７６ラインまでのＲＡＷデータを第１フレームに、７０３に示すように残りのラインのＲＡＷデータを第２フレームに配置する。
　図７において、７０４はＲＡＷデータを配置したＨＤＭＩ出力用のメモリ領域（１フレーム目）である。８２２４ｘ４３３６ピクセルでビット深度１０ｂｉｔのＲＡＷデータの上半分（２１７６ライン分）のデータサイズは、８２２４（横）ｘ２１７６（縦）ｘ１０（ビット深度）÷８（ビットからバイトへ）＝２２３６９２８０バイトとなる。したがって、その上半分のＲＡＷデータは、７０５で示すように、４０９６ｘ２１６０ピクセルでビット深度１２ｂｉｔに対応するメモリ領域（画像領域）における１８２１ライン（２２３６９２８０÷１２２８８＝１８２０．４１）で格納することができる。そのため、７０６で示すように、ＨＤＭＩ出力用のメモリ領域（１フレーム目）における１８２２ライン以降に、図６で説明したメタデータが書き込まれる。
　７０７は、ＲＡＷデータを配置したＨＤＭＩ出力用のメモリ領域（２フレーム目）である。８２２４ｘ４３３６ピクセルでビット深度１０ｂｉｔのＲＡＷデータの下半分（２１６０ライン分）のデータサイズは、８２２４（横）ｘ２１６０（縦）ｘ１０（ビット深度）÷８（ビットからバイトへ）＝２２２０４８００バイトとなる。したがって、その下半分のＲＡＷデータは、７０８で示すように、４０９６ｘ２１６０ピクセルでビット深度１２ｂｉｔに対応するメモリ領域における１８０８ライン（２２２０４８００÷１２２８８＝１８０７．０３１）で格納することができる。そのため、７０９で示すように、ＨＤＭＩ出力用のメモリ領域（２フレーム目）における１８０９ライン以降に、図６で説明したメタデータが書き込まれる。このように、ＲＡＷデータがＨＤＭＩ出力用のメモリ領域に収まらない際は、ＲＡＷデータの上下分割を行い、ＨＤＭＩ出力用のメモリ領域にＲＡＷデータを配置する。
　図２に戻り、ステップＳ２１６において、ＣＰＵ１０８は、表示用リサイズ部１０５を制御して、ステップＳ２１３で生成された現像補正後データをリサイズし、ＲＡＭ１１１内のＨＤＭＩ出力用のメモリ領域に書き出す。ここで、ＲＡＭ１１１に書き出されるデータは、図５を参照して説明したＹＣＣ４：２：２形式のデータである。
　ステップＳ２１７において、ＣＰＵ１０８は、表示用リサイズ部１０４を制御して、ステップＳ２１３で生成された現像補正後データをリサイズして、ＲＡＭ１１１内の表示出力用のメモリ領域に書き出す。ここで、ＲＡＭ１１１に書き出されるデータは、図５を参照して説明したＹＣＣ４：２：２形式のデータである。
　ステップＳ２１８において、ＣＰＵ１０８は、ステップＳ２１７でＲＡＭ１１１内の表示出力用のメモリ領域に書き出した表示出力用のデータを表示部１０７に出力する。なお、表示部１０７は、ＹＣＣ４：２：２形式の画像信号の表示に対応しているため、ステップＳ２０７でキャプチャした画像が表示される。
　ステップＳ２１９において、ＣＰＵ１０８は、外部出力部１１５を制御して、ＲＡＭ１１１内のＨＤＭＩ出力用のメモリ領域に書き出したＨＤＭＩ出力用のデータを、ＨＤＭＩ規格に準拠した映像信号により外部デバイス等に出力する。ここで、撮像装置１００がＨＤＭＩ　ＲＡＷモードであるならば、ＨＤＭＩ出力用のメモリ領域には、ステップＳ２１０でＲＡＷデータが書き出され、ステップＳ２１５でそのＲＡＷデータに対応するメタデータが書き出されている。したがって、撮像装置１００がＨＤＭＩ　ＲＡＷモードであるならば、ＹＣＣ４：２：２形式（１２ビット）のビデオフォーマットにおける画像領域に対して、ＲＡＷデータとメタデータがマッピング（あるいは格納）された信号が出力される。ここで、ＹＣＣ４：２：２形式（１２ビット）のビデオフォーマットはＨＤＭＩ規格に規定されたビデオフォーマットである。なお、ビデオフォーマットは伝送フォーマットまたは出力フォーマットと言い換えてもよい。また、撮像装置１００がＨＤＭＩ　ＲＡＷモード以外であるならば、ＨＤＭＩ出力用のメモリ領域には、ステップＳ２１６でリサイズされた現像補正後データが書き出されている。したがって、撮像装置１００がＨＤＭＩ　ＲＡＷモード以外であるならば、ＹＣＣ４：２：２形式の映像信号が出力される。
　その後、ステップＳ２０４でＨＤＭＩ接続なしと判定する、もしくはステップＳ２０６でカメラモードでないと判定するまで、ＣＰＵ１０８は、ステップＳ２０１以降の処理を繰り返し実行する。
　次に、撮像装置１００から出力されたＨＤＭＩ規格に準拠した映像信号を受信して表示を行う受像機について説明する。図８は、実施形態１における受像機８００の構成要素を説明するためのブロック図である。
　受信部８０１は、ＨＤＭＩ規格に準拠した信号を受信する。受信部８０１によって受信した映像信号が受像機８００の入力となる。受信部８０１で受信した画像データは、ＲＡＭ８０８に格納される。
　画像処理部８０２は、受信部８０１で受信した画像データに対して各種画像処理を行う。画像処理部８０２は、画像処理後の画像データをＲＡＭ８０８に格納する。
　表示用リサイズ部８０３は、表示部８０４や外部出力部８０９に映像信号を出力するために、ＲＡＭ８０８に格納された画像データをリサイズして表示用画像データを生成する。表示用リサイズ部８０３は、生成した表示用画像データをＲＡＭ８０８に格納する。
　表示部８０４は、ＲＡＭ１１１に格納された表示用画像データを表示させるための表示部材である。表示部８０４は、例えば液晶パネルである。
　ＣＰＵ８０５は、受像機８００全体を制御する。
　操作スイッチ群８０６は、ユーザが操作入力するための操作部材である。
　ＲＯＭ８０７は、例えばフラッシュＲＯＭであり、ＣＰＵ８０５が実行するプログラムなどが格納されている。また、ＲＯＭ８０７の一部領域は、バックアップ用として、システムの状態などを保持するために使用される。
　ＲＡＭ８０８は、ＣＰＵ８０５及び画像処理部８０２等がワークとして使用する揮発性メモリである。
　外部出力部８０９は、画像処理部８０３がＲＡＭ８０８に出力した表示用画像データ等を外部に出力する。外部出力部８０９は、例えば、ＨＤＭＩ規格又はＳＤＩ規格等に準拠したインターフェースである。外部出力部８０９は、４Ｋ６０Ｐ、２Ｋ６０Ｐ等の規格の信号で表示用画像データを出力することができる。バス８１０は、受像機８００の各部の間でデータのやり取りを行うバスである。
　次に、図９を参照して、実施形態１における受像機８００がＨＤＭＩ規格に準拠した映像信号により画像データを受信し、画像データの現像及び表示処理を行う処理について説明する。図９は、実施形態１における受像機８００の処理を説明するためのフローチャートである。図９のフローチャートにおける各処理は、受像機８００のＣＰＵ８０５がＲＯＭ８０７に保存されているプログラムを実行することにより制御される。
　ステップＳ９０１において、ＣＰＵ８０５は、受信部８０１を制御して、ＨＤＭＩ規格に準拠した信号を受信する。ここで、受信した信号は、ＲＡＭ８０８に格納される。なお、ステップＳ９０１で受信する画像データは、ＹＣＣの画像データである場合と、前述したＲＡＷデータ（ＲＡＷ画像）である場合とがあるが、これ以降はＲＡＷデータを受信した場合について説明する。
　ステップＳ９０２において、ＣＰＵ８０５は、画像処理部８０２を制御して、ＲＡＭ８０８に保持されたＲＡＷデータに対して逆γ処理を行う。なお、ＲＡＷデータに対してかけられたγの情報は、前述したＲＡＷデータに対応するメタデータの情報であってもよい。また、映像信号に関する付加情報を示すＶＳＩＦ（Ｖｅｎｄｅｒ－Ｓｐｅｃｉｆｉｃ　ＩｎｆｏＦｒａｍｅ）等でソース機器から通知された情報であってもよい。
　ステップＳ９０３において、ＣＰＵ８０５は、ＲＡＭ８０８に保持されたＲＡＷデータに、対応するメタデータが付加されているか否かを判定する。対応するメタデータが付加されていると判定した場合（ステップＳ９０３でＹＥＳ）、ＣＰＵ８０５は、ステップＳ９０４に進む。対応するメタデータが付加されていないと判定した場合（ステップＳ９０３でＮＯ）、ＣＰＵ８０５は、ステップＳ９０９に進む。
　ステップＳ９０４において、ＣＰＵ８０５は、画像処理部８０２を制御して、ＲＡＭ８０８に保持されているＲＡＷデータに対して、現像前レンズ補正処理（周辺光量補正処理、倍率色収差補正等）を行う。この補正処理に用いるデータは、ＲＡＷデータに付加されているメタデータに格納されている。
　ステップＳ９０５において、ＣＰＵ８０５は、画像処理部８０２を制御して、ステップＳ９０４で補正処理が施されたＲＡＷデータに対してホワイトバランス処理を行う。
　ステップＳ９０６において、ＣＰＵ８０５は、画像処理部８０２を制御して、ステップＳ９０５で補正されたデータに対して現像処理を行う。この現像処理は、Ｄｅｂａｙｅｒ等である。この現像処理を行うことで、ＲＡＷデータはＹＣＣ４：２：２形式のデータに変換される。
　ステップＳ９０７において、ＣＰＵ８０５は、画像処理部８０２を制御して、ステップＳ９０６で現像処理が施されたデータに対して、現像後レンズ補正処理を行う。この現像後レンズ補正処理は、色にじみ補正や歪曲補正等の処理を含む。この補正処理に用いるデータは、ＲＡＷデータに付加されているメタデータに格納されている。
　ステップＳ９０８において、ＣＰＵ８０５は、画像処理部８０２を制御して、γ補正やＬＵＴ等の表示用画像処理を行う。ＣＰＵ８０５は、表示用画像処理後のデータを現像データとしてＲＡＭ８０８に格納する。
　ステップＳ９０９において、ＣＰＵ８０５は、画像処理部８０２を制御して、ＲＡＭ８０８に保持されているＲＡＷデータに対してホワイトバランス処理を行う。
　ステップＳ９１０において、ＣＰＵ８０５は、画像処理部８０２を制御して、ステップＳ９０９で補正されたデータに対して現像処理を行う。この現像処理は、Ｄｅｂａｙｅｒ等である。この現像処理を行うことで、ＲＡＷデータはＹＣＣ４：２：２形式のデータに変換される。
　ステップＳ９１１において、ＣＰＵ８０５は、画像処理部８０２を制御して、γ補正やＬＵＴ等の表示用画像処理を行う。ＣＰＵ８０５は、表示用画像処理後のデータを現像データとしてＲＡＭ８０８に格納する。なお、ここで格納される現像データは、ステップＳ９０４で説明した処理及びステップＳ９０７で説明した処理が行われていないため、歪曲補正等の補正処理が行われていないデータである。
　ステップＳ９１２において、ＣＰＵ８０５は、表示用リサイズ部８０３を制御して、ＲＡＭ８０８に格納された現像データをリサイズして、ＲＡＭ８０８にＨＤＭＩ出力用のデータとして書き出す。
　ステップＳ９１３において、ＣＰＵ８０５は、表示用リサイズ部８０３を制御して、ＲＡＭ８０８に格納された現像データをリサイズして、ＲＡＭ１１１内の表示出力用のメモリ領域に書き出す。
　ステップＳ９１４において、ＣＰＵ８０５は、ステップＳ９１３で生成しＲＡＭ１１１内の表示出力用のメモリ領域に書き出した表示出力用のデータを表示部８０４に出力し、処理を終了する。なお、ここで出力されるデータは、上述の通り、ステップＳ９０１で受信したＲＡＷデータにメタデータが付加されていれば、そのメタデータを用いて歪曲補正等のレンズ補正処理が施された画像のデータである。一方、ステップＳ９０１で受信したＲＡＷデータにメタデータが付加されていなければ、レンズ補正処理が施されていない画像のデータである。
　以上説明したように実施形態１によれば、撮像装置１００は、ＲＡＷデータ（ＲＡＷ画像）とともに、そのＲＡＷデータに対応するメタデータを、ＹＣＣ４：２：２形式（１２ビット）のビデオフォーマットにおける画像領域にマッピングする。そして、撮像装置１００は、ＹＣＣ４：２：２形式（１２ビット）のビデオフォーマットにおける画像領域にマッピングされた画像データとメタデータとを、ＨＤＭＩ規格に準拠した映像信号により出力する。このようにして、画像データと画像データに対応したメタデータとを、画像劣化を生じさせることなく、また大量に外部に出力することができる。
　［実施形態２］
　実施形態１で説明した様々な機能、処理または方法は、パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）またはマイクロプロセッサがプログラムを実行することによって実現することもできる。以下、実施形態２では、パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）またはマイクロプロセッサを「コンピュータＸ」と呼ぶ。また、実施形態２では、コンピュータＸを制御するためのプログラムであって、実施形態１で説明した様々な機能、処理または方法を実現するためのプログラムを「プログラムＹ」と呼ぶ。
　実施形態１で説明した様々な機能、処理または方法は、コンピュータＸがプログラムＹを実行することによって実現される。この場合において、プログラムＹは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＸに供給される。実施形態２におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、揮発性メモリ、不揮発性メモリなどの少なくとも一つを含む。実施形態２におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ－ｔｒａｎｓｉｔｏｒｙな記憶媒体である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０２１年１２月２８日提出の日本国特許出願特願２０２１－２１４７６８を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (10)

  1. 　ＲＡＷ画像を生成する第１の生成手段と、
    　前記ＲＡＷ画像に対応するメタデータを生成する第２の生成手段と、
    　前記第１の生成手段により生成された前記ＲＡＷ画像とともに前記第２の生成手段により生成された前記メタデータを、ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置する配置手段と、
    　前記配置手段により前記ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置された前記ＲＡＷ画像及び前記メタデータを出力する出力手段とを有することを特徴とする撮像装置。
  2. 　前記配置手段は、前記ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域にて、前記ＲＡＷ画像が配置されていない空き領域に前記メタデータを配置することを特徴とする請求項１に記載の撮像装置。
  3. 　前記配置手段は、前記ＲＡＷ画像が配置された後の領域に前記メタデータを配置することを特徴とする請求項１又は２に記載の撮像装置。
  4. 　前記出力手段は、前記ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置された前記ＲＡＷ画像及び前記メタデータをＨＤＭＩ規格に準拠した映像信号により出力することを特徴とする請求項１～３の何れか１項に記載の撮像装置。
  5. 　前記メタデータは、前記ＲＡＷ画像の補正処理に用いるデータを含むことを特徴とする請求項１～４の何れか１項に記載の撮像装置。
  6. 　前記配置手段は、前記第１の生成手段により生成された前記ＲＡＷ画像のデータサイズが前記ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域のサイズより大きい場合、前記ＲＡＷ画像のデータを複数に分割して、分割した前記ＲＡＷ画像とともに前記メタデータを、複数の前記ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置することを特徴とする請求項１～５の何れか１項に記載の撮像装置。
  7. 　前記配置手段は、前記第１の生成手段により生成された前記ＲＡＷ画像のデータサイズが前記ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域のサイズより大きい場合、前記ＲＡＷ画像のデータを画像における上下に２分割することを特徴とする請求項６に記載の撮像装置。
  8. 　前記出力手段は、第１のモードでは前記ＲＡＷ画像及び前記メタデータを出力し、第２のモードでは前記ＲＡＷ画像を現像処理した現像データを出力することを特徴とする請求項１～７の何れか１項に記載の撮像装置。
  9. 　ＲＡＷ画像を生成するステップと、
    　前記ＲＡＷ画像に対応するメタデータを生成するステップと、
    　生成された前記ＲＡＷ画像とともに、生成された前記メタデータを、ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置するステップと、
    　前記ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置された前記ＲＡＷ画像及び前記メタデータを出力するステップとを有することを特徴とする制御方法。
  10. 　撮像装置のコンピュータに、
    　ＲＡＷ画像を生成するステップと、
    　前記ＲＡＷ画像に対応するメタデータを生成するステップと、
    　生成された前記ＲＡＷ画像とともに、生成された前記メタデータを、ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置するステップと、
    　前記ＹＣＣ４：２：２形式のビデオフォーマットにおける画像領域に配置された前記ＲＡＷ画像及び前記メタデータを出力するステップとを実行させるためのプログラム。
PCT/JP2022/047272 2021-12-28 2022-12-22 Ｒａｗ画像を生成する撮像装置、制御方法、及びプログラム WO2023127674A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021214768A JP2023098173A (ja) 2021-12-28 2021-12-28 撮像装置、制御方法、及びプログラム
JP2021-214768 2021-12-28

Publications (1)

Publication Number Publication Date
WO2023127674A1 true WO2023127674A1 (ja) 2023-07-06

Family

ID=86999074

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/047272 WO2023127674A1 (ja) 2021-12-28 2022-12-22 Ｒａｗ画像を生成する撮像装置、制御方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP2023098173A (ja)
WO (1) WO2023127674A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020141335A (ja) * 2019-02-28 2020-09-03 キヤノン株式会社 撮像装置、画像処理装置、それらの制御方法、プログラム
JP2020178292A (ja) * 2019-04-19 2020-10-29 キヤノン株式会社 撮像装置およびその制御方法、プログラム
JP2020182186A (ja) * 2019-04-26 2020-11-05 キヤノン株式会社 撮像装置及び記録制御方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020141335A (ja) * 2019-02-28 2020-09-03 キヤノン株式会社 撮像装置、画像処理装置、それらの制御方法、プログラム
JP2020178292A (ja) * 2019-04-19 2020-10-29 キヤノン株式会社 撮像装置およびその制御方法、プログラム
JP2020182186A (ja) * 2019-04-26 2020-11-05 キヤノン株式会社 撮像装置及び記録制御方法及びプログラム

Also Published As

Publication number Publication date
JP2023098173A (ja) 2023-07-10

Similar Documents

Publication Publication Date Title
JP6757157B2 (ja) 投影装置およびその制御方法
JP4378258B2 (ja) 画像補正装置およびその制御方法
JP5240194B2 (ja) 信号処理方法および信号処理装置
JP6727989B2 (ja) 画像処理装置およびその制御方法
US8063953B2 (en) Image display controlling device for displaying an image belonging to a file image group, imaging device for displaying an image belonging to a file image group, and image display method for displaying an image belonging to a file image group
JP2011049650A (ja) 画像処理装置及び画像処理方法
US20180270448A1 (en) Image processing system
JP5888855B2 (ja) 画像処理システム及びその制御方法
JP7020832B2 (ja) デジタルビデオカメラ、映像出力装置、映像出力方法、プログラム
JP2017156365A (ja) 液晶表示装置
JP5950755B2 (ja) 画像処理装置、制御方法、プログラム及び記憶媒体
WO2023127674A1 (ja) Ｒａｗ画像を生成する撮像装置、制御方法、及びプログラム
JP6210772B2 (ja) 情報処理装置、撮像装置、制御方法、及びプログラム
JP4641515B2 (ja) 画像再生装置及び画像再生方法
US10397587B2 (en) Image processing apparatus and control method thereof
JP2020071354A (ja) 投影システムおよび投影方法
JP7256663B2 (ja) 画像出力装置およびその制御方法
JP2024001606A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
US11659303B2 (en) Imaging apparatus, control method of imaging apparatus, imaging system, and storage medium
JP2019114887A (ja) 投射型画像表示装置およびその制御方法
JP5191941B2 (ja) 撮像装置、画像処理装置、画像処理方法、および、画像処理プログラム
US20210218887A1 (en) Imaging apparatus
JP7159024B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP4659716B2 (ja) ディジタル・カメラのインデックス画像表示制御装置ならびにその制御方法およびその制御プログラム
KR20080049468A (ko) 디지털 촬영장치의 제어방법 및 이 방법을 채용한 디지털촬영장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22915897

Country of ref document: EP

Kind code of ref document: A1