WO2019003850A1 - 画像処理装置及び方法 - Google Patents

画像処理装置及び方法 Download PDF

Info

Publication number
WO2019003850A1
WO2019003850A1 PCT/JP2018/021859 JP2018021859W WO2019003850A1 WO 2019003850 A1 WO2019003850 A1 WO 2019003850A1 JP 2018021859 W JP2018021859 W JP 2018021859W WO 2019003850 A1 WO2019003850 A1 WO 2019003850A1
Authority
WO
WIPO (PCT)
Prior art keywords
luminance
information
image data
output
image
Prior art date
Application number
PCT/JP2018/021859
Other languages
English (en)
French (fr)
Inventor
良輔 ▲高▼橋
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to CN201880043095.1A priority Critical patent/CN110800285B/zh
Publication of WO2019003850A1 publication Critical patent/WO2019003850A1/ja
Priority to US16/708,164 priority patent/US11252335B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Definitions

  • the present invention relates to an image processing apparatus and method.
  • the display device can perform image processing suitable for the performance of the display device and the characteristics of the video content. Also, the side that transmits the video signal can transmit an intention, such as how to display the video signal on the display device, by the added metadata.
  • HDMI High Definition Multimedia Interface
  • the maximum luminance information when the maximum luminance information is equal to or less than the displayable luminance of the display device, the luminance is displayed as the video signal.
  • the maximum luminance information exceeds the displayable luminance of the display device, uniform gain is applied to the input signal so that the luminance of the maximum luminance information becomes the displayable luminance of the display device.
  • the display is displayed with the brightness lowered.
  • image processing for example, when a plurality of images of the same main subject is displayed continuously, even if the luminance of the main subject is the same, the maximum luminance in the image is higher and lower than the displayable luminance of the display device.
  • the present invention has been made in view of the above problems, and when a plurality of images are displayed, it is possible to suppress a change in the luminance when expressing a subject with the same luminance included in the plurality of images on a display device.
  • the purpose is to
  • FIG. 1 is a conceptual diagram showing a system in an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a configuration of a processing module of the digital camera in the first embodiment.
  • FIG. 10 is a block diagram showing the arrangement of processing modules of the digital camera according to the second and fourth embodiments.
  • FIG. 7 is a view showing information included in image information in the second embodiment.
  • FIG. 10 is a block diagram showing the configuration of a processing module of a digital camera according to a third embodiment.
  • the present invention is not limited to a digital camera, but a mobile phone, a personal computer (laptop type, desktop type, tablet type, etc.), a game machine, etc. It is applicable to the apparatus which processes information.
  • FIG. 1 is a conceptual view showing a system in which the digital camera of the present embodiment is used.
  • the digital camera 1 is connected to the display 2 by a cable 3 (or wireless).
  • the captured image is stored as an image file in the digital camera 1.
  • the image file according to the present embodiment is a RAW file including information recorded at the time of shooting of the light signal acquired by the sensor of the digital camera and information at the time of shooting, and JPEG including the image information converted to the JPEG method and the information at the time of shooting Points to a file.
  • the digital camera 1 receives an instruction 40 (hereinafter referred to as reproduction instruction) for reproducing and displaying an image file stored in the digital camera 1 from the user 4 on the display 2.
  • reproduction instruction an instruction 40 for reproducing and displaying an image file stored in the digital camera 1 from the user 4 on the display 2.
  • the digital camera 1 transmits the transmission signal 10 including the image information and the metadata generated from the information of the image file to the display 2, thereby displaying the image in the digital camera 1 using the display 2. I do.
  • FIG. 2 is a block diagram showing the configuration of a processing module in the digital camera 1 of the first embodiment.
  • a processing module for example, using a CPU and a memory (not shown) in which part or all of the processing is included in the digital camera 1 Is configured.
  • a processing module a user instruction acquisition unit 101, a reproduction display control unit 102, a luminance information acquisition unit 103, a dynamic range information storage unit 104, a metadata generation unit 105, a transmission signal generation unit 106, an image file A holding unit 107 and a transmission unit 108 are included.
  • processing modules unnecessary for the description of the present embodiment are omitted.
  • the user instruction acquisition unit 101 includes, for example, a user interface such as a button or a touch panel disposed on the digital camera 1 and its processing unit for receiving an instruction from the user, and receives a reproduction instruction 40 from the user 4.
  • the reproduction instruction 40 includes an instruction as to how to display which image file among a plurality of image files.
  • the reproduction display control unit 102 When receiving the reproduction control start instruction 1010, the reproduction display control unit 102 transmits a luminance information acquisition instruction 1020 to the luminance information acquisition unit 103, and transmits a metadata generation instruction 1021 to the metadata generation unit 105. Further, it transmits a transmission signal generation instruction 1022 to the transmission signal generation unit 106.
  • the information transmitted from the reproduction display control unit 102 to each processing module includes information such as an image to be displayed and a display method.
  • the luminance information acquisition unit 103 When the luminance information acquisition unit 103 receives the luminance information acquisition instruction 1020, the luminance information acquisition unit 103 acquires dynamic range information 1040 indicating the range of luminance handled by the digital camera 1 from the dynamic range information holding unit 104 as luminance information.
  • the dynamic range of the digital camera 1 generally changes due to factors such as shooting settings, but the dynamic range information 1040 in the first embodiment is the maximum dynamic range that can be handled by the digital camera 1 of that model. I assume. As an example, it is assumed here that the dynamic range information holding unit 104 holds information of 1000% as the maximum dynamic range that can be handled by the digital camera 1. In addition, the maximum value of the dynamic range set when shooting a plurality of images to be displayed may be used.
  • the luminance information acquisition unit 103 converts the acquired dynamic range information 1040 into luminance information 1030.
  • the value of the dynamic range described in the dynamic range information 1040 is replaced with luminance to be luminance information. For example, replace 1000% with 1000 nits.
  • the metadata generation unit 105 receives the metadata generation instruction 1021 and the luminance information 1030, and generates metadata.
  • data is described as data including information of maximum luminance as metadata, but the type of metadata is not limited to this.
  • information such as color gamut, color temperature, and minimum luminance may be added to the metadata.
  • information of MaxCLL (Maximum Content Light Level) and MaxFALL (Maximum Frame Average Light Level) supported by HDMI may be added.
  • the metadata generation unit 105 converts the acquired luminance information 1030 into a format of metadata (a format defined as a metadata format), and outputs the result as metadata 1050.
  • the transmission signal generation unit 106 receives the transmission signal generation instruction 1022 and the metadata 1050 and generates a signal to be transmitted to the display 2 connected to the digital camera 1. Specifically, when the transmission signal generation instruction 1022 is received, the transmission signal generation unit 106 acquires, from the image file holding unit 107, image information 1070 necessary for generation of a signal to be transmitted.
  • the image file holding unit 107 holds, as an image file, image data having various dynamic ranges captured by the digital camera 1. Then, the transmission signal generation unit 106 converts the acquired image information 1070 into a format suitable for signal transmission.
  • the format is converted to a format corresponding to EOTF (Electro Optical Transfer Function) defined in SMPTE ST 2084.
  • the signal defined in SMPTE ST 2084 is a signal representing absolute luminance.
  • information of an image file captured by a digital camera is not stored in a data format representing absolute brightness, but is often stored in relative brightness. Therefore, in this embodiment, it is decided to assign a specific relative value (for example, 18%) in each image file to a specific absolute luminance (for example, 18 nits), and an image file having any dynamic range, Convert the format to be that assignment.
  • Image file A (maximum dynamic range: 100%)
  • -Pixel value 0 Dynamic range 0%
  • Pixel value 184 dynamic range 18%
  • Pixel value 1023 Dynamic range 100%
  • the pixel value 0 is converted to 0 nits, the pixel value 184 to 18 nits, and the pixel value 1023 (maximum value) to a signal representing 100 nits.
  • the digital camera 1 may change the dynamic range of the image file to be recorded by changing the setting.
  • the pixel value of the image file and the value of the dynamic range corresponding to the image file may be different for each image file.
  • Image file B (maximum dynamic range: 1000%) -Pixel value 0: Dynamic range 0% Pixel value 18: dynamic range 18% ⁇ Pixel value 1023: Dynamic range 1000% In this case, the pixel value 0 is converted to 0 nits, the pixel value 18 is converted to 18 nits, and the pixel value 1023 (maximum value) is converted to a signal representing 1000 nits.
  • digital cameras capable of generating image files having different dynamic ranges generally hold internally the information on the dynamic range corresponding to the pixel values of the image file for each format of the image file.
  • a conversion as described above can be performed.
  • luminance conversion For example, in an image file having a dynamic range of 100% or an image file having a dynamic range of 1000%, a relative value is a signal representing the same luminance.
  • the transmission signal generation unit 106 associates the received metadata 1050 with the image information converted into a format suitable for transmission, and transmits it to the transmission unit 108 as a transmission signal 1060.
  • the transmission unit 108 includes a terminal of a standard such as HDMI and its control unit, and transmits the transmission signal 1060 sent from the transmission signal generation unit 106 to the outside of the digital camera 1.
  • the luminance value of the image information is converted and displayed so that the common maximum luminance included in the metadata becomes the luminance that can be displayed on the display 2, thereby displaying the image data to be displayed at the same luminance. It becomes possible to treat the area as the same luminance signal.
  • a second embodiment of the present invention will be described.
  • processing in the case where another external digital camera can be connected to the digital camera 1 and an image file can be received and held from the connected external digital camera will be described.
  • the image file may be acquired from another digital camera 1 via a portable recording medium.
  • determining metadata based on information of a digital camera which has generated an image file will be described.
  • FIG. 3 is a block diagram showing the configuration of a processing module in the digital camera 1 of the second embodiment.
  • a processing module in the digital camera 1 of the second embodiment.
  • the processing of the digital camera 1 in the second embodiment is different from the processing described with reference to FIG. 2 in the processing in the luminance information acquisition unit 201.
  • the same reference numerals are given and the explanation is omitted appropriately.
  • the luminance information acquisition unit 201 When the luminance information acquisition unit 201 receives the luminance information acquisition instruction 1020, the luminance information acquisition unit 201 acquires the image information 1070 of the image to be displayed from the image file storage unit 107.
  • FIG. 4 is a diagram showing an example of information included in certain image information.
  • the image information is composed of an image data portion which is data of an image and a shooting time information portion consisting of shooting time information.
  • the shooting time information includes, for example, a dynamic range determined from settings of the camera, shooting date and time, identification information of the camera used for shooting, a shooting mode (for example, a night scene mode suitable for shooting a night scene) It is information such as operation mode).
  • the luminance information acquisition unit 201 acquires identification information of a camera used for photographing from the image information 1070, and acquires dynamic range information 1040 corresponding to the identification information from the dynamic range information storage unit 104.
  • the dynamic range information holding unit 104 holds dynamic range information for each camera identification information. When there is no dynamic range information corresponding to identification information of a camera, the dynamic range information holding unit 104 provides dynamic range information of other cameras instead.
  • the luminance information acquisition unit 201 converts the acquired dynamic range information 1040 into luminance information 1030 by the same method as that of the first embodiment, and outputs the luminance information 1030 to the metadata generation unit 105.
  • the metadata generation unit 105 converts the acquired luminance information 1030 into a format of metadata, and outputs it as metadata 1050.
  • the transmission signal generation unit 106 associates the received metadata 1050 with the image information converted into a format suitable for transmission, and transmits it as a transmission signal 1060 to the transmission unit 108. .
  • metadata including common maximum luminance information is added to the image information converted into luminance values in the common dynamic range for the same image of the photographed digital camera. Do. As a result, it becomes possible to treat an area of image data to be displayed with the same luminance on the display 2 as the same luminance signal with respect to an image captured by the same digital camera.
  • FIG. 5 is a block diagram showing a configuration of a processing module in the digital camera 1 of the third embodiment, and for example, using a CPU and a memory (not shown) in which part or all of the processing is included in the digital camera 1 Is configured.
  • the processing module of the digital camera 1 according to the third embodiment includes a grouping processing unit 302 as compared with the processing module described with reference to FIG. 2, and accordingly, the reproduction display control unit 301 and luminance information acquisition Processing in the unit 303 and the transmission signal generation unit 304 is different. Other than that, it is the same as that of the first embodiment, so the same reference numerals are given and the explanation is omitted appropriately.
  • the reproduction display control unit 301 When receiving the reproduction control start instruction 1010, the reproduction display control unit 301 transmits a grouping instruction 3010 to the grouping processing unit 302, transmits a luminance information acquisition instruction 3011 to the luminance information acquisition unit 303, and the metadata generation unit 105.
  • the metadata generation instruction 1021 is sent. Further, it transmits a transmission signal generation instruction 1022 to the transmission signal generation unit 304.
  • the information transmitted from the reproduction display control unit 301 to each processing module includes information such as an image to be displayed and a display method.
  • the grouping processing unit 302 receives the grouping instruction 3010 and performs grouping of image files.
  • the grouping referred to here is to classify image files to which the same metadata is to be added into groups according to a predetermined grouping condition.
  • the grouping conditions are, for example, that one or more pieces of information such as the shooting date and time of the image, the shooting mode, the setting of the image processing after shooting, and the shutter speed are identical or close.
  • the grouping conditions may be preset in the digital camera 1 or may be selectable by the user. When grouping is performed, grouping may be performed in consideration of the order of display.
  • FIG. 6A shows an example of an image file held by the image file holding unit 107. Note that display is performed in ascending order from the image of the image file picture 001, and it is assumed that both the shooting date and time and the shooting mode are the same as grouping conditions.
  • FIG. 6B is an example of grouping based on grouping conditions only.
  • the image files picture001, picture002, picture004, and picture005 are group 1, and only the image file picture003 is group 2.
  • FIG. 6C is an example in which grouping is performed in consideration of the order of display (display order). From the image file picture001 to be displayed first, image files having the same grouping condition are grouped in ascending order. Since the image files picture001 to picture002 satisfy the grouping condition, they are the same group (group 1). The image file picture 003 is grouped as another group, but the next image file picture 004 does not satisfy the grouping condition with the image file picture 003. Therefore, the image file picture003 is a group (group 2) of a single image file. Similarly, since the remaining image files picture 004 and picture 005 satisfy the grouping condition, they are the same group (group 3).
  • grouping in consideration of the order in which display is performed is different if images included in a certain group are not displayed continuously, because human beings are less likely to feel the harmful effects due to changes in image processing. It is because there is little bad effect by giving metadata.
  • the smaller the number of image files included in the group is, it is possible to set the maximum brightness more suitable for the image, and the possibility of being able to display in the dynamic range suitable for the image is increased.
  • the grouping processing unit 302 outputs, as grouping information 3020, information in which the image file is grouped by the method as described above to the luminance information acquisition unit 303 and the transmission signal generation unit 304.
  • FIG. 7 shows an example of the grouping information 3020. As shown in FIG.
  • the luminance information acquisition unit 303 acquires luminance information for each group described in the grouping information 3020.
  • the largest dynamic range is acquired among the dynamic ranges possessed by the image files belonging to each group, and this is replaced with the luminance to be the maximum luminance information of the group. For example, if the maximum dynamic range in a group is 1000%, the maximum luminance information of the group is 1000 nits.
  • the maximum luminance information of group 1 is 200 nits
  • the maximum luminance information of group 2 is 300 nits
  • the luminance information of group 3 is 400 nits.
  • the maximum luminance information of the group is acquired from the largest dynamic range of the dynamic range possessed by the image file belonging to each group, but the method of acquiring the luminance information is not limited thereto.
  • a table in which luminance information corresponding to each information (for example, imaging mode) included in the imaging information of the image is stored, and using it, maximum luminance information is acquired from the imaging information of the image file of each group May be
  • the transmission signal generation unit 304 receives the transmission signal generation instruction 1022 and the metadata 1050 and generates a signal to be transmitted to the display 2 connected to the digital camera 1. Specifically, when the transmission signal generation unit 304 receives the transmission signal generation instruction 1022, the transmission signal generation unit 304 acquires, from the image file holding unit 107, the image information 1070 necessary for generation of the signal to be transmitted, and performs grouping processing of the grouping information 3020 Acquired from the unit 302. Then, the transmission signal generation unit 106 performs luminance conversion of the acquired image information 1070 according to the method described in the first embodiment, and further converts the image information 1070 into a format suitable for signal transmission.
  • the format suitable for transmission is converted into a format corresponding to the EOTF defined in SMPTE ST 2084.
  • the transmission signal generation unit 304 associates the received metadata 1050 with the image information converted into a format suitable for transmission, and transmits it to the transmission unit 108 as a transmission signal 3040.
  • images are divided into groups, and metadata including information on common maximum luminance is added to image information converted to luminance values in a common dynamic range for each group.
  • the display 2 it is possible to treat an area of image data that is desired to be displayed with the same luminance for each group as the same luminance signal.
  • each processing module of the digital camera 1 in the fourth embodiment is the same as that shown in FIG. 3, but the detailed content of the processing is different. Therefore, the configuration will be described below with reference to FIG.
  • the user instruction acquisition unit 101 includes, for example, a user interface such as a button or a touch panel disposed on the digital camera 1 and its processing unit, and receives the user instruction 41 from the user.
  • the user instruction 41 includes a slide show display instruction.
  • the display 2 connected to the digital camera 1 performs slide show display in which the image file held in the digital camera 1 is switched at a time interval designated by the user and sequentially displayed. It is an instruction.
  • This slide show display instruction includes designation of an image to start display and designation of a time interval for switching display (hereinafter, switching time).
  • user instruction acquisition unit 101 When user instruction acquisition unit 101 receives a slide show display instruction from the user, user instruction acquisition unit 101 transmits reproduction control start instruction 1010 to reproduction display control unit 102.
  • the reproduction display control unit 102 When receiving the reproduction control start instruction 1010, the reproduction display control unit 102 transmits a luminance information acquisition instruction 1020 to the luminance information acquisition unit 201, and transmits a metadata generation instruction 1021 to the metadata generation unit 105. Further, it transmits a transmission signal generation instruction 1022 to the transmission signal generation unit 106.
  • the information transmitted to each processing module includes an image for starting display, information such as a switching time of display designated by the slide show instruction.
  • the luminance information acquisition unit 201 receives the luminance information acquisition instruction 1020 and acquires maximum luminance information.
  • the maximum luminance information in the fourth embodiment is configured from common luminance information common to the entire image held in the image file holding unit 107 and individual luminance information for each image.
  • common luminance information common to the entire image stored in the image file storage unit 107 is acquired, but the present invention is not limited to this.
  • common brightness information common to each digital camera may be acquired.
  • common luminance information common to the plurality of designated images may be acquired.
  • the luminance information in the fourth embodiment is generated from the information of the dynamic range. Therefore, when receiving the luminance information acquisition instruction 1020, the luminance information acquisition unit 201 first acquires the dynamic range information 1040 from the dynamic range information storage unit 104 as common dynamic range information.
  • the common dynamic range is a range of luminance that can be handled by the digital camera 1 as in the first embodiment. As an example, it is assumed here that the dynamic range information holding unit 104 holds information of 1000% as the maximum dynamic range that the digital camera 1 can handle.
  • the luminance information acquisition unit 201 acquires image information 1070 from the image file storage unit 107 in order to acquire dynamic range information for each image.
  • the image information includes an image data portion which is data of an image, and a shooting time information portion consisting of shooting time information.
  • the luminance information acquisition unit 201 sets dynamic range information included in the shooting time information part in the acquired image information 1070 as dynamic range information for each image.
  • the luminance information acquisition unit 201 converts the acquired common dynamic range information and dynamic range information for each image into common luminance information and individual luminance information.
  • the value of the dynamic range described in each piece of dynamic range information is replaced with luminance to be luminance information. For example, replace 1000% with 1000 nits.
  • the created common luminance information and the individual luminance information are combined to form luminance information 1030.
  • the metadata generation unit 105 receives the metadata generation instruction 1021 and the luminance information 1030, and generates metadata.
  • data is described as data including information of maximum luminance as metadata, but the type of metadata is not limited to this.
  • information such as color gamut, color temperature, and minimum luminance may be added to the metadata.
  • information of MaxCLL and MaxFALL supported by HDMI may be added.
  • the metadata generation unit 105 converts the acquired luminance information 1030 into a metadata format (a format defined as a metadata format), and outputs it as metadata 1050.
  • metadata 1050 includes common metadata and individual metadata.
  • the transmission signal generation unit 106 receives the transmission signal generation instruction 1022 and the metadata 1050 and generates a signal to be transmitted to the display 2 connected to the digital camera 1. Specifically, when the transmission signal generation instruction 1022 is received, the transmission signal generation unit 106 acquires, from the image file holding unit 107, image information 1070 necessary for generation of a signal to be transmitted. Then, the transmission signal generation unit 106 performs luminance conversion of the acquired image information 1070 according to the method described in the first embodiment, and further converts the image information 1070 into a format suitable for signal transmission. In the fourth embodiment, the format suitable for transmission is converted to a format corresponding to the EOTF defined in SMPTE ST 2084.
  • the transmission signal generation unit 106 combines the common metadata and the individual metadata based on the display display switching time included in the transmission signal generation instruction 1022 to generate transmission metadata.
  • the combination ratio makes the ratio of common metadata higher as the switching time is shorter, and conversely, makes the ratio of individual metadata higher as the switching time is longer.
  • the reason is that, as the time interval is shorter, the change in the image processing on the television side frequently occurs due to the change in the metadata, so the difference in the metadata between the images is reduced.
  • image processing on the television side tends to be more desirable when viewed as a single image, so when the time interval is long (if there is not much change in the image processing), each image Emphasize metadata.
  • the transmission signal generation unit 106 holds in advance a table for determining the combination ratio of the common metadata and the individual metadata according to the switching time. Then, according to the information in this table, the common metadata and the individual metadata are combined to generate transmission metadata. Then, the transmission signal generation unit 106 associates the combined metadata with the image information converted into a format suitable for transmission, and transmits the information as a transmission signal 1060 to the transmission unit 108.
  • whether or not the processing described in the first to fourth embodiments described above is performed may be set by, for example, user operation. That is, even if there is a mode in which the maximum luminance based on the dynamic range of the image is transmitted to the external device for each image, and a mode in which the maximum luminance is transmitted to the external device as in the first to fourth embodiments. Good.
  • the processing module shown in FIG. 2, FIG. 3 or FIG. 5 may be configured in an external image processing apparatus, and an image file may be obtained from the imaging apparatus.
  • an imaging system can be configured by the imaging device and the image processing device.
  • the present invention may be implemented by appropriately combining the first to fourth embodiments described above.
  • the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
  • a circuit eg, an ASIC

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

撮像装置により得られた画像データを処理する本発明の画像処理装置は、前記撮像装置により得られた画像データと、前記画像データの最大輝度を示すための情報である最大輝度情報とを、外部装置に出力する出力手段と、前記撮像装置が取り扱い可能な最大輝度を取得する取得手段と、前記最大輝度情報として、前記取得手段により取得された最大輝度を出力するよう前記出力手段を制御する制御手段と、を有する。

Description

画像処理装置及び方法
　本発明は、画像処理装置及び方法に関する。
　従来より、映像コンテンツを保持する映像信号源からテレビ等の表示装置へ映像信号を送信する技術がある。近年では、映像コンテンツを送信する際に、映像信号源から映像情報と共に、映像コンテンツに含まれる映像コンテンツの特性（例えばコンテンツ内の最大輝度の情報等）をメタデータとして表示装置へ送信する技術が一般的になってきている。
　このような技術を用いることによって、表示装置は表示装置の性能と映像コンテンツの特性に適した画像処理を行うことが可能となる。また映像信号を送信する側は、付加するメタデータによって、表示装置へ映像信号をどのように表示したいのか、といった意図を送信することが可能となる。
　このような技術として、映像コンテンツの注目すべき場所や物体の輝度情報をメタデータとして送信する技術が存在する（特許文献１参照）。
特開２０１６－３４１２５号公報
　一方、昨今のデジタルカメラには、High Definition Multimedia Interface（ＨＤＭＩ）（登録商標）等の規格に対応したケーブルを用いてテレビに接続し、デジタルカメラ内の記録メディアに記録された画像をテレビのディスプレイで表示する機能を持つものが存在する。
　ここで、上述したように輝度情報を付加する場合、画像毎に輝度の情報が異なると、画像毎に異なる最高輝度の情報を含んだメタデータをテレビへ送信することが考えられる。そのような場合は画像毎にメタデータが異なることになり、テレビは、画像毎に異なる画像処理を行う場合がある。
　メタデータに付与される最大輝度情報に応じた画像処理の一例として、最大輝度情報が表示装置の表示可能な輝度以下である場合は、映像信号通りの輝度で表示する。一方、最大輝度情報が表示装置の表示可能な輝度を超える場合は、最大輝度情報の輝度が表示装置の表示可能な輝度となるように、入力された信号に一律のゲインを適用して、全体的に輝度を落として表示する。このような画像処理では、例えば、同じ主被写体の複数の画像を連続して表示した場合、主被写体の輝度が同じでも、画像内の最大輝度が表示装置の表示可能な輝度より高い画像と低い画像が混在していると、次のような問題が発生する。すなわち、表示された主被写体の輝度が高くなったり低くなったりと変動してしまい、見にくくなってしまう。
　本発明は上記問題点を鑑みてなされたものであり、複数の画像を表示する場合に、当該複数の画像に含まれる同じ輝度の被写体を、表示装置において表現する際の輝度の変化を抑制できるようにすることを目的とする。
　上記目的を達成するために、撮像装置により得られた画像データを処理する本発明の画像処理装置は、前記撮像装置により得られた画像データと、前記画像データの最大輝度を示すための情報である最大輝度情報とを、外部装置に出力する出力手段と、前記撮像装置が取り扱い可能な最大輝度を取得する取得手段と、前記最大輝度情報として、前記取得手段により取得された最大輝度を出力するよう前記出力手段を制御する制御手段と、を有する。
　複数の画像を表示する場合に、当該複数の画像に含まれる同じ輝度の被写体を、表示装置において表現する際の輝度の変化を抑制することができる。
　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の実施形態におけるシステムを示す概念図。 第１の実施形態におけるデジタルカメラの処理モジュールの構成を示すブロック図。 第２及び第４の実施形態におけるデジタルカメラの処理モジュールの構成を示すブロック図。 第２の実施形態における画像情報に含まれる情報を示す図。 第３の実施形態におけるデジタルカメラの処理モジュールの構成を示すブロック図。 第３の実施形態におけるグループ化処理の一例を説明するための図。 第３の実施形態におけるグループ化処理の一例を説明するための図。 第３の実施形態におけるグループ化処理の一例を説明するための図。 第３の実施形態におけるグループ化情報の一例を示す図。
　以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。なお、本実施形態では情報処理装置の一例としてデジタルカメラを用いて説明を行うが、デジタルカメラに限らず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型等）、ゲーム機など、情報を処理する機器に適用可能である。
　図１は、本実施形態のデジタルカメラが使用されるシステムを示す概念図である。デジタルカメラ１は、ディスプレイ２とケーブル３（または無線）で接続される。
　デジタルカメラ１には、撮影された画像が画像ファイルとして記憶されている。ここで、本実施形態の画像ファイルとは、デジタルカメラのセンサが取得した光信号を記録した情報と撮影時情報からなるＲＡＷファイルと、ＪＰＥＧ方式へ変換された画像情報と撮影時情報からなるＪＰＥＧファイルを指す。
　図１に示すシステムにおいて、デジタルカメラ１は、ユーザ４からデジタルカメラ１内に記憶された画像ファイルをディスプレイ２で再生表示するための指示４０（以下、再生指示）を受け付ける。デジタルカメラ１は再生指示４０を受け付けると、画像ファイルの情報から生成した画像情報とメタデータからなる伝送信号１０をディスプレイ２へ送信することで、ディスプレイ２を用いてデジタルカメラ１内の画像の表示を行う。
＜第１の実施形態＞
　図２は、第１の実施形態のデジタルカメラ１における処理モジュールの構成を表したブロック図であり、例えば、処理の一部または全部がデジタルカメラ１に含まれる不図示のＣＰＵ及びメモリ等を用いて構成される。第１の実施形態では、処理モジュールとして、ユーザ指示取得部１０１、再生表示制御部１０２、輝度情報取得部１０３、ダイナミックレンジ情報保持部１０４、メタデータ生成部１０５、送信信号生成部１０６、画像ファイル保持部１０７、送信部１０８を含む。なお、図２では、本実施形態の説明に不要な処理モジュールに関しては省略している。
　ユーザ指示取得部１０１は、ユーザからの指示を受け付けるための、例えば、デジタルカメラ１に配置されたボタンやタッチパネル等のユーザインタフェースとその処理部からなり、ユーザ４からの再生指示４０を受け付ける。再生指示４０は、複数ある画像ファイルの中で、どの画像ファイルをどのように表示するかといった指示を含んでいる。ユーザ指示取得部１０１は、ユーザからの再生指示４０を受け付けると、再生表示制御部１０２へ再生制御開始指示１０１０を送信する。
　再生表示制御部１０２は、再生制御開始指示１０１０を受信すると、輝度情報取得部１０３へ輝度情報取得指示１０２０を送信し、メタデータ生成部１０５へメタデータ生成指示１０２１を送信する。また、送信信号生成部１０６へ送信信号生成指示１０２２を送信する。ここで、再生表示制御部１０２から各処理モジュールへ送信される情報は、表示対象の画像、表示の仕方等の情報を含む。
　輝度情報取得部１０３は、輝度情報取得指示１０２０を受信すると、輝度情報としてダイナミックレンジ情報保持部１０４から、デジタルカメラ１が扱う輝度の範囲を示すダイナミックレンジ情報１０４０を取得する。デジタルカメラ１のダイナミックレンジは、一般的に撮影の設定等の要因で変化するが、第１の実施形態におけるダイナミックレンジ情報１０４０は、その機種のデジタルカメラ１が扱うことが可能な最大のダイナミックレンジとする。一例として、ここではダイナミックレンジ情報保持部１０４には、デジタルカメラ１が扱うことが可能な最大のダイナミックレンジとして、１０００％という情報が保持されているものとして説明する。なお、表示対象となる複数の画像の撮影時に設定されたダイナミックレンジの最大値でもよい。
　次に、輝度情報取得部１０３は、取得したダイナミックレンジ情報１０４０を輝度情報１０３０へ変換する。第１の実施形態では、ダイナミックレンジ情報１０４０に記載されたダイナミックレンジの値を輝度へと置き換えて輝度情報とする。例えば、１０００％を１０００ｎｉｔｓに置き換える。
　メタデータ生成部１０５は、メタデータ生成指示１０２１と輝度情報１０３０を受信し、メタデータを生成する。ここで、第１の実施形態では、メタデータとして最大輝度の情報を含むデータを示して説明を行うが、メタデータの種類はこれに限定されるものではない。例えば、メタデータに、色域、色温度、最低輝度等の情報が付加されていてもよい。また例えば、ＨＤＭＩでサポートされるＭａｘＣＬＬ（Maximum Content Light Level）やＭａｘＦＡＬＬ（Maximum Frame Average Light Level）の情報が付加されていてもよい。
　メタデータ生成部１０５は、取得した輝度情報１０３０をメタデータの形式（メタデータフォーマットとして定められたフォーマット形式）へと変換し、メタデータ１０５０として出力する。
　送信信号生成部１０６は、送信信号生成指示１０２２とメタデータ１０５０を受信し、デジタルカメラ１に接続されたディスプレイ２へ送信する為の信号を生成する。具体的には、送信信号生成部１０６は、送信信号生成指示１０２２を受信すると、送信する信号の作成に必要な画像情報１０７０を画像ファイル保持部１０７から取得する。画像ファイル保持部１０７は、デジタルカメラ１によって撮影された様々なダイナミックレンジを持つ画像データが画像ファイルとして保持されている。そして送信信号生成部１０６は、取得した画像情報１０７０を信号の伝送に適した形式へと変換する。
　本実施形態では、伝送に適した形式として、ＳＭＰＴＥ　ＳＴ　２０８４に規定されたＥＯＴＦ（Electro Optical Transfer Function）に対応する形式へ変換する。ここで、ＳＭＰＴＥ　ＳＴ　２０８４に規定される信号は絶対輝度を表わす信号である。しかしながら、一般的に、デジタルカメラで撮影された画像ファイルの情報は、絶対輝度を表わすデータ形式では保存されてはおらず、相対的な明るさで保存されることが多い。そこで、本実施形態では、各画像ファイル内での特定の相対値（例えば１８％）を特定の絶対輝度（例えば１８ｎｉｔｓ）に割り当てると決め、どのようなダイナミックレンジを持つ画像ファイルであっても、その割り当てになるように形式を変換する。
　例えば、画像ファイルのビット幅が１０ｂｉｔ、最大のダイナミックレンジが１００％の画像ファイルＡがあり、ある画素値と対応するダイナミックレンジが次のようであるものとする。
＊画像ファイルＡ（最大のダイナミックレンジ：１００％）
　　　・画素値０：ダイナミックレンジ０％
　　　・画素値１８４：ダイナミックレンジ１８％
　　　・画素値１０２３：ダイナミックレンジ１００％
　この場合は、画素値０を０ｎｉｔｓ、画素値１８４を１８ｎｉｔｓ、画素値１０２３（最大値）を、１００ｎｉｔｓを表わす信号へと変換する。
　ここで、デジタルカメラ１は設定を変更することで、記録する画像ファイルのダイナミックレンジを変更可能なものがある。そのような場合は、画像ファイルの画素値と対応するダイナミックレンジの値が、画像ファイル毎に異なる場合がある。
　また、画像ファイルのビット幅が１０ｂｉｔ、最大のダイナミックレンジが１０００％の画像ファイルＢがあり、ある画素値と対応するダイナミックレンジの値が次のようであるものとする。
＊画像ファイルＢ（最大のダイナミックレンジ：１０００％）
　　　・画素値０：ダイナミックレンジ０％
　　　・画素値１８：ダイナミックレンジ１８％
　　　・画素値１０２３：ダイナミックレンジ１０００％
　この場合は、画素値０を０ｎｉｔｓ、画素値１８を１８ｎｉｔｓ、画素値１０２３（最大値）を１０００ｎｉｔｓを表わす信号へと変換する。
　このように、ダイナミックレンジが異なる画像ファイルが生成可能なデジタルカメラでは、一般的に、画像ファイルの形式毎に、画像ファイルの画素値と対応するダイナミックレンジに関する情報を内部に保持しているため、上述したような変換を行うことができる。
　このような変換（以下、「輝度変換」と呼ぶ。）を行うことで、例えばダイナミックレンジが１００％の画像ファイルでも、ダイナミックレンジが１０００％の画像ファイルでも、ある相対値は同じ輝度を表わす信号へと変換されることとなる。
　送信信号生成部１０６は、受信したメタデータ１０５０と、伝送に適した形式へと変換された画像情報とを関連付けて、送信信号１０６０として送信部１０８へ送信する。送信部１０８は、ＨＤＭＩなどの規格の端子とその制御部より構成され、送信信号生成部１０６から送られる送信信号１０６０をデジタルカメラ１の外部へ送信する。
　上記の通り第１の実施形態によれば、それぞれの画像において相対的に表現された画素値を、共通のダイナミックレンジにおける輝度値に変換した画像情報に、共通の最大輝度の情報を含むメタデータを付与する。ディスプレイ２では、メタデータに含まれる共通の最大輝度が、ディスプレイ２で表示可能な輝度となるように画像情報の輝度値を変換して表示することで、同じ輝度で表示を行いたい画像データの領域を、同一の輝度信号として扱うことが可能となる。
＜第２の実施形態＞
　次に、本発明の第２の実施形態について説明する。第２の実施形態では、デジタルカメラ１に、他の外部デジタルカメラが接続可能であって、接続した外部デジタルカメラから画像ファイルを受信、保持することができる場合の処理について説明する。なお、他のデジタルカメラ１から画像ファイルを取得する形態として可搬の記録媒体を介して取得する形態でもよい。以下、一例として、画像ファイルを生成したデジタルカメラの情報に基づいてメタデータを決定する例について説明する。
　図３は、第２の実施形態のデジタルカメラ１における処理モジュールの構成を表したブロック図であり、例えば、処理の一部または全部がデジタルカメラ１に含まれる不図示のＣＰＵ及びメモリ等を用いて構成される。第２の実施形態におけるデジタルカメラ１の処理は、図２を参照して説明した処理と比較して、輝度情報取得部２０１における処理が異なる。それ以外は、第１の実施形態と同様であるため、同じ参照番号を付して適宜説明を省略する。
　輝度情報取得部２０１は、輝度情報取得指示１０２０を受信すると、画像ファイル保持部１０７から表示対象の画像の画像情報１０７０を取得する。
　図４は、ある画像情報に含まれる情報の一例を示した図である。画像情報は、画像のデータである画像データ部と、撮影時情報からなる撮影時情報部とから構成される。ここで、撮影時情報とは、例えば、カメラの設定から決定されたダイナミックレンジ、撮影日時、撮影に使用したカメラの識別情報、撮影モード（例えば、夜景の撮影に適した夜景モード等のカメラの動作モード）等の情報である。
　輝度情報取得部２０１は、画像情報１０７０から、撮影に使用したカメラの識別情報を取得し、その識別情報に応じたダイナミックレンジ情報１０４０をダイナミックレンジ情報保持部１０４から取得する。第２の実施形態では、ダイナミックレンジ情報保持部１０４は、カメラの識別情報毎のダイナミックレンジ情報を保持しているものとする。なお、カメラの識別情報に該当するダイナミックレンジ情報が無い場合、ダイナミックレンジ情報保持部１０４は、他のカメラのダイナミックレンジ情報を代わりに提供する。
　そして、輝度情報取得部２０１は、取得したダイナミックレンジ情報１０４０を、第１の実施形態と同様の方法で輝度情報１０３０へ変換し、メタデータ生成部１０５に出力する。メタデータ生成部１０５では、取得した輝度情報１０３０をメタデータの形式へと変換し、メタデータ１０５０として出力する。
　送信信号生成部１０６では、第１の実施形態と同様に、受信したメタデータ１０５０と、伝送に適した形式へと変換された画像情報とを関連付けて、送信信号１０６０として送信部１０８へ送信する。
　上記の通り第２の実施形態によれば、撮影したデジタルカメラが同一の画像に対して、共通のダイナミックレンジにおける輝度値に変換した画像情報に、共通の最大輝度の情報を含むメタデータを付与する。これにより、ディスプレイ２において、同一のデジタルカメラで撮影を行った画像に対して、同じ輝度で表示を行いたい画像データの領域を同一の輝度信号として扱うことが可能となる。
＜第３の実施形態＞
　次に、本発明の第３の実施形態について説明する。第１の実施形態では、デジタルカメラ１内の全ての画像に共通の最大輝度の情報を含むメタデータを付加する例について説明を行った。これに対し、第３の実施形態では、画像をグループ化し、グループ毎にグループに含まれる画像に対して同じメタデータを付加する例につい説明をする。
　図５は、第３の実施形態のデジタルカメラ１における処理モジュールの構成を表したブロック図であり、例えば、処理の一部または全部がデジタルカメラ１に含まれる不図示のＣＰＵ及びメモリ等を用いて構成される。第３の実施形態におけるデジタルカメラ１の処理モジュールは、図２を参照して説明した処理モジュールと比較して、グループ化処理部３０２を含み、これに伴い、再生表示制御部３０１、輝度情報取得部３０３、送信信号生成部３０４における処理が異なる。それ以外は、第１の実施形態と同様であるため、同じ参照番号を付して適宜説明を省略する。
　再生表示制御部３０１は、再生制御開始指示１０１０を受信すると、グループ化処理部３０２へグループ化指示３０１０を送信し、輝度情報取得部３０３へ輝度情報取得指示３０１１を送信し、メタデータ生成部１０５へメタデータ生成指示１０２１を送信する。また、送信信号生成部３０４へ送信信号生成指示１０２２を送信する。ここで、再生表示制御部３０１から各処理モジュールへ送信される情報は、表示対象の画像、表示の仕方等の情報を含む。
　グループ化処理部３０２は、グループ化指示３０１０を受け、画像ファイルのグループ化を行う。ここで言うグループ化とは、予め決められたグループ化条件に従って、同じメタデータを付加すべき画像ファイルをグループに分類することである。
　グループ化条件は、例えば、画像の撮影日時、撮影モード、撮影後の画像処理の設定、シャッタースピード等の情報が、１つ以上同一もしくは近いことである。グループ化条件はデジタルカメラ１に予め設定されていても良いし、ユーザが選択可能なようにしてもよい。また、グループ化する際は、表示を行う順序を考慮に入れてグループ化を行ってもよい。
　ここで図６Ａから図６Ｃを用いて、グループ化処理の一例について説明する。図６Ａは、画像ファイル保持部１０７が保持する画像ファイルの例を示す。なお、画像ファイルｐｉｃｔｕｒｅ００１の画像から昇順に表示を行うものとし、グループ化条件として、撮影日時と撮影モードの両方が同じであることとする。
　図６Ｂは、グループ化条件のみに基づいてグループ化した例である。図６Ｂでは、画像ファイルｐｉｃｔｕｒｅ００１、ｐｉｃｔｕｒｅ００２、ｐｉｃｔｕｒｅ００４、ｐｉｃｔｕｒｅ００５が、グループ１、画像ファイルｐｉｃｔｕｒｅ００３のみがグループ２となっている。
　図６Ｃは、表示を行う順序（表示順）を考慮に入れてグループ化した例である。最初に表示を行う画像ファイルｐｉｃｔｕｒｅ００１から昇順にグループ化条件が同じとなる画像ファイルをグループとしていく。画像ファイルｐｉｃｔｕｒｅ００１からｐｉｃｔｕｒｅ００２まではグループ化条件を満たしているので、同一グループ（グループ１）である。画像ファイルｐｉｃｔｕｒｅ００３からはまた別のグループとしてグループ化を行うが、その次の画像ファイルｐｉｃｔｕｒｅ００４は画像ファイルｐｉｃｔｕｒｅ００３とのグループ化条件を満たしていない。そのため、画像ファイルｐｉｃｔｕｒｅ００３は単一の画像ファイルによるグループ（グループ２）となる。同様に、残りの画像ファイルｐｉｃｔｕｒｅ００４とｐｉｃｔｕｒｅ００５はグループ化条件を満たしているため、同一のグループ（グループ３）とする。
　ここで、表示を行う順序を考慮に入れてグループ化するのは、あるグループに含まれる画像を連続して表示しないのであれば、画像処理が変化することによる弊害を人間が感じにくい為、異なるメタデータを付与することによる弊害が少ないためである。また、グループに含まれる画像ファイルの数が少ない方が、より画像に適した最大輝度を設定することが可能になるため、画像に適したダイナミックレンジで表示できる可能性が高くなるからである。
　グループ化処理部３０２は、上述したような方法で画像ファイルをグループ化した情報を、グループ化情報３０２０として輝度情報取得部３０３及び送信信号生成部３０４へ出力する。図７はグループ化情報３０２０の一例を示す図である。
　輝度情報取得部３０３は、輝度情報取得指示３０１１とグループ化情報３０２０を取得すると、グループ化情報３０２０に記述されたグループ毎に、輝度情報を取得する。ここでは、各グループに属する画像ファイルが持つダイナミックレンジの中で、最も大きいダイナミックレンジを取得し、それを輝度へと置き換え、そのグループの最大輝度情報とする。例えば、グループ内の最大のダイナミックレンジが１０００％であれば、そのグループの最大輝度情報は１０００ｎｉｔｓとなる。
　図６Ｃに示す例では、グループ１の最大輝度情報は２００ｎｉｔｓ、グループ２の最大輝度情報は３００ｎｉｔｓ、グループ３の輝度情報は４００ｎｉｔｓとなる。
　なお、第３の実施形態では、グループの最大輝度情報を各グループに属する画像ファイルが持つダイナミックレンジの中で最も大きいダイナミックレンジから取得する例を示したが、輝度情報の取得方法はそれに限定されない。画像の撮影時情報に含まれる情報（例えば撮影モード）毎に対応する輝度情報を記したテーブルを保持しておき、それを用いて各グループの画像ファイルの撮影時情報から最大輝度情報を取得してもよい。
　送信信号生成部３０４は、送信信号生成指示１０２２とメタデータ１０５０を受信し、デジタルカメラ１に接続されたディスプレイ２へ送信する為の信号を生成する。具体的には、送信信号生成部３０４は、送信信号生成指示１０２２を受信すると、送信する信号の作成に必要な画像情報１０７０を画像ファイル保持部１０７から取得し、グループ化情報３０２０をグループ化処理部３０２から取得する。そして送信信号生成部１０６は取得した画像情報１０７０を、第１の実施形態で説明した方法により輝度変換し、更に、信号の伝送に適した形式へと変換する。第３の実施形態では、伝送に適した形式としてＳＭＰＴＥ　ＳＴ　２０８４に規定されたＥＯＴＦに対応する形式へ変換する。送信信号生成部３０４は、受信したメタデータ１０５０と、伝送に適した形式へと変換した画像情報を関連付けて、送信信号３０４０として送信部１０８へ送信する。
　このように、画像をグループ分けし、グループ毎に、共通のダイナミックレンジにおける輝度値に変換した画像情報に、共通の最大輝度の情報を含むメタデータを付与する。これにより、ディスプレイ２において、グループ毎に、同じ輝度で表示を行いたい画像データの領域を、同一の輝度信号として扱うことが可能となる。
＜第４の実施形態＞
　次に、本発明の第４の実施形態について説明する。上述した第１～第３の実施形態では、各画像に１つのメタデータを生成する場合について説明した。これに対し、第４の実施形態では、各画像に、全ての画像に共通する共通メタデータと、画像毎の個別メタデータをそれぞれ生成し、スライドショウの再生間隔によって、それら２つのメタデータから最終的なメタデータを生成する例について説明する。
　なお、第４の実施形態におけるデジタルカメラ１の各処理モジュールの構成は、図３に示すものと同様であるが、処理の詳細内容が異なるため、図３を参照して以下に説明する。
　ユーザ指示取得部１０１は、例えばデジタルカメラ１に配置されたボタンやタッチパネル等のユーザインタフェースとその処理部からなり、ユーザからのユーザ指示４１を受け付ける。第４の実施形態ではユーザ指示４１は、スライドショウ表示指示を含む。なお、スライドショウ表示指示とは、デジタルカメラ１内に保持された画像ファイルを、ユーザが指定した時間間隔で切り替えて順次表示するスライドショウ表示を、デジタルカメラ１に接続されたディスプレイ２で行う、という指示である。このスライドショウ表示指示は、表示を開始する画像の指定や、表示を切り替える時間間隔（以下、切り替え時間）の指定を含む。
　ユーザ指示取得部１０１は、ユーザからスライドショウ表示指示を受け付けると、再生表示制御部１０２へ再生制御開始指示１０１０を送信する。
　再生表示制御部１０２は、再生制御開始指示１０１０を受信すると、輝度情報取得部２０１へ輝度情報取得指示１０２０を送信し、メタデータ生成部１０５へメタデータ生成指示１０２１を送信する。また、送信信号生成部１０６へ送信信号生成指示１０２２を送信する。ここで、各処理モジュールへ送信される情報は、スライドショウ表示指示により指定された、表示を開始する画像や、表示の切り替え時間等の情報を含む。
　輝度情報取得部２０１は、輝度情報取得指示１０２０を受け、最大輝度情報を取得する。第４の実施形態における最大輝度情報は、画像ファイル保持部１０７に保持された画像全体に共通の共通輝度情報と、画像毎の個別輝度情報とから構成される。なお、第４の実施形態では、画像ファイル保持部１０７に保持された画像全体に共通の共通輝度情報を取得するが、本発明はこれに限られるものではない。例えば、第２の実施形態で説明したように他のデジタルカメラにより撮影された画像ファイルを有する場合には、デジタルカメラ毎に共通の共通輝度情報を取得してもよい。また、スライドショウ表示指示に表示する複数の画像が指定されている場合には、指定された複数の画像に共通の共通輝度情報を取得してもよい。
　第４の実施形態における輝度情報は、ダイナミックレンジの情報から生成される。そこで、輝度情報取得部２０１は、輝度情報取得指示１０２０を受信すると、まず共通のダイナミックレンジ情報として、ダイナミックレンジ情報保持部１０４からダイナミックレンジ情報１０４０を取得する。なお、共通のダイナミックレンジは、第１の実施形態と同様に、デジタルカメラ１が扱うことが可能な輝度の範囲とする。一例として、ここでは、ダイナミックレンジ情報保持部１０４には、デジタルカメラ１が扱うことが可能な最大のダイナミックレンジとして、１０００％という情報が保持されているものとする。
　次に、輝度情報取得部２０１は、画像毎のダイナミックレンジ情報を取得する為、画像ファイル保持部１０７から画像情報１０７０を取得する。画像情報には、図４を参照して上述したように、画像のデータである画像データ部と、撮影時情報からなる撮影時情報部から構成される。輝度情報取得部２０１は、取得した画像情報１０７０内の撮影時情報部に含まれるダイナミックレンジ情報を、画像毎のダイナミックレンジ情報とする。
　輝度情報取得部２０１は、取得した共通のダイナミックレンジ情報と画像毎のダイナミックレンジ情報を、それぞれ共通輝度情報と個別輝度情報へ変換する。第４の実施形態では、第１の実施形態と同様に、それぞれのダイナミックレンジ情報に記載されたダイナミックレンジの値を輝度へと置き換えて輝度情報とする。例えば１０００％を１０００ｎｉｔｓへ置き換える。そして、作成した共通輝度情報と個別輝度情報とを合わせて、輝度情報１０３０とする。
　メタデータ生成部１０５は、メタデータ生成指示１０２１と輝度情報１０３０を受信し、メタデータを生成する。ここで、第４の実施形態では、メタデータとして最大輝度の情報を含むデータを示して説明を行うが、メタデータの種類はこれに限定されるものではない。例えば、メタデータに、色域、色温度、最低輝度等の情報が付加されていてもよい。また例えば、ＨＤＭＩでサポートされるＭａｘＣＬＬやＭａｘＦＡＬＬの情報が付加されていてもよい。
　メタデータ生成部１０５は、取得した輝度情報１０３０をメタデータの形式（メタデータフォーマットとして定められたフォーマット形式）へと変換し、それをメタデータ１０５０として出力する。第４の実施形態においては、メタデータ１０５０は、共通メタデータと、個別メタデータを含む。
　送信信号生成部１０６は、送信信号生成指示１０２２とメタデータ１０５０を受信し、デジタルカメラ１に接続されたディスプレイ２へ送信する為の信号を生成する。具体的には、送信信号生成部１０６は、送信信号生成指示１０２２を受信すると、送信する信号の作成に必要な画像情報１０７０を画像ファイル保持部１０７から取得する。そして送信信号生成部１０６は取得した画像情報１０７０を、第１の実施形態で説明した方法により輝度変換し、更に、信号の伝送に適した形式へと変換する。第４の実施形態では、伝送に適した形式としてＳＭＰＴＥ　ＳＴ　２０８４に規定されたＥＯＴＦに対応する形式へ変換する。
　次に、本第４の実施形態における最大輝度の決定方法について説明する。送信信号生成部１０６は、送信信号生成指示１０２２に含まれるスライドショウの表示の切り替え時間を基に、共通メタデータと個別メタデータを合成して送信用のメタデータを生成する。ここで、合成比率は、切り替え時間が短いほど共通メタデータの比率が高くし、反対に切り替え時間が長いほど個別メタデータの比率を高くする。これは時間間隔が短い程、メタデータの変化によるテレビ側の画像処理の変更が頻繁に発生する為に、画像間でメタデータの差を小さくするためである。また、個別メタデータを用いた方が、画像単体で見ればテレビ側の画像処理はより望ましくなる傾向が強い為、時間間隔が長い場合（画像処理の変更があまり発生しない場合）は画像毎のメタデータを重視する。
　そこで、送信信号生成部１０６は、内部に切り替え時間に応じて、共通メタデータと個別メタデータの合成比率を決定するテーブルを予め保持しておく。そして、このテーブルの情報に応じて、共通メタデータと個別メタデータを合成し、送信用のメタデータを生成する。そして、送信信号生成部１０６は、合成したメタデータと、伝送に適した形式へと変換した画像情報とを関連付けて、送信信号１０６０として送信部１０８へ送信する。
　このように、スライドショウの切り替え時間に応じて最大輝度を調整することで、より見やすい表示が行えるようにすることが可能となる。
　なお、上述した第1から第４の実施形態に示す処理を行うかどうかを、例えばユーザ操作により設定可能としてもよい。つまり、画像ごとに当該画像のダイナミックレンジに基づく最大輝度を外部装置に送信するモードと、第1から第４の実施形態のように最大輝度を外部装置に送信するモードとを有するようにしてもよい。
＜他の実施形態＞
　上述した第１から第４の実施形態では、デジタルカメラ１において、ディスプレイ２に出力する画像ファイルを生成する例について説明したが、本発明はこれに限られるものではない。例えば、図２、図３または図５に示す処理モジュールを、外部の画像処理装置において構成し、画像ファイルを撮像装置から取得するようにしてもよい。その場合、撮像装置と画像処理装置とにより、撮像システムを構成することができる。
　また、本発明は、上述した第１から第４の実施形態を適宜組み合わせて実施してもよい。
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
　本願は、２０１７年６月２８日提出の日本国特許出願特願２０１７－１２６５１５を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (18)

  1. 　撮像装置により得られた画像データを処理する画像処理装置であって、
    　前記撮像装置により得られた画像データと、前記画像データの最大輝度を示すための情報である最大輝度情報とを、外部装置に出力する出力手段と、
    　前記撮像装置が取り扱い可能な最大輝度を取得する取得手段と、
    　前記最大輝度情報として、前記取得手段により取得された最大輝度を出力するよう前記出力手段を制御する制御手段と、
    　を有することを特徴とする画像処理装置。
  2. 　前記撮像装置は複数の輝度の範囲を設定可能であって、
    　前記取得手段は、前記設定可能な複数の輝度の範囲に含まれる輝度のうち、最大輝度を取得することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記画像データを得るために用いられた輝度の範囲に基づく画像データの画素値を、前記撮像装置が取り扱い可能な輝度の範囲に基づく輝度値に変換する変換手段をさらに有することを特徴とする請求項１または２に記載の画像処理装置。
  4. 　前記制御手段は、前記変換手段により変換された輝度値を出力するよう前記出力手段を制御することを特徴とする請求項３に記載の画像処理装置。
  5. 　前記画像処理装置は、複数の撮像装置により得られた複数の画像データを処理可能であり、
    　前記取得手段は、前記複数の画像データのそれぞれを取得した撮像装置の情報に基づき、前記複数の撮像装置のそれぞれが取り扱い可能な最大輝度を取得することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
  6. 　前記制御手段は、前記画像データのメタデータとして最大輝度情報を出力するよう前記出力手段を制御することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
  7. 　前記輝度の範囲は、ダイナミックレンジであることを特徴とする請求項２に記載の画像処理装置。
  8. 　複数の輝度の範囲を有する複数の画像データを処理可能な画像処理装置であって、
    　出力される画像データと、前記画像データの最大輝度を示すための情報である最大輝度情報とを、外部装置に出力する出力手段と、
    　撮像により得られた複数の画像データを分類する分類手段と、
    　前記出力手段により、所定のグループに分類された画像データの１つを出力する場合、前記最大輝度情報として、前記出力される画像データの最大輝度ではなく、前記所定のグループに分類された複数の画像データにおける最大輝度を出力するよう前記出力手段を制御する制御手段と、
    　を有することを特徴とする画像処理装置。
  9. 　前記出力される画像データに用いられた輝度の範囲に基づく画像データの画素値を、前記出力される画像データを撮像した撮像装置が取り扱い可能な輝度の範囲に基づく輝度値に変換する変換手段をさらに有する請求項８に記載の画像処理装置。
  10. 　前記制御手段は、前記変換手段により変換された輝度値を出力するよう前記出力手段を制御することを特徴とする請求項９に記載の画像処理装置。
  11. 　前記分類手段は、前記複数の画像データの撮像時の情報に基づき、前記複数の画像を分類することを特徴とする請求項８乃至１０のいずれか１項に記載の画像処理装置。
  12. 　前記分類手段は、前記画像データの表示順において、連続して表示する画像がともに所定の条件を満たす場合、同じグループに分類することを特徴とする請求項８乃至１１のいずれか１項に記載の画像処理装置。
  13. 　前記制御手段は、前記画像データのメタデータとして最大輝度情報を出力するよう前記出力手段を制御することを特徴とする請求項８乃至１２のいずれか１項に記載の画像処理装置。
  14. 　前記輝度の範囲は、ダイナミックレンジであることを特徴とする請求項２及び８乃至１３のいずれか１項に記載の画像処理装置。
  15. 　撮像装置により得られた画像データを処理する画像処理方法であって、
    　出力手段が、前記撮像装置により得られた画像データと、前記画像データの最大輝度を示すための情報である最大輝度情報とを、外部装置に出力する出力工程と、
    　取得手段が、前記撮像装置が取り扱い可能な最大輝度を取得する取得工程と、
    　制御手段が、前記最大輝度情報として、前記取得手段により取得された最大輝度を出力するよう前記出力手段を制御する制御工程と、
    　を有することを特徴とする画像処理方法。
  16. 　複数の輝度の範囲を有する複数の画像データを処理可能な画像処理方法であって、
    　出力手段が、出力される画像データと、前記画像データの最大輝度を示すための情報である最大輝度情報とを、外部装置に出力する出力工程と、
    　分類手段が、撮像により得られた複数の画像データを分類する分類工程と、
    　制御手段が、前記出力工程で、所定のグループに分類された画像データの１つを出力する場合、前記最大輝度情報として、前記出力される画像データの最大輝度ではなく、前記所定のグループに分類された複数の画像データにおける最大輝度を出力するよう前記出力手段を制御する制御工程と、
    　を有することを特徴とする画像処理方法。
  17. 　コンピュータを、請求項１乃至１４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
  18. 　請求項１７に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
PCT/JP2018/021859 2017-06-28 2018-06-07 画像処理装置及び方法 WO2019003850A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880043095.1A CN110800285B (zh) 2017-06-28 2018-06-07 图像处理设备、图像处理方法和存储介质
US16/708,164 US11252335B2 (en) 2017-06-28 2019-12-09 Image processing apparatus and method, and non-transitory computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017126515A JP6948173B2 (ja) 2017-06-28 2017-06-28 画像処理装置及び方法、撮像装置、及び、撮像システム
JP2017-126515 2017-06-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/708,164 Continuation US11252335B2 (en) 2017-06-28 2019-12-09 Image processing apparatus and method, and non-transitory computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2019003850A1 true WO2019003850A1 (ja) 2019-01-03

Family

ID=64740614

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/021859 WO2019003850A1 (ja) 2017-06-28 2018-06-07 画像処理装置及び方法

Country Status (4)

Country Link
US (1) US11252335B2 (ja)
JP (1) JP6948173B2 (ja)
CN (1) CN110800285B (ja)
WO (1) WO2019003850A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7256663B2 (ja) * 2019-03-26 2023-04-12 キヤノン株式会社 画像出力装置およびその制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015169722A (ja) * 2014-03-05 2015-09-28 ソニー株式会社 撮像装置
JP2016058848A (ja) * 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法
WO2016072347A1 (ja) * 2014-11-07 2016-05-12 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP2017060113A (ja) * 2015-09-18 2017-03-23 日本放送協会 Ｈｄｒ−ｓｄｒ一体化制作用ビデオカメラ及びアパーチャ操作装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014052494A (ja) * 2012-09-06 2014-03-20 Sharp Corp 画像表示装置、画像表示装置の制御方法、画像表示装置の制御プログラムおよびその制御プログラムを記録した記録媒体
CN110213459B (zh) * 2014-06-10 2021-11-30 松下知识产权经营株式会社 显示方法和显示装置
JP6421504B2 (ja) 2014-07-28 2018-11-14 ソニー株式会社 画像処理装置及び画像処理方法
KR102322709B1 (ko) * 2015-04-29 2021-11-08 엘지디스플레이 주식회사 영상 처리 방법 및 영상 처리 회로와 그를 이용한 표시 장치
EP3136375B1 (en) * 2015-08-31 2020-07-08 Lg Electronics Inc. Image display apparatus
JP6729055B2 (ja) * 2016-06-23 2020-07-22 セイコーエプソン株式会社 映像処理装置、表示装置および映像処理方法
CN106101679B (zh) * 2016-08-23 2018-01-12 青岛海信电器股份有限公司 高动态范围信号的处理方法及处理系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015169722A (ja) * 2014-03-05 2015-09-28 ソニー株式会社 撮像装置
JP2016058848A (ja) * 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法
WO2016072347A1 (ja) * 2014-11-07 2016-05-12 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP2017060113A (ja) * 2015-09-18 2017-03-23 日本放送協会 Ｈｄｒ−ｓｄｒ一体化制作用ビデオカメラ及びアパーチャ操作装置

Also Published As

Publication number Publication date
US20200120254A1 (en) 2020-04-16
CN110800285B (zh) 2021-07-27
JP2019009731A (ja) 2019-01-17
US11252335B2 (en) 2022-02-15
CN110800285A (zh) 2020-02-14
JP6948173B2 (ja) 2021-10-13

Similar Documents

Publication Publication Date Title
US10082723B2 (en) Image capturing apparatus for generating a high dynamic range video frame from multiple image frames with different characteristics
US10567727B2 (en) Reproduction method, creation method, reproduction device, creation device, and recording medium
JP2017068207A (ja) 画像処理装置、画像処理方法及びプログラム
US10600170B2 (en) Method and device for producing a digital image
US11438546B2 (en) Image capturing apparatus and playback apparatus and control methods thereof and non-transitory computer-readable storage medium
US10091415B2 (en) Image processing apparatus, method for controlling image processing apparatus, image pickup apparatus, method for controlling image pickup apparatus, and recording medium
US10009588B2 (en) Image processing apparatus and imaging apparatus
US11252335B2 (en) Image processing apparatus and method, and non-transitory computer-readable storage medium
US11606479B2 (en) Image processing system and image processing method
US10880491B2 (en) Imaging apparatus including controller for converting dynamic range image data
JP2007097032A (ja) 画像表示装置、画像表示方法およびディジタルカメラ
JP2019080156A (ja) 画像処理方法および画像処理装置
JP2013115666A (ja) 撮像装置、動画記録装置、制御方法、プログラム、及び動画記録システム
US10542207B2 (en) Image processing apparatus and image processing method
US20190266710A1 (en) Image processing apparatus, image processing method, and storage medium
US20240171696A1 (en) Image processing apparatus, control method and storage medium
US11283938B2 (en) Communication apparatus communicating with another communication apparatus based on performance, control method, and storage medium
US20210385375A1 (en) Image capturing apparatus, method of controlling the same, and non-transitory computer-readable storage medium
JP2018019122A (ja) 画像データ処理装置および撮像装置
US20210218887A1 (en) Imaging apparatus
JP2021078051A (ja) 画像処理装置および画像制御方法、プログラム、並びに記憶媒体
JP2020064102A (ja) 表示装置および表示方法
JP2020120311A (ja) 画像処理装置、画像処理方法およびプログラム
JP2020120211A (ja) 表示装置およびその制御方法
JP2009124224A (ja) カラーデータ処理装置および表示データ処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18822828

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18822828

Country of ref document: EP

Kind code of ref document: A1