WO2019003850A1 - 画像処理装置及び方法 - Google Patents
画像処理装置及び方法 Download PDFInfo
- Publication number
- WO2019003850A1 WO2019003850A1 PCT/JP2018/021859 JP2018021859W WO2019003850A1 WO 2019003850 A1 WO2019003850 A1 WO 2019003850A1 JP 2018021859 W JP2018021859 W JP 2018021859W WO 2019003850 A1 WO2019003850 A1 WO 2019003850A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- luminance
- information
- image data
- output
- image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
Definitions
- the present invention relates to an image processing apparatus and method.
- the display device can perform image processing suitable for the performance of the display device and the characteristics of the video content. Also, the side that transmits the video signal can transmit an intention, such as how to display the video signal on the display device, by the added metadata.
- HDMI High Definition Multimedia Interface
- the maximum luminance information when the maximum luminance information is equal to or less than the displayable luminance of the display device, the luminance is displayed as the video signal.
- the maximum luminance information exceeds the displayable luminance of the display device, uniform gain is applied to the input signal so that the luminance of the maximum luminance information becomes the displayable luminance of the display device.
- the display is displayed with the brightness lowered.
- image processing for example, when a plurality of images of the same main subject is displayed continuously, even if the luminance of the main subject is the same, the maximum luminance in the image is higher and lower than the displayable luminance of the display device.
- the present invention has been made in view of the above problems, and when a plurality of images are displayed, it is possible to suppress a change in the luminance when expressing a subject with the same luminance included in the plurality of images on a display device.
- the purpose is to
- FIG. 1 is a conceptual diagram showing a system in an embodiment of the present invention.
- FIG. 2 is a block diagram showing a configuration of a processing module of the digital camera in the first embodiment.
- FIG. 10 is a block diagram showing the arrangement of processing modules of the digital camera according to the second and fourth embodiments.
- FIG. 7 is a view showing information included in image information in the second embodiment.
- FIG. 10 is a block diagram showing the configuration of a processing module of a digital camera according to a third embodiment.
- the present invention is not limited to a digital camera, but a mobile phone, a personal computer (laptop type, desktop type, tablet type, etc.), a game machine, etc. It is applicable to the apparatus which processes information.
- FIG. 1 is a conceptual view showing a system in which the digital camera of the present embodiment is used.
- the digital camera 1 is connected to the display 2 by a cable 3 (or wireless).
- the captured image is stored as an image file in the digital camera 1.
- the image file according to the present embodiment is a RAW file including information recorded at the time of shooting of the light signal acquired by the sensor of the digital camera and information at the time of shooting, and JPEG including the image information converted to the JPEG method and the information at the time of shooting Points to a file.
- the digital camera 1 receives an instruction 40 (hereinafter referred to as reproduction instruction) for reproducing and displaying an image file stored in the digital camera 1 from the user 4 on the display 2.
- reproduction instruction an instruction 40 for reproducing and displaying an image file stored in the digital camera 1 from the user 4 on the display 2.
- the digital camera 1 transmits the transmission signal 10 including the image information and the metadata generated from the information of the image file to the display 2, thereby displaying the image in the digital camera 1 using the display 2. I do.
- FIG. 2 is a block diagram showing the configuration of a processing module in the digital camera 1 of the first embodiment.
- a processing module for example, using a CPU and a memory (not shown) in which part or all of the processing is included in the digital camera 1 Is configured.
- a processing module a user instruction acquisition unit 101, a reproduction display control unit 102, a luminance information acquisition unit 103, a dynamic range information storage unit 104, a metadata generation unit 105, a transmission signal generation unit 106, an image file A holding unit 107 and a transmission unit 108 are included.
- processing modules unnecessary for the description of the present embodiment are omitted.
- the user instruction acquisition unit 101 includes, for example, a user interface such as a button or a touch panel disposed on the digital camera 1 and its processing unit for receiving an instruction from the user, and receives a reproduction instruction 40 from the user 4.
- the reproduction instruction 40 includes an instruction as to how to display which image file among a plurality of image files.
- the reproduction display control unit 102 When receiving the reproduction control start instruction 1010, the reproduction display control unit 102 transmits a luminance information acquisition instruction 1020 to the luminance information acquisition unit 103, and transmits a metadata generation instruction 1021 to the metadata generation unit 105. Further, it transmits a transmission signal generation instruction 1022 to the transmission signal generation unit 106.
- the information transmitted from the reproduction display control unit 102 to each processing module includes information such as an image to be displayed and a display method.
- the luminance information acquisition unit 103 When the luminance information acquisition unit 103 receives the luminance information acquisition instruction 1020, the luminance information acquisition unit 103 acquires dynamic range information 1040 indicating the range of luminance handled by the digital camera 1 from the dynamic range information holding unit 104 as luminance information.
- the dynamic range of the digital camera 1 generally changes due to factors such as shooting settings, but the dynamic range information 1040 in the first embodiment is the maximum dynamic range that can be handled by the digital camera 1 of that model. I assume. As an example, it is assumed here that the dynamic range information holding unit 104 holds information of 1000% as the maximum dynamic range that can be handled by the digital camera 1. In addition, the maximum value of the dynamic range set when shooting a plurality of images to be displayed may be used.
- the luminance information acquisition unit 103 converts the acquired dynamic range information 1040 into luminance information 1030.
- the value of the dynamic range described in the dynamic range information 1040 is replaced with luminance to be luminance information. For example, replace 1000% with 1000 nits.
- the metadata generation unit 105 receives the metadata generation instruction 1021 and the luminance information 1030, and generates metadata.
- data is described as data including information of maximum luminance as metadata, but the type of metadata is not limited to this.
- information such as color gamut, color temperature, and minimum luminance may be added to the metadata.
- information of MaxCLL (Maximum Content Light Level) and MaxFALL (Maximum Frame Average Light Level) supported by HDMI may be added.
- the metadata generation unit 105 converts the acquired luminance information 1030 into a format of metadata (a format defined as a metadata format), and outputs the result as metadata 1050.
- the transmission signal generation unit 106 receives the transmission signal generation instruction 1022 and the metadata 1050 and generates a signal to be transmitted to the display 2 connected to the digital camera 1. Specifically, when the transmission signal generation instruction 1022 is received, the transmission signal generation unit 106 acquires, from the image file holding unit 107, image information 1070 necessary for generation of a signal to be transmitted.
- the image file holding unit 107 holds, as an image file, image data having various dynamic ranges captured by the digital camera 1. Then, the transmission signal generation unit 106 converts the acquired image information 1070 into a format suitable for signal transmission.
- the format is converted to a format corresponding to EOTF (Electro Optical Transfer Function) defined in SMPTE ST 2084.
- the signal defined in SMPTE ST 2084 is a signal representing absolute luminance.
- information of an image file captured by a digital camera is not stored in a data format representing absolute brightness, but is often stored in relative brightness. Therefore, in this embodiment, it is decided to assign a specific relative value (for example, 18%) in each image file to a specific absolute luminance (for example, 18 nits), and an image file having any dynamic range, Convert the format to be that assignment.
- Image file A (maximum dynamic range: 100%)
- -Pixel value 0 Dynamic range 0%
- Pixel value 184 dynamic range 18%
- Pixel value 1023 Dynamic range 100%
- the pixel value 0 is converted to 0 nits, the pixel value 184 to 18 nits, and the pixel value 1023 (maximum value) to a signal representing 100 nits.
- the digital camera 1 may change the dynamic range of the image file to be recorded by changing the setting.
- the pixel value of the image file and the value of the dynamic range corresponding to the image file may be different for each image file.
- Image file B (maximum dynamic range: 1000%) -Pixel value 0: Dynamic range 0% Pixel value 18: dynamic range 18% ⁇ Pixel value 1023: Dynamic range 1000% In this case, the pixel value 0 is converted to 0 nits, the pixel value 18 is converted to 18 nits, and the pixel value 1023 (maximum value) is converted to a signal representing 1000 nits.
- digital cameras capable of generating image files having different dynamic ranges generally hold internally the information on the dynamic range corresponding to the pixel values of the image file for each format of the image file.
- a conversion as described above can be performed.
- luminance conversion For example, in an image file having a dynamic range of 100% or an image file having a dynamic range of 1000%, a relative value is a signal representing the same luminance.
- the transmission signal generation unit 106 associates the received metadata 1050 with the image information converted into a format suitable for transmission, and transmits it to the transmission unit 108 as a transmission signal 1060.
- the transmission unit 108 includes a terminal of a standard such as HDMI and its control unit, and transmits the transmission signal 1060 sent from the transmission signal generation unit 106 to the outside of the digital camera 1.
- the luminance value of the image information is converted and displayed so that the common maximum luminance included in the metadata becomes the luminance that can be displayed on the display 2, thereby displaying the image data to be displayed at the same luminance. It becomes possible to treat the area as the same luminance signal.
- a second embodiment of the present invention will be described.
- processing in the case where another external digital camera can be connected to the digital camera 1 and an image file can be received and held from the connected external digital camera will be described.
- the image file may be acquired from another digital camera 1 via a portable recording medium.
- determining metadata based on information of a digital camera which has generated an image file will be described.
- FIG. 3 is a block diagram showing the configuration of a processing module in the digital camera 1 of the second embodiment.
- a processing module in the digital camera 1 of the second embodiment.
- the processing of the digital camera 1 in the second embodiment is different from the processing described with reference to FIG. 2 in the processing in the luminance information acquisition unit 201.
- the same reference numerals are given and the explanation is omitted appropriately.
- the luminance information acquisition unit 201 When the luminance information acquisition unit 201 receives the luminance information acquisition instruction 1020, the luminance information acquisition unit 201 acquires the image information 1070 of the image to be displayed from the image file storage unit 107.
- FIG. 4 is a diagram showing an example of information included in certain image information.
- the image information is composed of an image data portion which is data of an image and a shooting time information portion consisting of shooting time information.
- the shooting time information includes, for example, a dynamic range determined from settings of the camera, shooting date and time, identification information of the camera used for shooting, a shooting mode (for example, a night scene mode suitable for shooting a night scene) It is information such as operation mode).
- the luminance information acquisition unit 201 acquires identification information of a camera used for photographing from the image information 1070, and acquires dynamic range information 1040 corresponding to the identification information from the dynamic range information storage unit 104.
- the dynamic range information holding unit 104 holds dynamic range information for each camera identification information. When there is no dynamic range information corresponding to identification information of a camera, the dynamic range information holding unit 104 provides dynamic range information of other cameras instead.
- the luminance information acquisition unit 201 converts the acquired dynamic range information 1040 into luminance information 1030 by the same method as that of the first embodiment, and outputs the luminance information 1030 to the metadata generation unit 105.
- the metadata generation unit 105 converts the acquired luminance information 1030 into a format of metadata, and outputs it as metadata 1050.
- the transmission signal generation unit 106 associates the received metadata 1050 with the image information converted into a format suitable for transmission, and transmits it as a transmission signal 1060 to the transmission unit 108. .
- metadata including common maximum luminance information is added to the image information converted into luminance values in the common dynamic range for the same image of the photographed digital camera. Do. As a result, it becomes possible to treat an area of image data to be displayed with the same luminance on the display 2 as the same luminance signal with respect to an image captured by the same digital camera.
- FIG. 5 is a block diagram showing a configuration of a processing module in the digital camera 1 of the third embodiment, and for example, using a CPU and a memory (not shown) in which part or all of the processing is included in the digital camera 1 Is configured.
- the processing module of the digital camera 1 according to the third embodiment includes a grouping processing unit 302 as compared with the processing module described with reference to FIG. 2, and accordingly, the reproduction display control unit 301 and luminance information acquisition Processing in the unit 303 and the transmission signal generation unit 304 is different. Other than that, it is the same as that of the first embodiment, so the same reference numerals are given and the explanation is omitted appropriately.
- the reproduction display control unit 301 When receiving the reproduction control start instruction 1010, the reproduction display control unit 301 transmits a grouping instruction 3010 to the grouping processing unit 302, transmits a luminance information acquisition instruction 3011 to the luminance information acquisition unit 303, and the metadata generation unit 105.
- the metadata generation instruction 1021 is sent. Further, it transmits a transmission signal generation instruction 1022 to the transmission signal generation unit 304.
- the information transmitted from the reproduction display control unit 301 to each processing module includes information such as an image to be displayed and a display method.
- the grouping processing unit 302 receives the grouping instruction 3010 and performs grouping of image files.
- the grouping referred to here is to classify image files to which the same metadata is to be added into groups according to a predetermined grouping condition.
- the grouping conditions are, for example, that one or more pieces of information such as the shooting date and time of the image, the shooting mode, the setting of the image processing after shooting, and the shutter speed are identical or close.
- the grouping conditions may be preset in the digital camera 1 or may be selectable by the user. When grouping is performed, grouping may be performed in consideration of the order of display.
- FIG. 6A shows an example of an image file held by the image file holding unit 107. Note that display is performed in ascending order from the image of the image file picture 001, and it is assumed that both the shooting date and time and the shooting mode are the same as grouping conditions.
- FIG. 6B is an example of grouping based on grouping conditions only.
- the image files picture001, picture002, picture004, and picture005 are group 1, and only the image file picture003 is group 2.
- FIG. 6C is an example in which grouping is performed in consideration of the order of display (display order). From the image file picture001 to be displayed first, image files having the same grouping condition are grouped in ascending order. Since the image files picture001 to picture002 satisfy the grouping condition, they are the same group (group 1). The image file picture 003 is grouped as another group, but the next image file picture 004 does not satisfy the grouping condition with the image file picture 003. Therefore, the image file picture003 is a group (group 2) of a single image file. Similarly, since the remaining image files picture 004 and picture 005 satisfy the grouping condition, they are the same group (group 3).
- grouping in consideration of the order in which display is performed is different if images included in a certain group are not displayed continuously, because human beings are less likely to feel the harmful effects due to changes in image processing. It is because there is little bad effect by giving metadata.
- the smaller the number of image files included in the group is, it is possible to set the maximum brightness more suitable for the image, and the possibility of being able to display in the dynamic range suitable for the image is increased.
- the grouping processing unit 302 outputs, as grouping information 3020, information in which the image file is grouped by the method as described above to the luminance information acquisition unit 303 and the transmission signal generation unit 304.
- FIG. 7 shows an example of the grouping information 3020. As shown in FIG.
- the luminance information acquisition unit 303 acquires luminance information for each group described in the grouping information 3020.
- the largest dynamic range is acquired among the dynamic ranges possessed by the image files belonging to each group, and this is replaced with the luminance to be the maximum luminance information of the group. For example, if the maximum dynamic range in a group is 1000%, the maximum luminance information of the group is 1000 nits.
- the maximum luminance information of group 1 is 200 nits
- the maximum luminance information of group 2 is 300 nits
- the luminance information of group 3 is 400 nits.
- the maximum luminance information of the group is acquired from the largest dynamic range of the dynamic range possessed by the image file belonging to each group, but the method of acquiring the luminance information is not limited thereto.
- a table in which luminance information corresponding to each information (for example, imaging mode) included in the imaging information of the image is stored, and using it, maximum luminance information is acquired from the imaging information of the image file of each group May be
- the transmission signal generation unit 304 receives the transmission signal generation instruction 1022 and the metadata 1050 and generates a signal to be transmitted to the display 2 connected to the digital camera 1. Specifically, when the transmission signal generation unit 304 receives the transmission signal generation instruction 1022, the transmission signal generation unit 304 acquires, from the image file holding unit 107, the image information 1070 necessary for generation of the signal to be transmitted, and performs grouping processing of the grouping information 3020 Acquired from the unit 302. Then, the transmission signal generation unit 106 performs luminance conversion of the acquired image information 1070 according to the method described in the first embodiment, and further converts the image information 1070 into a format suitable for signal transmission.
- the format suitable for transmission is converted into a format corresponding to the EOTF defined in SMPTE ST 2084.
- the transmission signal generation unit 304 associates the received metadata 1050 with the image information converted into a format suitable for transmission, and transmits it to the transmission unit 108 as a transmission signal 3040.
- images are divided into groups, and metadata including information on common maximum luminance is added to image information converted to luminance values in a common dynamic range for each group.
- the display 2 it is possible to treat an area of image data that is desired to be displayed with the same luminance for each group as the same luminance signal.
- each processing module of the digital camera 1 in the fourth embodiment is the same as that shown in FIG. 3, but the detailed content of the processing is different. Therefore, the configuration will be described below with reference to FIG.
- the user instruction acquisition unit 101 includes, for example, a user interface such as a button or a touch panel disposed on the digital camera 1 and its processing unit, and receives the user instruction 41 from the user.
- the user instruction 41 includes a slide show display instruction.
- the display 2 connected to the digital camera 1 performs slide show display in which the image file held in the digital camera 1 is switched at a time interval designated by the user and sequentially displayed. It is an instruction.
- This slide show display instruction includes designation of an image to start display and designation of a time interval for switching display (hereinafter, switching time).
- user instruction acquisition unit 101 When user instruction acquisition unit 101 receives a slide show display instruction from the user, user instruction acquisition unit 101 transmits reproduction control start instruction 1010 to reproduction display control unit 102.
- the reproduction display control unit 102 When receiving the reproduction control start instruction 1010, the reproduction display control unit 102 transmits a luminance information acquisition instruction 1020 to the luminance information acquisition unit 201, and transmits a metadata generation instruction 1021 to the metadata generation unit 105. Further, it transmits a transmission signal generation instruction 1022 to the transmission signal generation unit 106.
- the information transmitted to each processing module includes an image for starting display, information such as a switching time of display designated by the slide show instruction.
- the luminance information acquisition unit 201 receives the luminance information acquisition instruction 1020 and acquires maximum luminance information.
- the maximum luminance information in the fourth embodiment is configured from common luminance information common to the entire image held in the image file holding unit 107 and individual luminance information for each image.
- common luminance information common to the entire image stored in the image file storage unit 107 is acquired, but the present invention is not limited to this.
- common brightness information common to each digital camera may be acquired.
- common luminance information common to the plurality of designated images may be acquired.
- the luminance information in the fourth embodiment is generated from the information of the dynamic range. Therefore, when receiving the luminance information acquisition instruction 1020, the luminance information acquisition unit 201 first acquires the dynamic range information 1040 from the dynamic range information storage unit 104 as common dynamic range information.
- the common dynamic range is a range of luminance that can be handled by the digital camera 1 as in the first embodiment. As an example, it is assumed here that the dynamic range information holding unit 104 holds information of 1000% as the maximum dynamic range that the digital camera 1 can handle.
- the luminance information acquisition unit 201 acquires image information 1070 from the image file storage unit 107 in order to acquire dynamic range information for each image.
- the image information includes an image data portion which is data of an image, and a shooting time information portion consisting of shooting time information.
- the luminance information acquisition unit 201 sets dynamic range information included in the shooting time information part in the acquired image information 1070 as dynamic range information for each image.
- the luminance information acquisition unit 201 converts the acquired common dynamic range information and dynamic range information for each image into common luminance information and individual luminance information.
- the value of the dynamic range described in each piece of dynamic range information is replaced with luminance to be luminance information. For example, replace 1000% with 1000 nits.
- the created common luminance information and the individual luminance information are combined to form luminance information 1030.
- the metadata generation unit 105 receives the metadata generation instruction 1021 and the luminance information 1030, and generates metadata.
- data is described as data including information of maximum luminance as metadata, but the type of metadata is not limited to this.
- information such as color gamut, color temperature, and minimum luminance may be added to the metadata.
- information of MaxCLL and MaxFALL supported by HDMI may be added.
- the metadata generation unit 105 converts the acquired luminance information 1030 into a metadata format (a format defined as a metadata format), and outputs it as metadata 1050.
- metadata 1050 includes common metadata and individual metadata.
- the transmission signal generation unit 106 receives the transmission signal generation instruction 1022 and the metadata 1050 and generates a signal to be transmitted to the display 2 connected to the digital camera 1. Specifically, when the transmission signal generation instruction 1022 is received, the transmission signal generation unit 106 acquires, from the image file holding unit 107, image information 1070 necessary for generation of a signal to be transmitted. Then, the transmission signal generation unit 106 performs luminance conversion of the acquired image information 1070 according to the method described in the first embodiment, and further converts the image information 1070 into a format suitable for signal transmission. In the fourth embodiment, the format suitable for transmission is converted to a format corresponding to the EOTF defined in SMPTE ST 2084.
- the transmission signal generation unit 106 combines the common metadata and the individual metadata based on the display display switching time included in the transmission signal generation instruction 1022 to generate transmission metadata.
- the combination ratio makes the ratio of common metadata higher as the switching time is shorter, and conversely, makes the ratio of individual metadata higher as the switching time is longer.
- the reason is that, as the time interval is shorter, the change in the image processing on the television side frequently occurs due to the change in the metadata, so the difference in the metadata between the images is reduced.
- image processing on the television side tends to be more desirable when viewed as a single image, so when the time interval is long (if there is not much change in the image processing), each image Emphasize metadata.
- the transmission signal generation unit 106 holds in advance a table for determining the combination ratio of the common metadata and the individual metadata according to the switching time. Then, according to the information in this table, the common metadata and the individual metadata are combined to generate transmission metadata. Then, the transmission signal generation unit 106 associates the combined metadata with the image information converted into a format suitable for transmission, and transmits the information as a transmission signal 1060 to the transmission unit 108.
- whether or not the processing described in the first to fourth embodiments described above is performed may be set by, for example, user operation. That is, even if there is a mode in which the maximum luminance based on the dynamic range of the image is transmitted to the external device for each image, and a mode in which the maximum luminance is transmitted to the external device as in the first to fourth embodiments. Good.
- the processing module shown in FIG. 2, FIG. 3 or FIG. 5 may be configured in an external image processing apparatus, and an image file may be obtained from the imaging apparatus.
- an imaging system can be configured by the imaging device and the image processing device.
- the present invention may be implemented by appropriately combining the first to fourth embodiments described above.
- the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
- a circuit eg, an ASIC
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
撮像装置により得られた画像データを処理する本発明の画像処理装置は、前記撮像装置により得られた画像データと、前記画像データの最大輝度を示すための情報である最大輝度情報とを、外部装置に出力する出力手段と、前記撮像装置が取り扱い可能な最大輝度を取得する取得手段と、前記最大輝度情報として、前記取得手段により取得された最大輝度を出力するよう前記出力手段を制御する制御手段と、を有する。
Description
本発明は、画像処理装置及び方法に関する。
従来より、映像コンテンツを保持する映像信号源からテレビ等の表示装置へ映像信号を送信する技術がある。近年では、映像コンテンツを送信する際に、映像信号源から映像情報と共に、映像コンテンツに含まれる映像コンテンツの特性(例えばコンテンツ内の最大輝度の情報等)をメタデータとして表示装置へ送信する技術が一般的になってきている。
このような技術を用いることによって、表示装置は表示装置の性能と映像コンテンツの特性に適した画像処理を行うことが可能となる。また映像信号を送信する側は、付加するメタデータによって、表示装置へ映像信号をどのように表示したいのか、といった意図を送信することが可能となる。
このような技術として、映像コンテンツの注目すべき場所や物体の輝度情報をメタデータとして送信する技術が存在する(特許文献1参照)。
一方、昨今のデジタルカメラには、High Definition Multimedia Interface(HDMI)(登録商標)等の規格に対応したケーブルを用いてテレビに接続し、デジタルカメラ内の記録メディアに記録された画像をテレビのディスプレイで表示する機能を持つものが存在する。
ここで、上述したように輝度情報を付加する場合、画像毎に輝度の情報が異なると、画像毎に異なる最高輝度の情報を含んだメタデータをテレビへ送信することが考えられる。そのような場合は画像毎にメタデータが異なることになり、テレビは、画像毎に異なる画像処理を行う場合がある。
メタデータに付与される最大輝度情報に応じた画像処理の一例として、最大輝度情報が表示装置の表示可能な輝度以下である場合は、映像信号通りの輝度で表示する。一方、最大輝度情報が表示装置の表示可能な輝度を超える場合は、最大輝度情報の輝度が表示装置の表示可能な輝度となるように、入力された信号に一律のゲインを適用して、全体的に輝度を落として表示する。このような画像処理では、例えば、同じ主被写体の複数の画像を連続して表示した場合、主被写体の輝度が同じでも、画像内の最大輝度が表示装置の表示可能な輝度より高い画像と低い画像が混在していると、次のような問題が発生する。すなわち、表示された主被写体の輝度が高くなったり低くなったりと変動してしまい、見にくくなってしまう。
本発明は上記問題点を鑑みてなされたものであり、複数の画像を表示する場合に、当該複数の画像に含まれる同じ輝度の被写体を、表示装置において表現する際の輝度の変化を抑制できるようにすることを目的とする。
上記目的を達成するために、撮像装置により得られた画像データを処理する本発明の画像処理装置は、前記撮像装置により得られた画像データと、前記画像データの最大輝度を示すための情報である最大輝度情報とを、外部装置に出力する出力手段と、前記撮像装置が取り扱い可能な最大輝度を取得する取得手段と、前記最大輝度情報として、前記取得手段により取得された最大輝度を出力するよう前記出力手段を制御する制御手段と、を有する。
複数の画像を表示する場合に、当該複数の画像に含まれる同じ輝度の被写体を、表示装置において表現する際の輝度の変化を抑制することができる。
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。なお、本実施形態では情報処理装置の一例としてデジタルカメラを用いて説明を行うが、デジタルカメラに限らず、携帯電話、パーソナルコンピュータ(ラップトップ型、デスクトップ型、タブレット型等)、ゲーム機など、情報を処理する機器に適用可能である。
図1は、本実施形態のデジタルカメラが使用されるシステムを示す概念図である。デジタルカメラ1は、ディスプレイ2とケーブル3(または無線)で接続される。
デジタルカメラ1には、撮影された画像が画像ファイルとして記憶されている。ここで、本実施形態の画像ファイルとは、デジタルカメラのセンサが取得した光信号を記録した情報と撮影時情報からなるRAWファイルと、JPEG方式へ変換された画像情報と撮影時情報からなるJPEGファイルを指す。
図1に示すシステムにおいて、デジタルカメラ1は、ユーザ4からデジタルカメラ1内に記憶された画像ファイルをディスプレイ2で再生表示するための指示40(以下、再生指示)を受け付ける。デジタルカメラ1は再生指示40を受け付けると、画像ファイルの情報から生成した画像情報とメタデータからなる伝送信号10をディスプレイ2へ送信することで、ディスプレイ2を用いてデジタルカメラ1内の画像の表示を行う。
<第1の実施形態>
図2は、第1の実施形態のデジタルカメラ1における処理モジュールの構成を表したブロック図であり、例えば、処理の一部または全部がデジタルカメラ1に含まれる不図示のCPU及びメモリ等を用いて構成される。第1の実施形態では、処理モジュールとして、ユーザ指示取得部101、再生表示制御部102、輝度情報取得部103、ダイナミックレンジ情報保持部104、メタデータ生成部105、送信信号生成部106、画像ファイル保持部107、送信部108を含む。なお、図2では、本実施形態の説明に不要な処理モジュールに関しては省略している。
図2は、第1の実施形態のデジタルカメラ1における処理モジュールの構成を表したブロック図であり、例えば、処理の一部または全部がデジタルカメラ1に含まれる不図示のCPU及びメモリ等を用いて構成される。第1の実施形態では、処理モジュールとして、ユーザ指示取得部101、再生表示制御部102、輝度情報取得部103、ダイナミックレンジ情報保持部104、メタデータ生成部105、送信信号生成部106、画像ファイル保持部107、送信部108を含む。なお、図2では、本実施形態の説明に不要な処理モジュールに関しては省略している。
ユーザ指示取得部101は、ユーザからの指示を受け付けるための、例えば、デジタルカメラ1に配置されたボタンやタッチパネル等のユーザインタフェースとその処理部からなり、ユーザ4からの再生指示40を受け付ける。再生指示40は、複数ある画像ファイルの中で、どの画像ファイルをどのように表示するかといった指示を含んでいる。ユーザ指示取得部101は、ユーザからの再生指示40を受け付けると、再生表示制御部102へ再生制御開始指示1010を送信する。
再生表示制御部102は、再生制御開始指示1010を受信すると、輝度情報取得部103へ輝度情報取得指示1020を送信し、メタデータ生成部105へメタデータ生成指示1021を送信する。また、送信信号生成部106へ送信信号生成指示1022を送信する。ここで、再生表示制御部102から各処理モジュールへ送信される情報は、表示対象の画像、表示の仕方等の情報を含む。
輝度情報取得部103は、輝度情報取得指示1020を受信すると、輝度情報としてダイナミックレンジ情報保持部104から、デジタルカメラ1が扱う輝度の範囲を示すダイナミックレンジ情報1040を取得する。デジタルカメラ1のダイナミックレンジは、一般的に撮影の設定等の要因で変化するが、第1の実施形態におけるダイナミックレンジ情報1040は、その機種のデジタルカメラ1が扱うことが可能な最大のダイナミックレンジとする。一例として、ここではダイナミックレンジ情報保持部104には、デジタルカメラ1が扱うことが可能な最大のダイナミックレンジとして、1000%という情報が保持されているものとして説明する。なお、表示対象となる複数の画像の撮影時に設定されたダイナミックレンジの最大値でもよい。
次に、輝度情報取得部103は、取得したダイナミックレンジ情報1040を輝度情報1030へ変換する。第1の実施形態では、ダイナミックレンジ情報1040に記載されたダイナミックレンジの値を輝度へと置き換えて輝度情報とする。例えば、1000%を1000nitsに置き換える。
メタデータ生成部105は、メタデータ生成指示1021と輝度情報1030を受信し、メタデータを生成する。ここで、第1の実施形態では、メタデータとして最大輝度の情報を含むデータを示して説明を行うが、メタデータの種類はこれに限定されるものではない。例えば、メタデータに、色域、色温度、最低輝度等の情報が付加されていてもよい。また例えば、HDMIでサポートされるMaxCLL(Maximum Content Light Level)やMaxFALL(Maximum Frame Average Light Level)の情報が付加されていてもよい。
メタデータ生成部105は、取得した輝度情報1030をメタデータの形式(メタデータフォーマットとして定められたフォーマット形式)へと変換し、メタデータ1050として出力する。
送信信号生成部106は、送信信号生成指示1022とメタデータ1050を受信し、デジタルカメラ1に接続されたディスプレイ2へ送信する為の信号を生成する。具体的には、送信信号生成部106は、送信信号生成指示1022を受信すると、送信する信号の作成に必要な画像情報1070を画像ファイル保持部107から取得する。画像ファイル保持部107は、デジタルカメラ1によって撮影された様々なダイナミックレンジを持つ画像データが画像ファイルとして保持されている。そして送信信号生成部106は、取得した画像情報1070を信号の伝送に適した形式へと変換する。
本実施形態では、伝送に適した形式として、SMPTE ST 2084に規定されたEOTF(Electro Optical Transfer Function)に対応する形式へ変換する。ここで、SMPTE ST 2084に規定される信号は絶対輝度を表わす信号である。しかしながら、一般的に、デジタルカメラで撮影された画像ファイルの情報は、絶対輝度を表わすデータ形式では保存されてはおらず、相対的な明るさで保存されることが多い。そこで、本実施形態では、各画像ファイル内での特定の相対値(例えば18%)を特定の絶対輝度(例えば18nits)に割り当てると決め、どのようなダイナミックレンジを持つ画像ファイルであっても、その割り当てになるように形式を変換する。
例えば、画像ファイルのビット幅が10bit、最大のダイナミックレンジが100%の画像ファイルAがあり、ある画素値と対応するダイナミックレンジが次のようであるものとする。
*画像ファイルA(最大のダイナミックレンジ:100%)
・画素値0:ダイナミックレンジ0%
・画素値184:ダイナミックレンジ18%
・画素値1023:ダイナミックレンジ100%
この場合は、画素値0を0nits、画素値184を18nits、画素値1023(最大値)を、100nitsを表わす信号へと変換する。
・画素値0:ダイナミックレンジ0%
・画素値184:ダイナミックレンジ18%
・画素値1023:ダイナミックレンジ100%
この場合は、画素値0を0nits、画素値184を18nits、画素値1023(最大値)を、100nitsを表わす信号へと変換する。
ここで、デジタルカメラ1は設定を変更することで、記録する画像ファイルのダイナミックレンジを変更可能なものがある。そのような場合は、画像ファイルの画素値と対応するダイナミックレンジの値が、画像ファイル毎に異なる場合がある。
また、画像ファイルのビット幅が10bit、最大のダイナミックレンジが1000%の画像ファイルBがあり、ある画素値と対応するダイナミックレンジの値が次のようであるものとする。
また、画像ファイルのビット幅が10bit、最大のダイナミックレンジが1000%の画像ファイルBがあり、ある画素値と対応するダイナミックレンジの値が次のようであるものとする。
*画像ファイルB(最大のダイナミックレンジ:1000%)
・画素値0:ダイナミックレンジ0%
・画素値18:ダイナミックレンジ18%
・画素値1023:ダイナミックレンジ1000%
この場合は、画素値0を0nits、画素値18を18nits、画素値1023(最大値)を1000nitsを表わす信号へと変換する。
・画素値0:ダイナミックレンジ0%
・画素値18:ダイナミックレンジ18%
・画素値1023:ダイナミックレンジ1000%
この場合は、画素値0を0nits、画素値18を18nits、画素値1023(最大値)を1000nitsを表わす信号へと変換する。
このように、ダイナミックレンジが異なる画像ファイルが生成可能なデジタルカメラでは、一般的に、画像ファイルの形式毎に、画像ファイルの画素値と対応するダイナミックレンジに関する情報を内部に保持しているため、上述したような変換を行うことができる。
このような変換(以下、「輝度変換」と呼ぶ。)を行うことで、例えばダイナミックレンジが100%の画像ファイルでも、ダイナミックレンジが1000%の画像ファイルでも、ある相対値は同じ輝度を表わす信号へと変換されることとなる。
送信信号生成部106は、受信したメタデータ1050と、伝送に適した形式へと変換された画像情報とを関連付けて、送信信号1060として送信部108へ送信する。送信部108は、HDMIなどの規格の端子とその制御部より構成され、送信信号生成部106から送られる送信信号1060をデジタルカメラ1の外部へ送信する。
上記の通り第1の実施形態によれば、それぞれの画像において相対的に表現された画素値を、共通のダイナミックレンジにおける輝度値に変換した画像情報に、共通の最大輝度の情報を含むメタデータを付与する。ディスプレイ2では、メタデータに含まれる共通の最大輝度が、ディスプレイ2で表示可能な輝度となるように画像情報の輝度値を変換して表示することで、同じ輝度で表示を行いたい画像データの領域を、同一の輝度信号として扱うことが可能となる。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。第2の実施形態では、デジタルカメラ1に、他の外部デジタルカメラが接続可能であって、接続した外部デジタルカメラから画像ファイルを受信、保持することができる場合の処理について説明する。なお、他のデジタルカメラ1から画像ファイルを取得する形態として可搬の記録媒体を介して取得する形態でもよい。以下、一例として、画像ファイルを生成したデジタルカメラの情報に基づいてメタデータを決定する例について説明する。
次に、本発明の第2の実施形態について説明する。第2の実施形態では、デジタルカメラ1に、他の外部デジタルカメラが接続可能であって、接続した外部デジタルカメラから画像ファイルを受信、保持することができる場合の処理について説明する。なお、他のデジタルカメラ1から画像ファイルを取得する形態として可搬の記録媒体を介して取得する形態でもよい。以下、一例として、画像ファイルを生成したデジタルカメラの情報に基づいてメタデータを決定する例について説明する。
図3は、第2の実施形態のデジタルカメラ1における処理モジュールの構成を表したブロック図であり、例えば、処理の一部または全部がデジタルカメラ1に含まれる不図示のCPU及びメモリ等を用いて構成される。第2の実施形態におけるデジタルカメラ1の処理は、図2を参照して説明した処理と比較して、輝度情報取得部201における処理が異なる。それ以外は、第1の実施形態と同様であるため、同じ参照番号を付して適宜説明を省略する。
輝度情報取得部201は、輝度情報取得指示1020を受信すると、画像ファイル保持部107から表示対象の画像の画像情報1070を取得する。
図4は、ある画像情報に含まれる情報の一例を示した図である。画像情報は、画像のデータである画像データ部と、撮影時情報からなる撮影時情報部とから構成される。ここで、撮影時情報とは、例えば、カメラの設定から決定されたダイナミックレンジ、撮影日時、撮影に使用したカメラの識別情報、撮影モード(例えば、夜景の撮影に適した夜景モード等のカメラの動作モード)等の情報である。
輝度情報取得部201は、画像情報1070から、撮影に使用したカメラの識別情報を取得し、その識別情報に応じたダイナミックレンジ情報1040をダイナミックレンジ情報保持部104から取得する。第2の実施形態では、ダイナミックレンジ情報保持部104は、カメラの識別情報毎のダイナミックレンジ情報を保持しているものとする。なお、カメラの識別情報に該当するダイナミックレンジ情報が無い場合、ダイナミックレンジ情報保持部104は、他のカメラのダイナミックレンジ情報を代わりに提供する。
そして、輝度情報取得部201は、取得したダイナミックレンジ情報1040を、第1の実施形態と同様の方法で輝度情報1030へ変換し、メタデータ生成部105に出力する。メタデータ生成部105では、取得した輝度情報1030をメタデータの形式へと変換し、メタデータ1050として出力する。
送信信号生成部106では、第1の実施形態と同様に、受信したメタデータ1050と、伝送に適した形式へと変換された画像情報とを関連付けて、送信信号1060として送信部108へ送信する。
上記の通り第2の実施形態によれば、撮影したデジタルカメラが同一の画像に対して、共通のダイナミックレンジにおける輝度値に変換した画像情報に、共通の最大輝度の情報を含むメタデータを付与する。これにより、ディスプレイ2において、同一のデジタルカメラで撮影を行った画像に対して、同じ輝度で表示を行いたい画像データの領域を同一の輝度信号として扱うことが可能となる。
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。第1の実施形態では、デジタルカメラ1内の全ての画像に共通の最大輝度の情報を含むメタデータを付加する例について説明を行った。これに対し、第3の実施形態では、画像をグループ化し、グループ毎にグループに含まれる画像に対して同じメタデータを付加する例につい説明をする。
次に、本発明の第3の実施形態について説明する。第1の実施形態では、デジタルカメラ1内の全ての画像に共通の最大輝度の情報を含むメタデータを付加する例について説明を行った。これに対し、第3の実施形態では、画像をグループ化し、グループ毎にグループに含まれる画像に対して同じメタデータを付加する例につい説明をする。
図5は、第3の実施形態のデジタルカメラ1における処理モジュールの構成を表したブロック図であり、例えば、処理の一部または全部がデジタルカメラ1に含まれる不図示のCPU及びメモリ等を用いて構成される。第3の実施形態におけるデジタルカメラ1の処理モジュールは、図2を参照して説明した処理モジュールと比較して、グループ化処理部302を含み、これに伴い、再生表示制御部301、輝度情報取得部303、送信信号生成部304における処理が異なる。それ以外は、第1の実施形態と同様であるため、同じ参照番号を付して適宜説明を省略する。
再生表示制御部301は、再生制御開始指示1010を受信すると、グループ化処理部302へグループ化指示3010を送信し、輝度情報取得部303へ輝度情報取得指示3011を送信し、メタデータ生成部105へメタデータ生成指示1021を送信する。また、送信信号生成部304へ送信信号生成指示1022を送信する。ここで、再生表示制御部301から各処理モジュールへ送信される情報は、表示対象の画像、表示の仕方等の情報を含む。
グループ化処理部302は、グループ化指示3010を受け、画像ファイルのグループ化を行う。ここで言うグループ化とは、予め決められたグループ化条件に従って、同じメタデータを付加すべき画像ファイルをグループに分類することである。
グループ化条件は、例えば、画像の撮影日時、撮影モード、撮影後の画像処理の設定、シャッタースピード等の情報が、1つ以上同一もしくは近いことである。グループ化条件はデジタルカメラ1に予め設定されていても良いし、ユーザが選択可能なようにしてもよい。また、グループ化する際は、表示を行う順序を考慮に入れてグループ化を行ってもよい。
ここで図6Aから図6Cを用いて、グループ化処理の一例について説明する。図6Aは、画像ファイル保持部107が保持する画像ファイルの例を示す。なお、画像ファイルpicture001の画像から昇順に表示を行うものとし、グループ化条件として、撮影日時と撮影モードの両方が同じであることとする。
図6Bは、グループ化条件のみに基づいてグループ化した例である。図6Bでは、画像ファイルpicture001、picture002、picture004、picture005が、グループ1、画像ファイルpicture003のみがグループ2となっている。
図6Cは、表示を行う順序(表示順)を考慮に入れてグループ化した例である。最初に表示を行う画像ファイルpicture001から昇順にグループ化条件が同じとなる画像ファイルをグループとしていく。画像ファイルpicture001からpicture002まではグループ化条件を満たしているので、同一グループ(グループ1)である。画像ファイルpicture003からはまた別のグループとしてグループ化を行うが、その次の画像ファイルpicture004は画像ファイルpicture003とのグループ化条件を満たしていない。そのため、画像ファイルpicture003は単一の画像ファイルによるグループ(グループ2)となる。同様に、残りの画像ファイルpicture004とpicture005はグループ化条件を満たしているため、同一のグループ(グループ3)とする。
ここで、表示を行う順序を考慮に入れてグループ化するのは、あるグループに含まれる画像を連続して表示しないのであれば、画像処理が変化することによる弊害を人間が感じにくい為、異なるメタデータを付与することによる弊害が少ないためである。また、グループに含まれる画像ファイルの数が少ない方が、より画像に適した最大輝度を設定することが可能になるため、画像に適したダイナミックレンジで表示できる可能性が高くなるからである。
グループ化処理部302は、上述したような方法で画像ファイルをグループ化した情報を、グループ化情報3020として輝度情報取得部303及び送信信号生成部304へ出力する。図7はグループ化情報3020の一例を示す図である。
輝度情報取得部303は、輝度情報取得指示3011とグループ化情報3020を取得すると、グループ化情報3020に記述されたグループ毎に、輝度情報を取得する。ここでは、各グループに属する画像ファイルが持つダイナミックレンジの中で、最も大きいダイナミックレンジを取得し、それを輝度へと置き換え、そのグループの最大輝度情報とする。例えば、グループ内の最大のダイナミックレンジが1000%であれば、そのグループの最大輝度情報は1000nitsとなる。
図6Cに示す例では、グループ1の最大輝度情報は200nits、グループ2の最大輝度情報は300nits、グループ3の輝度情報は400nitsとなる。
なお、第3の実施形態では、グループの最大輝度情報を各グループに属する画像ファイルが持つダイナミックレンジの中で最も大きいダイナミックレンジから取得する例を示したが、輝度情報の取得方法はそれに限定されない。画像の撮影時情報に含まれる情報(例えば撮影モード)毎に対応する輝度情報を記したテーブルを保持しておき、それを用いて各グループの画像ファイルの撮影時情報から最大輝度情報を取得してもよい。
送信信号生成部304は、送信信号生成指示1022とメタデータ1050を受信し、デジタルカメラ1に接続されたディスプレイ2へ送信する為の信号を生成する。具体的には、送信信号生成部304は、送信信号生成指示1022を受信すると、送信する信号の作成に必要な画像情報1070を画像ファイル保持部107から取得し、グループ化情報3020をグループ化処理部302から取得する。そして送信信号生成部106は取得した画像情報1070を、第1の実施形態で説明した方法により輝度変換し、更に、信号の伝送に適した形式へと変換する。第3の実施形態では、伝送に適した形式としてSMPTE ST 2084に規定されたEOTFに対応する形式へ変換する。送信信号生成部304は、受信したメタデータ1050と、伝送に適した形式へと変換した画像情報を関連付けて、送信信号3040として送信部108へ送信する。
このように、画像をグループ分けし、グループ毎に、共通のダイナミックレンジにおける輝度値に変換した画像情報に、共通の最大輝度の情報を含むメタデータを付与する。これにより、ディスプレイ2において、グループ毎に、同じ輝度で表示を行いたい画像データの領域を、同一の輝度信号として扱うことが可能となる。
<第4の実施形態>
次に、本発明の第4の実施形態について説明する。上述した第1~第3の実施形態では、各画像に1つのメタデータを生成する場合について説明した。これに対し、第4の実施形態では、各画像に、全ての画像に共通する共通メタデータと、画像毎の個別メタデータをそれぞれ生成し、スライドショウの再生間隔によって、それら2つのメタデータから最終的なメタデータを生成する例について説明する。
次に、本発明の第4の実施形態について説明する。上述した第1~第3の実施形態では、各画像に1つのメタデータを生成する場合について説明した。これに対し、第4の実施形態では、各画像に、全ての画像に共通する共通メタデータと、画像毎の個別メタデータをそれぞれ生成し、スライドショウの再生間隔によって、それら2つのメタデータから最終的なメタデータを生成する例について説明する。
なお、第4の実施形態におけるデジタルカメラ1の各処理モジュールの構成は、図3に示すものと同様であるが、処理の詳細内容が異なるため、図3を参照して以下に説明する。
ユーザ指示取得部101は、例えばデジタルカメラ1に配置されたボタンやタッチパネル等のユーザインタフェースとその処理部からなり、ユーザからのユーザ指示41を受け付ける。第4の実施形態ではユーザ指示41は、スライドショウ表示指示を含む。なお、スライドショウ表示指示とは、デジタルカメラ1内に保持された画像ファイルを、ユーザが指定した時間間隔で切り替えて順次表示するスライドショウ表示を、デジタルカメラ1に接続されたディスプレイ2で行う、という指示である。このスライドショウ表示指示は、表示を開始する画像の指定や、表示を切り替える時間間隔(以下、切り替え時間)の指定を含む。
ユーザ指示取得部101は、ユーザからスライドショウ表示指示を受け付けると、再生表示制御部102へ再生制御開始指示1010を送信する。
再生表示制御部102は、再生制御開始指示1010を受信すると、輝度情報取得部201へ輝度情報取得指示1020を送信し、メタデータ生成部105へメタデータ生成指示1021を送信する。また、送信信号生成部106へ送信信号生成指示1022を送信する。ここで、各処理モジュールへ送信される情報は、スライドショウ表示指示により指定された、表示を開始する画像や、表示の切り替え時間等の情報を含む。
輝度情報取得部201は、輝度情報取得指示1020を受け、最大輝度情報を取得する。第4の実施形態における最大輝度情報は、画像ファイル保持部107に保持された画像全体に共通の共通輝度情報と、画像毎の個別輝度情報とから構成される。なお、第4の実施形態では、画像ファイル保持部107に保持された画像全体に共通の共通輝度情報を取得するが、本発明はこれに限られるものではない。例えば、第2の実施形態で説明したように他のデジタルカメラにより撮影された画像ファイルを有する場合には、デジタルカメラ毎に共通の共通輝度情報を取得してもよい。また、スライドショウ表示指示に表示する複数の画像が指定されている場合には、指定された複数の画像に共通の共通輝度情報を取得してもよい。
第4の実施形態における輝度情報は、ダイナミックレンジの情報から生成される。そこで、輝度情報取得部201は、輝度情報取得指示1020を受信すると、まず共通のダイナミックレンジ情報として、ダイナミックレンジ情報保持部104からダイナミックレンジ情報1040を取得する。なお、共通のダイナミックレンジは、第1の実施形態と同様に、デジタルカメラ1が扱うことが可能な輝度の範囲とする。一例として、ここでは、ダイナミックレンジ情報保持部104には、デジタルカメラ1が扱うことが可能な最大のダイナミックレンジとして、1000%という情報が保持されているものとする。
次に、輝度情報取得部201は、画像毎のダイナミックレンジ情報を取得する為、画像ファイル保持部107から画像情報1070を取得する。画像情報には、図4を参照して上述したように、画像のデータである画像データ部と、撮影時情報からなる撮影時情報部から構成される。輝度情報取得部201は、取得した画像情報1070内の撮影時情報部に含まれるダイナミックレンジ情報を、画像毎のダイナミックレンジ情報とする。
輝度情報取得部201は、取得した共通のダイナミックレンジ情報と画像毎のダイナミックレンジ情報を、それぞれ共通輝度情報と個別輝度情報へ変換する。第4の実施形態では、第1の実施形態と同様に、それぞれのダイナミックレンジ情報に記載されたダイナミックレンジの値を輝度へと置き換えて輝度情報とする。例えば1000%を1000nitsへ置き換える。そして、作成した共通輝度情報と個別輝度情報とを合わせて、輝度情報1030とする。
メタデータ生成部105は、メタデータ生成指示1021と輝度情報1030を受信し、メタデータを生成する。ここで、第4の実施形態では、メタデータとして最大輝度の情報を含むデータを示して説明を行うが、メタデータの種類はこれに限定されるものではない。例えば、メタデータに、色域、色温度、最低輝度等の情報が付加されていてもよい。また例えば、HDMIでサポートされるMaxCLLやMaxFALLの情報が付加されていてもよい。
メタデータ生成部105は、取得した輝度情報1030をメタデータの形式(メタデータフォーマットとして定められたフォーマット形式)へと変換し、それをメタデータ1050として出力する。第4の実施形態においては、メタデータ1050は、共通メタデータと、個別メタデータを含む。
送信信号生成部106は、送信信号生成指示1022とメタデータ1050を受信し、デジタルカメラ1に接続されたディスプレイ2へ送信する為の信号を生成する。具体的には、送信信号生成部106は、送信信号生成指示1022を受信すると、送信する信号の作成に必要な画像情報1070を画像ファイル保持部107から取得する。そして送信信号生成部106は取得した画像情報1070を、第1の実施形態で説明した方法により輝度変換し、更に、信号の伝送に適した形式へと変換する。第4の実施形態では、伝送に適した形式としてSMPTE ST 2084に規定されたEOTFに対応する形式へ変換する。
次に、本第4の実施形態における最大輝度の決定方法について説明する。送信信号生成部106は、送信信号生成指示1022に含まれるスライドショウの表示の切り替え時間を基に、共通メタデータと個別メタデータを合成して送信用のメタデータを生成する。ここで、合成比率は、切り替え時間が短いほど共通メタデータの比率が高くし、反対に切り替え時間が長いほど個別メタデータの比率を高くする。これは時間間隔が短い程、メタデータの変化によるテレビ側の画像処理の変更が頻繁に発生する為に、画像間でメタデータの差を小さくするためである。また、個別メタデータを用いた方が、画像単体で見ればテレビ側の画像処理はより望ましくなる傾向が強い為、時間間隔が長い場合(画像処理の変更があまり発生しない場合)は画像毎のメタデータを重視する。
そこで、送信信号生成部106は、内部に切り替え時間に応じて、共通メタデータと個別メタデータの合成比率を決定するテーブルを予め保持しておく。そして、このテーブルの情報に応じて、共通メタデータと個別メタデータを合成し、送信用のメタデータを生成する。そして、送信信号生成部106は、合成したメタデータと、伝送に適した形式へと変換した画像情報とを関連付けて、送信信号1060として送信部108へ送信する。
このように、スライドショウの切り替え時間に応じて最大輝度を調整することで、より見やすい表示が行えるようにすることが可能となる。
なお、上述した第1から第4の実施形態に示す処理を行うかどうかを、例えばユーザ操作により設定可能としてもよい。つまり、画像ごとに当該画像のダイナミックレンジに基づく最大輝度を外部装置に送信するモードと、第1から第4の実施形態のように最大輝度を外部装置に送信するモードとを有するようにしてもよい。
<他の実施形態>
上述した第1から第4の実施形態では、デジタルカメラ1において、ディスプレイ2に出力する画像ファイルを生成する例について説明したが、本発明はこれに限られるものではない。例えば、図2、図3または図5に示す処理モジュールを、外部の画像処理装置において構成し、画像ファイルを撮像装置から取得するようにしてもよい。その場合、撮像装置と画像処理装置とにより、撮像システムを構成することができる。
上述した第1から第4の実施形態では、デジタルカメラ1において、ディスプレイ2に出力する画像ファイルを生成する例について説明したが、本発明はこれに限られるものではない。例えば、図2、図3または図5に示す処理モジュールを、外部の画像処理装置において構成し、画像ファイルを撮像装置から取得するようにしてもよい。その場合、撮像装置と画像処理装置とにより、撮像システムを構成することができる。
また、本発明は、上述した第1から第4の実施形態を適宜組み合わせて実施してもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
本願は、2017年6月28日提出の日本国特許出願特願2017-126515を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。
Claims (18)
- 撮像装置により得られた画像データを処理する画像処理装置であって、
前記撮像装置により得られた画像データと、前記画像データの最大輝度を示すための情報である最大輝度情報とを、外部装置に出力する出力手段と、
前記撮像装置が取り扱い可能な最大輝度を取得する取得手段と、
前記最大輝度情報として、前記取得手段により取得された最大輝度を出力するよう前記出力手段を制御する制御手段と、
を有することを特徴とする画像処理装置。 - 前記撮像装置は複数の輝度の範囲を設定可能であって、
前記取得手段は、前記設定可能な複数の輝度の範囲に含まれる輝度のうち、最大輝度を取得することを特徴とする請求項1に記載の画像処理装置。 - 前記画像データを得るために用いられた輝度の範囲に基づく画像データの画素値を、前記撮像装置が取り扱い可能な輝度の範囲に基づく輝度値に変換する変換手段をさらに有することを特徴とする請求項1または2に記載の画像処理装置。
- 前記制御手段は、前記変換手段により変換された輝度値を出力するよう前記出力手段を制御することを特徴とする請求項3に記載の画像処理装置。
- 前記画像処理装置は、複数の撮像装置により得られた複数の画像データを処理可能であり、
前記取得手段は、前記複数の画像データのそれぞれを取得した撮像装置の情報に基づき、前記複数の撮像装置のそれぞれが取り扱い可能な最大輝度を取得することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 - 前記制御手段は、前記画像データのメタデータとして最大輝度情報を出力するよう前記出力手段を制御することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記輝度の範囲は、ダイナミックレンジであることを特徴とする請求項2に記載の画像処理装置。
- 複数の輝度の範囲を有する複数の画像データを処理可能な画像処理装置であって、
出力される画像データと、前記画像データの最大輝度を示すための情報である最大輝度情報とを、外部装置に出力する出力手段と、
撮像により得られた複数の画像データを分類する分類手段と、
前記出力手段により、所定のグループに分類された画像データの1つを出力する場合、前記最大輝度情報として、前記出力される画像データの最大輝度ではなく、前記所定のグループに分類された複数の画像データにおける最大輝度を出力するよう前記出力手段を制御する制御手段と、
を有することを特徴とする画像処理装置。 - 前記出力される画像データに用いられた輝度の範囲に基づく画像データの画素値を、前記出力される画像データを撮像した撮像装置が取り扱い可能な輝度の範囲に基づく輝度値に変換する変換手段をさらに有する請求項8に記載の画像処理装置。
- 前記制御手段は、前記変換手段により変換された輝度値を出力するよう前記出力手段を制御することを特徴とする請求項9に記載の画像処理装置。
- 前記分類手段は、前記複数の画像データの撮像時の情報に基づき、前記複数の画像を分類することを特徴とする請求項8乃至10のいずれか1項に記載の画像処理装置。
- 前記分類手段は、前記画像データの表示順において、連続して表示する画像がともに所定の条件を満たす場合、同じグループに分類することを特徴とする請求項8乃至11のいずれか1項に記載の画像処理装置。
- 前記制御手段は、前記画像データのメタデータとして最大輝度情報を出力するよう前記出力手段を制御することを特徴とする請求項8乃至12のいずれか1項に記載の画像処理装置。
- 前記輝度の範囲は、ダイナミックレンジであることを特徴とする請求項2及び8乃至13のいずれか1項に記載の画像処理装置。
- 撮像装置により得られた画像データを処理する画像処理方法であって、
出力手段が、前記撮像装置により得られた画像データと、前記画像データの最大輝度を示すための情報である最大輝度情報とを、外部装置に出力する出力工程と、
取得手段が、前記撮像装置が取り扱い可能な最大輝度を取得する取得工程と、
制御手段が、前記最大輝度情報として、前記取得手段により取得された最大輝度を出力するよう前記出力手段を制御する制御工程と、
を有することを特徴とする画像処理方法。 - 複数の輝度の範囲を有する複数の画像データを処理可能な画像処理方法であって、
出力手段が、出力される画像データと、前記画像データの最大輝度を示すための情報である最大輝度情報とを、外部装置に出力する出力工程と、
分類手段が、撮像により得られた複数の画像データを分類する分類工程と、
制御手段が、前記出力工程で、所定のグループに分類された画像データの1つを出力する場合、前記最大輝度情報として、前記出力される画像データの最大輝度ではなく、前記所定のグループに分類された複数の画像データにおける最大輝度を出力するよう前記出力手段を制御する制御工程と、
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1乃至14のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
- 請求項17に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201880043095.1A CN110800285B (zh) | 2017-06-28 | 2018-06-07 | 图像处理设备、图像处理方法和存储介质 |
US16/708,164 US11252335B2 (en) | 2017-06-28 | 2019-12-09 | Image processing apparatus and method, and non-transitory computer-readable storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017126515A JP6948173B2 (ja) | 2017-06-28 | 2017-06-28 | 画像処理装置及び方法、撮像装置、及び、撮像システム |
JP2017-126515 | 2017-06-28 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/708,164 Continuation US11252335B2 (en) | 2017-06-28 | 2019-12-09 | Image processing apparatus and method, and non-transitory computer-readable storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019003850A1 true WO2019003850A1 (ja) | 2019-01-03 |
Family
ID=64740614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/021859 WO2019003850A1 (ja) | 2017-06-28 | 2018-06-07 | 画像処理装置及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11252335B2 (ja) |
JP (1) | JP6948173B2 (ja) |
CN (1) | CN110800285B (ja) |
WO (1) | WO2019003850A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7256663B2 (ja) * | 2019-03-26 | 2023-04-12 | キヤノン株式会社 | 画像出力装置およびその制御方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015169722A (ja) * | 2014-03-05 | 2015-09-28 | ソニー株式会社 | 撮像装置 |
JP2016058848A (ja) * | 2014-09-08 | 2016-04-21 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
WO2016072347A1 (ja) * | 2014-11-07 | 2016-05-12 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
JP2017060113A (ja) * | 2015-09-18 | 2017-03-23 | 日本放送協会 | Hdr−sdr一体化制作用ビデオカメラ及びアパーチャ操作装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014052494A (ja) * | 2012-09-06 | 2014-03-20 | Sharp Corp | 画像表示装置、画像表示装置の制御方法、画像表示装置の制御プログラムおよびその制御プログラムを記録した記録媒体 |
CN110213459B (zh) * | 2014-06-10 | 2021-11-30 | 松下知识产权经营株式会社 | 显示方法和显示装置 |
JP6421504B2 (ja) | 2014-07-28 | 2018-11-14 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
KR102322709B1 (ko) * | 2015-04-29 | 2021-11-08 | 엘지디스플레이 주식회사 | 영상 처리 방법 및 영상 처리 회로와 그를 이용한 표시 장치 |
EP3136375B1 (en) * | 2015-08-31 | 2020-07-08 | Lg Electronics Inc. | Image display apparatus |
JP6729055B2 (ja) * | 2016-06-23 | 2020-07-22 | セイコーエプソン株式会社 | 映像処理装置、表示装置および映像処理方法 |
CN106101679B (zh) * | 2016-08-23 | 2018-01-12 | 青岛海信电器股份有限公司 | 高动态范围信号的处理方法及处理系统 |
-
2017
- 2017-06-28 JP JP2017126515A patent/JP6948173B2/ja active Active
-
2018
- 2018-06-07 CN CN201880043095.1A patent/CN110800285B/zh active Active
- 2018-06-07 WO PCT/JP2018/021859 patent/WO2019003850A1/ja active Application Filing
-
2019
- 2019-12-09 US US16/708,164 patent/US11252335B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015169722A (ja) * | 2014-03-05 | 2015-09-28 | ソニー株式会社 | 撮像装置 |
JP2016058848A (ja) * | 2014-09-08 | 2016-04-21 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
WO2016072347A1 (ja) * | 2014-11-07 | 2016-05-12 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
JP2017060113A (ja) * | 2015-09-18 | 2017-03-23 | 日本放送協会 | Hdr−sdr一体化制作用ビデオカメラ及びアパーチャ操作装置 |
Also Published As
Publication number | Publication date |
---|---|
US20200120254A1 (en) | 2020-04-16 |
CN110800285B (zh) | 2021-07-27 |
JP2019009731A (ja) | 2019-01-17 |
US11252335B2 (en) | 2022-02-15 |
CN110800285A (zh) | 2020-02-14 |
JP6948173B2 (ja) | 2021-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10082723B2 (en) | Image capturing apparatus for generating a high dynamic range video frame from multiple image frames with different characteristics | |
US10567727B2 (en) | Reproduction method, creation method, reproduction device, creation device, and recording medium | |
JP2017068207A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10600170B2 (en) | Method and device for producing a digital image | |
US11438546B2 (en) | Image capturing apparatus and playback apparatus and control methods thereof and non-transitory computer-readable storage medium | |
US10091415B2 (en) | Image processing apparatus, method for controlling image processing apparatus, image pickup apparatus, method for controlling image pickup apparatus, and recording medium | |
US10009588B2 (en) | Image processing apparatus and imaging apparatus | |
US11252335B2 (en) | Image processing apparatus and method, and non-transitory computer-readable storage medium | |
US11606479B2 (en) | Image processing system and image processing method | |
US10880491B2 (en) | Imaging apparatus including controller for converting dynamic range image data | |
JP2007097032A (ja) | 画像表示装置、画像表示方法およびディジタルカメラ | |
JP2019080156A (ja) | 画像処理方法および画像処理装置 | |
JP2013115666A (ja) | 撮像装置、動画記録装置、制御方法、プログラム、及び動画記録システム | |
US10542207B2 (en) | Image processing apparatus and image processing method | |
US20190266710A1 (en) | Image processing apparatus, image processing method, and storage medium | |
US20240171696A1 (en) | Image processing apparatus, control method and storage medium | |
US11283938B2 (en) | Communication apparatus communicating with another communication apparatus based on performance, control method, and storage medium | |
US20210385375A1 (en) | Image capturing apparatus, method of controlling the same, and non-transitory computer-readable storage medium | |
JP2018019122A (ja) | 画像データ処理装置および撮像装置 | |
US20210218887A1 (en) | Imaging apparatus | |
JP2021078051A (ja) | 画像処理装置および画像制御方法、プログラム、並びに記憶媒体 | |
JP2020064102A (ja) | 表示装置および表示方法 | |
JP2020120311A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2020120211A (ja) | 表示装置およびその制御方法 | |
JP2009124224A (ja) | カラーデータ処理装置および表示データ処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18822828 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18822828 Country of ref document: EP Kind code of ref document: A1 |