WO2018003938A1 - 映像信号処理装置、映像信号処理方法、およびプログラム - Google Patents

映像信号処理装置、映像信号処理方法、およびプログラム Download PDF

Info

Publication number
WO2018003938A1
WO2018003938A1 PCT/JP2017/024009 JP2017024009W WO2018003938A1 WO 2018003938 A1 WO2018003938 A1 WO 2018003938A1 JP 2017024009 W JP2017024009 W JP 2017024009W WO 2018003938 A1 WO2018003938 A1 WO 2018003938A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
output
unit
video signal
conversion
Prior art date
Application number
PCT/JP2017/024009
Other languages
English (en)
French (fr)
Inventor
近藤 哲二郎
Original Assignee
アイキューブド研究所株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイキューブド研究所株式会社 filed Critical アイキューブド研究所株式会社
Priority to EP17820292.5A priority Critical patent/EP3481075A4/en
Priority to JP2018525274A priority patent/JPWO2018003938A1/ja
Priority to US16/313,531 priority patent/US10764632B2/en
Priority to CN201780038384.8A priority patent/CN109511285A/zh
Publication of WO2018003938A1 publication Critical patent/WO2018003938A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal

Definitions

  • the present invention relates to a video signal processing apparatus and the like for performing video signal processing.
  • mismatch between the system and the process means that image degradation occurs due to a process that does not match the system characteristics. More specifically, the mismatch between the system and the process means, for example, that processing is performed without considering the optical characteristics of the camera, thereby emphasizing image degradation resulting from the optical characteristics of the camera. It is.
  • the video signal processing apparatus includes a system characteristic receiving unit that receives one or more system characteristics from when an image is acquired until the image is output, an input image receiving unit that receives an input image, A video signal processing apparatus including a conversion processing unit that performs a conversion process of acquiring an output image from an input image using a system characteristic, and an output unit that outputs an output image acquired by the conversion processing unit.
  • Such a configuration enables video signal processing considering one or more system characteristics.
  • the video signal processing apparatus is a video signal processing apparatus that includes camera characteristics that are characteristics of a camera that captures an image, as compared to the first aspect.
  • Such a configuration enables video signal processing in consideration of camera characteristics.
  • the video signal processing apparatus is a video signal processing apparatus that includes a transmission path characteristic that is a characteristic of a transmission path for transmitting an image, as compared with the first invention.
  • Such a configuration enables video signal processing in consideration of transmission path characteristics.
  • the video signal processing apparatus is a video signal processing apparatus in which the system characteristic includes an output device characteristic that is a specific characteristic of the output apparatus that outputs an image, as compared with the first aspect.
  • Such a configuration enables video signal processing in consideration of output device characteristics.
  • the system characteristic accepting unit is a video signal processing device that accepts one or more system characteristics from the outside. is there.
  • This configuration enables video signal processing using system characteristics acquired from the outside.
  • the video signal processing apparatus provides two or more correspondence records having one or more correspondence records for taking correspondence between an input image and an output image with respect to any one of the first to fifth aspects.
  • Such a configuration enables video signal processing taking into account the characteristics of the system from image acquisition to output.
  • the video signal processing apparatus has an image conversion arithmetic expression that is an arithmetic expression for performing image conversion and one or more system characteristics with respect to any one of the first to fifth inventions.
  • a storage unit that stores one or more change information that is information for changing the parameters of the image conversion arithmetic expression, and the conversion processing unit include one or more system characteristics received by the system characteristic reception unit.
  • a video signal processing apparatus that obtains change information corresponding to, changes an image conversion arithmetic expression using the change information, and performs conversion processing to acquire an output image from an input image using the changed image conversion arithmetic expression .
  • Such a configuration enables video signal processing taking into account the characteristics of the system from image acquisition to output.
  • the video signal processing apparatus is a 1 for changing the space-time tap arrangement in association with one or more system characteristics with respect to any one of the first to fifth aspects.
  • Such a configuration enables video signal processing taking into account the characteristics of the system from image acquisition to output.
  • the video signal processing apparatus enables video signal processing in consideration of one or more system characteristics.
  • Block diagram of video signal processing apparatus 1 according to Embodiment 1 A flowchart for explaining the operation of the video signal processing apparatus 1 Overview of the computer system Block diagram of the computer system
  • Embodiment 1 a video signal processing device that converts an input image, acquires an output image, and outputs it using system characteristics described later will be described.
  • the system characteristics are, for example, characteristics of one or more devices and transmission path characteristics.
  • FIG. 1 is a block diagram of the video signal processing apparatus 1 in the present embodiment.
  • the video signal processing apparatus 1 includes a storage unit 11, a reception unit 12, a processing unit 13, and an output unit 14.
  • the reception unit 12 includes an input image reception unit 121 and a system characteristic reception unit 122.
  • the processing unit 13 includes a conversion processing unit 131.
  • the storage unit 11 stores various types of information.
  • the various types of information are, for example, one or more lookup tables (hereinafter referred to as “LUT” as appropriate).
  • the various types of information are, for example, 1 or 2 or more change information and 1 or 2 or more image conversion arithmetic expressions.
  • the lookup table has one or more corresponding records.
  • the correspondence record is information for taking correspondence between one or more input images and one or more output images.
  • the storage unit 11 may store two or more lookup tables in association with one or two or more system characteristics.
  • the information for taking correspondence between the input image and the output image is information for taking correspondence between all or part of the input image and all or part of the output image.
  • the correspondence record is, for example, an arithmetic expression for converting an image or one or more parameter groups given to an arithmetic expression for converting an image.
  • the correspondence record may be, for example, an arithmetic expression for calculating the median of the pixel values of the spatiotemporal block.
  • the image conversion arithmetic expression is an arithmetic expression for performing image conversion.
  • the arithmetic expression is, for example, a product-sum operation in which a space is tapped.
  • the parameters include, for example, a product-sum operation coefficient, a determination parameter for determining system characteristics, and the like.
  • the tap is the pixel value of the pixel of interest of the input image and its neighboring pixels.
  • an arithmetic expression with a space-time tap is a product that multiplies the pixel values of the pixel of interest in the input image and the neighboring pixels by a predetermined coefficient and calculates the sum of all the multiplied results.
  • This is an arithmetic expression for the sum operation.
  • the target pixel of the input image and the pixels in the vicinity thereof are two or more pixels, and the number thereof is not limited.
  • the change information is information for changing the input image.
  • the change information is, for example, information for changing the parameters of the image conversion arithmetic expression.
  • the information for changing the parameter is, for example, an arithmetic expression that determines a product-sum operation coefficient according to the system characteristics.
  • the storage unit 11 may store one or more pieces of change information in association with one or two or more system characteristics.
  • the storage unit 11 may store one or more image conversion arithmetic expressions in association with one or more system characteristics.
  • the change information may be information for changing the space-time tap arrangement.
  • the storage unit 11 may store one or two or more pieces of change information for changing the space-time tap arrangement in association with one or two or more system characteristics.
  • the spatiotemporal tap arrangement is information indicating which pixel is used for processing among the target pixel of the input image and its neighboring pixels.
  • the change information may be information for changing the product-sum operation coefficient.
  • the storage unit 11 may store one or more pieces of change information for changing the coefficient in association with one or more system characteristics. It is preferable that the change information includes information for changing the space-time tap arrangement and a coefficient of product-sum operation.
  • the system characteristic is one or more characteristics from when an image is acquired until the image is output. Acquiring an image is, for example, taking a picture or reading an image. Further, outputting an image includes, for example, showing an image to a user, displaying an image on a display, and the like.
  • one or more characteristics from when an image is acquired to when the image is output are, for example, camera characteristics that are characteristics of a camera that captures an image, characteristics of a transmission path, characteristics of an output device, and the like.
  • the system characteristics are, for example, the overall characteristics of the system from when an image is acquired until the image is output.
  • the characteristics of the entire system are, for example, the relationship between the bit accuracy of the imaging device, the bit accuracy of the transmission path, and the bit accuracy of the output device.
  • the bit accuracy (1) of the imaging device is 14 bits
  • the bit accuracy (2) of the transmission path is 10 bits
  • the bit accuracy (3) of the output device is 12 bits
  • the characteristics of the entire system are, for example, the relationship between the number of pixels of the imaging device, the number of pixels of the image format used in the transmission path, and the number of pixels of the output device.
  • the system characteristics include camera characteristics that are characteristics of a camera that captures an image.
  • the camera characteristic is, for example, an optical characteristic of the camera.
  • the optical characteristic of the camera is, for example, the optical characteristic of a lens.
  • the optical characteristics of the lens are, for example, MTF (Modulation / Transfer / Function) and wavelength characteristics of the lens.
  • the optical characteristic of the camera is a characteristic of the optical filter of the camera.
  • the characteristic of the optical filter is, for example, the characteristic of an optical low-pass filter attached to the sensor, for example, MTF.
  • the camera optical characteristics are, for example, shutter characteristics.
  • the shutter characteristics include, for example, shutter speed, shutter method (rolling shutter method or global shutter method), and the like.
  • the camera characteristic is information indicating the presence / absence of an optical LPF of an image sensor of the camera, for example.
  • the camera characteristic is, for example, information for specifying the device type of the image sensor.
  • Information specifying the device type of the image sensor is, for example, “CCD” or “CMOS”.
  • the camera characteristic is, for example, the bit length of the camera.
  • the camera characteristics include, for example, a sensor light-to-electricity conversion characteristic in addition to the camera optical characteristics.
  • the conversion characteristics from light to electricity are, for example, quantization characteristics and spatiotemporal sampling.
  • the system characteristics include a transmission path characteristic that is a characteristic of a transmission path for transmitting an image.
  • the transmission path characteristics are, for example, information for specifying an encoding method, an encoding parameter, and a bit rate. Further, the information specifying the encoding method is, for example, “MPEG2”, “H.264”, “H.265”, or the like.
  • the system characteristics include an output device characteristic that is a specific characteristic of an output device that outputs an image.
  • the output device characteristics include, for example, display resolution, display output limit bit length, and display output frame rate.
  • the output device characteristics are, for example, the maximum luminance of the display, the light source of the display, and the driving method of the presentation element.
  • the output device characteristic is, for example, the type of display. Examples of the display are CRT, liquid crystal, plasma, organic EL, projector, and the like.
  • the reception unit 12 receives various types of information.
  • the various types of information are, for example, input images, system characteristics, information on the storage unit 11, and the like.
  • reception is usually reception of information transmitted via a wired or wireless communication line, but reception of information input from an input device such as a keyboard, mouse, touch panel, optical disk, magnetic disk, It is a concept including reception of information read from a recording medium such as a semiconductor memory.
  • the input image receiving unit 121 receives an input image.
  • the input image receiving unit 121 receives an input image.
  • the input image receiving unit 121 can be realized by, for example, a wireless or wired communication unit, a broadcast receiving unit, or the like.
  • the input image receiving unit 121 reads an input image from a recording medium (not shown).
  • the system characteristic accepting unit 122 accepts one or more system characteristics.
  • the system characteristics are one or more characteristics from when an image is acquired until the image is output.
  • the system characteristic accepting unit 122 may accept one or more system characteristics from the outside.
  • the system characteristic accepting unit 122 may receive one or more system characteristics from the outside (for example, a broadcasting device (not shown)).
  • the system characteristic accepting unit 122 may read one or more system characteristics from a recording medium (not shown).
  • the system characteristic accepting unit 122 may accept one or more system characteristics that are input from the user.
  • the system characteristic accepting unit 122 may acquire one or more system characteristics associated with the input image. In such a case, the receiving unit 12 receives an input image and one or more system characteristics.
  • system characteristic accepting unit 122 may acquire the output device characteristic from the connection information with the output destination device. For example, the system characteristic accepting unit 122 may acquire model information of an output device or the like based on HDMI EDID (Extended-display-identification-data).
  • HDMI EDID Extended-display-identification-data
  • system characteristic accepting unit 122 may acquire the system characteristic from the input image.
  • the system characteristic reception unit 122 may acquire an encoding parameter at the time of transmission of the image from the input image.
  • the system characteristic accepting unit 122 may analyze the input image and estimate the system characteristic. For example, the system characteristic accepting unit 122 may estimate the lens characteristic from the sense of resolution at the center of the image and the sense of resolution at the peripheral part. Further, the system characteristic accepting unit 122 may estimate the shutter time from the motion vector of the image and the amount of blur in the motion direction. It can be estimated that the shutter time is short if the image is moving largely during one frame but the image is hardly blurred. That is, the system characteristic accepting unit 122 acquires the amount of movement of the subject during one frame and acquires information indicating the degree of blur of the subject. Then, the system characteristic accepting unit 122 acquires the shutter time by using the amount of movement of the subject and information indicating the degree of blur.
  • the system characteristic accepting unit 122 holds, for example, a correspondence table between information indicating the amount of movement of the subject and the degree of blur and the shutter time, and using the correspondence table, the amount of motion of the subject and the amount of blur are determined.
  • the shutter time corresponding to the information indicating the degree of is acquired.
  • the technique for acquiring the shutter time can be a known technique.
  • the processing unit 13 performs various processes.
  • the various processes are processes performed by the conversion processing unit 131, for example.
  • the conversion processing unit 131 performs conversion processing for acquiring an output image from an input image using system characteristics.
  • the system characteristic here is usually one or more system characteristics received by the system characteristic receiving unit 122.
  • the conversion processing unit 131 selects a lookup table corresponding to one or more system characteristics received by the system characteristic reception unit 122 from two or more lookup tables in the storage unit 11, and uses the selected lookup table, You may perform the conversion process which acquires an output image from an input image.
  • the conversion processing unit 131 acquires change information corresponding to one or more system characteristics received by the system characteristic receiving unit 122, changes the image conversion calculation expression using the change information, and uses the changed image conversion calculation expression. Thus, a conversion process for acquiring an output image from an input image may be performed.
  • the conversion processing unit 131 may acquire change information corresponding to one or more system characteristics received by the system characteristic receiving unit 122, and perform conversion processing for acquiring an output image from the input image using the change information.
  • the conversion processing unit 131 it is preferable for the conversion processing unit 131 to perform the above processing using two or more types of system characteristics.
  • the conversion processing unit 131 performs different processing on the input image according to the relationship between two or more system characteristics received by the system characteristic receiving unit 122.
  • the conversion processing unit 131 performs different processing on the input image according to the information.
  • the conversion processing unit 131 holds a correspondence table between the bit length Cb of the camera input, the bit length Ob of the output device, and the bit length Ib of the internal processing.
  • the bit length of the internal processing corresponding to the bit length of the camera input and the bit length of the output device received by the system characteristic receiving unit 122 is acquired.
  • the conversion processing unit 131 holds an arithmetic expression for calculating the bit length Ib of the internal processing using the bit length Cb of the camera input and the bit length Ob of the output device as parameters.
  • the bit length of the camera input received by the system characteristic receiving unit 122 and the bit length of the output device are substituted, an arithmetic expression is executed, and the bit length of internal processing is calculated.
  • the conversion processing unit 131 stores camera characteristics, transmission path characteristics, and output device characteristics in association with information indicating the degree of noise removal processing.
  • the conversion processing unit 131 is a system characteristic receiving unit. Information indicating the degree of noise removal processing paired with the camera characteristics, transmission path characteristics, and output device characteristics received by 122 is read, and noise removal processing is performed on the input image using such information.
  • the conversion processing unit 131 stores camera characteristics, transmission path characteristics, and output device characteristics in association with information indicating the degree of resolution creation processing.
  • the conversion processing unit 131 stores system characteristics. Information indicating the degree of resolution creation processing paired with the camera characteristics, transmission path characteristics, and output device characteristics received by the reception unit 122 is read, and the resolution creation processing is performed on the input image using the information. Do. Since noise removal and resolution creation processing are known techniques, detailed description thereof is omitted.
  • the conversion processing unit 131 performs processing so as to fit in a predetermined resource.
  • the resources are, for example, circuit scale, memory size, power consumption, heat generation amount, number of steps, and the like.
  • the resource increases as the number of taps increases, and increases as the bit length of internal processing increases. Therefore, for example, when the bit length of internal processing is 8 bits, when the bit length of internal processing is 10 bits, it is possible to perform processing with the same resource by reducing the number of taps.
  • the output unit 14 outputs the output image acquired by the conversion processing unit 131.
  • output refers to display on a display, projection using a projector, printing with a printer, sound output, transmission to an external device, storage in a recording medium, output to another processing device or other program, etc. It is a concept that includes delivery of processing results.
  • the storage unit 11 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium.
  • the process of storing information in the storage unit 11 does not matter.
  • information may be stored in the storage unit 11 via a recording medium, information transmitted via a communication line or the like may be stored in the storage unit 11, or Information input via the input device may be stored in the storage unit 11.
  • the processing unit 13 and the conversion processing unit 131 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the processing unit 13 or the like is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the output unit 14 may or may not include an output device such as a display or a speaker.
  • the output unit 14 can be realized by output device driver software, or output device driver software and an output device.
  • Step S201 The input image receiving unit 121 determines whether an input image has been received. If an input image is accepted, the process goes to step S202. If no input image is accepted, the process returns to step S201.
  • Step S202 The system characteristic receiving unit 122 acquires one or more system characteristics.
  • Step S203 The conversion processing unit 131 converts the input image received in Step S201 using the system characteristic acquired in Step S202, and acquires an output image.
  • Step S204 The output unit 14 outputs the output image acquired in Step S203. The process ends.
  • each of two or more corresponding records constituting an LUT has one or more system characteristics and parameters of an image conversion arithmetic expression. It is preferable that one or more system characteristics included in the corresponding record are system characteristics used for selecting the LUT. In addition, it is preferable that the system characteristic in such a case is a system characteristic other than the camera characteristic.
  • the input image reception unit 121 has received an input image. Further, it is assumed that the system characteristic accepting unit 122 has received one or more system characteristics corresponding to the input image.
  • the system characteristic receiving unit 122 reads one or more camera characteristics, transmission path characteristics, and output device characteristics from the storage unit 11.
  • the conversion processing unit 131 acquires one or more camera characteristics used for selecting an LUT from one or more system characteristics received by the system characteristic receiving unit 122.
  • the camera characteristics may be determined from the camera model, recording format, information accompanying the input image, and the like. Further, the camera characteristics may be determined from the input image itself.
  • the general-purpose camera characteristics include, for example, that the sense of resolution is uniform and the shutter is open.
  • the conversion processing unit 131 acquires one or more system characteristics used for selecting a corresponding record from one or more system characteristics received by the system characteristic receiving unit 122.
  • the one or more system characteristics used for selecting the corresponding record are, for example, the transmission path characteristics described above.
  • the conversion processing unit 131 selects a corresponding record corresponding to one or more system characteristics in the acquired LUT corresponding to one or more camera characteristics.
  • the conversion processing unit 131 acquires the parameters of the image conversion arithmetic expression that the selected corresponding record has.
  • the conversion process part 131 comprises the image conversion arithmetic expression applied to an input image using the image conversion arithmetic expression of the storage part 11, and the acquired parameter.
  • the acquired parameters are, for example, a coefficient, a spatiotemporal tap arrangement, a processing bit length, a processing determination threshold value, and a processing determination feature amount.
  • the configured image conversion arithmetic expression is, for example, a product sum of a pixel value and a coefficient. Is a linear linear expression. Further, the image conversion arithmetic expression may be changed according to the determination based on the feature amount obtained from the input image.
  • the conversion processing unit 131 changes the input image using the configured image conversion arithmetic expression, and acquires the first changed image.
  • the conversion processing unit 131 may change the space-time tap arrangement according to one or more camera characteristics.
  • the change of the space-time tap arrangement here means, for example, changing the space tap range or position according to the optical characteristics of the camera, or the time tap range or position depending on the shutter or camera recording format. Is to change.
  • the conversion processing unit 131 performs an operation using an image conversion operation expression with an operation accuracy based on the acquired processing bit length.
  • the conversion processing unit 131 acquires one or more transmission path characteristics among the system characteristics received by the system characteristic receiving unit 122.
  • the conversion processing unit 131 performs encoding distortion removal processing on the first modified image using one or more transmission path characteristics, and acquires the second modified image. More specifically, the conversion processing unit 131 acquires parameters of an image conversion arithmetic expression corresponding to one or more transmission path characteristics. And the conversion process part 131 comprises the image conversion arithmetic expression applied to an input image using the image conversion arithmetic expression of the storage part 11, and the acquired parameter. Next, the conversion processing unit 131 changes the first changed image using the configured image conversion arithmetic expression, and acquires the second changed image.
  • the conversion processing unit 131 may change the space-time tap arrangement according to one or more transmission path characteristics.
  • the change of the spatiotemporal tap arrangement here means, for example, changing the range or position of the spatiotemporal tap according to the encoding method / bit rate.
  • the conversion processing unit 131 further changes the second changed image using one or more output device characteristics acquired by the system characteristic receiving unit 122, and acquires an output image.
  • the conversion processing unit 131 does not obtain the first modified image, the second modified image, and the output image step by step, but performs input processing through batch processing that considers all of the camera characteristics, transmission path characteristics, and output device characteristics.
  • the output image may be obtained from That is, the conversion processing unit 131 acquires, from the storage unit 11, a spatiotemporal tap arrangement and an image conversion arithmetic expression corresponding to all of one or more camera characteristics, one or more transmission path characteristics, and one or more output device characteristics, for example.
  • the output image may be acquired from the input image using the spatiotemporal tap arrangement and the image conversion arithmetic expression.
  • the process of acquiring an output image from an input image using a spatiotemporal tap arrangement and an image conversion arithmetic expression usually involves converting one or more pixels corresponding to the spatiotemporal tap arrangement using an image conversion arithmetic expression, This is a process of acquiring one or more pixels in the output image corresponding to the spatiotemporal tap arrangement and obtaining an output image including the one or more pixels.
  • the one or more pixels described above are pixels in the input image.
  • the output unit 14 outputs the output image.
  • the present embodiment it is preferable to acquire an output image using two or more different system characteristics.
  • system characteristics camera characteristics, transmission path characteristics, and output device characteristics are different in type.
  • the processing in the present embodiment may be realized by software. Then, this software may be distributed by software download or the like. Further, this software may be recorded on a recording medium such as a CD-ROM and distributed.
  • the software that implements the video signal processing apparatus 1 according to the present embodiment is the following program. That is, this program causes a computer to receive one or more system characteristics from when an image is acquired until the image is output, an input image receiving unit that receives an input image, and the system characteristics. And a conversion processing unit that performs a conversion process for acquiring an output image from the input image, and an output unit that outputs the output image acquired by the conversion processing unit.
  • the computer-accessible recording medium includes two or more lookup tables each having one or more correspondence records for taking correspondence between an input image and an output image, and one or more system characteristics.
  • the conversion processing unit selects, from the two or more lookup tables, a lookup table corresponding to one or more system characteristics received by the system characteristic reception unit. It is preferable that the program causes a computer to function as a conversion process for acquiring an output image from the input image using the selected lookup table.
  • a computer-accessible recording medium changes an image conversion arithmetic expression, which is an arithmetic expression for performing image conversion, and one or two or more system characteristics to change parameters of the image conversion arithmetic expression.
  • a storage unit that stores one or two or more pieces of change information that is information for acquiring the change information corresponding to the one or more system characteristics received by the system characteristic reception unit;
  • a program that causes a computer to function as a computer that changes the image conversion arithmetic expression using the change information, and performs conversion processing for acquiring an output image from the input image using the changed image conversion arithmetic expression. Is preferred.
  • the computer-accessible recording medium has a storage unit that stores one or more change information for changing the space-time tap arrangement in association with one or more system characteristics.
  • the conversion processing unit acquires change information corresponding to one or more system characteristics received by the system characteristic receiving unit, and uses the change information to acquire an output image from the input image.
  • the program is a program that causes a computer to function.
  • FIG. 3 shows the external appearance of a computer that implements the video signal processing apparatus 1 according to various embodiments described above by executing the program described in this specification.
  • the above-described embodiments can be realized by computer hardware and a computer program executed thereon.
  • FIG. 3 is an overview diagram of the computer system 300
  • FIG. 4 is a block diagram of the system 300.
  • the computer system 300 includes a computer 301 including a CD-ROM drive 3012, a keyboard 302, a mouse 303, and a monitor 304.
  • the computer 301 includes a CD-ROM drive 3012, an MPU 3013, a bus 3014, a ROM 3015, a RAM 3016, and a hard disk 3017.
  • the ROM 3015 stores programs such as a bootup program.
  • the RAM 3016 is connected to the MPU 3013 and temporarily stores application program instructions and provides a temporary storage space.
  • the hard disk 3017 normally stores application programs, system programs, and data.
  • the computer 301 may further include a network card that provides connection to a LAN.
  • a program that causes the computer system 300 to execute the functions of the video signal processing apparatus 1 of the above-described embodiment may be stored in the CD-ROM 3101, inserted into the CD-ROM drive 3012, and further transferred to the hard disk 3017. . Further, the program may be transmitted to the computer 301 via a network (not shown) and stored in the hard disk 3017. The program is loaded into the RAM 3016 at the time of execution. The program may be loaded directly from the CD-ROM 3101 or the network.
  • the program does not necessarily include an operating system (OS) or a third-party program that causes the computer 301 to execute the functions of the video signal processing apparatus 1 according to the above-described embodiment.
  • the program need only include the part of the instruction that calls the appropriate module in a controlled manner and achieves the desired result. How the computer system 300 operates is well known and will not be described in detail.
  • processing performed by hardware for example, processing performed by a modem or an interface card in the transmission step (only performed by hardware) Processing is not included.
  • the computer that executes the program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.
  • two or more communication means existing in one apparatus may be physically realized by one medium.
  • each process may be realized by centralized processing by a single device (system), or by distributed processing by a plurality of devices. May be.
  • the video signal processing apparatus has an effect of enabling video signal processing in consideration of system characteristics from image acquisition to output, and is useful as a television receiver or the like. is there.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Systems (AREA)

Abstract

【課題】従来、システムの特性を考慮した映像信号処理が行われなかった。 【解決手段】画像を取得してから画像が出力されるまでの1または2以上のシステム特性を受け付けるシステム特性受付部と、入力画像を受け付ける入力画像受付部と、システム特性を用いて、入力画像から出力画像を取得する変換処理を行う変換処理部と、変換処理部が取得した出力画像を出力する出力部とを具備する映像信号処理装置により、システムの特性を考慮した映像信号処理が可能となる。

Description

映像信号処理装置、映像信号処理方法、およびプログラム
 本発明は、映像の信号処理を行う映像信号処理装置等に関するものである。
 従来、映像信号を記憶するメモリのサイズが大きくなることなく、メモリに記憶されている同じ画素データを複数の処理によって同時に読み出そうとする不具合を回避することができる映像信号処理装置があった(例えば、特許文献1参照)。
特開2014-150308号公報
 しかしながら、従来技術においては、画像を取得してから画像が出力されるまでの1または2以上のシステム特性を考慮した映像信号処理が行われなかった。そのため、ハードウェアが必要以上に大きくなったり、システムと処理とのミスマッチによる性能低下が発生してしまうことがあった。なお、システムと処理とのミスマッチとは、システム特性と合致しない処理を行うことにより、画像の劣化が発生することなどである。さらに具体的には、システムと処理とのミスマッチとは、例えば、カメラの光学特性を考慮しないまま処理をしてしまうことにより、カメラの光学特性に由来する、画像の劣化を強調してしまうことである。
 本第一の発明の映像信号処理装置は、画像を取得してから画像が出力されるまでの1または2以上のシステム特性を受け付けるシステム特性受付部と、入力画像を受け付ける入力画像受付部と、システム特性を用いて、入力画像から出力画像を取得する変換処理を行う変換処理部と、変換処理部が取得した出力画像を出力する出力部とを具備する映像信号処理装置である。
 かかる構成により、1以上のシステム特性を考慮した映像信号処理が可能となる。
 また、本第二の発明の映像信号処理装置は、第一の発明に対して、システム特性は、画像を撮影するカメラの特性であるカメラ特性を含む映像信号処理装置である。
 かかる構成により、カメラ特性を考慮した映像信号処理が可能となる。
 また、本第三の発明の映像信号処理装置は、第一の発明に対して、システム特性は、画像を伝送する伝送路の特性である伝送路特性を含む映像信号処理装置である。
 かかる構成により、伝送路特性を考慮した映像信号処理が可能となる。
 また、本第四の発明の映像信号処理装置は、第一の発明に対して、システム特性は、画像を出力する出力装置の特定の特性である出力デバイス特性を含む映像信号処理装置である。
 かかる構成により、出力デバイス特性を考慮した映像信号処理が可能となる。
 また、本第五の発明の映像信号処理装置は、第一から第四いずれか1つの発明に対して、システム特性受付部は、外部から1または2以上のシステム特性を受け付ける映像信号処理装置である。
 かかる構成により、外部から取得したシステム特性を用いた映像信号処理が可能となる。
 また、本第六の発明の映像信号処理装置は、第一から第五いずれか1つの発明に対して、入力画像と出力画像との対応をとるための1以上の対応レコードを有する2以上の各ルックアップテーブルが、1または2以上のシステム特性に対応付けて格納される格納部と、変換処理部は、システム特性受付部が受け付けた1以上のシステム特性に対応するルックアップテーブルを、2以上のルックアップテーブルから選択し、選択したルックアップテーブルを用いて、入力画像から出力画像を取得する変換処理を行う映像信号処理装置である。
 かかる構成により、画像の取得から出力までに至るシステムの特性を考慮した映像信号処理が可能となる。
 また、本第七の発明の映像信号処理装置は、第一から第五いずれか1つの発明に対して、画像変換を行う演算式である画像変換演算式と、1または2以上のシステム特性に対応付けて、画像変換演算式のパラメータを変更するための情報である1または2以上の変更情報が格納される格納部と、変換処理部は、システム特性受付部が受け付けた1以上のシステム特性に対応する変更情報を取得し、変更情報を用いて画像変換演算式を変更し、変更した画像変換演算式を用いて、入力画像から出力画像を取得する変換処理を行う映像信号処理装置である。
 かかる構成により、画像の取得から出力までに至るシステムの特性を考慮した映像信号処理が可能となる。
 また、本第八の発明の映像信号処理装置は、第一から第五いずれか1つの発明に対して、1または2以上のシステム特性に対応付けて、時空間タップ配置を変更するための1または2以上の変更情報が格納される格納部と、変換処理部は、システム特性受付部が受け付けた1以上のシステム特性に対応する変更情報を取得し、変更情報を用いて、入力画像から出力画像を取得する変換処理を行う映像信号処理装置である。
 かかる構成により、画像の取得から出力までに至るシステムの特性を考慮した映像信号処理が可能となる。
 本発明による映像信号処理装置によれば、1以上のシステム特性を考慮した映像信号処理が可能となる。
実施の形態1における映像信号処理装置1のブロック図 同映像信号処理装置1の動作について説明するフローチャート 同コンピュータシステムの概観図 同コンピュータシステムのブロック図
 以下、映像信号処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
 (実施の形態1)
 本実施の形態において、後述するシステム特性を用いて、入力画像を変換処理して、出力画像を取得し、出力する映像信号処理装置について説明する。なお、システム特性とは、例えば、1以上の装置の特性、伝送路特性である。
 図1は、本実施の形態における映像信号処理装置1のブロック図である。
 映像信号処理装置1は、格納部11、受付部12、処理部13、および出力部14を備える。
 受付部12は、入力画像受付部121、およびシステム特性受付部122を備える。
 処理部13は、変換処理部131を備える。
 格納部11は、各種の情報が格納される。各種の情報は、例えば、1または2以上のルックアップテーブル(以下、適宜、「LUT」と言う。)である。各種の情報は、例えば、1または2以上の変更情報、1または2以上の画像変換演算式である。
 ルックアップテーブルは、1または2以上の対応レコードを有する。対応レコードとは、1または2以上の入力画像と1または2以上の出力画像との対応をとるための情報である。格納部11には、1または2以上のシステム特性に対応付けて、2以上のルックアップテーブルが格納されていても良い。入力画像と出力画像との対応をとるための情報とは、入力画像の全部または一部分と、出力画像の全部または一部分との対応を取るための情報である。ルックアップテーブルが有する対応レコードが一つの場合、かかる対応レコードは、例えば、画像を変換する演算式や、画像を変換する演算式に与える1以上のパラメータ群である。対応レコードは、例えば、時空間ブロックの画素値の中央値を算出する演算式でも良い。
 画像変換演算式は、画像変換を行う演算式である。演算式は、例えば、時空間にタップが張られた積和演算である。パラメータには、例えば、積和演算の係数、システム特性を判定する判定パラメータ等がある。なお、タップとは、入力画像の着目画素およびその近傍の画素の画素値である。つまり、時空間にタップが張られた演算式とは、入力画像の着目画素およびその近傍の画素の画素値に、予め決められた係数を乗算し、乗算したすべての結果の和を算出する積和演算の演算式である。また、入力画像の着目画素およびその近傍の画素は、2以上の画素であり、その数は問わない。
 変更情報は、入力画像を変更するための情報である。変更情報は、例えば、画像変換演算式のパラメータを変更するための情報である。パラメータを変更するための情報とは、例えば、積和演算の係数をシステム特性に応じて決定するような演算式である。
 格納部11には、1以上の各変更情報が、1または2以上のシステム特性に対応付けて格納されていても良い。また、格納部11には、1以上の各画像変換演算式が、1または2以上のシステム特性に対応付けて、格納されていても良い。
 変更情報は、時空間タップ配置を変更するための情報でも良い。格納部11には、1または2以上のシステム特性に対応付けて、時空間タップ配置を変更するための1または2以上の変更情報が格納されていても良い。なお、時空間タップ配置とは、入力画像の注目画素およびその近傍画素のうち、どの画素を処理に用いるかという情報である。
 変更情報は、積和演算の係数を変更するための情報でも良い。格納部11には、1または2以上のシステム特性に対応付けて、係数を変更するための1または2以上の変更情報が格納されていてもよい。 変更情報は、時空間タップ配置を変更するための情報、および積和演算の係数を有することは好適である。
 また、システム特性とは、画像を取得してから画像が出力されるまでの1以上の特性である。画像を取得することは、例えば、撮影すること、または画像を読み出すこと等である。また、画像を出力することは、例えば、ユーザに画像を見せること、ディスプレイに画像を表示すること等である。また、画像を取得してから画像が出力されるまでの1以上の特性は、例えば、画像を撮影するカメラの特性であるカメラ特性、伝送路の特性、出力デバイスの特性等である。また、システム特性は、例えば、画像を取得してから画像が出力されるまでのシステムの全体の特性である。システム全体の特性とは、例えば、撮像デバイスのビット精度、伝送路のビット精度、出力デバイスのビット精度の関係である。ビット精度の関係は、例えば撮像デバイスのビット精度(1)が14ビット、伝送路のビット精度(2)が10ビット、出力デバイスのビット精度(3)が12ビットの時、(1)=14・(2)=10・(3)=12とそれぞれのビット精度の組み合わせとして表現してもよいし、(1)-(2)=+4、(2)-(3)=-2と相対的な増減で表現してもよい。
また、システム全体の特性とは、例えば、撮像デバイスの画素数、伝送路で用いられる画像フォーマットの画素数、出力デバイスの画素数の関係である。
 システム特性は、画像を撮影するカメラの特性であるカメラ特性を含むことは好適である。カメラ特性は、例えば、カメラの光学特性である。カメラの光学特性は、例えば、レンズの光学特性である。レンズの光学特性とは、例えばレンズのMTF(Modulation Transfer Function)や波長特性である。カメラの光学特性とは、カメラの光学フィルタの特性である。光学フィルタの特性とは、例えば、センサに付随する光学ローパスフィルタの特性、例えばMTFである。カメラの光学特性とは、例えば、シャッターの特性である。シャッターの特性とは例えば、シャッタースピード、シャッター方式(ローリングシャッター方式かグローバルシャッター方式か)などである。カメラ特性は、例えば、カメラの撮像素子の光学LPFの有無を示す情報である。カメラ特性は、例えば、撮像素子のデバイスの種類を特定する情報である。撮像素子のデバイスの種類を特定する情報は、例えば、「CCD」または「CMOS」等である。カメラ特性は、例えば、カメラのビット長である。カメラ特性には、カメラの光学特性以外に、例えば、センサの光から電気への変換特性がある。光から電気への変換特性とは、例えば、量子化特性、時空間サンプリングである。
 システム特性は、画像を伝送する伝送路の特性である伝送路特性を含むことは好適である。伝送路特性は、例えば、符号化方式を特定する情報、符号化パラメータ、ビットレートである。また、符号化方式を特定する情報は、例えば、「MPEG2」、「H.264」、「H.265」等である。
 システム特性は、画像を出力する出力装置の特定の特性である出力デバイス特性を含むことは好適である。出力デバイス特性は、例えば、ディスプレイの解像度、ディスプレイの出力限界のビット長、ディスプレイの出力フレームレートである。出力デバイス特性は、例えば、ディスプレイの最大輝度、ディスプレイの光源、提示素子の駆動方式である。出力デバイス特性は、例えば、ディスプレイの種類である。ディスプレイの種類は、例えば、CRT、液晶、プラズマ、有機EL、プロジェクタ等である。
 受付部12は、各種の情報を受け付ける。各種の情報は、例えば、入力画像、システム特性、格納部11の情報等である。ここで、受け付けとは、通常、有線もしくは無線の通信回線を介して送信された情報の受信であるが、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。
 入力画像受付部121は、入力画像を受け付ける。入力画像受付部121は、例えば、入力画像を受信する。入力画像受付部121は、例えば、無線または有線の通信手段、放送受信手段等により実現され得る。入力画像受付部121は、例えば、入力画像を図示しない記録媒体から読み出す。
 システム特性受付部122は、1または2以上のシステム特性を受け付ける。システム特性とは、画像を取得してから画像が出力されるまでの1または2以上の特性である。
 システム特性受付部122は、外部から1または2以上のシステム特性を受け付けても良い。システム特性受付部122は、外部(例えば、図示しない放送装置)から1以上のシステム特性を受信しても良い。
 システム特性受付部122は、図示しない記録媒体から1以上のシステム特性を読み出しても良い。
 システム特性受付部122は、ユーザからの入力である1以上のシステム特性を受け付けても良い。
 システム特性受付部122は、入力画像に対応付いている1以上のシステム特性を取得しても良い。かかる場合、受付部12は、入力画像と1以上のシステム特性とを受信する。
 また、システム特性受付部122は、出力先のデバイスとの接続情報から、出力デバイス特性を取得しても良い。例えば、システム特性受付部122は、HDMIのEDID(Extended display identification data)等により出力デバイスの機種情報等を取得しても良い。
 また、システム特性受付部122は、入力画像からシステム特性を取得しても良い。例えば、システム特性受付部122は、入力画像から、当該画像の伝送時の符号化パラメータを取得しても良い。
 また、システム特性受付部122は、入力画像を解析し、システム特性を推定しても良い。例えば、システム特性受付部122は、画像の中心部の解像度感と周辺部の解像度感から、レンズ特性を推定しても良い。また、システム特性受付部122は、画像の動きベクトルと、その動き方向のボケ量から、シャッター時間を推定しても良い。なお、1フレーム間で大きく動いているのに、画像がほとんどボケていなければシャッター時間が短いと推定できる。つまり、システム特性受付部122は、1フレーム間の被写体の動き量を取得し、かつ被写体のボケの度合いを示す情報を取得する。そして、システム特性受付部122は、被写体の動き量とボケの度合いを示す情報とを用いて、シャッター時間を取得する。なお、例えば、システム特性受付部122は、例えば、被写体の動き量とボケの度合いを示す情報とシャッター時間との対応表を保持しており、かかる対応表を用いて、被写体の動き量とボケの度合いを示す情報に対応するシャッター時間を取得する。なお、シャッター時間を取得する技術は、公知技術でも可能である。
 処理部13は、各種の処理を行う。各種の処理とは、例えば、変換処理部131が行う処理である。
 変換処理部131は、システム特性を用いて、入力画像から出力画像を取得する変換処理を行う。ここでのシステム特性は、通常、システム特性受付部122が受け付けた1以上のシステム特性である。
 変換処理部131は、システム特性受付部122が受け付けた1以上のシステム特性に対応するルックアップテーブルを、格納部11の2以上のルックアップテーブルから選択し、選択したルックアップテーブルを用いて、入力画像から出力画像を取得する変換処理を行っても良い。
 変換処理部131は、システム特性受付部122が受け付けた1以上のシステム特性に対応する変更情報を取得し、当該変更情報を用いて画像変換演算式を変更し、変更した画像変換演算式を用いて、入力画像から出力画像を取得する変換処理を行っても良い。
 変換処理部131は、システム特性受付部122が受け付けた1以上のシステム特性に対応する変更情報を取得し、変更情報を用いて、入力画像から出力画像を取得する変換処理を行っても良い。
 変換処理部131は、2種類以上のシステム特性を使用して、上記の処理を行うことは好適である。
 また、システム特性受付部122が受け付けた2以上のシステム特性の関係に応じて、変換処理部131は、入力画像に対して異なる処理を行うことは好適である。
 例えば、システム特性受付部122が受け付けたカメラのビット長と出力デバイスのビット長との関係に関する情報を取得し、当該情報に応じて、変換処理部131は、入力画像に対して異なる処理を行う。さらに具体的には、例えば、変換処理部131は、カメラ入力のビット長Cbと出力デバイスのビット長Obと、内部処理のビット長Ibとの対応表を保持しており、かかる対応表から、システム特性受付部122が受け付けたカメラ入力のビット長と出力デバイスのビット長とに対応する内部処理のビット長を取得する。また、例えば、変換処理部131は、カメラ入力のビット長Cbと出力デバイスのビット長Obとをパラメータとして、内部処理のビット長Ibを算出する演算式を保持しており、かかる演算式に、システム特性受付部122が受け付けたカメラ入力のビット長と出力デバイスのビット長とを代入し、演算式を実行し、内部処理のビット長を算出する。
 また、例えば、システム特性受付部122が受け付けたカメラ特性、伝送路特性、および出力デバイス特性の関係に関する情報を取得し、当該情報に応じて、変換処理部131は、入力画像に対して異なる処理を行う。例えば、変換処理部131は、カメラ特性、伝送路特性、および出力デバイス特性と、ノイズ除去の処理の程度を示す情報とを対応付けて格納しており、変換処理部131は、システム特性受付部122が受け付けたカメラ特性、伝送路特性、および出力デバイス特性と対になるノイズ除去の処理の程度を示す情報を読み出し、かかる情報を用いて、入力画像に対して、ノイズ除去の処理を行う。また、例えば、変換処理部131は、カメラ特性、伝送路特性、および出力デバイス特性と、解像度創造の処理の程度を示す情報とを対応付けて格納しており、変換処理部131は、システム特性受付部122が受け付けたカメラ特性、伝送路特性、および出力デバイス特性と対になる解像度創造の処理の程度を示す情報を読み出し、かかる情報を用いて、入力画像に対して、解像度創造の処理を行う。なお、ノイズ除去や解像度創造の処理については、公知技術であるので、詳細な説明は省略する。
 また、システム特性部122が受け付けた1以上のシステム特性に応じて、変換処理部131は、予め決められたリソースに収まるように処理を行うことは好適である。
 ここで、リソースとは、例えば、回路規模、メモリサイズ、消費電力、発熱量、ステップ数等である。
 例えば、時空間に配置されたタップに対して積和演算を行う場合、リソースは、タップ数が増えるほど大きくなり、内部処理のビット長が長くなるほど大きくなる。従って、例えば内部処理のビット長が8ビットの時に対して、内部処理のビット長が10ビットの場合はタップ数を減らすことで同じリソースで処理を行うことが可能になる。
 出力部14は、変換処理部131が取得した出力画像を出力する。ここで、出力とは、ディスプレイへの表示、プロジェクタを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
 格納部11は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
 格納部11に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部11で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部11で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部11で記憶されるようになってもよい。
 処理部13、変換処理部131は、通常、MPUやメモリ等から実現され得る。処理部13等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
 出力部14は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部14は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
 次に、映像信号処理装置1の動作について、図2のフローチャートを用いて説明する。
 (ステップS201)入力画像受付部121は、入力画像を受け付けたか否かを判断する。入力画像を受け付けた場合はステップS202に行き、入力画像を受け付けない場合はステップS201に戻る。
 (ステップS202)システム特性受付部122は、1以上のシステム特性を取得する。
 (ステップS203)変換処理部131は、ステップS202で取得されたシステム特性を用いて、ステップS201で受け付けられた入力画像を変換し、出力画像を取得する。
 (ステップS204)出力部14は、ステップS203で取得された出力画像を出力する。処理を終了する。
(具体例)
 以下、本実施の形態における映像信号処理装置1の具体的な動作について説明する。
 今、格納部11には、2以上の各LUTが、1以上のカメラ特性に対応付けて、格納されている、とする。
 また、LUTを構成する2以上の各対応レコードは、1または2以上のシステム特性と画像変換演算式のパラメータとを有する、とする。なお、対応レコードが有する1または2以上のシステム特性は、LUTの選択に用いられるシステム特性であることは好適である。また、かかる場合のシステム特性は、カメラ特性以外のシステム特性であることは好適である。
 かかる状況において、入力画像受付部121は、入力画像を受信した、とする。また、システム特性受付部122は、入力画像に対応付く、1以上のシステム特性を受信した、とする。また、システム特性受付部122は、1または2以上のカメラ特性、伝送路特性、出力デバイス特性を格納部11から読み出す。
 次に、変換処理部131は、システム特性受付部122が受信した1以上のシステム特性からLUTの選択に使用する1または2以上のカメラ特性を取得する。ここで、1以上のカメラ特性の例は、上述した。また、ここでカメラの機種、記録フォーマット、入力画像に付随する情報等からカメラ特性を決定してもよい。また、入力画像そのものからカメラ特性を決定してもよい。また、汎用的なカメラ特性を格納部11に1つ予め保持しておき、入力画像からカメラ特性を決定できない場合やカメラ特性を用いない場合は、汎用的な情報を用いることは好適である。なお、汎用的なカメラ特性とは、例えば、解像度感が均質であること、シャッターが開放であること等である。
 また、変換処理部131は、システム特性受付部122が受信した1以上のシステム特性から対応レコードの選択に使用する1または2以上のシステム特性を取得する。ここで、対応レコードの選択に使用する1以上のシステム特性は、例えば、上述した伝送路特性である。
 そして、変換処理部131は、取得した1以上のカメラ特性に対応するLUTの中の、1以上のシステム特性に対応する対応レコードを選択する。
 次に、変換処理部131は、選択した対応レコードが有する画像変換演算式のパラメータを取得する。そして、変換処理部131は、格納部11の画像変換演算式と取得したパラメータとを用いて、入力画像に適用する画像変換演算式を構成する。ここで、取得したパラメータは、例えば、係数、時空間タップ配置、処理ビット長、処理判定閾値、処理判定特徴量であり、構成した画像変換演算式は、例えば、画素値と係数の積和からなる線形一次式である。また、画像変換演算式は、入力画像から求まる特徴量による判定に応じて変えてもよい。
 次に、変換処理部131は、入力画像を、構成した画像変換演算式を用いて変更し、第一変更画像を取得する。
 なお、変換処理部131は、1以上のカメラ特性に応じて、時空間タップ配置を変更しても良い。なお、ここでの時空間タップ配置の変更とは、例えば、カメラの光学特性に応じて空間タップの範囲または位置を変更すること、またシャッターやカメラの記録フォーマットに応じて時間タップの範囲または位置を変更することである。
 また、変換処理部131は、取得した処理ビット長に基づく演算精度で、画像変換演算式を用いた演算を行うことは好適である。
 また、変換処理部131は、システム特性受付部122が受信したシステム特性の中の1または2以上の伝送路特性を取得する。
 そして、変換処理部131は、1以上の伝送路特性を用いて、第一変更画像に対して、符号化歪の除去処理を行い、第二変更画像を取得する。さらに具体的には、変換処理部131は、1以上の伝送路特性に対応した画像変換演算式のパラメータを取得する。そして、変換処理部131は、格納部11の画像変換演算式と取得したパラメータとを用いて、入力画像に適用する画像変換演算式を構成する。次に、変換処理部131は、第一変更画像を、構成した画像変換演算式を用いて変更し、第二変更画像を取得する。
 なお、変換処理部131は、1以上の伝送路特性に応じて、時空間タップ配置を変更しても良い。なお、ここでの時空間タップ配置の変更とは、例えば、符号化方式・ビットレートに応じて時空間タップの範囲または位置を変更することである。
 また、変換処理部131は、さらに、システム特性受付部122が取得した1以上の出力デバイス特性を用いて、第二変更画像を変更し、出力画像を取得する。
 なお、変換処理部131は、第一変更画像、第二変更画像、出力画像を段階的に得るのではなく、カメラ特性、伝送路特性、出力デバイス特性のすべてを考慮した一括処理により、入力画像から出力画像を得てもよい。つまり、変換処理部131は、例えば、1以上のカメラ特性、1以上の伝送路特性、および1以上の出力デバイス特性すべてに対応する時空間タップ配置および画像変換演算式を格納部11から取得し、当該時空間タップ配置および画像変換演算式を用いて、入力画像から出力画像を取得しても良い。時空間タップ配置および画像変換演算式を用いて、入力画像から出力画像を取得する処理とは、通常、時空間タップ配置に対応する1以上の画素を、画像変換演算式を用いて変換し、時空間タップ配置に対応する出力画像の中の1以上の画素を取得し、当該1以上の画素を含む出力画像を得る処理である。なお、上記の1以上の画素は、入力画像の中の画素である。
 そして、出力部14は、かかる出力画像を出力する。
 以上、本実施の形態によれば、画像を取得してから画像が出力されるまでの1以上のシステム特性を考慮した映像信号処理が可能となる。
 なお、本実施の形態によれば、2種類以上の異なるシステム特性を用いて、出力画像を取得することは好適である。なお、システム特性において、カメラ特性、伝送路特性、出力デバイス特性は、種類が異なる。
 さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD-ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における映像信号処理装置1を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、画像を取得してから画像が出力されるまでの1または2以上のシステム特性を受け付けるシステム特性受付部と、入力画像を受け付ける入力画像受付部と、前記システム特性を用いて、前記入力画像から出力画像を取得する変換処理を行う変換処理部と、前記変換処理部が取得した出力画像を出力する出力部として機能させるためのプログラムである。
 また、上記プログラムにおいて、コンピュータがアクセス可能な記録媒体は、入力画像と出力画像との対応をとるための1以上の対応レコードを有する2以上の各ルックアップテーブルが、1または2以上のシステム特性に対応付けて格納される格納部を具備し、前記変換処理部は、前記システム特性受付部が受け付けた1以上のシステム特性に対応するルックアップテーブルを、前記2以上のルックアップテーブルから選択し、当該選択したルックアップテーブルを用いて、前記入力画像から出力画像を取得する変換処理を行うものとして、コンピュータを機能させるプログラムであることは好適である。
 また、上記プログラムにおいて、コンピュータがアクセス可能な記録媒体は、画像変換を行う演算式である画像変換演算式と、1または2以上のシステム特性に対応付けて、画像変換演算式のパラメータを変更するための情報である1または2以上の変更情報が格納される格納部を具備し、前記変換処理部は、前記システム特性受付部が受け付けた1以上のシステム特性に対応する変更情報を取得し、当該変更情報を用いて前記画像変換演算式を変更し、当該変更した画像変換演算式を用いて、前記入力画像から出力画像を取得する変換処理を行うものとして、コンピュータを機能させるプログラムであることは好適である。
 また、上記プログラムにおいて、コンピュータがアクセス可能な記録媒体は、1または2以上のシステム特性に対応付けて、時空間タップ配置を変更するための1または2以上の変更情報が格納される格納部を具備し、前記変換処理部は、前記システム特性受付部が受け付けた1以上のシステム特性に対応する変更情報を取得し、当該変更情報を用いて、前記入力画像から出力画像を取得する変換処理を行うものとして、コンピュータを機能させるプログラムであることは好適である。
 また、図3は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の映像信号処理装置1を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図3は、このコンピュータシステム300の概観図であり、図4は、システム300のブロック図である。
 図3において、コンピュータシステム300は、CD-ROMドライブ3012を含むコンピュータ301と、キーボード302と、マウス303と、モニタ304とを含む。
 図4において、コンピュータ301は、CD-ROMドライブ3012と、MPU3013と、バス3014と、ROM3015と、RAM3016と、ハードディスク3017とを含む。ROM3015は、ブートアッププログラム等のプログラムを記憶している。RAM3016は、MPU3013に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供する。ハードディスク3017は、通常、アプリケーションプログラム、システムプログラム、及びデータを記憶している。ここでは、図示しないが、コンピュータ301は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。
 コンピュータシステム300に、上述した実施の形態の映像信号処理装置1の機能を実行させるプログラムは、CD-ROM3101に記憶されて、CD-ROMドライブ3012に挿入され、さらにハードディスク3017に転送されても良い。また、プログラムは、図示しないネットワークを介してコンピュータ301に送信され、ハードディスク3017に記憶されても良い。プログラムは実行の際にRAM3016にロードされる。プログラムは、CD-ROM3101またはネットワークから直接、ロードされても良い。
 プログラムは、コンピュータ301に、上述した実施の形態の映像信号処理装置1の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切なモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム300がどのように動作するかは周知であり、詳細な説明は省略する。
 なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理(ハードウェアでしか行われない処理)は含まれない。
 また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
 また、上記各実施の形態において、一の装置に存在する2以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。
 また、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
 本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
 以上のように、本発明にかかる映像信号処理装置は、画像の取得から出力までに至るシステムの特性を考慮した映像信号処理が可能となるという効果を有し、テレビジョン受信機等として有用である。
 1 映像信号処理装置
 11 格納部
 12 受付部
 13 処理部
 14 出力部
 121 入力画像受付部
 122 システム特性受付部
 131 変換処理部

Claims (10)

  1. 画像を取得してから画像が出力されるまでの1または2以上のシステム特性を受け付けるシステム特性受付部と、
    入力画像を受け付ける入力画像受付部と、
    前記システム特性を用いて、前記入力画像から出力画像を取得する変換処理を行う変換処理部と、
    前記変換処理部が取得した出力画像を出力する出力部とを具備する映像信号処理装置。
  2. 前記システム特性は、
    画像を撮影するカメラの特性であるカメラ特性を含む請求項1記載の映像信号処理装置。
  3. 前記システム特性は、
    画像を伝送する伝送路の特性である伝送路特性を含む請求項1記載の映像信号処理装置。
  4. 前記システム特性は、
    画像を出力する出力装置の特定の特性である出力デバイス特性を含む請求項1記載の映像信号処理装置。
  5. 前記システム特性受付部は、
    外部から1または2以上のシステム特性を受け付ける請求項1から請求項4いずれか一項に記載の映像信号処理装置。
  6. 入力画像と出力画像との対応をとるための1以上の対応レコードを有する2以上の各ルックアップテーブルが、1または2以上のシステム特性に対応付けて格納される格納部と、
    前記変換処理部は、
    前記システム特性受付部が受け付けた1以上のシステム特性に対応するルックアップテーブルを、前記2以上のルックアップテーブルから選択し、当該選択したルックアップテーブルを用いて、前記入力画像から出力画像を取得する変換処理を行う請求項1から請求項5いずれか一項に記載の映像信号処理装置。
  7. 画像変換を行う演算式である画像変換演算式と、1または2以上のシステム特性に対応付けて、画像変換演算式のパラメータを変更するための情報である1または2以上の変更情報が格納される格納部と、
    前記変換処理部は、
    前記システム特性受付部が受け付けた1以上のシステム特性に対応する変更情報を取得し、当該変更情報を用いて前記画像変換演算式を変更し、当該変更した画像変換演算式を用いて、前記入力画像から出力画像を取得する変換処理を行う請求項1から請求項5いずれか一項に記載の映像信号処理装置。
  8. 1または2以上のシステム特性に対応付けて、時空間タップ配置を変更するための1または2以上の変更情報が格納される格納部と、
    前記変換処理部は、
    前記システム特性受付部が受け付けた1以上のシステム特性に対応する変更情報を取得し、当該変更情報を用いて、前記入力画像から出力画像を取得する変換処理を行う請求項1から請求項5いずれか一項に記載の映像信号処理装置。
  9. システム特性受付部、入力画像受付部、変換処理部、および出力部により実現される映像信号処理方法であって、
    前記システム特性受付部が、画像を取得してから画像が出力されるまでの1または2以上のシステム特性を受け付けるシステム特性受付ステップと、
    前記入力画像受付部が、入力画像を受け付ける入力画像受付ステップと、
    前記変換処理部が、前記システム特性を用いて、前記入力画像から出力画像を取得する変換処理を行う変換処理ステップと、
    前記出力部が、前記変換処理ステップで取得された出力画像を出力する出力ステップとを具備する映像信号処理方法。
  10. コンピュータを、
    画像を取得してから画像が出力されるまでの1または2以上のシステム特性を受け付けるシステム特性受付部と、
    入力画像を受け付ける入力画像受付部と、
    前記システム特性を用いて、前記入力画像から出力画像を取得する変換処理を行う変換処理部と、
    前記変換処理部が取得した出力画像を出力する出力部として機能させるためのプログラム。
PCT/JP2017/024009 2016-06-30 2017-06-29 映像信号処理装置、映像信号処理方法、およびプログラム WO2018003938A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17820292.5A EP3481075A4 (en) 2016-06-30 2017-06-29 VIDEO SIGNAL PROCESSING DEVICE, VIDEO SIGNAL PROCESSING METHOD, AND PROGRAM
JP2018525274A JPWO2018003938A1 (ja) 2016-06-30 2017-06-29 映像信号処理装置、映像信号処理方法、およびプログラム
US16/313,531 US10764632B2 (en) 2016-06-30 2017-06-29 Video signal processing apparatus, video signal processing method, and program
CN201780038384.8A CN109511285A (zh) 2016-06-30 2017-06-29 影像信号处理装置、影像信号处理方法以及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016129688 2016-06-30
JP2016-129688 2016-06-30

Publications (1)

Publication Number Publication Date
WO2018003938A1 true WO2018003938A1 (ja) 2018-01-04

Family

ID=60787023

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/024009 WO2018003938A1 (ja) 2016-06-30 2017-06-29 映像信号処理装置、映像信号処理方法、およびプログラム

Country Status (6)

Country Link
US (1) US10764632B2 (ja)
EP (1) EP3481075A4 (ja)
JP (1) JPWO2018003938A1 (ja)
CN (1) CN109511285A (ja)
TW (1) TW201803339A (ja)
WO (1) WO2018003938A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7498616B2 (ja) 2020-07-22 2024-06-12 日本放送協会 Vr映像生成装置及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110085300A (zh) * 2019-03-20 2019-08-02 南京巨鲨显示科技有限公司 一种医学影像高速传输处理系统及方法
WO2021064801A1 (ja) * 2019-09-30 2021-04-08 シャープNecディスプレイソリューションズ株式会社 表示装置及び表示装置の制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10276349A (ja) * 1997-03-27 1998-10-13 Asahi Optical Co Ltd 画像信号補正装置
JP2000020691A (ja) * 1998-07-01 2000-01-21 Canon Inc 画像処理装置及びその方法、撮像装置及びその制御方法並びにメモリ媒体
JP2001318745A (ja) * 2000-05-11 2001-11-16 Sony Corp データ処理装置およびデータ処理方法、並びに記録媒体
JP2008244818A (ja) * 2007-03-27 2008-10-09 Sharp Corp 映像表示装置、表示制御方法、及びプログラム
JP2014150308A (ja) 2013-01-31 2014-08-21 Jvc Kenwood Corp 映像信号処理装置及び方法
WO2015194102A1 (ja) * 2014-06-20 2015-12-23 パナソニックIpマネジメント株式会社 再生方法および再生装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822758B1 (en) * 1998-07-01 2004-11-23 Canon Kabushiki Kaisha Image processing method, system and computer program to improve an image sensed by an image sensing apparatus and processed according to a conversion process
WO2005027043A1 (ja) 2003-09-11 2005-03-24 Matsushita Electric Industrial Co., Ltd. 視覚処理装置、視覚処理方法、視覚処理プログラム、集積回路、表示装置、撮影装置および携帯情報端末
WO2007063918A1 (ja) * 2005-11-29 2007-06-07 Kyocera Corporation 撮像装置およびその方法
JP4238901B2 (ja) * 2006-08-17 2009-03-18 セイコーエプソン株式会社 プロジェクションシステム、情報処理装置、情報処理プログラム、その記録媒体、プロジェクタ、そのプログラム、及びその記録媒体
EP2709056B1 (en) * 2011-05-11 2021-02-24 I-cubed Research Center Inc. Image processing device, image processing method, and recording medium that has recorded program
JP6058257B2 (ja) * 2011-07-06 2017-01-11 アイキューブド研究所株式会社 画像出力装置、画像出力方法、およびプログラム
JP6040042B2 (ja) * 2013-02-12 2016-12-07 アイキューブド研究所株式会社 画像処理装置、画像処理方法、およびプログラム
JP2014188310A (ja) * 2013-03-28 2014-10-06 Sony Corp 画像処理装置、画像処理方法、プログラム、及び内視鏡システム
US10861420B2 (en) * 2016-06-30 2020-12-08 I-Cubed Research Center Inc. Image output apparatus, image output method, for simultaneous output of multiple images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10276349A (ja) * 1997-03-27 1998-10-13 Asahi Optical Co Ltd 画像信号補正装置
JP2000020691A (ja) * 1998-07-01 2000-01-21 Canon Inc 画像処理装置及びその方法、撮像装置及びその制御方法並びにメモリ媒体
JP2001318745A (ja) * 2000-05-11 2001-11-16 Sony Corp データ処理装置およびデータ処理方法、並びに記録媒体
JP2008244818A (ja) * 2007-03-27 2008-10-09 Sharp Corp 映像表示装置、表示制御方法、及びプログラム
JP2014150308A (ja) 2013-01-31 2014-08-21 Jvc Kenwood Corp 映像信号処理装置及び方法
WO2015194102A1 (ja) * 2014-06-20 2015-12-23 パナソニックIpマネジメント株式会社 再生方法および再生装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3481075A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7498616B2 (ja) 2020-07-22 2024-06-12 日本放送協会 Vr映像生成装置及びプログラム

Also Published As

Publication number Publication date
TW201803339A (zh) 2018-01-16
US20190174181A1 (en) 2019-06-06
EP3481075A1 (en) 2019-05-08
US10764632B2 (en) 2020-09-01
EP3481075A4 (en) 2020-01-22
JPWO2018003938A1 (ja) 2019-06-27
CN109511285A (zh) 2019-03-22

Similar Documents

Publication Publication Date Title
JP6582062B2 (ja) 画素の前処理および符号化
US20190340734A1 (en) Display method and display device
US10582122B2 (en) Image processing apparatus, image processing method, and image pickup apparatus
KR20080015101A (ko) 색 변환 휘도 보정 방법 및 장치
US10600170B2 (en) Method and device for producing a digital image
JP2016009494A (ja) Ldrビデオシーケンスのダイナミックレンジ拡張方法及び装置
US9009361B2 (en) Video processing system, video output apparatus, video display apparatus and video processing method
US20230300475A1 (en) Image processing method and apparatus, and electronic device
WO2018003938A1 (ja) 映像信号処理装置、映像信号処理方法、およびプログラム
JP4528857B2 (ja) 画像処理装置及び画像処理方法
JP2010087871A (ja) 映像処理装置及び映像処理方法
US10121265B2 (en) Image processing device and method to calculate luminosity of an environmental light of an image
JP5791687B2 (ja) 変換制御装置及びその制御方法
EP3079344B1 (en) Image pickup apparatus, image pickup method and image pickup system
US9742963B2 (en) Color rendering on a hue plane
JP6150571B2 (ja) 表示装置及びその制御方法
JP6161385B2 (ja) 撮像装置及びその制御方法
US11283938B2 (en) Communication apparatus communicating with another communication apparatus based on performance, control method, and storage medium
JP2010081510A (ja) 映像処理装置及び映像処理方法
JP2012231488A (ja) 画像処理装置およびその制御方法
JP2017192054A (ja) 画像処理装置および画像処理方法
JP2016039578A (ja) 画像伝送装置
JP2015126448A (ja) 画像処理装置、画像処理方法及びプログラム
JP2012105354A (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP2013084067A (ja) 画像処理装置、その制御方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17820292

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018525274

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017820292

Country of ref document: EP

Effective date: 20190130