WO2009139341A1 - 映像情報処理装置 - Google Patents
映像情報処理装置 Download PDFInfo
- Publication number
- WO2009139341A1 WO2009139341A1 PCT/JP2009/058736 JP2009058736W WO2009139341A1 WO 2009139341 A1 WO2009139341 A1 WO 2009139341A1 JP 2009058736 W JP2009058736 W JP 2009058736W WO 2009139341 A1 WO2009139341 A1 WO 2009139341A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- video
- image quality
- unit
- video information
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
Definitions
- the present invention relates to a video information processing technology, and more particularly to a parameter selection and determination technology necessary for estimating a high-quality video from an input video.
- the super-resolution processing is processing for estimating high-resolution video information, which is video information with high image quality from a plurality of low-resolution video information, as shown in the following documents. In the super-resolution processing, first, high-resolution video information is assumed.
- This super-resolution processing is called reconstruction-type super-resolution processing, and includes an ML (Maximum-likelihood) method, a MAP (Maximum-A-Posterior) method, a POCS (Projection-onto-Convex-Sets) method, and the like.
- ML Maximum-likelihood
- MAP Maximum-A-Posterior
- POCS Projection-onto-Convex-Sets
- FIG. 6 is a block diagram showing an outline of the configuration of a conventional video information recording / reproducing apparatus using reconfigurable super-resolution processing.
- the video information recording / reproducing apparatus 2 includes an overall control unit 601, a video information acquisition unit 602, an image quality enhancement processing unit 603, a data storage unit 604, and a video information output unit 605. .
- the overall control unit 601 is a part that performs overall control of the video information recording / reproducing apparatus 2, receives a reproduction instruction from the user, and triggers reproduction.
- the video information acquisition unit 602 receives a trigger for starting playback from the overall control unit 601, and acquires video information to be played back from the data storage unit 604. For example, the recorded video information is read from the HDD, and the read video information is sent to the image quality improvement processing unit 603.
- the image quality improvement processing unit 603 performs image quality improvement processing on the video information received from the video information acquisition unit 602 according to the reconfiguration super-resolution processing.
- Video information obtained by the reconstruction super-resolution processing is high-resolution video information.
- the resulting video information with high image quality is sent to the video information output unit 605.
- the data storage unit 604 is a part for storing information such as video information and image quality enhancement information.
- the video information output unit 605 is a part that outputs the high-quality video information received from the high-quality image processing unit 603.
- the image quality improvement processing unit 603 fixes a typical camera model and imaging conditions, and based on the camera model and imaging conditions. Design.
- the error evaluation between the input image and the high-quality video information, the determination of the end of the iterative processing, and the estimation method of the high-quality video information are fixed in the reconstruction type super-resolution processing.
- JP 2006-195856 JP 2006-309649 A High-speed algorithm for reconfigurable super-resolution processing and its accuracy evaluation D-II Vol.J88-D-II, No.11, pp.2200-2209,2005 Superresolution Video Reconstruction with Arbitrary Sampling Lattices and Nonzero Aperture Time, IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL.6, NO. 8 AUGUST 1997 Title "Extraction of High-Resolution Frames from Video Sequences” Publisher “IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 5, NO. 6, JUNE 1996” Author “Richard R. Schultz, Robert L. Stevenson”
- the parameters of the reconfigurable super-resolution processing in the video information recording / reproducing apparatus for example, the type of the point spread function of the camera model, the means for estimating the positional deviation of a plurality of low-resolution video information, the input image and the high-quality video information
- High-quality video information obtained when the error estimation, repetitive processing end determination, and high-quality video information estimation means are fixed are errors due to differences in camera models and misalignment of multiple input videos Compared to images interpolated by general interpolation due to the effects of estimation error, error evaluation method between input image and high-quality video information, end-of-repetition processing judgment method, high-quality video information estimation method, etc.
- the image quality tends to deteriorate.
- the present invention uses values suitable for video information as parameters necessary for image quality improvement processing for video information taken with various cameras and imaging conditions.
- the purpose is to make the image quality improvement processing function effectively.
- a video information processing apparatus that processes video information
- image quality improvement information for improving the quality of an input video is combined with the input video to be applied.
- High image quality information acquisition unit that acquires based on synchronization information, and high image quality information that interprets how to apply the acquired high image quality information to the input video based on the content of the acquired high image quality information
- a video information processing apparatus comprising: an interpretation unit; and an image quality improvement processing unit that applies the image quality improvement information to convert the input image into a high quality image.
- the input video information is acquired, and from the acquired input video information, a video information acquisition unit that obtains identification information that identifies video information, and the identification information, The image quality improvement information for obtaining the image quality of the input image from outside via a network, and the image quality improvement information received from the image quality improvement information acquisition unit, the image information
- a high image quality information interpretation unit that interprets the application method to the image, and the input video is received from the video information acquisition unit, and the high image quality processing is performed based on the application area information received from the high image quality information interpretation unit
- a video information separation unit that extracts a region to which the image is applied from the input video, and outputs the cut input video at the timing of the synchronization information, and the image quality improvement information received from the image quality improvement information interpretation unit
- the video information processing apparatus is provided which is characterized by having a high image quality processing unit for performing high-quality image processing is applied to the input image received from the image information separation unit.
- the image quality-enhanced video processing unit is received from the image quality improvement processing unit, and the image quality-enhanced video information is synthesized based on the application area information received from the image quality improvement information interpretation unit.
- a video information synthesis unit that synthesizes the video information, a video information output unit that outputs the high-quality video information received from the video information synthesis unit, a data storage unit that stores the video information and the high-quality information, A video information processing apparatus is provided.
- the image quality enhancement processing unit includes an external interface unit, a correction information creation unit, a video information correction unit, an input simulator unit, a video information alignment unit, an end determination unit, and an error evaluation unit.
- obtaining information including at least one of input simulator information, positioning information, error evaluation function information, end determination information, correction method information, and input video as high-quality image information via the network Configures an interface that receives the input video before the image quality improvement process, which is the output of the video information separation unit, and outputs the image quality image information after the image quality improvement process to the outside, to improve the image quality
- the information is distributed to each functional component and sent, and the correction information creation unit From the correction method information received from the monitor unit and the error information received from the end determination unit, video correction information for image quality improvement is created, and the video information correction unit is received from the correction information creation unit Using the video correction information, the video quality is improved, and the input simulator unit uses the input simulator information received from the external interface unit to model the processing of the camera that captured the video information.
- the estimated high-quality video information received from the video information correction unit is converted, and the video information alignment unit uses the alignment information received from the external interface unit to generate a plurality of low resolution video information. Alignment processing (registration) is performed, and the end determination unit receives the end determination received from the external interface unit
- the error evaluation unit uses the error evaluation information received from the external interface, the low resolution video information received from the input simulator unit, and the video. It is preferable to extract a difference from low-resolution video information as a result of performing the alignment process from the information alignment unit.
- the image quality improvement information includes input simulator information for modeling processing of a camera that captures video information, alignment of a plurality of input videos / motion of reference video and reference video Registration information for estimating the amount of registration, error evaluation information for evaluating the error between the input video and the high-quality video, end determination information for the end condition of the high-quality processing, and high quality within the video Including at least one of application area information for indicating an area to which image information is applied, application permission information for indicating application to image quality improvement information in units of video frames, It is preferable to acquire at least one of the above information.
- the input simulator information includes information for selecting a point spread function (PSF: Point Spread Function) that models a camera that has captured video information, and information on a camera that has captured video information. Including at least one of light receiving time information indicating a time until light can be acquired as information hitting the light receiving element, and opening time information indicating a time from when the shutter of the camera that has captured the image information is opened until it is closed.
- PSF Point Spread Function
- the alignment information includes information indicating an amount of positional deviation between a plurality of input videos
- the image quality improvement information acquisition unit acquires the information. Is provided.
- the video information provider uses the camera to take a picture, it is possible to know the positional deviation between videos that can be acquired from the characteristics of the camera. By using this misregistration information, the positioning accuracy is improved, leading to higher image quality of the video information.
- the error evaluation information includes at least one of information such as information for selecting a type of error evaluation method and edge information of high-quality video, and obtains high-quality information.
- the unit may be a video information processing apparatus that acquires at least one of the information.
- the end determination information includes at least one of error threshold information and repetition count information
- the image quality improvement information acquisition unit includes at least one of the above information. It may be a video information processing apparatus characterized by acquiring. As a result, the reconfigurable super-resolution processing is repeatedly performed to obtain a high-quality video. By changing the repetitive end condition (error threshold information), the processing time required for the reconstruction type super-resolution processing can be changed, and the waiting time for the image quality improvement processing can be changed for each user.
- the synchronization information includes at least information for specifying video information to which the image quality improvement information is applied, and information for specifying a frame of video information to which the image quality improvement information is applied.
- the image quality information acquisition unit may include at least one of the above-described information.
- the application area information includes information for specifying a spatial range of the video information to which the image quality improvement information is applied, and the image quality improvement information acquisition unit stores the information described above. It may be a video information processing apparatus characterized by acquisition. Here, as a necessary component, it is necessary to have information indicating to which region in one frame the image quality enhancement information is applied.
- the application permission information includes information indicating whether or not to apply the image quality enhancement information
- the image quality enhancement information acquisition unit acquires the above information. It may be a video information processing apparatus. Thereby, since the creator of the video information can designate a place where the image quality enhancement process may be performed or a place where the video information creator does not want to perform, the intention of the creator of the video information can be sufficiently reflected. A configuration in which high-quality information is embedded (in streaming) may be used.
- a video information processing method for processing video information the step of acquiring input video information and obtaining identification information for specifying video information from the acquired input video information; Based on the identification information, obtaining image quality enhancement information for enhancing the image quality of the input video from outside via a network; receiving the image quality enhancement information and interpreting how to apply to the video information And receiving the input video, extracting an area to which the image quality enhancement processing is applied based on the application area information received from the image quality improvement information interpretation unit, and synchronizing the cut input video Outputting at the timing of the information; Applying the image quality improvement information to the input image received based on the timing of the synchronization information by applying the cut input image to the image quality improvement process.
- a method is provided.
- It may be a control program that causes a computer to execute the video information processing method described above, or a computer-readable recording medium that records the control program.
- the program may be acquired by a transmission medium.
- FIG. 1 is a block diagram showing an outline of a configuration of a video information recording / reproducing apparatus in a first embodiment of the present invention.
- FIG. 2 is a block diagram showing an outline of a configuration of an image quality improvement processing unit in the first embodiment of the present invention. It is a flowchart of reproduction
- Video information recording / reproducing apparatus 001 Overall control unit 002 Video information acquisition unit 003 Synchronization unit 004 Image quality improvement information acquisition unit 005 Image quality improvement information interpretation unit 006 Video information separation unit 007 Image quality improvement processing unit 008 Video information synthesis unit 009 Data Storage unit 010 Video information output unit 101 External interface unit 102 Correction information creation unit 103 Video information correction unit 104 Input simulator unit 105 Video information alignment unit 106 Termination determination unit 107 Error evaluation unit 501 Acquisition authentication unit 502 Video information recording / reproduction device 601 Overall control unit 602 Video information acquisition unit 603 High image quality processing unit 604 Data storage unit 605 Video information output unit
- FIG. 1 is a block diagram showing an outline of a configuration example of a video information processing apparatus according to the present embodiment.
- FIG. 2 is a block diagram showing details of the configuration of the image quality enhancement processing unit 007 according to this embodiment.
- FIG. 3 is a flowchart showing the flow of reproduction processing of the video information recording / reproducing apparatus in the present embodiment.
- FIG. 4 is a diagram illustrating an example of a data configuration of the image quality improvement information in the present embodiment.
- FIGS. 1 to 4 are described as an integrated unit.
- the video information recording / reproducing apparatus 1 includes an overall control unit 001, a video information acquisition unit 002, a synchronization unit 003, an image quality improvement information acquisition unit 004, an image quality improvement information interpretation unit 005, and a video information separation unit. 006, an image quality enhancement processing unit 007, a video information synthesis unit 008, a data storage unit 009, and a video information output unit 010.
- the overall control unit 001 is a part that performs overall control of the video information recording / reproducing apparatus 1 and receives a reproduction instruction by a remote control operation or the like from a user and triggers reproduction.
- the video information acquisition unit 002 is a part that receives a playback start trigger from the overall control unit 001 and acquires video information to be played back. For example, it is a part that reads out video information recorded on a built-in HDD from a broadcast wave or network. Information for identifying video information (content ID 151 in FIG. 4 below) from the acquired video information is sent to the image quality enhancement information acquisition unit 004.
- the synchronization unit 003 receives the frame ID 150a of the synchronization information 150 of the image quality improvement information from the image quality improvement information interpretation unit 005.
- the frame ID 150a is sent to the video information separation unit 006, and the video information separation unit 006 is instructed to send the video information of the frame ID 150a to the image quality improvement processing unit 007.
- the image quality improvement information acquisition unit 004 acquires the image quality improvement information from the outside via the network based on the content ID 150a received from the video information acquisition unit 002 (as a search key). For example, as a source for providing high-quality information, a video information creator site, a camera manufacturer's site, or a dedicated server storing high-quality information may be considered. In addition, when the image quality enhancement information is composed of a plurality of data, the data may be acquired from different sites for each data. Needless to say, if there are a plurality of image quality enhancement information that are currently selected for reproduction, the user may be able to select them.
- the high image quality information acquisition unit 004 is input simulator information 100, alignment information 110, error evaluation information 120, end determination information 130, correction method information 140, synchronization information 150, application of high image quality information acquired via the network.
- the area information 160 and the application permission information 170 are sent to the image quality improvement information interpretation unit 005.
- the image quality improvement information interpretation unit 005 interprets the method of applying the image quality improvement information received from the image quality improvement information acquisition unit 004 to the input video.
- the frame ID 150a of the video information to which the image quality enhancement information is applied is sent to the synchronization unit 003, the application area information 160 is sent to the video information separation unit 006 and the video information synthesis unit 008, the input simulator information 100, the alignment information 110, and the error evaluation information 120.
- the end determination information 130 and the correction method information 140 are sent to the image quality enhancement processing unit 007.
- the image quality enhancement process is a repetitive process, the amount of calculation is generally large. For this reason, in a video information recording / reproducing apparatus having a low processing system performance such as a CPU, time is required for high image quality processing. For example, by using the end determination information 130 corresponding to the performance of the CPU, it is possible to shorten the waiting time until the image quality improvement processing ends.
- the video information separation unit 006 receives the video information from the video information acquisition unit 002, and extracts the area to which the image quality improvement processing is applied from the video information based on the application area information 160 received from the image quality improvement information interpretation unit 005. Do (cut). Further, the cut video information is sent to the image quality improvement processing unit 007 at the timing of the synchronization information received from the synchronization unit 003.
- the image quality improvement processing unit 007 receives the input simulator information 100, the alignment information 110, the error evaluation information 120, the end determination information 130, and the correction method information 140 received from the image quality improvement information interpretation unit 005 from the video information separation unit 006. An image quality enhancement process is performed on the received video information. In addition, the high-quality video information obtained as a result of the processing is sent to the video information synthesis unit 008. Details of the internal configuration will be described later.
- the video information composition unit 008 receives the high-quality video information from the high-quality image processing unit 007, and synthesizes the high-quality video information based on the application area information 160 received from the high-quality information interpretation unit 005. To do. Further, the video information obtained by synthesizing the video information with high image quality is sent to the video information output unit 010.
- the data storage unit 009 is a part for storing information such as video information and image quality enhancement information.
- the video information output unit 010 is a part that outputs the video information with high image quality received from the video information synthesis unit 008.
- the image quality improvement processing unit 007 includes, for example, an external interface unit 101, a correction information creation unit 102, a video information correction unit 103, an input simulator unit 104, a video information alignment unit 105, and an end determination unit 106. , An error evaluation unit 107 is provided.
- the external interface unit 101 acquires image quality improvement information from an external server or the like via a network.
- the high-quality image information includes input simulator information, alignment information, error evaluation function information, end determination information, correction method information, and input video.
- the video information recording / reproducing apparatus 1 receives and receives the input video before the image quality improvement processing as described below, which is the output of the video information separation unit 006, and after the image quality improvement processing is performed. Configure an interface to output high-quality video information to the outside.
- the external interface unit 101 further has a function of distributing and sending these pieces of information to each functional component unit as described below when receiving various pieces of information 100 to 170 shown in FIG.
- the correction information creation unit 102 is a part that uses the correction method information 140 received from the external interface unit 101 to create video correction information for improving the image quality from the error information received from the end determination unit 106.
- the generated video correction information is sent to the video information correction unit 103.
- the video information correction unit 103 is a part that uses the video correction information received from the correction information creation unit 102 to improve the quality of the video.
- resolution conversion is performed on low-resolution video information to high-resolution video information.
- the image quality can be improved.
- an example in which image quality is improved by a process involving resolution conversion will be described, but the present invention is not limited to this example.
- the input simulator unit 104 is a part that models the processing of a camera that has captured video information using the input simulator information 100 received from the external interface unit 101.
- the estimated high-quality video information received from the video information correction unit 103 is converted, and the converted video information is sent to the error evaluation unit 107.
- input simulator information suitable for video information as described in Non-Patent Document 2 above, by performing a process corresponding to the inverse conversion of the process of an imaging device such as a camera, the cause of camera blur, etc. Can be removed. As shown in FIG.
- the input simulator information 100 includes point spread function information 100 a that models the optical blur of the camera, light reception time information 100 b that indicates a time until the light hits the light receiving element of the camera and can be acquired as information, There is opening time information 100c indicating the time from when the shutter of the camera is opened until it is closed.
- the video information alignment unit 105 is a part that performs alignment processing (registration) between a plurality of low-resolution video information using the alignment information 110 received from the external interface unit 101. Using the acquired alignment information increases the accuracy of the alignment process. By performing highly accurate alignment processing, defective data can be reduced, and image information can be improved in image quality.
- the end determination unit 106 is a part that uses the end determination information 130 received from the external interface unit 101 to determine the end of repetition of the image quality enhancement processing. For example, error threshold information 130a between low-resolution images used to determine that the expected high-quality image information has been obtained, and reconstructed super-resolution processing is repeatedly performed to obtain high-quality images. Repeat number information 130b for determining the upper limit of the repeat number is included.
- the image quality enhancement processing is terminated, and when the end determination condition is not satisfied, the correction information creation unit 102 receives an error. Send information.
- the image quality enhancement process is a repetitive process, and the higher the number of repetitions, the higher the quality information can be obtained.
- the number of repetitions 130b is different for each input video, there is a feature that the effect of improving the image quality reaches its peak even when the number of repetitions exceeds a certain number. Therefore, by using the received repetition count 130b, it is possible to prevent extra repetition processing from occurring.
- the error evaluation unit 107 uses the error evaluation information 120 received from the external interface 101 and uses the low-resolution video information received from the input simulator 104 and the low-resolution video as a result of performing the alignment process from the video information alignment unit 105.
- the difference between the information and the information is extracted. For example, by switching error evaluation information such as the sum of square errors of pixel values of two pieces of video information and errors of respective pixel values of two pieces of video information, characteristics of video information (video information with many edges, It is possible to evaluate the error so as to maintain the characteristic having the video information without change, and as a result, the image quality of the video information is improved.
- the image quality enhancement information include input simulator information 100, alignment information 110, error evaluation information 120, end determination information 130, correction method information 140, synchronization information 150, application area information 160, and application permission information 170. .
- the input simulator information 100 is information used in the input simulator unit 104 described above, and is information representing the characteristics of the camera used for imaging. For example, the point spread function information 100a modeling the optical blur of the camera, the light receiving time information 100b indicating the time until the light hits the light receiving element of the camera and can be acquired as information, and the time from when the camera shutter is opened until it is closed. There is opening time information 100c and the like.
- the alignment information 110 is information used in the above-described video information alignment unit 105, and is information for performing alignment on a plurality of low-resolution video information.
- the shift amount information 110a and the like are included.
- the error evaluation information 120 is information used by the error evaluation unit 107 described above, and is information for evaluating an error between low-resolution video information in the reconstruction type super-resolution processing.
- error evaluation method type information 120a such as a sum of square errors of pixel values of two video information, errors of respective pixel values of two video information, information on edges of high-resolution video, and the like in advance.
- the prior information 120b of the high-resolution video information that can be known is included.
- the end determination information 130 is information used in the above-described end determination unit 106, and is information that gives an end determination in the reconfiguration super-resolution processing that requires repeated processing. For example, there is threshold information 130a for errors between low-resolution images, and information on the number of repetitions 130b of high-quality processing of reconstruction super-resolution processing.
- the correction method information 140 is information used in the above-described correction information creation unit 102, and is information indicating how to correct when reflected in the high-resolution video information.
- the correction parameter information 140a for the high-resolution video information includes the correction method information 140a. included. For example, information that determines whether error information is reflected in a high-resolution video as it is or whether error information is weighted and then reflected in a high-resolution video can be considered.
- the synchronization information 150 includes a content ID 150a that links video information to which the image quality improvement information is applied (low resolution video and high resolution video) and video information frames to which the image quality improvement information is applied (the same frame in the content). Frame ID 150b.
- the application area information 160 is information indicating which area the image quality enhancement information is applied to in the frame specified by the frame ID 150b. For example, this information when applied to a rectangular area includes three pieces of information: the upper left coordinates of the rectangle, the vertical length of the rectangle, and the horizontal length of the rectangle so that the rectangular area can be specified. There may be.
- the application permission information 170 is information indicating whether or not the image quality enhancement information can be applied in the frame of the video information. It has information 170a indicating permission / denial. For example, depending on the intention of the creator of the video information, the video information may be intentionally added to the video information as an effect. For such video information, it is conceivable that processing for removing blur is not applicable and only other image quality enhancement processing is performed. Therefore, this information is provided to determine whether or not the intention of the video information is reflected. In this example, one permission / non-permission information 170a is provided for one piece of image quality improvement information. However, whether to apply or not is set for each piece of image quality improvement information data. It is possible to make it possible, and finer settings are possible.
- the various high image quality information 100 to 170 described above are described as corresponding to one frame of video information, but may have a data configuration as high image quality information corresponding to a plurality of frames.
- a set or section of application start frame IDs may be provided in the image quality improvement information.
- the frame ID is preferably assigned in a fine section.
- FIG. 3 is a flowchart showing the playback process of the video information recording / playback apparatus 1 in the present embodiment.
- the overall control unit 001 issues an instruction to acquire video information to be reproduced to the video information acquisition unit 002.
- the video information acquisition unit 002 acquires video information from the data storage unit 009 based on the content ID 150a of the video information to be reproduced (S10).
- the video information acquisition unit 002 sends the content ID 150a of the video information to be reproduced to the high image quality information acquisition unit 004.
- the image quality improvement information acquisition unit 004 acquires the image quality improvement information corresponding to the content ID 150a from the network based on the content ID 150a of the video information to be reproduced received from the video information acquisition unit 002 (S11). ), And sends the acquired image quality improvement information to the image quality improvement information interpretation unit 005.
- the processing using the existing interpolation method is performed or the conventional reconstruction type super-resolution processing is performed.
- the video information is output as it is from the video information output unit 010 without performing the image quality enhancement process (S18).
- the image quality improvement information interpretation unit 005 determines whether the video information is a frame that may be subjected to image quality improvement processing by interpreting the application permission information 170 of the image quality improvement information. In the case of a frame that does not permit image quality improvement processing (NO in S13), the video information is processed using the existing interpolation method without image quality improvement processing, or the image quality improvement processing is performed. The video information is output as it is from the video information output unit 010 (S19).
- the image quality improvement information interpretation unit 005 cuts out the video information in accordance with the application area information 160a of the image quality improvement information and sends it to the image quality improvement processing unit 007 ( S14).
- the image quality improvement processing unit 007 performs the input simulator information 100, the alignment information 110, and the error evaluation information 120 of the image quality improvement information received from the image quality improvement information interpretation unit 005 with respect to the video information received from the video information separation unit 006. Then, the reconstruction determination information 130 and the correction method information 140 are used to perform reconfiguration type super-resolution processing (S15). Next, the high-resolution video information is sent to the video information synthesis unit 008.
- the video information composition unit 008 pastes the received high-resolution video information to the original video information (S16). At this time, since there is a change in resolution, the original video is actually made high-resolution by an existing interpolation method, and the high-resolution video information is obtained through the image quality improvement processing unit 007. Paste high-quality video information.
- the above processing can improve the quality of the input video.
- the acquisition source is not limited to the network.
- the information may be obtained from a recording medium (a disk medium represented by CD / DVD / BD, a semiconductor memory represented by a memory card, etc.).
- a recording medium a disk medium represented by CD / DVD / BD, a semiconductor memory represented by a memory card, etc.
- high image quality information may be provided not only by the camera lens manufacturer but also by the camera dealer. Alternatively, it may be provided by a video information provider.
- the high image quality information is provided as a file different from the video information.
- the video information is generally provided as a stream file
- the stream file is provided. It may be configured to embed high-quality information in the image. It is preferable to embed high-quality information in units of frames, for example. In this way, when an input video stream having an embedded structure is used, the process of searching for high-quality image information from a server existing on the network can be omitted.
- the acquisition timing is not limited to this timing.
- the video information when the video information is recorded in the data storage unit 009, it may be predicted that the video information will be reproduced, and the image quality improvement information may be acquired in advance. Or you may make it acquire according to a user's acquisition instruction.
- the video information recording / reproducing apparatus is not connected to the network at the time of reproduction, since the image quality improvement information has been acquired, the video after the image quality improvement processing can be reproduced.
- the F value tends to be smaller than in the daytime due to the small amount of light received. Therefore, information regarding brightness such as shooting time information or peripheral light amount information is added to the high-quality image information, and it is determined whether or not to correct the blur in consideration of the brightness information such as the shooting time.
- the image information recording / reproducing apparatus performs an image quality improving process on a place where an effect of a certain level or more can be expected (the above value is a certain value or more). Can be.
- FIG. 7 shows an example of a screen for determining whether or not to apply the high image quality processing in accordance with a remote control instruction from the user, and whether or not to perform the high image quality processing is determined by the user with “Yes” or “No”.
- FIG. 8 is a diagram showing an example of a screen for determining whether or not to apply the image quality enhancement processing based on the initial device setting information of the video information recording / reproducing apparatus.
- “Yes” or “No” is used to instruct whether or not to set to perform the high image quality processing.
- the present invention is not limited to this.
- high-quality information may be prepared for each different resolution.
- the error evaluation in the error evaluation unit 107 is different.
- the image quality improvement information is acquired using the content ID 150a of the video information to be reproduced and the display information (for example, the display resolution can be acquired by HDMI (High Definition Multimedia Interface) connection or the like). Needless to say.
- the input simulator information 100 may be information that can specify the camera that captured the video information.
- the point spread function 100a, the light reception time information 100b, and the opening time 100c may be acquired from a network or the like. Even in this case, a process for obtaining high-quality image information from the model number information of the camera and the model number information of the lens is necessary.
- the camera model information or lens model number information Even if there is no image quality improvement information of the video information selected for playback, if the camera model information and lens model information exist, By acquiring the point spread function 100a, the light reception time information 100b, and the opening time 100c from the manufacturer's site or the lens manufacturer's site, it becomes possible to remove the blur due to the characteristics of the camera.
- the input simulator information 100 may include gamma correction information.
- gamma correction information In the current broadcasting standard, video information is broadcast after a specified gamma correction is applied to the video information in consideration of the display characteristics on the CRT display.
- gamma correction In general, when shooting with a camera, it is possible not to apply gamma correction. Therefore, it is possible to perform high image quality processing in consideration of gamma correction by adding gamma correction information when imaged by the camera.
- the source of the video information to be reproduced is not limited to the data storage unit 009. It is also possible to perform image quality enhancement processing while acquiring video information from a source outside the video information recording / reproducing apparatus. In this case, the data storage unit 009 may be provided arbitrarily.
- the image quality improvement information can increase the value of the image information because the image information can be improved in image quality, it can be provided for a fee. For example, a low-quality image may be provided to the user, and if there is a favorite content, high-quality information may be provided for a fee according to a request from the user.
- the user is notified that the image is charged, and the user responds to the notification with “Yes” or “No”. If “Yes”, the image quality enhancement information is acquired and the image quality enhancement processing is applied.
- FIG. 5 is a diagram showing a configuration example of a video information recording / reproducing apparatus according to a variation according to this embodiment. A description of the same functional blocks as those in FIG. 1 is omitted.
- the acquisition authentication unit 501 is provided between the network and the high image quality information acquisition unit 004 when acquiring the high image quality information from the network, and is set by the provider of the high image quality information. It is a functional unit that performs an authentication process with an authentication server that does not. Only when authentication is successful in the acquisition authentication unit 501, the image quality enhancement information can be acquired. In this case, for example, it is possible to provide a mechanism for providing a part of the image quality improvement information according to the intention of the provider of the image quality improvement information that is charged at the time of acquisition.
- the high quality information is encrypted and acquired from the network.
Abstract
映像情報記録再生装置１は、全体制御部００１、映像情報取得部００２、同期部００３、高画質化情報取得部００４、高画質化情報解釈部００５、映像情報分離部００６、高画質化処理部００７、映像情報合成部００８、データ保存部００９、映像情報出力部０１０と、を備えて構成される。ネットワーク経由で高画質化情報を取得し、これに基づいて、映像取得部００２で取得した映像の高画質化を行う。これにより複数の低解像度映像情報から適切な高解像度映像情報を得ることが可能になる。
Description
本発明は、映像情報処理技術に関し、特に、入力映像から高画質映像を推定するために必要なパラメータの選択決定技術に関するものである。
現在、ディスプレイの大型化が進み、５０型を超える大型ディスプレイが家庭内で使われることも一般的になっている。そのため、大型ディスプレイにおいて、いかに映像情報を綺麗に見せるか、という映像情報の高画質化に関する研究開発が盛んに行われている。高画質化処理の一例として超解像処理があり、以下においては、超解像処理を高画質化処理の例として説明する。超解像処理とは、下記の文献類に示すように、複数の低解像度映像情報から高画質化した映像情報である高解像度映像情報を推定する処理である。超解像処理は、まず、高解像度映像情報を仮定する。そして、仮定した高解像度映像情報からカメラの焦点ぼけなどをモデル化した点広がり関数（ＰＳＦ関数：Point Spread Function）に基づき、全ての低解像度映像情報の画素毎に、その推定値と観測された画素値（観測値）との差が小さくなるような高解像度映像情報を探索する方法である。この超解像処理は、再構成型超解像処理と呼ばれ、ＭＬ（Maximum-likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection onto Convex Sets）法などがある。再構成型超解像処理に代表される超解像処理では、結果としてできる高画質映像情報は、カメラモデルの点広がり関数の種類の選択、複数の低解像度映像情報の位置ずれの推定精度に大きく影響される。
図６は、再構成型超解像処理を用いた従来の映像情報記録再生装置の構成の概略を示すブロック図である。図６に示すように、映像情報記録再生装置２は、全体制御部６０１、映像情報取得部６０２、高画質化処理部６０３、データ保存部６０４、映像情報出力部６０５、を備えて構成される。
全体制御部６０１は、映像情報記録再生装置２の全体の制御を行い、ユーザからの再生指示を受け、再生のトリガをかける部分である。
映像情報取得部６０２は、全体制御部６０１から再生開始のトリガを受け、再生する映像情報をデータ保存部６０４から取得する部分である。例えば、録画した映像情報をＨＤＤから読み出し、読み出した映像情報を高画質化処理部６０３に送る。
高画質化処理部６０３は、映像情報取得部６０２から受け取った映像情報に対して、再構成型超解像処理に従って、高画質化処理を行う。再構成型超解像処理により得られる映像情報は、高解像度の映像情報となる。また、結果の高画質化した映像情報を映像情報出力部６０５に送る。
データ保存部６０４は、映像情報、高画質化情報などの情報を保存する部分である。映像情報出力部６０５は、高画質化処理部６０３から受け取った高画質化した映像情報を出力する部分である。
図６を参照しながら、従来の再構成型超解像処理の説明をしたが、高画質化処理部６０３は、典型的なカメラモデル、撮像条件を固定し、そのカメラモデル、撮像条件に基づいて設計する。また、再構成型超解像処理における入力画像と高画質映像情報の間の誤差の評価、繰り返し処理の終了判定、高画質化映像情報の推定方法は固定である。
特開２００６－１９５８５６
特開２００６－３０９６４９
再構成型超解像処理の高速化アルゴリズムとその精度評価 電子情報通信学会論文誌 D-II Vol.J88-D-II,No.11,pp.2200-2209,2005
Superresolution Video Reconstruction with Arbitrary Sampling Lattices and Nonzero Aperture Time, IEEE TRANSACTIONS ON IMAGE PROCESSING,VOL.6,NO. 8 AUGUST 1997
タイトル「Extraction of High-Resolution Frames from Video Sequences」掲載元「IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 5, NO. 6, JUNE 1996」著者「Richard R. Schultz, Robert L. Stevenson」
しかしながら、映像情報記録再生装置で再生する映像情報は、実際には、さまざまな異なる特性を有するカメラ、異なる撮像条件等で撮られているのが一般的である。そのため、映像情報記録再生装置内の再構成型超解像処理のパラメータ（例えば、カメラモデルの点広がり関数の種類、複数の低解像度映像情報の位置ずれの推定手段、入力画像と高画質映像情報の間の誤差の評価、繰り返し処理の終了判定、高画質化映像情報の推定手段）を固定とした場合において得られる高画質映像情報は、カメラモデルの違いによる誤差、複数の入力映像の位置ずれの推定誤差、入力画像と高画質映像情報の間の誤差の評価方法、繰り返し処理の終了判定方法、高画質化映像情報の推定方法等の影響により、一般的な補間法により補間した画像に比べて画質が悪くなる傾向にある。
上記課題を解決するために、本発明では、さまざまなカメラ、撮像条件で撮られた映像情報に対して、高画質化処理で必要となるパラメータに、その映像情報に適した値を使うことで、高画質化処理を効果的に機能させることを目的にする。
本発明の一観点によれば、映像情報を処理する映像情報処理装置において、入力映像を高画質化するための高画質化情報を、該高画質化情報と適用する入力映像とを結びつけるための同期情報に基づいて取得する高画質化情報取得部と、取得した高画質化情報の前記入力映像への適用の仕方を、取得した前記高画質化情報の内容に基づいて解釈する高画質化情報解釈部と、前記高画質化情報を適用して前記入力映像を高画質映像に変換する高画質化処理部と、を備えることを特徴とする映像情報処理装置が提供される。
また、映像情報を処理する映像情報処理装置において、入力映像情報を取得し、取得した前記入力映像情報から、映像情報を特定する識別情報を得る映像情報取得部と、前記識別情報に基づいて、前記入力映像を高画質化する高画質化情報を、ネットワークを介して外部から取得する高画質化映像情報取得部と、前記高画質化情報取得部から前記高画質化情報を受け取り、前記映像情報への適用の仕方を解釈する高画質化情報解釈部と、前記映像情報取得部から前記入力映像を受け取り、前記高画質化情報解釈部から受け取った適用領域情報をもとに、高画質化処理を適用する領域を前記入力映像から抽出し、切り取った入力映像を同期情報のタイミングで出力する映像情報分離部と、前記高画質化情報解釈部から受け取った高画質化情報を、前記映像情報分離部から受け取った前記入力映像に対して適用して高画質化処理を行う高画質化処理部と、を有することを特徴とする映像情報処理装置が提供される。
さらに、前記高画質化処理部から高画質化した映像情報を受け取り、前記高画質化情報解釈部から受け取った適用領域情報をもとに、高画質化した映像情報を合成し、該高画質化した映像情報を合成する映像情報合成部と、該映像情報合成部から受け取った高画質化した映像情報を出力する映像情報出力部と、映像情報、高画質化情報を保存するデータ保存部と、を有することを特徴とする映像情報処理装置が提供される。
前記高画質化処理部は、外部インターフェース部、修正情報作成部、映像情報修正部、入力シミュレータ部、映像情報位置あわせ部、終了判定部、誤差評価部、を備えており、前記外部インターフェース部は、ネットワークを介して高画質化情報として、入力シミュレータ情報、位置あわせ情報、誤差の評価関数情報、終了判定情報、修正方法情報、入力映像のうちの少なくともいずれかを含む情報を取得するととともに、前記映像情報分離部の出力である高画質化処理が行われる前の入力映像を受け取るとともに、高画質化処理が行われた後の高画質映像情報を外部に出力するインターフェースを構成し、高画質化情報を受け取った場合に、これらの情報を各機能構成部に振り分けて送り、前記修正情報作成部は、前記外部インターフェース部から受け取った修正方法情報と、前記終了判定部から受け取った誤差情報から、高画質化のための映像の修正情報を作成し、前記映像情報修正部は、前記修正情報作成部から受け取った映像の修正情報を用いて、映像の高画質化を行い、前記入力シミュレータ部は、前記外部インターフェース部から受け取った入力シミュレータ情報を使い、映像情報を撮像したカメラの処理をモデル化する処理であって、前記映像情報修正部から受け取った推定した高画質映像情報を変換し、前記映像情報位置あわせ部は、前記外部インターフェース部から受け取った位置あわせ情報を使い、複数の低解像度映像情報の間の位置あわせ処理（レジストレーション）を行い、前記終了判定部は、前記外部インターフェース部から受け取った前記終了判定情報を使い、高画質化処理の繰り返しの終了の判定を行い、前記誤差評価部は、前記外部インターフェースから受け取った誤差評価情報を使い、前記入力シミュレータ部から受け取った低解像度映像情報と、前記映像情報位置あわせ部から位置あわせ処理を行った結果としての低解像度映像情報と、の差分を抽出することが好ましい。
上記に記載の映像情報処理装置において、前記高画質化情報は、映像情報を撮像したカメラの処理をモデル化するための入力シミュレータ情報、複数の入力映像の位置あわせ/注目映像と参照映像の動き量を推定するレジストレーションをするための位置あわせ情報、入力映像と高画質映像の誤差を評価するための誤差評価情報、高画質化処理の終了条件のための終了判定情報、映像内で高画質化情報を適用する領域を示すための適用領域情報、映像のフレーム単位での高画質化情報への適用を示すための適用許可情報、の少なくとも一つを含み、高画質化情報取得部は、上記の情報の少なくとも一つを取得することが好ましい。
上記に記載の映像情報処理装置において、前記入力シミュレータ情報は、映像情報を撮像したカメラをモデル化した点広がり関数（PSF：Point Spread Function）を選択するための情報、映像情報を撮像したカメラの受光素子に光が当たり情報として取得できるまでの時間を示す受光時間情報、映像情報を撮像したカメラのシャッターが開いてから閉じるまでの時間を示す開口時間情報、の少なくとも一つを含み、前記高画質化情報取得部は、前記情報の少なくとも一つを取得することを特徴とする映像情報記録再生装置。
これにより、再生しようとしている映像情報を撮像したカメラの特性情報を使えるので、その映像情報からカメラによるボケの要因を取り除くことができ、映像情報の高画質化に繋がる。
上記に記載の映像情報処理装置において、前記位置あわせ情報は、複数の入力映像間の位置ずれの量を示す情報を含み、前記高画質化情報取得部は、上記の情報を取得することを特徴とする映像情報記録再生装置が提供される。これにより、映像情報の提供者がカメラを使って撮影するとき、取得できる映像間の位置ずれをカメラの特性から知ることができる。この位置ずれ情報を使うことで、位置あわせの精度が上がり、映像情報の高画質化に繋がる。
また、上記に記載の映像情報処理装置において、誤差評価情報は、誤差評価方法の種類を選択するための情報、高画質映像のエッジ情報などの情報の少なくとも一つを含み、高画質化情報取得部は、上記の情報の少なくとも一つを取得することを特徴とする映像情報処理装置であっても良い。これにより、再構成型超解像処理では、複数の入力映像の間の誤差量を求める。映像情報に適した誤差評価方法を選択して使うことで、再構成型超解像処理での高画質化に繋がる。
また、上記に記載の映像情報処理装置において、終了判定情報は、誤差の閾値情報、繰り返しの回数情報、の少なくとも一つを含み、高画質化情報取得部は、上記の情報をの少なくとも一つを取得することを特徴とする映像情報処理装置であっても良い。これにより、再構成型超解像処理は、高画質映像を得るために繰り返し処理を行う。繰り返しの終了条件（誤差の閾値情報）を変えることで、再構成型超解像処理にかかる処理時間を変更でき、高画質化処理のための待ち時間をユーザごとに変えられる。
上記に記載の映像情報処理装置において、同期情報は、高画質化情報を適用する映像情報を特定するための情報、高画質化情報を適用する映像情報のフレームを特定するための情報、の少なくとも一つを含み、高画質化情報取得部は、上記の情報の少なくとも一つを取得することを特徴とする映像情報処理装置であっても良い。ここで、必要な構成要素としては、高画質化情報をどの映像のどのフレームに適用するかを結びつけるための情報を持つことである。
上記に記載の映像情報処理装置において、適用領域情報は、高画質化情報を適用する映像情報の空間的な範囲を特定するための情報を含み、高画質化情報取得部は、上記の情報を取得することを特徴とする映像情報処理装置であっても良い。ここで、必要な構成要素としては、高画質化情報を1フレーム内のどの領域に適用するかを示す情報を持つことである。
上記に記載の映像情報処理装置において、適用許可情報は、高画質化情報を適用するか否かを示す情報を含み、高画質化情報取得部は、上記の情報を取得することを特徴とする映像情報処理装置であっても良い。これにより、映像情報の作成者が、高画質化処理をしてもよい箇所、してほしくない箇所を指定できることから、映像情報の作成者の意図を十分反映することができる。尚、高画質情報が埋め込まれている（ストリーミング内に）構成でも良い。
本発明の他の観点によれば、映像情報を処理する映像情報処理方法であって、入力映像情報を取得し、取得した前記入力映像情報から、映像情報を特定する識別情報を得るステップと、前記識別情報に基づいて、前記入力映像を高画質化する高画質化情報を、ネットワークを介して外部から取得するステップと、前記高画質化情報を受け取り、前記映像情報への適用の仕方を解釈するステップと、前記入力映像を受け取り、前記高画質化情報解釈部から受け取った適用領域情報をもとに、高画質化処理を適用する領域を前記入力映像から抽出し、切り取った入力映像を同期情報のタイミングで出力するステップと、
前記高画質化情報を、前記切り取った入力映像を同期情報のタイミングに基づいて受け取った前記入力映像に対して適用して高画質化処理を行うステップと、を有することを特徴とする映像情報処理方法が提供される。
前記高画質化情報を、前記切り取った入力映像を同期情報のタイミングに基づいて受け取った前記入力映像に対して適用して高画質化処理を行うステップと、を有することを特徴とする映像情報処理方法が提供される。
上記に記載の映像情報処理方法をコンピュータに実行させることを特徴とする制御プログラムであっても良く、該制御プログラムを記録するコンピュータ読み取り可能な記録媒体であっても良い。プログラムは、伝送媒体により取得されるものであっても良い。
本発明に係る映像情報記録再生装置を用いれば、様々なカメラ、撮像条件で撮られた映像情報に対して、効果的に高画質化処理を適用することができ、適切な高画質映像情報を得ることが可能となる。
１ 映像情報記録再生装置
００１ 全体制御部
００２ 映像情報取得部
００３ 同期部
００４ 高画質化情報取得部
００５ 高画質化情報解釈部
００６ 映像情報分離部
００７ 高画質化処理部
００８ 映像情報合成部
００９ データ保存部
０１０ 映像情報出力部
１０１ 外部インターフェース部
１０２ 修正情報作成部
１０３ 映像情報修正部
１０４ 入力シミュレータ部
１０５ 映像情報位置あわせ部
１０６ 終了判定部
１０７ 誤差評価部
５０１ 取得認証部
５０２ 映像情報記録再生装置
６０１ 全体制御部
６０２ 映像情報取得部
６０３ 高画質化処理部
６０４ データ保存部
６０５ 映像情報出力部
００１ 全体制御部
００２ 映像情報取得部
００３ 同期部
００４ 高画質化情報取得部
００５ 高画質化情報解釈部
００６ 映像情報分離部
００７ 高画質化処理部
００８ 映像情報合成部
００９ データ保存部
０１０ 映像情報出力部
１０１ 外部インターフェース部
１０２ 修正情報作成部
１０３ 映像情報修正部
１０４ 入力シミュレータ部
１０５ 映像情報位置あわせ部
１０６ 終了判定部
１０７ 誤差評価部
５０１ 取得認証部
５０２ 映像情報記録再生装置
６０１ 全体制御部
６０２ 映像情報取得部
６０３ 高画質化処理部
６０４ データ保存部
６０５ 映像情報出力部
〔第１の実施の形態〕
以下、本発明の第１の実施の形態による高画質化処理技術について、図１から図４までを参照しながら説明する。図１は、本実施の形態における映像情報処理装置の一構成例の概略を示すブロック図である。図２は、本実施の形態による高画質化処理部００７の構成の詳細を示すブロック図である。図３は、本実施の形態における映像情報記録再生装置の再生処理の流れを示すフローチャート図である。図４は、本実施の形態における高画質化情報のデータ構成の例を示す図である。以下の説明では、図１から図４までをそれぞれの説明で参照するため、図１から図４までは一体のものとして説明している。
以下、本発明の第１の実施の形態による高画質化処理技術について、図１から図４までを参照しながら説明する。図１は、本実施の形態における映像情報処理装置の一構成例の概略を示すブロック図である。図２は、本実施の形態による高画質化処理部００７の構成の詳細を示すブロック図である。図３は、本実施の形態における映像情報記録再生装置の再生処理の流れを示すフローチャート図である。図４は、本実施の形態における高画質化情報のデータ構成の例を示す図である。以下の説明では、図１から図４までをそれぞれの説明で参照するため、図１から図４までは一体のものとして説明している。
＜システム構成 映像情報記録再生装置＞
図１を参照しながら、本発明の第１の実施の形態における映像情報記録再生装置の一構成例について説明する。図１に示すように、映像情報記録再生装置１は、全体制御部００１、映像情報取得部００２、同期部００３、高画質化情報取得部００４、高画質化情報解釈部００５、映像情報分離部００６、高画質化処理部００７、映像情報合成部００８、データ保存部００９、映像情報出力部０１０を備えて構成される。
図１を参照しながら、本発明の第１の実施の形態における映像情報記録再生装置の一構成例について説明する。図１に示すように、映像情報記録再生装置１は、全体制御部００１、映像情報取得部００２、同期部００３、高画質化情報取得部００４、高画質化情報解釈部００５、映像情報分離部００６、高画質化処理部００７、映像情報合成部００８、データ保存部００９、映像情報出力部０１０を備えて構成される。
全体制御部００１は、映像情報記録再生装置１の全体の制御を行い、ユーザからのリモコン操作などによる再生指示を受けて、再生のトリガをかける部分である。
映像情報取得部００２は、全体制御部００１から再生開始のトリガを受け、再生する映像情報を取得する部分である。例えば、放送波又はネットワークを介して、或いは、内蔵のＨＤＤに録画した映像情報をそのＨＤＤから読み出す部分である。取得した映像情報から映像情報を特定する情報（下記図４のコンテンツＩＤ１５１）を高画質化情報取得部００４に送る。
同期部００３は、高画質化情報解釈部００５から、高画質化情報の同期情報１５０のフレームＩＤ１５０ａを受け取る。フレームＩＤ１５０ａを映像情報分離部００６に送り、映像情報分離部００６に対し、高画質化処理部００７にこのフレームＩＤ１５０ａの映像情報を送るように指示を出す。
高画質化情報取得部００４は、映像情報取得部００２から受け取ったコンテンツＩＤ１５０ａをもとに（検索キーとして）、ネットワークを介して外部から高画質化情報を取得する。例えば、高画質化情報を提供するソースとしては、映像情報の作成者のサイト、カメラメーカーのサイト、または、高画質化情報を蓄えてある専用サーバーなどが考えられる。尚、高画質化情報が複数のデータで構成されている場合に、データ毎に異なるサイトから取得してきてもよい。また、現在、再生選択された高画質化情報が複数存在する場合には、ユーザがそれらの中から選択できるようにしても良いことは言うまでもない。
高画質化情報取得部００４は、ネットワークを介して取得した高画質化情報の入力シミュレータ情報１００、位置あわせ情報１１０、誤差評価情報１２０、終了判定情報１３０、修正方法情報１４０、同期情報１５０、適用領域情報１６０、適用許可情報１７０を高画質化情報解釈部００５に送る。
高画質化情報解釈部００５は、高画質化情報取得部００４から受け取った高画質化情報の入力映像への適用の仕方等を解釈する。高画質化情報を適用する映像情報のフレームＩＤ１５０ａを同期部００３に、適用領域情報１６０を映像情報分離部００６と映像情報合成部００８に、入力シミュレータ情報１００、位置あわせ情報１１０、誤差評価情報１２０、終了判定情報１３０、修正方法情報１４０を高画質化処理部００７に送る。取得した入力シミュレータ情報１００を用いることで、複数の入力映像からその映像情報を撮像したときのカメラのぼけを効果的に取り除いた高画質映像情報が得られる。また、精度の高い位置あわせ情報１１０を取得しこれを使うことで、位置あわせの精度を高めることができ、再構成型超解像処理の高画質化に繋げることができる。さらに、映像情報に適した誤差評価情報１２０、修正方法情報１４０を取得し使うことで、再構成型超解像処理における高画質化に繋がる。高画質化処理は、繰り返しの処理があるため、一般的に計算量が多い。そのため、ＣＰＵ等の処理系の性能が低い映像情報記録再生装置では、高画質化処理に時間を要することになる。例えば、ＣＰＵの性能に対応した終了判定情報１３０を使うことにより、高画質化処理が終了するまでの待ち時間を短くすることができる。
映像情報分離部００６は、映像情報取得部００２から映像情報を受け取り、高画質化情報解釈部００５から受け取った適用領域情報１６０をもとに、高画質化処理を適用する領域を映像情報から抽出する（切り取る）。また、切り取った映像情報を同期部００３から受け取った同期情報のタイミングで高画質化処理部００７に送る。
高画質化処理部００７は、高画質化情報解釈部００５から受け取った入力シミュレータ情報１００、位置あわせ情報１１０、誤差評価情報１２０、終了判定情報１３０、修正方法情報１４０を、映像情報分離部００６から受け取った映像情報に対して、高画質化処理を行う。また、その処理を行った結果として得られる高画質化した映像情報を映像情報合成部００８に送る。内部構成の詳細については後述する。
映像情報合成部００８は、高画質化処理部００７から高画質化した映像情報を受け取り、高画質化情報解釈部００５から受け取った適用領域情報１６０をもとに、高画質化した映像情報を合成する。さらに、高画質化した映像情報を合成した映像情報を映像情報出力部０１０に送る。
データ保存部００９は、映像情報、高画質化情報などの情報を保存する部分である。
映像情報出力部０１０は、映像情報合成部００８から受け取った高画質化した映像情報を出力する部分である。
＜システム構成 高画質化処理部＞
まず、図２を参照しながら、高画質化処理部の詳細な構成例（処理内容）について説明する。図２に示すように、高画質化処理部００７は、例えば、外部インターフェース部１０１、修正情報作成部１０２、映像情報修正部１０３、入力シミュレータ部１０４、映像情報位置あわせ部１０５、終了判定部１０６、誤差評価部１０７、を備えている。
まず、図２を参照しながら、高画質化処理部の詳細な構成例（処理内容）について説明する。図２に示すように、高画質化処理部００７は、例えば、外部インターフェース部１０１、修正情報作成部１０２、映像情報修正部１０３、入力シミュレータ部１０４、映像情報位置あわせ部１０５、終了判定部１０６、誤差評価部１０７、を備えている。
外部インターフェース部１０１は、外部のサーバ等からネットワークを介して高画質化情報を取得する。高画質情報は、後述のように、入力シミュレータ情報、位置あわせ情報、誤差の評価関数情報、終了判定情報、修正方法情報、入力映像を含む。また、映像情報記録再生装置１が受け取り、映像情報分離部００６の出力である下記のような高画質化処理が行われる前の入力映像を受け取り、また、高画質化処理が行われた後の高画質映像情報を外部に出力するインターフェイスを構成する。外部インターフェース部１０１は、さらに、図４に示す種々の情報１００から１７０までを受け取った場合には、これらの情報を下記のように各機能構成部に振り分けて送る機能を有する。
修正情報作成部１０２は、外部インターフェース部１０１から受け取った修正方法情報１４０を使い、終了判定部１０６から受け取った誤差情報から、高画質化のための映像の修正情報を作成する部分である。作成した映像の修正情報は映像情報修正部１０３に送られる。
映像情報修正部１０３は、修正情報作成部１０２から受け取った映像の修正情報を用いて、映像の高画質化を行う部分である。再構成型超解像処理では、低解像度映像情報を高解像度映像情報に解像度変換を行う。但し、解像度変換を行わない場合であっても、その他の高画質化情報により高画質化を行えば、高画質化の効果があることは言うまでもない。但し、以降の説明では、解像度変換を伴う処理により高画質化を行う例にして説明するが、この例に限定されるものではない。
入力シミュレータ部１０４は、外部インターフェース部１０１から受け取った入力シミュレータ情報１００を使い、映像情報を撮像したカメラの処理をモデル化した部分である。ここでは、映像情報修正部１０３から受け取った推定した高画質映像情報を変換し、変換後の映像情報を誤差評価部１０７に送る。映像情報に適した入力シミュレータ情報を使って、上記非特許文献２で説明されているように、カメラ等の撮像装置の処理の逆変換に相当する処理を行うことで、カメラのボケの要因などを取り除くことができる。図４に示すように、入力シミュレータ情報１００には、カメラの光学ボケをモデル化した点広がり関数情報１００ａ、カメラの受光素子に光が当たり情報として取得できるまでの時間を示す受光時間情報１００ｂ、カメラのシャッターが開いてから閉じるまでの時間を示す開口時間情報１００ｃなどがある。
映像情報位置あわせ部１０５は、外部インターフェース部１０１から受け取った位置あわせ情報１１０を使い、複数の低解像度映像情報の間の位置あわせ処理（レジストレーション）をする部分である。取得した位置合わせ情報を使うことで、位置あわせ処理の精度が上がる。精度の高い位置合わせ処理を行うことにより、不良データを低減することにつながり、映像情報を高画質化することができる。
終了判定部１０６は、外部インターフェース部１０１から受け取った終了判定情報１３０を使い、高画質化処理の繰り返しの終了の判定を行う部分である。例えば、期待される高画質化情報が得られたことを判定するために使う低解像度映像間の誤差の閾値情報１３０ａ、再構成型超解像処理では繰り返し処理を行い高画質映像を得るが、その繰り返し回数の上限を決めるための繰り返し回数情報１３０ｂが含まれる。また、誤差評価部１０７から誤差情報を受け取り、この誤差情報が終了判定条件を満たした場合に、高画質化処理を終了し、終了判定条件を満たさない場合には、修正情報作成部１０２に誤差情報を送る。高画質化処理は、繰り返しの処理があり、繰り返しの回数が多いほど高画質情報が得られる。しかしながら、入力映像毎に繰り返し回数１３０ｂは異なるが、ある回数以上の繰り返しても、高画質化に関する効果が頭打ちする特徴をもつ。従って、受け取った繰り返し回数１３０ｂを用いることにより、余分な繰り返し処理が発生しないようにすることができる。
誤差評価部１０７は、外部インターフェース１０１から受け取った誤差評価情報１２０を使い、入力シミュレータ１０４から受け取った低解像度映像情報と、映像情報位置あわせ部１０５から位置あわせ処理を行った結果としての低解像度映像情報と、の差分を抽出する。例えば、２つの映像情報の各画素値の二乗誤差の和や２つの映像情報の各画素値のそれぞれの誤差などの誤差評価情報を切り替えることにより、映像情報の特性（エッジの多い映像情報、あまり変化のない映像情報などを有する特性）を保つように誤差の評価を行うことが可能となり、結果として映像情報の高画質化に繋がる。
＜高画質化情報＞
次に、図４を参照しながら、本実施の形態で用いられる高画質化情報のデータ構成例について説明する。高画質化情報の例としては、入力シミュレータ情報１００、位置あわせ情報１１０、誤差評価情報１２０、終了判定情報１３０、修正方法情報１４０、同期情報１５０、適用領域情報１６０、適用許可情報１７０が含まれる。
次に、図４を参照しながら、本実施の形態で用いられる高画質化情報のデータ構成例について説明する。高画質化情報の例としては、入力シミュレータ情報１００、位置あわせ情報１１０、誤差評価情報１２０、終了判定情報１３０、修正方法情報１４０、同期情報１５０、適用領域情報１６０、適用許可情報１７０が含まれる。
入力シミュレータ情報１００は、前述した入力シミュレータ部１０４で用いる情報であり、撮像に使うカメラの特性を表す情報である。例えば、カメラの光学ボケをモデル化した点広がり関数情報１００ａ、カメラの受光素子に光が当たり情報として取得できるまでの時間を示す受光時間情報１００ｂ、カメラのシャッターが開いてから閉じるまでの時間を示す開口時間情報１００ｃなどがある。
位置あわせ情報１１０は、前述した映像情報位置あわせ部１０５で使う情報であり、複数の低解像度映像情報に対し、位置あわせを行うための情報であり、基点とするフレームに対してのサブピクセルのずれ量情報１１０ａなどが含まれる。
誤差評価情報１２０は、前述した誤差評価部１０７で使う情報であり、再構成型超解像処理における低解像度映像情報間の誤差を評価するための情報である。例えば、２つの映像情報の各画素値の二乗誤差の和や２つの映像情報の各画素値のそれぞれの誤差などの誤差評価方法の種類情報１２０ａ、高解像度映像のエッジなどに関する情報などの事前に知ることができた高解像度映像情報の事前情報１２０ｂなどが含まれる。
終了判定情報１３０は、前述した終了判定部１０６で用いる情報であり、繰り返し処理が必要となる再構成型超解像処理において、終了判定を与える情報である。例えば、低解像度映像間の誤差の閾値情報１３０ａ、再構成型超解像処理の高画質化処理の繰り返し回数情報１３０ｂがある。
修正方法情報１４０は、前述した修正情報作成部１０２で使う情報であり、高解像度映像情報に反映するとき、どのように修正するかを示す情報で、高解像度映像情報への修正パラメータ情報１４０ａが含まれる。例えば、誤差情報をそのまま高解像度映像に反映するか、誤差情報に重み付けをした後に高解像度映像に反映するかを決める情報が考えられる。
同期情報１５０は、この高画質化情報を適用する映像情報同士（低解像度映像と高解像度映像）を結びつけるコンテンツＩＤ１５０ａと、この高画質化情報を適用する映像情報のフレーム同士（コンテンツにおいて、同じフレームであるかどうかを識別できる）を結びつけるフレームＩＤ１５０ｂを持つ。
適用領域情報１６０は、これらの上記高画質化情報をフレームＩＤ１５０ｂで特定されるフレームにおいていずれの領域に適用するかを示す情報である。例えば、長方形の領域に適用する場合におけるこの情報としては、長方形の領域を特定することができるように長方形の左上の座標、長方形の縦の長さ、長方形の横の長さの３つの情報であっても良い。
適用許可情報１７０は、映像情報のフレームにおけるこの高画質化情報の適用可否を示す情報である。許可/不許可を示す情報１７０ａを持つ。例えば、映像情報の作成者の意図により、わざと、ぼけを効果として、映像情報に入れることがある。そのような映像情報に対しては、ぼけを取り除く処理は適用外とし、その他の高画質化処理のみを行うようにすることが考えられる。そこで、映像情報の意図を反映するか否かを決めるために設けるのがこの情報である。ここでは、一つの高画質化情報に対して、許可/不許可情報１７０ａを１つ設けることを例示したが、高画質化情報のデータ毎に、適用するか或いはしないかの設定を行うことができるようにすることが可能であり、よりきめ細かい設定が可能となる。
上記で説明した種々の高画質化情報１００から１７０までは、映像情報の１フレームに対応するものとして説明したものであるが、複数フレームに対応する高画質化情報としてのデータ構成としても良い。例えば、適用する高画質化情報が複数のフレームに渡って変化がない場合には、高画質化情報に、適用開始のフレームＩＤの集合または区間を設ければよいし、変化が激しい場合には、フレームＩＤを細かい区間で付与するのが好ましい。このような変化の大きさを予め連続するフレーム単位で求めておくことにより、同じ高画質化情報の適用するフレーム群におけるフレーム数を、変化が小さい場合には多くのフレームに同じ高画質化情報の適用し、変化が大きい場合にはより少ないフレームに同じ高画質化情報の適用するようにすれば良い。
＜映像情報記録再生装置の再生処理＞
次に、図３を参照しながら、映像情報記録再生装置１における再生処理の流れについて説明する。図３は、本実施の形態における映像情報記録再生装置１の再生処理を示すフローチャート図である。
次に、図３を参照しながら、映像情報記録再生装置１における再生処理の流れについて説明する。図３は、本実施の形態における映像情報記録再生装置１の再生処理を示すフローチャート図である。
まず始めに、リモコン装置などの操作部によるユーザの再生指示を受けると、全体制御部００１は映像情報取得部００２に対して、再生する映像情報の取得指示を出す。映像情報取得部００２は、再生する対象となる映像情報のコンテンツＩＤ１５０ａをもとに、データ保存部００９から映像情報を取得する（Ｓ１０）。次に、映像情報取得部００２は、高画質化情報取得部００４に、再生する映像情報のコンテンツＩＤ１５０ａを送る。
次に、高画質化情報取得部００４は、映像情報取得部００２から受け取った再生する映像情報のコンテンツＩＤ１５０ａをもとに、このコンテンツＩＤ１５０ａに対応する高画質化情報をネットワーク上から取得し（Ｓ１１）、取得した高画質化情報を高画質化情報解釈部００５に送る。
次に、高画質化情報が存在しないなどにより、高画質化情報を取得できない場合（Ｓ１２のＮＯ）、既存の補間法を用いた処理を行うか、従来の再構成型超解像処理を行うか、または、高画質化処理を行わずに映像情報をそのまま映像情報出力部０１０から出力する（Ｓ１８）。
高画質化情報を取得できた場合には、再構成型超解像処理を行う（Ｓ１２のＹＥＳ）。次に、高画質化情報解釈部００５は、映像情報が高画質化処理を行ってもよいフレームかどうかを高画質化情報の適用許可情報１７０を解釈することで判定する。高画質化処理を行う許可のないフレームの場合（Ｓ１３のＮＯ）、高画質化処理を行わずに映像情報を、既存の補間法を用いた処理を行うか、または、高画質化処理を行わずに映像情報をそのまま映像情報出力部０１０から出力する（Ｓ１９）。
高画質化処理を行う許可のあるフレームの場合（Ｓ１３のＹＥＳ）、高画質化情報解釈部００５は高画質化情報の適用領域情報１６０ａに従い映像情報を切り抜き、高画質化処理部００７に送る（Ｓ１４）。
高画質化処理部００７は、映像情報分離部００６から受け取った映像情報に対し、高画質化情報解釈部００５から受け取った高画質化情報の入力シミュレータ情報１００、位置あわせ情報１１０、誤差評価情報１２０、終了判定情報１３０、修正方法情報１４０を使い、再構成型超解像処理を行う（Ｓ１５）。次に、高解像度化した映像情報を映像情報合成部００８に送る。
映像情報合成部００８は受け取った高解像度化した映像情報を切り抜き元の映像情報に貼り付ける（Ｓ１６）。このとき、解像度の変化があるため、実際には切り抜き元の映像を既存の補間法で高解像度化しておき、その高解像度化した映像情報に対して、高画質化処理部００７を通して得られた高画質化映像情報を貼り付ける。
最後に、映像情報の終端まで処理を行った場合（Ｓ１７のＹＥＳ）には、映像情報の再生を終了する。映像情報の終端でない場合には（Ｓ１７のＮＯ）、Ｓ１３に戻り、処理を継続する。
以上の処理により、入力映像の高画質化を行うことができる。
＜第１の変形例：高画質化情報の提供元のバリエーション＞
第１の実施の形態では、高画質化情報をネットワークから取得する例について説明したが、取得元は、ネットワーク経由に限定されるものではない。例えば、記録メディア（CD/DVD/BDに代表されるディスク媒体、メモリカードに代表される半導体メモリなど）から取得する構成にしてもよい。また、これらの高画質化情報は、カメラのレンズメーカーだけでなく、カメラの販売業者などによって提供されるようにしても良い。或いは、映像情報の提供者によっても提供されるようにしても良い。
第１の実施の形態では、高画質化情報をネットワークから取得する例について説明したが、取得元は、ネットワーク経由に限定されるものではない。例えば、記録メディア（CD/DVD/BDに代表されるディスク媒体、メモリカードに代表される半導体メモリなど）から取得する構成にしてもよい。また、これらの高画質化情報は、カメラのレンズメーカーだけでなく、カメラの販売業者などによって提供されるようにしても良い。或いは、映像情報の提供者によっても提供されるようにしても良い。
＜第２の変形例：高画質化情報の提供形態のバリエーション＞
また、第１の実施の形態では、高画質化情報は、映像情報とは別のファイルとして提供する例について説明したが、一般的には映像情報はストリームファイルで提供されているため、ストリームファイル内に高画質化情報を埋め込んでおく構成であっても良い。高画質情報を例えばフレーム単位で埋め込むようにすることが好ましい。このように埋め込み構造の入力映像ストリームを用いた場合には、高画質化情報をネットワーク上に存在するサーバから検索するという処理は省略することができる。
また、第１の実施の形態では、高画質化情報は、映像情報とは別のファイルとして提供する例について説明したが、一般的には映像情報はストリームファイルで提供されているため、ストリームファイル内に高画質化情報を埋め込んでおく構成であっても良い。高画質情報を例えばフレーム単位で埋め込むようにすることが好ましい。このように埋め込み構造の入力映像ストリームを用いた場合には、高画質化情報をネットワーク上に存在するサーバから検索するという処理は省略することができる。
＜第３の変形例：高画質化情報の取得タイミングのバリエーション＞
また、第１の実施の形態では、高画質化情報を入力映像情報の再生開始時に取得する場合を例にして説明したが、取得するタイミングはこのタイミングに限定されるものではない。例えば、映像情報をデータ保存部００９に録画した時点で、再生されることを予測して予め高画質化情報を取得しておいてもよい。或いは、ユーザの取得指示に応じて取得するようにしてもよい。映像情報の録画時に高画質化情報を取得しておくことにより、ユーザが録画した映像情報を見るまでの間に、高画質化処理を終了させておくことも可能である。また、再生時に、映像情報記録再生装置がネットワークに繋がっていない場合であっても、高画質化情報を取得済みであるため、高画質化処理を行った後の映像を再生させることができる。
また、第１の実施の形態では、高画質化情報を入力映像情報の再生開始時に取得する場合を例にして説明したが、取得するタイミングはこのタイミングに限定されるものではない。例えば、映像情報をデータ保存部００９に録画した時点で、再生されることを予測して予め高画質化情報を取得しておいてもよい。或いは、ユーザの取得指示に応じて取得するようにしてもよい。映像情報の録画時に高画質化情報を取得しておくことにより、ユーザが録画した映像情報を見るまでの間に、高画質化処理を終了させておくことも可能である。また、再生時に、映像情報記録再生装置がネットワークに繋がっていない場合であっても、高画質化情報を取得済みであるため、高画質化処理を行った後の映像を再生させることができる。
＜第４の変形例：高画質化情報の適用のバリエーション＞
また、第１の実施の形態では、高画質化処理を適用するか否かを、高画質化情報の適用許可情報１７０に基いて決定する例について説明したが、高画質化処理を適用するか否かについて、例えば、撮像時のカメラのレンズの絞り情報であるF値(F-number)を元に高画質化処理を行うかどうかを判断するようにしても良い。すなわち、F値が小さい場合は、焦点以外の部分がぼけた映像情報になる。このようなぼけは、映像情報の作成者の意図によるものである可能性が高いため、ぼけを取り除くための処理を除外してその他の高画質化処理のみを適用することが好ましいと判断される。
また、第１の実施の形態では、高画質化処理を適用するか否かを、高画質化情報の適用許可情報１７０に基いて決定する例について説明したが、高画質化処理を適用するか否かについて、例えば、撮像時のカメラのレンズの絞り情報であるF値(F-number)を元に高画質化処理を行うかどうかを判断するようにしても良い。すなわち、F値が小さい場合は、焦点以外の部分がぼけた映像情報になる。このようなぼけは、映像情報の作成者の意図によるものである可能性が高いため、ぼけを取り除くための処理を除外してその他の高画質化処理のみを適用することが好ましいと判断される。
尚、夜間の撮影では、受光量が少ないことから昼間に比べてF値を小さくする傾向にある。従って、高画質化情報に撮影時刻情報又は周辺光量情報などの明るさに関する情報を付加しておき、この撮影時刻等の明るさ情報を考慮して、ぼけを修正するか否かを判断するようにしても良い。
また、動画のように複数枚の映像情報からなるデータに適用する場合を考慮すると、その高画質化の効果は、１枚毎に異なることが考えられる。そこで、高画質化情報の適用許可情報１７０に、効果的に高画質化の作用が働くことを示す情報を追加しても良い。例えば、高画質化の効果を数値化しておくことで、映像情報記録再生機器において、一定以上の効果を期待できる箇所（上記数値がある値以上であること）に対して高画質化処理を行うようにすることができる。
また、上記第１の実施の形態では、高画質化処理を適用するか否かを、高画質化情報の適用許可情報１７０に基いて決定する例について説明した。その他の方法として、一般的な映像情報記録再生装置を考慮した場合に、ユーザからのリモコンなどによる指示、映像情報記録再生装置の初期機器設定情報も、高画質化処理を適用するか否かを判断する情報の要因として利用できることは言うまでもない。図７は、ユーザからのリモコン指示による、高画質化処理を適用するか否かを決定する画面の一例であり、高画質処理をするか否かを、「はい」又は「いいえ」によりユーザから指示するユーザ・インターフェイスを示す画面である。この画面は、映像情報の再生を始める前でもあってもよいし、再生中に表示させるようにしてもよい。図８は、映像情報記録再生装置の初期機器設定情報による高画質化処理を適用するか否かを決定する画面の一例を示す図である。映像を再生する場合は常に、高画質化処理を行う設定にするか否かを、「はい」、「いいえ」で指示するものである。この指示に従って、高画質化処理を適用するか否かを決定することができる。
＜第５の変形例：一つの映像情報に対して複数の高画質化情報が存在するバリエーション＞
また、第１の実施の形態では、高画質化情報は映像情報に対して１つである例について説明したが、これに限定されるものではない。例えば、解像度が異なる複数の所望の高画質映像情報が存在する場合には、解像度が異なる毎に高画質化情報を用意しておいてもよい。解像度が異なる場合には、誤差評価部１０７での誤差の評価が異なる。例えば、映像情報の画素値の二乗誤差の和とした場合に、解像度の違いにより、評価が異なるという問題が起きる。そこで、解像度毎に高画質化情報を用意しておくことにより、解像度毎の映像情報の高画質化のばらつきを減らすことができる。この場合に、高画質化情報は、再生する映像情報のコンテンツＩＤ１５０ａとディスプレイの情報（例えば、ディスプレイの解像度はＨＤＭＩ(High Definition Multimedia Interface)接続等で取得できる）を使って高画質化情報を取得することは言うまでもない。
また、第１の実施の形態では、高画質化情報は映像情報に対して１つである例について説明したが、これに限定されるものではない。例えば、解像度が異なる複数の所望の高画質映像情報が存在する場合には、解像度が異なる毎に高画質化情報を用意しておいてもよい。解像度が異なる場合には、誤差評価部１０７での誤差の評価が異なる。例えば、映像情報の画素値の二乗誤差の和とした場合に、解像度の違いにより、評価が異なるという問題が起きる。そこで、解像度毎に高画質化情報を用意しておくことにより、解像度毎の映像情報の高画質化のばらつきを減らすことができる。この場合に、高画質化情報は、再生する映像情報のコンテンツＩＤ１５０ａとディスプレイの情報（例えば、ディスプレイの解像度はＨＤＭＩ(High Definition Multimedia Interface)接続等で取得できる）を使って高画質化情報を取得することは言うまでもない。
＜第６の変形例：高画質情報の内容のバリエーション＞
また、入力シミュレータ情報１００は、映像情報を撮像したカメラを特定できる情報であってもよい。例えば、代わりに、カメラの型番情報またはレンズの型番情報を使い、ネットワークなどから、これらの情報に基づいて、点広がり関数１００ａ、受光時間情報１００ｂ、開口時間１００ｃを取得するようにしてもよい。この場合でも、カメラの型番情報とレンズの型番情報とから、高画質化情報を取得するプロセスは必要である。カメラの型番情報またはレンズの型番情報が与えられることにより、再生選択された映像情報の高画質化情報が存在しない場合であっても、カメラの型番情報とレンズの型番情報とがあれば、カメラメーカーのサイトもしくはレンズメーカーのサイトから点広がり関数１００ａ、受光時間情報１００ｂ、開口時間１００ｃを取得することにより、カメラの特性によるぼけを取り除くことが可能となる。
また、入力シミュレータ情報１００は、映像情報を撮像したカメラを特定できる情報であってもよい。例えば、代わりに、カメラの型番情報またはレンズの型番情報を使い、ネットワークなどから、これらの情報に基づいて、点広がり関数１００ａ、受光時間情報１００ｂ、開口時間１００ｃを取得するようにしてもよい。この場合でも、カメラの型番情報とレンズの型番情報とから、高画質化情報を取得するプロセスは必要である。カメラの型番情報またはレンズの型番情報が与えられることにより、再生選択された映像情報の高画質化情報が存在しない場合であっても、カメラの型番情報とレンズの型番情報とがあれば、カメラメーカーのサイトもしくはレンズメーカーのサイトから点広がり関数１００ａ、受光時間情報１００ｂ、開口時間１００ｃを取得することにより、カメラの特性によるぼけを取り除くことが可能となる。
映像情報記録再生装置を製造するメーカーにとって、例え映像情報の提供者から映像情報以外何も提供されていない場合でも、カメラ情報やレンズ情報から独自に高画質化情報と関連付けることで、もともと提供されている映像情報をより価値の高い高画質映像情報として再生できる。これにより、映像情報記録再生装置の価値を高められ優位性を持つことできる。
また、入力シミュレータ情報１００には、ガンマ補正情報を含んでもよい。現在の放送規格では、CRTディスプレイでの表示特性を考慮して、映像情報に規定のガンマ補正をかけたあと放送している。しかし、一般的にカメラで撮影した場合、ガンマ補正をかけないことも可能である。従って、カメラで撮像したときのガンマ補正情報を追加することで、ガンマ補正を考慮した高画質化処理を行うことが可能である。
＜第７の変形例：映像情報の取得元のバリエーション＞
また、第１の実施の形態では、データ保存部００９内の映像情報を再生する例について説明したが、再生対象となる映像情報のソースは、データ保存部００９内に限定されるものではない。映像情報を映像情報記録再生装置外のソースから取得しながら、高画質化処理を行うこともできる。この場合には、データ保存部００９は任意に設ければ良い。
また、第１の実施の形態では、データ保存部００９内の映像情報を再生する例について説明したが、再生対象となる映像情報のソースは、データ保存部００９内に限定されるものではない。映像情報を映像情報記録再生装置外のソースから取得しながら、高画質化処理を行うこともできる。この場合には、データ保存部００９は任意に設ければ良い。
〔第２の実施の形態：高画質化情報を認証取得する場合のバリエージョン〕
以下に、本発明の第２の実施の形態について図面を参照しながら説明行う。上記の第１の実施の形態では、高画質化情報を取得する際、特に認証なしで取得できる場合について説明した。
以下に、本発明の第２の実施の形態について図面を参照しながら説明行う。上記の第１の実施の形態では、高画質化情報を取得する際、特に認証なしで取得できる場合について説明した。
しかしながら、高画質化情報は、映像情報を高画質化できるため、映像情報の価値を上げることができると言えるので、有償で提供することが考えられる。例えば、低画質映像をユーザに提供しておき、気に入ったコンテンツがあった場合に、ユーザからの申し出により、有償で高画質情報を提供するようにしても良い。
このとき、有償で高画質情報を提供するものであることから、ユーザに有償であることを通知するとともに、この通知に対して、ユーザが、「はい」、「いいえ」により応答するが、「はい」であった場合には、高画質化情報を取得し、高画質化処理を適用する。
その場合、高画質化情報の取得時に、映像情報記録再生装置が不正に高画質化情報を取得できない仕組みが必要となる。
図５は、本実施の形態によるバリエーションによる映像情報記録再生装置の一構成例を示す図である。図１と同じ機能ブロックについては説明を省略する。
図５に示すように、取得認証部５０１は高画質化情報をネットワークから取得する場合に、ネットワークと高画質情報取得部００４との間に設けられ、高画質化情報の提供元が設定した図示しない認証用サーバとの間で認証処理を行う機能部である。取得認証部５０１において認証が成功した場合にのみ、高画質化情報を取得することができるようになっている。この場合には、例えば、取得時に課金する、高画質化情報の提供者の意図により、高画質化情報の一部を提供するなどの仕組みを設けることができる。
また、高画質化情報を暗号化しておき、ネットワークから取得するように構成しても良い。この場合には、復号鍵を提供者側から購入し、購入した復号鍵を利用して取得認証部５０１において、暗号化された高画質化情報を復号して使うようにすることができる。
（まとめ）
本発明に実施の形態による映像情報記録再生装置を用いることで、様々なカメラ、撮像条件で撮られた映像情報に対して、効果的に高画質化処理を適用することができる。従って、適切な高画質映像情報を簡単かつ効果的に得ることが可能となる。
本発明に実施の形態による映像情報記録再生装置を用いることで、様々なカメラ、撮像条件で撮られた映像情報に対して、効果的に高画質化処理を適用することができる。従って、適切な高画質映像情報を簡単かつ効果的に得ることが可能となる。
映像情報を記録・再生することができる機器全般に適用することができる。
Claims (15)
- 映像情報を処理する映像情報処理装置において、
入力映像を高画質化するための高画質化情報を、該高画質化情報と適用する入力映像とを結びつけるための同期情報に基づいて取得する高画質化情報取得部と、
取得した高画質化情報の前記入力映像への適用の仕方を、取得した前記高画質化情報の内容に基づいて解釈する高画質化情報解釈部と、
前記高画質化情報を適用して前記入力映像を高画質映像に変換する高画質化処理部と、
を備えることを特徴とする映像情報処理装置。 - 映像情報を処理する映像情報処理装置において、
入力映像情報を取得し、取得した前記入力映像情報から、映像情報を特定する識別情報を得る映像情報取得部と、
前記識別情報に基づいて、前記入力映像を高画質化する高画質化情報を、ネットワークを介して外部から取得する高画質化映像情報取得部と、
前記高画質化情報取得部から前記高画質化情報を受け取り、前記映像情報への適用の仕方を解釈する高画質化情報解釈部と、
前記映像情報取得部から前記入力映像を受け取り、前記高画質化情報解釈部から受け取った適用領域情報をもとに、高画質化処理を適用する領域を前記入力映像から抽出し、切り取った入力映像を同期情報のタイミングで出力する映像情報分離部と、
前記高画質化情報解釈部から受け取った高画質化情報を、前記映像情報分離部から受け取った前記入力映像に対して適用して高画質化処理を行う高画質化処理部と
を有することを特徴とする映像情報処理装置。 - さらに、
前記高画質化処理部から高画質化した映像情報を受け取り、前記高画質化情報解釈部から受け取った適用領域情報をもとに、高画質化した映像情報を合成し、該高画質化した映像情報を合成する映像情報合成部と、
該映像情報合成部から受け取った高画質化した映像情報を出力する映像情報出力部と、
映像情報、高画質化情報を保存するデータ保存部と
を有することを特徴とする請求項２に記載の映像情報処理装置。 - 前記高画質化処理部は、外部インターフェース部、修正情報作成部、映像情報修正部、入力シミュレータ部、映像情報位置あわせ部、終了判定部、誤差評価部、を備えており、
前記外部インターフェース部は、ネットワークを介して高画質化情報として、入力シミュレータ情報、位置あわせ情報、誤差の評価関数情報、終了判定情報、修正方法情報、入力映像のうちの少なくともいずれかを含む情報を取得するととともに、前記映像情報分離部の出力である高画質化処理が行われる前の入力映像を受け取るとともに、高画質化処理が行われた後の高画質映像情報を外部に出力するインターフェースを構成し、高画質化情報を受け取った場合に、これらの情報を各機能構成部に振り分けて送り、
前記修正情報作成部は、前記外部インターフェース部から受け取った修正方法情報と、前記終了判定部から受け取った誤差情報から、高画質化のための映像の修正情報を作成し前記映像情報修正部は、前記修正情報作成部から受け取った映像の修正情報を用いて、映像の高画質化を行い、
前記入力シミュレータ部は、前記外部インターフェース部から受け取った入力シミュレータ情報を使い、映像情報を撮像したカメラの処理をモデル化して、前記映像情報修正部から受け取った高画質映像情報を変換し、
前記映像情報位置あわせ部は、前記外部インターフェース部から受け取った位置あわせ情報を使い、複数の低解像度映像情報の間の位置あわせ処理（レジストレーション）を行い、
前記終了判定部は、前記外部インターフェース部から受け取った前記終了判定情報を使い、高画質化処理の繰り返しの終了の判定を行い、
前記誤差評価部は、前記外部インターフェースから受け取った誤差評価情報を使い、前記入力シミュレータ部から受け取った低解像度映像情報と、前記映像情報位置あわせ部から位置あわせ処理を行った結果としての低解像度映像情報と、の差分を抽出することを特徴とする請求項３に記載の映像情報処理装置。 - 請求項１から４までのいずれか１項に記載の映像情報処理装置において、
前記高画質化情報は、
映像情報を撮像したカメラの処理をモデル化するための入力シミュレータ情報、複数の入力映像の位置あわせ/注目映像と参照映像の動き量を推定するレジストレーションをするための位置あわせ情報、入力映像と高画質映像の誤差を評価するための誤差評価情報、
高画質化処理の終了条件のための終了判定情報、映像内で高画質化情報を適用する領域を示すための適用領域情報、映像のフレーム単位での高画質化情報への適用を示すための適用許可情報、の少なくとも一つを含み、
高画質化情報取得部は、上記の情報の少なくとも一つを取得することを特徴とする映像情報処理装置。 - 請求項５に記載の映像情報処理装置において、
前記入力シミュレータ情報は、
映像情報を撮像したカメラをモデル化した点広がり関数（PSF：Point Spread Function）を選択するための情報、映像情報を撮像したカメラの受光素子に光が当たり情報として取得できるまでの時間を示す受光時間情報、映像情報を撮像したカメラのシャッターが開いてから閉じるまでの時間を示す開口時間情報、の少なくとも一つを含み、
前記高画質化情報取得部は、前記情報の少なくとも一つを取得することを特徴とする映像情報記録再生装置。 - 請求項５に記載の映像情報処理装置において、
前記位置あわせ情報は、
複数の入力映像間の位置ずれの量を示す情報を含み、
前記高画質化情報取得部は、上記の情報を取得することを特徴とする映像情報処理装置。 - 請求項５に記載の映像情報処理装置において、
誤差評価情報は、
誤差評価方法の種類を選択するための情報、高画質映像のエッジ情報の少なくとも一つを含み、
高画質化情報取得部は、上記の情報の少なくとも一つを取得することを特徴とする映像情報処理装置。 - 請求項５に記載の映像情報処理装置において、
終了判定情報は、誤差の閾値情報、繰り返しの回数情報、の少なくとも一つを含み、
高画質化情報取得部は、上記の情報の少なくとも一つを取得することを特徴とする映像情報処理装置。 - 請求項６に記載の映像情報処理装置において、
同期情報は、高画質化情報を適用する映像情報を特定するための情報、高画質化情報を適用する映像情報のフレームを特定するための情報、の少なくとも一つを含み、
高画質化情報取得部は、上記の情報の少なくとも一つを取得することを特徴とする映像情報処理装置。 - 請求項６に記載の映像情報処理装置において、
適用領域情報は、高画質化情報を適用する映像情報の空間的な範囲を特定するための情報を含み、
高画質化情報取得部は、前記情報を取得することを特徴とする映像情報処理装置。 - 請求項６に記載の映像情報処理装置において、
適用許可情報は、高画質化情報を適用するか否かを示す情報を含み、
高画質化情報取得部は、前記情報を取得することを特徴とする映像情報処理装置。 - 映像情報を処理する映像情報処理方法であって、
入力映像情報を取得し、取得した前記入力映像情報から、映像情報を特定する識別情報を得るステップと、
前記識別情報に基づいて、前記入力映像を高画質化する高画質化情報を、ネットワークを介して外部から取得するステップと、
前記高画質化情報を受け取り、前記映像情報への適用の仕方を解釈するステップと、
前記入力映像を受け取り、前記高画質化情報解釈部から受け取った適用領域情報をもとに、高画質化処理を適用する領域を前記入力映像から抽出し、切り取った入力映像を同期情報のタイミングで出力するステップと、
前記高画質化情報を、前記切り取った入力映像を同期情報のタイミングに基づいて受け取った前記入力映像に対して適用して高画質化処理を行うステップと
を有することを特徴とする映像情報処理方法。 - 請求項１３に記載の映像情報処理方法をコンピュータに実行させることを特徴とする制御プログラム。
- 請求項１４に記載の制御プログラムを記録するコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010511965A JPWO2009139341A1 (ja) | 2008-05-13 | 2009-05-11 | 映像情報処理装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008126136 | 2008-05-13 | ||
| JP2008-126136 | 2008-05-13 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2009139341A1 true WO2009139341A1 (ja) | 2009-11-19 |
Family
ID=41318711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2009/058736 WO2009139341A1 (ja) | 2008-05-13 | 2009-05-11 | 映像情報処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| JP (2) | JPWO2009139341A1 (ja) |
| WO (1) | WO2009139341A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012060306A (ja) * | 2010-09-07 | 2012-03-22 | Nippon Hoso Kyokai <Nhk> | 画像再構成装置、符号化装置、復号装置及びプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001197354A (ja) * | 2000-01-13 | 2001-07-19 | Minolta Co Ltd | デジタル撮像装置および画像復元方法 |
| JP2003189236A (ja) * | 2001-10-09 | 2003-07-04 | Seiko Epson Corp | 画像データの出力画像調整 |
| JP2005354124A (ja) * | 2004-06-08 | 2005-12-22 | Seiko Epson Corp | 複数の低画素密度画像からの高画素密度画像の生成 |
| JP2006319524A (ja) * | 2005-05-11 | 2006-11-24 | Olympus Corp | 撮像装置 |
| JP2008067316A (ja) * | 2006-09-11 | 2008-03-21 | Olympus Corp | 画像配信システム、サーバ及びクライアント端末 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0678270A (ja) * | 1992-08-26 | 1994-03-18 | Sanyo Electric Co Ltd | Ｍｕｓｅ信号記録再生装置における特殊効果付加方式及 び特殊効果付加装置 |
| JP3520860B2 (ja) * | 2001-02-09 | 2004-04-19 | セイコーエプソン株式会社 | 画像ファイルの出力画像調整 |
| JP3608533B2 (ja) * | 2001-02-09 | 2005-01-12 | セイコーエプソン株式会社 | ネットワークを介した画像処理 |
| JP2006338551A (ja) * | 2005-06-03 | 2006-12-14 | Sharp Corp | コンテンツ再生装置及びコンテンツ再生方法 |
-
2009
- 2009-05-11 WO PCT/JP2009/058736 patent/WO2009139341A1/ja active Application Filing
- 2009-05-11 JP JP2010511965A patent/JPWO2009139341A1/ja active Pending
-
2013
- 2013-04-15 JP JP2013084697A patent/JP5559903B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001197354A (ja) * | 2000-01-13 | 2001-07-19 | Minolta Co Ltd | デジタル撮像装置および画像復元方法 |
| JP2003189236A (ja) * | 2001-10-09 | 2003-07-04 | Seiko Epson Corp | 画像データの出力画像調整 |
| JP2005354124A (ja) * | 2004-06-08 | 2005-12-22 | Seiko Epson Corp | 複数の低画素密度画像からの高画素密度画像の生成 |
| JP2006319524A (ja) * | 2005-05-11 | 2006-11-24 | Olympus Corp | 撮像装置 |
| JP2008067316A (ja) * | 2006-09-11 | 2008-03-21 | Olympus Corp | 画像配信システム、サーバ及びクライアント端末 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012060306A (ja) * | 2010-09-07 | 2012-03-22 | Nippon Hoso Kyokai <Nhk> | 画像再構成装置、符号化装置、復号装置及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013150353A (ja) | 2013-08-01 |
| JP5559903B2 (ja) | 2014-07-23 |
| JPWO2009139341A1 (ja) | 2011-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9769377B2 (en) | Imaging apparatus and control method for handling a raw image of a moving image or a still image | |
| US8130278B2 (en) | Method for forming an improved image using images with different resolutions | |
| US9918062B2 (en) | Image capturing apparatus, control method of image capturing apparatus, and image processing method | |
| JP4222869B2 (ja) | 画像再生装置 | |
| JP6429588B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP5546082B2 (ja) | オーバーラップする境界に基づくマルチメディアのスライストランスコーディング方法およびシステム、記録媒体 | |
| JP4881210B2 (ja) | 撮像装置、画像処理装置及びそれらの制御方法 | |
| US9894270B2 (en) | Image processing apparatus and image processing method for handling a raw image, of a moving image or a still image | |
| US9723169B2 (en) | Imaging apparatus and imaging apparatus control method | |
| US20150103204A1 (en) | Image processing device and method capable of displaying high-quality image while preventing display delay, and image pickup apparatus | |
| US9756278B2 (en) | Image processing system and image capturing apparatus | |
| JPWO2018021261A1 (ja) | 画像処理装置、再生装置、画像処理方法、および、再生方法 | |
| US9396756B2 (en) | Image processing apparatus and control method thereof | |
| JP2007110223A (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム | |
| JP5559903B2 (ja) | 映像情報処理装置 | |
| US10360660B2 (en) | Image processing apparatus and image processing method for handling raw images | |
| WO2018021261A1 (ja) | 画像処理装置、再生装置、画像処理方法、および、再生方法 | |
| JP5332668B2 (ja) | 撮像装置および被写体検出プログラム | |
| JP2009147832A (ja) | 動画像記録装置、動画像再生装置及びプログラム | |
| US9596375B2 (en) | Image capturing apparatus for recording a raw image, control method of image capturing apparatus, and non-transitory computer readable storage medium with continuous shooting mode control of development process on raw image data in accordance with free storage space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 09746548 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2010511965 Country of ref document: JP |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 09746548 Country of ref document: EP Kind code of ref document: A1 |