WO2011111315A1 - 画像処理方法 - Google Patents

画像処理方法 Download PDF

Info

Publication number
WO2011111315A1
WO2011111315A1 PCT/JP2011/000924 JP2011000924W WO2011111315A1 WO 2011111315 A1 WO2011111315 A1 WO 2011111315A1 JP 2011000924 W JP2011000924 W JP 2011000924W WO 2011111315 A1 WO2011111315 A1 WO 2011111315A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processing
rotation
enlargement
image processing
Prior art date
Application number
PCT/JP2011/000924
Other languages
English (en)
French (fr)
Inventor
石井秀樹
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2011111315A1 publication Critical patent/WO2011111315A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3877Image rotation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393Enlarging or reducing
    • H04N1/3935Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Definitions

  • the present invention relates to an image processing method for image data, particularly still image data, such as a digital camera, a camera-equipped mobile phone, a digital video camera, a digital video recorder / player, and a digital television.
  • the still image playback function represented by JPEG Joint Experts Group
  • JPEG Joint Experts Group
  • JPEG Joint Experts Group
  • digital home appliances such as digital cameras, mobile phones with cameras, digital video cameras, and digital video records.
  • still images such as JPEG have been improved in image quality year by year, and still images with 10 million pixels or more are now common.
  • the number of pixels that can be handled by digital home appliances equipped with a playback function is also increasing year by year.
  • a JPEG compressed image (JPEG stream) stored in a storage medium such as an SD card is converted into a color sampling format, image size, and rotation information stored in the JPEG stream.
  • JPEG stream JPEG compressed image
  • a display such as a liquid crystal monitor
  • the color sampling format here refers to a sampling factor defined in ISO / IEC10918-1.
  • the image processing method related to the above has the following problems.
  • decoding JPEG images stored on a recording medium, etc. processing based on the enlargement / reduction information and rotation information included in the JPEG compressed image (JPEG stream), and all or all of the JPEG images once decoded and displayed
  • JPEG compressed image JPEG stream
  • decoding processing as shown in FIG.
  • the rotation processing based on the rotation information included in the JPEG stream and the rotation processing based on the rotation information based on the user's instruction output not only the processing of rotating the image data in the specified direction but also the output of the color sampling position.
  • Phase shift processing is also included that moves the image according to the sampling position of the image.
  • phase shift processing will be described using a specific example.
  • the color sampling format of the image data resulting from the decoding process is set to 4: 2: 0 format, and the color sampling position is set to “match”.
  • the color sampling format is 4: 2: 0 format and image data whose color sampling position is “match” is rotated 90 degrees to the right.
  • the 4: 2: 0 format is a YCbCr color system for representing a still image
  • a horizontal sampling factor for luminance Y is H0
  • a vertical sampling factor for luminance Y is V0
  • a horizontal sampling factor for color difference Cb is H1.
  • the vertical sampling factor of the color difference Cb is expressed as V1
  • the horizontal sampling factor of the color difference Cr as H2
  • the vertical sampling factor of the color difference Cr V2
  • FIG. 1 shows luminance Y and color differences Cb and Cr when the sampling format is 4: 2: 0 and the color sampling position is “match”.
  • FIG. 2 shows luminance Y and color differences Cb and Cr when the sampling format is 4: 2: 0 and the color sampling position is “center”.
  • FIG. 3 is a diagram when the luminance Y and color differences Cb and Cr in the case of the sampling format 4: 2: 0 in FIG. 1 and the color sampling position “match” are rotated 90 degrees to the right. As shown in FIG.
  • the process of moving and correcting the positions of the color differences Cb and Cr with respect to the luminance Y to the positions where they should be is the phase shift process. That is, this is a process of moving and correcting the positions of the color differences Cb and Cr in FIG. 3 to the positions of the color differences Cb and Cr in FIG.
  • the color differences Cb and Cr may be moved in the horizontal direction by minus 0.5 pixels. At this time, the right direction in the horizontal direction in FIG. 3 is positive, and the left direction is negative.
  • a JPEG image has a higher pixel size than a moving image generally used for a television or the like, and an image size exceeding 10 million pixels is also common. Therefore, when performing decoding processing (decoding processing), enlargement / reduction processing, and rotation processing of a JPEG compressed image, it is easy to temporarily store the results of each processing in a memory. However, with the increase in the number of pixels in a JPEG image, storing all decoding processing (decoding result) in a memory has a problem that the external memory capacity becomes too large.
  • the result of the decoding process (decoding process) of the JPEG compressed image is temporarily stored in the memory M1 as shown in FIG. If the method of temporarily storing the result of the enlargement / reduction process and the result of the rotation / phase shift process is temporarily stored in the memories M2 and M3, the decoding process (decoding process) stored in the memories M1 to M3.
  • the enlargement / reduction processing result and the rotation / phase shift processing result are further subjected to enlargement / reduction processing and rotation / phase shift processing according to the user's instruction, the user response is good.
  • the input format of the image is the color sampling format 4: 2: 0, 4: 2: 2H, 4: 2: 2V, 4: 1: 1, 4: 4: 4, the luminance Y of the color difference data Cb, Cr There are a total of 10 types of positions that coincide with each other and the center.
  • 4: 2: 2H and 4: 2: 2 are YCbCr colorimetric system for representing the still image, the horizontal sampling factor of luminance Y is H0, the vertical sampling factor of luminance Y is V0, and the horizontal of color difference Cb.
  • the sampling factor is expressed as H1
  • the vertical sampling factor of the color difference Cb V1
  • the horizontal sampling factor of the color difference Cr H2
  • the vertical sampling factor of the color difference Cr V2
  • the rotation includes normal display, 90 degree right rotation, 90 degree left rotation, upside down flip, left / right reverse, left / right reverse +90 degree right turn, left / right reverse +90 degree left turn, rotation information in the stream, and rotation information specified by the user. There are 16 types in total.
  • the rotation information specified by the user depends on the device to be played back / displayed, so there may be more than 16 types or there may be less.
  • the image processing method in FIG. 5 includes a first image processing process that performs processing based on enlargement / reduction information and rotation information included in a JPEG compressed image (JPEG stream), and enlargement / reduction and rotation information based on a user instruction.
  • the second image processing process for performing the process based on the above is performed, and the first image processing process and the second image processing process are performed via the memory.
  • the image processing method shown in FIG. 5 is somewhat effective in terms of improving the user response when enlarging / reducing and rotating the displayed image based on a user instruction, and simplifying the internal processing method. Although effective, memory capacity increases, enlargement / reduction, number of rotation information processing combinations, ease of internal processing due to complexity, ease of control, improvement of processing speed, ease of mounting The effect on is insufficient.
  • processing based on the enlargement / reduction information and rotation information included in the JPEG compressed image (JPEG stream) is performed in the first image processing, and then the second image processing is performed.
  • the second image processing is performed.
  • enlargement / reduction based on a user's instruction and processing based on rotation information in the process for example, in the process of reducing high pixel data exceeding 10 million pixels to an image size to be finally output, 10 million pixels
  • the decoding result exceeding 1 is once reduced to a predetermined image size and stored in the memory. Thereafter, the data stored in the memory is reduced to the final output image size and displayed.
  • the image processing method shown in FIGS. 4 and 5 is based on enlargement / reduction processing based on enlargement / reduction information included in a JPEG compressed image (JPEG stream) and enlargement / reduction information according to a user instruction.
  • the enlargement / reduction processing is performed twice in total, and the rotation / phase shift processing based on the rotation information included in the JPEG compressed image (JPEG stream) and the rotation / phase shift processing based on the rotation information by the user's instruction A total of two processes must be performed, and the entire process until the final display image is obtained has a problem.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to use JPEG in an image processing method, particularly in image processing involving enlargement / reduction processing and rotation processing in addition to decoding / reproduction of a JPEG image.
  • Enlargement / reduction in the stream, processing based on the rotation information, enlargement / reduction based on the user request, rotation processing is not performed in two processes, and a configuration that calculates uniquely at one time is adopted.
  • the processing based on the enlargement / reduction and rotation information in the JPEG stream, the enlargement / reduction based on the user request, and the rotation processing can be performed all at once without requiring a memory, and the image processing method can be simplified.
  • An object of the present invention is to provide an image processing method capable of high-speed processing while achieving ease of mounting.
  • the first image processing is performed in advance.
  • Image processing information that is finally required is calculated from the information and the second image processing information, and image processing is performed based on the image processing information.
  • the image processing information here refers to information (enlargement / reduction ratio) on enlargement / reduction processing performed on an image, input image format, output image format, rotation method, phase shift amount accompanying rotation processing, and the like.
  • the input image format and the output image format refer to the position of the image size, the sampling factor defined by the ISO / IEC109918-1, and the color differences Cb and Cr with respect to the luminance Y.
  • first image processing information and second image processing information of an image are given to certain image data, and when processing, after processing the image based on the first image processing information Further, the processing is not based on the second image processing information, but the image processing information (third image processing information) which is the final processing result from the first image processing information and the second image processing information in advance. Is calculated and batch processing is performed on the image based on the third image processing information.
  • the enlargement / reduction processing is performed as compared with the case where the first image processing information and the second image processing information are sequentially performed.
  • the number of times may be one, and image quality deterioration due to repeated enlargement / reduction processing can be suppressed.
  • the processing based on the first image processing information of the image and the processing based on the second image processing information are collectively performed.
  • image processing information third image processing information
  • image processing information obtained from the processing based on the first image processing information and the processing based on the second image processing information, which is the final processing result, is calculated in advance.
  • the image processing information is provided in advance as a conversion table, an operation for calculating the third image processing information in the processing process becomes unnecessary, so that the processing based on the first image processing information of the image and the second image processing information are performed.
  • processing is originally required for the number of combinations of the first image processing information and the second image processing information, and is calculated in the processing process.
  • To process while calculating It is possible to perform image processing without causing deterioration of that processing performance. Accordingly, it is only necessary to perform processing based on predetermined image processing information as internal processing, and the internal processing can be simplified.
  • the internal processing can be simplified, so that the processing can be easily implemented. Is possible.
  • processing may be performed based on the second image processing information according to a user instruction.
  • the JPEG stream is decoded, reproduced, and displayed.
  • the image is processed and displayed based on the first image processing information.
  • the first image processing information indicates image processing information in the JPEG stream.
  • the image displayed by the user may be viewed, and the entire image or only a specific part of the image may be enlarged, reduced, or rotated to be displayed.
  • processing is performed based on the second image processing information according to the user's instruction.
  • the user once sees the image processed and displayed based on the first image processing information, and displays only a specific part of the image by enlarging / reducing and rotating the image.
  • the processing based on the first image processing information and the processing based on the second image processing information are performed.
  • the processing based on the first image processing information and the processing based on the second image processing information are performed via the memory as described above.
  • an interface (I / F) is used and the user views an image processed and displayed based on the first image processing information and displays only a specific part of the image by enlarging / reducing or rotating
  • the processing is started again from the memory in which the processing result based on the image processing information of 1 is stored. That is, data is read from the memory storing the processing result based on the first image processing information, and the data is processed based on the second image processing information according to a user instruction.
  • the calculation result of the image processing information (third image processing information) of the image obtained from the processing based on the first image processing information and the processing based on the second image processing information is stored in a memory or a register.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the first processing when performing processing based on the first image processing information of the image and processing based on the second image processing information in the image processing, the first processing is performed.
  • Processing based on the first image processing information from the input data format of the processing based on the first image processing information and the output format of the processing based on the second image processing information in addition to the image processing information and the second image processing information The processing based on the first image processing information and the processing based on the second image processing information are collectively performed by uniquely determining the image processing information necessary for the processing based on the second image processing information. It is possible to execute the processing based on the first image processing information and the processing based on the second image processing information efficiently and at high speed.
  • a processing result based on the first image processing information is stored.
  • a memory is provided, and the processing based on the first image processing information and the processing based on the second image processing information are I / F via the memory.
  • the processing based on the first image processing information Since the processing based on the second image processing information can be performed collectively, a memory between the processing based on the first image processing information and the processing based on the second image processing information is unnecessary. There is an effect that the memory capacity can be reduced and the means for realizing the image processing can be simplified.
  • the processing based on the first image processing information and the processing based on the second image processing information can be performed in a lump, and the speed of the image processing can be increased.
  • the user instructs the processing based on the second image processing information to the processing result based on, there is an effect that the user responsiveness can be improved.
  • the first image processing information necessary for the processing based on the image processing information and the processing based on the second image processing information is secured in advance as a conversion table, whereby the first image processing information and the second image processing are processed during the processing.
  • the processing based on the first image processing information and the processing based on the second image processing information can be performed collectively without performing calculations according to the information, and the first image processing can be performed efficiently and at high speed. It is possible to execute processing based on the information and processing based on the second image processing information.
  • FIG. 4 is a diagram showing a color format in which is coincident.
  • FIG. 4 is a diagram showing a color format with a center.
  • FIG. 10 is a diagram when the data with the same number is rotated 90 degrees to the right.
  • FIG. 4 is a flowchart showing a related image processing method.
  • FIG. 5 is a flowchart showing another example of the related image processing method.
  • FIG. 6 is a flowchart showing an image processing method according to the first embodiment of the present invention.
  • FIG. 4 is a diagram showing a matching color sampling format.
  • FIG. 5 is a diagram showing a color sampling format of an image obtained by enlarging color difference signals Cb and Cr signals of coincident image data twice horizontally and vertically one time.
  • FIG. 9 is a diagram showing a color sampling format of an image obtained by moving the color difference signals Cb and Cr of the image data shown in FIG. 8 by +0.5 pixels in the vertical direction for explaining the image processing method.
  • FIG. 5 is a diagram showing a color sampling format of an image obtained by enlarging color difference signals Cb and Cr signals of coincident image data twice horizontally and vertically one time.
  • FIG. 9 is a diagram showing a color sampling format of an image obtained by moving the color difference signals Cb and Cr of the image data shown in FIG. 8 by +0.5 pixels in the vertical direction for explaining the image processing method
  • FIG. 5 is a diagram showing a color sampling format of an image obtained by enlarging the color difference data Cb and Cr of a matched image twice in the horizontal direction.
  • FIG. 11 is a view showing a color sampling format of an image obtained by shifting the color difference data Cb and Cr signals by +0.5 pixels in the vertical direction after the image shown in FIG. 10 is enlarged twice to explain the image processing method.
  • FIG. 12 is a flowchart showing an image processing method according to the second embodiment of the present invention.
  • FIG. 1 the color sampling format of the output image used in the embodiment
  • FIG. 6 shows an image processing method according to the embodiment of the present invention.
  • Reference numeral 105 denotes enlargement / reduction processing based on the first and second image processing information
  • reference numeral 106 denotes enlargement based on the first and second image processing information processed based on the first and second image processing information.
  • -It is a reduction processing result.
  • Reference numeral 107 denotes a rotation / phase shift process based on the first and second image processing information. Similar to the enlargement / reduction process 105 based on the first and second image processing information, the first and second image processing information is converted into the first and second image processing information. Based on the rotation and phase shift processing.
  • Reference numeral 108 denotes a rotation / phase shift processing result based on the first and second image processing information performed by the rotation / phase shift processing 107 based on the first and second image processing information.
  • Reference numeral 109 denotes a memory for storing a rotation / phase shift processing result 108 based on the first and second image processing information performed by the rotation / phase shift processing 107 based on the first and second image processing information.
  • Reference numeral 110 denotes display data read from the memory 109 that stores the rotation / phase shift processing result 108 based on the first and second image processing information.
  • a decoding process of a compressed stream such as JPEG is performed, and a decoding process result 102, which is a decoding result, is stored in the memory 103.
  • the decoding processing result 102 stored in the memory 103 may be for one frame of the image, or may be one part of the image (for several blocks or several lines). Further, the decoding process result 102 may not be stored in the memory 103. In this case, the memory 103 is not necessary.
  • the decoding (decoding) processing result 102 is read from the memory 103, and the read decoding (decoding) processing result 104 is enlarged in the enlargement / reduction processing 105 based on the first and second image processing information.
  • a reduction process is performed, and a rotation and phase shift process is performed by a rotation and phase shift process 107 based on the first and second image processing information.
  • the second image processing information is vertically and horizontally 1 ⁇ 2 times
  • the rotation method is rotated 90 degrees to the right
  • the color sampling positions are the same.
  • the color sampling position is 90 degrees to the right of the matching image.
  • 2 shows a color sampling format of an image obtained by enlarging the color difference signals Cb and Cr signals twice horizontally and vertically one time. Further, the color difference signals Cb and Cr of the image data in FIG. 8 are moved by +0.5 pixel in the vertical direction. Here, +0.5 pixel in the vertical direction corresponds to 0.5 color difference signal in the downward direction in the case of FIG.
  • FIG. 9 shows a color sampling format of an image obtained by moving the color difference signals Cb and Cr of the image data in FIG. 8 by +0.5 pixels in the vertical direction.
  • the input image is enlarged / reduced by 1 ⁇ in the vertical and horizontal directions according to the first image processing information of the image, and is normally displayed, and then the vertical and horizontal directions are halved in accordance with the second image processing information.
  • the luminance data Y of the input image is halved in the horizontal and vertical directions in a comprehensive manner, and the horizontal data is multiplied by 1 with respect to the color difference data Cb and Cr signals. What is necessary is just to halve the vertical and to shift +0.5 pixels in the vertical direction.
  • the enlargement / reduction ratio is 1/2 times each of horizontal and vertical
  • the rotation method is rotated 90 degrees to the right
  • the enlargement / reduction ratio is 2/3 times each of horizontal and vertical
  • the rotation method is upside down
  • both the horizontal and vertical of the luminance signal Y of the input image are 1/3 times both horizontal and vertical, and the color difference signals Cb and Cr are 2/3 times horizontal, 1/3 times vertical, and color difference.
  • the compressed stream that is input data is decoded in the decoding process 101. Then, the decoding processing result 102 which is a decoding result is stored in the memory 103.
  • the decoding process result 102 stored in the memory 103 is read from the memory 103 again, and the enlargement / reduction process 105 performs the enlargement / reduction process and the rotation / phase shift process 107 performs the rotation / phase shift process. Do.
  • the input image sampling format is 4: 2: 0 and the sampling position is coincident
  • the image is rotated 90 degrees to the right, and then the sampling format is 4: 2: 2H and the sampling position is coincident.
  • the color difference data Cb and Cr signals may be “horizontal: 2N times, vertical: M times, horizontal shift: 0, vertical shift: +0.5”.
  • the sampling position of the image is 4: 2: 2H and the sampling position is matched, the image is further inverted upside down and the sampling format is output in an image format with the matching sampling position of 4: 2: 2H.
  • N is the horizontal enlargement / reduction ratio of the first image processing information, and is 1/2 in this case.
  • M is the vertical enlargement / reduction ratio of the first image processing information and is 1/2.
  • X is a horizontal enlargement / reduction ratio of the second image processing information, and in this case, 2/3.
  • Y is an enlargement / reduction ratio in the vertical direction of the second image processing information, which is 2/3.
  • the processing result using the first image processing information is uniformly set to 4: 2: 2H, the sampling position is matched once, and then the second image processing information is set. This is a case where image processing is performed.
  • the enlargement / reduction ratio is 1/2 times each of horizontal and vertical
  • the rotation method is 90 degrees right rotation.
  • the method is rotated 90 degrees right
  • the input image data is rotated to the right by 90 degrees by 1/2 times each of the horizontal and vertical directions based on the first image processing information.
  • the luminance Y signal is The horizontal and vertical signals are each halved and the color difference Cb / Cr signal is also halved horizontally and vertically.
  • the color sampling format is 4: 2: 2H and the sampling position is the same as the processing result based on the first image processing information.
  • the luminance Y signal of the image data obtained as a result of the processing based on the first image processing information is 2/3 times in the horizontal and vertical directions
  • the phase difference may be shifted by +0.5 pixels in the vertical direction with respect to the color difference Cb / Cr signal.
  • unique processing contents based on the first and second image processing information, the input image format, and the output image format can be determined. Accordingly, the enlargement / reduction processing for the luminance Y signal and the color difference Cb / Cr signal, and the phase shift amount for the color difference Cb / Cr signal can be obtained by a single calculation, and therefore without complicated processing inside. Processing based on the first and second image processing information can be performed easily and at high speed.
  • FIG. 12 shows an image processing method according to the embodiment of the present invention.
  • reference numeral 500 denotes a flow of the first image processing method
  • reference numeral 501 denotes a decoding process
  • reference numeral 502 denotes a decoding process result
  • Reference numeral 503 denotes a memory for storing the decoding process result 502
  • reference numeral 504 denotes a decoding process result from the memory 503 for storing the decoding process result 502.
  • Reference numeral 505 denotes enlargement / reduction processing based on the first and second image processing information.
  • Reference numeral 506 denotes image processing uniquely determined when performing the enlargement / reduction processing 505 based on the first and second image processing information.
  • Reference numeral 507 denotes image processing information from the conversion table 506.
  • Reference numeral 508 denotes an enlargement / reduction processing result based on the first and second image processing information processed by the enlargement / reduction processing 505 based on the first and second image processing information using the conversion table 506.
  • Reference numeral 509 denotes rotation / phase shift processing based on the first and second image processing information.
  • the image processing information from the conversion table 506 is converted into the image processing information 509. Process based on.
  • the first image processing information and the second image processing information left rotation, right rotation, left / right reversal, etc.
  • the processing contents are notified in advance from the host CPU.
  • reference numeral 510 denotes a rotation / phase shift processing result based on the first and second image processing information executed by the rotation / phase shift processing 509 based on the first and second image processing information.
  • a memory 511 stores a rotation / phase shift processing result 510 based on the first and second image processing information performed by the rotation / phase shift processing 509 based on the first and second image processing information.
  • Reference numeral 512 denotes display data read from the memory 511 that stores the rotation / phase shift processing result 510 based on the first and second image processing information.
  • a decoding process 501 a decoding process of a compressed stream such as JPEG is performed, and a decoding process result 502 which is a decoding result is stored in the memory 503.
  • the decoding processing result 502 stored in the memory 503 may be for one frame of the image, or may be one part of the image (for several blocks or several lines). Further, the decoding processing result 502 may not be stored in the memory 503. In this case, the memory 503 is not necessary.
  • the decoding process result 502 is read again from the memory 503, and the read decoding process result 504 is first enlarged in the enlargement / reduction process 505 based on the first and second image processing information.
  • rotation / phase shift processing 509 performs rotation / phase shift processing. At this time, enlargement / reduction processing and rotation / phase shift processing are performed using the conversion table 506.
  • the input image is normally displayed in the vertical and horizontal directions with a magnification / reduction and rotation method of 1 ⁇ . This means that the decoded result is not enlarged / reduced or rotated as it is.
  • the second image processing information is 1 ⁇ 2 times in the vertical and horizontal directions
  • the rotation method is rotated 90 degrees to the right
  • the right-rotated image as the image of FIG.
  • 2 shows a color sampling format of an image obtained by enlarging the color difference signals Cb and Cr signals twice horizontally and vertically one time.
  • the color difference signals Cb and Cr of the image data in FIG. 8 are moved by +0.5 pixel in the vertical direction. In the case of FIG. 8, +0.5 pixel in the vertical direction corresponds to 0.5 color difference signal in the downward direction.
  • 2 shows a color sampling format of an image obtained by enlarging the color difference signals Cb and Cr signals twice horizontally and vertically one time.
  • FIG. 9 shows a color sampling format of an image obtained by moving the color difference signals Cb and Cr of the image data in FIG. 8 by +0.5 pixels in the vertical direction.
  • the enlargement / reduction ratio is 1 ⁇ 2 times each of horizontal and vertical
  • the rotation method is 90 ° right rotation
  • the enlargement / reduction ratio is 2/3 times each of horizontal and vertical
  • the luminance signal Y of the input image is collectively 1/3 times both horizontally and vertically, 2/3 times horizontally and 1/3 times vertically with respect to the color difference signals Cb and Cr, +0.5 pixel color difference signal Cb, Cr signal in the vertical direction It is sufficient to shift.
  • the compressed stream that is the input data is decoded in the decoding process 501. Then, the decoding processing result 502 which is the decoding result is stored in the memory 503.
  • the sampling position of the image is 4: 2: 2H and the sampling position is matched, the image is further inverted up and down, and the sampling format is 4: 2: 2H and the sampling position is matched and output.
  • the conversion table 506 when the input mode is “4: 2: 2H match” and the rotation method is “upside down”, ““ horizontal: X times, vertical: Y times, horizontal shift: 0 ” , Vertical shift: 0 ′′.
  • N is the horizontal enlargement / reduction ratio of the first image processing information, and in this case is 1/2.
  • the vertical enlargement / reduction ratio of the image processing information is 1 ⁇ 2, and X is the horizontal enlargement / reduction ratio of the second image processing information, and in this case, 2/3. Y is the second image processing information.
  • the image processing information 507 read from the conversion table 506 is “2M”, “N”, “X”, “Y”, and the phase shift amount “vertical direction + 0.5 (pixel)”.
  • FIG. 13 is a conversion table used in this example.
  • the result of the processing using the first image processing information is uniformly 4: 2: 2H, and after the sampling positions are matched, the image processing is performed using the second image processing information. It is.
  • the input image data is rotated 90 degrees to the right by 90% horizontally and vertically based on the first image processing information using the conversion table 506 of FIG. More specifically, the “input mode” in the conversion table of FIG. 13 may match 4: 2: 2V, and processing may be performed with reference to the 90 ° clockwise rotation column. That is, the horizontal (H) is 1 time, the vertical (V) is 1 time, the horizontal phase shift amount (HSFT) is 0 (zero), and the vertical phase shift amount (VSFT) is +0.5 pixels.
  • the luminance Y signal is halved horizontally and vertically, and the chrominance Cb / Cr signal is halved horizontally and vertically.
  • the color sampling format is 4: 2: 2H and the sampling position is the same as the processing result based on the first image processing information.
  • the processing contents are uniquely determined without performing complicated calculations internally every time depending on the first and second image processing information, the input image format, and the output image format.
  • processing based on the first and second image processing information can be performed easily and at high speed without complicated processing inside.
  • FIG. 13 is a conversion table when the output image format is the color sampling format 4: 2: 2H and the sampling position is the same, but the sampling position is centered in the other color sampling format 4: 2: 2H. Even when the sampling position is the same in the color sampling format 4: 2: 0, a similar conversion table may be prepared, and the process may be performed by appropriately switching the conversion table to be applied depending on the output image format.
  • the enlargement / reduction ratio is 1 ⁇ 2 times each of horizontal and vertical
  • the rotation method is 90 degrees right rotation
  • the enlargement / reduction ratio is horizontal, vertical.
  • the color sampling position is one For performs processing using the conversion table of FIG. 14.
  • the luminance Y signal of the input image data is halved both horizontally and vertically.
  • the conversion tables in FIGS. 13 and 14 are cases where the same conversion table is shared by the processing based on the first image processing information and the processing based on the second image processing information.
  • the conversion table may be divided into processing based on information and processing based on second image processing information.
  • FIG. 15 to 18 show respective conversion tables when the conversion table is divided into processing based on the first image processing information and processing based on the second image processing information in the second embodiment.
  • FIG. 19 is a conversion table used in the third embodiment of the present invention.
  • a table may be prepared for each output image format.
  • the image reproduction method of the present invention performs decoding, reproduction, enlargement / reduction, rotation processing based on the image processing information in the stream, and the user further displays the entire display image.
  • a specific part is enlarged / reduced or rotated and displayed, it can be displayed efficiently and at high speed using a conversion table or the like, so that a digital camera, digital video camera or camera can be used. It can be applied to applications such as attached mobile phones and digital televisions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

 画像処理方法において、画像データの第1の拡大・縮小処理及び回転処理と、その処理後の画像データの第2の拡大・縮小処理及び回転処理とを実行する場合に、前記第1の拡大・縮小処理及び回転処理に必要な情報と、前記第2の拡大・縮小処理及び回転処理に必要な情報とから、それ等の処理を総合した第3の拡大・縮小処理及び回転処理に必要な情報を拡大・縮小処理105と回転・位相シフト処理107とにより一括して算出する。従って、メモリ容量を少なく制限しつつ、画質劣化を招くことなく、画像処理の高速化が図られる。

Description

画像処理方法
 本発明は、ディジタルカメラ、カメラ付携帯電話、ディジタルビデオカメラやディジタルビデオレコーダ/プレーヤ、ディジタルテレビなどの画像データ、特に静止画データの画像処理方法に関する。
 近年のJPEG(Joint Experts Group)を代表とする静止画再生機能は急速に普及し、ディジタルカメラやカメラ付携帯電話、ディジタルビデオカメラ、ディジタルビデオレコードなど、あらゆるディジタル家電製品に搭載され必須機能となっている。また、搭載されたディジタル家電製品の普及に伴って、JPEGを代表とする静止画像は年々高画質化が進んでおり、いまや画素数が1000万画素以上の静止画は一般的になり、静止画再生機能を搭載したディジタル家電製品が扱える画素数も年々飛躍的に伸びている。
 一般に、このような画像再生処理においては、例えば、SDカードなどの記憶媒体に格納されたJPEG圧縮画像(JPEGストリーム)を、そのJPEGストリーム中に格納されているカラーサンプリングフォーマット、画像サイズ、回転情報に基づいて復号処理し、同時に再生機器に基づく表示サイズ、カラーサンプリングフォーマットに従って、液晶モニタ等のディスプレイに表示される。尚、ここで言うカラーサンプリングフォーマットとは、ISO/IEC10918-1で規定されているサンプリングファクタを指す。
 そして、一旦、液晶モニタ等のディスプレイに表示された画像に対して、ユーザが画像の全て又は画像の特定の一部分だけを拡大・縮小、回転処理して表示させたい場合があり、現在の一般的なディジタル家電製品及びパソコンなどでは、このような画像の特定領域のみを拡大・縮小するZoom処理や回転処理等の加工処理を手軽に行うことが可能である。この場合、前記のJPEGストリーム中に格納されているカラーサンプリングフォーマット、画像サイズ、回転情報に加え、ユーザによって指示された画像サイズ、回転情報に基づいて拡大・縮小処理及び回転処理を行い、画像データを再生機器に基づく表示サイズ、カラーサンプリングフォーマットに合せた後に、液晶モニタ等のディスプレイに表示させる。このような技術は、例えば特許文献1及び2に記載されている。
特開2007-67917号公報 特開2000-156779号公報
 しかしながら、前記に関連する画像処理方法では、以下のような問題があった。記録媒体などに蓄積されたJPEG画像を復号処理する際、JPEG圧縮画像(JPEGストリーム)中に含まれる拡大・縮小情報、回転情報に基づく処理と、一旦復号、表示したJPEG画像の全て又は画像の一部分をユーザが拡大・縮小、回転処理して表示させたい場合、復号処理としては、図4に示すように、先ず、JPEGストリームをデコードした後、そのJPEGストリーム中に含まれる拡大・縮小情報Aに基づく処理と回転情報Aに基づく処理を行ない、一旦、その結果を外部メモリMに格納し、その後、再度、その外部メモリMに格納された処理結果を読み出し、ユーザの指示に基づく拡大・縮小情報Bに基づく処理と、回転情報Bに基づく処理とを行い、その後、その処理結果を表示する。
 尚、JPEGストリーム中に含まれる回転情報に基づく回転処理及びユーザの指示に基づく回転情報に基づく回転処理には、画像データを指定された方向に回転させるという処理だけではなく、カラーサンプリング位置を出力画像のサンプリング位置に応じて移動させる位相シフト処理も含まれる。
 ここで、前記位相シフト処理の詳細を具体例により説明する。
 復号処理した結果の画像データのカラーサンプリングフォーマットを4:2:0フォーマットとし、カラーサンプリング位置を“一致”とする。このカラーサンプリングフォーマットを4:2:0フォーマット、カラーサンプリング位置を“一致”の画像データを90度右回転させる場合を考える。
 ここで、4:2:0フォーマットとは、静止画画像の表現をYCbCr表色系とし、輝度Yの水平サンプリングファクタをH0、輝度Yの垂直サンプリングファクタをV0、色差Cbの水平サンプリングファクタをH1、色差Cbの垂直サンプリングファクタをV1、色差Crの水平サンプリングファクタをH2、色差Crの垂直サンプリングファクタをV2と表現した場合、H0=2、V0=2、H1=1、V1=1、H2=1、V2=1である。
 図1にサンプリングフォーマット4:2:0、カラーサンプリング位置“一致”の場合の輝度Y、色差Cb、Crを示す。また、図2にサンプリングフォーマット4:2:0、カラーサンプリング位置“中心”の場合の輝度Y、色差Cb、Crを示す。図3は、図1のサンプリングフォーマット4:2:0、カラーサンプリング位置“一致”の場合の輝度Y、色差Cb、Crを90度右回転した場合の図である。図3に示すように、サンプリングフォーマット4:2:0、カラーサンプリング位置“一致”の場合の輝度Y、色差Cb、Crを90度右回転させると、サンプリングフォーマットは変わらないが、輝度Yに対する色差Cb、Crの位置が移動する。これをサンプリングフォーマット4:2:0、カラーサンプリング位置“一致”として表示すると、色差Cb、Crの輝度Yに対する位置が本来あるべき位置と異なるため、色ずれを起こしてしまう。
 そこで、色差Cb、Crの輝度Yに対する位置を本来あるべき位置に移動、補正する処理が位相シフト処理である。つまり、図3の色差Cb、Crの位置を図1の色差Cb、Crの位置に移動、補正する処理である。具体的には、色差Cb、Crを水平方向にマイナス0.5画素分移動させれば良い。この時、図3の水平方向に右方向をプラス、左方向をマイナスとする。
 従って、カラーサンプリングフォーマットを4:2:0フォーマット、カラーサンプリング位置“一致”の画像データを90度右回転後、カラーサンプリングフォーマットを4:2:0フォーマット、カラーサンプリング位置“一致”として表示する場合は、マイナス0.5画素の位相シフト処理(差Cb、Crを水平方向にマイナス0.5画素分移動させる処理)が必要である。
 次に、前記に関連する画像処理方法の欠点を説明する。
 JPEG画像は、一般的にテレビなどに用いられる動画像に比べて高画素であり、1000万画素を超える画像サイズも一般的である。そのため、JPEG圧縮画像の復号処理(デコード処理)、拡大・縮小処理、回転処理を行なう場合、各処理の結果を一旦メモリに格納する方法が容易である。しかし、JPEG画像の高画素化に伴い、復号処理(デコード結果)の全てをメモリに格納することは外部メモリ容量が大きくなり過ぎてしまうという課題を有する。
 そこで、外部メモリ容量を削減するため、1フレームの画像を数ライン、又は、数ブロック単位に細分化して処理し、その結果を一旦外部メモリに格納する方法もあるが、この場合、JPEG画像の復号処理に必要な一連の処理であるストリーム中の情報に基づく拡大・縮小処理、回転処理、位相シフト処理、及びユーザ指定に基づく拡大・縮小処理、回転処理、位相シフト処理において、拡大・縮小処理、回転処理、位相シフト処理の各処理を実施する上で必要とするデータ量が異なるため、各処理を実施するための制御が複雑になってしまう。制御を容易しようとすると、結局、多くのメモリサイズを持たせる必要があり、前記課題と同様、外部メモリ容量が大きくなり過ぎてしまう。
 また、一旦表示した画像の全て又は特定の一部分のみを表示させる場合、図5に示すように、前記のJPEG圧縮画像の復号処理(デコード処理)の結果を一旦メモリM1に格納すると共に、JPEGストリーム中の拡大・縮小処理の結果と、回転・位相シフト処理の結果とを各々一旦メモリM2、M3に格納する方法であれば、これ等のメモリM1~M3に格納された復号処理(デコード処理)、拡大・縮小処理結果、及び回転・位相シフト処理結果に対して、更に、ユーザの指示に従った拡大・縮小処理、回転・位相シフト処理を行えば、ユーザレスポンスが良い。しかし、図5のようにJPEGストリーム中の拡大・縮小処理の結果とユーザ指示に従った拡大・縮小処理の結果とをメモリM2に格納し、JPEGストリーム中の回転・位相シフト処理の結果とユーザ指示に従った回転・位相シフト処理の結果とをメモリM3に格納する構成として、これ等メモリM2、M3を共用させたとしても、メモリ容量が大きくなり過ぎてしまう。
 各処理の結果をメモリに格納しない方法では、一旦表示した画像の全て又は特定の一部分のみを表示させる場合に、再度、JPEG圧縮画像の復号処理から行わなければならず、ユーザレスポンスが低下するという課題を有する。これはJPEG圧縮画像の画像サイズが大きいほど、復号処理に時間を要するため、ユーザレスポンスの低下の度合いは大きい。また、今後も静止画において高画素化が継続していく時流の中で、まさに時流に逆行するものであり、致命的であり、許容されない。
 更に、各処理の結果をメモリに格納しない画像処理方法では、メモリを用いずにJPEG圧縮画像(JPEGストリーム)中に含まれる拡大・縮小情報、回転情報に基づく処理とユーザの指示に基づく拡大・縮小、回転処理とを行なう必要があり、内部処理が複雑になってしまうという課題を有する。
 以下、この内部処理が複雑になる課題を詳述する。
 JPEG圧縮画像(JPEGストリーム)中に含まれる拡大・縮小情報、回転情報に基づく処理と、ユーザの指示に基づく拡大・縮小、回転処理との一連の処理において、当然ながら画像の入力フォーマット(画像サイズ、カラーサンプリングフォーマット(色差データCb、Crの輝度Yに対する位置の情報を含む))、画像の出力フォーマット(画像サイズ、カラーサンプリングフォーマット(色差データCb、Crの輝度Yに対する位置の情報を含む))を考慮して処理するが、処理に必要なパラメータの種類、組合せが非常に多く、内部の処理が非常に複雑になってしまう。表示するまでの組合せ数の一例を示す。画像の入力フォーマットの種類は、カラーサンプリングフォーマットの4:2:0、4:2:2H、4:2:2V、4:1:1、4:4:4、色差データCb、Crの輝度Yに対する位置の一致、中心の計10種類である。
 4:2:2H、4:2:2とは、前記の静止画画像の表現をYCbCr表色系とし、輝度Yの水平サンプリングファクタをH0、輝度Yの垂直サンプリングファクタをV0、色差Cbの水平サンプリングファクタをH1、色差Cbの垂直サンプリングファクタをV1、色差Crの水平サンプリングファクタをH2、色差Crの垂直サンプリングファクタをV2と表現した場合、H0=2、V0=1、H1=1、V1=1、H2=1、V2=1と、H0=1、V0=2、H1=1、V1=1、H2=1、V2=1である。
 回転は、通常表示、90度右回転、90度左回転、上下反転、左右反転、左右反転+90度右回転、左右反転+90度左回転と、ストリーム中の回転情報と、ユーザ指定の回転情報の計16種類である。
 ユーザ指定の回転情報は、再生・表示する機器に依存するため、16種類以上の場合もあるし、少ない場合もある。
 画像の出力フォーマットの種類は、4:2:2の一致と、4:2:0の一致との2種類である。この画像の出力フォーマットの種類も、再生・表示する機器に依存するため、2種類以上の場合もある。
 よって、画像の入出力フォーマットの種類及び回転の種類の組合せは、10種類x16種類x2種類の320種類である。この多数の処理組合せに対応する必要があり、これらをJPEG圧縮画像(JPEGストリーム)中に含まれる拡大・縮小情報、回転情報とユーザの指示に基づく拡大・縮小、回転情報に基づき計算により算出するため、内部処理が複雑になり、処理性能の低下を招いてしまうという課題を有する。また、この多数な組合せに対応する複雑な処理をハードウェア又はソフトウェアに実装する必要があり、開発途上においてバグを含んでしまうリスクがあり、実装上の困難さも有する。
 次に、前記図5に示した画像処理方法の欠点を説明する。
 図5の画像処理方法は、JPEG圧縮画像(JPEGストリーム)中に含まれる拡大・縮小情報、回転情報に基づく処理を行なう第1の画像加工処理と、ユーザの指示に基づく拡大・縮小、回転情報に基づく処理を行なう第2の画像加工処理とを行い、この第1の画像加工処理と第2の画像加工処理とをメモリを介して行なっていた。
 この図5の画像処理方法は、一旦、表示した画像に対してユーザの指示に基づいて拡大・縮小、回転処理させる際のユーザレスポンスの向上、内部の処理方法の簡素化という点では、ある程度は有効ではあるが、メモリ容量が増加してしまう点や拡大・縮小、回転情報の処理組合せの多さ、複雑さ故の内部処理の容易性、制御の容易性、処理速度の向上、実装容易性に対する効果としては不十分である。
 たとえ拡大・縮小処理に限って有効であったとしても、その他に、画像の切出し、回転処理、位相シフト処理などの処理が静止画処理には必須であり、その拡大・縮小処理だけでは不十分である。何故なら、拡大・縮小処理だけ高速化、制御の容易性を図っても、画像の切出し、回転処理、位相シフトといった拡大・縮小処理と一緒に実施される処理も含めて高速化及び制御の容易性を図らなければ、十分な効果は得られ難い。
 また、図5の画像処理方法のように、第1の画像加工処理でJPEG圧縮画像(JPEGストリーム)中に含まれる拡大・縮小情報、回転情報に基づく処理を行ない、その後、第2の画像加工処理でユーザの指示に基づく拡大・縮小、回転情報に基づく処理を行なう場合、例えば1,000万画素を超える高画素データを最終出力する画像サイズに縮小する過程において、一旦、1,000万画素を超えるデコード結果を一旦、予め決められた画像サイズに縮小してメモリに格納する。その後、メモリに格納されたデータに対して最終出力する画像サイズへ縮小して表示する。
 この縮小の際、前記特許文献2に記載されているように、複数回の1/2縮小と1回の任意縮小を行う方法もあるし、複数回の任意縮小を繰り返す方法もある。これは、処理の構成次第により異なる。
 しかしながら、何れの方法においても、結局、1,000万画素を超えるデコード結果から最終出力する画像サイズへ縮小する際、複数回の縮小処理を繰り返さなければならず、演算誤差の累積に伴う画質劣化を引き起こしてしまう。これは、元々1,000万画素などの高画素データであるにも関わらず、画像品質を損なうものであり、許容できない。
 加えて、図4及び図5に示した画像処理方法では、JPEG圧縮画像(JPEGストリーム)中に含まれる拡大・縮小情報に基づいた拡大・縮小処理と、ユーザの指示による拡大・縮小情報に基づいた拡大・縮小処理との計2回、また、JPEG圧縮画像(JPEGストリーム)中に含まれる回転情報に基づく回転・位相シフト処理と、ユーザの指示による回転情報に基づく回転・位相シフト処理との計2回の処理を行なわなければならず、最終の表示画像を求めるまでの処理全体が煩雑になってしまうという課題を有していた。
 本発明は、上述した問題を解決するためになされたものであり、その目的は、画像処理方法、特にJPEG画像の復号・再生に加えて拡大・縮小処理及び回転処理を伴う画像処理において、JPEGストリーム中の拡大・縮小、回転情報に基づく処理と、ユーザ要求に基づく拡大・縮小、回転処理とを、2回の処理で行わず、1回で一意に算出する構成を採用し、これにより、メモリを要することなく、またレスポンス良く、JPEGストリーム中の拡大・縮小、回転情報に基づく処理と、ユーザ要求に基づく拡大・縮小、回転処理とを一挙に行い得て、画像処理方法の簡素化と実装容易性とを図りつつ高速処理が可能な画像処理方法を提供することにある。
 前記目的を達成するために、本発明では、画像の第1の画像処理情報に基づいて処理した後に第2の画像処理情報に基づいて処理しようとする場合には、予め、第1の画像処理情報と第2の画像処理情報とから最終的に必要となる画像処理情報を算出しておき、その画像処理情報に基づいて画像処理を行うこととする。尚、ここで言う画像処理情報とは、画像に対して行なう拡大・縮小処理に関する情報(拡大・縮小率)、入力画像フォーマット、出力画像フォーマット、回転方法、回転処理に伴う位相シフト量などを指す。また、入力画像フォーマット及び出力画像フォーマットとは、画像サイズ、前記のISO/IEC10918-1で規定されているサンプリングファクタ、前記の輝度Yに対する色差Cb、Crの位置を指す。
 つまり、ある画像データに対して、画像の第1の画像処理情報と第2の画像処理情報とが与えられ、処理する場合に、画像に対して第1の画像処理情報に基づいて処理した後に更に第2の画像処理情報に基づいて処理するのではなく、予め、第1の画像処理情報と第2の画像処理情報とから最終の処理結果である画像処理情報(第3の画像処理情報)を算出しておき、画像に対して前記第3の画像処理情報に基づいて一括処理を行なう。
 こうすることにより、画像の第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを逐次的に実施する必要がなく、第3の画像処理情報に基づく1回のみの画像処理だけで済み、内部の処理が簡素化できる。
 また、内部の処理を簡素にするために、第1の画像処理情報に基づく処理の結果を一旦メモリに格納した後、第2の画像処理情報に基づく処理を行なうといったことも不要であり、内部メモリを削減することも可能である。画像、特にJPEGを始めとする静止画の場合、1000万画素を超える高画素データの場合、必要とする内部メモリも大きいため、このメモリの削減効果は大きい。
 更に、第3の画像処理情報に基づく1回のみの画像処理だけで済むため、第1の画像処理情報と第2の画像処理情報とを逐次的に実施する場合に比べて、拡大・縮小処理の回数も1回で済み、拡大・縮小処理の繰り返しによる画質劣化を抑制することができる。
 加えて、仮に画像の第1の画像処理情報と第2の画像処理情報とが与えられ、画像の第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを一括して処理する場合に、予め最終の処理結果である第1の画像処理情報に基づく処理及び第2の画像処理情報に基づく処理から得られる画像の処理情報(第3の画像処理情報)を算出しておき、画像処理情報を変換テーブルとして予め持たせておけば、処理過程で第3の画像処理情報を算出する演算が不要となるので、画像の第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを一括して処理する場合に、本来、第1の画像処理情報と第2の画像処理情報との組み合わせ数だけ処理が必要であり、且つ、それを処理過程で演算して算出しながら処理することによる処理性能の低下を引き起こすことなく画像処理を行なうことが可能である。また、それに伴い、内部処理として予め決められた画像処理情報に基づいた処理のみを行えば良く、内部処理が簡素化することが可能である。
 更に、ハードウェア又はソフトウェアで画像の第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを実現する際、内部処理が簡素化できるので、処理の実装容易性を図ることが可能である。
 加えて、JPEGを始めとする静止画処理において、第1の画像処理情報に基づいて処理した後、ユーザの指示により第2の画像処理情報に基づいて処理する場合がある。具体的には、先ず、JPEGストリームを復号、再生し、表示する。この時、第1の画像処理情報に基づいて処理し、表示することになる。この場合の第1の画像処理情報は、JPEGストリーム中の画像処理情報を指す。一旦、第1の画像処理情報に基づいて処理し、表示した後、ユーザが表示した画像を見て、画像全体又は画像の特定の一部分のみを拡大・縮小、回転処理して表示させる場合がある。この場合、ユーザの指示による第2の画像処理情報に基づいて処理することになる。ユーザは、一旦、第1の画像処理情報に基づいて処理し表示された画像を見て、画像の特定の一部分のみを拡大・縮小、回転処理して表示させるので、ユーザが、画像の特定の一部分のみを拡大・縮小、回転処理して表示させる場合、再度、JPEGストリームの復号、再生からやり直す必要がある。この時、第1の画像処理情報に基づいた処理と第2の画像処理情報に基づいた処理とを行なうが、前記のように予め最終の処理結果である第1の画像処理情報に基づく処理及び第2の画像処理情報に基づく処理から得られる画像の画像処理情報(第3の画像処理情報)を算出しておくので、処理性能を低下させることなく画像処理を行なうことが可能であり、ユーザレスポンスを低下させることなく第3の画像処理情報に基づく処理が可能である。
 また、前記関連する技術では、このユーザレスポンスの低下を抑制するために、第1の画像処理情報に基づいた処理と第2の画像処理情報に基づいた処理とを前記のようにメモリを介したインターフェース(I/F)とし、ユーザが第1の画像処理情報に基づいて処理し表示された画像を見て、画像の特定の一部分のみを拡大・縮小、回転処理して表示させる場合は、第1の画像処理情報に基づいた処理結果が格納されているメモリからやり直す。つまり、第1の画像処理情報に基づいた処理結果が格納されているメモリからデータを読出し、そのデータに対してユーザの指示による第2の画像処理情報に基づいて処理することになるが、この場合、JPEGストリームの復号、再生からやり直す場合に比べて処理性能は良いが、前記のメモリ容量が大きくなってしまう課題を有する。しかしながら、本発明では、JPEGストリームの復号、再生からやり直しても、処理性能を低下させることなく第3の画像処理情報に基づく処理を実行することが可能であるので、メモリ容量を増加させることなく第3の画像処理情報に基づく処理を実行することが可能であり、処理回路の低減が可能である。
 尚、第1の画像処理情報に基づく処理及び第2の画像処理情報に基づく処理から得られる画像の画像処理情報(第3の画像処理情報)を算出した結果は、メモリやレジスタなどに記憶させておいても良く、また、ROM(Read Only Memory)でも良く、RAM(Random Access Memory)のように書き換え可能な構成としても良い。
 以上説明したように、本発明の画像処理方法によれば、画像処理において、画像の第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを行なう場合に、第1の画像処理情報、第2の画像処理情報に加えて第1の画像処理情報に基づく処理の入力データフォーマット及び第2の画像処理情報に基づく処理の出力フォーマットから、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とに必要な画像処理情報を一意に決めることにより、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを一括して実施することを可能とし、効率的にかつ高速に第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを実行すること可能である。
 また、従来は、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理との一連の画像処理を容易にするために、第1の画像処理情報に基づく処理結果を格納するメモリを設け、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とをメモリを介したI/Fとしていたが、本発明では、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを一括して実施することが可能であるので、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理との間のメモリが不要で、メモリ容量の削減、及び画像処理を実現する手段の簡素化が図れるという効果がある。
 更に、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを一括して実施することを可能とし、画像処理の高速化を可能としているので、第1の画像処理情報に基づく処理結果に対してユーザが第2の画像処理情報に基づく処理を指示した場合に、ユーザレスポンス性を向上させることができるという効果がある。
 加えて、第1の画像処理情報、第2の画像処理情報に加えて第1の画像処理情報に基づく処理の入力データフォーマット及び第2の画像処理情報に基づく処理の出力フォーマットから、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とに必要な画像処理情報を変換テーブルとして予め確保しておくことにより、処理途中に第1の画像処理情報と第2の画像処理情報とに従って演算することなく、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを一括して実施することを可能とし、効率的にかつ高速に第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを実行することが可能である。
 更に、変換テーブルを用いることにより、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理との一連の画像処理を単純化できるという効果を奏し、実装上の容易性も実現できるという効果もある。
図1は位相シフト処理を説明するためのカラーサンプリングフォーマットが4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)で、カラーサンプリング位置が一致のカラーフォーマットを示す図である。 図2は位相シフト処理を説明するためのカラーサンプリングフォーマットが4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)で、カラーサンプリング位置が中心のカラーフォーマットを示す図である。 図3は位相シフト処理を説明するためのカラーサンプリングフォーマットが4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)で、カラーサンプリング位置が一致のデータを90度右回転させた場合の図である。 図4は関連する画像処理方法を示す流れ図である。 図5は関連する画像処理方法の他の例を示す流れ図である。 図6は本発明の第1の実施形態の画像処理方法を示す流れ図である。 図7は同画像処理方法を説明するためのカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致のカラーサンプリングフォーマットを示す図である。 図8は同画像処理方法を説明するためのカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像データの色差信号Cb、Cr信号を水平2倍、垂直1倍拡大した画像のカラーサンプリングフォーマットを示す図である。 図9は同画像処理方法を説明するための図8で示す画像データの色差信号Cb、Cr信号を垂直方向に+0.5画素移動させた画像のカラーサンプリングフォーマットを示す図である。 図10は同画像処理方法を説明するためのカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像の色差データCb,Crを水平方向に2倍拡大した画像のカラーサンプリングフォーマットを示す図である。 図11は同画像処理方法を説明するための図10で示す画像を2倍拡大後、色差データCb,Cr信号を垂直方向に+0.5画素シフトした画像のカラーサンプリングフォーマットを示す図である。 図12は本発明の第2の実施形態の画像処理方法を示す流れ図である。 図13は同実施形態で用いる出力画像のカラーサンプリングフォーマットが4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の変換テーブルを示す図である。 図14は同実施形態で用いる出力画像のカラーサンプリングフォーマットが4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の変換テーブルを示す図である。 図15は同実施形態で用いる出力画像のカラーサンプリングフォーマットが4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の第1の画像処理情報に対する変換テーブルを示す図である。 図16は同実施形態で用いる出力画像のカラーサンプリングフォーマットが4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の第2の画像処理情報に対する変換テーブルを示す図である。 図17は同実施形態で用いる出力画像のカラーサンプリングフォーマットが4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の第1の画像処理情報に対する変換テーブルを示す図である。 図18は同実施形態で用いる出力画像のカラーサンプリングフォーマットが4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の第2の画像処理情報に対する変換テーブルを示す図である。 図19は同実施形態で用いる出力画像のカラーサンプリングフォーマットが4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致で、第1の画像処理情報の回転方法が通常表示の場合の変換テーブルを示す図である。 図20は同実施形態で用いる出力画像のカラーサンプリングフォーマットが4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致で、第1の画像処理情報の回転方法が通常表示の場合の変換テーブルを示す図である。
 (実施形態1)
 以下、本発明の実施形態について図面を参照しながら説明する。
 図6は本発明の実施形態を示す画像処理方法である。
 図6において、100は第1の画像処理方法の流れを示し、101は復号(デコード)処理、102は復号(デコード)処理結果である。103は復号(デコード)処理結果102を格納するメモリ、104は、復号(デコード)処理結果102を格納するメモリ103からの復号(デコード)処理結果である。
 また、105は第1及び第2の画像処理情報に基づく拡大・縮小処理であり、106は第1及び第2の画像処理情報に基づいて処理した第1及び第2の画像処理情報に基づく拡大・縮小処理結果である。107は第1及び第2の画像処理情報に基づく回転・位相シフト処理であり、第1及び第2の画像処理情報に基づく拡大・縮小処理105と同様に第1及び第2の画像処理情報に基づき回転及び位相シフト処理する。ここで、第1の画像処理情報と第2の画像処理情報(左回転、右回転、左右反転等)とに関しては、予めホストCPUより処理内容が通知されているものとする。108は、第1及び第2の画像処理情報に基づく回転・位相シフト処理107によって実施された第1及び第2の画像処理情報に基づく回転・位相シフト処理結果である。109は、第1及び第2の画像処理情報に基づく回転・位相シフト処理107によって実施された第1及び第2の画像処理情報に基づく回転・位相シフト処理結果108を格納するメモリである。110は、第1及び第2の画像処理情報に基づく回転・位相シフト処理結果108を格納するメモリ109から読み出された表示データである。
 (一括処理の第1の具体例)
 以上のように構成された画像処理方法において、入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、画像の第1の画像処理情報として、拡大・縮小率は、縦、横各々1倍、回転方法は通常表示、第2の画像処理情報として、拡大・縮小率は、縦、横各々1/2倍、回転方法は、90度右回転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合について説明を行なう。
 図1は、本実施形態の画像のカラーサンプリングフォーマットが4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)で、カラーサンプリング位置が一致のカラーフォーマットを示す図、図2は画像のカラーサンプリングフォーマットが4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)で、カラーサンプリング位置が中心のカラーフォーマットを示す図、図3は画像のカラーサンプリングフォーマットが4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)で、カラーサンプリング位置が一致のカラーフォーマットである図2を90度右回転させた場合の図である。
 先ず、復号(デコード)処理101において、JPEGなどの圧縮ストリームの復号(デコード)処理を行い、復号(デコード)結果である復号(デコード)処理結果102をメモリ103に格納する。この時、復号(デコード)結果である復号(デコード)処理結果102のカラーサンプリングフォーマットは、入力画像と同じの4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致である。尚、メモリ103に格納する復号(デコード)処理結果102は、画像1フレーム分であっても良いし、画像の1部分(数ブロック分、又は数ライン分)であっても良い。また、復号(デコード)処理結果102をメモリ103に格納しなくても良い。この場合は、メモリ103は不要である。
 次に、メモリ103から復号(デコード)処理結果102を読み出し、読み出された復号(デコード)処理結果104に対して、第1及び第2の画像処理情報に基いて拡大・縮小処理105において拡大・縮小処理を行なうと共に、第1及び第2の画像処理情報に基いて回転及び位相シフト処理107により回転及び位相シフト処理を行う。以下、この処理を具体的に順番に説明する。
 先ず、入力画像を画像の第1の画像処理情報に従って、縦、横各々1倍に拡大・縮小、回転方法は、通常表示する場合を考える。これは、復号(デコード)した結果をそのまま拡大・縮小も回転もさせないということを意味する。
 次に、第1の画像処理情報に基づいた処理結果を第2の画像処理情報及び出力画像フォーマットに従って処理する場合を考える。第2の画像処理情報は、前記のように縦、横各々1/2倍、回転方法は90度右回転、そして、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致である。具体的に、カラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像を90度右回転させると図3のようになる。最終の出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像は、図7である。つまり、図3のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像を90度右回転させた画像を図7の画像として出力するためには、先ずは、入力画像の色差データCb,Cr信号を水平2倍、垂直1倍拡大する必要がある。図8に入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像データの色差信号Cb、Cr信号を水平2倍、垂直1倍拡大した画像のカラーサンプリングフォーマットを示す。更に、図8の画像データの色差信号Cb、Cr信号を垂直方向に+0.5画素移動させる。ここの垂直方向に+0.5画素というのは、図8の場合であれば、下方向に色差信号0.5画素分である。図9に、図8の画像データの色差信号Cb、Cr信号を垂直方向に+0.5画素移動させた画像のカラーサンプリングフォーマットを示す。図9の画像を90度右回転させると、最終の出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像である図7になる。
 よって、入力画像を画像の第1の画像処理情報に従って、縦、横各々1倍に拡大・縮小、通常表示し、次に第2の画像処理情報に従って縦、横各々1/2倍、回転方法は90度右回転、そして、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像を得るには、総合的に一括して、入力画像の輝度データYに対して、水平、垂直方向に1/2倍すると共に、色差データCb,Cr信号に対して水平1倍、垂直1/2倍し、かつ垂直方向に+0.5画素シフトさせれば良い。
 (一括処理の第2の具体例)
 次に、入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、第1の画像処理情報として、拡大・縮小率は、縦、横各々1/2倍、回転方法は90度右回転、第2の画像処理情報として、拡大・縮小率は、縦、横各々2/3倍、回転方法は上下反転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合について説明を行なう。
 先ず、カラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の入力画像の色差データCb,Crを水平方向に2倍拡大する。図10にカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像の色差データCb,Crを水平方向に2倍拡大した画像を示す。そして、2倍拡大後、色差データCb,Cr信号を垂直方向に+0.5画素シフトする。+0.5画素シフトした画像を図11に示す。図11の画像を90度右回転し、更に上下反転すると、求める出力画像であるカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像になる。
 よって、入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、第1の画像処理情報として、拡大・縮小率は、水平、垂直各々1/2倍、回転方法は90度右回転、第2の画像処理情報として、拡大・縮小率は、水平、垂直各々2/3倍、回転方法は、上下反転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合は、総合的に一括して、入力画像の輝度信号Yに対して水平、垂直共に1/3倍、色差信号Cb、Crに対して水平2/3倍、垂直1/3倍、色差信号Cb、Cr信号を垂直方向に+0.5画素シフトすれば良い。
 (前記第2の具体例の具体的処理説明)
 前記の第2の一括処理の具体例を踏まえて、本実施形態の具体的処理を説明する。
 説明する上で、前記の例と同様、入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、第1の画像処理情報として、拡大・縮小率は、水平、垂直各々1/2倍、回転方法は90度右回転、第2の画像処理情報として、拡大・縮小率は、水平、垂直各々2/3倍、回転方法は上下反転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致とする。
 入力データである圧縮ストリームを復号(デコード)処理101において復号(デコード)処理する。そして、復号(デコード)結果である復号(デコード)処理結果102をメモリ103に格納する。
 その後、前記メモリ103に格納した復号(デコード)処理結果102を、再度メモリ103から読出して、拡大・縮小処理105で拡大・縮小処理を行うと共に回転・位相シフト処理107で回転・位相シフト処理を行なう。
 具体的には、以上の通り、入力モードが“4:2:0一致”で回転方法が“90度右回転”の場合は、“水平:2N倍、垂直:M倍、水平シフト:0、垂直シフト:+0.5”になる。
 つまり、入力画像のサンプリングフォーマットが4:2:0でサンプリング位置が一致の画像を90度右回転した後、サンプリングフォーマットが4:2:2Hでサンプリング位置が一致で出力するには、前記のように色差データCb、Cr信号を“水平:2N倍、垂直:M倍、水平シフト:0、垂直シフト:+0.5”すれば良い。この時点で、画像のサンプリングフォーマットは、4:2:2Hでサンプリング位置が一致になっているので、更に上下反転してサンプリングフォーマットは、4:2:2Hでサンプリング位置が一致の画像フォーマットで出力するには、入力モードが“4:2:2H一致”で回転方法が“上下反転”の場合は、“水平:X倍、垂直:Y倍、水平シフト:0、垂直シフト:0”する。ここで、Nは第1の画像処理情報の水平方向の拡大・縮小率であり、この場合、1/2である。また、Mは第1の画像処理情報の垂直方向の拡大・縮小率であり、1/2である。また、Xは第2の画像処理情報の水平方向の拡大・縮小率であり、この場合、2/3である。また、Yは第2の画像処理情報の垂直方向の拡大・縮小率であり、2/3である。
 よって、拡大・縮小処理105では、メモリ104から読み出した復号(デコード)処理結果104の輝度信号Yに対して、水平、垂直共に1/2*2/3=1/3倍、色差信号Cb、Crに対して、水平2N*X=2*1/2*2/3=2/3倍、垂直M*Y=1/2*2/3=1/3倍する。
 本具体的処理説明は、第1の画像処理情報を用いた処理の結果を、一律、一旦、画像データを4:2:2H、サンプリング位置を一致にし、その後に、第2の画像処理情報を用いて画像処理する場合である。
 (本実施形態の第2の具体的処理説明)
 続いて、本実施形態の第2の具体的処理を説明する。
 入力画像のカラーサンプリングフォーマットは4:2:2V(H0=1、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、第1の画像処理情報として、拡大・縮小率は、水平、垂直各々1/2倍、回転方法は、90度右回転、第2の画像処理情報として、拡大・縮小率は、水平、垂直各々2/3倍、回転方法は、90度右回転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致とする。
 先ず、入力画像データを第1の画像処理情報に基づき、水平、垂直各々1/2倍、90度右回転する場合を考える。具体的には、水平1倍、垂直1倍、水平方向の位相シフト量は0(ゼロ)、垂直方向の位相シフト量は、+0.5画素すれば良いから、輝度Y信号に対しては、水平、垂直各々1/2倍、色差Cb/Cr信号に対しても水平、垂直各々1/2倍行なう。そして、色差Cb/Cr信号に対して垂直方向に+0.5画素分位相シフトすることにより、第1の画像処理情報に基づいた処理結果としてカラーサンプリングフォーマットが4:2:2H、サンプリング位置が一致の画像データになる。
 このカラーサンプリングフォーマットが4:2:2H、サンプリング位置が一致の画像データに対して、更に第2の画像処理情報に基づき画像処理を行なう。つまり、拡大・縮小率は、水平、垂直各々2/3倍、90度右回転させた上で、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致で出力させる。具体的には、水平方向に2倍拡大、垂直方向に1/2倍縮小、水平方向の位相シフト量は0(ゼロ)、垂直方向の位相シフト量は、+0.5画素すれば良い。よって、第1の画像処理情報に基づく処理結果の画像データの輝度Y信号に対しては、水平、垂直各々2/3倍、色差Cb/Cr信号に対しては、水平方向 2倍*2/3倍=4/3倍、垂直方向 1/2倍*2/3倍=1/3倍する。更に色差Cb/Cr信号に対して、垂直方向に+0.5画素分、位相シフトすれば良い。
 よって、総合的に一括して、入力画像の輝度Y信号に対して、水平方向に1/2倍*2/3倍=1/3倍、垂直方向に1/2倍*1/3倍=1/6倍行い、また、色差Cb/Cr信号に対して、水平方向に1/2倍*4/3倍=2/3倍、垂直方向に1/2倍*1/3倍=1/6倍すれば良い。そして、垂直方向に+1.0画素分、位相シフトすれば最終表示画像が得られる。
 こうして、第1及び第2の画像処理情報、入力画像フォーマット、出力画像フォーマットに基づく一意の処理内容を決定することができる。従って、輝度Y信号、色差Cb/Cr信号に対する拡大・縮小処理、及び色差Cb/Cr信号に対する位相シフト量が各々1回の演算で求めることができ、よって、内部で複雑な処理をさせることなく容易にかつ高速に第1及び第2の画像処理情報に基づく処理を行なうことができる。
 尚、本実施形態のように、第1の画像処理情報に基づく処理の結果を固定(つまり、本実施形態の場合であれば、カラーサンプリングフォーマットが4:2:2H、サンプリング位置一致のように固定)にすれば、第1の画像処理情報と第2の画像処理情報とに基づく処理の組合せ数を限定することができ、非常に効率的である。
 (実施形態2)
 以下、本発明の第2の実施形態について図面を参照しながら説明する。
 図12は、本発明の実施形態を示す画像処理方法である。
 同図において、500は第1の画像処理方法の流れを示し、501は復号(デコード)処理、502は、復号(デコード)処理結果である。503は復号(デコード)処理結果502を格納するメモリ、504は、復号(デコード)処理結果502を格納するメモリ503からの復号(デコード)処理結果である。
 また、505は第1及び第2の画像処理情報に基づく拡大・縮小処理であり、506は第1及び第2の画像処理情報に基づく拡大・縮小処理505を行なう際に一意に決めた画像処理情報を示す変換テーブルであり、507は変換テーブル506からの画像処理情報である。508は前記変換テーブル506を用いて、第1及び第2の画像処理情報に基づいて拡大・縮小処理505で処理した第1及び第2の画像処理情報に基づく拡大・縮小処理結果である。509は第1及び第2の画像処理情報に基づく回転・位相シフト処理であり、第1及び第2の画像処理情報に基づく拡大・縮小処理505と同様に、変換テーブル506からの画像処理情報に基づき処理する。ここで、第1の画像処理情報と第2の画像処理情報(左回転、右回転、左右反転等)とに関しては、予めホストCPUより処理内容が通知されているものとする。
 更に、510は第1及び第2の画像処理情報に基づく回転・位相シフト処理509によって実施された第1及び第2の画像処理情報に基づく回転・位相シフト処理結果である。511は第1及び第2の画像処理情報に基づく回転・位相シフト処理509によって実施された第1及び第2の画像処理情報に基づく回転・位相シフト処理結果510を格納するメモリである。512は、第1及び第2の画像処理情報に基づく回転・位相シフト処理結果510を格納するメモリ511から読み出された表示データである。
 (一括処理の第1の具体例)
 以上のように構成された画像処理方法において、入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、画像の第1の画像処理情報として、拡大・縮小率は、縦、横各々1倍、回転方法は、通常表示、第2の画像処理情報として、拡大・縮小率は、縦、横各々1/2倍、回転方法は、90度右回転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合について説明を行なう。
 復号(デコード)処理501において、JPEGなどの圧縮ストリームの復号(デコード)処理を行い、復号(デコード)結果である復号(デコード)処理結果502をメモリ503に格納する。この時、復号(デコード)結果である復号(デコード)処理結果502のカラーサンプリングフォーマットは、入力画像と同じの4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致である。尚、メモリ503に格納する復号(デコード)処理結果502は、画像1フレーム分であっても良いし、また、画像の1部分(数ブロック分、又は数ライン分)であっても良い。また、復号(デコード)処理結果502をメモリ503に格納しなくても良い。この場合は、メモリ503は不要である。
 その後、メモリ503から復号(デコード)処理結果502を再度読み出し、読み出された復号(デコード)処理結果504に対して、先ず第1及び第2の画像処理情報に基づく拡大・縮小処理505において拡大・縮小処理を行なうと共に、回転・位相シフト処理509において回転・位相シフト処理を行う。この時、変換テーブル506を用いて拡大・縮小処理と回転・位相シフト処理とを行なう。
 次に、前記変換テーブル506を用いて、JPEGストリーム中に含まれる拡大・縮小情報及び回転情報に基づく処理に対して、ユーザが更に拡大・縮小、回転情報に基づく処理を指定した場合の一括表示処理を説明する。
 先ず、入力画像を画像の第1の画像処理情報に従って、縦、横各々1倍に拡大・縮小、回転方法は通常表示する。これは、復号(デコード)した結果をそのまま拡大・縮小も回転もさせないということを意味する。
 次に、第1の画像処理情報に基づいた処理結果を第2の画像処理情報及び出力画像フォーマットに従って処理する場合を考える。第2の画像処理情報は、前記のように縦、横各々1/2倍、回転方法は、90度右回転、そして、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致である。
 カラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像を90度右回転させると図3のようになる。最終の出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像は、図7である。つまり、図3のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像を90度右回転させた画像を図7の画像として出力するためには、先ずは、入力画像の色差データCb,Cr信号を水平2倍、垂直1倍拡大する必要がある。図8に入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像データの色差信号Cb、Cr信号を水平2倍、垂直1倍拡大した画像のカラーサンプリングフォーマットを示す。更に、図8の画像データの色差信号Cb、Cr信号を垂直方向に+0.5画素移動させる。この垂直方向に+0.5画素というのは、図8の場合であれば、下方向に色差信号0.5画素分である。図9に図8の画像データの色差信号Cb、Cr信号を垂直方向に+0.5画素移動させた画像のカラーサンプリングフォーマットを示す。図9の画像を90度右回転させると、最終の出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像である図7になる。
 従って、総合すると、入力画像を画像の第1の画像処理情報に従って、縦、横各々1倍に拡大・縮小、通常表示し、次に第2の画像処理情報に従って縦、横各々1/2倍、回転方法は、90度右回転、そして、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像を得るには、一括して、入力画像の輝度データYに対して、水平、垂直方向に1/2倍すると共に、色差データCb,Cr信号に対して水平1倍、垂直1/2倍し、かつ、垂直方向に+0.5画素シフトさせれば良い。
 (一括処理の第2の具体例)
 次に、入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、第1の画像処理情報として、拡大・縮小率は、縦、横各々1/2倍、回転方法は、90度右回転、第2の画像処理情報として、拡大・縮小率は、縦、横各々2/3倍、回転方法は、上下反転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合について、説明を行なう。
 先ず、カラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の入力画像の色差データCb,Crを水平方向に2倍拡大する。図10にカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像の色差データCb,Crを水平方向に2倍拡大した画像を示す。そして、2倍拡大後、色差データCb,Cr信号を垂直方向に+0.5画素シフトする。+0.5画素シフトした画像を図11に示す。図11の画像を90度右回転し、更に上下反転すると、求める出力画像であるカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像になる。
 よって、入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、第1の画像処理情報として、拡大・縮小率は、水平、垂直各々1/2倍、回転方法は、90度右回転、第2の画像処理情報として、拡大・縮小率は、水平、垂直各々2/3倍、回転方法は上下反転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合は、総合すると、一括して、入力画像の輝度信号Yに対して、水平、垂直共に1/3倍、色差信号Cb、Crに対して水平2/3倍、垂直1/3倍、色差信号Cb、Cr信号を垂直方向に+0.5画素シフトすれば良い。
 (前記第2の具体例の具体的処理説明)
 説明する上で、前記の例と同様、入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、第1の画像処理情報として、拡大・縮小率は、水平、垂直各々1/2倍、回転方法は、90度右回転、第2の画像処理情報として、拡大・縮小率は、水平、垂直各々2/3倍、回転方法は、上下反転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致とする。
 入力データである圧縮ストリームを復号(デコード)処理501において復号(デコード)処理する。そして、復号(デコード)結果である復号(デコード)処理結果502をメモリ503に格納する。
 次いで、メモリ503から復号(デコード)処理結果502を再度読出し、拡大・縮小処理505で拡大・縮小処理を行なうと共に、回転・位相シフト処理509で回転・位相シフト処理を行う。この時、変換テーブル506を用いる。
 具体的には、先ず、入力モードが“4:2:0一致”で回転方法が“90度右回転”の場合は、変換テーブル506から“水平:2N倍、垂直:M倍、水平シフト:0、垂直シフト:+0.5”になる。つまり、入力画像のサンプリングフォーマットが4:2:0でサンプリング位置が一致の画像を90度右回転後、サンプリングフォーマットが4:2:2Hでサンプリング位置が一致で出力するには、前述のように色差データCb、Cr信号を“水平:2N倍、垂直:M倍、水平シフト:0、垂直シフト:+0.5”すれば良い。
 この時点で、画像のサンプリングフォーマットは4:2:2Hでサンプリング位置が一致になっているので、更に上下反転して、サンプリングフォーマットは4:2:2Hでサンプリング位置が一致の画像フォーマットで出力するには、変換テーブル506を参照して、入力モードが“4:2:2H一致”で回転方法が“上下反転”の場合は、““水平:X倍、垂直:Y倍、水平シフト:0、垂直シフト:0”すれば良いことが判る。ここで、Nは第1の画像処理情報の水平方向の拡大・縮小率であり、この場合、1/2である。また、Mは第1の画像処理情報の垂直方向の拡大・縮小率であり、1/2である。また、Xは、第2の画像処理情報の水平方向の拡大・縮小率であり、この場合、2/3である。また、Yは、第2の画像処理情報の垂直方向の拡大・縮小率であり、2/3である。
 よって、変換テーブル506により、拡大・縮小処理505では、メモリ503から読み出した復号(デコード)処理結果504の輝度信号Yに対して、水平、垂直共に1/2*2/3=1/3倍、色差信号Cb、Crに対して、水平2N*X=2*1/2*2/3=2/3倍、垂直M*Y=1/2*2/3=1/3倍する。
 変換テーブル506から読み出す画像処理情報507は、この場合、“2M”、“N”、“X”、“Y”、位相シフト量の“垂直方向+0.5(画素)”である。
 (変換テーブルの第1の具体例)
 次に、このような変換テーブルの具体例を説明する。
 図13は、本例で用いる変換テーブルである。
 本実施形態は、第1の画像処理情報を用いた処理の結果を、一律、一旦、4:2:2H、サンプリング位置を一致にした後、第2の画像処理情報を用いて画像処理する場合である。
 前提として、入力画像のカラーサンプリングフォーマットは4:2:2V(H0=1、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、第1の画像処理情報として、拡大・縮小率は、水平、垂直各々1/2倍、回転方法は、90度右回転、第2の画像処理情報として、拡大・縮小率は、水平、垂直各々2/3倍、回転方法は、90度右回転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致とする。
 先ず、入力画像データを図13の変換テーブル506を用いて第1の画像処理情報に基づき水平、垂直各々1/2倍、90度右回転する。具体的には、図13の変換テーブルの“入力モード”が4:2:2V一致で、90度右回転の欄を参照にして処理すれば良い。つまり、水平(H)1倍、垂直(V)1倍、水平方向の位相シフト量(HSFT)は0(ゼロ)、垂直方向の位相シフト量(VSFT)は+0.5画素すれば良いから、輝度Y信号に対しては、水平、垂直各々1/2倍、色差Cb/Cr信号に対しても水平、垂直各々1/2倍行なう。そして、色差Cb/Cr信号に対して垂直方向に+0.5画素分位相シフトすることにより、第1の画像処理情報に基づいた処理結果としてカラーサンプリングフォーマットが4:2:2H、サンプリング位置が一致の画像データになる。
 このカラーサンプリングフォーマットが4:2:2H、サンプリング位置が一致の画像データに対して、更に第2の画像処理情報に基づき画像処理を行なう。つまり、拡大・縮小率は、水平、垂直各々2/3倍、90度右回転させた上で、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致で出力させる。具体的には、図13の変換テーブルにおいて、“入力モード”は4:2:2H一致で、90度右回転の欄を参照にして画像処理すれば良い。つまり、水平方向に2倍拡大、垂直方向に1/2倍縮小、水平方向の位相シフト量は0(ゼロ)、垂直方向の位相シフト量は、+0.5画素すれば良い。
 よって、第1の画像処理情報に基づく処理結果の画像データの輝度Y信号に対しては、総合的に一括して、水平、垂直各々2/3倍、色差Cb/Cr信号に対しては、水平方向2倍*2/3倍=4/3倍、垂直方向1/2倍*2/3倍=1/3倍すると共に、色差Cb/Cr信号に対して、垂直方向に+0.5画素分、位相シフトすれば良い。
 こうして、図13の変換テーブルを用いることにより、第1及び第2の画像処理情報、入力画像フォーマット、出力画像フォーマットによって毎回内部で複雑な計算をすることはなく、一意に処理内容を決定することができ、これにより、内部で複雑な処理をさせることなく容易にかつ高速に第1及び第2の画像処理情報に基づく処理を行なうことができる。
 尚、本実施形態のように第1の画像処理情報に基づく処理の結果を固定(本実施形態の場合であれば、カラーサンプリングフォーマットが4:2:2H、サンプリング位置一致のように固定)にすれば、図13の変換テーブルを用いて第2の画像処理情報に基づいて処理する場合、変換テーブルで参照すべき箇所は固定的にできるので、本実施形態の場合であれば、図13の変換テーブルのNo.3の欄、つまり、4:2:2H一致の欄だけを参照すれば良く、第2の画像処理情報に基づいて処理する際に非常に効率的である。しかしながら、変換テーブルを用いる場合、第1の画像処理情報に基づく処理の結果を固定にしなくても何ら問題はない。
 尚、図13は、あくまで出力画像フォーマットがカラーサンプリングフォーマット4:2:2Hでサンプリング位置が一致の場合の変換テーブルであるが、それ以外のカラーサンプリングフォーマット4:2:2Hでサンプリング位置が中心、カラーサンプリングフォーマット4:2:0でサンプリング位置が一致などの場合にも、同様な変換テーブルを用意しておき、出力画像フォーマットによって、適用する変換テーブルを適宜切替えて処理を行なえば良い。
 (変換テーブルの第2の具体例)
 図14は、出力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の変換テーブルを示す。
 図13で示した出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の変換テーブルと同様に、入力画像のカラーサンプリングフォーマットは4:2:2V(H0=1、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、第1の画像処理情報として、拡大・縮小率は、水平、垂直各々1/2倍、回転方法は、90度右回転、第2の画像処理情報として、拡大・縮小率は、水平、垂直各々2/3倍、回転方法は、90度右回転、出力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合は、図14の変換テーブルを用いて処理を行なう。
 先ず、入力画像データの輝度Y信号に対して水平、垂直各々1/2倍する。そして、図14の変換テーブルのNo.5の欄の“入力モード4:2:2V一致”の欄の90度右回転の欄により、入力画像データの色差Cb/Cr信号に対して、水平1/2倍*1/2倍=1/4倍、垂直1倍*1/2倍=1/2倍、水平方向に+0.5画素分位相シフトする。垂直方向には位相シフトしない。
 この時点で、処理後のデータフォーマットは、カラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致になっているから、続いて、第2の画像処理情報に基づいて処理を行なう際は、図14の変換テーブルのNo.1の“4:2:0一致”を参照する。つまり、第2の画像処理情報の回転方法は90度右回転であるから、更に色差Cb/Cr信号に対して、水平1倍*2/3倍=2/3倍、垂直1*2/3倍=2/3倍、垂直方向に+0.5画素分位相シフトする。輝度Y信号に対しては、更に水平、垂直方向共に2/3倍する。
 このように、図13を用いた変換テーブルと同様な変換テーブルを用いることにより、第1及び第2の画像処理情報、入力画像フォーマット、出力画像フォーマットによって毎回内部で複雑な計算をする必要がなく、一意に処理内容を決定することができ、しかも、変換テーブルを参照することにより、容易に処理内容を決定することができるため、内部で複雑な処理をさせることなく容易にかつ高速に第1及び第2の画像処理情報に基づく処理を行なうことができる。また、それに伴い内部に複雑な処理をさせる手段を設ける必要がないというメリットも有している。
 尚、図13及び図14の変換テーブルは、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とで同一の変換テーブルを共用する場合であるが、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とで変換テーブルを分けても良い。
 図15~図18は、本第2の実施形態において、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とで変換テーブルを分ける場合の各々の変換テーブルを示す。具体的には、図15は、出力画像のカラーサンプリングフォーマットが4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の第1の画像処理情報に対する変換テーブルを示し、図16は、出力画像のカラーサンプリングフォーマットが4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の第2の画像処理情報に対する変換テーブルを示す。また、図17は、出力画像のカラーサンプリングフォーマットが4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の第1の画像処理情報に対する変換テーブルを示し、図18は、出力画像のカラーサンプリングフォーマットが4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の第2の画像処理情報に対する変換テーブルを示す。
 (実施形態3)
 続いて、本発明の第3の実施形態を説明する。
 図19は、本発明の第3の実施形態に用いる変換テーブルである。
 説明する上で、前記の例と同様、入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、第1の画像処理情報として、拡大・縮小率は、水平、垂直各々1/2倍、回転方法は、通常表示、第2の画像処理情報として、拡大・縮小率は、水平、垂直各々2/3倍、回転方法は、90度右回転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致とする。
 この時、図16に示す変換テーブルを用いるが、入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致で、第1の画像処理情報に基づく回転方法は“通常表示”、第2の画像処理情報に基づく回転方法は、“90度右回転”であるから、図19に示す変換テーブルのNo.1の欄(入力モードが“4:2:0 一致”の欄)を参照すれば良い。つまり、入力画像データの輝度Y信号に対して、水平方向に1/2倍*2/3倍=1/3倍縮小、垂直方向に1/2倍*2/3倍=1/3倍縮小、色差Cb/Cr信号に対しては、水平方向に2倍*1/2倍*2/3倍=2/3倍縮小、垂直方向に1倍*1/2倍*2/3倍=1/3倍縮小、水平方向の位相シフト量は0(ゼロ)、垂直方向の位相シフト量は、+0.5画素すれば良い。
 このように、図19に示す変換テーブルを用いれば、第1の画像処理情報に基づく回転方法が“通常表示”の場合における第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理が容易にかつ高速に導き出せる。従って、内部での処理を簡素化でき、それに伴い高速処理が可能である。
 図19は、あくまで第1の画像処理情報に基づく回転方法が“通常表示”の場合で、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の変換テーブルであるが、第1の画像処理情報に基づく回転方法が“通常表示”以外の“左右反転”、“上下反転”、“90度右回転”、“90度左回転”、“180度回転”などの場合も、それ等別に同様な変換テーブルを用意することにより、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とが容易にかつ高速に導き出せる。また、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致以外の場合の変換テーブルも、同様にそれ等の出力画像フォーマット別に用意すれば良い。
 図20は、第1の画像処理情報に基づく回転方法が“通常表示”の場合で、出力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の変換テーブルを示す。
 以上説明したように、本発明の画像再生方法は、ストリーム中の画像処理情報に基づいて復号、再生、拡大・縮小、回転処理し、表示した画像に対して、更に、ユーザが表示画像の全体又は特定の一部分に対して拡大・縮小、回転処理を実施し、表示させる際に、変換テーブルなどを用いて、効率良く高速に表示することが可能であるので、ディジタルカメラ、ディジタルビデオカメラやカメラ付携帯電話、ディジタルテレビ等の用途に適用可能である。
2     輝度Y信号
3     色差Cb、Cr信号
5     輝度Y信号
6     色差Cb、Cr信号
11    輝度Y信号
12    色差Cb、Cr信号
100   画像処理方法
101    復号(デコード)処理
102    復号(デコード)処理結果
103    メモリ
104    メモリからの復号(デコード)処理結果
105    第1及び第2の画像処理情報に基づく拡大・縮小処理
106    第1及び第2の画像処理情報に基づく拡大・縮小処理結果
107    第1及び第2の画像処理情報に基づく回転・位相シフト処理
108    第1及び第2の画像処理情報に基づく回転・位相シフト処理結果
109    メモリ
110    表示データ
201    輝度Y信号
202    色差Cb、Cr信号
211    輝度Y信号
212    色差Cb、Cr信号
221    輝度Y信号
222    色差Cb、Cr信号
231    輝度Y信号
232    色差Cb、Cr信号
241    輝度Y信号
242    色差Cb、Cr信号
500    本発明の画像処理方法
501    復号(デコード)処理
502    復号(デコード)処理結果
503    メモリ
504    メモリからの復号(デコード)処理結果
505    第1及び第2の画像処理情報に基づく拡大・縮小処理
506    変換テーブル
507    変換テーブルからの画像処理情報
508    第1及び第2の画像処理情報に基づく拡大・縮小処理結果
509    第1及び第2の画像処理情報に基づく回転・位相シフト処理
510    第1及び第2の画像処理情報に基づく回転・位相シフト処理結果
511    メモリ
512    表示データ

Claims (16)

  1.  画像データの第1の拡大・縮小処理及び回転処理と、画像データの第2の拡大・縮小処理及び回転処理とを実行する場合において、
     前記第1の拡大・縮小処理及び回転処理に必要な情報と、前記第2の拡大・縮小処理及び回転処理に必要な情報とに基づいて、第3の拡大・縮小処理及び回転処理に必要な情報を一括して算出する
     ことを特徴とする画像処理方法。
  2.  前記請求項1記載の画像処理方法において、
     前記第3の拡大・縮小処理及び回転処理に必要な情報は、
     入力画像データを前記第1の拡大・縮小処理及び回転処理に必要な情報に基づいて処理した結果に対して、前記第2の拡大・縮小処理及び回転処理に必要な情報に基づいて処理した結果が持つ入力画像データに対する拡大・縮小処理及び回転処理に必要な情報である
     ことを特徴とする画像処理方法。
  3.  前記請求項1記載の画像処理方法において、
     前記第3の拡大・縮小処理及び回転処理に必要な情報を変換テーブルに基づいて一括して算出する
     ことを特徴とする画像処理方法。
  4.  前記請求項3記載の画像処理方法において、
     前記第3の拡大・縮小処理及び回転処理に必要な情報を一括して算出する変換テーブルは、
     画像データの前記第1の拡大・縮小処理及び回転処理に必要な情報と、前記第2の拡大・縮小処理及び回転処理に必要な情報とを入力パラメータとして、前記第3の拡大・縮小処理及び回転処理に必要な情報を一括して算出する
     ことを特徴とする画像処理方法。
  5.  前記請求項1記載の画像処理方法において、
     前記第1~第3の拡大・縮小処理及び回転処理のうち少なくとも1つは、
     拡大・縮小処理及び回転処理、及びその回転処理を行う場合に生じる色差データの位相ずれを修正する位相シフト処理をも行う
     ことを特徴とする画像処理方法。
  6.  前記請求項4記載の画像処理方法において、
     前記変換テーブルは、更に、
     前記画像データの入力フォーマットと、前記画像データの出力フォーマットとを入力パラメータとして、前記第3の拡大・縮小処理及び回転処理に必要な情報を一括して算出する
     ことを特徴とする画像処理方法。
  7.  前記請求項6記載の画像処理方法において、
     前記変換テーブルは、
     画像データの前記第1の拡大・縮小処理及び回転処理に必要な情報と、前記画像データの入力フォーマットとを入力パラメータとして、一旦、前記第1の拡大・縮小処理及び回転処理に必要な情報を予め定めた所定のフォーマットで出力し、
     その後、画像データの前記第2の拡大・縮小処理及び回転処理に必要な情報と、前記画像データの出力フォーマットとを入力パラメータとして、前記第3の拡大・縮小処理及び回転処理に必要な情報を前記画像データの出力フォーマットで出力する
     ことを特徴とする画像処理方法。
  8.  前記請求項7記載の画像処理方法において、
     前記変換テーブルは、
     一旦予め定めた所定のフォーマットで出力する変換テーブルと、前記第3の拡大・縮小処理及び回転処理に必要な情報を前記画像データの出力フォーマットで出力する変換テーブルとを共用する
     ことを特徴とする画像処理方法。
  9.  前記請求項7記載の画像処理方法において、
     前記変換テーブルは、
     一旦予め定めた所定のフォーマットで出力する変換テーブルと、前記第3の拡大・縮小処理及び回転処理に必要な情報を前記画像データの出力フォーマットで出力する変換テーブルとを分ける
     ことを特徴とする画像処理方法。
  10.  前記請求項3又は4記載の画像処理方法において、
     前記変換テーブルは、
     画像データの出力フォーマット別に設けられる
     ことを特徴とする画像処理方法。
  11.  前記請求項10記載の画像処理方法において、
     前記画像データの出力フォーマットは、画像のカラーサンプリングフォーマットと、カラーサンプリング位置とを含む
     ことを特徴とする画像処理方法。
  12.  前記請求項3又は4記載の画像処理方法において、
     前記変換テーブルは、
     画像データの回転方法別に設けられる
     ことを特徴とする画像処理方法。
  13.  前記請求項12記載の画像処理方法において、
     画像データの回転方法は、通常表示、左右反転、上下反転、90度右回転、90度左回転、180度回転、左右反転+90度右回転、左右反転+90度左回転が含まれる
     ことを特徴とする画像処理方法。
  14.  前記請求項1記載の画像処理方法において、
     前記第1の拡大・縮小処理及び回転処理は、JPEG符号化ストリーム中に含まれる拡大・縮小情報、回転情報の画像情報に基づく処理である
     ことを特徴とする画像処理方法。
  15.  前記請求項14記載の画像処理方法において、
     前記第2の拡大・縮小処理及び回転処理は、ユーザが指定する拡大・縮小情報、回転情報の画像情報に基づく処理である
     ことを特徴とする画像処理方法。
  16.  前記請求項15記載の画像処理方法において、
     前記第3の拡大・縮小処理及び回転処理は、
     前記PEG符号化ストリーム中に含まれる拡大・縮小情報、回転情報の画像情報に基づく処理と、前記ユーザが指定する拡大・縮小情報、回転情報の画像情報に基づく処理とを組合せた処理である
     ことを特徴とする画像処理方法。
PCT/JP2011/000924 2010-03-09 2011-02-18 画像処理方法 WO2011111315A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-051628 2010-03-09
JP2010051628A JP2013101417A (ja) 2010-03-09 2010-03-09 画像処理方法

Publications (1)

Publication Number Publication Date
WO2011111315A1 true WO2011111315A1 (ja) 2011-09-15

Family

ID=44563153

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/000924 WO2011111315A1 (ja) 2010-03-09 2011-02-18 画像処理方法

Country Status (2)

Country Link
JP (1) JP2013101417A (ja)
WO (1) WO2011111315A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06103411A (ja) * 1992-09-24 1994-04-15 Hitachi Ltd 文書読取装置
JP2004349982A (ja) * 2003-05-21 2004-12-09 Sharp Corp 画像補正方法、画像補正用治具、及び、画像形成装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06103411A (ja) * 1992-09-24 1994-04-15 Hitachi Ltd 文書読取装置
JP2004349982A (ja) * 2003-05-21 2004-12-09 Sharp Corp 画像補正方法、画像補正用治具、及び、画像形成装置

Also Published As

Publication number Publication date
JP2013101417A (ja) 2013-05-23

Similar Documents

Publication Publication Date Title
JP4805596B2 (ja) カメラ装置
JP6038234B2 (ja) ビデオ処理、高速静止画処理、及び高品質静止画処理のためのアーキテクチャ
US20120224766A1 (en) Image processing apparatus, image processing method, and program
JP4455364B2 (ja) 解像度変換方法及び装置
JP2007067917A (ja) 画像データ処理装置
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
JP2009071689A (ja) 画像処理装置、画像処理方法および撮像装置
US8798386B2 (en) Method and system for processing image data on a per tile basis in an image sensor pipeline
JP2007180765A (ja) 映像処理装置、映像表示装置及び映像処理方法
JP6300651B2 (ja) 動画記録再生装置
JP2006304203A (ja) 色差間引きの変換機能を有する電子カメラ
WO2011111315A1 (ja) 画像処理方法
US11202019B2 (en) Display control apparatus with image resizing and method for controlling the same
KR20050006063A (ko) 화상 신장표시방법, 화상 신장표시장치, 및화상신장표시용 프로그램
US20050140990A1 (en) Image processing apparatus and method and image data display method for digital camera
JP2009116763A (ja) 画像処理装置および画像データのメモリアクセス方法
JP4109151B2 (ja) 画像処理装置
JP4987800B2 (ja) 撮像装置
JP2016095667A (ja) 画像処理装置および電子機器
JP2009130489A (ja) 撮像装置、撮像記録方法、撮像画像記録再生装置および撮像画像記録再生方法
WO2009150795A1 (ja) 画像再生装置
JP2006211037A (ja) 画像処理方法及び画像処理装置
TWI493502B (zh) 處理影像旋轉的方法與裝置
US20210058567A1 (en) Display control apparatus for displaying image with/without a frame and control method thereof
JP2009081596A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11752982

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11752982

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP