WO2013185699A1 - 一种图像局部增强方法和装置 - Google Patents

一种图像局部增强方法和装置 Download PDF

Info

Publication number
WO2013185699A1
WO2013185699A1 PCT/CN2013/080208 CN2013080208W WO2013185699A1 WO 2013185699 A1 WO2013185699 A1 WO 2013185699A1 CN 2013080208 W CN2013080208 W CN 2013080208W WO 2013185699 A1 WO2013185699 A1 WO 2013185699A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
image
enhanced
enhancement
mode
Prior art date
Application number
PCT/CN2013/080208
Other languages
English (en)
French (fr)
Inventor
刘木
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Priority to US14/430,755 priority Critical patent/US11330262B2/en
Priority to EP13804253.6A priority patent/EP2902906A4/en
Publication of WO2013185699A1 publication Critical patent/WO2013185699A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image

Definitions

  • the present invention relates to the field of communications, and in particular, to a method and apparatus for local enhancement of an image.
  • the picture quality is improved by increasing the call bandwidth or selecting a clear mode, so that the encoder changes the encoding of the entire picture, although the whole is improved.
  • the quality of the picture but the result is that the bandwidth is greatly increased or the frame rate is not guaranteed.
  • the user does not require high quality for the entire picture, but is interested in some content in the picture or individual targets in the picture, so that increasing the call bandwidth or selecting a clear mode may have other unnecessaryities. The consequence of this is that by adjusting the position or focus of the far-end camera to enlarge the region of interest or the object of interest, the content of the entire picture changes.
  • the local content in the picture can be enhanced, some are adaptive enhancements to specific targets such as faces, and some are to enlarge the specified area, etc.
  • Some of these techniques are Users can't freely choose the region of interest according to their own subjective preferences. Some just do some processing on the decoded image to change the subjective feeling of the screen, and some change the overall layout and content of the screen.
  • an embodiment of the present invention provides an image local enhancement method, including: acquiring a region or a target selected by a user; and generating a selection parameter according to the selected region or target; Sending the selection parameter to the opposite end; or, enhancing the selected area or target according to the selection parameter, and generating an enhanced image for the selected area or target.
  • the method further includes: acquiring an enhanced mode selected by the user, or an enhanced mode and an enhanced level; and the selecting the parameter further includes: an enhanced mode, or an enhanced mode and an enhanced level.
  • the enhancement mode is one of: a forward enhancement mode, indicating to improve image quality of the selected area or target; and a reverse enhancement mode, indicating to reduce image quality of the selected area or target
  • An alternative mode indicating that the selected area or target is replaced with another image; the mode is not enhanced, indicating that the image quality of the selected area or target is the system default.
  • the selecting parameter further includes: a tracking mode, where the tracking mode is one of: a fixed mode, indicating that each frame is enhanced in the selected area before canceling the enhancement; the dynamic mode, indicating The selected target is tracked every frame before the enhancement is cancelled, and the target is enhanced when the target is within the enhanced range.
  • the step of enhancing the selected area or target comprises: when the image quality of the selected area or target is increased in the selection parameter, taking one of the following ways or a combination thereof: Encoding an image of the selected region or target using an I-PCM encoding mode; encoding an image of the selected region or target by reducing quantization parameters of the encoded macroblock;
  • the image of the selected region or target is encoded by reducing the codeword of the encoded macroblock; the image of the selected region or target is fuzzified and then encoded.
  • An embodiment of the present invention further provides an image local enhancement method, including:
  • Enhancing the selected area or target according to the selection parameter comprises: enhancing the selected area or target according to an enhanced mode in the selection parameter, or an enhanced mode and an enhanced level.
  • the step of enhancing the selected area or target includes: when the image quality of the selected area or target is increased in the selection parameter, taking one of the following methods or Combining: encoding an image of the selected region or target using an I-PCM encoding mode; encoding an image of the selected region or target by reducing quantization parameters of the encoded macroblock;
  • the image of the selected region or target is encoded by reducing the codeword of the encoded macroblock; the image of the selected region or target is fuzzified and then encoded.
  • the step of enhancing the selected area or target according to the selection parameter comprises: encoding the selected area or target as a separate slice; Before the target enhanced image is sent to the peer, the independent slice is also used as a separate network adaptive layer unit, and a specific transmission priority is set for the network adaptive layer unit.
  • An embodiment of the present invention further provides an image local enhancement apparatus, including a detection module, a parameter generation module, and a transmission module: the detection module is configured to acquire a region or a target selected by a user; and the parameter generation module is configured to be The selected area or target generates a selection parameter; the transmission module is configured to send the selection parameter to the opposite end.
  • an image local enhancement apparatus including a detection module, a parameter generation module, and a transmission module: the detection module is configured to acquire a region or a target selected by a user; and the parameter generation module is configured to be The selected area or target generates a selection parameter; the transmission module is configured to send the selection parameter to the opposite end.
  • the parameter generating module is further configured to acquire the enhanced mode selected by the user, or an enhanced mode and an enhanced level, and add the enhanced mode, or the enhanced mode and the enhanced level to the selection parameter.
  • the enhancement mode is one of: a forward enhancement mode, indicating to improve image quality of the selected area or target; and a reverse enhancement mode, indicating to reduce image quality of the selected area or target
  • An alternative mode indicating that the selected area or target is replaced with another image; the mode is not enhanced, indicating that the image quality of the selected area or target is the system default.
  • the selecting parameter further includes: a tracking mode, where the tracking mode is one of: a fixed mode, indicating that each frame is enhanced in the selected area before canceling the enhancement; the dynamic mode, indicating The selected target is tracked every frame before the enhancement is cancelled, and the target is enhanced when the target is within the enhanced range.
  • the parameter generating module before the parameter generating module generates the selection parameter, it is further determined whether the peer end supports local enhanced coding, and whether the selected area or target meets a preset condition, and the peer end supports The selection parameter is generated when the local enhancement code and the selected region or target satisfy the preset condition.
  • the embodiment of the present invention further provides an image local enhancement apparatus, including a receiving module, an enhancement module, and a sending module: the receiving module is configured to receive a selection parameter generated by the opposite end according to a region or target selected by the user; The enhancement module is configured to enhance the selected area or target according to the selection parameter; the sending module is configured to send an enhanced image to the selected area or target to the pair end.
  • the step of enhancing, by the enhancement module, the selected area or target comprises: performing, according to an enhanced mode in the selection parameter, or an enhanced mode and an enhanced level, on the selected area or target Enhanced.
  • the step of enhancing, by the enhancement module, the selected area or target comprises: when the image quality of the selected area or target is increased in the selection parameter, taking one of the following manners Or a combination thereof: encoding an image of the selected region or target using an I-PCM encoding mode; encoding an image of the selected region or target by reducing quantization parameters of the encoded macroblock;
  • the enhancement module is further configured to encode the selected area or target as a separate slice; the sending module is further configured to use the independent slice as a separate network adaptive layer a unit that sets a specific transmission priority for the network adaptation layer unit.
  • An embodiment of the present invention further provides an image local enhancement apparatus, including a detection module, a parameter generation module, and an enhancement module, wherein: the detection module is configured to acquire a region or a target selected by a user; and the parameter generation module is configured to Generating a selection parameter according to the selected area or target, and sending the selection parameter to the enhancement module; the enhancement module is configured to enhance the selected area or target according to the selection parameter, and generate An enhanced image is performed on the selected area or target.
  • the parameter generating module is further configured to acquire the enhanced mode selected by the user, or an enhanced mode and an enhanced level, and add the enhanced mode, or the enhanced mode and the enhanced level to the selection parameter.
  • Enhancing the selected region or target by the enhancement module includes: enhancing the selected region or target according to an enhancement mode in the selection parameter, or an enhancement mode and an enhancement level.
  • the enhancement mode is one of: a forward enhancement mode, indicating to improve image quality of the selected area or target; and a reverse enhancement mode, indicating to reduce image quality of the selected area or target ; An alternate mode, indicating that the selected region or target is replaced with another image; the mode is not enhanced, indicating that the image quality of the selected region or target is system default.
  • the selecting parameter further includes: a tracking mode, where the tracking mode is one of: a fixed mode, indicating that each frame is enhanced in the selected area before canceling the enhancement; the dynamic mode, indicating The selected target is tracked every frame before the enhancement is cancelled, and the target is enhanced when the target is within the enhanced range.
  • the step of enhancing, by the enhancement module, the selected area or target comprises: when the image quality of the selected area or target is increased in the selection parameter, taking one of the following manners Or a combination thereof: encoding an image of the selected region or target using an I-PCM encoding mode; encoding an image of the selected region or target by reducing quantization parameters of the encoded macroblock;
  • the image of the selected region or target is encoded by reducing the codeword of the encoded macroblock; the image of the selected region or target is fuzzified and then encoded.
  • the image local enhancement method and device provided by the embodiments of the present invention allow the user to select the image quality of the region or target that he or she is interested in according to his or her own preference.
  • the lossless enhancement can be implemented, and the selected region or the user can be reduced.
  • the picture quality of the target is not necessarily require all of the advantages described above.
  • Figure 1 (a) is a flow chart of a near-end processing of a partial image enhancement method
  • Figure 1 (b) is a flow chart of remote processing of the partial image enhancement method
  • Figure 2 (a) is a schematic diagram of the operation of the user using the finger to select the region of interest or the target in the image
  • Figure 2 (b) is a schematic diagram of the operation of the user using the light pen to select the region of interest or target in the image
  • Figure 2 (c) is used by the user
  • FIG. 2(d) is a schematic diagram of the user selecting an area of interest in the image using eye gaze
  • FIG. 3 is a diagram showing the use of an image in accordance with a particular embodiment of the present invention.
  • FIG. 4 is a block diagram showing a single-ended system using image local enhancement in accordance with a particular embodiment of the present invention
  • Figures 5(a) and 5(b) are partial image enhancement diagrams using a fixed tracking mode
  • Figures 6(a:), 6(b), 6(c) and 6(d) are partial image enhancement diagrams using dynamic tracking mode; Figures 7(a) and 7(b) are for user-selected targets. Schematic diagram of image local enhancement;
  • Figure 8 (a) is a schematic diagram of image local enhancement using a slice group of a raster scan format
  • Fig. 8(b) is a schematic diagram of image local enhancement using a slice group of the FMO format.
  • FIG. 9 is a block diagram of an image local enhancement apparatus according to an embodiment of the present invention.
  • FIG. 10 is a block diagram of an image local enhancement apparatus according to an embodiment of the present invention.
  • FIG. 11 is a block diagram of an image local enhancement apparatus according to an embodiment of the present invention. Preferred embodiment of the invention
  • An embodiment of the present invention provides a method for local enhancement of an image, including:
  • the domain or target is enhanced to generate an enhanced image of the selected region or target.
  • the method further includes: acquiring an enhanced mode selected by the user, or an enhanced mode and an enhanced level;
  • the selection parameters further include: an enhanced mode, or an enhanced mode and an enhanced level.
  • the enhanced mode and the enhanced level can also use the system default value, and no user selection is required. In this case, the enhanced parameter and the enhanced level may not be carried in the selected parameter.
  • the enhanced mode is one of the following:
  • a positive enhancement mode indicating an increase in image quality of the selected area or target
  • a reverse enhancement mode indicating to reduce image quality of the selected area or target
  • the mode is not enhanced, indicating that the image quality of the selected area or target is the system default.
  • the selection parameter further includes: a tracking mode, wherein the tracking mode is one of: a fixed mode, indicating that each frame is enhanced in the selected area before canceling the enhancement; the dynamic mode, indicating that the cancellation is Each selected frame is tracked prior to the enhancement, and the target is enhanced when the target is within the enhanced range.
  • the selection parameter Before generating the selection parameter, determining whether the peer end supports local enhanced coding, and whether the selected area or target meets a preset condition, and supporting local enhanced coding and the selecting at the opposite end
  • the selection parameter is generated when the predetermined region or target satisfies the preset condition. It is also possible to make no judgment.
  • the limited user can only select the area or target that satisfies the preset condition.
  • the step of enhancing the selected area or target includes:
  • Encoding an image of the selected region or target using an I-PCM encoding mode encoding an image of the selected region or target by reducing quantization parameters of the encoded macroblock
  • the image of the selected region or target is encoded by reducing the codeword of the encoded macroblock; the image of the selected region or target is fuzzified and then encoded.
  • An embodiment of the present invention further provides an image local enhancement method, including:
  • An enhanced image of the selected region or target is sent to the peer.
  • the step of enhancing the selected area or target includes:
  • the selected region or target is enhanced according to an enhancement mode in the selection parameter, or an enhancement mode and an enhancement level.
  • the step of enhancing the selected area or target includes:
  • Encoding an image of the selected region or target using an I-PCM encoding mode encoding an image of the selected region or target by reducing quantization parameters of the encoded macroblock
  • the image of the selected region or target is encoded by reducing the codeword of the encoded macroblock; the image of the selected region or target is fuzzified and then encoded.
  • the step of enhancing the selected area or target according to the selection parameter includes:
  • the independent slice Before transmitting the enhanced image of the selected area or target to the peer, the independent slice is also used as a separate network adaptive layer unit, and the network adaptive layer unit is set to be specific. Transmission priority.
  • each communication party calls itself the local end, and the other party is called the opposite end.
  • one end of the communication side is called the near end, and the other end is called the far end.
  • the encoding end is based on The user's requirements are correspondingly coded specifically for the specified area or target, and then the code stream that has been locally coded is sent to the client for decoding and rendering, and the video effect that the user wants to see can be completed.
  • the advantage of using this method is that the user can choose the area of the area or the target image that he or she is interested in according to his or her own preference, and if the area specified by the user is not particularly large, the video stream will not be significantly increased. Bandwidth, can not change the resolution of the user's area of interest or target, maintain the proportion coordination of the various parts of the entire screen, enhance the user experience.
  • the user can select a part of the selected picture or an individual target content in the picture according to his own needs and preferences in the process of using the video communication system, and then send the parameters of the selected partial picture or individual target to the pair.
  • the peer processor analyzes the user's needs, and if the requirements are met, the encoder is notified to perform the user-specified effect enhancement.
  • the content selected by the user may be a fixed coordinate position and range, or may be a moving target in the picture, and the image local enhanced coding is cancelled when the user selects to cancel the enhanced or moving target motion out of the picture.
  • a user is provided to freely select an area of interest in the image.
  • a system and method for a specific image effect of a domain or a target which gives the user greater autonomy in image quality, and avoids the disadvantages and problems in the conventional video communication system that the user cannot freely select a partial image effect.
  • a video communication system using image local enhancement techniques includes at least one device that allows a user to freely select an area of interest or a target of interest for the image, and the system should also include at least one that is capable of A device that specifies the effect encoding for a partial image or target.
  • the system also supports the ability to determine, calculate, and send parameters to the region selected by the user or to the encoding device.
  • the encoding device should also receive the user selection parameters prior to encoding, and then determine and convert to an encoder. The ability to identify encoding parameters.
  • a flow chart of a particular embodiment is shown in Figures 1(a) and 1(b).
  • Step A10 receiving an area or target selected by the user
  • Step A20 determining whether the remote end supports image local enhanced encoding, if not, go to step A70, if yes, go to step A30;
  • Step A30 determining an enhanced mode and an enhanced level
  • Step A40 determining whether the selection parameter is legal, if it is legal, go to step A50, if not, go to step A70;
  • Step A50 the system calculates a selection parameter
  • Step A60 Combine and send the selection parameter to the peer end (here, the opposite end of the near end, that is, the far end), and end;
  • step A70 the user is notified by an alarm, etc., and local enhancement cannot be performed, and the process ends.
  • Step B10 receiving a selection parameter sent by the opposite end (here, the remote end, that is, the near end); Step B20, determining whether the selection parameter is legal; if it is legal, go to step B30, if not, go to step B60. ; Step B30, sending a selection parameter to the encoding device; encoding;
  • Step B50 Send the local enhanced coded image code stream to the opposite end (ie, the near end), and end;
  • step B60 the user is notified by an alarm or the like that the user cannot be enhanced and ends.
  • the process of specifying a partial image or a target by the user is that the user selects an area or target of interest in the image according to the support condition of the system device, and the device and method for supporting the user to freely select the region or target of interest are not fixed. In a certain device or a method, as long as the user can use them to specify the region or target of interest in the image.
  • the encoding of the specified effect means that the user sets the encoding effect for the selected area or device, and then the encoding device encodes the corresponding area or object according to the effect specified by the user.
  • the coding effect can be roughly divided into four modes: forward enhancement, reverse enhancement, substitution and non-enhancement.
  • the forward enhancement mode refers to a mode that requires higher image coding quality. At this time, the image quality of the coded image is higher than the system image quality by default. In this mode, different levels of enhancement can be set to Reach different video quality effects;
  • the reverse enhancement mode refers to a mode that requires worse image coding quality. At this time, the image quality is worse than the system image quality by default. In this mode, different levels of enhancement can be set to Reach different video quality effects;
  • the alternative mode refers to replacing the image or the target coding mode of the user-specified area with another image or target. At this time, the coded image and the system default coded image are already in the user-specified area or the user-specified target. No longer the same, the original content or the original target has been replaced by new content or target;
  • the non-enhanced mode is a mode in which a special encoding process is not performed on a selected area or target of the user, and the system uses the default encoding effect for encoding.
  • the above modes are only examples, and other modes can be set as needed.
  • the parameters of the area or target selected by the user are some values, which may include information: 1) the position of the area selected by the user in the image such as the horizontal and vertical coordinates, the range such as the width of the selected area, or the image of the user. The number of the selected target, etc.; 2) The image quality effect parameters desired by the user, including the enhanced mode and the enhanced level, and the cancellation of the local region or the specified target local enhancement parameters, etc.; 3) Tracking of the specified region or target in the image
  • the mode includes two modes: fixed mode and dynamic mode.
  • the fixed mode refers to the image enhancement encoding performed at a fixed position in each frame before the user cancels the enhancement after selecting the enhanced region or target.
  • the so-called dynamic mode refers to the user selection.
  • the position of the area to be enhanced coded is also within the enhanced coding range with the user's target or the user selected target.
  • the two tracking modes described in 3) can also be combined into an adaptive tracking mode, that is, the encoder can automatically root, so that the target selected by the user or the user-selected target is always enhanced in coding.
  • the process of determining, calculating, and sending the parameters of the area or target selected by the user to the encoding device is an operation performed by the system after the user selects the region or target of interest.
  • the system first determines whether the parameter is legal. First, it is determined whether the encoding device supports local enhanced encoding. If it is not supported, the user is notified by alarm or the like that the system cannot complete the effect desired by the user. If the encoding device supports local enhanced encoding, the user is determined to continue. Whether the selected position, range and other parameters are legal, such as parameters that exceed the maximum display range of the screen, too small, too narrow image range can be considered illegal.
  • Calculating the parameters includes transforming the parameters into other forms that are easy to represent, or adjusting the parameters to values that the encoder can easily encode.
  • the range selected by the user does not necessarily mean that the line needs to adjust the selected boundary to a straight line boundary.
  • the boundary position selected by the user is at a position that is not easy to encode, such as an odd-numbered row or an odd-numbered column pixel.
  • the boundary can be adjusted to the boundary position of the 16x16 pixel block closest to the boundary.
  • the adjusted parameters are also sent to the encoding device in a form that can be received and parsed by the encoding device.
  • the form of the parameter combination and the manner in which the parameters are sent are performed in a system supported and negotiated scheme, and are not fixed to a certain one. Kind of program.
  • the process of selecting parameters and making decisions, and then converting them into encoding parameters that the encoder can recognize is performed by the system prior to performing video local enhanced encoding.
  • the system After receiving the selection parameters, the system first analyzes the received parameters according to the actual situation of the system and the support of the coding device, and determines the legality. For the illegal selection parameters, the user is notified in an appropriate form which parameters are illegal and the parameters are illegal. In the case, the image is locally enhanced and encoded for parsing and determining that the legal selection parameter continues to be converted into a form recognizable by the encoding device.
  • the communication parties are respectively referred to as the near end and the far end, and the near end user selects the area or target of interest in the far end image that is seen; the remote coding device is interested in the user.
  • the target in the area or image is enhanced, and then the enhanced video code stream is sent to the near end, and the near end receives the video stream and then decodes and displays the output to display the remote image desired by the user.
  • the end image contains locally enhanced targets or targets.
  • the device capable of allowing the user to freely select the region of interest or the object of interest in the image at the near end may be a display capable of displaying the far end image and capable of locally selecting the image, and the near end includes The function module for determining, calculating, and transmitting the parameters of the region or target selected by the user, the remote end should include at least one image collector to collect the image of the far end, and the remote end further includes the user who is capable of accepting the near-end transmission.
  • the parameters of the image area or image object, and parsing, determining, and passing the parameters to the function module of the encoding device, and the remote end further includes an encoding device supporting video local enhanced encoding.
  • the proximal end and the distal end are opposite.
  • a conference television system supporting image local enhancement technology assumes that both ends of the system are A and B respectively. If the A end is set to the near end, the B end is the far end, and if the B end is the near end. Then, the A end is the far end, so that the A end and the B end can have both the partial image selecting device and the partial image enhancing encoding device. In this case, when the A end and the B end are in a meeting, the user at the A end sees the image of the B end.
  • the user at the A end can select the region or target of interest in the B-end image, notify the B-end to perform local enhanced coding, and the B-end device sends the encoded locally enhanced video code stream to the A-end, which is decoded by the decoding device at the A-end.
  • the B-end user sees the image at the A end, and the user at the B end can select the region of interest in the A-end image that he sees or the target requires the A-end to perform local enhanced coding, and then see the locally enhanced image at the A end.
  • both sides A and B of the communication do not necessarily have a partial image selection device and a partial image enhancement coding device at the same time, but one of the two sides of the communication has a partial image selection device and a partial image enhancement coding device.
  • One of the devices, and the other end has a partial image selection device and another device in the partial image enhancement coding device.
  • the communication system can realize the user viewing the far-end image in one direction and select the far-end according to his own needs.
  • the area or target of interest in the end image allows the remote image encoding device to encode the image stream that it needs to use.
  • Such a communication system such as a streaming media playback system, a VOD video on demand system, and a video surveillance system can use the framework of this embodiment.
  • the device that allows the user to freely select the region of interest or the target of interest in the image may not be in the display.
  • the control device can be called a console.
  • There is a page on the display device of the console that can display the remote image in real time, and the user can use the mouse or handwriting.
  • the device selects the area or target of interest on the remote image displayed on the console page, and then sends the selection parameter to the remote end, so that the remote end performs local enhanced coding, and the end user can see on the local display.
  • a locally enhanced distal image is a display at the near end that can display the far end image to facilitate the user to view the far end image, but the device that allows the user to freely select the region of interest or the target of interest in the image may not be in the display.
  • the control device can be called a console.
  • There is a page on the display device of the console that can display the remote image in real time, and the user can use the mouse or handwriting.
  • the device selects the area or target of interest
  • the user selection device and the image local enhancement coding device capable of freely selecting the region of interest or the target of interest in the image may be integrated on the same device or the same device of the system, that is, the user selects to view The image obtained is the image of the local end.
  • the system sends the selection parameter to the local image enhancement coding device of the local end, and the local image enhancement coding device of the local end is applied to the local camera.
  • the collected images are subjected to partial image enhancement coding.
  • This embodiment can be used in devices or systems such as camera devices, camera devices, and local loop systems for conference television.
  • the partial image enhancement coding of the forward enhancement mode is implemented by high quality coding of an image of a user selected area or a user selected target, such high quality coding may be I-PCM coding, I – PCM coding is an encoded intra mode supported by the H.264 standard. In this mode, the encoder directly outputs pixel values without prediction and conversion. Since the I-PCM encoding mode is lossless encoding, other encoding modes supported by H.264 are lossy, so I-PCM is used. The encoding mode can make the image quality of the region or target of interest of the user the same as the original image quality before encoding.
  • the PCM encoded area can also save bandwidth by reducing the encoded frame rate to ensure the image quality of the user's region of interest.
  • H.265 and other video compression standards including custom encoding methods, can also be used in this embodiment if they also support lossless compression to encode the highest quality image effects.
  • the encoding method used for the partial image enhancement coding of the forward enhancement mode and the partial image enhancement coding of the inverse enhancement mode is achieved by changing the number of codewords allocated to the coded macroblock, wherein positive enhancement is used
  • different coding strategies can be used as needed.
  • I-PCM coding can be used for some macroblocks of the region of interest, and partial macroblocks can be coded by reducing quantization parameters, or for the entire region of interest. The content is encoded by the method of reducing the quantization parameters.
  • these encoding methods do not achieve all the image effects using I-PCM encoding, they can still enhance the picture quality of the region of interest to a certain extent.
  • the macroblocks included in the area or target selected by the user may be assigned to fewer codewords, or the image of the user selected area may be blurred and then encoded before encoding.
  • more methods can be used to ensure the implementation of the algorithm, for example, in local enhanced encoding.
  • H.264 supports a variety of flexible slice methods
  • the user-selected region or target can be enhanced as a single slice, which is more conducive to the optimization of the encoding process.
  • NALU network adaptation layer unit
  • the NARI corresponding to the user selected area is sent, the value of the NRI is set to a specific value, and the system considers that the NALU in which the specific value is located has an importance beyond the general NALU, and further In the transmission process, certain measures are taken to ensure the reliability of the transmission of the NALU, so that even in the case of a relatively poor network environment, the image of the region of interest selected by the user can be more reliably arrived at the receiving end, The user sees.
  • the means to ensure that the NALU selected by the user is of higher importance is not limited to the method of setting the NRI, but the purpose is to better ensure that the user's needs can be satisfied.
  • the encoding method and the transmission method described in this embodiment are described in more detail in the following drawings and specific embodiments.
  • the local enhanced encoding of the alternate mode is encoded after the encoding of the original image before encoding is performed by a specified region or target, and in other embodiments, the local enhanced encoding of the alternate mode is
  • the local image enhancement coding apparatus is not required to perform special operations, but the local end substitutes the decoded image according to the user selection parameter after the near end decodes the remote image.
  • the image local enhancement coding implementation method is not limited to these methods. On the device, an image local enhancement technology that satisfies the user's needs can be developed according to actual conditions.
  • FIG. 2(a), 2(b), 2(c), 2(d) respectively show a schematic diagram of an embodiment in which a user selects a region of interest in an image using a different method.
  • Fig. 2(a) is a schematic diagram of selecting a region of interest on a sensing screen using a finger.
  • the large outer box in the figure is a display capable of sensing and recording the movement of the finger, and the small box inside the large box indicates that the user selects the screen with the finger.
  • Figure 2 (b) is a schematic diagram of the area of interest of selecting an image on the sensing screen using a stylus.
  • the large outer box in the figure is a display capable of sensing the stylus and recording the movement of the stylus, and a small box in the large box.
  • Figure 2(c) is a schematic diagram of selecting the area of interest of the image with the mouse.
  • the large square in the figure indicates a display, which is not necessarily used to display the far-end image.
  • the display can be a display of the control device, and a page in the display can display the remote image, so that the user can select the region of interest on the remote image displayed on the page by the mouse, and the user selects the region of interest as shown in the figure.
  • the box is shown.
  • Figure 2(d) shows the user's use of eye gaze to select images of interest Schematic diagram of the area, the small blue box in the figure is the area of interest selected by the user in the image.
  • the principle of selecting the region of interest in the image by eye gaze is: according to the relationship between the geometric center point position of the cornea of the user's eye and the position of the geometric neutral point of the display, when the position of the user's eye gaze changes, the geometric center point of the cornea of the eye Deflection occurs, and the system calculates the position that the user is currently watching on the display according to the relationship between the angle of the user's corneal geometric center point deflection and the geometric center point of the display. If the user's gaze exceeds a certain time limit, the user is considered to be The image at the location is of interest, and the system will prompt the user if they need to enhance the image here, as well as the range and enhancement mode that needs to be enhanced.
  • the four embodiments listed herein are only for the purpose of briefly explaining the method for the user to select the region of interest in the image. In actual use, various implementation methods may be used depending on the screen material of the display and the system requirements.
  • FIG. 3 is a block diagram of one embodiment of a two-terminal system using partial image enhancement, in which 107(a) shows one end of the system, referred to as the near end, and 107(b) shows the other end of the system, referred to as the far end, 107(a) and 107(b) include: a processor 101, a display 102, an external interface 103, an image collector 104, and a system control device 108.
  • the system control device 108 can also be omitted as needed, and in 107(a)
  • the image collector 104 may not be included, and the display 102 may not be included in the 107(b), wherein:
  • the image of the far end is displayed on the display 102, and the user 100 selects an area or object 106 of interest in the image displayed by the display 102 of the near end; the processor 101 of the near end generates the user according to the area or target selected by the user 100. Selecting a parameter, and transmitting the user selection parameter to the external interface 103 of the near end, and transmitting to the remote end through the transmission of the network 105;
  • the remote external interface 103 receives the user selection parameter sent by the network 105 and sends it to the remote processor 101.
  • the remote processor 101 parses the user selection parameter. If the user selects the parameter legally, the remote processor
  • the encoding device in 101 performs local enhanced encoding on the image collected by the image collector 104 according to the user selection parameter, and transmits the enhanced processed image to the near end.
  • 100 denotes a user who uses a video communication system, and may be one person or a plurality of people or a group
  • 101 is a terminal device of the system, and the processor and the whole system are processed and controlled in 101, including control and operation.
  • the image collector 104 extracts the collected image from the image collector 104, and performs encoding and decoding processing of the audio and video.
  • the display 102 can be itself on the same device as the processor 101, and can also be coupled to the processor 101. Some displays 102 support supporting direct selection of images on the screen, as shown in FIG. 2(a). In the display shown in FIG. 2(b), some of the displays 102 do not support the selection operation directly on the screen, and the local selection operation of the image can be realized by the control device 108. The control device 108 selects the region of interest by means of the mouse. 2(c).
  • the image collector 104 is configured to collect images of the local user and its surroundings, and provide the image to hardware or software in the system that requires the image. For example, the image collected by the image may be sent to a local encoding device for encoding. Then, the encoded video stream is sent to the near end, and the collected image can also be directly displayed on the local display device. Of course, the collected image can be encoded and stored. Depending on the requirements of the system, the number of image collectors 104 at one end may not be fixed, and there may be one or more. The number of displays on one end of the system can also be changed according to requirements, and is not fixed to one or several.
  • the image collector 104 can be a camera, a camera, or the like.
  • the system shown in Figure 3 can be tamper-modified, added, or deleted as needed.
  • the control device 108 of Figure 3 can be deleted.
  • the user may be selected to select the region of interest in the image in 107a, and the image local enhancement encoding is supported in 107b, and the user at 107a can view the image at 107b and select the region of interest in the image.
  • the target then let the 107b end do the local enhancement coding. The same operation can be done by replacing 107a with 107b and 107b with 107a.
  • Such an embodiment can be used, for example, in a video surveillance system.
  • both the 107a end and the 107b end support the user to select the region of interest or the target in the image, and the encoding device supports the image local enhanced encoding, then the two ends can respectively perform local enhancement of the local image, that is, both ends The user can watch the local enhanced effect of the local image as needed.
  • the above-mentioned double-ended system can be used for the same video communication system including a video conference system, such as ZTE ZTE's T700/T800/T900 video conference system. .
  • FIG. 4 is a block diagram of a single-ended system using image local enhancement, the single-ended system 205 including a processor 200, an image collector 201, and a display 202, wherein:
  • the processor 200 is configured to process the local image, including: after receiving the selection parameter sent by the display 202, locally enhancing the encoding of the collected image by using the image local enhancement encoding device; and completing the internal operation of the entire system. , control function;
  • the image collector 201 is configured to take in a local image, and send the collected image to the processor;
  • the image collector 201 can be a lens, a camera, or the like;
  • the display 202 is configured to display an image screen taken by the image collector 201 and to provide a function of selecting an image.
  • the user 204 can select an area or target 203 of interest in the image displayed on the display 202, and the display 202 The region or target generated by the user is selected to generate a selection parameter, and then the selection parameter is sent to the processor 200 for processing.
  • the single-ended system shown in the above embodiment can be used in a photographing apparatus such as a camera or a video camera.
  • FIG. 5(a) and 5(b) are schematic diagrams of an embodiment in which a user selects a fixed tracking mode for image local enhancement.
  • the user selects a local enhancement to a fixed position in the image, wherein FIG. 5 a) indicates that the user selects the target of the position of interest in the image, and selects the enhanced mode and the enhanced level, and the selected tracking mode is the fixed mode, and 5(b) indicates the image effect in the fixed tracking mode, and the image can be seen
  • the location of the local enhancement is the location of interest selected by the user. Unless the user cancels the enhancement or selects the dynamic tracking mode, the system will always do local enhancement at that location in the image.
  • 6(a:), 6(b) and 6(c) are diagrams showing an embodiment of a user's selection of a dynamic tracking mode for image local enhancement.
  • the user selects a target in the region of interest in the image.
  • Dynamic local enhancement where Figure 6(a) shows that the user selects the target of the location of interest in the image, and selects the enhanced mode and the enhanced level, while the selected tracking mode is dynamic, Figure 6(b) and 6(c)
  • the target in the selected area of the user is in the non-stop motion and the enhanced regional position is also moving with the movement of the target, ensuring that the selected target of the user is always within the locally enhanced region.
  • 6(d) is the case where the moving target moves out of the range of image display or the moving target reaches a position that is not suitable for enhancement or the user cancels the local enhancement of the image, and the image screen returns to the default image effect of the system.
  • the enhancement mentioned in the above content is exemplified by the enhancement of the local area in the picture, and the enhancement mode is not limited. In actual use, the number, size, etc. of the selected enhancement targets can be limited according to actual conditions.
  • Figure 7(a) shows that there are multiple targets in the image, the user selects one of the targets (the portrait in the figure), and Figure 7(b) shows the image enhancement for the target selected by the user, of course, if the target selected by the user is Sports
  • the dynamic tracking mode can be selected to track the selected target.
  • Figures 8(a) and 8(b) show a schematic diagram of image local enhancement coding using slice groups of different formats.
  • the divided area in Fig. 8(a) indicates a slice in the picture.
  • a total of N slices are numbered 0, 1, ..., N-1, respectively.
  • the area enclosed by the boxes in Fig. 8(b) also indicates the slices one by one.
  • Fig. 8(b) there are a total of M slices, which are numbered 0, 1 ..., M-1, respectively.
  • the dashed box in the figure represents the region of interest selected by the user, and in some embodiments, the macroblock contained in the region of interest selected by the user using the forward enhancement mode is encoded using the I-PCM encoding mode, such that The user-selected region of interest can achieve the best image effect.
  • the maximum benefit of the I-PCM coding mode is that it can be completely lossless compared to other predictive coding modes. Encoding, and any other predictive coding is lossy.
  • the quantization parameter can also be reduced to encode or reduce the quantization parameter and I-PCM coding.
  • a frame image is composed of at least one slice, and a slice further includes a plurality of macroblocks, and one macroblock can be separately coded into a plurality of subblocks when encoded.
  • a slice further includes a plurality of macroblocks, and one macroblock can be separately coded into a plurality of subblocks when encoded.
  • the advantage of separately encoding each sub-block is that each sub-block can have its own independent motion vector and prediction mode, which can not only make the image prediction more accurate, but also reduce the code. rate.
  • FIG. 8(a) is a schematic diagram showing an embodiment of image encoding by using a slice group of a raster scan format, that is, the sequence numbers of the slices are sequentially incremented from top to bottom, and the encoding or decoding is also performed from left to right in the order of raster scanning.
  • the macroblocks are sequentially encoded or decoded from top to bottom.
  • the user-selected region of interest may be split into multiple slices, or may be included in a slice, so that the encoder can be encoded according to user requirements when encoding macroblocks in the user's region of interest.
  • the special encoding can achieve the purpose of enhanced encoding.
  • the stream of the user's region of interest is sent in multiple slices according to the slice segmentation or is included in an ordinary slice to be sent out.
  • each slice in a frame is independent of each other in encoding and decoding, that is, encoding and decoding without referring to each other's contents
  • the H.264 standard also supports flexible order (FMO) slices.
  • the format is encoded, that is, the macroblocks are not included in the slice group in the raster scan order, but are mapped to the slice group in some way.
  • the FMO slice group has six mapping types: interlaced mapping, scattered mapping, foreground and background mapping, Box-out mapping, hand-papping mapping, and explicit mapping. The specific description of these six mapping methods can refer to the H.264 related protocol standard.
  • Figure 8(b) shows a schematic diagram of an embodiment of local enhanced coding using a slice format of foreground and background mapping, which can be used as an independent S in the image selected by the user in the image format.
  • Li ce encodes, and the user-specified image quality enhancement is performed during the encoding process, and other slices in one frame use the encoding of the system default parameters, and no image quality enhancement is required.
  • One of the advantages of this is that it can encapsulate the slice encoded by the user selection area into a NALU transmission, and then assign a higher transmission priority to the NALU, so that the system can use a certain method to ensure that the NALU has more transmission process. High reliability, that is, it is not easy to be lost and error occurs.
  • the embodiment of the present invention further provides an image local enhancement device, as shown in FIG. 9, comprising: a detection module configured to acquire a region or a target selected by a user;
  • a parameter generating module configured to generate a selection parameter according to the selected area or target; and a transmission module configured to send the selection parameter to the opposite end.
  • the parameter generating module is further configured to acquire the enhanced mode selected by the user, or an enhanced mode and an enhanced level, and add the enhanced mode, or the enhanced mode and the enhanced level to the selection parameter.
  • the selection parameter further includes: a tracking mode, wherein the tracking mode is one of: a fixed mode, indicating that each frame is enhanced in the selected area before canceling the enhancement; the dynamic mode, indicating that the cancellation is Each selected frame is tracked prior to the enhancement, and the target is enhanced when the target is within the enhanced range.
  • the parameter generating module Before the parameter generating module generates the selection parameter, it is further determined whether the peer end supports Holding a local enhanced coding, and whether the selected region or target satisfies a preset condition, and generating a local enhanced coding when the opposite end and the selected region or target satisfy the preset condition Select the parameters.
  • An embodiment of the present invention further provides an image local enhancement apparatus, as shown in FIG. 10, comprising: selecting a parameter; and an enhancement module configured to enhance the selected area or target according to the selection parameter; sending a module, setting An image that enhances the selected region or target is sent to the peer.
  • the step of enhancing, by the enhancement module, the selected area or target includes: enhancing the selected area or target according to an enhanced mode in the selection parameter, or an enhanced mode and an enhanced level.
  • the step of enhancing the selected area or target by the enhancement module includes: when the image quality of the selected area or target is increased in the selection parameter, taking one of the following methods or Combination:
  • Encoding an image of the selected region or target using an I-PCM encoding mode encoding an image of the selected region or target by reducing quantization parameters of the encoded macroblock
  • the image of the selected region or target is encoded by reducing the codeword of the encoded macroblock; the image of the selected region or target is fuzzified and then encoded.
  • the enhancement module is further configured to encode the selected area or target as a separate slice;
  • the sending module is further configured to set the independent slice as a single network adaptive layer unit, and set a specific transmission priority for the network adaptive layer unit.
  • the enhancement module Before the enhancement module performs enhancement on the selected area or target according to the selection parameter, it is further determined whether the selection parameter meets a preset condition, and if yes, the selection is performed according to the selection parameter. The area or target is enhanced.
  • the embodiment of the invention further provides an image local enhancement device, as shown in FIG. 11, comprising a detection module, a parameter generation module and an enhancement module, wherein:
  • the detecting module is configured to acquire a region or a target selected by a user
  • the parameter generating module is configured to generate a selection parameter according to the selected area or target, and send the selection parameter to the enhancement module;
  • the enhancement module is configured to enhance the selected region or target based on the selection parameter to generate an enhanced image of the selected region or target.
  • the parameter generating module is further configured to acquire an enhanced mode selected by the user, or an enhanced mode and an enhanced level, and add the enhanced mode, or an enhanced mode and an enhanced level to the selection parameter;
  • the step of enhancing, by the enhancement module, the selected area or target comprises: enhancing the selected area or target according to an enhanced mode in the selection parameter, or an enhanced mode and an enhanced level.
  • the selection parameter further includes: a tracking mode, wherein the tracking mode is one of: a fixed mode, indicating that each frame is enhanced in the selected area before canceling the enhancement; the dynamic mode, indicating that the cancellation is Each selected frame is tracked prior to the enhancement, and the target is enhanced when the target is within the enhanced range.
  • the step of enhancing the selected area or target by the enhancement module includes: when the image quality of the selected area or target is increased in the selection parameter, taking one of the following methods or Combination:
  • Encoding an image of the selected region or target using an I-PCM encoding mode Encoding an image of the selected region or target by reducing quantization parameters of the encoded macroblock;
  • the image of the selected region or target is encoded by reducing the codeword of the encoded macroblock; the image of the selected region or target is fuzzified and then encoded.
  • Embodiments of the present invention also provide an image local enhancement system, including the apparatus shown in Figures 9 and 10.
  • the image local enhancement method and apparatus provided by the embodiments of the present invention allow the user to select the image quality of the region or target that he or she is interested in according to his or her own preference.
  • the lossless enhancement can be achieved, and the user selection can be reduced.
  • the picture quality of a given area or target is not necessarily require all of the advantages described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种图像局部增强方法，包括：获取用户选定的区域或目标；根据所述选定的区域或目标生成选择参数；根据所述选择参数对所述选定的区域或目标进行增强，生成对所述选定的区域或目标进行增强后的图像；或者，将所述选择参数发送给对端；对端根据所述选择参数对所述选定的区域或目标进行增强；返回对所述选定的区域或目标进行增强后的图像。本发明实施例还提供一种图像局部增强装置。本发明实施例可以根据用户选择对相应的区域进行增强。

Description

一种图像局部增强方法和装置
技术领域
本发明涉及通信领域， 尤其涉及一种图像局部增强的方法和装置。
背景技术
在目前的视频通信系统中， 用户在使用时如果对画面质量不满意一般通 过提高呼叫带宽或者选择清晰模式等方法改善画面质量， 这样编码器就对整 个画面的编码做了改变， 虽然提高了整个画面的质量， 但是这样做的结果是 带宽大大提高或者帧频不能保证。 但是通常情况下， 用户并不对整个画面都 要求很高的质量， 而是对画面中的部分内容或者画面中的个别目标比较感兴 趣， 这样提高呼叫带宽或者选择清晰模式等又会有其它不必要的后果， 而通 过调节远端摄像头的位置或者焦距来放大感兴趣区域或者感兴趣物体的办法 又会使得整个画面的内容发生改变。
另外， 在某些设备中， 虽然也能对画面中的局部内容做增强， 但有些是 对特定的目标如人脸等做自适应的增强，有的是对指定的区域做放大处理等， 这些技术有的是不能使用户根据自己的主观喜好自由的选择感兴趣的区域， 有的只是在解码端对解码出来的图像局部做一些处理改变画面给人的主观感 受， 有的是改变了画面的整体布局和内容。
综上所述， 现有图像增强方法需要改进。
发明内容 本发明实施例要解决的技术问题是提供一种图像局部增强方法和装置， 能根据用户的喜好进行增强。 为了解决上述问题，本发明实施例提供了一种图像局部增强方法， 包括： 获取用户选定的区域或目标； 根据所述选定的区域或目标生成选择参数； 将所述选择参数发送给对端； 或者， 根据所述选择参数对所述选定的区 域或目标进行增强， 生成对所述选定的区域或目标进行增强后的图像。 可选地， 所述方法还包括， 获取所述用户选定的增强模式， 或者， 增强 模式和增强级别； 所述选择参数中还包括： 增强模式， 或者， 增强模式和增强级别。 可选地， 所述增强模式为如下之一： 正向增强模式， 指示提高所述选定的区域或目标的图像质量； 反向增强模式， 指示降低所述选定的区域或目标的图像质量； 替代模式， 指示使用其他图像替代所述选定的区域或目标； 不增强模式， 指示所述选定的区域或目标的图像质量为系统默认。 可选地， 所述选择参数中还包括： 跟踪模式， 所述跟踪模式为如下之一： 固定模式， 指示在取消增强之前每一帧均在所述选定的区域进行增强； 动态模式， 指示在取消增强之前每一帧跟踪所述选定的目标， 且当所述 目标在增强范围内时对所述目标进行增强。 可选地，生成所述选择参数前，还判断所述对端是否支持局部增强编码， 以及， 所述选定的区域或目标是否满足预设条件， 在所述对端支持局部增强 编码以及所述选定的区域或目标满足所述预设条件时，才生成所述选择参数。 可选地， 对所述选定的区域或目标进行增强的步骤包括： 当所述选择参数中指示提高所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合： 使用 I— PCM编码模式对所述选定的区域或目标的图像进行编码； 通过减小编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过增加编码宏块的码字对所述选定的区域或目标的图像进行编码； 当所述选择参数中指示降低所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合： 通过增大编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过减少编码宏块的码字对所述选定的区域或目标的图像进行编码； 对所述选定的区域或目标的图像进行模糊化处理后再编码。 本发明实施例还提供一种图像局部增强方法， 包括：
根据所述选择参数对所述选定的区域或目标进行增强； 将对所述选定的区域或目标进行增强后的图像发送给所述对端。 可选地， 所述对所述选定的区域或目标进行增强的步骤包括： 根据所述选择参数中的增强模式， 或者， 增强模式和增强级别对所述选 定的区域或目标进行增强。 可选地， 所述对所述选定的区域或目标进行增强的步骤包括： 当所述选择参数中指示提高所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合： 使用 I— PCM编码模式对所述选定的区域或目标的图像进行编码； 通过减小编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过增加编码宏块的码字对所述选定的区域或目标的图像进行编码； 当所述选择参数中指示降低所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合： 通过增大编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过减少编码宏块的码字对所述选定的区域或目标的图像进行编码； 对所述选定的区域或目标的图像进行模糊化处理后再编码。 可选地， 所述根据所述选择参数对所述选定的区域或目标进行增强的步 骤包括： 将所述选定区域或目标作为一个独立的片进行编码； 将对所述选定的区域或目标进行增强后的图像发送给所述对端前， 还将 所述独立的片作为一个单独的网络自适应层单元， 为所述网络自适应层单元 设置特定传输优先级。 可选地， 根据所述选择参数对所述选定的区域或目标进行增强前， 还判 断所述选择参数是否符合预设条件， 如果符合， 才根据所述选择参数对所述 选定的区域或目标进行增强。 本发明实施例还提供一种图像局部增强装置， 包括检测模块、 参数生成 模块和传输模块： 所述检测模块， 设置成获取用户选定的区域或目标； 所述参数生成模块， 设置成根据所述选定的区域或目标生成选择参数； 所述传输模块， 设置成将所述选择参数发送给对端。
可选地， 所述参数生成模块， 还设置成获取所述用户选定的增强模式， 或者， 增强模式和增强级别， 将所述增强模式， 或者， 增强模式和增强级别 添加到所述选择参数中。 可选地， 所述增强模式为如下之一： 正向增强模式， 指示提高所述选定的区域或目标的图像质量； 反向增强模式， 指示降低所述选定的区域或目标的图像质量； 替代模式， 指示使用其他图像替代所述选定的区域或目标； 不增强模式， 指示所述选定的区域或目标的图像质量为系统默认。
可选地， 所述选择参数中还包括： 跟踪模式， 所述跟踪模式为如下之一： 固定模式， 指示在取消增强之前每一帧均在所述选定的区域进行增强； 动态模式， 指示在取消增强之前每一帧跟踪所述选定的目标， 且当所述 目标在增强范围内时对所述目标进行增强。 可选地， 所述参数生成模块生成所述选择参数前， 还判断所述对端是否 支持局部增强编码， 以及， 所述选定的区域或目标是否满足预设条件， 在所 述对端支持局部增强编码以及所述选定的区域或目标满足所述预设条件时， 才生成所述选择参数。 本发明实施例还提供一种图像局部增强装置， 包括接收模块、 增强模块 和发送模块： 所述接收模块， 设置成接收对端发送的根据用户所选定的区域或目标生 成的选择参数； 所述增强模块， 设置成根据所述选择参数对所述选定的区域或目标进行 增强； 所述发送模块， 设置成将对所述选定的区域或目标进行增强后的图像发 送给所述对端。 可选地， 所述增强模块对所述选定的区域或目标进行增强的步骤包括： 根据所述选择参数中的增强模式， 或者， 增强模式和增强级别对所述选 定的区域或目标进行增强。 可选地， 所述增强模块对所述选定的区域或目标进行增强的步骤包括： 当所述选择参数中指示提高所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合： 使用 I— PCM编码模式对所述选定的区域或目标的图像进行编码； 通过减小编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过增加编码宏块的码字对所述选定的区域或目标的图像进行编码； 当所述选择参数中指示降低所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合： 通过增大编码宏块的量化参数对所述选定的区域或目标的图像进行编 码； 通过减少编码宏块的码字对所述选定的区域或目标的图像进行编码； 对所述选定的区域或目标的图像进行模糊化处理后再编码。 可选地， 所述增强模块， 还设置成将所述选定区域或目标作为一个独立 的片进行编码； 所述发送模块， 还设置成将所述独立的片作为一个单独的网络自适应层 单元， 为所述网络自适应层单元设置特定传输优先级。 可选地， 所述增强模块根据所述选择参数对所述选定的区域或目标进行 增强前， 还判断所述选择参数是否符合预设条件， 如果符合， 才根据所述选 择参数对所述选定的区域或目标进行增强。 本发明实施例还提供一种图像局部增强装置， 包括检测模块、 参数生成 模块和增强模块， 其中： 所述检测模块， 设置成获取用户选定的区域或目标； 所述参数生成模块， 设置成根据所述选定的区域或目标生成选择参数， 将所述选择参数发送给所述增强模块； 所述增强模块， 设置成根据所述选择参数对所述选定的区域或目标进行 增强， 生成对所述选定的区域或目标进行增强后的图像。 可选地， 所述参数生成模块， 还设置成获取所述用户选定的增强模式， 或者， 增强模式和增强级别， 将所述增强模式， 或者， 增强模式和增强级别 添加到所述选择参数中； 所述增强模块对所述选定的区域或目标进行增强包括： 根据所述选择参数中的增强模式， 或者， 增强模式和增强级别对所述选 定的区域或目标进行增强。 可选地， 所述增强模式为如下之一： 正向增强模式， 指示提高所述选定的区域或目标的图像质量； 反向增强模式， 指示降低所述选定的区域或目标的图像质量； 替代模式， 指示使用其他图像替代所述选定的区域或目标； 不增强模式， 指示所述选定的区域或目标的图像质量为系统默认。 可选地， 所述选择参数中还包括： 跟踪模式， 所述跟踪模式为如下之一： 固定模式， 指示在取消增强之前每一帧均在所述选定的区域进行增强； 动态模式， 指示在取消增强之前每一帧跟踪所述选定的目标， 且当所述 目标在增强范围内时对所述目标进行增强。 可选地， 所述增强模块对所述选定的区域或目标进行增强的步骤包括： 当所述选择参数中指示提高所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合： 使用 I— PCM编码模式对所述选定的区域或目标的图像进行编码； 通过减小编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过增加编码宏块的码字对所述选定的区域或目标的图像进行编码； 当所述选择参数中指示降低所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合： 通过增大编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过减少编码宏块的码字对所述选定的区域或目标的图像进行编码； 对所述选定的区域或目标的图像进行模糊化处理后再编码。
本发明实施例提供的图像局部增强方法和装置， 让用户可以充分根据自 己的喜好选择自己感兴趣的区域或者目标的画面质量， 另外， 可以实现无损 增强， 另外， 还可降低用户选定区域或目标的画面质量。 当然， 实施本发明 实施例的任一产品必不一定需要同时达到以上所述的所有优点。 附图概述
图 1(a)为局部图像增强方法近端处理流程图； 图 1(b)为局部图像增强方法远端处理流程图；
图 2(a)为用户使用手指选择图像中感兴趣区域或者目标的操作示意图； 图 2(b)为用户使用光笔选择图像中感兴趣区域或者目标的操作示意图； 图 2(c) 为用户使用鼠标选择图像中感兴趣区域或者目标的操作示意图； 图 2(d) 为用户使用眼睛注视的方法选取图像中感兴趣区域的示意图； 图 3为根据本发明的一个特定实施例提出一个使用图像局部增强的双端 系统的框图；
图 4为根据本发明的一个特定实施例提出一个使用图像局部增强的单端 系统的框图；
图 5(a)和 5(b) 为使用固定跟踪模式的局部图像增强示意图；
图 6(a：)、 6(b), 6(c)和 6(d)为使用动态跟踪模式的局部图像增强示意图； 图 7(a)和图 7(b)为用户选定的目标做图像局部增强的示意图；
图 8(a)是使用光栅扫描格式的片组做图像局部增强的示意图；
图 8(b)是使用 FMO格式的片组做图像局部增强的示意图。
图 9是本发明实施例一种图像局部增强装置框图；
图 10是本发明实施例一种图像局部增强装置框图；
图 11是本发明实施例一种图像局部增强装置框图。 本发明的较佳实施方式
为使本发明实施例的目的、 技术方案和优点更加清楚明白， 下文中将结 合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下， 本申请中的实施例及实施例中的特征可以相互任意组合。
本发明实施例提供一种图像局部增强方法， 包括：
获取用户选定的区域或目标；
根据所述选定的区域或目标生成选择参数；
将所述选择参数发送给对端； 或者， 根据所述选择参数对所述选定的区 域或目标进行增强， 生成对所述选定的区域或目标进行增强后的图像。
其中， 所述方法还包括， 获取所述用户选定的增强模式， 或者， 增强模 式和增强级别；
所述选择参数中还包括： 增强模式， 或者， 增强模式和增强级别。 当然， 增强模式和增强级别也可使用系统默认值， 无须用户选定， 此时选择参数中 可以不携带增强模式、 增强级别。
其中， 所述增强模式为如下之一：
正向增强模式， 指示提高所述选定的区域或目标的图像质量；
反向增强模式， 指示降低所述选定的区域或目标的图像质量；
替代模式， 指示使用其他图像替代所述选定的区域或目标；
不增强模式， 指示所述选定的区域或目标的图像质量为系统默认。
其中， 所述选择参数中还包括： 跟踪模式， 所述跟踪模式为如下之一： 固定模式， 指示在取消增强之前每一帧均在所述选定的区域进行增强； 动态模式， 指示在取消增强之前每一帧跟踪所述选定的目标， 且当所述 目标在增强范围内时对所述目标进行增强。
其中， 生成所述选择参数前， 还判断所述对端是否支持局部增强编码， 以及， 所述选定的区域或目标是否满足预设条件， 在所述对端支持局部增强 编码以及所述选定的区域或目标满足所述预设条件时，才生成所述选择参数。 也可不作判断， 在用户进行选择时， 限定用户只能选择满足预设条件的区域 或目标。
其中， 对所述选定的区域或目标进行增强的步骤包括：
当所述选择参数中指示提高所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合：
使用 I— PCM编码模式对所述选定的区域或目标的图像进行编码； 通过减小编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过增加编码宏块的码字对所述选定的区域或目标的图像进行编码； 当所述选择参数中指示降低所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合：
通过增大编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过减少编码宏块的码字对所述选定的区域或目标的图像进行编码； 对所述选定的区域或目标的图像进行模糊化处理后再编码。 本发明实施例还提供一种图像局部增强方法， 包括：
根据所述选择参数对所述选定的区域或目标进行增强；
将对所述选定的区域或目标进行增强后的图像发送给所述对端。
其中， 所述对所述选定的区域或目标进行增强的步骤包括：
根据所述选择参数中的增强模式， 或者， 增强模式和增强级别对所述选 定的区域或目标进行增强。
其中， 所述对所述选定的区域或目标进行增强的步骤包括：
当所述选择参数中指示提高所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合：
使用 I— PCM编码模式对所述选定的区域或目标的图像进行编码； 通过减小编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过增加编码宏块的码字对所述选定的区域或目标的图像进行编码； 当所述选择参数中指示降低所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合：
通过增大编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过减少编码宏块的码字对所述选定的区域或目标的图像进行编码； 对所述选定的区域或目标的图像进行模糊化处理后再编码。 其中， 所述根据所述选择参数对所述选定的区域或目标进行增强的步骤 包括：
将所述选定区域或目标作为一个独立的片进行编码；
将对所述选定的区域或目标进行增强后的图像发送给所述对端前， 还将 所述独立的片作为一个单独的网络自适应层单元， 为所述网络自适应层单元 设置特定传输优先级。
其中， 根据所述选择参数对所述选定的区域或目标进行增强前， 还判断 所述选择参数是否符合预设条件， 如果符合， 才根据所述选择参数对所述选 定的区域或目标进行增强。
在下面介绍的实施例中， 通信双方中， 每个通信方自称本端， 称对方为 对端， 为方便描述， 通信双方其中一端称为近端， 另一端称为远端。
在视频通信系统中， 如果能够让用户在自己看到的画面范围内自由的选 取自己感兴趣的区域或者目标， 并且允许用户指定自己感兴趣的区域或者目 标想要达到的视频效果， 编码端根据用户的需求对指定的区域或者目标进行 相应的特殊编码， 然后把做了局部特殊编码的码流发往用户端解码呈现， 就 能够完成用户想要看到的视频效果。 釆用这种方法的好处是， 让用户可以充 分根据自己的喜好选择自己感兴趣的区域或者目标的画面质量， 而且如果用 户指定的区域范围不是特别大则不会显著的提高视频码流占用的带宽， 可以 不改变用户感兴趣区域或目标的分辨率，保持整个画面中各部分的比例协调， 增强用户体验。
本发明实施例中， 用户在使用视频通信系统的过程中可以根据自己的需 要和喜好对选择画面的局部或者画面中的个别目标内容进行选择， 然后把选 择局部画面或个别目标的参数发往对端， 对端处理器分析用户的需求， 如果 能满足需求就通知编码器做用户指定效果的增强。 用户选择的内容可以是一 个固定的坐标位置和范围， 也可以是画面中正在运动的目标， 当用户选择取 消增强或者运动的目标运动出画面之外时则取消图像局部增强编码。
根据特定的实施例， 提供了让用户可以自由选择图像中自己感兴趣的区 域或目标的特定图像效果的系统和方法， 该方法赋予用户更大的对图像质量 的自主选择性， 避免了以往视频通信系统中， 用户无法自由选择局部图像效 果的缺点和问题。
在特定的实施例中， 一个使用图像局部增强技术的视频通信系统中至少 包括一个能够让用户对图像自由选择感兴趣区域或者感兴趣目标的设备， 并 且该系统还应该至少包括一个能够对指定的局部图像或目标进行指定效果编 码的设备。该系统还要支持能够对用户选择的区域或者目标的参数进行判定、 计算并送给编码设备的功能， 同样编码设备也应该具有在编码之前接收用户 选择参数， 并进行判定， 然后转换成编码器可以识别的编码参数的功能。 一 个特定实施例的流程图如图 1(a)和图 1(b)所示。
如图 1(a)所示， 在近端， 包括：
步骤 A10, 接收用户选择的区域或目标；
步骤 A20, 判断远端是否支持图像局部增强编码， 如果不支持， 转步骤 A70, 如果支持， 转步骤 A30;
步骤 A30, 确定增强模式和增强级别；
当然， 也可以只确定增强模式， 增强级别使用；
步骤 A40, 判断选择参数是否合法， 如果合法， 转步骤 A50, 如果不合 法， 转步骤 A70;
步骤 A50, 系统计算选择参数；
步骤 A60, 组合并发送选择参数到对端 （此处指所述近端的对端， 即远 端） ， 结束；
步骤 A70, 通过告警等通知用户， 无法进行局部增强， 结束。
如图 1(b)所示， 在远端， 包括：
步骤 B10, 接收对端 （此处指远端的对端， 即近端）发送的选择参数； 步骤 B20, 判断所述选择参数是否合法； 如果合法， 转步骤 B30, 如果 不合法， 转步骤 B60; 步骤 B30 , 发送选择参数给编码设备； 编码；
具体增强方式参见后续实施例。
步骤 B50, 发送局部增强编码后的图像码流到对端 （即所述近端） ， 结 束；
步骤 B60 , 通过告警等通知用户无法增强， 结束。
在上述实施例中， 用户指定局部图像或目标的过程就是用户根据系统设 备的支持情况选择图像中自己感兴趣的区域或目标， 支持用户能够自由选择 感兴趣区域或者目标的设备和方法并不固定在某一种设备或某一种方法， 只 要用户能够借助它们指定出图像中自己感兴趣的区域或者目标均可。
在上述实施例中， 进行指定效果的编码是指用户对选择的区域或设备自 己设定编码效果， 然后由编码设备按照用户指定的效果对相应区域或者目标 进行编码。 编码效果大致可分为正向增强， 反向增强、 替代和不增强四种模 式， 其中：
所述正向增强模式是指要求更高的图像编码质量的模式， 此时编码出来 的图像质量比系统默认情况下图像编码质量更高， 在该模式下可以设定高低 不同的增强级别， 以达到不同的视频质量效果；
所述反向增强模式是指要求更差的图像编码质量的模式， 此时图像的编 码质量比系统默认情况下的图像编码质量更差， 在该模式下可以设定高低不 同的增强级别， 以达到不同的视频质量效果；
所述替代模式是指用别的图像或目标来替代用户指定区域的图像或目标 的编码模式， 此时编码出来的图像与系统默认的编码图像在用户指定的区域 或用户指定的目标处内容已经不再相同了， 原来区域的内容或原来的目标已 被新的内容或目标替换掉了；
所述不增强模式， 是对用户选定的区域或者目标不做特殊的编码处理， 使用系统默认的编码效果进行编码的模式。 上述模式仅为示例， 可以根据需要设定其他模式。
由于用户可以自由的选择自己需要的增强模式， 为了避免重复的说明这 四种并列的增强模式， 因此在本文中如果没有特殊说明， 提到 "增强" 时均 包含正向增强， 反向增强、 替代和不增强四种模式。
在上述实施例中， 用户选择的区域或者目标的参数是一些数值， 可以包 括信息： 1)用户在图像中选择的区域的位置如横向和纵向坐标、 范围如选择 区域的宽高或者用户在图像中选择的目标的编号等； 2)用户希望的图像质量 效果参数， 包括增强模式以及增强的级别以及取消当前区域或指定目标的局 部增强参数等； 3)在图像中指定的区域或目标的跟踪模式， 包括固定模式和 动态模式两种， 固定模式是指用户选定了增强的区域或目标后在取消增强之 前每一帧都在固定的位置做图像增强编码， 所谓动态模式是指当用户选定区 域内的目标或用户选定的目标运动时， 做增强编码的区域位置也会随着用户 的目标或者用户选定的目标一直都在增强编码的范围之内。 其中 3)中说明的 两种跟踪模式也可以合并成一个自适应的跟踪模式， 即编码器能够自动的根 置， 使用户选定区域内的目标或者用户选定的目标一直都在增强编码的范围 之内。
在上述实施例中， 对用户选择的区域或者目标的参数进行判定、 计算并 送给编码设备的过程是用户选择好感兴趣的区域或目标后由系统进行的操 作。 系统首先判断参数是否合法， 首先要判定编码设备是否支持局部增强编 码，如果不支持，就通过告警等形式通知用户系统不能完成用户想要的效果， 如果编码设备支持局部增强编码， 要继续判定用户选定位置， 范围等参数是 否合法， 例如超过屏幕最大显示范围的参数， 过小、 过窄的图像范围都可以 认为是不合法的。 对参数进行计算包括把参数变换成其它易于表示的形式， 或者把参数调整成编码器易于编码的值等， 例如用户选定的范围并不一定是 直线需要把选定的边界调整成直线边界， 或者用户选定的边界位置处于一个 奇数行或奇数列像素的位置等不易于编码的位置， 此时可以把边界调整为距 离此边界最近的 16x16像素块的边界位置等。 对于系统判定合法的、 经过计 算调整后的参数， 还要以组合成编码设备可以接收并可以解析的形式发送给 编码设备， 参数组合的形式和参数发送的方式以系统支持并协商好的方案进 行， 并不固定为某一种方案。
在上述实施例中， 系统选择参数， 并进行判定， 然后转换成编码器可以 识别的编码参数的过程是系统在进行视频局部增强编码之前进行的。 系统接 收到选择参数之后， 首先根据系统的实际情况和编码设备的支持情况对接收 到的参数进行解析， 并判定合法性， 对于非法的选择参数要以适当的形式通 知用户哪些参数非法以及参数非法的情况， 对于解析好并判定合法的选择参 数继续转换成编码设备可以识别的形式送给编码设备进行图像局部增强编 码。
在下面介绍的实施例中， 通信双方分别称为近端和远端， 近端用户在看 到的远端图像中选择自己感兴趣的区域或目标； 远端的编码设备中对用户感 兴趣的区域或者图像中的目标进行增强，然后把增强后的视频码流发给近端， 近端收到视频码流后经过解码并经显示输出后就能呈现出用户需要的远端图 像， 该远端图像中包含局部增强的目标或者目标。
在一些实施例中， 近端能够让用户在图像中自由选择感兴趣区域或者感 兴趣目标的设备可以是一个能显示远端图像并且能够对图像进行局部选择操 作的显示器， 并且近端包含能够对用户选择的区域或目标的参数进行判定、 计算和发送的功能模块， 远端应该包括至少一个图像釆集器以釆集远端的图 像， 远端还包括能够接受近端发送的用户感兴趣的图像区域或图像目标的参 数， 并对参数进行解析、 判定并把参数传递给编码设备的功能模块， 远端还 包含支持视频局部增强编码的编码设备。 对一些特定的实施例， 近端和远端 是相对的。 例如一个支持图像局部增强技术的会议电视系统， 假设系统的两 端分别为 A端和 B端， 如果设定 A端是近端， 则 B端就是远端， 同样如果 设定 B端是近端， 则 A端就是远端， 这样 A端和 B端能够同时拥有局部图 像选择设备和局部图像增强编码设备， 在此情况下 A端和 B端在开会时， A 端的用户看到 B端的图像， A端的用户就可以选择 B端图像中自己感兴趣的 区域或目标， 通知 B端进行局部增强编码， B端设备把编码出的局部增强的 视频码流发给 A端， 由 A端的解码设备解码后由 A端的显示设备来显示， 同样 B端用户看到 A端的图像， B端的用户可以在自己看到的 A端图像中 选择自己感兴趣的区域或目标要求 A端进行局部增强编码，进而看到 A端局 部增强后的图像。
在一些实施例中 ,通信的双方 A端和 B端并不一定同时都要求具备局部 图像选择设备和局部图像增强编码设备， 而是通信的双方中一端具有局部图 像选择设备和局部图像增强编码设备中的其中一个设备， 而另一端具有局部 图像选择设备和局部图像增强编码设备中的另一个设备即可， 这种通信系统 能够实现用户单方向的观看远端图像， 并根据自己的需要选择远端图像中自 己感兴趣的区域或目标让远端的图像编码设备编码出自己需用的图像码流。 这样的通信系统如流媒体播放系统， VOD视频点播系统以及视频监控系统等 均可使用本实施例的框架。
在一些实施例中， 在近端会有一个能够显示远端图像的显示器以便于用 户观看远端图像， 但是能够让用户在图像中自由选择感兴趣区域或者感兴趣 目标的设备可以不跟显示器在同一终端或同一设备上， 而是在近端的一个控 制设备上， 该控制设备可称为控制台， 在控制台的显示设备上有一个页面可 以实时显示远端图像， 用户通过鼠标或者手写等设备在控制台的页面上显示 的远端图像上选择自己感兴趣的区域或者目标， 然后把选择参数发往远端， 让远端进行局部增强编码， 最终用户就能在本端的显示器上看到局部增强后 的远端图像。
在一些实施例中， 能够让用户在图像中自由选择感兴趣区域或者感兴趣 目标的用户选择设备和图像局部增强编码设备可以集成在系统的同一个设备 或者同一端设备上， 也就是用户选择看到的图像就是本端的图像， 用户在选 择了图像中感兴趣的区域或者感兴趣的目标后， 系统就把选择参数发给本端 的局部图像增强编码设备 , 由本端的局部图像增强编码设备对本端摄像机所 釆集的图像进行局部图像增强编码。 该实施例可用于照相机设备， 摄像机设 备以及会议电视的本地自环系统等设备或系统中。
在一些实施例中 , 正向增强模式的局部图像增强编码是通过对用户选择 区域的图像或用户选择的目标进行高质量的编码实现的， 这种高质量的编码 可以是 I— PCM编码， I— PCM编码是 H.264标准支持的一种编码帧内模式， 在该模式下编码器直接输出像素值不经过预测和变换，由于 I— PCM编码模式 是无损编码， 而除此之外 H.264支持的其它编码模式都是有损的， 因此使用 I— PCM 编码模式可以使用户感兴趣区域或目标的图像质量和编码之前的原 始图像质量一样的效果。 由于 I— PCM编码方式会占用较多的带宽，在带宽受 限的情况下， 可以降低用户感兴趣区域或用户感兴趣目标之外的图像的编码 效果，把节省出来的带宽用于使用 I— PCM编码的区域，此外也可以通过降低 编码的帧频的方法来节省带宽以保证用户感兴趣区域的图像质量。 当然， 除 了 H.264视频压缩标准， H.265 以及其它的视频压缩标准包括自定义的编码 方法如果也支持无损压缩的话同样能用于该实施例中， 以编码出最高质量的 图像效果。
在一些实施例中， 正向增强模式的局部图像增强编码和反向增强模式的 局部图像增强编码所用的编码方法是通过改变分配给编码宏块的码字数目实 现的， 其中在使用正向增强模式时， 可以根据需要使用不同的编码策略， 例 如可以对感兴趣的区域的部分宏块釆用 I— PCM编码，部分宏块釆用减小量化 参数的方法进行编码， 或者对整个感兴趣区域的内容都釆用减小量化参数的 方法进行编码， 这些编码方法虽然达不到全部使用 I— PCM编码的图像效果， 但是还是能对感兴趣区域的画面质量做一定程度的增强。 另外可以根据带宽 的充裕度情况， 可以考虑对用户选择区域或者目标所包含的宏块的编码分配 给更多的码字， 而对用户感兴趣区域或目标之外的宏块的编码分配给更少的 码字。 反之， 在使用反向增强模式时， 可以对用户选择的区域或目标所包含 的宏块分配给较少的码字， 也可以在编码之前对用户选择区域的图像做模糊 化处理后再编码。
其实在一些实施例中， 对于使用正向增强和反向增强的编码， 除了通过 釆用不同的编码方式来实现外， 还可以釆取更多的手段来保证算法的实施， 例如在局部增强编码设备支持 H.264编码时， 由于 H.264支持多种灵活的分 片（slice)方式， 可以把用户选择的区域或目标作为一个单独的 slice进行增强 编码， 这样更利于编码过程的优化。
在此基础上， 我们假设用户选择的感兴趣区域是比较重要的区域， 该区 域作为一个独立的 slice 编码出来的图像码流在发送时可以作为一个单独的 NALU(network adaptation layer unit , 网络自适应层单元）来发送， 根据 H.264 标准的定义， 可以给不同的 NALU赋予不同的发送优先级 NRI, 优先级 NRI 的值从高到低依次是 3,2,1,0, 如果在发送用户选择区域对应的 NALU时， 把 该 NRI的值设定为一个特定的值， 而让系统认为这个特定的值所在的 NALU 具有超出一般 NALU的重要性，进而在传输过程中釆用一定的措施来保证这 种 NALU的传输可靠性，这样即便是在网络环境比较差的情况下也能保证用 户选择的感兴趣区域的图像能更可靠的到达接收端， 被用户看到。 当然保证 用户选定的 NALU具有更高重要性的手段并不仅限于设定 NRI的方法，但是 目的都是为了更好地保证用户的需求能够得到满足。 该实施例所述的编码方 法以及传输方法在后面的附图以及具体实施方式中还有更详细的说明。
在一些实施例中， 替代模式的局部增强编码是在编码端对编码前的原始 图像先进行指定区域或者目标的替代后再做编码， 而在另一些实施例中， 替 代模式的局部增强编码并不需要局部图像增强编码设备做特殊的操作， 而是 由近端在解码出远端图像后根据用户选择参数对解码出的图像做局部的替 代。 当然图像局部增强的编码实现方法绝不仅限于这几种方法， 设备上可以 根据实际情况开发满足用户需求的图像局部增强技术。
便于理解， 下面将结合实施例和附图对本发明做进一步的说明。
图 2(a), 2(b), 2(c), 2(d)分别表示用户使用不同的方法选择图像中感兴 趣区域的实施例示意图。 图 2(a)为使用手指在感应屏幕上选择感兴趣区域的 示意图， 图中外面的大方框为能够感应并记录手指移动的显示器， 大方框内 部的小方框表示用户用手指在屏幕上选择的区域范围 ；图 2(b)为使用触笔在 感应屏幕上选择图像感兴趣区域示意图， 图中外面的大方框为能够感应触笔 并记录触笔移动的显示器， 大方框内的小方框表示用户用触笔在屏幕上选择 的区域范围； 图 2(c) 为用鼠标选择图像感兴趣区域示意图， 图中的大方框表 示一个显示器， 该显示器不一定是专门用来显示远端图像的显示器， 可以是 控制设备的显示器， 显示器中有一个页面可以显示远端图像， 这样就可通过 鼠标在页面显示的远端图像上选择自己感兴趣区域， 用户选择的感兴趣区域 如图中的小方框所示。 图 2(d)为用户使用眼睛注视的方法选取图像中感兴趣 区域的示意图， 图中的小蓝色方框为用户在图像中选择的感兴趣区域。 用眼 睛注视法在图像中选取感兴趣区域的原理为： 根据用户眼睛角膜的几何中心 点位置和显示器几何中性点位置的关系，当用户眼睛注视的位置发生变化时， 眼睛角膜的几何中心点就会发生偏转， 系统根据用户眼睛角膜几何中心点偏 转的角度与显示器几何中心点的关系通过计算得到用户当前在显示器上注视 的位置， 如果用户注视的时间超过一定的时间限制就认为用户对该处的图像 感兴趣， 系统会提示用户是否需要对此处图像进行增强， 以及需要增强的范 围和增强模式等。 此处列举的四个实施例只是为了简要说明用户选取图像中 感兴趣区域的方法， 实际使用中根据显示器屏幕材质以及系统需求的不同可 由多种实现方法。
图 3是使用局部图像增强的双端系统的一个实施例框图， 图中 107(a)表 示该系统的一端， 称为近端， 107(b)表示该系统的另一端， 称为远端， 107(a) 和 107(b)中包括： 处理器 101、 显示器 102、 对外接口 103、 图像釆集器 104、 系统控制设备 108, 系统控制设备 108根据需要也可省略， 107(a)中也可以不 包括图像釆集器 104 , 107(b)中也可以不包括显示器 102, 其中：
远端的图像显示在显示器 102上， 用户 100在近端的显示器 102显示的 图像中选择自己感兴趣的区域或者目标 106;近端的处理器 101根据用户 100 所选的区域或者目标处理生成用户选择参数， 将用户选择参数通过近端的对 外接口 103向外发送， 经过网络 105的传送到达远端；
远端的对外接口 103收到网络 105送来的用户选择参数后送入远端的处 理器 101 , 远端的处理器 101对用户选择参数进行解析， 如果用户选择参数 合法， 则远端处理器 101 中的编码设备根据用户选择参数对图像釆集器 104 釆集来的图像进行局部增强编码， 并将增强处理后的图像发送给近端。
图中 100表示使用视频通信系统的用户， 可以是一个人或者多个人或者 一个群体， 101 是系统的终端设备本文称处理器， 整个系统的处理和一些控 制均在 101中完成， 包括控制和操作图像釆集器 104 , 从图像釆集器 104中 取釆集来的图像， 以及进行音视频的编解码处理等。
显示器 102可以是本身就跟处理器 101在同一个设备上， 也可以耦接在 处理器 101上，有些显示器 102支持支持直接在屏幕上选择图像， 如图 2(a), 2(b)所示的显示器， 有些显示器 102不支持直接在屏幕上的选择操作， 可以 借助控制设备 108来实现对图像的局部选择操作， 在控制设备 108上借助鼠 标选择感兴趣区域示意图如图 2(c)所示。
图像釆集器 104 , 设置成釆集本地用户及其周围的图像， 并把图像提供 给系统中需要此图像的硬件或软件， 例如可以把釆集到的图像发送给本地的 编码设备进行编码， 然后把编码后的视频流发给所述近端， 同样也可以把釆 集到的图像直接在本地的显示设备上显示， 当然也可以把釆集到的图像编码 后存储起来。 根据系统的需求图像釆集器 104在一端的个数可能并不固定， 可以有一个也可以有多个。系统中一端的显示器的个数也可以根据需求变化， 并不固定为 1个或几个。 图像釆集器 104可以是摄像机、 摄像头等等。
对于两个端使用图像局部增强技术的视频通信系统来说， 可以根据需要 对图 3所示的系统进行^ ί'爹改、 添加或删减。 例如， 如果系统中处理器本身就 可以支持图像局部选择和图像局部增强编码，那么就可以删减掉图 3 中的控 制设备 108。 作为另一个实施例， 可以在 107a中支持用户在图像中选择感兴 趣区域，而在 107b中支持图像局部增强编码， 107a端的用户就能观看到 107b 端的图像，并选择图像中自己感兴趣的区域或者目标然后让 107b端做局部增 强编码， 把 107a换成 107b并把 107b换成 107a也能完成同样的操作。 这样 的实施例可用于例如视频监控系统。 作为另一个实施例如果 107a端和 107b 端都支持用户选择图像中感兴趣区域或目标， 并且编码设备都支持图像局部 增强编码， 那么这两端可以各自完成对本端图像的局部增强， 即两端的用户 可以根据需要观看本端图像局部增强后的效果。
上述双端系统可用于包括视频会议系统在内的同种视频通信系统， 例如 ZTE中兴通讯的 T700/T800/T900视频会议系统。 。
图 4为一个使用图像局部增强的单端系统的框图， 该单端系统 205包括 处理器 200、 图像釆集器 201、 显示器 202、 其中：
处理器 200, 设置成处理本地图像， 包括： 接收到显示器 202发送的选 择参数后， 使用自带的图像局部增强编码设备对釆集到的图像做局部增强编 码； 以及， 完成整个系统的内部操作、 控制功能；
图像釆集器 201 , 设置成摄入本地图像， 将釆集到的图像发送给处理器； 图像釆集器 201可以是镜头、 摄像头等；
显示器 202, 设置成显示图像釆集器 201摄入的图像画面， 以及提供对 图像进行选择操作的功能， 用户 204可以在显示器 202上显示的图像中选择 自己感兴趣的区域或者目标 203 , 显示器 202获取用户所选择的区域或者目 标生成选择参数， 然后把选择参数发给处理器 200做处理。
上述实施例所示的单端系统可用于照相机、 摄像机等拍摄设备中。
图 5(a)和图 5(b)为用户选择固定跟踪模式进行图像局部增强的一个实施 例示意图， 在该实施例中， 用户选择对图像中固定位置的目标做局部增强， 其中图 5(a)表示用户选择定了图像中感兴趣位置的目标， 并且选择了增强模 式和增强级别， 而选择的跟踪模式为固定模式， 5(b)表示固定跟踪模式下的 图像效果， 可以看出图像中局部增强的位置正是用户选定的感兴趣的位置， 除非用户取消增强或者选择动态跟踪模式， 否则系统将一直在图像中的该位 置处做局部增强。
图 6(a：)、 6(b)和 6(c)为用户选择动态跟踪模式进行图像局部增强的一个实 施例示意图， 在该实施例中， 用户选择对图像中感兴趣区域中的目标做动态 局部增强， 其中图 6(a)表示用户选择定了图像中感兴趣位置的目标， 并且选 择了增强模式和增强级别， 而选择的跟踪模式为动态模式， 图 6(b)和 6(c)在 不同时间的图像中用户选定区域中的目标在不停的运动而增强的区域位置也 在随着目标的运动而运动， 保证用户选定的感兴趣目标总在局部增强的区域 之内， 6(d)为运动目标运动出图像显示的范围之内或者运动目标到达不宜增 强的位置或者用户取消图像局部增强的情况， 此时图像画面回到系统默认的 图像效果。
需要指出的是， 以上内容中提到的增强是以画面中的局部区域做增强为 例， 其增强模式并不限定。 在实际使用过程中可以根据实际情况可对选择增 强目标的数量， 大小等等做出限定。
同样在实际使用中也可以根据系统支持情况选择图像中的个别目标做图 像效果增强， 如图 7(a)和图 7(b)所示。
图 7(a)表示图像中有多个目标， 用户选定了其中一个目标 (图中的人像)， 图 7(b)表示对用户选择的目标做图像增强， 当然如果用户选定的目标是运动 的， 就可以选择动态跟踪模式对选择的目标做跟踪增强。
图 8(a)和图 8(b)表示使用不同格式的片组来进行图像局部增强编码的示 意图。 图 8(a)中被分割开的区域表示该画面中的一个个片（slice), 在图 8(a) 中共有 N个 slice分别被编号为 0,1, ... ,N-1 , 在图 8(b)中一个个被方框框起来 的区域也表示一个个的 slice, 在图 8(b)中共有 M个 slice, 分别被编号为 0,1 ... ,M-1。 图中的虚线方框表示用户选定的感兴趣区域， 在一些实施例中， 对用户选定使用正向增强模式的感兴趣区域所包含的宏块通过使用 I— PCM 编码模式进行编码，这样可以使用户选定的感兴趣区域达到最好的图像效果， 以 H.264标准支持的预测编码模式为例，相对于其它的预测编码模式， I— PCM 编码模式最大好处是能够实现完全无损的编码， 而其它任何预测编码都是有 损的。 编码， 这是因为根据 H.264标准的内容可知， 给宏块分配的码字数目对图像 的质量有着重要影响， 其中给宏块分配的码字越少图像质量就越粗糙， 反之 给宏块分配的码字越多图像的质量越精细。 因此通过控制编码时给宏块分配 的码字多少可以一定程度上改变视频的质量， 在实际实施时， 对于正向增强 也可以选择减小量化参数进行编码或者减小量化参数和 I— PCM编码相结合 的方式来实现视频质量的增强； 对反向增强可以通过在编码前模糊化待编码 区域或者对待编码区域进行编码时釆用更大的量化参数来实现。
根据 H.264标准， 一帧图像至少由一个片（slice)组成， 而一个 slice又包 括多个宏块， 一个宏块在编码时又可以分成多个子块各自编码。 把一个帧间 预测宏块分成多个子块， 对各个子块分别编码的好处在于， 各个子块可以有 自己独立的运动矢量和预测方式， 这样不但能够使图像预测的更加准确， 而 且能降低码率。
图 8(a)表示用光栅扫描格式的片组进行图像编码的实施例示意图， 即各 个 slice的序号是从上到下依次递增的，编码或解码时也是按照光栅扫描的顺 序从左到右， 从上到下挨个宏块的依次进行编码或解码。 在此情况下用户选 择的感兴趣区域就有可能被分割到多个 slice 中， 也可能被包含在一个 slice 里， 这样只要让编码器在编码到用户感兴趣区域的宏块时根据用户需求进行 特殊的编码就能达到增强编码的目的， 编码完成后用户感兴趣区域的码流就 根据 slice分割的情况包含在多个 slice里发送出去或者被包含在一个普通的 slice里被发送出去。
根据 H.264标准，一帧内的各个 slice之间在编码和解码时是相互独立的， 即相互不参考对方的内容进行编码和解码， 而 H.264标准同样支持灵活次序 (FMO)片组格式进行编码， 即宏块不是按照光栅扫描次序包含在片组里， 而 是以某种方式来映射到片组， FMO片组共有 6种映射类型： 交错映射、散乱 映射、 前景及背景映射、 Box— out 映射、 手絹映射和显式映射， 这六种映射 方式的具体描述可以参考 H.264相关协议标准。
图 8(b)显示的就是一个使用前景和背景映射的片组格式进行局部增强编 码的实施例示意图， 釆用这种片组格式就能把图像中用户选择的感兴趣区域 作为一个独立的 Slice进行编码， 在编码过程中做用户指定的图像质量增强， 而一帧中其它的 slice使用系统默认参数的编码， 不需要进行图像质量增强。 这样做的一个好处就是能把用户选择区域编码出来的 slice封装成一个 NALU 发送， 然后给此 NALU指定更高的传输优先级， 进而让系统釆用一定的方法 保证该 NALU在传输过程中有更高的可靠性， 即不易被丟失和发生误码。
本发明实施例还提供一种图像局部增强装置， 如图 9所示， 包括： 检测模块， 设置成获取用户选定的区域或目标；
参数生成模块， 设置成根据所述选定的区域或目标生成选择参数； 传输模块， 设置成将所述选择参数发送给对端。
其中， 所述参数生成模块， 还设置成获取所述用户选定的增强模式， 或 者， 增强模式和增强级别， 将所述增强模式， 或者， 增强模式和增强级别添 加到所述选择参数中。
其中， 所述选择参数中还包括： 跟踪模式， 所述跟踪模式为如下之一： 固定模式， 指示在取消增强之前每一帧均在所述选定的区域进行增强； 动态模式， 指示在取消增强之前每一帧跟踪所述选定的目标， 且当所述 目标在增强范围内时对所述目标进行增强。
其中， 所述参数生成模块生成所述选择参数前， 还判断所述对端是否支 持局部增强编码， 以及， 所述选定的区域或目标是否满足预设条件， 在所述 对端支持局部增强编码以及所述选定的区域或目标满足所述预设条件时， 才 生成所述选择参数。
本发明实施例还提供一种图像局部增强装置， 如图 10所示， 包括： 选择参数； 增强模块,设置成根据所述选择参数对所述选定的区域或目标进行增强； 发送模块， 设置成将对所述选定的区域或目标进行增强后的图像发送给 所述对端。
其中， 所述增强模块对所述选定的区域或目标进行增强的步骤包括： 根据所述选择参数中的增强模式， 或者， 增强模式和增强级别对所述选 定的区域或目标进行增强。
其中， 所述增强模块对所述选定的区域或目标进行增强的步骤包括： 当所述选择参数中指示提高所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合：
使用 I— PCM编码模式对所述选定的区域或目标的图像进行编码； 通过减小编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过增加编码宏块的码字对所述选定的区域或目标的图像进行编码； 当所述选择参数中指示降低所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合：
通过增大编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过减少编码宏块的码字对所述选定的区域或目标的图像进行编码； 对所述选定的区域或目标的图像进行模糊化处理后再编码。
其中， 所述增强模块， 还设置成将所述选定区域或目标作为一个独立的 片进行编码； 所述发送模块， 还设置成将所述独立的片作为一个单独的网络自适应层 单元， 为所述网络自适应层单元设置特定传输优先级。
其中， 所述增强模块根据所述选择参数对所述选定的区域或目标进行增 强前， 还判断所述选择参数是否符合预设条件， 如果符合， 才根据所述选择 参数对所述选定的区域或目标进行增强。
本发明实施例还提供一种图像局部增强装置，如图 11所示， 包括检测模 块、 参数生成模块和增强模块， 其中：
所述检测模块， 设置成获取用户选定的区域或目标；
所述参数生成模块， 设置成根据所述选定的区域或目标生成选择参数， 将所述选择参数发送给所述增强模块；
所述增强模块， 设置成根据所述选择参数对所述选定的区域或目标进行 增强， 生成对所述选定的区域或目标进行增强后的图像。
其中， 所述参数生成模块， 还设置成获取所述用户选定的增强模式， 或 者， 增强模式和增强级别， 将所述增强模式， 或者， 增强模式和增强级别添 加到所述选择参数中；
所述增强模块对所述选定的区域或目标进行增强的步骤包括： 根据所述选择参数中的增强模式， 或者， 增强模式和增强级别对所述选 定的区域或目标进行增强。
其中， 所述选择参数中还包括： 跟踪模式， 所述跟踪模式为如下之一： 固定模式， 指示在取消增强之前每一帧均在所述选定的区域进行增强； 动态模式， 指示在取消增强之前每一帧跟踪所述选定的目标， 且当所述 目标在增强范围内时对所述目标进行增强。
其中， 所述增强模块对所述选定的区域或目标进行增强的步骤包括： 当所述选择参数中指示提高所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合：
使用 I— PCM编码模式对所述选定的区域或目标的图像进行编码； 通过减小编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过增加编码宏块的码字对所述选定的区域或目标的图像进行编码； 当所述选择参数中指示降低所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合：
通过增大编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过减少编码宏块的码字对所述选定的区域或目标的图像进行编码； 对所述选定的区域或目标的图像进行模糊化处理后再编码。
本发明实施例还提供一种图像局部增强系统，包括图 9和图 10所示的装 置。
需要说明的是， 上述方法实施例中描述的多个细节同样适用于装置实施 例 , 因此省略了对相同或相似部分的重复描述。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序 来指令相关硬件完成， 所述程序可以存储于计算机可读存储介质中， 如只读 存储器、 磁盘或光盘等。 可选地， 上述实施例的全部或部分步骤也可以使用 一个或多个集成电路来实现。 相应地， 上述实施例中的各模块 /单元可以釆用 硬件的形式实现， 也可以釆用软件功能模块的形式实现。 本发明不限制于任 何特定形式的硬件和软件的结合。
工业实用性 本发明实施例提供的图像局部增强方法和装置， 让用户可以充分根据自 己的喜好选择自己感兴趣的区域或者目标的画面质量， 另外， 可以实现无损 增强， 另外， 还可降低用户选定区域或目标的画面质量。 当然， 实施本发明 实施例的任一产品必不一定需要同时达到以上所述的所有优点。

Claims

权 利 要 求 书
1、 一种图像局部增强方法， 包括：
获取用户选定的区域或目标；
根据所述选定的区域或目标生成选择参数；
将所述选择参数发送给对端；
或者， 根据所述选择参数对所述选定的区域或目标进行增强， 生成对所 述选定的区域或目标进行增强后的图像。
2、 如权利要求 1所述的方法， 还包括：
获取所述用户选定的增强模式， 或者， 增强模式和增强级别； 所述选择参数中还包括： 增强模式， 或者， 增强模式和增强级别。
3、 如权利要求 2所述的方法， 其中， 所述增强模式为如下之一： 正向增强模式， 指示提高所述选定的区域或目标的图像质量； 反向增强模式， 指示降低所述选定的区域或目标的图像质量； 替代模式， 指示使用其他图像替代所述选定的区域或目标；
不增强模式， 指示所述选定的区域或目标的图像质量为系统默认。
4、 如权利要求 1、 2或 3所述的方法， 其中， 所述选择参数中还包括： 跟踪模式， 所述跟踪模式为如下之一：
固定模式， 指示在取消增强之前每一帧均在所述选定的区域进行增强； 动态模式， 指示在取消增强之前每一帧跟踪所述选定的目标， 且当所述 目标在增强范围内时对所述目标进行增强。
5、 如权利要求 1、 2或 3所述的方法， 其中，
生成所述选择参数前， 还判断所述对端是否支持局部增强编码， 以及， 所述选定的区域或目标是否满足预设条件， 在所述对端支持局部增强编码以 及所述选定的区域或目标满足所述预设条件时， 才生成所述选择参数。
6、 如权利要求 1、 2或 3所述的方法， 其中， 对所述选定的区域或目标 进行增强的步骤包括：
27 1813040 当所述选择参数中指示提高所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合：
使用 I— PCM编码模式对所述选定的区域或目标的图像进行编码； 通过减小编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过增加编码宏块的码字对所述选定的区域或目标的图像进行编码； 当所述选择参数中指示降低所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合：
通过增大编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过减少编码宏块的码字对所述选定的区域或目标的图像进行编码； 对所述选定的区域或目标的图像进行模糊化处理后再编码。
7、 一种图像局部增强方法， 包括：
根据所述选择参数对所述选定的区域或目标进行增强；
将对所述选定的区域或目标进行增强后的图像发送给所述对端。
8、如权利要求 7所述的方法， 其中， 所述对所述选定的区域或目标进行 增强的步骤包括：
根据所述选择参数中的增强模式， 或者， 增强模式和增强级别对所述选 定的区域或目标进行增强。
9、如权利要求 7所述的方法， 其中， 所述对所述选定的区域或目标进行 增强的步骤包括：
当所述选择参数中指示提高所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合：
使用 I— PCM编码模式对所述选定的区域或目标的图像进行编码； 通过减小编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
28 1813040 通过增加编码宏块的码字对所述选定的区域或目标的图像进行编码； 当所述选择参数中指示降低所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合：
通过增大编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过减少编码宏块的码字对所述选定的区域或目标的图像进行编码； 对所述选定的区域或目标的图像进行模糊化处理后再编码。
10、 如权利要求 7至 9任一所述的方法， 其中， 所述根据所述选择参数 对所述选定的区域或目标进行增强的步骤包括：
将所述选定区域或目标作为一个独立的片进行编码；
将对所述选定的区域或目标进行增强后的图像发送给所述对端前， 还将 所述独立的片作为一个单独的网络自适应层单元， 为所述网络自适应层单元 设置特定传输优先级。
11、 如权利要求 7至 9任一所述的方法， 其中， 根据所述选择参数对所 述选定的区域或目标进行增强前， 还判断所述选择参数是否符合预设条件， 如果符合， 才根据所述选择参数对所述选定的区域或目标进行增强。
12、一种图像局部增强装置， 包括检测模块、 参数生成模块和传输模块， 所述检测模块， 设置为获取用户选定的区域或目标；
所述参数生成模块， 设置为根据所述选定的区域或目标生成选择参数； 所述传输模块， 设置为将所述选择参数发送给对端。
13、 如权利要求 12所述的装置， 其中， 所述参数生成模块， 还设置为获 取所述用户选定的增强模式， 或者， 增强模式和增强级别， 将所述增强模式， 或者， 增强模式和增强级别添加到所述选择参数中。
14、 如权利要求 13所述的装置， 其中， 所述增强模式为如下之一： 正向增强模式， 指示提高所述选定的区域或目标的图像质量；
反向增强模式， 指示降低所述选定的区域或目标的图像质量；
替代模式， 指示使用其他图像替代所述选定的区域或目标；
29 1813040 不增强模式， 指示所述选定的区域或目标的图像质量为系统默认。
15、 如权利要求 12、 13或 14所述的装置， 其中， 所述选择参数中还包 括： 跟踪模式， 所述跟踪模式为如下之一：
固定模式， 指示在取消增强之前每一帧均在所述选定的区域进行增强； 动态模式， 指示在取消增强之前每一帧跟踪所述选定的目标， 且当所述 目标在增强范围内时对所述目标进行增强。
16、 如权利要求 12、 13或 14所述的装置， 其中， 所述参数生成模块生 成所述选择参数前， 还判断所述对端是否支持局部增强编码， 以及， 所述选 定的区域或目标是否满足预设条件， 在所述对端支持局部增强编码以及所述 选定的区域或目标满足所述预设条件时， 才生成所述选择参数。
17、 一种图像局部增强装置， 包括接收模块、 增强模块和发送模块： 所述接收模块， 设置为接收对端发送的根据用户所选定的区域或目标生 成的选择参数；
所述增强模块， 设置为根据所述选择参数对所述选定的区域或目标进行 增强；
所述发送模块， 设置为将对所述选定的区域或目标进行增强后的图像发 送给所述对端。
18、如权利要求 17所述的装置， 其中， 所述增强模块对所述选定的区域 或目标进行增强的步骤包括：
根据所述选择参数中的增强模式， 或者， 增强模式和增强级别对所述选 定的区域或目标进行增强。
19、如权利要求 17所述的装置， 其中， 所述增强模块对所述选定的区域 或目标进行增强的步骤包括：
当所述选择参数中指示提高所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合：
使用 I— PCM编码模式对所述选定的区域或目标的图像进行编码； 通过减小编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
30 1813040 通过增加编码宏块的码字对所述选定的区域或目标的图像进行编码； 当所述选择参数中指示降低所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合：
通过增大编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过减少编码宏块的码字对所述选定的区域或目标的图像进行编码； 对 所述选定的区域或目标的图像进行模糊化处理后再编码。
20、 如权利要求 17至 19任一所述的装置， 其中，
所述增强模块， 还设置为将所述选定区域或目标作为一个独立的片进行 编码；
所述发送模块， 还设置为将所述独立的片作为一个单独的网络自适应层 单元， 为所述网络自适应层单元设置特定传输优先级。
21、 如权利要求 17至 19任一所述的装置， 其中，
所述增强模块根据所述选择参数对所述选定的区域或目标进行增强前， 还判断所述选择参数是否符合预设条件， 如果符合， 才根据所述选择参数对 所述选定的区域或目标进行增强。
22、一种图像局部增强装置， 包括检测模块、 参数生成模块和增强模块， 其中：
所述检测模块， 设置为获取用户选定的区域或目标；
所述参数生成模块， 设置为根据所述选定的区域或目标生成选择参数， 将所述选择参数发送给所述增强模块；
所述增强模块， 设置为根据所述选择参数对所述选定的区域或目标进行 增强， 生成对所述选定的区域或目标进行增强后的图像。
23、 如权利要求 22所述的装置， 其中，
所述参数生成模块， 还设置为获取所述用户选定的增强模式， 或者， 增 强模式和增强级别， 将所述增强模式， 或者， 增强模式和增强级别添加到所 述选择参数中；
31 1813040 所述增强模块对所述选定的区域或目标进行增强包括：
根据所述选择参数中的增强模式， 或者， 增强模式和增强级别对所述选 定的区域或目标进行增强。
24、 如权利要求 23所述的装置， 其中， 所述增强模式为如下之一： 正向增强模式， 指示提高所述选定的区域或目标的图像质量； 反向增强模式， 指示降低所述选定的区域或目标的图像质量； 替代模式， 指示使用其他图像替代所述选定的区域或目标；
不增强模式， 指示所述选定的区域或目标的图像质量为系统默认。
25、 如权利要求 22、 23或 24所述的装置， 其中， 所述选择参数中还包 括： 跟踪模式， 所述跟踪模式为如下之一：
固定模式， 指示在取消增强之前每一帧均在所述选定的区域进行增强； 动态模式， 指示在取消增强之前每一帧跟踪所述选定的目标， 且当所述 目标在增强范围内时对所述目标进行增强。
26、 如权利要求 22、 23或 24所述的装置， 其中， 所述增强模块对所述 选定的区域或目标进行增强的步骤包括：
当所述选择参数中指示提高所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合：
使用 I— PCM编码模式对所述选定的区域或目标的图像进行编码； 通过减小编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过增加编码宏块的码字对所述选定的区域或目标的图像进行编码； 当所述选择参数中指示降低所述选定的区域或目标的图像质量时， 釆取 如下方式之一或其组合：
通过增大编码宏块的量化参数对所述选定的区域或目标的图像进行编 码；
通过减少编码宏块的码字对所述选定的区域或目标的图像进行编码； 对所述选定的区域或目标的图像进行模糊化处理后再编码。
32 1813040
PCT/CN2013/080208 2012-09-25 2013-07-26 一种图像局部增强方法和装置 WO2013185699A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/430,755 US11330262B2 (en) 2012-09-25 2013-07-26 Local image enhancing method and apparatus
EP13804253.6A EP2902906A4 (en) 2012-09-25 2013-07-26 METHOD AND DEVICE FOR LOCALLY IMPROVING AN IMAGE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210361220.8A CN103310411B (zh) 2012-09-25 2012-09-25 一种图像局部增强方法和装置
CN201210361220.8 2012-09-25

Publications (1)

Publication Number Publication Date
WO2013185699A1 true WO2013185699A1 (zh) 2013-12-19

Family

ID=49135589

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/080208 WO2013185699A1 (zh) 2012-09-25 2013-07-26 一种图像局部增强方法和装置

Country Status (4)

Country Link
US (1) US11330262B2 (zh)
EP (1) EP2902906A4 (zh)
CN (1) CN103310411B (zh)
WO (1) WO2013185699A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10089787B2 (en) * 2013-12-26 2018-10-02 Flir Systems Ab Systems and methods for displaying infrared images
US9640219B1 (en) * 2014-03-31 2017-05-02 Google Inc. Systems and methods for modifying a segment of an uploaded media file
US10715833B2 (en) * 2014-05-28 2020-07-14 Apple Inc. Adaptive syntax grouping and compression in video data using a default value and an exception value
US10339544B2 (en) * 2014-07-02 2019-07-02 WaitTime, LLC Techniques for automatic real-time calculation of user wait times
US9858470B2 (en) 2014-07-18 2018-01-02 Htc Corporation Method for performing a face tracking function and an electric device having the same
TWI545508B (zh) * 2014-07-18 2016-08-11 宏達國際電子股份有限公司 用於執行臉部追蹤功能的方法及其電子裝置
CN105592285B (zh) * 2014-10-21 2020-04-21 华为技术有限公司 Roi视频实现方法及装置
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
GB2539027B (en) * 2015-06-04 2019-04-17 Thales Holdings Uk Plc Video compression with increased fidelity near horizon
JP6553418B2 (ja) * 2015-06-12 2019-07-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示制御方法、表示制御装置及び制御プログラム
CN113115043A (zh) * 2015-08-07 2021-07-13 辉达公司 视频编码器、视频编码系统和视频编码方法
CN106060544B (zh) * 2016-06-29 2020-04-28 华为技术有限公司 一种图像编码方法、相关设备及系统
JP6598741B2 (ja) * 2016-07-21 2019-10-30 三菱電機ビルテクノサービス株式会社 画像処理装置及びプログラム
CN106303366B (zh) * 2016-08-18 2020-06-19 中译语通科技股份有限公司 一种基于区域分类编码的视频编码的方法及装置
CN106326853B (zh) * 2016-08-19 2020-05-15 厦门美图之家科技有限公司 一种人脸跟踪方法及装置
CN108200515B (zh) * 2017-12-29 2021-01-22 苏州科达科技股份有限公司 多波束会议拾音系统及方法
US11613207B2 (en) * 2018-01-05 2023-03-28 Volvo Truck Corporation Camera monitoring system with a display displaying an undistorted portion of a wide angle image adjoining at least one distorted portion of the wide angle image
CN108932702B (zh) * 2018-06-13 2020-10-09 北京微播视界科技有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN109089040B (zh) * 2018-08-20 2021-05-14 Oppo广东移动通信有限公司 图像处理方法、图像处理装置及终端设备
CN109242802B (zh) * 2018-09-28 2021-06-15 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读介质
US10915776B2 (en) * 2018-10-05 2021-02-09 Facebook, Inc. Modifying capture of video data by an image capture device based on identifying an object of interest within capturted video data to the image capture device
FR3087565B1 (fr) * 2018-10-18 2021-10-08 Thales Sa Analyse rapide d'images
CN109640151A (zh) * 2018-11-27 2019-04-16 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备以及存储介质
CN109379625B (zh) * 2018-11-27 2020-05-19 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备和计算机可读介质
CN109729405B (zh) * 2018-11-27 2021-11-16 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及存储介质
CN112118446B (zh) * 2019-06-20 2022-04-26 杭州海康威视数字技术股份有限公司 图像压缩方法及装置
CN113963387B (zh) * 2021-10-12 2024-04-19 华南农业大学 基于最优编码位的手指多模态特征提取与融合方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1534548A (zh) * 2003-03-28 2004-10-06 ���µ�����ҵ��ʽ���� 处理图像的装置和方法
US20040202378A1 (en) * 2003-03-31 2004-10-14 Hawley Rising Method and apparatus for enhancing images based on stored preferences
CN101171841A (zh) * 2005-03-09 2008-04-30 高通股份有限公司 用于视频电话的关注区提取
CN102025965A (zh) * 2010-12-07 2011-04-20 华为终端有限公司 视频通话方法及可视电话

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020059458A1 (en) 2000-11-10 2002-05-16 Deshpande Sachin G. Methods and systems for scalable streaming of images with server-side control
US7039113B2 (en) * 2001-10-16 2006-05-02 Koninklijke Philips Electronics N.V. Selective decoding of enhanced video stream
KR100590529B1 (ko) * 2003-11-04 2006-06-15 삼성전자주식회사 영상의 국부적 휘도 향상 방법 및 장치와 컴퓨터프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체
CN1943243B (zh) * 2004-02-23 2013-06-05 日本电气株式会社 二维信号编码/解码方法和设备
US7714878B2 (en) * 2004-08-09 2010-05-11 Nice Systems, Ltd. Apparatus and method for multimedia content based manipulation
US20060062478A1 (en) * 2004-08-16 2006-03-23 Grandeye, Ltd., Region-sensitive compression of digital video
US8473869B2 (en) * 2004-11-16 2013-06-25 Koninklijke Philips Electronics N.V. Touchless manipulation of images for regional enhancement
US8019175B2 (en) * 2005-03-09 2011-09-13 Qualcomm Incorporated Region-of-interest processing for video telephony
CN102271249B (zh) 2005-09-26 2014-04-09 韩国电子通信研究院 用于可伸缩视频的感兴趣区域信息设置方法和解析方法
US7956929B2 (en) * 2005-10-31 2011-06-07 Broadcom Corporation Video background subtractor system
US20080092172A1 (en) 2006-09-29 2008-04-17 Guo Katherine H Method and apparatus for a zooming feature for mobile video service
US7987140B2 (en) 2008-02-26 2011-07-26 International Business Machines Corporation Digital rights management of captured content based on criteria regulating a combination of elements
US9412414B2 (en) * 2011-02-16 2016-08-09 Apple Inc. Spatial conform operation for a media-editing application

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1534548A (zh) * 2003-03-28 2004-10-06 ���µ�����ҵ��ʽ���� 处理图像的装置和方法
US20040202378A1 (en) * 2003-03-31 2004-10-14 Hawley Rising Method and apparatus for enhancing images based on stored preferences
CN101171841A (zh) * 2005-03-09 2008-04-30 高通股份有限公司 用于视频电话的关注区提取
CN102025965A (zh) * 2010-12-07 2011-04-20 华为终端有限公司 视频通话方法及可视电话

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2902906A4 *

Also Published As

Publication number Publication date
CN103310411B (zh) 2017-04-12
EP2902906A4 (en) 2015-12-30
CN103310411A (zh) 2013-09-18
US20160165233A1 (en) 2016-06-09
EP2902906A1 (en) 2015-08-05
US11330262B2 (en) 2022-05-10

Similar Documents

Publication Publication Date Title
WO2013185699A1 (zh) 一种图像局部增强方法和装置
US11051015B2 (en) Low bitrate encoding of panoramic video to support live streaming over a wireless peer-to-peer connection
JP6022618B2 (ja) ビデオテレフォニーに関する関心領域抽出
US20170302719A1 (en) Methods and systems for auto-zoom based adaptive video streaming
JP7389602B2 (ja) 画像表示システム、画像処理装置、および動画配信方法
JP2012100282A (ja) ビデオテレフォニーに関する関心領域処理
JP7260561B2 (ja) マルチラインイントラ予測のためのイントラ補間フィルタを選択する方法、装置、及びコンピュータプログラム
JP7164734B2 (ja) ビデオビットストリームの中のオフセットによる参照ピクチャ再サンプリングの方法
WO2021065628A1 (ja) 画像処理装置、画像データ転送装置、画像処理方法、および画像データ転送方法
JP7164731B2 (ja) エンコーディングされたビデオビットストリームをデコーディングする方法、装置、およびコンピュータプログラム
CN112153391B (zh) 视频编码的方法、装置、电子设备及存储介质
WO2021065630A1 (ja) 画像データ転送装置および画像データ転送方法
KR20230048107A (ko) 오디오 믹싱을 위한 방법 및 장치
US11120615B2 (en) Dynamic rendering of low frequency objects in a virtual reality system
JP2023171607A (ja) 参照ピクチャー再サンプリングがある場合のラップアラウンド動き補償に関する方法、装置、コンピュータ・プログラム
JP6006680B2 (ja) 映像配信装置及び映像配信プログラム
JP2010004261A (ja) 画像処理装置、及び画像処理方法
WO2021065633A1 (ja) 画像データ転送装置および画像圧縮方法
JP7362903B2 (ja) 画像データ転送装置、画像表示システム、および画像データ転送方法
Huang et al. Virtual Reality Telepresence: 360-Degree Video Streaming with Edge-Compute Assisted Static Foveated Compression
Oztas et al. A rate adaptation approach for streaming multiview plus depth content
JP2024516634A (ja) クラウドソーシングを使用したホログラフィックまたはライトフィールド・ビューの生成のための方法、装置および媒体
WO2021065631A1 (ja) 画像データ転送装置および画像圧縮方法
WO2021065632A1 (ja) 画像データ転送装置、画像表示システム、および画像圧縮方法
WO2021065627A1 (ja) 画像処理装置、画像表示システム、画像データ転送装置、および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13804253

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013804253

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14430755

Country of ref document: US