WO2014036741A1 - 图像处理方法和图像处理设备 - Google Patents
图像处理方法和图像处理设备 Download PDFInfo
- Publication number
- WO2014036741A1 WO2014036741A1 PCT/CN2012/081207 CN2012081207W WO2014036741A1 WO 2014036741 A1 WO2014036741 A1 WO 2014036741A1 CN 2012081207 W CN2012081207 W CN 2012081207W WO 2014036741 A1 WO2014036741 A1 WO 2014036741A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- width
- image
- screens
- target
- source
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 54
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 claims description 60
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 241000368289 Lepidosaphes ulmi Species 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 31
- 230000000007 visual effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000004140 cleaning Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Definitions
- Embodiments of the present invention relate to the field of video conferencing, and more particularly, to an image processing method and an image processing apparatus. Background technique
- IP Internet Protocol
- ITU-T International Telecommunication Union-Telecommunication Standardization Sector
- a new technology telepresence has emerged in the video conferencing market.
- the remote participants are far from the other end of the network, but their images are displayed in a life-size format on the display device of the conference room, and the user does not feel any awkward or strange.
- Life-size video images combined with ultra-high-definition imagery, a spatially sounded audio system and the environment create a feeling of being in a conference room with remote participants.
- a complete telepresence system consists of a suitable conference room, power and high-bandwidth network channels, separate wall surfaces, tables, chairs, lights, video display devices, control devices, and audio devices.
- the telepresence system has its unique advantages. In addition to saving travel expenses, it also greatly improves the conference quality. Telepresence overcomes the flat and unrealistic effects of traditional video conferences, making the conference more natural. , improve the efficiency of the meeting.
- each camera of the local site corresponds to a different user area, and each camera simultaneously picks up an image of the corresponding user area and sends it to the conference terminal of the remote site, which is used by the conference terminal of the remote site.
- the physical or digital image stitching technology combines the images picked up by the cameras of the local site and outputs them to the adjacent display devices of the remote site.
- the conference terminals of the local site also use physical or digital image stitching technology.
- Remote The images picked up by the camera of the venue are spliced together and output to the adjacent display device of the local venue.
- the local site and the remote site generally select a fixed display device model, and at least the display device has the same border.
- the error-free stitching of an image requires that the blind spot width between two adjacent images be equal to the minimum edge gap between the imageable regions of two adjacent display devices.
- the minimum edge gap may also be referred to as a slit width between display devices. If the imageable area of the display device occupies the entire screen of the display device, the slit width between the display devices is substantially equal to the border of two adjacent display devices. The sum of the widths.
- Such error-free splicing allows the user to not create a misplaced image, which better satisfies the realism requirements of telepresence technology.
- the blind spot is a conference scene area that is not covered between adjacent images. If the adjacent image is an image captured by an adjacent camera, the blind area is specifically a conference scene area that is not covered by the shooting area of the adjacent camera.
- the displayable area is the largest display area that the display device's hardware can support, which is generally rectangular.
- the blind zone width between adjacent images is required to be equal to the seam width between adjacent display devices used by the target end for displaying the adjacent image.
- the screen size and the frame size of the display device will change. If the slot width of the display device at the target end is inconsistent with the blind spot width of the adjacent image, the target image stitching may be misaligned. user experience. Summary of the invention
- Embodiments of the present invention provide an image processing method and an image processing device, which can improve the realism of remote presentation.
- an image processing method comprising: determining a first width and a second width, wherein the second width is a slit width between display devices of a target image of N screens, the first width For the blind spot width between the source images corresponding to the N screens, N is an integer greater than 1, the N screens being equal in size and equally spaced side by side; when the first width and the second width are different And adjusting the source image according to the determined first width and the second width to obtain the target image, so that the stitching of the target images of the N screens is not misaligned.
- the adjusting the source image to obtain the target image, so that the splicing of the target image of the N screens is not misaligned including: The source image corresponding to one or more screens in the screen is cropped and filled to obtain a corresponding target image, such that the stitching of the target images of the N screens is not misaligned; or for the N The source image corresponding to one or more screens in the screen is reduced and filled to obtain a corresponding target image, such that the stitching of the target images of the N screens is not misaligned; or corresponding to one or more screens of the N screens The source image is enlarged and cropped to obtain a corresponding target image such that the stitching of the target images of the N screens is free of misalignment.
- the source image corresponding to one or more screens of the N screens is cropped and filled to obtain a corresponding target image
- the splicing of the target image of the N screens is performed without any misalignment, including: calculating a portion of the source image that needs to be cropped, determining that the portion that needs to be cropped is in a corresponding pixel region in the color array of the source image, and discarding Pixel data in the pixel region, calculating a portion to be filled, determining a pixel region position corresponding to a portion of the source image to be filled, and adding a preset color to a pixel region corresponding to the pixel region position Pixel data, thereby obtaining a target image corresponding to the source image, such that the stitching of the target images of the N screens is free of misalignment.
- the source image corresponding to one or more screens of the N screens is reduced and filled to obtain a corresponding target image
- the splicing of the target image of the N screens without misalignment includes: calculating a scaling factor according to the first width and the second width, and when the first width is greater than the second width, according to the scaling factor All the pixels in the color array of the source image are subjected to compression processing, and the portion to be filled is calculated, and the position of the pixel region corresponding to the portion of the color image of the source image is determined, and the pixel region corresponding to the position of the pixel region is determined.
- the pixel data of the preset color is added to obtain the target image corresponding to the source image, so that the stitching of the target image of the N screens is not misaligned.
- the source image corresponding to one or more screens of the N screens is enlarged and cropped to obtain a corresponding target image,
- the splicing of the target images of the N screens is not misaligned, including:
- the image is such that the stitching of the target images of the N screens is free of misalignment.
- the source image corresponding to one or more screens of the N screens is cropped and filled to obtain a corresponding target image
- the splicing of the target images of the N screens without dislocations includes: using a source image corresponding to the first screen of the N screens as a target image of the first screen, or cropping and filling the first screen correspondingly a source image as a target image of the first screen; and cropping and filling a source image corresponding to an adjacent screen of the first screen as a target image of the adjacent screen, such that a target image of the N screens
- the stitching has no misalignment.
- f
- /2 or f
- the source image corresponding to one or more screens of the N screens is reduced and filled to obtain a corresponding target image
- the source image corresponding to one or more screens of the N screens is scaled and cropped to obtain a corresponding target image
- the preset color is a border color of a display device of the target image.
- the method further includes: pre-processing the original image corresponding to the N screens to obtain the N that is the same size as the target image A source image corresponding to the screen, wherein the size of the original image is the same as or different from the target image.
- the original image corresponding to the N screens is preprocessed to obtain the N screen corresponding to the same size as the target image.
- Source image comprising: if the size of the original image is the same as the target image, using the original image as the source image; if the size of the original image is different from the target image,
- the original images corresponding to the N screens are respectively scaled, cropped, and/or filled to obtain corresponding source images.
- the N screens are scaled according to a scaling factor ml
- One side or both sides are cropped or filled with edges having a total width of
- an image processing apparatus including: a determining unit, configured to determine a first width and a second width, wherein the second width is a slit width between display devices of a target image of N screens,
- the first width is a blind zone width between the source images corresponding to the N screens, N is an integer greater than 1, and the N screens are equal in size and placed side by side;
- the adjusting unit is configured to be used as the first width Adjusting the source image according to the first width and the second width determined by the determining unit when a width and the second width are different, obtaining the target image, so that the stitching of the target image of the N screens is not misaligned .
- the adjusting unit is specifically configured to: cut and fill a source image corresponding to one or more screens of the N screens to obtain a corresponding target image, Having the splicing of the target images of the N screens without misalignment; or reducing and filling the source images corresponding to one or more of the N screens to obtain a corresponding target image, so that the targets of the N screens The splicing of the image is error-free; or the source image corresponding to one or more of the N screens is enlarged and cropped to obtain a corresponding target image, so that the splicing of the target images of the N screens is not misaligned.
- the adjusting unit is specifically configured to: calculate a part of the source image that needs to be cropped, and determine that the part that needs to be cropped is in the source Corresponding pixel area in the color array of the image, and discarding pixel data in the pixel area, calculating a portion to be filled, determining a position of the pixel area corresponding to the part of the color image of the source image to be filled, and Pixel data of a preset color is added to the pixel area corresponding to the position of the pixel area, so that the target image corresponding to the source image is obtained, so that the stitching of the target image of the N screens is not misaligned; or the adjusting unit is specifically used.
- the adjusting unit is specifically configured to calculate a scaling factor according to the first width and the second width, and when the scaling factor is greater than 1, according to the scaling
- the factor performs a stretching process on all the pixels in the color array of the source image, calculates a portion of the source image that needs to be cropped, and determines a portion of the color image in the color array of the source image that is to be cropped, and The pixel data in the pixel area is discarded, so that the target image corresponding to the source image
- the adjusting unit is specifically configured to use a source image corresponding to the first screen of the N screens as a target of the first screen An image, or cropping and filling a source image corresponding to the first screen as a target image of the first screen; and cropping and filling a source image corresponding to an adjacent screen of the first screen as a target of the adjacent screen
- the image is such that the stitching of the target images of the N screens is free of misalignment.
- the adjusting unit is specifically configured to: when the first width is greater than the second width, the source corresponding to the adjacent screen a portion of the image that is away from the side of the first screen and has a width c, and fills a side of a preset color of a width c with a side of the source image corresponding to the adjacent screen close to the first screen.
- the adjusting unit is further configured to perform pre-processing on the original image corresponding to the N screens to obtain the same size as the target image.
- the adjusting unit is specifically configured to: if the size of the original image is the same as the target image, use the original image as a If the size of the original image is different from the target image, the original images corresponding to the N screens are respectively scaled, cropped, and/or filled to obtain a corresponding source image.
- the adjusting unit is specifically configured to: if the aspect ratio of the original image is different from the target image, according to a scaling factor ml
- One or both sides of the intermediate image are cropped or filled with edges having a total width of
- the embodiment of the invention obtains the blind zone width between the source images and the slit width between the display devices of the target image, and adjusts the source image according to the obtained width value to obtain a target image with no misalignment. Thereby improving the realism of telepresence.
- FIGS. 1A and 1B are schematic diagrams of scenarios applicable to an embodiment of the present invention.
- FIG. 2 is a schematic flow chart of an image processing method according to an embodiment of the present invention.
- 3A to 3C are schematic views of an example of obtaining a source image from an original image.
- FIG. 4A is a schematic diagram of an image processing method according to an embodiment of the present invention.
- 4B is a schematic diagram of an image processing method according to another embodiment of the present invention.
- FIG. 5 is a schematic diagram of an image processing method according to another embodiment of the present invention.
- FIG. 6 is a schematic diagram of an image processing method according to another embodiment of the present invention.
- FIG. 7 is a schematic diagram of an image processing method according to another embodiment of the present invention.
- FIG. 8 is a schematic diagram of an image processing method according to another embodiment of the present invention.
- FIG. 9 is a schematic diagram of an image processing method according to another embodiment of the present invention.
- FIG. 10 is a schematic diagram of an image processing method according to another embodiment of the present invention.
- Figure 11 is a block diagram of an image processing apparatus of one embodiment of the present invention.
- FIG. 12 is a block diagram of an image processing apparatus according to another embodiment of the present invention. detailed description
- FIGS. 1A and 1B are schematic diagrams of scenarios applicable to an embodiment of the present invention.
- both the source image and the target image occupy three screens, but the embodiment of the present invention is not limited thereto, and the number N of screens occupied by the source image and the target image may be any integer greater than one.
- the three screens are equal in size and placed side by side in equal height.
- the side-by-side placement may be placed side by side in a straight line, or may be an arc or a fold line. Place the rows.
- the contour refers to the bottom or top edge of the N screens being on the same horizontal plane.
- Fig. 1A is a schematic diagram of the display of source images 101a, 101b and 101c, in which three virtual display devices 102 of the same specification (shaded portions in Fig. 1A) are depicted.
- the virtual display device 102 is a display device that is expected to display the source image 101 when the source image 101 is generated, but may not necessarily conform to the specifications of the display device of the actual target end, such as a width, a height, or an aspect ratio may be different. Width refers to the dimension in the horizontal direction, and height refers to the dimension in the vertical direction.
- source image 101 if it is not necessary to distinguish three source images 101a-101c, they may be collectively referred to as source image 101.
- the source image 101 is generated according to the specifications of the display device 102.
- the blind area width a between the source images 101 is required to be equal to the slit width between the display devices 102, that is, twice the width of the left and right borders of the display device 102.
- the misaligned splicing of the source image 101 causes the lines 109a, 109b and 109c to lie on the same line.
- the imageable area of the display device occupies the entire screen of the display device, that is, there is no non-image area on the screen of the display device, so the frame here may be two displays.
- the physical frame adjacent to the device may be two displays.
- the embodiment of the present invention does not limit this.
- the slit width between the display devices should also include the corresponding width of the non-developing area. Such embodiments are also within the scope of embodiments of the invention.
- FIG. 1A is a schematic diagram of three display devices 103 of the target image, wherein the source images 101a-101c are also displayed in the display device 103, respectively.
- the display area of the display device 103 is the same size as the display device 102, but the frame width is narrower than the display device 102. Therefore, the slit width b between the display devices 103 is smaller than a.
- the prior art does not consider the slit width b of the display device 103 when generating the source image 101, but only considers the blind region width a.
- the slopes of the straight lines determined by the two actual scene points respectively displayed by the two source images of the adjacent screen may be different.
- lines 109a, 109b, and 109c are no longer on the same line.
- two actual scene points P1 and P2 are depicted in Figure 1A, located on lines 109a and 109b, respectively. Corresponding location.
- the slope of the line determined by P1 and P2 is the slope of the line 109a.
- the slope of the line determined by P1 and P2 (the dotted line on the lower side of FIG. 1A) is different from the slope of the line 109a, which causes the image mosaic to be misaligned. Affect the realism of telepresence.
- 1B is a scenario in which the frame width of the display device 103 is wider than the display device 102, that is, b is greater than a.
- the lines 109a, 109b, and 109c are no longer located on the same line, and the slopes of the lines determined by P1 and P2 are different in the source image and the target image, which causes the image mosaic to be misaligned, affecting the telepresence. Realism.
- FIG. 2 is a schematic flow chart of an image processing method according to an embodiment of the present invention.
- the method of Figure 2 can be performed by an image processing device at the target end, but the embodiment of the present invention is not limited thereto, and the image processing device can also be located on other entities than the target end.
- the 201 Determine a first width and a second width.
- the second width is a slit width between display devices of the target image of N screens, as shown in Figs. 1A to 1F.
- the first width is a blind zone width between source images corresponding to the N screens, and a width a as shown in FIGS. 1A to 1F.
- N is an integer greater than 1.
- the slit width b between the display devices of the target image may be the slit width between the actual display devices of the target site, for example, approximately twice the width of the frame of the actual display device.
- the slit width b can also be the slit width between the virtual display devices.
- the slit width b may be the edge distance between projection areas on the projection screen where the two adjacent target image images are to be displayed.
- the slit width b may be the slit width obtained after scaling in the corresponding equal ratio.
- the source image may be an image captured by a camera at a source site (the subsequent cartridge is referred to as an original image), or may be an image obtained by preprocessing the original image.
- the original image is used as the source image, and the blind area between the original images
- the width is the width of the dead zone between the source images. If the size of the original image is different from the target image, that is, different from the display area of the display device of the target image, such as width, height, or aspect ratio, the original image is scaled, cropped, and/or filled to obtain the source image.
- the blind zone width between time source images is the blind zone width between the original images multiplied by the corresponding scaling factor (eg, the scaling factor n shown in Figures 1C-1F).
- Determining the width of the blind spot between the original images which may be determined by the image processing device according to the shooting parameters of the camera of the source image sent by the source site, such as the coordinates of the shooting area of the camera.
- the image processing device may determine the specification parameter of the display device of the source site (such as the slot width of the display device at the source site) sent by the source site, or directly receive the blind zone width sent by the source site.
- the blind zone width of the original image can be calculated from the coordinates of the shooting area of the adjacent camera.
- the horizontal and horizontal values of the left and right edges of the first camera of the two adjacent cameras are 100m and 200m, respectively, and the other camera
- the horizontal and horizontal values of the left and right edges of the shooting area are 210m and 310m, respectively, and the area corresponding to the abscissa between 200m and 210m is not captured, and the area belongs to the blind area, that is, between adjacent images taken by the adjacent camera.
- the width of the blind zone is 200m and 210m, which is 10m.
- the determining the blind zone width between the original images may be determined according to the coordinate calculation of the shooting area sent by the source site, or may be directly receiving the blind zone width calculated according to the coordinates of the shooting area sent by the source site. .
- the blind zone width of the source image is Equal to the slit width of the display device.
- the determining the blind zone width between the original images may be the slot width of the display device of the source site sent by the device receiving the source site and determining the blind zone width between the original images.
- the manner in which the shooting parameters of the transmitting camera (such as the coordinates of the shooting area of the camera), the specification parameters of the display device (such as the slot width of the display device of the source site), or the blind zone width may be specifically
- SDP session description protocol
- the second width may be obtained by the image processing device according to the system specification parameter (for example, the specification parameter of the display device, etc.), or may be obtained according to the user input, and the embodiment of the present invention does not limit.
- the system specification parameter for example, the specification parameter of the display device, etc.
- the slope of the straight line determined by the two actual scene points respectively displayed by the two source images of the adjacent screen (for example, the slope with respect to the horizontal line) and the two target images of the adjacent screen are respectively displayed.
- the slopes of the straight lines determined by the two actual scene points are identical.
- lines 109a, 109b are required.
- 109c can still be on the same line, such display results are consistent with the real scene, with a better sense of realism.
- the embodiment of the invention obtains the blind zone width between the source images and the slit width between the display devices of the target image, and adjusts the source image according to the obtained width value, thereby obtaining a target image without stitching, thereby improving the reality of the telepresence. sense.
- the manner in which the adjustment source image obtains the target image includes, but is not limited to, cropping, filling, reducing, or enlarging the source image corresponding to one or more of the N screens.
- the display input interface includes a digital interface and an analog interface
- the digital interface includes a DVI DVI (Digital Visual Interface), an HDMI (High Definition Multimedia Interface), and the like
- the analog interface includes a VGA (Video Graphics) Array, video graphics array, etc., where the digital interface inputs the RGB color matrix ⁇ ij , and the analog interface outputs the YPbPr color array.
- the cropping source image may be: calculating a portion of the source image that needs to be cropped, determining a portion of the pixel region in the color array of the source image, and discarding pixel data in the pixel region; and discarding the pixel data in the pixel region;
- the image may be: calculating a portion to be filled, determining a position of the pixel region corresponding to the portion of the source image to be filled, and adding a pixel of the preset color to the pixel region corresponding to the position of the pixel region Data
- the pixel data of the preset color may be RGB (125, 125, 125);
- the reduced source image may be: calculating a scaling factor according to the first width and the second width, and when the first width is greater than the second width,
- the scaling factor is used to compress all the pixels in the color array of the source image, and the compression processing may be: deleting the pixel data of the partial pixel according to the scaling factor; Width and second width calculate the scaling factor, and at the first
- the source image corresponding to the first screen of the N screens may be taken as the first a target image of a screen, or cropping and filling a source image corresponding to the first screen as a target image of the first screen; and cropping and filling the source image corresponding to the adjacent screen of the first screen as The target image of the adjacent screen.
- the part of the source image corresponding to the adjacent screen that is away from the first screen has a width c. Specifically, the part of the source image corresponding to the adjacent screen that is away from the first screen and has a width c is determined. Corresponding pixel area in the color array of the source image, and discarding the pixel data in the pixel area; the side of the preset color corresponding to the width c is filled on the side of the source image corresponding to the adjacent screen close to the first screen Specifically, it may be determined that a portion of the source image corresponding to the adjacent screen that is close to the first screen has a width c of a corresponding pixel region in the color array of the source image, and a preset color is added to the pixel region. Pixel data.
- the portion of the source image corresponding to the adjacent screen that is close to the first screen has a width c, and specifically determines that the width of the source image corresponding to the adjacent screen is close to the first screen.
- f
- /2 or f
- the side of the source image corresponding to the first screen is slanted to the side of the source image, and the portion of the source image corresponding to the first screen corresponding to the width f is corresponding to the color array of the source image.
- a portion of the side width f is a corresponding pixel region position in the color array of the source image, and pixel data of a preset color is added in the pixel region.
- the source image corresponding to one or more screens of the N screens is reduced and filled to obtain the target image
- the reduction of the source image according to the scaling factor k may be performed by performing compression processing on all the pixels in the color array of the source image according to the scaling factor k.
- the compression processing may specifically: deleting some pixel points according to the scaling factor. Pixel data; filling the edge of the preset color around the reduced source image, specifically, calculating a portion of the reduced source image that needs to be filled around, and determining that the portion to be filled corresponds to the color array of the source image
- the pixel area is located, and pixel data of a preset color is added in the pixel area.
- the edge portion is specifically a portion of the enlarged source image that is outside the range of the target image. Keep the center point of the image unchanged while zooming.
- the source image is enlarged according to the scaling factor k.
- all the pixels in the color array of the source image are subjected to stretching processing according to the scaling factor k, and the stretching processing may be, according to the scaling factor, adjacent to Adding pixel data of the transition color between the pixel data;
- the edge portion of the source image that is cropped and enlarged may be, for example, calculating an edge portion of the enlarged source image, and determining that the edge portion corresponds to the color array of the source image a pixel area, and discarding pixel data in the pixel area.
- the preset color may be a border color of a display device of the target image or a border color of the display device close to the target image, for example, the border color of the display device is RGB (125, 125, 125), preset The color can be set to (125, 125, 125), (120, 120, 120), and so on.
- the manner of adjusting the source image may also be determined according to a preset or a user indication. For example, a variety of adjustment methods can be provided for the user to select, and one of the adjustment methods is selected according to the user's preference. For example, adjustment methods may include, but are not limited to, "cropping and filling images", "zooming images", and the like.
- the source image and the target image have the same size, that is, the width and height of the source image and the target image are required to be the same.
- the source image may be the original image actually transmitted in the video conference, or it may be the image obtained by pre-processing the original image.
- the original image can be directly used as the source image; otherwise, the original image needs to be preprocessed to obtain a source image that meets the above requirements.
- the original image When the original image is preprocessed, the original image can be scaled, cropped, and/or filled to obtain the same source image as the target image.
- the manner in which the original image is preprocessed in the embodiment of the present invention will be described below with reference to specific examples. However, the examples are only intended to help those skilled in the art to better understand the embodiments of the present invention, and not to limit the scope of the embodiments of the present invention.
- the original image corresponding to the N screens may be preprocessed to obtain a source image corresponding to the N screens having the same size as the target image, where the size of the original image may be the same as the target image or different.
- the original image is taken as the source image.
- it may be determined that the first width a is the blind spot width A ( a A ) between the original images.
- the original images corresponding to the N screens are respectively adjusted to obtain a corresponding source image, and the manner of adjusting the original image to obtain the source image includes, but is not limited to, cropping, filling, and reducing. Or enlarge the original image.
- the original image may be cropped, and the portion of the original image that needs to be cropped may be calculated, the corresponding pixel region in the color array of the original image is determined, and the pixel data in the pixel region is discarded;
- the image may be: calculating a portion to be filled, determining a position of the pixel region corresponding to the portion of the original image to be filled, and adding a pixel of the preset color to the pixel region corresponding to the position of the pixel region Data, the pixel data of the preset color may be specifically RGB (125, 125, 125);
- the reduced original image may be, according to the width of the original image and the width of the target image, the scaling factor is calculated, and the width of the original image is larger than the target image.
- Width processing according to the scaling factor, all the pixels in the color array of the original image are subjected to compression processing, and the compression processing may be specifically, according to the scaling
- the pixel data of the partial pixel is deleted by the factor; the magnifying original image may be: calculating a scaling factor according to the width of the original image and the width of the target image, and according to the scaling factor when the width of the original image is smaller than the width of the target image
- All the pixels in the color array of the original image are subjected to a stretching process, and the stretching process may specifically be: adding pixel data of a transition color between adjacent pixel data according to a scaling factor, such as two adjacent pixel values.
- the pixel data of a new pixel added between the pixels of RGB (11, 11, 11) and RGB (33, 33, 33) is RGB (22, 22, 22).
- the original image corresponding to the N screens is scaled according to the scaling factor m to obtain a corresponding source.
- Fig. 3A is a schematic diagram showing an example of obtaining a source image from an original image.
- the original image is larger than the target image, but the aspect ratio is the same.
- the display device is omitted in the example of Fig. 3A, and only the outline of the stitched image is depicted.
- the original images 105a, 105b and 105c have a height h and a width w.
- the original images 105a, 105b, and 105c may be collectively referred to as the original image 105 if no distinction is required.
- the blind zone width between the original images 105 is A.
- the blind zone width A is equal to the seam width between the virtual display devices of the original image 105, so the original image 105 can be stitched without misalignment.
- the target images 107a-c may be identical to the target images in Figs. 1A/1B.
- the target image 107 has a height of e, a width of d, and a display device slit width of b.
- the original image 105 needs to be scaled to obtain the corresponding source image 106a-c.
- the so-called scaling is to scale the height and width of the image by the same ratio.
- Embodiments of the present invention perform adjustment of the source image 106 based on the blind zone width a between the source images 106.
- FIG. 3A shows an example in which the original image 105 is larger than the target image 107 and the width a is larger than the width b, but the embodiment of the present invention is not limited thereto, and the original image 105 is smaller than the target image or has a width a to width.
- the height, h is the height of the original image.
- are cropped or filled on one side or both sides of the intermediate image corresponding to the N screens to obtain a corresponding source image, where d is the width of the target image, w
- II is the absolute value operation.
- Fig. 3B is a schematic diagram of another example of obtaining a source image from an original image.
- the original image is larger than the target image, and the aspect ratio is also larger (w/h>d/e).
- the display device is omitted in the example of Fig. 3B, and only the outline of the stitched image is depicted.
- the original image 105 is first scaled to obtain intermediate images 105a, -c (hereinafter collectively referred to as intermediate images 105).
- the size of the source image 106 is the same as that of the target image 107, and at the same time satisfies the requirement of splicing without misalignment.
- Embodiments of the present invention perform adjustment of the source image 106 based on the blind zone width a between the source images 106.
- Fig. 3C is a schematic diagram showing another example of obtaining a source image from an original image.
- the original image is larger than the target image, but the aspect ratio is smaller (w/h ⁇ d/e).
- the display device is omitted in the example of Fig. 3C, and only the outline of the stitched image is depicted.
- the intermediate image 105 can be filled to obtain the source image 106.
- the source image 106a is obtained by filling the side of the width y on the left side of the intermediate image 105a
- the source image 106c is obtained by filling the side of the width y on the right side of the intermediate image 105c.
- the size of the source image 106 is the same as that of the target image 107, and at the same time satisfies the requirement of splicing without misalignment.
- Embodiments of the present invention perform adjustment of the source image 106 based on the blind zone width a between the source images 106.
- the methods of Figs. 3A to 3C are capable of obtaining the same source image as the target image, and ensuring that the source image is as seamless as the original image. That is, the slopes of the straight lines determined by the two actual scene points respectively displayed by the two original images corresponding to the adjacent screens and the straight lines determined by the two actual scene points respectively displayed by the two source images corresponding to the adjacent screens The slope is consistent.
- FIG. 4A is a schematic diagram of an image processing method according to an embodiment of the present invention.
- the embodiment of Fig. 4A is applied to the scene shown in Fig. 1A in which the intermediate screen is left unprocessed, i.e., the source image 301b corresponding to the intermediate screen is directly used as the target image 302b of the intermediate screen. Only the source images 301a and 301c corresponding to the left and right screens (i.e., adjacent screens of the intermediate screen) are adjusted to obtain corresponding target images 302a and 302c. Assume that both the source image and the target image have a width d.
- Fig. 4A The upper side of Fig. 4A is a schematic diagram of the source image 301.
- the dead zone width between the source images 301 is the first width a.
- the lower side of Figure 4A is a schematic representation of the target image 302.
- the slit width between the display devices of the target image 302 is the second width b, a>b.
- the source images 301a and 301c corresponding to the adjacent screens may be offset from the side of the intermediate screen by a width c, that is, the sides of the width c of the source images 301a and 301c away from the side of the intermediate screen are trimmed, and adjacent to the screen.
- the corresponding source images 301a and 301c are close to the middle screen and the filling width is c.
- the edges of the preset colors are used to obtain the target images 302a and 302c of the adjacent screens.
- the source image 301a is shifted to the left side by the width c, that is, the side of the left side of the cropping source image 301a having a width c; the source image 301c is biased to the right side.
- the width c is shifted, that is, the side of the right side of the crop source image 301c having a width c.
- the side of the cut source image 301a is filled with the side of the width c
- the side of the cut source image 301c is filled with the side of the width c.
- the target images 302a and 302c are obtained, respectively.
- the target image 302 and the source image 301 obtained in accordance with Fig. 4A have the same size.
- the effective display area of the target image 302 (the unshaded portion in Fig. 4A) is smaller than the source image 301, the misalignment of the image 302 is ensured, and the three oblique lines in Fig. 4A remain on the same line.
- the effective display area is an area in the image that contains the content of the conference screen, such as an area including a participant, a background, and the like.
- the color of the filled edge may be the same or similar to the color of the border of the display device, so that the user can visually fill the filled portion when viewing the target image. As part of the display device's border, it enhances the user's visual experience.
- FIG. 4A is capable of maintaining the size of a real person in an image, enhancing the user experience.
- FIG. 4B is a schematic diagram of an image processing method according to another embodiment of the present invention.
- the embodiment of Fig. 4B is applied to the scene shown in Fig. 1B in which the intermediate screen is left unprocessed, i.e., the source image 301b corresponding to the intermediate screen is directly used as the target image 303b of the intermediate screen. Only the source images 301a and 301c corresponding to the left and right screens (i.e., adjacent screens of the intermediate screen) are adjusted to obtain corresponding target images 303a and 303c. Assume that both the source image and the target image have a width d.
- Fig. 4B The upper side of Fig. 4B is a schematic diagram of the source image 301.
- the dead zone width between the source images 301 is the first width a.
- the lower side of Fig. 4B is a schematic diagram of the target image 303.
- the slit width between the display devices of the target image 303 is the second width b, a ⁇ b.
- the source image 301a is shifted to the right by the width c, that is, the side of the right side of the crop source image 301a having a width c; the source image 301c is turned to the left
- the offset width c that is, the side of the left side of the cropping source image 301c having a width c.
- the side of the cut source image 301c is filled with the side of the width c
- the side of the cut source image 301a is filled with the side of the width c.
- the target image 303 and the source image 301 obtained in accordance with Fig. 4B have the same size. Although the effective display area of the target image 303 (the unshaded portion in Fig. 4B) is smaller than the source image 301, the misalignment of the image 303 is ensured, and the three oblique lines in Fig. 4B remain on the same line.
- the color of the filled edge may be the same or similar to the color of the border of the display device, so that the user can visually fill the portion when viewing the target image. As part of the display device's border, it enhances the user's visual experience.
- FIG. 5 is a schematic diagram of an image processing method according to another embodiment of the present invention.
- the embodiment of Fig. 5 is a variation of the embodiment of Fig. 4A applied to the scene shown in Fig. 1A in which the source image 301b corresponding to the intermediate screen is also cropped.
- the method of obtaining the target image 304a of FIG. 5 is the same as the method of obtaining the target image 302a of FIG. 4A
- the method of obtaining the target image 304c of FIG. 5 is the same as the method of obtaining the target image 302c of FIG. 4A, and thus the description will not be repeated. .
- the sides of the source image 301b corresponding to the intermediate screen are trimmed to the side of the width f, and the trimmed portion is refilled with the edge of the preset color having the width f.
- the target image 304b of the intermediate screen may be the same or similar to the border color of the display device, which enhances the user's visual experience.
- the width f
- /2. Since the first width a is greater than the second width b, f (a - b)/2.
- the unshaded portions (Fig. 5) are the same size, and the edges of the total width c are cropped on the basis of the corresponding source image. This enhances the user experience.
- FIG. 6 is a schematic diagram of an image processing method according to another embodiment of the present invention.
- the embodiment of Fig. 6 is a variation of the embodiment of Fig. 4B applied to the scene shown in Fig. 1B in which the source image 301b corresponding to the intermediate screen is also cropped.
- the method of obtaining the target image 305a of FIG. 6 and obtaining the target image 303a of FIG. 4B The method is the same, the method of obtaining the target image 305c of FIG. 6 is the same as the method of obtaining the target image 303c of FIG. 4B, and thus the description will not be repeated.
- the sides of the source image 301b corresponding to the intermediate screen are trimmed to the side of the width f, and the trimmed portion is refilled with the edge of the preset color having the width f.
- the target image 305b of the intermediate screen may be the same or similar to the border color of the display device, which enhances the user's visual experience.
- the width f
- /2. Since the first width a is smaller than the second width b, f (b - a) / 2.
- the effective display areas (the unshaded portions in Fig. 6) of the three target images 305a, 305b, and 305c are the same in size, and the edges of the total width c are cropped on the basis of the corresponding source image. This enhances the user experience.
- FIG. 7 is a schematic diagram of an image processing method according to another embodiment of the present invention.
- the embodiment of Fig. 7 is a variation of the embodiment of Fig. 4A applied to the scene shown in Fig. 1A in which the source image 301b corresponding to the intermediate screen is also cropped.
- the method of obtaining the target image 306a of FIG. 7 is the same as the method of obtaining the target image 302a of FIG. 4A
- the method of obtaining the target image 306c of FIG. 7 is the same as the method of obtaining the target image 302c of FIG. 4A, and thus the description will not be repeated. .
- the sides of the source image 301b corresponding to the intermediate screen are trimmed to the side of the width f, and the trimmed portion is refilled with the edge of the preset color having the width f.
- Target image 306b of the intermediate screen may be the same or similar to the border color of the display device, which enhances the user's visual experience.
- the width f
- the edges of the effective display areas (the unshaded portions in Fig. 7) of the three target images 306a, 306b, and 306c are the same as the distance between the borders of the display device, and are all a-b. This enhances the user experience.
- FIG. 8 is a schematic diagram of an image processing method according to another embodiment of the present invention.
- the embodiment of Fig. 8 is a variation of the embodiment of Fig. 4B applied to the scene shown in Fig. 1B in which the source image 301b corresponding to the intermediate screen is also cropped.
- the target image 307a of FIG. 8 is the same as the target image 303a of FIG. 4B, and the target image 307c of FIG. 8 is the same as the target image 303c of FIG. 4B, and thus the description will not be repeated.
- the sides of the source image 301b corresponding to the intermediate screen are trimmed to the side of the width f, and the trimmed portion is refilled with the edge of the preset color having the width f.
- the target image 307b of the intermediate screen may be the same or similar to the border color of the display device, which can enhance the user's visual experience.
- the width f
- the effective display area of the three target images 307a, 307b and 307c (the unshaded portion in Fig. 7) has the same distance between the edge of the effective display area and the border of the display device, and is b-a. This enhances the user experience.
- FIG. 9 is a schematic diagram of an image processing method according to another embodiment of the present invention.
- the reduced portion width is kd and the height is ke. If the reduced image is still able to be stitched without error, that is, the slope of the oblique line in the source image and the target image shown in Fig. 9 remains unchanged, so equation (1) can be obtained:
- the scaling factor ] ⁇ 1 it is also necessary to fill a frame around the reduced image (the shaded portion shown in Fig. 9) to obtain the target images 308a-308c. If the reduced source image portion (the unshaded portion shown on the lower side of FIG. 9) is still centered, the sum of the heights of the upper and lower frames can be obtained as e(ab)/(a+d), and the width of the left and right frames is And is d(ab)/(a+d).
- the heights of the upper and lower frames can be the same, that is, e(a-b)/2(a+d), respectively; the widths of the left and right frames are also the same, that is, d(a-b)/2(a+d).
- the embodiment of the present invention is not limited thereto, and the reduced source image portion may not be centered in the target image.
- the reduced source image portion may be simultaneously moved down by the same distance on the basis of the target image of FIG. 9, for example, Move to the lower edge of the display device; or can be in the target image of Figure 9.
- the reduced source image portion is simultaneously moved up by the same distance, for example, to the upper edge of the display device; or the reduced source image portion can be shifted to the left by the same distance on the basis of the target image of FIG. 9
- moving to the left edge of the display device; or the reduced source image portion can be simultaneously shifted right by the same distance on the basis of the target image of FIG. 9, for example, to the right edge of the display device, and the like. All of the above methods can ensure that the target images 308a-308c can still be stitched without errors.
- the preset color of the filled side may be the same as or similar to the border color of the display device, which can enhance the user's visual experience.
- the adjustment method of Fig. 9 does not lose any information of the source image, and keeps the stitching of the target image without error.
- the effective display areas of the three target images are the same in size and the user experience is consistent.
- FIG. 10 is a schematic diagram of an image processing method according to another embodiment of the present invention.
- the second width b is larger than the first width a, it is necessary to enlarge the source images 301a-301c to ensure that the stitching of the target image is free of misalignment.
- the enlarged source image has a width kd and a height ke. At this time, it is necessary to crop the edge portion, that is, the shading portion of the black dot in Fig. 10, to obtain the target image 309a-309c.
- Fig. 10 also ensures that the target images 309a-309c are stitched without misalignment.
- the blind zone width between the source images and the slit width between the display devices of the target image can be obtained, and the source image is adjusted according to the acquired width value, and the target image without the misalignment is obtained, thereby improving the telepresence. Realism.
- FIG. 11 is a block diagram of an image processing apparatus of one embodiment of the present invention.
- the image processing apparatus 110 of Fig. 11 includes a determining unit 111 and an adjusting unit 112.
- the determining unit 111 determines a first width and a second width, wherein the second width is a slit width between display devices of the target images of the N screens, and the first width is a blind spot width between the source images corresponding to the N screens, N is an integer greater than 1, and N screens are equal in size and placed at equal heights side by side.
- the adjusting unit 112 is determined according to the determining unit 111 when the first width and the second width are different.
- the first width and the second width adjust the source image to obtain the target image, so that the stitching of the target images of the N screens is not misaligned.
- the slope of the straight line determined by the two actual scene points respectively displayed by the two source images of the adjacent screen (for example, the slope with respect to the horizontal line) and the two target images of the adjacent screen are respectively displayed.
- the slopes of the straight lines determined by the two actual scene points are identical.
- the embodiment of the invention can obtain the blind zone width between the source images and the slit width between the display devices of the target image, and adjust the source image according to the acquired width value to obtain the target image without the misalignment, thereby improving the telepresence. Realism.
- the image processing apparatus 110 of the embodiment of the present invention can implement the method shown in FIG. 2 and the various embodiments shown in FIG. 3 to FIG. 10, and will not be described in detail in order to avoid redundancy.
- the adjusting unit 112 may perform cutting on a source image corresponding to one or more screens of the N screens to obtain a target image; or perform source image corresponding to one or more screens of the N screens. Zooming to obtain a target image; or scaling and cropping a source image corresponding to one or more of the N screens to obtain a target image.
- the adjusting unit 112 may use the source image corresponding to the first screen of the N screens as the target image of the first screen, or crop the source image corresponding to the first screen as the target image of the first screen. And cutting the source image corresponding to the adjacent screen of the first screen as the target image of the adjacent screen.
- the adjusting unit 112 may calculate a portion of the source image that needs to be cropped, determine a portion of the color image in the color array of the source image, and discard the portion that needs to be cropped. Pixel data in the pixel area, calculating a portion to be filled, determining a position of the pixel region corresponding to the portion of the source image to be filled, and adding a preset color to the pixel region corresponding to the pixel region position Pixel data, thereby obtaining a target image corresponding to the source image.
- the adjusting unit 112 may calculate a scaling factor according to the first width and the second width, and when the first width is greater than the second width, the color array of the source image according to the scaling factor All the pixels in the process are subjected to compression processing, calculate the portion to be filled, determine the position of the pixel region corresponding to the portion of the source image to be filled, and add a preset color in the pixel region corresponding to the position of the pixel region. Pixel data, thereby obtaining a target image corresponding to the source image.
- the adjusting unit 112 may be according to the first width and the second width. Calculating a scaling factor, and when the first width is smaller than the second width, performing stretching processing on all pixels in the color array of the source image according to the scaling factor, calculating a portion of the source image that needs to be cropped, determining The portion to be cropped is in a corresponding pixel region in the color array of the source image, and the pixel data in the pixel region is discarded, thereby obtaining a target image corresponding to the source image.
- a is the first width
- b is the second width
- c ab.
- a is the first width
- b is the second width
- a ⁇ b, c ba.
- the adjusting unit 112 may trim the sides of the source image corresponding to the first screen with the width f on both sides, and fill the preset colors of the width f on both sides of the source image corresponding to the first screen.
- /2 or f
- the width of the source image, and a ⁇ b crops the edge portion of the enlarged source image to obtain the target image. Keep the center point of the image unchanged while zooming. For example, as shown in the embodiment of Figure 10, the user experience can be enhanced.
- the preset color may be a border color of a display device of the target image or a border color of the display device close to the target image.
- the determining unit 111 may further determine a manner of adjusting the source image according to a preset setting or a user indication, so that the adjusting unit 112 may be configured according to the determined adjustment manner. Adjust the source image. For example, a variety of adjustment methods can be provided for the user to select, and one of the adjustment methods is selected according to the user's preference.
- the adjusting unit 112 may further preprocess the original image corresponding to the N screens to obtain a source image corresponding to the N screens having the same size as the target image, where the size of the original image and the target image Same or different.
- the adjusting unit 112 may use the original image as the source image; if the size of the original image is different from the target image, the adjusting unit 112 may perform N
- the original images corresponding to the screen are respectively scaled, cropped, and/or filled to obtain corresponding source images.
- the adjusting unit 112 may correspond to the N screens according to the scaling factor m.
- the adjusting unit 112 may scale the original image corresponding to the N screens according to the scaling factor ml to obtain a corresponding intermediate image.
- ml e/h
- e is the height of the target image
- h is the height of the original image
- the intermediate images corresponding to the N screens are respectively scaled according to the scaling factor m2 to obtain the corresponding source image
- the adjusting unit 112 may scale the original image corresponding to the N screens according to the scaling factor ml to obtain a corresponding intermediate image.
- ml e/h
- e is the height of the target image
- h is the height of the original image
- the total width of the cut or fill on one or both sides of the intermediate image corresponding to the N screens is
- the edge to get the corresponding source image where d is the width of the target image, w is the width of the original image, and II is the absolute value operation.
- A is the blind zone width between the original images corresponding to the N screens.
- Figures 3B and 3C Example are the blind zone width between the original images corresponding to the N screens.
- the image processing apparatus of the embodiment of the present invention can acquire the blind zone width between the source images and the slit width between the display devices of the target image, and adjust the source image according to the acquired width value to obtain a target image that is stitched without misalignment, thereby improving The realism of telepresence. Even if the original image is inconsistent with the size of the target image, the source image can be obtained by pre-processing the original image, thereby adjusting the source image to obtain a target image without splicing.
- FIG. 12 is a schematic block diagram of an image processing apparatus according to another embodiment of the present invention.
- the image processing device 120 of FIG. 12 includes a processor 121 and a memory 122.
- the memory 122 stores instructions that cause the processor 121 to: determine a first width and a second width, wherein the second width is a slit width between display devices of a target image of N screens, the first width being The blind zone width between the source images corresponding to the N screens, N is an integer greater than 1, the N screens are equal in size and placed side by side in equal height; when the first width and the second width are different, according to Determining the first width and the second width, adjusting the source image to obtain the target image, such that the stitching of the target images of the N screens is free of misalignment.
- the slope of the straight line determined by the two actual scene points respectively displayed by the two source images of the adjacent screen (for example, the slope with respect to the horizontal line) and the two target images of the adjacent screen are respectively displayed.
- the slopes of the straight lines determined by the two actual scene points are identical.
- the embodiment of the invention obtains the blind zone width between the source images and the slit width between the display devices of the target image, and adjusts the source image according to the obtained width value, thereby obtaining a target image without stitching, thereby improving the reality of the telepresence. sense.
- the image processing apparatus 120 of the embodiment of the present invention can implement the method shown in FIG. 2 and the various embodiments shown in FIG. 3 to FIG. 10, and will not be described in detail in order to avoid redundancy.
- the processor 121 and the memory 122 are connected by a bus system.
- the bus system may include a power bus, a control bus, a status signal bus, and the like in addition to the data bus.
- the embodiment of the present invention does not limit the specific form of the bus.
- the memory 122 stores instructions that cause the processor 121 to perform various operations and data required to perform various operations.
- the processor 121 may be a CPU (Central Processing Unit), may be a GPU (Graphic Processing Unit), or may be in other forms such as a general purpose processor, a digital signal processor (DSP), or a dedicated processor. Integrated circuit (ASIC), field programmable gate array (FPGA) or other programmable logic device, discrete gate or transistor Law, procedure and logic block diagram.
- the general purpose processor may be a microprocessor or the processor or any conventional processor or the like.
- Memory 122 can include read only memory and random access memory and provides instructions and data to processor 121. A portion of memory 122 may also include non-volatile random access memory (NVRAM).
- NVRAM non-volatile random access memory
- each step of the above method may be completed by an integrated logic circuit of hardware in the processor 121 or an instruction control in the form of software.
- the steps of the foregoing processor 121 in combination with the method disclosed in the embodiments of the present invention may be directly implemented as a hardware decoding processor, or may be performed by a combination of hardware and software modules in the decoding processor.
- the software modules can be located in a conventional storage medium such as random access memory, flash memory, read only memory, programmable read only memory or electrically erasable programmable memory, registers, and the like.
- the storage medium is located in the memory 122, and the processor 121 reads the information in the memory 122 and combines the hardware to perform the steps of the above method.
- the first width and the second width may be obtained by the image processing device 120 according to system specification parameters (eg, specification parameters of the display device, etc.), or may be obtained according to user input, and the present invention.
- system specification parameters eg, specification parameters of the display device, etc.
- the embodiment does not limit this.
- the manner of adjusting the source image to obtain the target image includes, but is not limited to, cropping and/or scaling the source image corresponding to one or more of the N screens.
- the source image corresponding to the first screen of the N screens may be used as the source image.
- the processor 121 may move the source image corresponding to the adjacent screen away from the first screen.
- the processor 121 may approach the first screen in the source image corresponding to the adjacent screen.
- the processor 121 crops the source image corresponding to the first screen as the target image of the first screen
- the edge of the source image corresponding to the first screen having the width f on both sides may be cropped
- , optionally, f
- /2 or f
- the center point position of the image can be maintained while zooming.
- the preset color may be a border color of a display device of the target image or a border color of the display device close to the target image.
- the processor 121 may further determine a manner of adjusting the source image according to a preset or a user indication. For example, a variety of adjustment methods can be provided for the user to select, and one of the adjustment methods can be selected according to the user's preference.
- the processor 121 may further preprocess the original images corresponding to the N screens to obtain source images corresponding to the N screens having the same size as the target image, where the size of the original image and the target image Same or different.
- the processor 121 may use the original image as the source image; if the size of the original image is different from the target image, the processor 121 may perform N
- the original images corresponding to the screen are respectively scaled, cropped, and/or filled to obtain corresponding source images.
- the processor 121 may correspond to the N screens according to the scaling factor m.
- the width of the blind spot between the corresponding original images For example, the embodiment shown in Figure 3A.
- the processor 121 may scale the original image corresponding to the N screens according to the scaling factor ml to obtain a corresponding intermediate image.
- ml e/h
- e is the height of the target image
- h is the height of the original image
- the processor 121 may scale the original image corresponding to the N screens according to the scaling factor ml to obtain a corresponding intermediate image.
- ml e/h
- e is the height of the target image
- h is the height of the original image
- the total width of the cut or fill on one or both sides of the intermediate image corresponding to the N screens is
- the edge to get the corresponding source image where d is the width of the target image, w is the width of the original image, and II is the absolute value operation.
- the embodiment of the invention can obtain the blind zone width between the source images and the slit width between the display devices of the target image, and adjust the source image according to the acquired width value to obtain the target image without the misalignment, thereby improving the telepresence. Realism. Even if the original image does not match the size of the target image, the source image can be obtained by pre-processing the original image, thereby adjusting the source image to obtain a target image without splicing.
- the embodiment of the present invention does not limit the positions of the image processing apparatuses 110 and 120 described above.
- the image processing devices 110 and 120 may be located at the shooting end of the remote venue, or at the target end of the display target image, or may be located between the shooting end and the target end.
- Image processing devices 110 and 120 can be a standalone device or can be a component of the device.
- the disclosed systems, devices, and methods may be implemented in other ways.
- the device embodiments described above are merely illustrative.
- the division of the unit is only a logical function division.
- there may be another division manner for example, multiple units or components may be combined or Can be integrated into another system, or some features can be ignored, or not executed.
- the coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be electrical, mechanical or otherwise.
- the units described as separate components may or may not be physically separate, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solution of the embodiment.
- each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
- the functions, if implemented in the form of software functional units and sold or used as separate products, may be stored in a computer readable storage medium.
- the technical solution of the present invention which is essential to the prior art or part of the technical solution, may be embodied in the form of a software product stored in a storage medium, including
- the instructions are used to cause a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in various embodiments of the present invention.
- the foregoing storage medium includes: a U disk, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk or an optical disk, and the like, which can store program codes. .
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明实施例提供了一种图像处理方法和图像处理设备。该图像处理方法,包括:确定第一宽度和第二宽度,其中第二宽度为N个屏幕的目标图像的显示设备之间的缝宽,第一宽度为N个屏幕对应的源图像之间的盲区宽度,N为大于1的整数,N个屏幕大小相等且等高并排放置;当第一宽度和第二宽度不同时,根据所确定的第一宽度和第二宽度,调整源图像得到目标图像,使得N个屏幕的目标图像的拼接无错位。本发明实施例获取源图像之间的盲区宽度和目标图像的显示设备之间的缝宽,并根据所获取的宽度值调整源图像,得到拼接无错位的目标图像,从而提高了远程呈现的真实感。
Description
图像处理方法和图像处理设备 技术领域
本发明实施例涉及视频会议领域, 并且更具体地, 涉及图像处理方法和 图像处理设备。 背景技术
随着编码和信息压缩技术的发展以及数字网络的高速发展,视频会议系 统开始步入市场。 当 IP ( Internet Protocol, 网际协议) 网络技术走向成熟, IP 网络发展成为全球通信的重要网络平台, ITU-T ( International Telecommunication Union-Telecommunication Standardization Sector,国际电信 联盟电信标准部)推出了基于 IP网络的 H.323视频会议标准, 使得视频会 议系统的研究和应用方向转向基于 IP网络发展。
而今, 基于 H.323视频会议标准的视频会议系统, 正在随着 IP网络的 迅速发展, 得到日益广泛的应用。 政府、 军队、 企业等部门基本都部署了自 己的视频会议系统, 以提高开会效率, 降低开会成本。
视频会议市场出现了一种新技术远程呈现( Telepresence )。 远程参会者 远在网络的另一端,但他们的图像却以真人大小的格式显示在会议室的显示 设备上, 用户丝毫感觉不到任何别扭与异样。 真人大小的视频图像加上超高 清晰度的图像效果, 带空间感的音频系统和环境的完美结合, 营造出一种与 远程参会者共在一个会议室的感觉。一套完整的远程呈现系统需要由合适的 会议室、 电源和高带宽网络通道、 独立的墙面、 桌子、 椅子、 灯光、 视频显 示设备、 控制设备、 音频设备组成。 与传统的会议系统相比, 远程呈现系统 有着它独特的优势, 除了能够节省差旅费用外, 还大大提高了会议质量, 远 程呈现克服了传统视频会议的平面、 不真实的效果, 让会议更加自然, 提高 了会议效率。
在远程呈现技术中,本地会场的每个摄像机分别对应一个不同的用户区 域, 每个摄像机同时拾取对应的用户区域的图像, 并发送到远端会场的会议 终端, 由远端会场的会议终端采用物理的或者数字的图像拼接技术将本地会 场的摄像机拾取的图像拼接起来, 再输出给远端会场的相邻显示设备显示; 同时, 本地会场的会议终端也会采用物理的或者数字的图像拼接技术将远端
会场的摄像机拾取的图像拼接起来, 再输出给本地会场的相邻显示设备显 示。 为了使得图像拼接无错位, 本地会场及远端会场一般选择了某种固定的 显示设备型号, 至少显示设备的边框是一样的。
现有技术中, 图像的无错位拼接要求两个相邻图像之间的盲区宽度等于 两个相邻显示设备的可显像区域之间的最小边缘空隙。该最小边缘空隙也可 以称为显示设备之间的缝宽,如果显示设备的可显像区域占据该显示设备的 整个屏幕, 则显示设备之间的缝宽基本等于两个相邻显示设备的边框宽度之 和。 这样的无错位拼接使得用户不会产生图像的错位感, 更好地满足了远程 呈现技术的真实感要求。这里,盲区是相邻图像之间未覆盖的会议场景区域, 如果该相邻图像是由相邻摄像机拍摄得到的图像, 则盲区具体为该相邻摄像 机的拍摄区域未覆盖到的会议场景区域。可显像区域是显示设备的硬件能够 支持的最大显示区域, 该区域一般是矩形。
为了实现图像的无错位拼接,要求相邻图像之间的盲区宽度等于目标端 用于显示该相邻图像的相邻显示设备之间的缝宽。 但是, 随着显示设备的更 新换代, 显示设备屏幕尺寸和边框大小都会发生变化, 如果目标端的显示设 备的缝宽与该相邻图像的盲区宽度不一致, 则会导致目标端图像拼接产生错 位, 影响用户体验。 发明内容
本发明实施例提供一种图像处理方法和图像处理设备, 能够提高远程呈 现的真实感。
第一方面,提供了一种图像处理方法, 包括: 确定第一宽度和第二宽度, 其中所述第二宽度为 N个屏幕的目标图像的显示设备之间的缝宽,所述第一 宽度为所述 N个屏幕对应的源图像之间的盲区宽度, N为大于 1的整数, 所 述 N个屏幕大小相等且等高并排放置;当所述第一宽度和所述第二宽度不同 时,根据所确定的第一宽度和第二宽度,调整所述源图像得到所述目标图像, 使得所述 N个屏幕的目标图像的拼接无错位。
结合第一方面, 在第一方面的一种实现方式中, 所述调整所述源图像得 到所述目标图像, 使得所述 N个屏幕的目标图像的拼接无错位, 包括: 对所 述 N 个屏幕中一个或多个屏幕对应的源图像进行裁剪和填充以得到对应的 目标图像, 使得所述 N个屏幕的目标图像的拼接无错位; 或者对所述 N个
屏幕中一个或多个屏幕对应的源图像进行缩小和填充以得到对应的目标图 像, 使得所述 N个屏幕的目标图像的拼接无错位; 或者对所述 N个屏幕中 一个或多个屏幕对应的源图像进行放大和裁剪以得到对应的目标图像,使得 所述 N个屏幕的目标图像的拼接无错位。
结合第一方面及其上述实现方式, 在第一方面的另一实现方式中, 所述 对所述 N 个屏幕中一个或多个屏幕对应的源图像进行裁剪和填充以得到对 应的目标图像, 使得所述 N个屏幕的目标图像的拼接无错位, 包括: 计算所 述源图像中需要裁剪的部分,确定所述需要裁剪的部分在该源图像的颜色阵 列中对应的像素区域, 并丟弃该像素区域中的像素数据, 计算需要填充的部 分, 确定需要填充的部分在该源图像的颜色阵列中所对应的像素区域位置, 并在该像素区域位置所对应的像素区域中添加预设颜色的像素数据,从而得 到所述源图像对应的目标图像, 使得所述 N 个屏幕的目标图像的拼接无错 位。
结合第一方面及其上述实现方式, 在第一方面的另一实现方式中, 所述 对所述 N 个屏幕中一个或多个屏幕对应的源图像进行缩小和填充以得到对 应的目标图像, 使得所述 N个屏幕的目标图像的拼接无错位, 包括: 根据第 一宽度和第二宽度计算缩放因子, 并在所述第一宽度大于所述第二宽度时, 根据该缩放因子对所述源图像的颜色阵列中的所有像素进行压缩处理,计算 需要填充的部分,确定需要填充的部分在该源图像的颜色阵列中所对应的像 素区域位置, 并在该像素区域位置所对应的像素区域中添加预设颜色的像素 数据,从而得到所述源图像对应的目标图像,使得所述 N个屏幕的目标图像 的拼接无错位。
结合第一方面及其上述实现方式, 在第一方面的另一实现方式中, 所述 对所述 N 个屏幕中一个或多个屏幕对应的源图像进行放大和裁剪以得到对 应的目标图像, 使得所述 N个屏幕的目标图像的拼接无错位, 包括:
根据第一宽度和第二宽度计算缩放因子, 并在所述第一宽度小于所述第 二宽度时,根据所述缩放因子对所述源图像的颜色阵列中的所有像素进行拉 伸处理, 计算所述源图像中需要裁剪的部分, 确定所述需要裁剪的部分在该 源图像的颜色阵列中对应的像素区域, 并丟弃该像素区域中的像素数据, 从 而得到所述源图像对应的目标图像,使得所述 N个屏幕的目标图像的拼接无 错位。
结合第一方面及其上述实现方式, 在第一方面的另一实现方式中, 所述 对所述 N 个屏幕中一个或多个屏幕对应的源图像进行裁剪和填充以得到对 应的目标图像, 使得所述 N个屏幕的目标图像的拼接无错位, 包括: 将所述 N个屏幕中第一屏幕对应的源图像作为所述第一屏幕的目标图像, 或者裁剪 和填充所述第一屏幕对应的源图像作为所述第一屏幕的目标图像; 以及裁剪 和填充所述第一屏幕的相邻屏幕对应的源图像作为所述相邻屏幕的目标图 像, 使得所述 N个屏幕的目标图像的拼接无错位。
结合第一方面及其上述实现方式, 在第一方面的另一实现方式中, 所述 裁剪和填充所述第一屏幕的相邻屏幕对应的源图像作为所述相邻屏幕的目 标图像, 包括: 当所述第一宽度大于所述第二宽度时, 将所述相邻屏幕对应 的源图像中远离所述第一屏幕一侧的宽度为 c的部分裁剪掉, 并在所述相邻 屏幕对应的源图像接近所述第一屏幕的一侧填充宽度为 c的预设颜色的边, 以得到所述相邻屏幕的目标图像,其中 c=a-b, a为第一宽度, b为第二宽度。
结合第一方面及其上述实现方式, 在第一方面的另一实现方式中, 所述 裁剪所述第一屏幕的相邻屏幕对应的源图像作为所述相邻屏幕的目标图像, 包括: 当所述第一宽度小于所述第二宽度时, 将所述相邻屏幕对应的源图像 中接近所述第一屏幕一侧的宽度为 c的部分裁剪掉, 并在所述相邻屏幕对应 的源图像远离所述第一屏幕的一侧填充宽度为 c的预设颜色的边, 以得到所 述相邻屏幕的目标图像, 其中 c=b-a, a为第一宽度, b为第二宽度。
结合第一方面及其上述实现方式, 在第一方面的另一实现方式中, 所述 裁剪所述第一屏幕对应的源图像作为所述第一屏幕的目标图像, 包括: 裁剪 所述第一屏幕对应的源图像两侧宽度为 f的边, 并在所述第一屏幕对应的源 图像两侧分别填充宽度为 f的预设颜色的边, f<=|a-b|。
结合第一方面及其上述实现方式, 在第一方面的另一实现方式中, f=|a-b|/2或者 f=|a-b| , 其中 a为第一宽度, b为第二宽度。
结合第一方面及其上述实现方式, 在第一方面的另一实现方式中, 所述 对所述 N 个屏幕中一个或多个屏幕对应的源图像进行缩小和填充以得到对 应的目标图像, 使得所述 N个屏幕的目标图像的拼接无错位, 包括: 当所述 第一宽度大于所述第二宽度时, 按照缩放因子 k 缩小所述源图像, k=(b+d)/(a+d), 其中 a为第一宽度, b为第二宽度, d为所述源图像的宽度; 在缩小后的源图像四周填充预设颜色的边以得到所述目标图像。
结合第一方面及其上述实现方式, 在第一方面的另一实现方式中, 所述 对所述 N 个屏幕中一个或多个屏幕对应的源图像进行缩放和裁剪以得到对 应的目标图像, 使得所述 N个屏幕的目标图像的拼接无错位, 包括: 当所述 第一宽度小于所述第二宽度时, 按照缩放因子 k 放大所述源图像, k=(b+d)/(a+d), 其中 a为第一宽度, b为第二宽度, d为所述源图像的宽度; 裁剪放大后的源图像的边缘部分以得到所述目标图像。
结合第一方面及其上述实现方式, 在第一方面的另一实现方式中, 所述 预设颜色为所述目标图像的显示设备的边框颜色。
结合第一方面及其上述实现方式, 在第一方面的另一实现方式中, 该方 法还包括:对 N个屏幕对应的原始图像进行预处理以得到尺寸与所述目标图 像相同的所述 N个屏幕对应的源图像,其中所述原始图像的尺寸与所述目标 图像相同或不同。
结合第一方面及其上述实现方式, 在第一方面的另一实现方式中, 所述 对 N 个屏幕对应的原始图像进行预处理以得到尺寸与所述目标图像相同的 所述 N个屏幕对应的源图像, 包括: 如果所述原始图像的尺寸与所述目标图 像相同, 则将所述原始图像作为所述源图像; 如果所述原始图像的尺寸与所 述目标图像不同, 则对所述 N个屏幕对应的原始图像分别进行缩放、裁剪和 /或填充以得到对应的源图像。
结合第一方面及其上述实现方式, 在第一方面的另一实现方式中, 所述 如果所述原始图像的尺寸与所述目标图像不同,则对所述 N个屏幕对应的原 始图像分别进行缩放、 裁剪和 /或填充以得到对应的源图像, 包括: 如果所述 原始图像的宽高比与所述目标图像相同,所述原始图像的宽度 w与所述目标 图像的宽度 d不同, 则按照缩放因子 m对所述 N个屏幕对应的原始图像进 行等比例缩放以得到对应的源图像, 其中 m=d/w。
结合第一方面及其上述实现方式, 在第一方面的另一实现方式中, 所述 确定第一宽度, 包括: 确定所述第一宽度 a=nxA, 其中 n=m, A为所述 N 个屏幕对应的原始图像之间的盲区宽度。
结合第一方面及其上述实现方式, 在第一方面的另一实现方式中, 所述 如果所述原始图像的尺寸与所述目标图像不同,则对所述 N个屏幕对应的原 始图像分别进行缩放、 裁剪和 /或填充以得到对应的源图像, 包括: 如果所述 原始图像的宽高比与所述目标图像不同, 则按照缩放因子 ml对所述 N个屏
幕对应的原始图像进行等比例缩放以得到对应的中间图像, 其中 ml=e/h, e 为所述目标图像的高度, h为所述原始图像的高度; 在 N个屏幕对应的中间 图像的一侧或两侧裁剪或填充总宽度为 |d-(ew/h)|的边以得到对应的源图像, 其中 d为所述目标图像的宽度, w为所述原始图像的宽度, I I为取绝对值运 算。
结合第一方面及其上述实现方式, 在第一方面的另一实现方式中, 所述 确定第一宽度, 包括: 确定所述第一宽度 a=nxA, 其中 n=(2Ae+ew-dh)/2Ah, A为所述 N个屏幕对应的原始图像之间的盲区宽度。
第二方面, 提供了一种图像处理设备, 包括: 确定单元, 用于确定第一 宽度和第二宽度,其中所述第二宽度为 N个屏幕的目标图像的显示设备之间 的缝宽, 所述第一宽度为所述 N个屏幕对应的源图像之间的盲区宽度, N为 大于 1的整数, 所述 N个屏幕大小相等且等高并排放置; 调整单元, 用于当 所述第一宽度和所述第二宽度不同时根据所述确定单元所确定的第一宽度 和第二宽度,调整所述源图像得到所述目标图像,使得所述 N个屏幕的目标 图像的拼接无错位。
结合第二方面, 在第二方面的一种实现方式中, 所述调整单元具体用于 对所述 N 个屏幕中一个或多个屏幕对应的源图像进行裁剪和填充以得到对 应的目标图像,使得所述 N个屏幕的目标图像的拼接无错位; 或者对所述 N 个屏幕中一个或多个屏幕对应的源图像进行缩小和填充以得到对应的目标 图像, 使得所述 N个屏幕的目标图像的拼接无错位; 或者对所述 N个屏幕 中一个或多个屏幕对应的源图像进行放大和裁剪以得到对应的目标图像,使 得所述 N个屏幕的目标图像的拼接无错位。
结合第二方面及其上述实现方式, 在第二方面的另一实现方式中, 所述 调整单元具体用于, 计算所述源图像中需要裁剪的部分, 确定所述需要裁剪 的部分在该源图像的颜色阵列中对应的像素区域, 并丟弃该像素区域中的像 素数据, 计算需要填充的部分, 确定需要填充的部分在该源图像的颜色阵列 中所对应的像素区域位置, 并在该像素区域位置所对应的像素区域中添加预 设颜色的像素数据,从而得到所述源图像对应的目标图像,使得所述 N个屏 幕的目标图像的拼接无错位; 或者, 所述调整单元具体用于, 根据第一宽度 和第二宽度计算缩放因子, 并在该缩放因子小于 1时, 根据该缩放因子对所 述源图像的颜色阵列中的所有像素进行压缩处理, 计算需要填充的部分, 确
定需要填充的部分在该源图像的颜色阵列中所对应的像素区域位置, 并在该 像素区域位置所对应的像素区域中添加预设颜色的像素数据,从而得到所述 源图像对应的目标图像,使得所述 N个屏幕的目标图像的拼接无错位;或者, 所述调整单元具体用于, 根据第一宽度和第二宽度计算缩放因子, 并在该缩 放因子大于 1时,根据所述缩放因子对所述源图像的颜色阵列中的所有像素 进行拉伸处理, 计算所述源图像中需要裁剪的部分, 确定所述需要裁剪的部 分在该源图像的颜色阵列中对应的像素区域, 并丟弃该像素区域中的像素数 据,从而得到所述源图像对应的目标图像,使得所述 N个屏幕的目标图像的 拼接无错位。
结合第二方面及其上述实现方式, 在第二方面的另一实现方式中, 所述 调整单元具体用于将所述 N 个屏幕中第一屏幕对应的源图像作为所述第一 屏幕的目标图像, 或者裁剪和填充所述第一屏幕对应的源图像作为所述第一 屏幕的目标图像; 以及裁剪和填充所述第一屏幕的相邻屏幕对应的源图像作 为所述相邻屏幕的目标图像, 使得所述 N个屏幕的目标图像的拼接无错位。
结合第二方面及其上述实现方式, 在第二方面的另一实现方式中, 所述 调整单元具体用于当所述第一宽度大于所述第二宽度时将所述相邻屏幕对 应的源图像中远离所述第一屏幕一侧的宽度为 c的部分裁剪掉, 并在所述相 邻屏幕对应的源图像接近所述第一屏幕的一侧填充宽度为 c 的预设颜色的 边, 以得到所述相邻屏幕的目标图像, 其中 c=a-b, a为第一宽度, b为第二 宽度; 或者,
所述调整单元具体用于当所述第一宽度小于所述第二宽度时将所述相 邻屏幕对应的源图像中接近所述第一屏幕一侧的宽度为 c的部分裁剪掉, 并 在所述相邻屏幕对应的源图像远离所述第一屏幕的一侧填充宽度为 c的预设 颜色的边, 以得到所述相邻屏幕的目标图像, 其中 c=b-a, a为第一宽度, b 为第二宽度; 或者,
所述调整单元具体用于裁剪所述第一屏幕对应的源图像两侧宽度为 f的 边,并在所述第一屏幕对应的源图像两侧分别填充宽度为 f的预设颜色的边, f<=|a-b|。
结合第二方面及其上述实现方式, 在第二方面的另一实现方式中, 所述 调整单元具体用于, 当所述第一宽度大于所述第二宽度时, 按照缩放因子 k 缩小所述源图像, k=(b+d)/(a+d), 其中 a为第一宽度, b为第二宽度, d为所
述源图像的宽度,在缩小后的源图像四周填充预设颜色的边以得到所述目标 图像; 或者,所述调整单元具体用于, 当所述第一宽度小于所述第二宽度时, 按照缩放因子 k放大所述源图像, k=(b+d)/(a+d), 其中 a为第一宽度, b为 第二宽度, d为所述源图像的宽度, 裁剪放大后的源图像的边缘部分以得到 所述目标图像。
结合第二方面及其上述实现方式, 在第二方面的另一实现方式中, 所述 调整单元还用于对 N 个屏幕对应的原始图像进行预处理以得到尺寸与所述 目标图像相同的所述 N个屏幕对应的源图像,其中所述原始图像的尺寸与所 述目标图像相同或不同。
结合第二方面及其上述实现方式, 在第二方面的另一实现方式中, 所述 调整单元具体用于如果所述原始图像的尺寸与所述目标图像相同, 则将所述 原始图像作为所述源图像; 如果所述原始图像的尺寸与所述目标图像不同, 则对所述 N个屏幕对应的原始图像分别进行缩放、 裁剪和 /或填充以得到对 应的源图像。
结合第二方面及其上述实现方式, 在第二方面的另一实现方式中, 所述 调整单元具体用于如果所述原始图像的宽高比与所述目标图像相同, 所述原 始图像的宽度 w与所述目标图像的宽度 d不同, 则按照缩放因子 m对所述 N 个屏幕对应的原始图像进行等比例缩放以得到对应的源图像, 其中 m=d/w, 所述确定单元具体用于确定所述第一宽度 a=nxA, 其中 n=m, A为 所述 N个屏幕对应的原始图像之间的盲区宽度。
结合第二方面及其上述实现方式, 在第二方面的另一实现方式中, 所述 调整单元具体用于如果所述原始图像的宽高比与所述目标图像不同, 则按照 缩放因子 ml对所述 N个屏幕对应的原始图像进行等比例缩放以得到对应的 中间图像, 其中 ml=e/h, e为所述目标图像的高度, h为所述原始图像的高 度;在 N个屏幕对应的中间图像的一侧或两侧裁剪或填充总宽度为 |d-(ew/h)| 的边以得到对应的源图像, 其中 d为所述目标图像的宽度, w为所述原始图 像的宽度, I I为取绝对值运算, 所述确定单元具体用于确定所述第一宽度 a=nxA, 其中 n=(2Ae+ew-dh)/2Ah, A为所述 N个屏幕对应的原始图像之间 的盲区宽度。
本发明实施例获取源图像之间的盲区宽度和目标图像的显示设备之间 的缝宽, 并根据所获取的宽度值调整源图像, 得到拼接无错位的目标图像,
从而提高了远程呈现的真实感。 附图说明
为了更清楚地说明本发明实施例的技术方案, 下面将对实施例或现有技 术描述中所需要使用的附图作筒单地介绍, 显而易见地, 下面描述中的附图 仅仅是本发明的一些实施例, 对于本领域普通技术人员来讲, 在不付出创造 性劳动的前提下, 还可以根据这些附图获得其他的附图。
图 1A和图 1B是本发明实施例可应用的场景的示意图。
图 2是本发明一个实施例的图像处理方法的示意流程图。
图 3A至图 3C是从原始图像得到源图像的例子的示意图。
图 4A是本发明一个实施例的图像处理方式的示意图。
图 4B是本发明另一实施例的图像处理方式的示意图。
图 5是本发明另一实施例的图像处理方式的示意图。
图 6是本发明另一实施例的图像处理方式的示意图。
图 7是本发明另一实施例的图像处理方式的示意图。
图 8是本发明另一实施例的图像处理方式的示意图。
图 9是本发明另一实施例的图像处理方式的示意图。
图 10是本发明另一实施例的图像处理方式的示意图。
图 11是本发明一个实施例的图像处理设备的框图。
图 12是本发明另一实施例的图像处理设备的框图。 具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行 清楚、 完整地描述, 显然, 所描述的实施例是本发明一部分实施例, 而不是 全部的实施例。 基于本发明中的实施例, 本领域普通技术人员在没有作出创 造性劳动前提下所获得的所有其他实施例, 都属于本发明保护的范围。
图 1A和图 1B是本发明实施例可应用的场景的示意图。 在下面的实施 例中,假设源图像和目标图像都占据 3个屏幕,但是本发明实施例不限于此, 源图像和目标图像所占据的屏幕数 N可以是大于 1的任意整数。 另夕卜,假设 3个屏幕大小相等且等高并排放置。
所述并排放置, 具体可以是呈直线并排放置, 也可以是呈弧线或折线并
排放置。
所述等高, 指的是 N个屏幕的底边或顶边在同一水平面上。
图 1A的上侧是源图像 101a, 101b和 101c的显示示意图, 在该示意图 中描绘了三个虚拟的同样规格的显示设备 102 (图 1A中的阴影部分)。 虚拟 显示设备 102是产生源图像 101时预期要显示源图像 101的显示设备,但并 不一定能够符合实际目标端的显示设备的规格, 例如宽度、 高度或宽高比可 能有所不同。 宽度是指水平方向上的尺度, 高度是指竖直方向上的尺度。 在 下文中,如果无需区分三个源图像 101a-101c,则可将它们统称为源图像 101。 源图像 101是根据显示设备 102的规格产生的, 为了实现无错位拼接, 要求 源图像 101之间的盲区宽度 a等于显示设备 102之间的缝宽,即显示设备 102 的左右边框宽度的两倍。 如图 1A所示, 源图像 101的无错位拼接使得线条 109a, 109b和 109c位于同一条直线上。
请注意, 在本发明实施例的描述中, 假设显示设备的可显像区域占据该 显示设备的整个屏幕, 即该显示设备的屏幕上没有非显像区域, 因此这里的 边框可以是两个显示设备相邻接的实物框架。 但本发明实施例对此不作限 制, 例如, 如果显示设备的上述实物框架内部存在非显像区域, 则显示设备 之间的缝宽也应包括该非显像区域的相应宽度。这样的实施方式也落入本发 明实施例的范围内。
图 1A的下侧是目标图像的三个显示设备 103的示意图, 其中在显示设 备 103中也分别显示源图像 101a-101c。 显示设备 103的显示区域的尺寸与 显示设备 102相同, 但是边框宽度比显示设备 102更窄。 因此显示设备 103 之间的缝宽 b小于 a。 现有技术在产生源图像 101时并不考虑显示设备 103 的缝宽 b, 而仅仅考虑盲区宽度 a。 在此情况下, 如果将源图像 101不加处 理地显示在显示设备 103上, 则相邻屏幕的两个源图像分别显示的两个实际 场景点所确定的直线的斜率(例如相对于水平线的斜率)与相邻屏幕的两个 目标图像分别显示的所述两个实际场景点所确定的直线的斜率可能会不同。 直观地看, 如图 1A所示, 会导致线条 109a、 109b和 109c不再位于同一条 直线上,例如,图 1A中描绘了两个实际场景点 P1和 P2,分别位于线条 109a 和 109b上的对应位置。 在上侧的源图像中, P1和 P2确定的直线的斜率即 为线条 109a的斜率。 但是在下侧的目标图像中, P1和 P2确定的直线(图 1A下侧的点划线) 的斜率与线条 109a的斜率不同, 即导致图像拼接错位,
影响远程呈现的真实感。
图 1B是显示设备 103的边框宽度比显示设备 102更宽的场景, 即 b大 于 a。 如图 1B所示, 同样导致线条 109a、 109b和 109c不再位于同一条直线 上, P1和 P2确定的直线的斜率在源图像和目标图像中有所不同, 即导致图 像拼接错位, 影响远程呈现的真实感。
图 2是本发明一个实施例的图像处理方法的示意流程图。 图 2的方法可 以由目标端的图像处理设备执行, 但本发明实施例不限于此, 该图像处理设 备也可以位于目标端之外的其他实体上。
201 , 确定第一宽度和第二宽度。 所述第二宽度为 N个屏幕的目标图像 的显示设备之间的缝宽, 如图 1A至图 1F所示的宽度 b。 所述第一宽度为该 N个屏幕对应的源图像之间的盲区宽度, 如图 1A至图 1F所示的宽度 a。 N 为大于 1的整数。
这里, 目标图像的显示设备之间的缝宽 b可以是目标会场的实际显示设 备之间的缝宽, 例如近似等于实际显示设备的边框宽度的两倍。 缝宽 b也可 以是虚拟的显示设备之间的缝宽。例如,如果目标会场采用投影的显示方式, 则缝宽 b可以是投影幕布上预定要显示相邻两屏目标图像的投影区域之间的 边缘距离。 又例如, 如果目标会场对显示图像进行等比例缩放(例如调整投 影仪和投影幕布之间的距离或者进行图像处理), 则缝宽 b可以是相应等比 例缩放之后得到的缝宽。 这些变型均落入本发明实施例的范围内。
所述源图像, 具体可以是源端会场的摄像机拍摄得到的图像(后续筒称 为原始图像 ), 也可以是通过对原始图像进行预处理得到的图像。
具体地, 如果原始图像的尺寸与目标图像相同, 即与目标图像的显示设 备的可显像区域的尺寸相同, 例如宽度和高度均相同, 则将原始图像作为源 图像, 原始图像之间的盲区宽度作为源图像之间的盲区宽度。 如果原始图像 的尺寸与目标图像不同, 即与目标图像的显示设备的显示区域不同, 例如宽 度、 高度或宽高比不同, 则对原始图像进行缩放、 裁剪和 /或填充以得到源图 像, 此时源图像之间的盲区宽度为原始图像之间的盲区宽度乘以相应的缩放 因子(例如图 1C至图 1F所示的缩放因子 n )。
下面给出确定原始图像之间的盲区宽度的示例实施方式:
确定原始图像之间的盲区宽度, 具体可以是图像处理设备根据源端会场 发送的拍摄源图像的摄像机的拍摄参数(如摄像机的拍摄区域的坐标)确定,
也可以是图像处理设备根据源端会场发送的源端会场的显示设备的规格参 数(如源端会场的显示设备的缝宽)确定, 还可以是直接接收源端会场发送 的盲区宽度。
原始图像的盲区宽度可以由该相邻摄像机的拍摄区域的坐标来计算, 如, 两个相邻摄像机中第一个摄像机的拍摄区域的左右边缘的横坐标值分别 为 100m和 200m, 另一个摄像机的拍摄区域的左右边缘的横坐标值分别为 210m和 310m, 对应横坐标 200m至 210m之间的区域是拍摄不到的, 该区 域属于盲区, 即为该相邻摄像机拍摄的相邻图像之间的盲区, 盲区宽度为 200m和 210m的差值, 即为 10m。 具体地, 所述确定原始图像之间的盲区 宽度, 可以是根据源端会场发送的拍摄区域的坐标计算确定的, 也可以是直 接接收源端会场发送的根据拍摄区域的坐标计算出的盲区宽度。
如果预先在摄像机所在会场(即源端会场 )的显示设备上显示摄像机拍 摄的图像并调整摄像设备的拍摄角度以使得所拍摄的图像在显示设备上无 错位拼接显示, 则源图像的盲区宽度即等于显示设备的缝宽。 具体地, 所述 确定原始图像之间的盲区宽度, 可以是接收源端会场的设备发送的源端会场 的显示设备的缝宽并将其确定为原始图像之间的盲区宽度。
可选地, 所述发送摄像机的拍摄参数(如摄像机的拍摄区域的坐标)、 显示设备的规格参数(如源端会场的显示设备的缝宽)或盲区宽度的方式具 体可以是, 在会议能力协商的时候通过扩展会话描述协议 (SDP, session description protocol )信息的媒体名称与传输地址 ( media name and transport address )字段(即" m= "行)携带发送。
可选地, 作为一个实施例, 第二宽度可以是图像处理设备根据系统规格 参数(例如显示设备的规格参数等)提取获得的, 也可以是根据用户输入获 得的, 本发明实施例对此不作限制。
202, 当第一宽度 a和第二宽度 b不同 ( a≠b ) 时, 根据所确定的第一宽 度和第二宽度,调整源图像得到目标图像,使得 N个屏幕的目标图像的拼接 无错位。
目标图像的拼接无错位, 则保证相邻屏幕的两个源图像分别显示的两个 实际场景点所确定的直线的斜率(例如相对于水平线的斜率)与相邻屏幕的 两个目标图像分别显示的所述两个实际场景点所确定的直线的斜率一致。 直 观地看,要求图 1A和图 1B下侧的 N个屏幕的目标图像中,线条 109a、 109b
和 109c仍能位于同一条直线上, 这样的显示结果与真实场景一致, 具有更 好的真实感。
本发明实施例获取源图像之间的盲区宽度和目标图像的显示设备之间 的缝宽, 并根据所获取的宽度值调整源图像, 得到拼接无错位的目标图像, 从而提高了远程呈现的真实感。
可选地, 作为一个实施例, 上述调整源图像得到目标图像的方式包括但 不限于裁剪、 填充、 缩小或放大 N个屏幕中一个或多个屏幕对应的源图像。
具体地, 显示器输入接口包括数字接口和模拟接口, 数字接口包括 DVI DVI ( Digital Visual Interface , 数字视频接口)、 HDMI ( High Definition Multimedia Interface , 高清晰度多媒体接口)等, 模拟接口包括 VGA ( Video Graphics Array, 视频图形阵列)等, 其中, 数字接口输入的为 RGB颜色阵 歹 ij , 模拟接口输出的是 YPbPr颜色阵列。
上述裁剪源图像, 具体可以为, 计算源图像中需要裁剪的部分, 确定需 要裁剪的部分在该源图像的颜色阵列中对应的像素区域, 并丟弃该像素区域 中的像素数据; 上述填充源图像, 具体可以为, 计算需要填充的部分, 确定 需要填充的部分在该源图像的颜色阵列中所对应的像素区域位置, 并在该像 素区域位置所对应的像素区域中添加预设颜色的像素数据, 该预设颜色的像 素数据具体可以为 RGB ( 125,125,125 ); 上述缩小源图像, 具体可以为, 根 据第一宽度和第二宽度计算缩放因子, 并在第一宽度大于第二宽度时根据该 缩放因子对该源图像的颜色阵列中的所有像素进行压缩处理, 所述压缩处 理, 具体可以为, 根据该缩放因子删除部分像素点的像素数据; 上述放大源 图像, 具体可以为, 根据第一宽度和第二宽度计算缩放因子, 并在第一宽度 小于第二宽度时根据该缩放因子对该源图像的颜色阵列中的所有像素进行 拉伸处理, 所述拉伸处理, 具体可以为, 根据缩放因子在相邻像素数据之间 增加过渡颜色的像素数据, 如在相邻的两个像素值分别为 RGB(11,11,11)和 RGB(33,33,33)的像素点之间增加一个新的像素点的像素数据为 RGB(22,22,22)„
可选地,作为另一实施例,在对 N个屏幕中一个或多个屏幕对应的源图 像进行裁剪和填充以得到目标图像时,可将 N个屏幕中第一屏幕对应的源图 像作为第一屏幕的目标图像, 或者裁剪和填充第一屏幕对应的源图像作为第 一屏幕的目标图像; 以及裁剪和填充第一屏幕的相邻屏幕对应的源图像作为
相邻屏幕的目标图像。
可选地, 作为另一实施例, 当所述第一宽度大于所述第二宽度时, 在裁 剪第一屏幕的相邻屏幕对应的源图像作为相邻屏幕的目标图像时, 可将相邻 屏幕对应的源图像中远离第一屏幕一侧的宽度为 C的部分裁剪掉, 并在相邻 屏幕对应的源图像接近第一屏幕的一侧填充宽度为 c的预设颜色的边, 以得 到相邻屏幕的目标图像, 其中 c=a-b, a为第一宽度, b为第二宽度。
上述将相邻屏幕对应的源图像中远离第一屏幕一侧的宽度为 c的部分裁 剪掉, 具体可以为, 确定相邻屏幕对应的源图像中远离第一屏幕一侧的宽度 为 c的部分在该源图像的颜色阵列中对应的像素区域, 并丟弃该像素区域中 的像素数据; 上述在相邻屏幕对应的源图像接近第一屏幕的一侧填充宽度为 c的预设颜色的边, 具体可以为, 确定相邻屏幕对应的源图像接近第一屏幕 的一侧宽度为 c的部分在该源图像的颜色阵列中对应的像素区域位置, 并在 该像素区域中增加预设颜色的像素数据。
可选地, 作为另一实施例, 当所述第一宽度小于所述第二宽度时, 在裁 剪第一屏幕的相邻屏幕对应的源图像作为相邻屏幕的目标图像时, 可将相邻 屏幕对应的源图像中接近第一屏幕一侧的宽度为 c的部分裁剪掉, 并在相邻 屏幕对应的源图像远离第一屏幕的一侧填充宽度为 c的预设颜色的边, 以得 到相邻屏幕的目标图像, 其中 c=b-a, a为第一宽度, b为第二宽度。
上述将相邻屏幕对应的源图像中接近第一屏幕一侧的宽度为 c的部分裁 剪掉, 具体可以为, 确定相邻屏幕对应的源图像中接近第一屏幕一侧的宽度 为 c的部分在该源图像的颜色阵列中对应的像素区域, 并丟弃该像素区域中 的像素数据; 上述在相邻屏幕对应的源图像远离第一屏幕的一侧填充宽度为 c的预设颜色的边, 具体可以为, 确定相邻屏幕对应的源图像远离第一屏幕 的一侧宽度为 C的部分在该源图像的颜色阵列中对应的像素区域位置, 并在 该像素区域中增加预设颜色的像素数据。
可选地, 作为另一实施例, 在裁剪第一屏幕对应的源图像作为第一屏幕 的目标图像时, 可裁剪第一屏幕对应的源图像两侧宽度为 f的边, 并在第一 屏幕对应的源图像两侧分别填充宽度为 f的预设颜色的边, f<=|a-b|。优选地, f=|a-b|/2或者 f=|a-b|。
上述裁剪第一屏幕对应的源图像两侧宽度为 f的边, 具体可以为, 确定 第一屏幕对应的源图像两侧宽度为 f的部分在该源图像的颜色阵列中对应的
像素区域, 并丟弃该像素区域中的像素数据; 上述在第一屏幕对应的源图像 两侧分别填充宽度为 f的预设颜色的边, 具体可以为, 确定第一屏幕对应的 源图像两侧宽度为 f的部分在该源图像的颜色阵列中对应的像素区域位置, 并在该像素区域中增加预设颜色的像素数据。
可选地, 作为另一实施例, 当所述第一宽度大于所述第二宽度时, 在对
N 个屏幕中一个或多个屏幕对应的源图像进行缩小和填充以得到目标图像 时, 按照缩放因子 k缩小源图像, k=(b+d)/(a+d), 其中 a为第一宽度, b为 第二宽度, d为源图像的宽度; 在缩小后的源图像四周填充预设颜色的边以 得到目标图像。 进行缩放时可保持图像的中心点位置不变。
上述按照缩放因子 k缩小源图像, 具体可以为, 根据该缩放因子 k对该 源图像的颜色阵列中的所有像素进行压缩处理,所述压缩处理,具体可以为, 根据该缩放因子删除部分像素点的像素数据; 上述在缩小后的源图像四周填 充预设颜色的边, 具体为, 计算缩小后的源图像四周需要填充的部分, 并确 定需要填充的部分在该源图像的颜色阵列中对应的像素区域位置, 并在该像 素区域中增加预设颜色的像素数据。
可选地, 作为另一实施例, 当所述第一宽度小于所述第二宽度时, 在对 N 个屏幕中一个或多个屏幕对应的源图像进行放大和裁剪以得到目标图像 时, 按照缩放因子 k放大源图像, k=(b+d)/(a+d), 其中 a为第一宽度, b为 第二宽度, d为源图像的宽度; 裁剪放大后的源图像的边缘部分以得到目标 图像。 该边缘部分具体为放大后的源图像中超出目标图像范围的部分。 进行 缩放时可保持图像的中心点位置不变。
上述按照缩放因子 k放大源图像, 具体可以为, 根据该缩放因子 k对该 源图像的颜色阵列中的所有像素进行拉伸处理,所述拉伸处理,具体可以为, 根据缩放因子在相邻像素数据之间增加过渡颜色的像素数据; 上述裁剪放大 后的源图像的边缘部分, 具体可以为, 计算放大后的源图像的边缘部分, 确 定该边缘部分在该源图像的颜色阵列中对应的像素区域, 并丟弃该像素区域 中的像素数据。
可选地, 作为另一实施例, 上述预设颜色可以是目标图像的显示设备的 边框颜色或接近目标图像的显示设备的边框颜色, 如, 显示设备的边框颜色 为 RGB ( 125,125,125 ) ,预设颜色可以设置为 ( 125,125,125 )、 ( 120, 120, 120 ) 等。
可选地, 作为另一实施例, 在步骤 202之前, 还可以根据预先设置或者 用户指示确定调整源图像的方式。例如,可以提供多种调整方式供用户选择, 根据用户的偏好选择调整方式之一。 例如, 调整方式可以包括但不限于 "裁 剪和填充图像"、 "缩放图像" 等。
另外,优选地,在本发明实施例中, 源图像与目标图像具有相同的尺寸, 即要求源图像和目标图像的宽度、 高度均相同。 源图像可能是视频会议中实 际传输的原始图像, 也可能是对原始图像进行预处理后得到的图像。 当原始 图像和目标图像的宽度、 高度均相同时, 可以直接将原始图像作为源图像; 否则, 需要对原始图像进行预处理, 以得到符合上述要求的源图像。
对原始图像进行预处理时, 可以对原始图像进行缩放、 裁剪和 /或填充, 以得到尺寸与目标图像相同的源图像。 下面结合具体例子描述本发明实施例 对原始图像进行预处理的方式。但这些例子仅仅是为了帮助本领域技术人员 更好地理解本发明实施例, 而非限制本发明实施例的范围。
可选地,作为另一实施例,还可以对 N个屏幕对应的原始图像进行预处 理以得到尺寸与目标图像相同的 N个屏幕对应的源图像,其中原始图像的尺 寸与目标图像可以相同或不同。
可选地, 作为另一实施例, 如果原始图像的尺寸与目标图像相同, 则将 原始图像作为源图像。 在此情况下, 在步骤 201中, 可确定第一宽度 a即为 原始图像之间的盲区宽度 A ( a=A )。
另一方面,如果原始图像的尺寸与目标图像不同, 则对 N个屏幕对应的 原始图像分别进行调整以得到对应的源图像,调整原始图像得到源图像的方 式包括但不限于裁剪、 填充、 缩小或放大原始图像。
上述裁剪原始图像, 具体可以为, 计算原始图像中需要裁剪的部分, 确 定需要裁剪的部分在该原始图像的颜色阵列中对应的像素区域, 并丟弃该像 素区域中的像素数据; 上述填充原始图像, 具体可以为, 计算需要填充的部 分, 确定需要填充的部分在该原始图像的颜色阵列中所对应的像素区域位 置, 并在该像素区域位置所对应的像素区域中添加预设颜色的像素数据, 该 预设颜色的像素数据具体可以为 RGB ( 125,125,125 ); 上述缩小原始图像, 具体可以为, 根据原始图像的宽度与目标图像的宽度计算缩放因子, 并在原 始图像的宽度大于目标图像的宽度时根据该缩放因子对该原始图像的颜色 阵列中的所有像素进行压缩处理, 所述压缩处理, 具体可以为, 根据该缩放
因子删除部分像素点的像素数据; 上述放大原始图像, 具体可以为, 根据原 始图像的宽度与目标图像的宽度计算缩放因子, 并在原始图像的宽度小于目 标图像的宽度时根据该缩放因子对该原始图像的颜色阵列中的所有像素进 行拉伸处理, 所述拉伸处理, 具体可以为, 根据缩放因子在相邻像素数据之 间增加过渡颜色的像素数据, 如在相邻的两个像素值分别为 RGB(11,11,11) 和 RGB(33,33,33)的像素点之间增加一个新的像素点的像素数据为 RGB(22,22,22)。
例如,如果原始图像的宽高比与目标图像相同,但原始图像的宽度 w与 目标图像的宽度 d不同, 则按照缩放因子 m对 N个屏幕对应的原始图像进 行等比例缩放以得到对应的源图像, 其中 m=d/w。 在此情况下, 在步骤 201 中, 可确定第一宽度 a=nxA, 其中 n=m, A为 N个屏幕对应的原始图像之 间的盲区宽度。
具体地, 图 3A是从原始图像得到源图像的一个例子的示意图。在图 3A 的例子中, 原始图像比目标图像的尺寸更大, 但是宽高比相同。 为了筒洁, 在图 3A的例子中省略了显示设备, 只描绘了拼接图像的轮廓。
如图 3A所示, 原始图像 105a, 105b和 105c的高度为 h, 宽度为 w。 在下文中, 如果无需区分, 可以将原始图像 105a、 105b和 105c统称为原始 图像 105。 原始图像 105之间的盲区宽度为 A。 该盲区宽度 A等于原始图像 105的虚拟显示设备之间的缝宽, 因此原始图像 105可以无错位拼接。
目标图像 107a-c可以与图 1A/1B中的目标图像相同。 目标图像 107的 高度为 e, 宽度为 d, 显示设备缝宽为 b。
在图 3A的实施例中, 原始图像 105的宽高比等于目标图像 107的宽高 比, 即 w/h=d/e。 这样, 需要对原始图像 105进行等比例缩放, 得到相应的 源图像 106a-c。 所谓等比例缩放, 是指对图像的高度和宽度按照相同的比例 进行缩放。 具体地, 缩放因子为 m=e/h=d/w, 因此, 源图像 106之间的盲区 宽度 a=mxA。 本发明实施例基于源图像 106之间的盲区宽度 a执行源图像 106的调整。
图 3A的实施例中显示了原始图像 105比目标图像 107更大且宽度 a比 宽度 b更大的例子, 但本发明实施例不限于此, 原始图像 105比目标图像更 小或者宽度 a比宽度 b更小的情况同样可以应用本发明实施例, 即得到源图 像 106之间的盲区宽度&=11^ , 其中盲区宽度的缩放因子 n=m=e/h=d/w。
再例如, 如果原始图像的宽高比与目标图像不同, 则按照缩放因子 ml 对 N 个屏幕对应的原始图像进行等比例缩放以得到对应的中间图像, 其中 ml=e/h, e为目标图像的高度, h为原始图像的高度。 然后, 在 N个屏幕对 应的中间图像的一侧或两侧裁剪或填充总宽度为 |d-(ew/h)|的边以得到对应 的源图像, 其中其中 d为目标图像的宽度, w为原始图像的宽度, I I为取绝 对值运算。
在此情况下, 在步骤 201 中, 可确定第一宽度 a=nxA , 其中 n=(2Ae+ew-dh)/2Ah, A为 N个屏幕对应的原始图像之间的盲区宽度。
具体地, 图 3B是从原始图像得到源图像的另一例子的示意图。 在图 3B 的例子中, 原始图像比目标图像的尺寸更大, 并且宽高比也更大(w/h>d/e )。 为了筒洁, 在图 3B的例子中省略了显示设备, 只描绘了拼接图像的轮廓。
如图 3B 所示, 首先对原始图像 105 进行等比例缩放, 得到中间图像 105a,-c,(下文中统称为中间图像 105,)。 缩放因子 ml=e/h, 其中 e为目标图 像的高度, h 为原始图像的高度。 因此中间图像 105,的宽度为 wl=ml xw =ew/h, 中间图像 105,之间的盲区宽度 Al=ml xA=Ae/h。 这里, 假如原始图 像 105的高度 h=e, 则也可以直接将原始图像 105作为中间图像 105,(即等 效于 ml=l )。
由于中间图像 105,的宽度 wl仍然大于目标图像的宽度 d, 因此可以对 中间图像 105,进行裁剪以得到源图像 106。 具体地, 如图 3B中的黑点阴影 部分所示, 裁剪中间图像 105a,的左侧宽度 X的边得到源图像 106a, 裁剪中 间图像 105c,的右侧宽度 X的边得到源图像 106c, 并且裁剪中间图像 105b, 的两侧宽度各为 x/2的边得到源图像 106b, 其中 x=wl-d=(ew/h)-d。 这样, 源图像 106的尺寸和目标图像 107相同, 同时也能满足无错位拼接的要求。
因此, 源图像 106之间的盲区宽度 a=A 1 +x/2=(2Ae+ew-dh)/2h , 即盲区 宽度的缩放因子为 n=a/A=(2Ae+ew-dh)/2Ah。 本发明实施例基于源图像 106 之间的盲区宽度 a执行源图像 106的调整。
图 3C是从原始图像得到源图像的另一例子的示意图。 在图 3C的例子 中, 原始图像比目标图像的尺寸更大, 但是宽高比更小 (w/h<d/e )。 为了筒 洁, 在图 3C的例子中省略了显示设备, 只描绘了拼接图像的轮廓。
在图 3C的实施例中,从原始图像 105得到中间图像 105,的方式与图 3B 相同, 因此不再赘述, 其中中间图像 105,的宽度为 wl=ml xw =ew/h, 中间
图像 105,之间的盲区宽度 Al=ml xA=Ae/h。
由于中间图像 105,的宽度 wl小于目标图像的宽度 d, 因此可以对中间 图像 105,进行填充以得到源图像 106。 具体地, 如图 1F中的网格阴影部分 所示, 在中间图像 105a,的左侧填充宽度 y的边得到源图像 106a, 在中间图 像 105c,的右侧填充宽度 y的边得到源图像 106c, 并且在中间图像 105b,的 两侧各填充宽度为 y/2的边得到源图像 106b, 其中 y=d-wl=d-(ew/h)。 这样, 源图像 106的尺寸和目标图像 107相同, 同时也能满足无错位拼接的要求。
因此, 源图像 106之间的盲区宽度 a=Al-y/2=(2Ae+ew-dh)/2h, 即盲区 宽度的缩放因子为 n=a/A=(2Ae+ew-dh)/2Ah。 本发明实施例基于源图像 106 之间的盲区宽度 a执行源图像 106的调整。
图 3A至图 3C的方法均能够得到尺寸与目标图像相同的源图像, 并且 保证源图像与原始图像一样无错位拼接。 即, 相邻屏幕对应的两个原始图像 分别显示的两个实际场景点所确定的直线的斜率与相邻屏幕对应的两个源 图像分别显示的所述两个实际场景点所确定的直线的斜率一致。
下面, 结合具体例子更加详细地描述本发明实施例。 应注意, 下面的例 子仅仅是为了帮助本领域技术人员更好地理解本发明实施例, 而非限制本发 明实施例的范围。 例如, 在图 4-图 10中, 描绘了源图像和目标图像尺寸相 同且 N=3 的例子, 但本发明实施例不限于此, 而是可以类似地应用于 N=2 或者 N>3的情况, 这样的应用也落入本发明实施例的范围内。 另外, 为了筒 洁, 在下面的实施例中没有描绘显示设备。
图 4A是本发明一个实施例的图像处理方式的示意图。 图 4A的实施例 应用于图 1A所示的场景, 其中保持中间屏幕不作处理, 即直接将中间屏幕 对应的源图像 301b作为中间屏幕的目标图像 302b。 仅对左右两屏(即中间 屏幕的相邻屏幕)对应的源图像 301a和 301c进行调整, 得到相应的目标图 像 302a和 302c。 假设源图像和目标图像的宽度均为 d。
图 4A的上侧是源图像 301的示意图。 源图像 301之间的盲区宽度为第 一宽度 a。 图 4A的下侧是目标图像 302的示意图。 目标图像 302的显示设 备之间的缝宽为第二宽度 b, a>b。
可将相邻屏幕对应的源图像 301a和 301c向远离中间屏幕一侧的方向偏 移宽度 c, 即裁剪掉源图像 301a和 301c远离中间屏幕一侧的宽度为 c的边, 并在相邻屏幕对应的源图像 301a和 301c接近中间屏幕的一侧填充宽度为 c
的预设颜色的边, 以得到相邻屏幕的目标图像 302a和 302c。
具体地, 首先, 如图 4A中的黑点阴影区域所示, 将源图像 301a向左侧 偏移宽度 c, 即裁剪源图像 301a左侧宽度为 c的边; 将源图像 301c向右侧 偏移宽度 c, 即裁剪源图像 301c右侧宽度为 c的边。
其次,如图 4A中的方格阴影区域所示,在裁剪后的源图像 301a右侧填 充宽度为 c的边, 并在裁剪后的源图像 301c左侧填充宽度为 c的边。 这样 分别得到目标图像 302a和 302c。
按照图 4A得到的目标图像 302和源图像 301具有相同的尺寸。 虽然目 标图像 302的有效显示区域(图 4A中的无阴影部分) 比源图像 301小, 但 是保证了图像 302的无错位拼接,图 4A中的三条斜线仍保持在同一直线上。 有效显示区域是图像中包含会议画面内容的区域, 例如包含参会人员、 背景 等的区域。
可选地, 作为一个实施例, 填充的边(图 4A中的方格阴影部分) 的颜 色可以与显示设备的边框颜色相同或相近, 这样用户在观看目标图像时可以 从视觉上将填充的部分当作是显示设备边框的一部分, 能够增强用户的视觉 感受。
另外, 图 4A的实施例能够维持图像中真人的大小, 增强用户体验。 图 4B是本发明另一实施例的图像处理方式的示意图。 图 4B的实施例 应用于图 1B所示的场景, 其中保持中间屏幕不作处理, 即直接将中间屏幕 对应的源图像 301b作为中间屏幕的目标图像 303b。 仅对左右两屏(即中间 屏幕的相邻屏幕)对应的源图像 301a和 301c进行调整, 得到相应的目标图 像 303a和 303c。 假设源图像和目标图像的宽度均为 d。
图 4B的上侧是源图像 301的示意图。 源图像 301之间的盲区宽度为第 一宽度 a。 图 4B的下侧是目标图像 303的示意图。 目标图像 303的显示设 备之间的缝宽为第二宽度 b, a<b。
可将相邻屏幕对应的源图像 301a和 301c向接近中间屏幕一侧的方向偏 移宽度 c ( c=b-a ), 即裁剪掉源图像 301a和 301c接近中间屏幕一侧的宽度 为 c的边, 并在相邻屏幕对应的源图像 301a和 301c远离中间屏幕的一侧填 充宽度为 c的预设颜色的边, 以得到相邻屏幕的目标图像 303a和 303c。
具体地, 首先, 如图 4B中的黑点阴影区域所示, 将源图像 301a向右侧 偏移宽度 c, 即裁剪源图像 301a右侧宽度为 c的边; 将源图像 301c向左侧
偏移宽度 c, 即裁剪源图像 301c左侧宽度为 c的边。
其次, 如图 4B中的方格阴影区域所示, 在裁剪后的源图像 301c右侧填 充宽度为 c的边, 并在裁剪后的源图像 301a左侧填充宽度为 c的边。 这样 得到目标图像 303a和 303c。
按照图 4B得到的目标图像 303和源图像 301具有相同的尺寸。 虽然目 标图像 303的有效显示区域(图 4B中的无阴影部分) 比源图像 301小, 但 是保证了图像 303的无错位拼接,图 4B中的三条斜线仍保持在同一直线上。
可选地, 作为一个实施例, 填充的边(图 4B中的方格阴影部分) 的颜 色可以与显示设备的边框颜色相同或相近, 这样用户在观看目标图像时可以 从视觉上将填充的部分当作是显示设备边框的一部分, 能够增强用户的视觉 感受。
另外, 图 4B的实施例能够维持图像中真人的大小, 增强用户体验。 图 5是本发明另一实施例的图像处理方式的示意图。 图 5的实施例是图 4A的实施例的变型,应用于图 1A所示的场景, 其中对中间屏幕对应的源图 像 301b也进行裁剪。
具体地,获得图 5的目标图像 304a的方法和获得图 4A的目标图像 302a 的方法相同,获得图 5的目标图像 304c的方法和获得图 4A的目标图像 302c 的方法相同, 因此不再重复描述。
如图 5的斜线阴影部分所示, 在中间屏幕对应的源图像 301b的两侧各 裁剪宽度为 f的边,并在裁剪掉的部分上重新填充预设颜色的宽度为 f的边, 得到中间屏幕的目标图像 304b。可选地,填充的边的预设颜色可以与显示设 备的边框颜色相同或相近, 这样能够增强用户的视觉感受。
另外, 在图 5的例子中, 宽度 f=|a-b|/2。 由于第一宽度 a大于第二宽度 b, 所以 f=(a-b)/2。
根据图 5的实施例, 三个目标图像 304a, 304b和 304c的有效显示区域
(图 5中的无阴影部分)的尺寸相同, 均在相应源图像的基础上裁剪了总共 宽度 c的边。 这样可以增强用户体验。
图 6是本发明另一实施例的图像处理方式的示意图。 图 6的实施例是图 4B的实施例的变型, 应用于图 1B所示的场景, 其中对中间屏幕对应的源图 像 301b也进行裁剪。
具体地,获得图 6的目标图像 305a的方法和获得图 4B的目标图像 303a
的方法相同,获得图 6的目标图像 305c的方法和获得图 4B的目标图像 303c 的方法相同, 因此不再重复描述。
如图 6的斜线阴影部分所示, 在中间屏幕对应的源图像 301b的两侧各 裁剪宽度为 f的边,并在裁剪掉的部分上重新填充预设颜色的宽度为 f的边, 得到中间屏幕的目标图像 305b。可选地,填充的边的预设颜色可以与显示设 备的边框颜色相同或相近, 这样能够增强用户的视觉感受。
另外, 在图 6的例子中, 宽度 f=|a-b|/2。 由于第一宽度 a小于第二宽度 b, 所以 f=(b-a)/2。
根据图 6的实施例, 三个目标图像 305a, 305b和 305c的有效显示区域 (图 6中的无阴影部分)的尺寸相同, 均在相应源图像的基础上裁剪了总共 宽度 c的边。 这样可以增强用户体验。
图 7是本发明另一实施例的图像处理方式的示意图。 图 7的实施例是图 4A的实施例的变型,应用于图 1A所示的场景, 其中对中间屏幕对应的源图 像 301b也进行裁剪。
具体地,获得图 7的目标图像 306a的方法和获得图 4A的目标图像 302a 的方法相同,获得图 7的目标图像 306c的方法和获得图 4A的目标图像 302c 的方法相同, 因此不再重复描述。
如图 7的斜线阴影部分所示, 在中间屏幕对应的源图像 301b的两侧各 裁剪宽度为 f的边,并在裁剪掉的部分上重新填充预设颜色的宽度为 f的边, 得到中间屏幕的目标图像 306b。可选地,填充的边的预设颜色可以与显示设 备的边框颜色相同或相近, 这样能够增强用户的视觉感受。
另外, 在图 7的例子中, 宽度 f=|a-b|。 由于第一宽度 a大于第二宽度 b, 所以 f=a-b=c。
根据图 7的实施例, 三个目标图像 306a、 306b和 306c的有效显示区域 (图 7中的无阴影部分)的边缘与显示设备边框之间的距离相同, 均为 a-b。 这样可以增强用户体验。
图 8是本发明另一实施例的图像处理方式的示意图。 图 8的实施例是图 4B的实施例的变型, 应用于图 1B所示的场景, 其中对中间屏幕对应的源图 像 301b也进行裁剪。
具体地, 图 8的目标图像 307a和图 4B的目标图像 303a相同, 图 8的 目标图像 307c和图 4B的目标图像 303c相同, 因此不再重复描述。
如图 8的斜线阴影部分所示, 在中间屏幕对应的源图像 301b的两侧各 裁剪宽度为 f的边,并在裁剪掉的部分上重新填充预设颜色的宽度为 f的边, 得到中间屏幕的目标图像 307b。可选地,填充的边的预设颜色可以与显示设 备的边框颜色相同或相近, 这样能够增强用户的视觉感受。
另外, 在图 8的例子中, 宽度 f=|a-b|。 由于第一宽度 a小于第二宽度 b, 所以 f=b-a=c。
根据图 8的实施例, 三个目标图像 307a, 307b和 307c的有效显示区域 (图 7中的无阴影部分)的有效显示区域的边缘与显示设备边框之间的距离 相同, 均为 b-a。 这样可以增强用户体验。
图 9是本发明另一实施例的图像处理方式的示意图。 图 9的实施例应用 于图 1A所示的场景, 其中在对 N个屏幕中一个或多个屏幕对应的源图像进 行缩放以得到目标图像时, 可按照缩放因子 k缩小源图像, k=(b+d)/(a+d), 其中 a为第一宽度, b为第二宽度, d为源图像的宽度, 且&>^ 在缩小后的 源图像四周填充预设颜色的边以得到目标图像。进行缩放时可保持图像的中 心点位置不变。
具体地, 如图 9所示, 假设源图像 301a-301c的宽度为 d, 高度为 e, 缩 放比例为 k, 则缩小后的部分宽为 kd, 高为 ke。 如果要求缩小后的图像仍能 无错位拼接, 即图 9所示的源图像和目标图像中斜线的斜率保持不变, 因此 可以得到等式( 1 ):
[3kd+2b+4( 1 -k)d/2]/ke=(3d+2a)/e ( 1 )
根据等式( 1 )可以得到
k=(b+d)/(a+d) ( 2 )
因此需要将源图像 301a-301c缩放为原大小的 (b+d)/(a+d)。 在本实施例 中, 缩放因子 ]^<1 , 因此还需要在缩小后的图像周围填充一个边框(如图 9 所示的斜线阴影部分) 以得到目标图像 308a-308c。 如果缩小后的源图像部 分(如图 9的下侧所示的无阴影部分)仍居中, 则可以得到上下框的高度之 和为 e(a-b)/(a+d),左右框的宽度之和为 d(a-b)/(a+d)。通常上下框的高度可以 相同, 即分别为 e(a-b)/2(a+d); 左右框的宽度也相同即分别为 d(a-b)/2(a+d)。
但是本发明实施例不限于此,也可以使得目标图像中缩小后的源图像部 分不居中, 例如可以在图 9的目标图像的基础上将缩小后的源图像部分同时 下移相同的距离, 例如移至显示设备的下边缘; 或者可以在图 9的目标图像
的基础上将缩小后的源图像部分同时上移相同的距离, 例如移至显示设备的 上边缘; 或者可以在图 9的目标图像的基础上将缩小后的源图像部分同时左 移相同的距离, 例如移至显示设备的左边缘; 或者可以在图 9的目标图像的 基础上将缩小后的源图像部分同时右移相同的距离, 例如移至显示设备的右 边缘, 等等。 上述方式均可以保证目标图像 308a-308c仍能无错位拼接。
可选地, 填充的边的预设颜色可以与显示设备的边框颜色相同或相近, 这样能够增强用户的视觉感受。
图 9的调整方式未损失任何源图像的信息,并保持了目标图像的拼接无 错位。 另外, 三幅目标图像的有效显示区域(图 9中的无阴影部分)的大小 相同, 用户体验一致。
图 10是本发明另一实施例的图像处理方式的示意图。 图 10的实施例应 用于图 1B所示的场景, 其中在对 N个屏幕中一个或多个屏幕对应的源图像 进行缩放和裁剪以得到目标图像时, 可按照缩放因子 k 放大源图像, k=(b+d)/(a+d), 其中 a为第一宽度, b为第二宽度, d为源图像的宽度, 且 a<b; 裁剪放大后的源图像的边缘部分以得到目标图像。 进行缩放时可保持 图像的中心点位置不变。
由于第二宽度 b大于第一宽度 a, 因此需要放大源图像 301a-301c, 以保 证目标图像的拼接无错位。
具体地, 如图 10下侧的虚线框所示, 放大后的源图像宽度为 kd, 高度 为 ke。 此时需要裁剪边缘部分, 即图 10中的黑点阴影部分, 得到目标图像 309a-309c。
图 10的方式也能保证目标图像 309a-309c拼接无错位。
根据上述实施例,可获取源图像之间的盲区宽度和目标图像的显示设备 之间的缝宽, 并根据所获取的宽度值调整源图像, 得到拼接无错位的目标图 像, 从而提高了远程呈现的真实感。
图 11是本发明一个实施例的图像处理设备的框图。 图 11的图像处理设 备 110包括确定单元 111和调整单元 112。
确定单元 111确定第一宽度和第二宽度,其中第二宽度为 N个屏幕的目 标图像的显示设备之间的缝宽,第一宽度为该 N个屏幕对应的源图像之间的 盲区宽度, N为大于 1的整数, N个屏幕大小相等且等高并排放置。
调整单元 112在第一宽度和第二宽度不同时, 根据确定单元 111所确定
的第一宽度和第二宽度,调整源图像得到目标图像,使得 N个屏幕的目标图 像的拼接无错位。
目标图像的拼接无错位, 则保证相邻屏幕的两个源图像分别显示的两个 实际场景点所确定的直线的斜率(例如相对于水平线的斜率)与相邻屏幕的 两个目标图像分别显示的所述两个实际场景点所确定的直线的斜率一致。
本发明实施例可获取源图像之间的盲区宽度和目标图像的显示设备之 间的缝宽,并根据所获取的宽度值调整源图像,得到拼接无错位的目标图像, 从而提高了远程呈现的真实感。
本发明实施例的图像处理设备 110可实现图 2所示的方法以及图 3-图 10 所示的各个实施例, 为避免重复, 不再详细描述。
可选地,作为一个实施例,调整单元 112可对 N个屏幕中一个或多个屏 幕对应的源图像进行裁剪以得到目标图像;或者对 N个屏幕中一个或多个屏 幕对应的源图像进行缩放以得到目标图像;或者对 N个屏幕中一个或多个屏 幕对应的源图像进行缩放和裁剪以得到目标图像。
可选地,作为另一实施例,调整单元 112可将 N个屏幕中第一屏幕对应 的源图像作为第一屏幕的目标图像,或者裁剪第一屏幕对应的源图像作为第 一屏幕的目标图像; 以及裁剪第一屏幕的相邻屏幕对应的源图像作为相邻屏 幕的目标图像。
可选地, 作为另一实施例, 调整单元 112, 可计算所述源图像中需要裁 剪的部分,确定所述需要裁剪的部分在该源图像的颜色阵列中对应的像素区 域, 并丟弃该像素区域中的像素数据, 计算需要填充的部分, 确定需要填充 的部分在该源图像的颜色阵列中所对应的像素区域位置, 并在该像素区域位 置所对应的像素区域中添加预设颜色的像素数据,从而得到所述源图像对应 的目标图像。
可选地, 作为另一实施例, 调整单元 112, 可根据第一宽度和第二宽度 计算缩放因子, 并在第一宽度大于第二宽度时, 根据该缩放因子对所述源图 像的颜色阵列中的所有像素进行压缩处理, 计算需要填充的部分, 确定需要 填充的部分在该源图像的颜色阵列中所对应的像素区域位置, 并在该像素区 域位置所对应的像素区域中添加预设颜色的像素数据,从而得到所述源图像 对应的目标图像。
可选地, 作为另一实施例, 调整单元 112, 可根据第一宽度和第二宽度
计算缩放因子, 并在第一宽度小于第二宽度时, 根据所述缩放因子对所述源 图像的颜色阵列中的所有像素进行拉伸处理,计算所述源图像中需要裁剪的 部分, 确定所述需要裁剪的部分在该源图像的颜色阵列中对应的像素区域, 并丟弃该像素区域中的像素数据, 从而得到所述源图像对应的目标图像。
可选地, 作为另一实施例, 调整单元 112可将相邻屏幕对应的源图像中 远离第一屏幕一侧的宽度为 c的部分裁剪掉, 并在相邻屏幕对应的源图像接 近第一屏幕的一侧填充宽度为 c的预设颜色的边, 以得到相邻屏幕的目标图 像, 其中 a为第一宽度, b为第二宽度, a>b, c=a-b。 例如, 如图 4A的实施 例所示, 可以增强用户体验。
可选地, 作为另一实施例, 调整单元 112可将相邻屏幕对应的源图像中 接近第一屏幕一侧的宽度为 c的部分裁剪掉, 并在相邻屏幕对应的源图像远 离第一屏幕的一侧填充宽度为 c的预设颜色的边, 以得到相邻屏幕的目标图 像, 其中 a为第一宽度, b为第二宽度, a<b, c=b-a。 例如, 如图 4B的实施 例所示, 可以增强用户体验。
可选地, 作为另一实施例, 调整单元 112可裁剪第一屏幕对应的源图像 两侧宽度为 f的边, 并在第一屏幕对应的源图像两侧分别填充宽度为 f的预 设颜色的边。 例如,如图 5-图 8的实施例所示, 可以增强用户体验。可选地, f=|a-b|/2或者 f=|a-b|。
可选地,作为另一实施例,调整单元 112可按照缩放因子 k缩小源图像, k=(b+d)/(a+d), 其中 a为第一宽度, b为第二宽度, d为源图像的宽度, 且 a>b; 在缩小后的源图像四周填充预设颜色的边以得到目标图像。 进行缩放 时可保持图像的中心点位置不变。 例如, 如图 9的实施例所示, 可以增强用 户体验。
可选地,作为另一实施例,调整单元 112可按照缩放因子 k放大源图像, k=(b+d)/(a+d), 其中 a为第一宽度, b为第二宽度, d为源图像的宽度, 且 a<b; 裁剪放大后的源图像的边缘部分以得到目标图像。 进行缩放时可保持 图像的中心点位置不变。 例如, 如图 10的实施例所示, 可以增强用户体验。
可选地, 作为另一实施例, 上述预设颜色可以是目标图像的显示设备的 边框颜色或接近目标图像的显示设备的边框颜色。
可选地, 作为另一实施例, 确定单元 111还可以根据预先设置或者用户 指示确定调整源图像的方式, 从而调整单元 112可根据所确定的调整方式来
调整源图像。 例如, 可以提供多种调整方式供用户选择, 根据用户的偏好选 择调整方式之一。
可选地,作为另一实施例,调整单元 112还可以对 N个屏幕对应的原始 图像进行预处理以得到尺寸与目标图像相同的 N个屏幕对应的源图像,其中 原始图像的尺寸与目标图像相同或不同。
可选地, 作为另一实施例, 如果原始图像的尺寸与目标图像相同, 则调 整单元 112可将原始图像作为源图像;如果原始图像的尺寸与目标图像不同, 则调整单元 112可对 N个屏幕对应的原始图像分别进行缩放、 裁剪和 /或填 充以得到对应的源图像。
可选地, 作为另一实施例, 如果原始图像的宽高比与目标图像相同, 原 始图像的宽度 w与目标图像的宽度 d不同,则调整单元 112可按照缩放因子 m对 N个屏幕对应的原始图像进行等比例缩放以得到对应的源图像, 其中 m=d/W o
此时, 确定单元 111可确定第一宽度 a=nxA, 其中 n=m, A为 N个屏幕 对应的原始图像之间的盲区宽度。 例如图 3A所示的实施例。
可选地, 作为另一实施例, 如果原始图像的宽高比与目标图像不同, 则 调整单元 112可按照缩放因子 ml对 N个屏幕对应的原始图像进行等比例缩 放以得到对应的中间图像, 其中 ml=e/h, e为目标图像的高度, h为原始图 像的高度; 按照缩放因子 m2对 N个屏幕对应的中间图像分别进行宽度的缩 放以得到对应的源图像, 其中 m2=dh/ew, 其中 d为目标图像的宽度, w为 原始图像的宽度。
此时, 确定单元 111可确定第一宽度 a=n A, 其中 n=d/w, A为 N个屏 幕对应的原始图像之间的盲区宽度。
可选地, 作为另一实施例, 如果原始图像的宽高比与目标图像不同, 则 调整单元 112可按照缩放因子 ml对 N个屏幕对应的原始图像进行等比例缩 放以得到对应的中间图像, 其中 ml=e/h, e为目标图像的高度, h为原始图 像的高度; 在 N 个屏幕对应的中间图像的一侧或两侧裁剪或填充总宽度为 |d-(ew/h)|的边以得到对应的源图像, 其中 d为目标图像的宽度, w为原始图 像的宽度, I I为取绝对值运算。
此时, 确定单元 111可确定第一宽度 a=n A, 其中 n=(2Ae+ew-dh)/2Ah,
A为 N个屏幕对应的原始图像之间的盲区宽度。 例如图 3B和图 3C所示的
实施例。
本发明实施例的图像处理设备可获取源图像之间的盲区宽度和目标图 像的显示设备之间的缝宽, 并根据所获取的宽度值调整源图像, 得到拼接无 错位的目标图像, 从而提高了远程呈现的真实感。 即使原始图像与目标图像 的尺寸不一致, 也可以通过对原始图像进行预处理得到源图像, 从而调整源 图像得到拼接无错位的目标图像。
图 12是本发明另一实施例的图像处理设备的示意框图。 图 12的图像处 理设备 120包括处理器 121和存储器 122。
存储器 122存储使得处理器 121执行以下操作的指令: 确定第一宽度和 第二宽度, 其中所述第二宽度为 N 个屏幕的目标图像的显示设备之间的缝 宽, 所述第一宽度为 N个屏幕对应的源图像之间的盲区宽度, N为大于 1 的整数,所述 N个屏幕大小相等且等高并排放置; 当所述第一宽度和所述第 二宽度不同时, 根据所确定的第一宽度和第二宽度, 调整所述源图像得到所 述目标图像, 使得所述 N个屏幕的目标图像的拼接无错位。
目标图像的拼接无错位, 则保证相邻屏幕的两个源图像分别显示的两个 实际场景点所确定的直线的斜率(例如相对于水平线的斜率)与相邻屏幕的 两个目标图像分别显示的所述两个实际场景点所确定的直线的斜率一致。
本发明实施例获取源图像之间的盲区宽度和目标图像的显示设备之间 的缝宽, 并根据所获取的宽度值调整源图像, 得到拼接无错位的目标图像, 从而提高了远程呈现的真实感。
本发明实施例的图像处理设备 120可实现图 2所示的方法以及图 3-图 10所示的各个实施例, 为避免重复, 不再详细描述。
处理器 121和存储器 122通过总线系统相连。总线系统除包括数据总线 之外, 还可以包括电源总线、 控制总线和状态信号总线等, 本发明实施例对 总线的具体形式不作限制。
存储器 122存储使得处理器 121执行各项操作的指令以及执行各项操作 所需的数据。 处理器 121可以是 CPU ( Central Processing Unit, 中央处理单 元), 也可以是 GPU ( Graphic Processing Unit, 图形处理单元), 或者可以是 其他形式,例如通用处理器、数字信号处理器( DSP )、专用集成电路( ASIC )、 现场可编程门阵列 (FPGA )或者其他可编程逻辑器件、 分立门或者晶体管
法、 步骤及逻辑框图。 通用处理器可以是微处理器或者该处理器也可以是任 何常规的处理器等。 存储器 122可以包括只读存储器和随机存取存储器, 并 向处理器 121提供指令和数据。存储器 122的一部分还可以包括非易失性随 机存取存储器( NVRAM )。
另外, 在实现过程中, 上述方法的各步骤可以通过处理器 121中的硬件 的集成逻辑电路或者软件形式的指令控制完成。上述的处理器 121结合本发 明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成, 或 者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机 存储器, 闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、 寄存器等本领域成熟的存储介质中。该存储介质位于存储器 122,处理器 121 读取存储器 122中的信息, 结合其硬件完成上述方法的步骤。
可选地,作为一个实施例,第一宽度和第二宽度可以是图像处理设备 120 根据系统规格参数 (例如显示设备的规格参数等 )提取获得的, 也可以是根 据用户输入获得的, 本发明实施例对此不作限制。
可选地, 作为一个实施例, 上述调整源图像得到目标图像的方式包括但 不限于裁剪和 /或缩放 N个屏幕中一个或多个屏幕对应的源图像。
可选地,作为另一实施例,处理器 121在对 N个屏幕中一个或多个屏幕 对应的源图像进行裁剪以得到目标图像时,可将 N个屏幕中第一屏幕对应的 源图像作为第一屏幕的目标图像, 或者裁剪第一屏幕对应的源图像作为第一 屏幕的目标图像; 以及裁剪第一屏幕的相邻屏幕对应的源图像作为相邻屏幕 的目标图像。
可选地, 作为另一实施例, 处理器 121在裁剪第一屏幕的相邻屏幕对应 的源图像作为相邻屏幕的目标图像时, 可将相邻屏幕对应的源图像中远离第 一屏幕一侧的宽度为 c的部分裁剪掉, 并在相邻屏幕对应的源图像接近第一 屏幕的一侧填充宽度为 c的预设颜色的边, 以得到相邻屏幕的目标图像, 其 中 a为第一宽度, b为第二宽度, a>b, c=a-b。
可选地, 作为另一实施例, 处理器 121在裁剪第一屏幕的相邻屏幕对应 的源图像作为相邻屏幕的目标图像时, 可将相邻屏幕对应的源图像中接近第 一屏幕一侧的宽度为 c的部分裁剪掉, 并在相邻屏幕对应的源图像远离第一 屏幕的一侧填充宽度为 c的预设颜色的边, 以得到相邻屏幕的目标图像, 其 中 a为第一宽度, b为第二宽度, a<b, c=b-a。
可选地, 作为另一实施例, 处理器 121在裁剪第一屏幕对应的源图像作 为第一屏幕的目标图像时,可裁剪第一屏幕对应的源图像两侧宽度为 f的边, 并在第一屏幕对应的源图像两侧分别填充宽度为 f的预设颜色的边。 f<=|a-b| , 可选地, f=|a-b|/2或者 f=|a-b|。
可选地,作为另一实施例,处理器 121在对 N个屏幕中一个或多个屏幕 对应的源图像进行缩放以得到目标图像时, 可按照缩放因子 k缩小源图像, k=(b+d)/(a+d), 其中 a为第一宽度, b为第二宽度, d为源图像的宽度, 且 a>b; 在缩小后的源图像四周填充预设颜色的边以得到目标图像。 进行缩放 时可保持图像的中心点位置不变。
可选地,作为另一实施例,处理器 121在对 N个屏幕中一个或多个屏幕 对应的源图像进行缩放和裁剪以得到目标图像时, 可按照缩放因子 k放大源 图像, k=(b+d)/(a+d),其中 a为第一宽度, b为第二宽度, d为源图像的宽度, 且&<¾; 裁剪放大后的源图像的边缘部分以得到目标图像。 进行缩放时可保 持图像的中心点位置不变。
可选地, 作为另一实施例, 上述预设颜色可以是目标图像的显示设备的 边框颜色或接近目标图像的显示设备的边框颜色。
可选地, 作为另一实施例, 处理器 121还可以根据预先设置或者用户指 示确定调整源图像的方式。 例如, 可以提供多种调整方式供用户选择, 根据 用户的偏好选择调整方式之一。
可选地,作为另一实施例,处理器 121还可以对 N个屏幕对应的原始图 像进行预处理以得到尺寸与目标图像相同的 N个屏幕对应的源图像,其中原 始图像的尺寸与目标图像相同或不同。
可选地, 作为另一实施例, 如果原始图像的尺寸与目标图像相同, 则处 理器 121可将原始图像作为源图像; 如果原始图像的尺寸与目标图像不同, 则处理器 121可对 N个屏幕对应的原始图像分别进行缩放、 裁剪和 /或填充 以得到对应的源图像。
可选地, 作为另一实施例, 如果原始图像的宽高比与目标图像相同, 原 始图像的宽度 w与目标图像的宽度 d不同,则处理器 121可按照缩放因子 m 对 N 个屏幕对应的原始图像进行等比例缩放以得到对应的源图像, 其中 m=d/W o
此时, 处理器 121可确定第一宽度 a=nxA, 其中 n=m, A为 N个屏幕
对应的原始图像之间的盲区宽度。 例如图 3A所示的实施例。
可选地, 作为另一实施例, 如果原始图像的宽高比与目标图像不同, 则 处理器 121可按照缩放因子 ml对 N个屏幕对应的原始图像进行等比例缩放 以得到对应的中间图像, 其中 ml=e/h, e为目标图像的高度, h为原始图像 的高度;按照缩放因子 m2对 N个屏幕对应的中间图像分别进行宽度的缩放 以得到对应的源图像, 其中 m2=dh/ew, 其中 d为目标图像的宽度, w为原 始图像的宽度。
此时, 处理器 121可确定第一宽度 a=nxA, 其中 n=d/w, A为 N个屏幕 对应的原始图像之间的盲区宽度。
可选地, 作为另一实施例, 如果原始图像的宽高比与目标图像不同, 则 处理器 121可按照缩放因子 ml对 N个屏幕对应的原始图像进行等比例缩放 以得到对应的中间图像, 其中 ml=e/h, e为目标图像的高度, h为原始图像 的高度; 在 N 个屏幕对应的中间图像的一侧或两侧裁剪或填充总宽度为 |d-(ew/h)|的边以得到对应的源图像, 其中 d为目标图像的宽度, w为原始图 像的宽度, I I为取绝对值运算。
此时, 处理器 121可确定第一宽度 a=nxA, 其中 n=(2Ae+ew-dh)/2Ah, A为 N个屏幕对应的原始图像之间的盲区宽度。 例如图 3B和图 3C所示的 实施例。
本发明实施例可获取源图像之间的盲区宽度和目标图像的显示设备之 间的缝宽,并根据所获取的宽度值调整源图像,得到拼接无错位的目标图像, 从而提高了远程呈现的真实感。 即使原始图像与目标图像的尺寸不一致, 也 可以通过对原始图像进行预处理得到源图像,从而调整源图像得到拼接无错 位的目标图像。
另外, 本发明实施例对上述图像处理设备 110和 120的位置不作限制。 图像处理设备 110和 120可以位于远程会场的拍摄端, 也可以位于显示目标 图像的目标端,或者可以位于拍摄端和目标端之间。图像处理设备 110和 120 可以是一个独立的设备, 也可以作为设备的一个部件。
本领域普通技术人员可以意识到, 结合本文中所公开的实施例描述的各 示例的单元及算法步骤, 能够以电子硬件、 或者计算机软件和电子硬件的结 合来实现。 这些功能究竟以硬件还是软件方式来执行, 取决于技术方案的特 定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方
法来实现所描述的功能 , 但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到, 为描述的方便和筒洁, 上述描 述的系统、 装置和单元的具体工作过程, 可以参考前述方法实施例中的对应 过程, 在此不再赘述。
在本申请所提供的几个实施例中, 应该理解到, 所揭露的系统、 装置和 方法, 可以通过其它的方式实现。 例如, 以上所描述的装置实施例仅仅是示 意性的, 例如, 所述单元的划分, 仅仅为一种逻辑功能划分, 实际实现时可 以有另外的划分方式, 例如多个单元或组件可以结合或者可以集成到另一个 系统, 或一些特征可以忽略, 或不执行。 另一点, 所显示或讨论的相互之间 的耦合或直接耦合或通信连接可以是通过一些接口, 装置或单元的间接耦合 或通信连接, 可以是电性, 机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作 为单元显示的部件可以是或者也可以不是物理单元, 即可以位于一个地方, 或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或 者全部单元来实现本实施例方案的目的。
另外, 在本发明各个实施例中的各功能单元可以集成在一个处理单元 中, 也可以是各个单元单独物理存在, 也可以两个或两个以上单元集成在一 个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使 用时, 可以存储在一个计算机可读取存储介质中。 基于这样的理解, 本发明 的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部 分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质 中, 包括若干指令用以使得一台计算机设备(可以是个人计算机, 服务器, 或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。 而前 述的存储介质包括: U盘、移动硬盘、只读存储器( ROM, Read-Only Memory )、 随机存取存储器(RAM, Random Access Memory ), 磁碟或者光盘等各种可 以存储程序代码的介质。
以上所述, 仅为本发明的具体实施方式, 但本发明的保护范围并不局限 于此, 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内, 可轻易 想到变化或替换, 都应涵盖在本发明的保护范围之内。 因此, 本发明的保护 范围应所述以权利要求的保护范围为准。
Claims
1、 一种图像处理方法, 其特征在于, 包括:
确定第一宽度和第二宽度,其中所述第二宽度为 N个屏幕的目标图像的 显示设备之间的缝宽,所述第一宽度为所述 N个屏幕对应的源图像之间的盲 区宽度, N为大于 1的整数, 所述 N个屏幕大小相等且等高并排放置; 当所述第一宽度和所述第二宽度不同时,根据所确定的第一宽度和第二 宽度,调整所述源图像得到所述目标图像,使得所述 N个屏幕的目标图像的 拼接无错位。
2、 如权利要求 1 所述的方法, 其特征在于, 所述调整所述源图像得到 所述目标图像, 使得所述 N个屏幕的目标图像的拼接无错位, 包括:
对所述 N 个屏幕中一个或多个屏幕对应的源图像进行裁剪和填充以得 到对应的目标图像, 使得所述 N个屏幕的目标图像的拼接无错位; 或者 对所述 N 个屏幕中一个或多个屏幕对应的源图像进行缩小和填充以得 到对应的目标图像, 使得所述 N个屏幕的目标图像的拼接无错位; 或者 对所述 N 个屏幕中一个或多个屏幕对应的源图像进行放大和裁剪以得 到对应的目标图像, 使得所述 N个屏幕的目标图像的拼接无错位。
3、 如权利要求 2所述的方法, 其特征在于, 所述对所述 N个屏幕中一 个或多个屏幕对应的源图像进行裁剪和填充以得到对应的目标图像,使得所 述 N个屏幕的目标图像的拼接无错位, 包括:
计算所述源图像中需要裁剪的部分,确定所述需要裁剪的部分在该源图 像的颜色阵列中对应的像素区域, 并丟弃该像素区域中的像素数据, 计算需 要填充的部分,确定需要填充的部分在该源图像的颜色阵列中所对应的像素 区域位置, 并在该像素区域位置所对应的像素区域中添加预设颜色的像素数 据,从而得到所述源图像对应的目标图像,使得所述 N个屏幕的目标图像的 拼接无错位。
4、 如权利要求 2所述的方法, 其特征在于, 所述对所述 N个屏幕中一 个或多个屏幕对应的源图像进行缩小和填充以得到对应的目标图像,使得所 述 N个屏幕的目标图像的拼接无错位, 包括:
根据第一宽度和第二宽度计算缩放因子, 并在所述第一宽度大于所述第 二宽度时,根据该缩放因子对所述源图像的颜色阵列中的所有像素进行压缩
处理, 计算需要填充的部分, 确定需要填充的部分在该源图像的颜色阵列中 所对应的像素区域位置, 并在该像素区域位置所对应的像素区域中添加预设 颜色的像素数据,从而得到所述源图像对应的目标图像,使得所述 N个屏幕 的目标图像的拼接无错位。
5、 如权利要求 2所述的方法, 其特征在于, 所述对所述 N个屏幕中一 个或多个屏幕对应的源图像进行放大和裁剪以得到对应的目标图像,使得所 述 N个屏幕的目标图像的拼接无错位, 包括:
根据第一宽度和第二宽度计算缩放因子, 并在所述第一宽度小于所述第 二宽度时,根据所述缩放因子对所述源图像的颜色阵列中的所有像素进行拉 伸处理, 计算所述源图像中需要裁剪的部分, 确定所述需要裁剪的部分在该 源图像的颜色阵列中对应的像素区域, 并丟弃该像素区域中的像素数据, 从 而得到所述源图像对应的目标图像,使得所述 N个屏幕的目标图像的拼接无 错位。
6、 如权利要求 2或 3所述的方法, 其特征在于, 所述对所述 N个屏幕 中一个或多个屏幕对应的源图像进行裁剪和填充以得到对应的目标图像,使 得所述 N个屏幕的目标图像的拼接无错位, 包括:
将所述 N 个屏幕中第一屏幕对应的源图像作为所述第一屏幕的目标图 像, 或者裁剪和填充所述第一屏幕对应的源图像作为所述第一屏幕的目标图 像; 以及裁剪和填充所述第一屏幕的相邻屏幕对应的源图像作为所述相邻屏 幕的目标图像, 使得所述 N个屏幕的目标图像的拼接无错位。
7、 如权利要求 6所述的方法, 其特征在于, 所述裁剪和填充所述第一 屏幕的相邻屏幕对应的源图像作为所述相邻屏幕的目标图像, 包括:
当所述第一宽度大于所述第二宽度时,将所述相邻屏幕对应的源图像中 远离所述第一屏幕一侧的宽度为 c的部分裁剪掉, 并在所述相邻屏幕对应的 源图像接近所述第一屏幕的一侧填充宽度为 c的预设颜色的边, 以得到所述 相邻屏幕的目标图像, 其中 c=a-b, a为第一宽度, b为第二宽度。
8、 如权利要求 6所述的方法, 其特征在于, 所述裁剪所述第一屏幕的 相邻屏幕对应的源图像作为所述相邻屏幕的目标图像, 包括:
当所述第一宽度小于所述第二宽度时,将所述相邻屏幕对应的源图像中 接近所述第一屏幕一侧的宽度为 c的部分裁剪掉, 并在所述相邻屏幕对应的 源图像远离所述第一屏幕的一侧填充宽度为 c的预设颜色的边, 以得到所述
相邻屏幕的目标图像, 其中 c=b-a, a为第一宽度, b为第二宽度。
9、 如权利要求 6所述的方法, 其特征在于, 所述裁剪所述第一屏幕对 应的源图像作为所述第一屏幕的目标图像, 包括:
裁剪所述第一屏幕对应的源图像两侧宽度为 f的边, 并在所述第一屏幕 对应的源图像两侧分别填充宽度为 f的预设颜色的边, f<=|a-b|。
10、 如权利要求 9所述的方法, 其特征在于, f=|a-b|/2或者 f=|a-b| , 其 中 a为第一宽度, b为第二宽度。
11、 如权利要求 2或 4所述的方法, 其特征在于, 所述对所述 N个屏幕 中一个或多个屏幕对应的源图像进行缩小和填充以得到对应的目标图像,使 得所述 N个屏幕的目标图像的拼接无错位, 包括:
当所述第一宽度大于所述第二宽度时,按照缩放因子 k缩小所述源图像, k=(b+d)/(a+d), 其中 a为第一宽度, b为第二宽度, d为所述源图像的宽度; 在缩小后的源图像四周填充预设颜色的边以得到所述目标图像。
12、 如权利要求 2或 5所述的方法, 其特征在于, 所述对所述 N个屏幕 中一个或多个屏幕对应的源图像进行缩放和裁剪以得到对应的目标图像,使 得所述 N个屏幕的目标图像的拼接无错位, 包括:
当所述第一宽度小于所述第二宽度时,按照缩放因子 k放大所述源图像, k=(b+d)/(a+d), 其中 a为第一宽度, b为第二宽度, d为所述源图像的宽度; 裁剪放大后的源图像的边缘部分以得到所述目标图像。
13、如权利要求 3或 4或 6-11任一项所述的方法, 其特征在于, 所述预 设颜色为所述目标图像的显示设备的边框颜色。
14、 如权利要求 1-13任一项所述的方法, 其特征在于, 还包括: 对 N 个屏幕对应的原始图像进行预处理以得到尺寸与所述目标图像相 同的所述 N个屏幕对应的源图像,其中所述原始图像的尺寸与所述目标图像 相同或不同。
15、 如权利要求 14所述的方法, 其特征在于, 所述对 N个屏幕对应的 原始图像进行预处理以得到尺寸与所述目标图像相同的所述 N 个屏幕对应 的源图像, 包括:
如果所述原始图像的尺寸与所述目标图像相同, 则将所述原始图像作为 所述源图像;
如果所述原始图像的尺寸与所述目标图像不同,则对所述 N个屏幕对应
的原始图像分别进行缩放、 裁剪和 /或填充以得到对应的源图像。
16、 如权利要求 15所述的方法, 其特征在于, 所述如果所述原始图像 的尺寸与所述目标图像不同,则对所述 N个屏幕对应的原始图像分别进行缩 放、 裁剪和 /或填充以得到对应的源图像, 包括:
如果所述原始图像的宽高比与所述目标图像相同, 所述原始图像的宽度 w与所述目标图像的宽度 d不同, 则按照缩放因子 m对所述 N个屏幕对应 的原始图像进行等比例缩放以得到对应的源图像, 其中 m=d/w。
17、 如权利要求 16所述的方法, 其特征在于, 所述确定第一宽度, 包 括:
确定所述第一宽度 a=nxA, 其中 n=m, A为所述 N个屏幕对应的原始 图像之间的盲区宽度。
18、 如权利要求 15所述的方法, 其特征在于, 所述如果所述原始图像 的尺寸与所述目标图像不同,则对所述 N个屏幕对应的原始图像分别进行缩 放、 裁剪和 /或填充以得到对应的源图像, 包括:
如果所述原始图像的宽高比与所述目标图像不同, 则按照缩放因子 ml 对所述 N个屏幕对应的原始图像进行等比例缩放以得到对应的中间图像,其 中 ml=e/h, e为所述目标图像的高度, h为所述原始图像的高度;
在 N 个屏幕对应的中间图像的一侧或两侧裁剪或填充总宽度为 |d-(ew/h)|的边以得到对应的源图像, 其中 d为所述目标图像的宽度, w为所 述原始图像的宽度, I I为取绝对值运算。
19、 如权利要求 18所述的方法, 其特征在于, 所述确定第一宽度, 包 括:
确定所述第一宽度 a=nxA, 其中 n=(2Ae+ew-dh)/2Ah, A为所述 N个屏 幕对应的原始图像之间的盲区宽度。
20、 一种图像处理设备, 其特征在于, 包括:
确定单元,用于确定第一宽度和第二宽度,其中所述第二宽度为 N个屏 幕的目标图像的显示设备之间的缝宽,所述第一宽度为所述 N个屏幕对应的 源图像之间的盲区宽度, N为大于 1的整数, 所述 N个屏幕大小相等且等高 并排放置;
调整单元, 用于当所述第一宽度和所述第二宽度不同时根据所述确定单 元所确定的第一宽度和第二宽度, 调整所述源图像得到所述目标图像, 使得
所述 N个屏幕的目标图像的拼接无错位。
21、 如权利要求 20所述的图像处理设备, 其特征在于, 所述调整单元 具体用于对所述 N 个屏幕中一个或多个屏幕对应的源图像进行裁剪和填充 以得到对应的目标图像,使得所述 N个屏幕的目标图像的拼接无错位; 或者 对所述 N 个屏幕中一个或多个屏幕对应的源图像进行缩小和填充以得到对 应的目标图像,使得所述 N个屏幕的目标图像的拼接无错位; 或者对所述 N 个屏幕中一个或多个屏幕对应的源图像进行放大和裁剪以得到对应的目标 图像, 使得所述 N个屏幕的目标图像的拼接无错位。
22、 如权利要求 21所述的图像处理设备, 其特征在于,
所述调整单元具体用于, 计算所述源图像中需要裁剪的部分, 确定所述 需要裁剪的部分在该源图像的颜色阵列中对应的像素区域, 并丟弃该像素区 域中的像素数据, 计算需要填充的部分, 确定需要填充的部分在该源图像的 颜色阵列中所对应的像素区域位置, 并在该像素区域位置所对应的像素区域 中添加预设颜色的像素数据, 从而得到所述源图像对应的目标图像, 使得所 述 N个屏幕的目标图像的拼接无错位; 或者,
所述调整单元具体用于, 根据第一宽度和第二宽度计算缩放因子, 并在 该缩放因子小于 1时,根据该缩放因子对所述源图像的颜色阵列中的所有像 素进行压缩处理, 计算需要填充的部分, 确定需要填充的部分在该源图像的 颜色阵列中所对应的像素区域位置, 并在该像素区域位置所对应的像素区域 中添加预设颜色的像素数据, 从而得到所述源图像对应的目标图像, 使得所 述 N个屏幕的目标图像的拼接无错位; 或者,
所述调整单元具体用于, 根据第一宽度和第二宽度计算缩放因子, 并在 该缩放因子大于 1时,根据所述缩放因子对所述源图像的颜色阵列中的所有 像素进行拉伸处理, 计算所述源图像中需要裁剪的部分, 确定所述需要裁剪 的部分在该源图像的颜色阵列中对应的像素区域, 并丟弃该像素区域中的像 素数据,从而得到所述源图像对应的目标图像,使得所述 N个屏幕的目标图 像的拼接无错位。
23、 如权利要求 21或 22所述的图像处理设备, 其特征在于, 所述调整 单元具体用于将所述 N 个屏幕中第一屏幕对应的源图像作为所述第一屏幕 的目标图像, 或者裁剪和填充所述第一屏幕对应的源图像作为所述第一屏幕 的目标图像; 以及裁剪和填充所述第一屏幕的相邻屏幕对应的源图像作为所
述相邻屏幕的目标图像, 使得所述 N个屏幕的目标图像的拼接无错位。
24、 如权利要求 23所述的图像处理设备, 其特征在于, 所述调整单元 具体用于当所述第一宽度大于所述第二宽度时将所述相邻屏幕对应的源图 像中远离所述第一屏幕一侧的宽度为 c的部分裁剪掉, 并在所述相邻屏幕对 应的源图像接近所述第一屏幕的一侧填充宽度为 c的预设颜色的边, 以得到 所述相邻屏幕的目标图像, 其中 c=a-b, a为第一宽度, b为第二宽度; 或者, 所述调整单元具体用于当所述第一宽度小于所述第二宽度时将所述相 邻屏幕对应的源图像中接近所述第一屏幕一侧的宽度为 c的部分裁剪掉, 并 在所述相邻屏幕对应的源图像远离所述第一屏幕的一侧填充宽度为 c的预设 颜色的边, 以得到所述相邻屏幕的目标图像, 其中 c=b-a, a为第一宽度, b 为第二宽度; 或者,
所述调整单元具体用于裁剪所述第一屏幕对应的源图像两侧宽度为 f的 边,并在所述第一屏幕对应的源图像两侧分别填充宽度为 f的预设颜色的边, f<=|a-b|。
25、 如权利要求 20-22所述的图像处理设备, 其特征在于, 所述调整单 元具体用于, 当所述第一宽度大于所述第二宽度时, 按照缩放因子 k缩小所 述源图像, k=(b+d)/(a+d), 其中 a为第一宽度, b为第二宽度, d为所述源图 像的宽度, 在缩小后的源图像四周填充预设颜色的边以得到所述目标图像; 或者,
所述调整单元具体用于, 当所述第一宽度小于所述第二宽度时, 按照缩 放因子 k放大所述源图像, k=(b+d)/(a+d), 其中 a为第一宽度, b为第二宽 度, d为所述源图像的宽度, 裁剪放大后的源图像的边缘部分以得到所述目 标图像。
26、 如权利要求 20-25任一项所述的图像处理设备, 其特征在于, 所述 调整单元还用于对 N 个屏幕对应的原始图像进行预处理以得到尺寸与所述 目标图像相同的所述 N个屏幕对应的源图像,其中所述原始图像的尺寸与所 述目标图像相同或不同。
27、 如权利要求 26所述的图像处理设备, 其特征在于, 所述调整单元 具体用于如果所述原始图像的尺寸与所述目标图像相同, 则将所述原始图像 作为所述源图像; 如果所述原始图像的尺寸与所述目标图像不同, 则对所述 N 个屏幕对应的原始图像分别进行缩放、 裁剪和 /或填充以得到对应的源图
像。
28、 如权利要求 27所述的图像处理设备, 其特征在于, 所述调整单元 具体用于如果所述原始图像的宽高比与所述目标图像相同, 所述原始图像的 宽度 w与所述目标图像的宽度 d不同, 则按照缩放因子 m对所述 N个屏幕 对应的原始图像进行等比例缩放以得到对应的源图像, 其中 m=d/w,
所述确定单元具体用于确定所述第一宽度 a=nxA, 其中 n=m, A为所述 N个屏幕对应的原始图像之间的盲区宽度。
29、 如权利要求 27所述的图像处理设备, 其特征在于, 所述调整单元 具体用于如果所述原始图像的宽高比与所述目标图像不同, 则按照缩放因子 ml 对所述 N 个屏幕对应的原始图像进行等比例缩放以得到对应的中间图 像, 其中 ml=e/h, e为所述目标图像的高度, h为所述原始图像的高度; 在 N个屏幕对应的中间图像的一侧或两侧裁剪或填充总宽度为 |d-(ew/h)|的边以 得到对应的源图像, 其中 d为所述目标图像的宽度, w为所述原始图像的宽 度, I I为取绝对值运算,
所述确定单元具体用 于确定所述第一宽度 a=nxA , 其中 n=(2Ae+ew-dh)/2Ah, A为所述 N个屏幕对应的原始图像之间的盲区宽度。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12884091.5A EP2765769A4 (en) | 2012-09-10 | 2012-09-10 | IMAGE PROCESSING METHOD AND IMAGE PROCESSING DEVICE |
PCT/CN2012/081207 WO2014036741A1 (zh) | 2012-09-10 | 2012-09-10 | 图像处理方法和图像处理设备 |
CN201280002485.7A CN103797787B (zh) | 2012-09-10 | 2012-09-10 | 图像处理方法和图像处理设备 |
US14/196,877 US8866871B2 (en) | 2012-09-10 | 2014-03-04 | Image processing method and image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2012/081207 WO2014036741A1 (zh) | 2012-09-10 | 2012-09-10 | 图像处理方法和图像处理设备 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/196,877 Continuation US8866871B2 (en) | 2012-09-10 | 2014-03-04 | Image processing method and image processing device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014036741A1 true WO2014036741A1 (zh) | 2014-03-13 |
Family
ID=50236479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2012/081207 WO2014036741A1 (zh) | 2012-09-10 | 2012-09-10 | 图像处理方法和图像处理设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8866871B2 (zh) |
EP (1) | EP2765769A4 (zh) |
CN (1) | CN103797787B (zh) |
WO (1) | WO2014036741A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104270579A (zh) * | 2014-09-24 | 2015-01-07 | 青岛海信移动通信技术股份有限公司 | 一种终端应用界面像素调整方法及终端 |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9972121B2 (en) * | 2014-04-22 | 2018-05-15 | Google Llc | Selecting time-distributed panoramic images for display |
CN113891096B (zh) | 2016-10-04 | 2022-12-06 | 有限公司B1影像技术研究所 | 图像数据编码/解码方法和装置 |
CN106952630A (zh) * | 2017-03-23 | 2017-07-14 | 深圳市茁壮网络股份有限公司 | 像素区域处理方法、装置以及像素区域切换方法和装置 |
US10503456B2 (en) * | 2017-05-05 | 2019-12-10 | Nvidia Corporation | Method and apparatus for rendering perspective-correct images for a tilted multi-display environment |
CN110019860A (zh) * | 2017-12-04 | 2019-07-16 | 天津三星电子有限公司 | 一种多媒体文件的处理方法及电子设备 |
US10951859B2 (en) | 2018-05-30 | 2021-03-16 | Microsoft Technology Licensing, Llc | Videoconferencing device and method |
CN110716703B (zh) | 2018-07-13 | 2021-01-26 | 京东方科技集团股份有限公司 | 拼接屏的图像处理方法及装置、拼接屏 |
CN109062530A (zh) * | 2018-08-08 | 2018-12-21 | 青岛海信电器股份有限公司 | 一种图像显示方法及装置 |
US11334307B2 (en) | 2018-09-25 | 2022-05-17 | Pixelhue Technology Ltd | Image display method and video processing device |
US11636673B2 (en) | 2018-10-31 | 2023-04-25 | Sony Interactive Entertainment Inc. | Scene annotation using machine learning |
US10977872B2 (en) | 2018-10-31 | 2021-04-13 | Sony Interactive Entertainment Inc. | Graphical style modification for video games using machine learning |
US11375293B2 (en) | 2018-10-31 | 2022-06-28 | Sony Interactive Entertainment Inc. | Textual annotation of acoustic effects |
CN109474786B (zh) * | 2018-12-24 | 2021-07-23 | 维沃移动通信有限公司 | 一种预览图像生成方法及终端 |
CN111063001B (zh) * | 2019-12-18 | 2023-11-10 | 北京金山安全软件有限公司 | 图片合成方法、装置、电子设备以及存储介质 |
CN113126937B (zh) * | 2019-12-31 | 2023-08-01 | Tcl科技集团股份有限公司 | 一种显示终端调整方法及显示终端 |
KR20220030509A (ko) * | 2020-09-02 | 2022-03-11 | 삼성디스플레이 주식회사 | 표시 장치 및 표시 장치의 휘도 보상 방법 |
CN112298055A (zh) * | 2020-09-29 | 2021-02-02 | 江苏泽景汽车电子股份有限公司 | 一种透明a柱拼接显示控制方法 |
CN112367521B (zh) * | 2020-10-27 | 2022-08-19 | 广州华多网络科技有限公司 | 显示屏内容分享方法、装置、计算机设备和存储介质 |
CN112561929B (zh) * | 2020-12-09 | 2022-10-25 | 威创集团股份有限公司 | 拼接屏裁剪缩放方法、设备及其一种电子设备、存储介质 |
CN112887768B (zh) * | 2021-01-12 | 2023-06-16 | 京东方科技集团股份有限公司 | 投屏显示方法、装置、电子设备及存储介质 |
CN112702539B (zh) * | 2021-03-24 | 2021-11-19 | 成都成电光信科技股份有限公司 | 一种led球形屏幕的驱动方法 |
EP4401401A1 (en) * | 2021-09-26 | 2024-07-17 | Huawei Technologies Co., Ltd. | Image processing apparatus and method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101511008A (zh) * | 2009-04-10 | 2009-08-19 | 杭州华三通信技术有限公司 | 一种多分屏图像处理的方法和设备 |
CN102025891A (zh) * | 2009-09-11 | 2011-04-20 | 华为终端有限公司 | 一种图像处理方法及装置 |
CN102427504A (zh) * | 2011-10-08 | 2012-04-25 | 广东威创视讯科技股份有限公司 | 一种基于背景拼接墙的图像处理方法、装置及系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7782357B2 (en) * | 2002-06-21 | 2010-08-24 | Microsoft Corporation | Minimizing dead zones in panoramic images |
US7515174B1 (en) * | 2004-12-06 | 2009-04-07 | Dreamworks Animation L.L.C. | Multi-user video conferencing with perspective correct eye-to-eye contact |
US7528860B2 (en) * | 2005-04-29 | 2009-05-05 | Hewlett-Packard Development Company, L.P. | Method and system for videoconferencing between parties at N sites |
US20070279483A1 (en) * | 2006-05-31 | 2007-12-06 | Beers Ted W | Blended Space For Aligning Video Streams |
US20100238090A1 (en) * | 2007-04-05 | 2010-09-23 | Spectrum Dynamics Llc | Screen seaming device system and method |
US20090237560A1 (en) * | 2008-03-18 | 2009-09-24 | Cisco Technology, Inc. | Networked ip video wall |
US8270767B2 (en) * | 2008-04-16 | 2012-09-18 | Johnson Controls Technology Company | Systems and methods for providing immersive displays of video camera information from a plurality of cameras |
US20110164065A1 (en) * | 2010-01-06 | 2011-07-07 | Ati Technologies Ulc | Method And Apparatus For Configuring Display Bezel Compensation For A Single Large Surface Display Formed By A Plurality Of Displays |
US8698874B2 (en) * | 2011-06-10 | 2014-04-15 | Microsoft Corporation | Techniques for multiple video source stitching in a conference room |
CN103096018B (zh) | 2011-11-08 | 2016-11-23 | 华为技术有限公司 | 传输信息的方法和终端 |
-
2012
- 2012-09-10 CN CN201280002485.7A patent/CN103797787B/zh active Active
- 2012-09-10 EP EP12884091.5A patent/EP2765769A4/en not_active Ceased
- 2012-09-10 WO PCT/CN2012/081207 patent/WO2014036741A1/zh active Application Filing
-
2014
- 2014-03-04 US US14/196,877 patent/US8866871B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101511008A (zh) * | 2009-04-10 | 2009-08-19 | 杭州华三通信技术有限公司 | 一种多分屏图像处理的方法和设备 |
CN102025891A (zh) * | 2009-09-11 | 2011-04-20 | 华为终端有限公司 | 一种图像处理方法及装置 |
CN102427504A (zh) * | 2011-10-08 | 2012-04-25 | 广东威创视讯科技股份有限公司 | 一种基于背景拼接墙的图像处理方法、装置及系统 |
Non-Patent Citations (1)
Title |
---|
See also references of EP2765769A4 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104270579A (zh) * | 2014-09-24 | 2015-01-07 | 青岛海信移动通信技术股份有限公司 | 一种终端应用界面像素调整方法及终端 |
CN104270579B (zh) * | 2014-09-24 | 2018-06-05 | 青岛海信移动通信技术股份有限公司 | 一种终端应用界面像素调整方法及终端 |
Also Published As
Publication number | Publication date |
---|---|
US8866871B2 (en) | 2014-10-21 |
CN103797787B (zh) | 2017-06-20 |
EP2765769A1 (en) | 2014-08-13 |
US20140184727A1 (en) | 2014-07-03 |
CN103797787A (zh) | 2014-05-14 |
EP2765769A4 (en) | 2014-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2014036741A1 (zh) | 图像处理方法和图像处理设备 | |
US11729342B2 (en) | Designated view within a multi-view composited webcam signal | |
US8890922B2 (en) | Video communication method, device and system | |
US9215408B2 (en) | Method and apparatus maintaining eye contact in video delivery systems using view morphing | |
US7307654B2 (en) | Image capture and viewing system and method for generating a synthesized image | |
US7854518B2 (en) | Mesh for rendering an image frame | |
US7800628B2 (en) | System and method for generating scale maps | |
US8279254B2 (en) | Method and system for video conferencing in a virtual environment | |
US9137504B2 (en) | System and method for projecting multiple image streams | |
US7907792B2 (en) | Blend maps for rendering an image frame | |
US20080253685A1 (en) | Image and video stitching and viewing method and system | |
US20070291184A1 (en) | System and method for displaying images | |
JP2009124685A (ja) | 複数のビデオを結合してリアルタイムで表示する方法及びシステム | |
WO2011029398A1 (zh) | 一种图像处理方法及装置 | |
JP2007295559A (ja) | ビデオ処理および表示 | |
US11783445B2 (en) | Image processing method, device and apparatus, image fitting method and device, display method and apparatus, and computer readable medium | |
Liu et al. | Head-size equalization for better visual perception of video conferencing | |
CN113315927B (zh) | 视频处理方法和装置、电子设备和存储介质 | |
US8149260B2 (en) | Methods and systems for producing seamless composite images without requiring overlap of source images | |
CN112770095A (zh) | 全景投影方法、装置及电子设备 | |
CN107426561B (zh) | 一种3d360度的虚拟现实直播方法及装置 | |
JP6004978B2 (ja) | 被写体画像抽出装置および被写体画像抽出・合成装置 | |
JP2008301399A (ja) | テレビ会議装置、テレビ会議方法、テレビ会議システム、コンピュータプログラム及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12884091 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2012884091 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |