WO2005112424A1 - Procede d'affichage d'images - Google Patents

Procede d'affichage d'images Download PDF

Info

Publication number
WO2005112424A1
WO2005112424A1 PCT/CN2004/000507 CN2004000507W WO2005112424A1 WO 2005112424 A1 WO2005112424 A1 WO 2005112424A1 CN 2004000507 W CN2004000507 W CN 2004000507W WO 2005112424 A1 WO2005112424 A1 WO 2005112424A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display device
original image
display
original
Prior art date
Application number
PCT/CN2004/000507
Other languages
English (en)
French (fr)
Inventor
Shaohua Dai
Zhaoyang Lin
Original Assignee
Dstmedia Technology Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dstmedia Technology Co., Ltd. filed Critical Dstmedia Technology Co., Ltd.
Priority to PCT/CN2004/000507 priority Critical patent/WO2005112424A1/zh
Publication of WO2005112424A1 publication Critical patent/WO2005112424A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Definitions

  • the present invention relates to an image format display technology, and particularly to display of still images and moving images in video conference and video monitoring technologies, and more particularly, to an image display method.
  • video image display devices are mainly black and white TV terminals and color TV terminals.
  • the video image signals provided to the TV terminals are analog signals, and the analog signals are composed of video analog data and video synchronization data, so that the TV terminal Display the image correctly.
  • the details of the signal depend on the video standard or "standard” applied by the television system to which it belongs.
  • the internationally used systems include: N system (NTSC: National Television Standards Commite), PAL system (Phase Alter Line), and SECAM system (SEquent ial Couleur Avec Memoire).
  • PAL-D is used in China. Format. Because different countries or regions, and even different industries, have different image format standards and display device standards, the multimedia image communication between them will be separated due to the different image standards adopted.
  • FIG. 2 if the video source image is a composite picture of multiple pictures, when a display device under another standard outputs, a more serious display image loss phenomenon will be caused.
  • the original image is four small split images of image 1, image 2, image 3, and image 4.
  • all the four split-screen images are cropped by the display device and part of the picture is lost, causing the original image to be displayed. Incomplete.
  • Figures 3 and 4 show the display effect of the original image on the display device after the combination of 9 images and 16 images. As can be seen from FIGS. 3 and 4, in the displayable area of the display device on the right, only a part of the original image is displayed.
  • the results are obvious from the display effect.
  • the display results on the display device for the 9-point screen and the 16-point screen are completely different. After the small edge images of the 16 split-screen images participating in the synthesis are displayed on the display device, the image loss is much larger than that of the 9-split screen, and only the middle sub-images participating in the synthesis can be displayed intact. In the original 9-point rhino image, the middle sub-image "5" is completely displayed on the display device, while the peripheral sub-images "1, 2, 3, 4, 6, 7, 8, 9" are all different. A phenomenon in which an image is cropped by a display device.
  • the middle sub-images "6, 7, 7, 10, 11” can be displayed intact by the display device, while the outer sub-images "1, 2, 3, 4, 5, 8, 9, 12, 13 , 14, 15, 16 "are all cropped by the display device and part of the picture is missing.
  • the image of this multi-screen composite screen is displayed as the original image on a display device that does not match the original image.
  • the display device can display a limited area, and a part of the original image is lost.
  • the larger the display gap between the original image and the image of the display device is, the larger the image loss after display is; the more the composite image of the original image is, the image displayed by the display device is cropped by the display device for the sub-images around the composite screen
  • display devices of different brands may have different displays for the same image.
  • the output of the original image through the display device is often cropped with a part of the edge image, and the cropping areas and positions of display devices of different brands are also different. Therefore, there will be more serious problems in image display. For example: the top, bottom, left, and right of the image may be cropped by the display device, and even the image may be cropped to varying degrees in several directions.
  • the original image is a single image, rather than an image synthesized by multiple sub-images, only a part of the image will appear on the display; if the original image is an image synthesized by multiple sub-images, the final display on the display device
  • the effect may be one or more of the composition
  • the sub-image is cropped by the display device and cannot be displayed, which greatly affects the display effect of the image.
  • the original image in FIG. 5 is a single image, and the result displayed on the display device can only display the lower right part of the original image.
  • the dark area in the left image in FIG. 5 is the original image
  • the light area in the right image is the actual display area of the display device
  • the dark area in the right image is the effective image of the original image portion cropped by the display device.
  • the left part of the original image is severely lost.
  • the original image is an image composed of multiple sub-images
  • the proportion of the cropped missing parts relative to the sub-images will increase.
  • Fig. 6, Fig. 7, and Fig. 8 respectively show the effects displayed on the display device when 4 composite sub-images, 9 composite sub-images, and 16 composite sub-images are used as the original images.
  • the original image is an image composed of 16 sub-images.
  • the four sub-images (1, 5, 9, and 13) on the left side of the original image are completely cropped by the display device and lost.
  • the right image of Fig. 8 shows that the dark part was lost by the display device clipping, including the left four sub-images in the original image.
  • the light-colored effective display area shows only a part of the original image.
  • the original image does not conform to the standard of the display device, and because of the difference of the display device for the same original image, the final image displayed by the display device is also different. In this case, it will cause part of the loss and loss of the original image, which has seriously affected people's viewing of the image, and ultimately will affect the wrong judgment by viewing the content of the image.
  • people's daily work Life, learning, security monitoring, video conferencing, telemedicine and other industries or fields related to image display have caused inestimable consequences.
  • the most common environment where image display has display problems is in the field of video conferencing.
  • the most common video image formats are SQCIF (128 x 96), QCIF (176 X 144), CIF (352 288), 4CIF (704 ⁇ 576), 16CIF (1408 1152), SIF (352 240 ), 4SIF (704x480), VGA (640 480), SVGA (800 x 600), XGA (1024 x 768), and more.
  • the above image formats are displayed on PAL (704 x 576) or TSC (740 ⁇ 480) display devices.
  • the images will be lost by the display device, especially in NTSC (740 x 480) format.
  • the display device crops the lost image more seriously.
  • the following uses the 4CIF image as the original image and the display output on the NTSC display device as an example for description.
  • a conference system formed by an IP network is usually an IP network formed by a video conference terminal, a multipoint conference control server (MCU), and a network device.
  • MCU multipoint conference control server
  • FIG. 14 it is assumed that in a video conference system composed of an MCU, there are two video conference terminals, each of which is connected to an NTSC display device for displaying an image received by the video conference terminal.
  • a video capture device (such as a camera) transmits the captured images to a multipoint conference control server (MCU) via an IP network.
  • the MCU receives the video image sent by the video conference terminal, and forwards it to the video conference terminal of the receiving end according to the MCU's forwarding policy, and then the terminal transmits it to the display device connected to it, and finally the display device displays the output.
  • the original image of 4CIF (704 * 576) is collected by video conference terminal A, and it reaches the MCU via the IP network.
  • the MCU forwards the image of video conference terminal A to video conference terminal B according to the forwarding test strategy. After receiving the terminal, it transmits the connection
  • the display device displays the output. Since the video terminal transmits 4CIF (704 x 576) images to the display device, and the display device is NTSC (704 ⁇ 480), the image output on the display device can only display part of the original image (704 x 480), such as ( Figure 15).
  • the display device is the NTSC standard, and the terminal transmits 4CIF images to it. Therefore, the 4CIF image without any processing in the NTSC system will be cropped by the display device and part of the original image will be lost. The dark part shown in the right figure of Figure 15 is missing.
  • the original image of the terminal B is displayed on the display device of the terminal A with the same result.
  • the situation is the same in a video conference system composed of n video conference terminals.
  • An object of the present invention is to provide an image display method. Based on the original image On top of that, through a dedicated image processing module, necessary image processing is performed on the original image, and the processed initial image is displayed on the display device to achieve the same image effect as the original image, without cropping the original image. Any image area.
  • An image display method which includes the following steps: performing scaling processing on an original image to obtain a scaled image;
  • the surplus display device at least displays a complete scaled image.
  • the scaling processing of the original image refers to: setting scaling parameters according to the size of an effective display area of the display device, and performing scaling processing on the original image according to the scaling parameters.
  • the size of the effective display area is represented by the height and width of the effective display area.
  • Displacing the scaled image includes: displacing the scaled image according to position coordinates of the original image in an effective display area of the display device.
  • the original image is filled with an invalid image.
  • That the display device displays at least a complete scaled image means that the display device crops and discards the invalid image, and displays the valid image.
  • the method according to the present invention includes the following specific steps:
  • Step 1 Prepare the original image.
  • Step 2 Set scaling parameters according to the size of the effective display area of the display device;
  • Step 3 Perform scaling processing on the original image according to the scaling parameters to obtain a scaled image;
  • Step four shift the scaled image according to the position coordinates of the original image in the effective display area of the display device; Step five: filling the original image as an invalid image;
  • Step 6 Superimpose the scaled image and the original image to obtain a superimposed image
  • Step 7 output the superimposed image to the display device for display
  • Step 8 Determine whether the scaled image displayed on the display device is complete, if yes, continue, and if not, return to step 2.
  • Step 9 Determine whether the position of the zoomed image displayed by the display device is correct. If yes, continue; otherwise, return to step 4.
  • the original image includes: an image synthesized by a plurality of sub-images.
  • the original image is a still image.
  • the original image is a moving image.
  • the beneficial effect of the present invention is that on the basis of the original image, necessary image processing is performed on the original image through a dedicated image processing module, and the processed original image is displayed on a display device to achieve the same as the original image. Image effects, without cropping any image areas of the original image.
  • the present invention makes the display quality of the video conference, especially the multi-screen, perfect.
  • FIG. 1 is a display effect diagram showing a single screen image displayed by a prior art display device
  • FIG. 1 is a display effect diagram of a composite screen in which four screens are displayed on a prior art display device
  • FIG. 3 is a display effect diagram of a composite screen in which nine images are displayed on a prior art display device
  • FIG. 5 is a display effect diagram of a single screen image cropped by a display device
  • FIG. 6 is a display effect diagram of a composite screen of 4 screen images cropped by a display device
  • FIG. 7 is a display effect diagram of a composite screen of 9 screen images cropped by a display device
  • FIG. 8 is a composite screen of 16 screen images displayed Device cropped display effect diagram
  • Figure 9 is a block diagram of the image processing module scaling the original image
  • FIG. 10 is a schematic diagram of an image displayed after the image Z is displaced and superimposed; 11 is a display effect diagram of a single screen image displayed by a display device of the present invention; FIG. 12 is a block diagram of optimizing a composite screen of 16 images according to the present invention;
  • FIG. 13 is a working flowchart of the present invention.
  • 16 is a block diagram of a video conference image display according to the present invention.
  • FIG. 17 is a schematic diagram of a video conference image display according to the present invention.
  • the present invention is an image display method, which is an optimized image display method, which includes the following steps:
  • the original image is processed by an image processing module and output to a display device.
  • the relevant parameter values are defined to process the original image and output the processed image to a display device.
  • the original image is scaled, shifted, and superimposed by an image processing module, and re-encoded according to a defined parameter value, and output to a display device.
  • the parameter value defined in the image processing module defines the parameter's empirical value according to different display devices.
  • the parameter value defined in the image processing module is the effective display area size of the display device (H: is the height, W: is the width, the same below), the position coordinates of the effective display area in the original image (the coordinate values are x, y, the same below) ).
  • the image processing module performs proper scaling on the original image according to the parameters H and W (the image that has undergone the scaling process is called image Z, the same applies hereinafter).
  • the original image is scaled according to the effective display area value of a given display device to obtain a graph
  • the image processing module shifts the image Z obtained by the scaling process according to the parameters X and y, and superimposes it on the original image. Before superimposing, the original image can be filled with invalid information. The resulting image says Is image A.
  • the image processing module outputs the image A as an output image to the display device.
  • all valid information of the image can be displayed on the display device.
  • an image A of the same size as the original image can be obtained.
  • the image A contains the scaled and shifted image Z (light portion in the figure) and invalid information (dark portion in the figure).
  • the display device can completely display the original image (now the Z part of the image A) on the display device.
  • the light-colored display device in the right figure can be completely displayed in the effective display area.
  • the dark area in the image Z, right is clipped and lost by the display device.
  • the 16-split screen image can be completely displayed on the display device without losing any information in each sub-screen.
  • the core idea of the optimized video display method is to use a dedicated image processing module for the original image to scale, shift, and overlay the original image according to the defined parameter values related to the display output device, and output the processed image to the display.
  • Device The display device trims and loses invalid images to ensure effective image display output.
  • the work flow is shown in FIG. 13: Step 1. Prepare the original image. Step 2. Set the scaling parameters according to the size of the effective display area of the display device. Step 3. Step 3. The original image is scaled to obtain a scaled image. Step 4: Displace the scaled image according to the position coordinates of the original image in the effective display area of the display device. Step 5: Fill the original image as invalid.
  • step six overlay the scaled image with the original image to obtain a superimposed image
  • step seven output the superimposed image to the display device for display
  • step eight scale the image displayed by the display device Whether it is complete is judged, if yes, continue; if not, return to step two; step 9. Determine whether the position of the zoomed image displayed by the display device is correct, if yes, continue, and if not, return to step 4; step 10, end.
  • Zx, y are the image information at the x and y coordinates in the new image
  • F is the scaling function
  • 0 is the original image
  • xRat io is the scaling factor (zoom ratio) in the X direction (horizontal direction)
  • yRat io is the Y direction ( (Vertical) zoom factor (zoom ratio).
  • Video image display devices currently mainly use black and white or color televisions.
  • the video image signal provided to the television is an analog signal that consists of video analog data and video synchronization data and is used by the television to display the image correctly. The details of the signal depend on the applied video standard or "standard”.
  • the video conference terminal A captures a 4CIF (704 * 576) image and reaches the MCU through the IP network.
  • the MCU judges the terminal based on the user ’s own experience.
  • the 4CIF image of A is transmitted to terminal B, and the upper and lower parts of the 4CIF image are lost after being displayed on the display device of terminal B.
  • the new image 4CIP (704 x 576) contains all the image information of the original image as 4CIF (the light part in Figure 17), and can be displayed in the NTSC format (the dark part in Figure 17 is cropped on the NTSC display device) ).
  • the terminal B After receiving the 4CIP image processed by the optimized video display module of the MCU, the terminal B displays the output on the display device.
  • 4CIF contains all the image information of the original image as 4CIF; the optimized video display module performs image compression processing on the original image to fit the image displayed by the display device.
  • 4CIF is obtained, and then displayed on the display device, so that the contents of all the original images can be displayed.
  • the present invention provides an image display method, based on the original original image, through a dedicated image processing module, performs necessary image processing on the original image, and displays the processed original image on a display device to achieve The same image effect as the original image, without cropping any image areas of the original image.
  • the present invention makes the display quality of the video conference, especially the multi-screen, perfect.

Description

一种图像显示方法
技术领域
本发明涉及图像格式显示技术，其特别涉及视频会议和视频监控技术中 静止图像和运动图像的显示， 具体的讲是一种图像显示方法。
背景技术
随着互联网和多媒体技术的普及和发展， 涉及到图像传输、 图像显示的 应用越来越广， 因此图像显示的质量已成为本领域关注的焦点。
目前，视频图像的显示装置主要为黑白电视终端和彩色电视终端，提供 给所述电视终端的视频图像信号为模拟信号，该模拟信号由视频模拟数据和 视频同步数据构成， 以使所述电视终端正确地显示图像。 所述信号的细节取 决于所属电视系统所应用的视频标准或说"制式"。 目前国际上常用的制式 有： N制（NTSC: Nat ional Televis ion Standards Commi t tee )、 PAL制（ Phase Al ternate Line ) 以及 SECAM制 ( SEquent ial Couleur Avec Memoire )等, 我国采用的是 PAL- D制式。 由于不同国家或地区， 乃至不同的行业， 在图像 格式标准上、显示装置标准上都有所不同， 所以它们之间的多媒体图像的通 讯会由于相互采用的图像标准不同而出现沟通和交流上隔阂，其具体表现为 图像显示质量差。 在现有视频图像传输和显示中， 通常存在以下情况： 如图 1所示， 假设， 有一路原始图像以图像格式标准 A传输， 在符合标 准 B的显示装置上显示时， 由于显示装置标准与图像标准不相符， 所以原有 图像的部分可以被看到。 图中深色边框内部分图像已被显示装置裁剪掉， 图 中的浅色区域为原始图像的部分图像， 其显示在显示装置上。
如图 2所示，如果视频源图像为多个画面的合成画面， 则在另外一种标 准下的显示装置输出时，会造成更加严重的显示图像丢失的现象。原始图像 为图像 1、 图像 2、 图像 3和图像 4共四个小的分展图像， 在显示设备中这 四个分屏图像全部都被显示设备裁剪丟失了部分画面，造成了原始图像显示 后的不完整。特别是在更多个子图像合成为多分屏图像时， 这个问题就暴露 的越明显。 如图 3和图 4分别为 9个图像的合成与 16个图像的合成之后作 为原始图像在显示设备上的显示效果。从图 3和图 4中可以看到，在右侧图 中的显示装置可显示区域中， 只显示了原始图像中部分图像。从显示效果来 看结果很明显， 对于 9分屏与 16分犀的在显示装置上的显示结果是完全不 一样的。 参加合成的 16个分屏图像中的边缘小图像在显示装置显示后， 图 像丟失比 9 分屏要大的多， 只有中间部分的参与合成的子图像可以显示完 整。 9分犀的原始图像中， 中间的子图像 "5" 被完整的显示在显示装置上， 而外围的子图像 "1、 2、 3、 4、 6、 7、 8、 9" 都有了不同程度的图像被显示 装置裁剪的现象。 16 分展情况下， 中间的子图像 "6,、 7、 10、 11" 可以被 显示装置显示完整， 而外围的子图像 "1、 2、 3、 4、 5、 8、 9、 12、 13、 14、 15、 16" 全部被显示装置裁剪丢失掉部分画面。
依此类推，在这种多分屏的合成画面的图像作为原始图像，显示在与原 始图像不相符的显示装置上， 显示装置所能够显示的区域是有限的， 并且损 失掉原始图像中的部分图像。 由此可见，原始图像与显示装置的图像显示差 距越大， 显示后的图像损失就越大； 原始图像的合成画面越多， 显示装置显 示后的图像对于合成画面外围的子图像被显示装置裁剪丟失图像的越多，影 响整体的图像显示效果， 甚至参与原始图像合成的外围子图像完全丟失。
另外， 由于技术方法和生产工艺的限制， 不同品牌的显示装置对于同一 图像也会有显示上的差异。原始图像经过显示装置的输出，往往被剪裁掉一 部分边缘图像， 不同品牌的显示装置的裁剪区域和位置也不相同。 所以， 在 图像显示上， 就会存在更加严重的问题。 例如： 图像的上、 下、 左、 右都有 可能会被显示装置裁剪， 甚至图像的几个方向上都有可能被不同程度的裁 剪。 如果原始图像是一个单一的图像， 而不是经过多个子图像合成的图像， 在显示上就会出现只显示图像的某一部分；如果原始图像是多个子图像合成 的图像，那么在显示装置的最终显示的效果可能就是合成中的某一个或一些 子图像就被显示装置裁剪掉了， 不能够显示出来，极大的影响了图像的显示 效果。
图 5中的原始图像为单一图像，显示装置上显示的结果只能够显示出原 始图像的右下部分。 图 5中左图深色区域为原始图像，右图中浅色区域为显 示装置的实际显示区域，而右图中的深色区域部分就是被显示装置剪裁掉的 原始图像的部分的有效 ¾像， 并且原始图像的左侧部分被严重的剪裁丟失。 同样，在原始图像为多个子图像合成的图像时， 剪裁丟失的部分相于子图像 的比例将会增大。 图 6、 图 7、 图 8分别显示了在 4个合成子图像、 9个合 成子图像和 16个合成子图像做为原始图像时， 显示装置上显示的效果。
从图中可见，原始图像随着合成子图像的增加，在显示装置上所显示的 效果逐渐变差，被显示装置剪裁丢失的部分相对于原始图像合成的子图像比 例就越来大。 例如： 在图 8中， 原始图像为 16个子图像合成的图像， 在显 示装置上显示之后， 位于原始图像左侧的四个子图像（1、 5、 9和 13 )完全 被显示装置剪裁丢失掉了， 这种情况下严重的影响了图像显示的效果。 图 8 右侧图显示， 深色部分被显示装置剪裁丢失掉了，其中包括把原始图像中左 侧的四个子图像。 浅色的有效显示区域只显示了原始图像的部分图像。
正如上面例子所讲述的那样， 由于原始图像与显示装置的标准不相符， 对于同一原始图像又由于显示装置的不同，最终经由显示装置所显示的图像 也不一样。 在这种情况下， 就会对于原始图像造成部分的损失和丢失， 已经 严重的影响了人们对于图像的观看，最终会影响到通过观看到图像的内容做 出错误的判断， 在人们的日常工作、 生活、 学习， 安防监控、 视频会议、 远 程医疗等等各种与图像显示相关的行业或领域造成不可估量的后果。
在实际应用环境中，图像显示存在显示问题的最常见环境就是在视频会 议领域。 在视频会议领域， 最为常近的视频图像格式有 SQCIF ( 128 x 96 ) 、 QCIF ( 176 X 144 ) 、 CIF ( 352 288 ) 、 4CIF ( 704 χ 576 ) 、 16CIF ( 1408 1152 ) 、 SIF ( 352 240 ) 、 4SIF ( 704x480 ) 、 VGA ( 640 480 ) 、 SVGA ( 800 x 600 ) 、 XGA ( 1024 x 768 )等等。 以上这些图像格式， 无论是在 PAL ( 704 x 576 )还是在 TSC ( 740 ^ 480 )制式的显示装置上显示， 图像都会 被显示装置丟失图像信息， 特别是在 NTSC ( 740 x 480 )制式下的显示装置， 对图像的剪裁丢失的图像更为严重。 下面以 4CIF图像为原始图像， 在 NTSC 制式显示装置上显示输出为例进行说明。
例如： 在视频会议系统， 由 IP网络组建的会议系统， 通常情况下由视 频会议终端、 多点会议控制服务器（MCU )以及网络设备组建的 IP网络。 如 图 14所示， 假设在 MCU组成的视频会议系统中共有 2个视频会议终端， 它 们各自与一台 NTSC制式的显示装置相连， 用于显示视频会议终端接收到的 图像， 它们可以通过自身的视频摄取装置（例如： 摄像头）， 将采集的图像 经过 IP网络传输到多点会议控制服务器（MCU )上。 MCU收到视频会议终端 发送过来的视频图像， 根据 MCU 的转发策略转发到接收端的视频会议终端 上，然后再由终端传输到与其连接的显示装置上，最后由显示装置显示输出。
具体情况: 视频会议终端 A采集到 4CIF ( 704*576 ) 的原始图像, 经过 IP网络到达 MCU, MCU根据转发测试策略将视频会议终端 A的图像转发给视 频会议终端 B, 终端收到后传输连接的显示装置显示输出。 由于视频终端向 显示装置传输出 4CIF ( 704 x 576 ) 图像， 而显示装置为 NTSC制式（ 704 χ 480 ) , 所以在显示装置输出的图像只能显示部分原始图像（ 704 x 480 ) , 如（图 15 ) 所示。
显示装置为 NTSC制式标准， 而终端传输给它的是 4CIF图像。所以在未 进行任何处理的 4CIF图像在 NTSC制式就会被显示装置剪裁丟失掉部分原始 图像。 如图 15右图显示的深色部分就丟失掉了。 以上所述情况， 终端 B的 原始图像在终端 A的显示装置上显示结果相同。 同理，在 n个视频会议终端 组成的视频会议系统中情况下相同。
发明内容
本发明的目的在于， 提供一种图像显示方法。 在原始图像的基础 之上， 通过专用图像处理模块， 对原始图像做必要的图像处理， 将处理后的 ¾始图像在显示装置上进行显示， 达到与原始的图^目同的图像效果， 不剪 裁丟失原始图像的任何图像区域。
本发明的技术方案为： 一种图像显示方法， 其包括以下步骤： 对原始图像进行缩放处理， 得到缩放后图像；
将所述的缩放后图像进行位移， 并叠加在所述的原始图像上得到叠加图 像；
将叠加图像输出到显示装置上；
所述的盈示装置至少显示出完整的缩放后图像。
所述的对原始图像进行缩放处理是指： 根据所述的显示装置的有效显示 区域的大小设定缩放参数，按照所述的缩放参数对所述的原始图像进行缩放 处理。
所述的有效显示区域的大小采用有效显示区域的高度和宽度来表示。 将所述的缩放后图像进行位移包括：根据所述原始图像在所述显示装置 有效显示区域的位置坐标， 对所述缩放后图像进行位移。
在所述的缩放后图像与所述的原始图像叠加之前 ,将所述原始图像填充 为无效图像。
所述的显示装置至少显示出完整的缩放后图像是指：所述的显示装置剪 裁丟掉无效图像， 并将有效图像进行显示。
本发明所述的方法包括以下具体步骤：
步骤一、 准备原始图像；
步骤二、 根据所述的显示装置的有效显示区域的大小设定缩放参数； 步骤三、按照所述的缩放参数对所述的原始图像进行缩放处理，得到缩 放后图像；
步骤四、根据所述原始图像在所述显示装置有效显示区域的位置坐标对 所述缩放后图像进行位移； 步骤五、 将所述原始图像填充为无效图像；
步骤六、 将所述的缩放后图像与所述的原始图像叠加得到叠加图像； 步骤七、 将叠加图像输出到所述的显示装置进行显示；
步骤八、对显示装置显示的缩放后图像是否完整进行判断，如果是则继 续， 如果否则返回步驟二；
步驟九、对显示装置显示的缩放后图像位置是否正确进行判断，如果是 则继续， 如果否则返回步 四；
步骤十、 结束。
所述的原始图像包括： 多个子图像合成的图像。
所述的原始图像为静止图像。
所述的原始图像为运动图像。
本发明的有益效果在于，在原始图像的基础之上，通过专用图像处理模 块，对原始图像做必要的图像处理，将处理后的原始图像在显示装置上进行 显示， 达到与原始的图像相同的图像效果， 不剪裁丟失原始图像的任何图像 区域。同时，本发明使视频会议的画面，特别是多画面的显示质量趋于完美。 附图说明
图 1为现有技术显示设备显示单个画面图像的显示效果图；
图 1为现有技术显示设备显示 4个画面的合成画面的显示效果图； 图 3为现有技术显示设备显示 9个图像的合成画面的显示效果图； 图 4为现有技术显示设备显示 16个图像的合成画面的显示效果图； 图 5为单个画面图像被显示设备裁剪的显示效果图；
图 6为 4个画面图像的合成画面被显示设备裁剪的显示效果图； 图 7为 9个画面图像的合成画面被显示设备裁剪的显示效果图； 图 8为 16个画面图像的合成画面被显示设备裁剪的显示效果图； 图 9为图像处理模块对原始图像进行缩放的框图；
图 10为图像 Z经过位移和叠加后显示的图像的示意图； 图 11为本发明显示设备显示单个画面图像的显示效果图； 图 12为本发明对 16个图像的合成画面进行优化的框图；
图 13为本发明的工作流程图；
图 14为现有技术中视频会议图像显示框图；
图 15为现有技术中视频会议图像显示示意图；
图 16为本发明视频会议图像显示框图；
图 17为本发明视频会议图像显示示意图。
具体实施方式
本发明为一种图像显示方法，其为一种优化型的图像显示方法， 其包括 以下的步驟：
将原始图像用图像处理模块进行处理， 输出到显示装置上。
在图像处理模块中，定义相关的参数值对原始图像进行处理并将处理后 的图像输出到显示装置上。
将原始图像用图像处理模块进行缩放、位移和叠加， 并根据定义的参数 值重新编码， 输出到显示装置上。
图像处理模块中定义的参数值，根据不同的显示装置对参数的经验值进 行定义。
图像处理模块中定义的参数值是显示装置有效显示区域大小 （H: 为高 度， W:为宽度， 以下相同）， 有效显示区域在原始图像中的位置坐标（坐标 值为 x, y, 以下相同） 。
图像处理模块根据参 ¾ H，W, 对原始图像进行适当的缩放（完成缩放处 理的图像称为图像 Z, 以下相同） 。
如图 9所示，在原始图像上按照给定的显示装置有效的 ^示区域数值进 行缩放， 得到图 | z。
图像处理模块将缩放处理后得到的图像 Z根据参数 X, y进行位移，并叠 加在原始图像上。 叠加前， 原始图像可以被填充为无效信息。 得到的图像称 为图像 A。
如图 10所示，图像处理模块将图像 A作为输出图像输出到显示装置上， 由于进行了上述处理，显示装置上可以显示出图像的所有有效信息。经过上 述方法进行处理， 可以得到一个与原始图像相同大小的图像 A, 图像 A中包 含了经过缩放、 位移后的图像 Z (图中浅色部分）及无效信息（图中深色部 分）。 然后再输出到显示装置上去， 显示装置就可以完整的将原始图像（现 在成为了图像 A中的图像 Z部分）显示在显示装置上，右图中浅色的显示装 置有效显示区域内可以完整显示图像 Z, 右图中的深色区域就被显示装置剪 裁丢失掉了。
这种优化型视频显示方法，特别是在原始图像是多个子图像合成图像的 显示有了显而易见的效果改变。 当原始图像为多个子图像合成时， 经过上述 方法处理， 可以将多个子画面合成的图像完整显示在显示装置上。 如图 12 所示， 以 16个子图像合成的原始图像为例：
经过优化型视频显示方法处理， 16 分屏图像可以完整显示在显示装置 上， 每个子画面均不丢失任何信息。
优化型视频显示方法的核心思路在于，将原始图像用专用的图像处理模 块， 根据定义的与显示输出设备相关的参数值， 对原始图像进行缩放、位移 和叠加，将处理后的图像输出到显示装置上。显示装置剪裁丟失掉无效的图 像， 保证有效的图像显示输出。 工作流程如图 13所示： 步驟一、 准备原始 图像； 步骤二、 才艮据所述的显示装置的有效显示区域的大小设定缩放参数； 步骤三、按照所述的缩放参数对所述的原始图像进行缩放处理，得到缩放后 图像； 步骤四、根据所述原始图像在所述显示装置有效显示区域的位置坐标 对所述缩放后图像进行位移； 步驟五、将所述原始图像填充为无效图像； 步 骤六、将所述的缩放后图像与所述的原始图像叠加得到叠加图像； 步骤七、 将叠加图像输出到所述的显示装置进行显示； 步骤八、 对显示装置显示的 缩放后图像是否完整进行判断， 如果是则继续， 如果否则返回步骤二； 步骤 九、 对显示装置显示的缩放后图像位置是否正确进行判断， 如果是则继续， 如果否则返回步骤四； 步骤十、 结束。
对于图像的缩放方法，目前在数学方法上有非常多的图像处理方法用于 图像的缩放， 这些方法都可以用一个统一的公式描述：
Zx, y = F (0, x, y, xRat io, yRat io)
其中 Zx，y为新图像中 x, y坐标处的图像信息， F为缩放函数， 0为原始 图像， xRat io为 X方向 （水平方向）的缩放因子 （缩放比率） ， yRat io为 Y方向 （垂直方向） 的缩放因子 （缩放比率） 。
在视频会议和视频监控领域中， 常用的几种图像格式有： CIF、 4CIF、 16CIF、 SIF、 4SIF、 VGA, SVGA, XGA, 以及 PAL, NTSC, SEC AM, 等等。 视 频图像的显示装置目前主要采用黑白或者彩色电视机，提供给电视机的视频 图像信号是一种模拟信号， 由视频模拟数据和视频同步数据构成， 用于电视 机正确地显示图像。 信号的细节取决于应用的视频标准或者"制式"。
如图 16所示， 为本发明在视频会议中的具体实施情况： 视频会议终端 A采集到 4CIF ( 704*576 ) 的图像， 经过 IP网络到达 MCU, MCU才艮据用户自 身的经验判断， 终端 A的 4CIF图像传输到终端 B上， 并由终端 B的显示装 置上显示输出后 4CIF的图像上、 下两个部分会有丢失。 用户根据在显示装 置上的判断做数出缩放因子（缩放比率） xRat io和 yRat io, 通过图像压缩 方法 Zx, y = F (0, X, y, xRat io, yRat io)对新图像中的的每个图像信息点 Zx, y进行计算， 得到经过图像处理模块压缩后的图像 4CIF，。 新图像 4CIP ( 704 x 576 )包含了原始图像为 4CIF的所有图像信息（图 17中浅色部分）， 并且可以显示在 NTSC制式显示 （图 17中深色部分为在 NTSC显示装置上被 剪裁掉）。终端 B收到由 MCU的优化型视频显示模块处理后的 4CIP图像后， 在显示装置上显示输出。 其中， 4CIF，包含了原始图像为 4CIF的所有图像信 息；优化型视频显示模块将原始图像进行图像压缩处理成符合显示装置显示 的图像。 一个实例为： 据原始图像（ 4CIF )在显示设备上的显示结果可以判断 显示设备对原始图像的上、 下两部分做了 96个像素剪裁。 确定图像处理方 法描述公式 "Zx, y = F (0, x, y, xRat io, yRat io) " 中的参数值， Rat io = 1 , yRat io = 480/576。 缩放后得到的新图像再进行位移， 移动在 y方向上 新图像生成各点下移（576-480) 12 = 48个像素。 移动后图像进行无效图像的 填充， 得到 4CIF，， 再由显示设备上显示输出， 这样就可以显示所有原始图 像的内容。优化型图像显示方法可以将原始图像全部显示输出，在显示后图 像上可参会因为只有 Y方向上做了压缩处理，会造成原始图像的变窄。可以 再次调整 xRat io = 480/576和位移值 704 ( 1-480/576 ) /2 (大约 58个像素） , 并进行无效图像的填充，做到经过优化型图像显示模块处理后的图像与原始 图像长宽比完全相同的图像。
本发明通过提供一种图像显示方法， 以在原始的原始图像的基础之上， 通过专用图像处理模块，对原始图像做必要的图像处理，将处理后的原始图 像在显示装置上进行显示， 达到与原始的图像相同的图像效果， 不剪裁丢失 原始图像的任何图像区域。 同时， 本发明使视频会议的画面， 特别是多画面 的显示质量趋于完美。
以上具体实施方式仅用于说明本发明， 而非用于限定本发明。

Claims

权 利 要 求
1. 一种图像显示方法， 其特征在于包括以下步骤：
对原始图像进行缩放处理， 得到缩放后图像；
将所述的缩放后图像进行位移， 并叠加在所述的原始图像上得到叠加图 像；
将叠加图像输出到显示装置上；
所述的显示装置至少显示出完整的缩放后图像。
2. 根据权利要求 1所述的方法， 其特征在于， 所述的对原始图像进行缩 放处理是指：根据所述的显示装置的有效显示区域的大小设定缩放参数，按 照所述的缩放参数对所述的原始图像进行缩放处理。
3. 根据权利要求 2所述的方法， 其特征在于， 所述的有效显示区域的大 小采用有效显示区域的高度和宽度来表示。
4. 根据权利要求 1所述的方法， 其特征在于， 将所述的缩放后图像进行 位移包括：根据所述原始图像在所述显示装置有效显示区域的位置坐标，对 所述缩放后图像进行位移。
5. 根据权利要求 1所述的方法， 其特征在于， 在所述的缩放后图像与所 述的原始图像叠加之前， 将所述原始图像填充为无效图像。
6. 根据权利要求 5所述的方法， 其特征在于， 所述的显示装置至少显示 出完整的缩放后图像是指： 所述的显示装置剪裁丢掉无效图像， 并将有效图 像进行显示。
7. 根据权利要求 1所述的方法， 其特征在于包括以下具体步骤： 步骤一、 准备原始图像；
步骤二、 根据所述的显示装置的有效显示区域的大小设定缩放参数； 步骤三、 按照所述的缩放参数对所述的原始图像进行缩放处理， 得到缩 放后图像；
步骤四、 根据所述原始图像在所述显示装置有效显示区域的位置坐标对 所述缩放后图像进行位移；
步骤五、 将所述原始图像填充为无效图像； · 步骤六、 将所述的缩放后图像与所述的原始图像叠加得到叠加图像； 步骤七、 将叠加图像输出到所述的显示装置进行显示；
步骤八、对显示装置显示的缩放后图像是否完整进行判断，如果是则继 续， 如果否则返回步骤二；
步骤九、 对显示装置显示的缩放后图像位置是否正确进行判断， 如果是 则继续， 如果否则返回步骤四；
步骤十、 结束。
8. 根据权利要求 1至 7任意一项所述的方法， 其特征在于， 所述的原始 图像包括： 多个子图像合成的图像。
9. 根据权利要求 1至 7任意一项所述的方法， 其特征在于， 所述的原始 图像为静止图像。
10. 根据权利要求 1至 7任意一项所述的方法， 其特征在于， 所述的原 始图像为运动图像。
PCT/CN2004/000507 2004-05-19 2004-05-19 Procede d'affichage d'images WO2005112424A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2004/000507 WO2005112424A1 (fr) 2004-05-19 2004-05-19 Procede d'affichage d'images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2004/000507 WO2005112424A1 (fr) 2004-05-19 2004-05-19 Procede d'affichage d'images

Publications (1)

Publication Number Publication Date
WO2005112424A1 true WO2005112424A1 (fr) 2005-11-24

Family

ID=35394516

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2004/000507 WO2005112424A1 (fr) 2004-05-19 2004-05-19 Procede d'affichage d'images

Country Status (1)

Country Link
WO (1) WO2005112424A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2443969A (en) * 2006-11-20 2008-05-21 Codian Ltd Method of transmitting scaled images using video processing hardware architecture
US7889226B2 (en) 2006-11-20 2011-02-15 Codian Ltd Hardware architecture for video conferencing
US8532100B2 (en) 2010-10-19 2013-09-10 Cisco Technology, Inc. System and method for data exchange in a heterogeneous multiprocessor system
CN112118475A (zh) * 2020-08-13 2020-12-22 视联动力信息技术股份有限公司 一种跨屏窗口显示方法、装置、终端设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08110578A (ja) * 1994-10-11 1996-04-30 Minolta Co Ltd 画像再生装置
JPH1065900A (ja) * 1996-08-20 1998-03-06 Nikon Corp サムネイル画像表示装置
CN1249613A (zh) * 1998-09-03 2000-04-05 索尼公司 视频设备
CN1406434A (zh) * 2000-12-26 2003-03-26 精工爱普生株式会社 投影仪和投影尺寸调整方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08110578A (ja) * 1994-10-11 1996-04-30 Minolta Co Ltd 画像再生装置
JPH1065900A (ja) * 1996-08-20 1998-03-06 Nikon Corp サムネイル画像表示装置
CN1249613A (zh) * 1998-09-03 2000-04-05 索尼公司 视频设备
CN1406434A (zh) * 2000-12-26 2003-03-26 精工爱普生株式会社 投影仪和投影尺寸调整方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2443969A (en) * 2006-11-20 2008-05-21 Codian Ltd Method of transmitting scaled images using video processing hardware architecture
GB2443969B (en) * 2006-11-20 2009-02-25 Codian Ltd Hardware architecture for video conferencing
US7889226B2 (en) 2006-11-20 2011-02-15 Codian Ltd Hardware architecture for video conferencing
US8169464B2 (en) 2006-11-20 2012-05-01 Codian Ltd Hardware architecture for video conferencing
US8532100B2 (en) 2010-10-19 2013-09-10 Cisco Technology, Inc. System and method for data exchange in a heterogeneous multiprocessor system
CN112118475A (zh) * 2020-08-13 2020-12-22 视联动力信息技术股份有限公司 一种跨屏窗口显示方法、装置、终端设备和存储介质

Similar Documents

Publication Publication Date Title
CN108650542B (zh) 生成竖屏视频流、图像处理的方法、电子设备和视频系统
US10297005B2 (en) Method for generating panoramic image
US8345082B2 (en) System and associated methodology for multi-layered site video conferencing
US9369636B2 (en) Video signal processing method and camera device
WO2014036741A1 (zh) 图像处理方法和图像处理设备
EP2382779A1 (en) Method, device and a computer program for processing images in a conference between a plurality of video conferencing terminals
KR20050010828A (ko) 비디오 이미지 포맷팅 기술
EP2335415A1 (en) Method, device and computer program for processing images during video conferencing
WO2009138015A1 (zh) 一种图像呈现方法及装置
WO2011029398A1 (zh) 一种图像处理方法及装置
WO2017113534A1 (zh) 一种全景拍摄处理方法、装置及系统
WO2005112424A1 (fr) Procede d'affichage d'images
JPH0851600A (ja) 映像信号変換装置
GB2470634A (en) Document camera presentation device with picture-in-picture snapshot of live video image
US8199184B2 (en) Visually enhancing a conference
JP2008278209A (ja) 放送受信装置及び放送受信装置の信号処理方法
CN102447887A (zh) 在安防系统视频信号中改变其图像长宽比的方法及装置
WO2013060295A1 (zh) 一种视频处理方法和系统
JP2003189262A (ja) ３次元ｙ／ｃ櫛形フィルターおよびインターレース・プログレッシブ変換器を単チップ集積する方法およびそのシステム
CN203225845U (zh) 一种数字高清电视墙
CN111953918A (zh) 一种视频单呼中的视频采集处理方法和系统
CN113452913B (zh) 一种变倍系统及方法
CN102695092A (zh) 一种提升iptv电视画质的方法
CN109905605B (zh) 一种四摄像机自动跟焦监控方法
JPH03129989A (ja) テレビ会議システム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase