WO2011029398A1 - 一种图像处理方法及装置 - Google Patents

一种图像处理方法及装置 Download PDF

Info

Publication number
WO2011029398A1
WO2011029398A1 PCT/CN2010/076757 CN2010076757W WO2011029398A1 WO 2011029398 A1 WO2011029398 A1 WO 2011029398A1 CN 2010076757 W CN2010076757 W CN 2010076757W WO 2011029398 A1 WO2011029398 A1 WO 2011029398A1
Authority
WO
WIPO (PCT)
Prior art keywords
display device
images
local site
width
image
Prior art date
Application number
PCT/CN2010/076757
Other languages
English (en)
French (fr)
Inventor
吴姣黎
赵阳
王静
李凯
刘源
赵嵩
Original Assignee
华为终端有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为终端有限公司 filed Critical 华为终端有限公司
Priority to EP10815000.4A priority Critical patent/EP2472859B1/en
Publication of WO2011029398A1 publication Critical patent/WO2011029398A1/zh
Priority to US13/417,752 priority patent/US8558869B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Definitions

  • the present invention relates to the field of communications, and in particular, to an image processing method and apparatus. Background of the invention
  • TelePresence is widely used in various video conferences. It provides life-size images, ultra-high definition resolution, stereoscopic audio and a specially designed environment to create a "room.” In the room of the "style video conference. Telepresence video conferencing allows users to have an immersive, face-to-face meeting experience, so that users feel that the parties in the same room seem to be in the same room, can solve the traditional video conference communication is not real, the size of the characters is inconsistent, the picture Blurring, pictures and sounds are not synchronized.
  • each camera in the local site corresponds to a different user area.
  • Each camera simultaneously picks up the image of the corresponding user area and sends it to the conference terminal of the remote site.
  • the conference terminal of the remote site. ⁇ Combine the images picked up by the camera of the local site with physical or digital image stitching technology, and then output it to the adjacent display device of the remote site.
  • the conference terminal of the local site will also use physical or digital
  • the image stitching technology splices the images picked up by the cameras of the remote site and outputs them to the adjacent display devices of the local site.
  • the local site and the remote site In order to make the image stitching coherent, the local site and the remote site generally select a fixed display device model, and at least the display device has the same border.
  • Embodiments of the present invention provide an image processing method and apparatus, which can obtain an optimal image display effect and improve a user's telepresence video conference experience.
  • the embodiment of the present invention provides the following technical solutions:
  • An embodiment of the present invention provides an image processing method, including:
  • the processed at least two images are respectively output to the local venue display device display.
  • An embodiment of the present invention provides an image processing apparatus, including:
  • a receiving module configured to receive at least two images sent by the remote site
  • a first control module configured to compare a width of the blind zone with a size of a left and right border of the local site display device, and compare the width of the blind zone with a left and right border of the local site display device, and compare the at least two images according to the comparison result Process separately;
  • an output module configured to output at least two images processed by the first control module to the local venue display device for display.
  • the embodiments of the present invention have the following advantages:
  • the blind zone width of at least two road images is compared with the sum of the left and right borders of the local site display device, and at least two images are separately processed according to the comparison result (such as cutting or loading black borders). ), so that the processed at least two-way image is adapted to the size of the local site display device, thereby obtaining an optimal image display effect and improving the user's telepresence video conference experience.
  • FIG. 1 is a schematic flowchart of an image processing method according to an embodiment of the present invention
  • FIG. 2 is a schematic flowchart of a method for processing at least two images according to a comparison result according to an embodiment of the present invention
  • FIG. 3 is a schematic flow chart of another method for processing at least two images according to a comparison result according to an embodiment of the present invention
  • FIG. 4 is a schematic flowchart of an image processing method according to an embodiment of the present invention
  • FIG. 5 is a schematic structural diagram of an image processing apparatus according to an embodiment of the present invention
  • FIG. 1 is a schematic flow chart of an image processing method according to an embodiment of the present invention. As shown in FIG. 1, the method may include the steps of:
  • each camera picks up one image.
  • the camera is controllable, that is, the program can send commands to control the stereo positional motion of the camera such as rotation, translation, and stretching.
  • the shooting modes between the cameras at the remote site are different, the splicing method of the picked multiple images will be different.
  • Common shooting modes between cameras include, but are not limited to, divergence mode, convergence mode, parallel mode, common center or near-optical mode.
  • the shooting mode between the cameras is divergent mode, there may be a blind spot (ie, a seam connection) in the splicing manner of the picked-up multiple images; for example, when the shooting mode between the cameras is a common light center or approximation In the common optical mode, there may be overlapping regions in the splicing manner of the multi-path images picked up.
  • 102 If there is a blind zone in the splicing of the at least two images, the sum of the blind zone width and the left and right borders of the local site display device is compared;
  • the display device may include a slit display device having a sum of left and right borders of about 5 to 20 mm, a wide slit display device having a sum of left and right borders of about 15 to 60 mm, or even a sum of left and right borders of approximately 0. Seamless display device.
  • each image can be output to a display device of the local site for display.
  • each display device of the local site is the same size, and the sum of the left and right borders of each display device is the same.
  • the at least two images are separately processed according to the comparison result, and the method shown in FIG. 2 can be used.
  • the method may include the steps of:
  • the method shown in FIG. 3 can also be used.
  • the method may include the steps of:
  • the blind zone width of the at least two images is equal to the local site display device
  • the sum of the borders, or the blind zone width of the at least two images is equal to 0, and the received at least two images may be directly output to the display device of the local site for display.
  • the remote site may be received by the remote site, and the panoramic image is spliced by the remote site; The panoramic image is cropped to obtain a number of road images; and then output to the display device of the local site for display.
  • a plurality of road images are obtained by performing scaling processing according to the size of the local display device, so that the image is adapted to the size of the local site display device.
  • the display device of the local site is a panoramic seamless display device (such as a high-resolution projection display device or a 108-inch liquid crystal display, etc.)
  • the above panoramic image may not be cropped, and the above panoramic image may be directly Output to the panoramic seamless display device for display.
  • the image processing method provided by the embodiment of the present invention may further include the following steps:
  • the display device information is used to indicate that the display device of the remote site is a seamless seamless display device, or the narrow slit display device, the wide slit display device, and the seamless display device described above.
  • step 2) can adjust the shooting mode of the local site camera to be a common center or near-common light. Heart or convergence mode; otherwise, step 2) above can adjust the shooting mode of the local site camera to divergent mode.
  • the communication protocol between the fields informs the local site of the blind zone width corresponding to the at least two images picked up by the remote site, so that the local site can receive at least two channels after receiving the image sent by the remote site.
  • the image is cropped or blackened.
  • the remote site has sent two images, namely image 1 and image 2, where there is a blind zone between image 1 and image 2, and the blind zone width is 12 mm. It is assumed that there are adjacent display devices 1 and display devices 2 in the local site. Wherein, the display device 1 and the display device 2 are narrow slit display devices having a sum of left and right borders of 10 mm;
  • Image 1 and Image 2 are directly output to the display device 1 and the display device 2 for display, since the sum of the adjacent sides of the display device 1 and the display device 2 is also 10 mm, it is felt from the user's visual point of view. Image 1 and Image 2 are compressed, thereby reducing the user's telepresence video conferencing experience;
  • a black edge having a width equal to 1 mm (as a correction value of image 1 and image 2) is loaded on the adjacent sides of the display device 1 and the display device 2, thus from the user's visual angle. It can be seen that the distance between the adjacent sides of the image 1 and the image 2 is exactly equal to the width of the blind spot, and the feeling that the image 1 and the image 2 are compressed does not occur, thereby improving the user's telepresence video conference experience.
  • the image processing method provided by the embodiment of the present invention is described above.
  • the sum of the blind zone width of at least two road image mosaics and the left and right borders of the local site display device are compared, and according to the comparison result
  • the at least two images are respectively cropped or black-faced, so that the processed at least two images are adapted to the size of the local site display device, thereby obtaining an optimal image display effect and improving the user's telepresence video conference.
  • FIG. 4 is a schematic flowchart of another image processing method according to an embodiment of the present invention. As shown in FIG. 4, the method may include the steps of:
  • the at least two images are spliced into a panoramic image by using a soft splicing algorithm
  • the at least two images are spliced into a panoramic image by a soft stitching algorithm, Is to remove the overlapping area;
  • the commonly used soft stitching algorithm is: obtaining a common matching pair of multiple overlapping area images by feature point detection and matching, and then using the common matching point pair to calculate the position mapping relationship between images, and then through various kinds such as plane, cylinder or Spherical coordinate transformation projects a plurality of images onto a coordinate to obtain a panoramic image.
  • Such a soft stitching algorithm is a technique well known in the art of panoramic image stitching.
  • the above panoramic image is cropped according to the size of the border of the local site display device, and a plurality of road images are obtained;
  • the display device of the local site is a panoramic seamless display device (such as a high-resolution projection display device or a 108-inch liquid crystal display, etc.)
  • the above panoramic image may not be cropped, and the above panoramic image may be directly Output to the panoramic seamless display device for display.
  • the obtained plurality of road images may be separately stretched to make the road image and the local site display device size. Adapted.
  • the panoramic image cropping may be performed in the middle, and displayed on the corresponding multiple seamless displays respectively;
  • the following processing can be performed: the face is recognized, the cutting line for cutting the panoramic image is not at the face position, and then scaled after cutting, and then displayed on the corresponding multiple seamless displays respectively. ;
  • the entire person includes the arm at the image stitching, the entire person is identified so that the cut does not split the person in half, or the cut can be made at the actual stitch of the image because a seamless screen display is used.
  • the display device of the local site is a narrow-slit display device, and the character is at the image mosaic, so that when the panoramic image is cropped, it is necessary to make the complete face or the entire person in one image, and then in the narrow slit. Displayed in the display device, the effect is good, otherwise the face of the person will appear half In the image of the display device on the left, half is in the image of the display device on the right, or one image is in the image of the display device on the left, and one eye is in the image of the display device on the right, which is very bad for the user. Experience.
  • the resolution of the cropped image is different, so that when the cropped image is directly displayed in the respective slit display device, the display will be confused, and the ratio may be incorrect, which may result in one person being large and one person small.
  • further scaling or cropping is required.
  • the image resolution of the display device on the left side is smaller than the image resolution of the display device on the right side.
  • the image resolution of the display device on the left side may not be processed, and the image of the display device on the right side crops off the scene where the rightmost is insignificant.
  • the left and right display device image resolutions are consistent; or the left display device image is appropriately scaled so that the resolutions of the two are consistent and then separately displayed.
  • the image processing method provided by the embodiment of the present invention may further include the following steps:
  • the display device information is used to indicate that the display device of the remote site is a seamless seamless display device, or the narrow slit display device, the wide slit display device, and the seamless display device described above.
  • step 2) can adjust the shooting mode of the local site camera to be a common center or near-common light. Heart or convergence mode; otherwise, step 2) above can adjust the shooting mode of the local site camera to divergent mode.
  • the blind zone width of at least two road images is compared with the sum of the left and right borders of the local site display device, and at least two images are separately processed according to the comparison result (such as cutting or loading black borders). ), so that at least two processed images are adapted to the size of the local venue display device, thereby obtaining an optimal image display effect and improving user telepresence Adjust the camera shooting mode of the local site to get better shooting results.
  • FIG. 5 is a schematic structural diagram of an image processing apparatus according to an embodiment of the present invention. As shown in FIG. 5, the image processing apparatus may include:
  • the receiving module 501 is configured to receive at least two images sent by the remote site;
  • the first control module 502 is configured to compare the size of the blind zone width with the left and right borders of the local site display device when the splicing of the at least two images is performed, and compare the at least two images according to the comparison result. deal with;
  • the output module 503 is configured to output the at least two images processed by the first control module 502 to the local site display device.
  • the receiving module 501 may be further configured to receive display device information of the remote site that is sent by the remote site, where the display device information is used to indicate that the display device of the remote site is a panoramic seamless display device, or is the front The narrow slit display device, the wide slit display device, and the seamless display device.
  • the image processing apparatus may further include:
  • the second control module 504 is configured to adjust a shooting mode of the local site camera according to the display device information.
  • the second control module 502 can be a panoramic seamless display device
  • the second control module 502 can adjust the shooting mode of the local site camera to a common center or near-optical center or In the aggregation mode, the purpose of the adjustment is to make the multi-channel images captured by the cameras of the local site more suitable for panoramic splicing, and finally the panoramic seamless display device of the remote site can maximize the function of the panoramic display.
  • the display device of the remote site is not a panoramic seamless display device, the second control module 502 can adjust the shooting mode of the local site camera to a divergent mode.
  • FIG. 6 is a schematic structural diagram of a first control module according to an embodiment of the present invention.
  • the first control module 502 can include:
  • the comparison sub-module 5021 is configured to compare the size of the blind zone width with the left and right borders of the local site display device when the splicing of the at least two images received by the receiving module 501 has a blind zone;
  • the calculation sub-module 5022 is used as a blind zone. When the width is greater than the sum of the left and right borders of the local site display device, calculate the difference between the blind zone width and the left and right borders of the local site display device, and take half of the difference as the correction value of the at least two images;
  • the correction sub-module 5023 is configured to load, on each of the adjacent sides of the at least two images, a black edge having a width equal to the modified value.
  • calculation sub-module 5022 of the embodiment of the present invention may further calculate a difference between the left and right borders of the local venue display device and the width of the blind zone when the blind zone width is smaller than the sum of the left and right borders of the local site display device, and take the difference Half as the correction value of the above at least two images;
  • the above-mentioned correction sub-module 5023 may also trim an edge having a width equal to the modified value on each of the adjacent sides of the at least two-way image.
  • the image processing apparatus may further include: a third control module 505, configured to: when the splicing of the at least two images is overlapped, The at least two-way image is spliced into a panoramic image; and the above-mentioned panoramic image is cropped according to the size of the frame size of the local site display device to obtain a plurality of road images;
  • a third control module 505 configured to: when the splicing of the at least two images is overlapped, The at least two-way image is spliced into a panoramic image; and the above-mentioned panoramic image is cropped according to the size of the frame size of the local site display device to obtain a plurality of road images;
  • the output module 503 can also output the obtained plurality of road images to the local field display device for display.
  • the at least two images are spliced into a panoramic image by a soft stitching algorithm, in order to remove the overlapping area;
  • the commonly used soft stitching algorithm is: obtaining a common matching pair of multiple overlapping area images by feature point detection and matching, and then using the common matching point pair to calculate the position mapping relationship between images, and then through various kinds such as plane, cylinder or Spherical coordinate transformation projects a plurality of images onto a coordinate to obtain a panoramic image.
  • Such a soft stitching algorithm is a technique well known in the art of panoramic image stitching.
  • the image processing apparatus provided by the embodiment of the present invention may be applied to the remote conference site to implement the same function, which is not limited herein.
  • the blind zone width of at least two road images is compared with the sum of the left and right borders of the local site display device, and at least two images are respectively clipped or loaded according to the comparison result.
  • the black-side processing is performed to adapt the processed at least two-way image to the size of the local site display device, thereby obtaining an optimal image display effect and improving the user's telepresence video conference experience.
  • the embodiment of the present invention can also adjust the camera shooting mode of the local site according to the display device information of the remote site, so that a better shooting effect can be obtained.

Description

一种图像处理方法及装置
本申请要求于 2009 年 09 月 11 日提交中国专利局、 申请号为 200910172948.4、发明名称为"一种图像处理方法及装置"的中国专利申请的优 先权， 其全部内容通过引用结合在本申请中。 技术领域
本发明涉及通信领域， 特别涉及一种图像处理方法及装置。 发明背景
网真作为一种新技术被广泛地应用在各种视频会议中， 它提供了真人大 小的图像、 超高清晰的分辨率、 具有立体感的音频和特殊设计的环境， 营造 出一种 "房间中的房间"式的视频会议。网真视频会议让用户可以拥有一个身临 其境的、 面对面的会议体验， 使用户感到与会各方好像在同一个房间之中， 可以解决传统视频会议中的沟通不够真实、 人物大小不一致、 画面模糊、 画 面与声音不同步等问题。
在网真视频会议中， 本地会场的每个摄像机分别对应一个不同的用户区 域， 每个摄像机同时拾取对应的用户区域的图像， 并发送到远端会场的会议 终端 , 由远端会场的会议终端釆用物理的或者数字的图像拼接技术将本地会 场的摄像机拾取的图像拼接起来， 再输出给远端会场的相邻显示设备显示； 同时， 本地会场的会议终端也会釆用物理的或者数字的图像拼接技术将远端 会场的摄像机拾取的图像拼接起来， 再输出给本地会场的相邻显示设备显示。 为了使得图像拼接连贯， 本地会场及远端会场一般选择了某种固定的显示设 备型号， 至少显示设备的边框是一样的。
随着显示设备的更新换代， 显示设备屏幕尺寸和边框大小都会发生变化， 釆用新的窄边框显示设备进行图像拼接将更有利于提升用户体验， 但是如何 在用户更新显示设备的情况下进行图像调整以获得最佳显示效果目前尚无解 决方案。 发明内容
本发明实施例提供了一种图像处理方法及装置， 能够获得最佳的图像显 示效果， 提高用户网真视频会议体验。
为实现上述目的， 本发明实施例提供如下技术方案：
本发明实施例提供了一种图像处理方法， 包括：
接收远端会场发送的至少二路图像；
若所述至少二路图像的拼接存在盲区， 则比较所述盲区的宽度与本地会 场显示设备的左右边框之和的大小；
根据比较结果对所述至少二路图像分别进行处理；
将处理后的至少二路图像分别输出本地会场显示设备显示。
本发明实施例提供了一种图像处理装置， 包括：
接收模块， 用于接收远端会场发送的至少二路图像；
第一控制模块， 用于当所述至少二路图像的拼接存在盲区时， 比较所述 盲区的宽度与本地会场显示设备的左右边框之和的大小， 并根据比较结果对 所述至少二路图像分别进行处理；
输出模块， 用于将所述第一控制模块处理后的至少二路图像分别输出本 地会场显示设备显示。
从以上技术方案可以看出， 本发明实施例具有以下优点：
在本发明实施例中， 将至少二路图像拼接的盲区宽度与本地会场显示设 备的左右边框之和进行了比较， 并且根据比较结果来对至少二路图像分别进 行处理（比如裁剪或加载黑边）， 以使经过处理的至少二路图像与本地会场显 示设备尺寸大小相适应， 从而能够获得最佳的图像显示效果， 提高用户网真 视频会议体验。 附图简要说明
此处所说明的附图用来提供对本发明的进一步理解， 构成本申请的一部 分， 并不构成对本发明的限定。 在附图中：
图 1 为本发明实施例中提供的一种图像处理方法的流程示意图； 图 2 为本发明实施例中提供的一种根据比较结果对至少二路图像进行处 理的方法流程示意图；
图 3 为本发明实施例中提供的又一种根据比较结果对至少二路图像进行 处理的方法流程示意图；
图 4 为本发明实施例中提供的一种图像处理方法的流程示意图； 图 5 为本发明实施例中提供的一种图像处理装置的结构示意图； 图 6 为本发明实施例中提供的一种第一控制模块的结构示意图。 实施本发明的方式
为使本发明的目的、 技术方案和优点更加清楚明白， 下面结合实施方式 和附图， 对本发明做进一步详细说明。 在此， 本发明的示意性实施方式及其 说明用于解释本发明， 但并不作为对本发明的限定。
请参阅图 1 ,图 1为本发明实施例中提供的一种图像处理方法的流程示意 图。 如图 1所示， 该方法可以包括步骤：
101 : 接收远端会场发送的至少二路图像；
在远端会场中， 每一个摄像机分别拾取一路图像。 摄像机是可操控的， 即可以由程序发送指令控制摄像机发生旋转、 平移、 拉伸等立体方位运动。 当远端会场的摄像机之间的拍摄模式不同时， 所拾取的多路图像的拼接方式 也会不相同。
常见的摄像机之间的拍摄模式包括但不限于： 发散模式、 汇聚模式、 平 行模式、 共光心或近似共光心模式等。 例如， 当摄像机之间的拍摄模式为发 散模式时， 所拾取的多路图像的拼接方式有可能存在盲区 （即有缝连接）； 又 例如， 当摄像机之间的拍摄模式为共光心或近似共光心模式时， 所拾取的多 路图像的拼接方式有可能存在重叠区。 102: 若上述的至少二路图像的拼接存在盲区， 则比较盲区宽度与本地会 场显示设备的左右边框之和的大小；
举例来说， 本发明实施例所涉及的显示设备可以包括左右边框之和约为 5~20mm的窄缝显示设备、 左右边框之和约为 15~60mm的宽缝显示设备甚至 左右边框之和近似为 0的无缝显示设备。
103： 根据比较结果对至少二路图像分别进行处理；
104： 将处理后的至少二路图像分别输出本地会场显示设备显示。
其中， 当上述的步骤 103 处理完毕每一路图像之后， 可以将每一路图像 分别输出到本地会场的一个显示设备上进行显示。 优选的， 本地会场的每一 个显示设备尺寸大小都是相同的， 且每一个显示设备左右边框之和也是相同 的。
举例来说，上述的步骤 103中根据比较结果对至少二路图像分别进行处理 可以釆用图 2所示的方法。 如图 2所示， 该方法可以包括步骤：
201 : 若盲区宽度大于本地会场显示设备左右边框之和， 则计算所述盲区 的宽度与本地会场显示设备左右边框和的差值；
202: 取上述差值的一半作为至少二路图像的修正值；
203: 在上述的至少二路图像的相邻边上各加载一个宽度等于上述修改值 的黑边。
举例来说， 上述的步骤 103中根据比较结果对至少二路图像分别进行处 理还可以釆用图 3所示的方法。 如图 3所示， 该方法可以包括步骤：
301 : 若盲区宽度小于本地会场显示设备左右边框之和， 则计算本地会场 显示设备左右边框之和与盲区宽度的差值；
302: 取上述差值的一半作为至少二路图像的修正值；
303: 在上述的至少二路图像的相邻边上各裁剪一个宽度等于上述修改值 的边缘。
另外， 如果上述的至少二路图像的盲区宽度等于本地会场显示设备左右 边框之和， 或者所述至少二路图像的盲区宽度等于 0 时， 可以按顺序直接将 接收到的至少二个图像分别输出到本地会场的显示设备进行显示。
另外， 本发明实施例提供的图像处理方法中， 还可以接收远端会场发送 全景图像， 该全景图像是由远端会场拼接好的； 此时， 可以根据本地会场显 示设备的边框尺寸大小对上述的全景图像进行裁剪， 获得若干路图像； 然后 分别输出到本地会场的显示设备进行显示。
进一步地， 本发明实施例中， 还可以根据本地显示设备尺寸大小对获得 若干路图像进行伸缩处理， 以使图像与本地会场显示设备尺寸大小相适应。
进一步地， 如果本地会场的显示设备是全景无缝显示设备（比如高分辨 率的投影显示设备或 108英寸的液晶显示器等） 时， 无需对上述的全景图像 进行裁剪， 可以直接将上述的全景图像输出至全景无缝显示设备进行显示。
优选地， 本发明实施例提供的图像处理方法还可以进一步包括如下步骤：
1 )、 接收远端会场发送的远端会场的显示设备信息； 也可以通过扩展远端会场与本地会场之间的通信协议， 比如扩展 H.323 , H.320、 SIP、 El等来携带远端会场的显示设备信息。
其中， 显示设备信息用于指示远端会场的显示设备为全景无缝显示设备， 或者为前面所述的窄缝显示设备、 宽缝显示设备、 无缝显示设备。
2 )、 根据显示设备信息调整本地会场摄像机的拍摄模式。
举例来说， 若上述步骤 1 )中的显示设备信息指示了远端会场的显示设备 为全景无缝显示设备， 则上述步骤 2 )可以调整本地会场摄像机的拍摄模式为 共光心或近似共光心或者汇聚模式； 否则， 上述步骤 2 )可以调整本地会场摄 像机的拍摄模式为发散模式。 场之间的通信协议， 将远端会场拾取的至少二路图像所对应的盲区宽度告知 本地会场， 这样本地会场在接收到远端会场发送的图像后， 可以对至少二路 图像进行裁剪或加黑边等处理。
为了更好地理解本发明实施例的效果， 下面将以举例的方式进行说明。 假设远端会场发送了二路图像， 分别是图像 1和图像 2, 其中图像 1和图像 2 之间存在盲区， 且盲区宽度为 12mm; 假设本地会场存在相邻的显示设备 1 和显示设备 2 ,其中，显示设备 1和显示设备 2都是左右边框之和为 10mm的 窄缝显示设备；
显然， 如果直接将图像 1和图像 2输出到显示设备 1和显示设备 2进行 显示的话， 由于显示设备 1和显示设备 2的相邻边的和也是 10mm,从用户的 视觉角度来看， 就感觉图像 1和图像 2被压缩了， 从而降低了用户网真视频 会议体验；
如果根据本发明实施例提供的方法， 在显示设备 1和显示设备 2的相邻 边上各加载一个宽度等于 1mm (作为图像 1和图像 2的修正值） 的黑边， 这 样从用户的视觉角度来看， 图像 1和图像 2的相邻边的距离就刚好等于盲区 宽度， 就不会出现图像 1和图像 2被压缩的感觉了， 从而提高用户网真视频 会议体验。
上述对本发明实施例提供的一种图像处理方法进行了介绍， 在本发明实 施例中， 将至少二路图像拼接的盲区宽度与本地会场显示设备的左右边框之 和进行了比较， 并且根据比较结果来对至少二路图像分别进行裁剪或加载黑 边处理， 以使经过处理的至少二路图像与本地会场显示设备尺寸大小相适应， 从而能够获得最佳的图像显示效果， 提高用户网真视频会议体验。
请参阅图 4,图 4为本发明实施例中提供的另一种图像处理方法的流程示 意图。 如图 4所示， 该方法可以包括步骤：
401 : 接收远端会场发送的至少二路图像；
402: 若上述的至少二路图像的拼接存在重叠区， 则釆用软拼接算法将上 述的至少二路图像拼接为全景图像；
其中， 釆用软拼接算法拼接上述的至少二个图像为一个全景图像， 目的 是为了去掉重叠区域；
常用的软拼拼接算法是： 通过特征点检测与匹配获得多个重叠区图像的 公共匹配对， 进而利用该公共匹配点对计算图像间的位置映射关系， 再经过 各种诸如平面、 柱面或球面坐标变换把多个图像投影到一个坐标下， 获得全 景图像， 这样的软拼接算法是全景图像拼接技术领域所公知的技术。
403 : 根据本地会场显示设备的边框尺寸大小对上述的全景图像进行裁 剪， 获得若干路图像；
进一步地， 如果本地会场的显示设备是全景无缝显示设备（比如高分辨 率的投影显示设备或 108英寸的液晶显示器等） 时， 无需对上述的全景图像 进行裁剪， 可以直接将上述的全景图像输出至全景无缝显示设备进行显示。
404: 将上述的若干路图像分别输出本地会场显示设备显示。
进一步地， 在本发明实施例中， 在执行完毕步骤 403之后， 以及在执行 步骤 404之前， 还可以对获得的上述若干路图像分别进行伸缩处理， 以使若 干路图像与本地会场显示设备尺寸大小相适应。
举例来说， 若本地会场的显示设备是无缝显示设备， 并且人物不在图像 拼接处， 则可以在正中间进行全景图像裁剪， 并分别显示在对应的多个无缝 显示器上；
若人在图像拼接处， 则可以进行如下处理： 对人脸进行识别， 切割全景 图像的切割线不可在人脸位置， 切割后再进行缩放处理， 然后分别显示在对 应的多个无缝显示器上；
若整个人包括手臂在图像拼接处， 则识别整个人， 使得切割不会将人分 成两半， 或者， 也可在图像的实际缝合线处进行切割， 因为使用的是无缝屏 幕显示。
举例来说， 若本地会场的显示设备是窄缝显示设备， 并且人物在图像拼 接处， 这样在进行全景图像裁剪时， 需要使得完整的人脸或整个人在一个图 像中， 然后再在窄缝显示设备中显示， 效果才好， 否则就会出现人的脸一半 在左边的显示设备的图像中， 一半在右边的显示设备的图像中， 或者是一只 眼在左边的显示设备的图像中， 一只眼在右边的显示设备的图像中， 给用户 非常不好的体验。
当裁剪不在中间位置时， 裁剪后的图像的分辨率不同了， 这样直接显示 裁剪后的图像在各自的窄缝显示设备中时， 将导致显示混乱， 比例不对， 可 能导致一个人大， 一个人小， 此时需要做进一步的缩放或裁剪处理。 比如， 裁剪后左边的显示设备的图像分辨率小于右边的显示设备图像分辨率， 此时， 左边的显示设备的图像分辨率可以不处理， 右边的显示设备图像裁剪掉最右 边无关紧要的场景， 使得左右显示设备图像分辨率一致； 或者， 左边的显示 设备图像进行适当缩放使得二者分辨率一致再进行分别显示。
优选地， 本发明实施例提供的图像处理方法还可以进一步包括如下步骤：
1 )、 接收远端会场发送的远端会场的显示设备信息； 也可以通过扩展远端会场与本地会场之间的通信协议， 比如扩展 H.323 , H.320、 SIP、 El等来携带远端会场的显示设备信息。
其中， 显示设备信息用于指示远端会场的显示设备为全景无缝显示设备， 或者为前面所述的窄缝显示设备、 宽缝显示设备、 无缝显示设备。
2 )、 根据显示设备信息调整本地会场摄像机的拍摄模式。
举例来说， 若上述步骤 1 )中的显示设备信息指示了远端会场的显示设备 为全景无缝显示设备， 则上述步骤 2 )可以调整本地会场摄像机的拍摄模式为 共光心或近似共光心或者汇聚模式； 否则， 上述步骤 2 )可以调整本地会场摄 像机的拍摄模式为发散模式。
在本发明实施例中， 将至少二路图像拼接的盲区宽度与本地会场显示设 备的左右边框之和进行了比较， 并且根据比较结果来对至少二路图像分别进 行处理（比如裁剪或加载黑边）， 以使经过处理的至少二路图像与本地会场显 示设备尺寸大小相适应， 从而能够获得最佳的图像显示效果， 提高用户网真 调整本地会场的摄像机拍摄模式， 从而可以获得较佳的拍摄效果。 请参阅图 5 ,图 5为本发明实施例中提供的一种图像处理装置的结构示意 图。 如图 5所示， 该图像处理装置可以包括：
接收模块 501 , 用于接收远端会场发送的至少二路图像；
第一控制模块 502 , 用于当上述的至少二路图像的拼接存在盲区时， 比较 盲区宽度与本地会场显示设备的左右边框之和的大小， 并根据比较结果对上 述的至少二路图像分别进行处理；
输出模块 503 ,用于将上述的第一控制模块 502处理后的至少二路图像分 别输出本地会场显示设备显示。
进一步地， 上述的接收模块 501 还可以用于接收远端会场发送的远端会 场的显示设备信息， 其中， 显示设备信息用于指示远端会场的显示设备为全 景无缝显示设备， 或者为前面所述的窄缝显示设备、 宽缝显示设备、 无缝显 示设备。
此时， 该图像处理装置还可以进一步包括：
第二控制模块 504 ,用于根据上述的显示设备信息调整本地会场摄像机的 拍摄模式。
举例来说， 上述的第二控制模块 502可以在远端会场的显示设备为全景 无缝显示设备时， 第二控制模块 502可以调整本地会场摄像机的拍摄模式为 共光心或近似共光心或者汇聚模式， 这样调整的目的是为了使得本地会场的 摄像机所拍摄的多路图像更适合于全景拼接， 最终使得远端会场的全景无缝 显示设备能够最大程度发挥其全景显示的作用。 反之， 如果远端会场的显示 设备不是全景无缝显示设备， 则第二控制模块 502 可以调整本地会场摄像机 的拍摄模式为发散模式。
请一并参阅图 6 ,图 6为本发明实施例中提供的一种第一控制模块的结构 示意图。 如图 6所示， 第一控制模块 502可以包括： 比较子模块 5021 , 用于当上述的接收模块 501接收的至少二路图像的拼 接存在盲区时， 比较盲区宽度与本地会场显示设备的左右边框之和的大小； 计算子模块 5022 , 用于当盲区宽度大于本地会场显示设备左右边框之和 时， 计算盲区宽度与本地会场显示设备左右边框和的差值， 并取差值的一半 作为上述至少二路图像的修正值；
修正子模块 5023 , 用于在所述至少二路图像的相邻边上各加载一个宽度 等于上述修改值的黑边。
进一步地， 本发明实施例提供的计算子模块 5022还可以在上述盲区宽度 小于本地会场显示设备左右边框之和时， 计算本地会场显示设备左右边框和 与盲区宽度的差值， 并取差值的一半作为上述至少二路图像的修正值；
此时， 上述的修正子模块 5023还可以在上述的至少二路图像的相邻边上 各裁剪一个宽度等于上述修改值的边缘。
如图 5所示， 本发明实施例中提供的图像处理装置还可以进一步包括： 第三控制模块 505 , 用于当上述的至少二路图像的拼接存在重叠区时， 釆 用软拼接算法将上述的至少二路图像拼接为全景图像； 并且根据本地会场显 示设备的边框尺寸大小对上述的全景图像进行裁剪， 获得若干路图像；
此时， 上述的输出模块 503还可以将获得的若干路图像分别输出本地会 场显示设备显示。
其中， 釆用软拼接算法拼接上述的至少二个图像为一个全景图像， 目的 是为了去掉重叠区域；
常用的软拼拼接算法是： 通过特征点检测与匹配获得多个重叠区图像的 公共匹配对， 进而利用该公共匹配点对计算图像间的位置映射关系， 再经过 各种诸如平面、 柱面或球面坐标变换把多个图像投影到一个坐标下， 获得全 景图像， 这样的软拼接算法是全景图像拼接技术领域所公知的技术。
需要说明的是， 本发明实施例提供的图像处理装置也可以应用于远端会 会场实现相同的功能， 本发明实施例在此不作限定。 在本发明实施例提供的图像处理装置中， 将至少二路图像拼接的盲区宽 度与本地会场显示设备的左右边框之和进行了比较， 并且根据比较结果来对 至少二路图像分别进行裁剪或加载黑边处理， 以使经过处理的至少二路图像 与本地会场显示设备尺寸大小相适应， 从而能够获得最佳的图像显示效果， 提高用户网真视频会议体验。 另外， 本发明实施例还可以根据远端会场的显 示设备信息来调整本地会场的摄像机拍摄模式， 从而可以获得较佳的拍摄效 果。 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步 骤是可以通过程序来指令相关硬件完成的， 该程序可以存储于一计算机可读 存储介质中， 存储介质可以包括： ROM、 RAM, 磁盘或光盘等。 以上所述的具体实施方式， 对本发明的目的、 技术方案和有益效果进行 了进一步详细说明， 所应理解的是， 以上所述仅为本发明的具体实施方式而 已， 并不用于限定本发明的保护范围， 凡在本发明的精神和原则之内， 所做 的任何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。

Claims

权 利 要求
1、 一种图像处理方法， 其特征在于， 包括：
接收远端会场发送的至少二路图像；
若所述至少二路图像的拼接存在盲区， 则比较所述盲区的宽度与本地会 场显示设备的左右边框之和的大小；
根据比较结果对所述至少二路图像分别进行处理；
将处理后的至少二路图像分别输出给本地会场显示设备显示。
2、 如权利要求 1所述的方法， 其特征在于， 还包括：
接收远端会场发送的所述远端会场的显示设备信息；
根据所述显示设备信息调整本地会场摄像机的拍摄模式。
3、 如权利要求 2所述的方法， 其特征在于， 所述根据所述显示设备信息 调整本地会场摄像机的拍摄模式包括：
若所述远端会场的显示设备为全景无缝显示设备， 则调整本地会场摄像 机的拍摄模式为共光心或近似共光心或者汇聚模式； 否则， 调整本地会场摄 像机的拍摄模式为发散模式。
4、 如权利要求 1或 2或 3所述的方法， 其特征在于， 所述根据比较结果 对所述至少二路图像进行处理包括：
若所述盲区的宽度大于本地会场显示设备左右边框之和， 则计算所述盲 区的宽度与本地会场显示设备左右边框和的差值；
取所述差值的一半作为所述至少二路图像的修正值；
在所述至少二路图像的相邻边上各加载一个宽度等于上述修改值的黑 边。
5、 如权利要求 4所述的方法， 其特征在于， 还包括：
若所述盲区的宽度小于本地会场显示设备左右边框之和， 则计算本地会 场显示设备左右边框和与所述盲区的宽度的差值；
取所述差值的一半作为所述至少二路图像的修正值； 在所述至少二路图像的相邻边上各裁剪一个宽度等于上述修改值的边
6、 如权利要求 1或 2或 3所述的方法， 其特征在于， 还包括： 若所述至少二路图像的拼接存在重叠区， 则釆用软拼接算法将所述至少 二路图像拼接为全景图像；
根据本地会场显示设备的边框尺寸大小对所述全景图像进行裁剪， 获得 若干路图像；
将所述若干路图像分别输出本地会场显示设备显示。
7、 如权利要求 6所述的方法， 其特征在于， 在将所述若干路图像分别输 出本地会场显示设备显示之前， 还包括：
对获得的所述若干路图像分别进行伸缩处理， 以使所述图像与本地会场 显示设备尺寸大小相适应。
8、 一种图像处理装置， 其特征在于， 包括：
接收模块， 用于接收远端会场发送的至少二路图像；
第一控制模块， 用于当所述至少二路图像的拼接存在盲区时， 比较所述 盲区的宽度与本地会场显示设备的左右边框之和的大小， 并根据比较结果对 所述至少二路图像分别进行处理；
输出模块， 用于将所述第一控制模块处理后的至少二路图像分别输出本 地会场显示设备显示。
9、 如权利要求 8所述的图像处理装置， 其特征在于， 所述接收模块还用 于接收远端会场发送的所述远端会场的显示设备信息， 则所述图像处理装置 还包括：
第二控制模块， 用于根据所述显示设备信息调整本地会场摄像机的拍摄 模式。
10、 如权利要求 9 所述的图像处理装置， 其特征在于， 所述第二控制模 块具体用于当所述远端会场的显示设备为全景无缝显示设备时， 调整本地会 场摄像机的拍摄模式为共光心或近似共光心或者汇聚模式； 否则， 调整本地 会场摄像机的拍摄模式为发散模式。
11、 如权利要求 8或 9或 10所述的图像处理装置， 其特征在于， 所述第 一控制模块包括：
比较子模块， 用于当所述接收模块接收的至少二路图像的拼接存在盲区 时， 比较所述盲区的宽度与本地会场显示设备的左右边框之和的大小；
计算子模块， 用于当所述盲区的宽度大于本地会场显示设备左右边框之 和时， 计算所述盲区的宽度与本地会场显示设备左右边框和的差值， 并取所 述差值的一半作为所述至少二路图像的修正值；
修正子模块， 用于在所述至少二路图像的相邻边上各加载一个宽度等于 上述修改值的黑边。
12、 如权利要求 11所述的图像处理装置， 其特征在于， 所述计算子模块 还用于当所述盲区的宽度小于本地会场显示设备左右边框之和时， 计算本地 会场显示设备左右边框和与所述盲区的宽度的差值， 并取所述差值的一半作 为所述至少二路图像的修正值；
所述修正子模块， 还用于在所述至少二路图像的相邻边上各裁剪一个宽 度等于上述修改值的边缘。
13、如权利要求 8或 9或 10所述的图像处理装置，其特征在于，还包括： 第三控制模块， 用于当所述至少二路图像的拼接存在重叠区时， 釆用软 拼接算法将所述至少二路图像拼接为全景图像； 并且根据本地会场显示设备 的边框尺寸大小对所述全景图像进行裁剪 , 获得若干路图像；
所述输出模块， 还用于将所述若干路图像分别输出本地会场显示设备显
PCT/CN2010/076757 2009-09-11 2010-09-09 一种图像处理方法及装置 WO2011029398A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP10815000.4A EP2472859B1 (en) 2009-09-11 2010-09-09 Image processing method and device
US13/417,752 US8558869B2 (en) 2009-09-11 2012-03-12 Image processing method and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2009101729484A CN102025891B (zh) 2009-09-11 2009-09-11 一种图像处理方法及装置
CN200910172948.4 2009-09-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/417,752 Continuation US8558869B2 (en) 2009-09-11 2012-03-12 Image processing method and device

Publications (1)

Publication Number Publication Date
WO2011029398A1 true WO2011029398A1 (zh) 2011-03-17

Family

ID=43732013

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2010/076757 WO2011029398A1 (zh) 2009-09-11 2010-09-09 一种图像处理方法及装置

Country Status (4)

Country Link
US (1) US8558869B2 (zh)
EP (1) EP2472859B1 (zh)
CN (1) CN102025891B (zh)
WO (1) WO2011029398A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103078924A (zh) * 2012-12-28 2013-05-01 华为技术有限公司 视野共享方法及设备
CN103685958A (zh) * 2013-12-12 2014-03-26 联想(北京)有限公司 一种信息处理方法以及电子设备

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101950242A (zh) * 2010-09-19 2011-01-19 电子科技大学 一种多视点场景成像缩放显示控制方法
CN103096018B (zh) 2011-11-08 2016-11-23 华为技术有限公司 传输信息的方法和终端
CN102685445B (zh) * 2012-04-27 2015-10-21 华为技术有限公司 网真视频图像输送方法、设备及网真系统
WO2014036741A1 (zh) * 2012-09-10 2014-03-13 华为技术有限公司 图像处理方法和图像处理设备
CN103268648A (zh) * 2013-05-30 2013-08-28 江苏科技大学 多镜头广角行车记录仪
US8837796B1 (en) * 2013-06-27 2014-09-16 Healthcare Content Solutions, Inc. Systems and methods for monitoring a dermatologic condition
CN105095123A (zh) * 2014-05-19 2015-11-25 联想(北京)有限公司 一种数据处理的方法及电子设备
US9560095B2 (en) * 2014-09-30 2017-01-31 Cisco Technology, Inc. Method and system for remote meetings
US10986401B2 (en) * 2016-05-13 2021-04-20 Sony Corporation Image processing apparatus, image processing system, and image processing method
CN107316275A (zh) * 2017-06-08 2017-11-03 宁波永新光学股份有限公司 一种光流辅助的大尺度显微图像拼接算法
CN110267085A (zh) * 2018-03-12 2019-09-20 青岛海信电器股份有限公司 一种视频处理的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020063777A1 (en) * 2000-11-30 2002-05-30 Koji Maekawa Image transmission apparatus, image receiving apparatus, image transmitting and receiving system, and image receiving and transmitting method
JP2003250153A (ja) * 2002-02-22 2003-09-05 Murakami Corp 画像合成装置
CN101198008A (zh) * 2008-01-03 2008-06-11 中兴通讯股份有限公司 一种实现多屏多画面的方法和系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4614391B2 (ja) * 2005-06-15 2011-01-19 キヤノン株式会社 画像表示方法及び画像表示装置
US7679639B2 (en) * 2006-04-20 2010-03-16 Cisco Technology, Inc. System and method for enhancing eye gaze in a telepresence system
JP2008067203A (ja) * 2006-09-08 2008-03-21 Toshiba Corp 映像合成装置、方法およびプログラム
EP2201762B1 (en) * 2007-10-12 2020-03-18 Polycom, Inc. Configuring videoconferencing systems to create video sessions with realistic presence
CN100589173C (zh) * 2008-05-26 2010-02-10 杭州华三通信技术有限公司 一种多画面拼接方法和装置
CN101527828B (zh) * 2009-04-14 2011-08-10 华为终端有限公司 图像采集设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020063777A1 (en) * 2000-11-30 2002-05-30 Koji Maekawa Image transmission apparatus, image receiving apparatus, image transmitting and receiving system, and image receiving and transmitting method
JP2003250153A (ja) * 2002-02-22 2003-09-05 Murakami Corp 画像合成装置
CN101198008A (zh) * 2008-01-03 2008-06-11 中兴通讯股份有限公司 一种实现多屏多画面的方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103078924A (zh) * 2012-12-28 2013-05-01 华为技术有限公司 视野共享方法及设备
CN103685958A (zh) * 2013-12-12 2014-03-26 联想(北京)有限公司 一种信息处理方法以及电子设备

Also Published As

Publication number Publication date
EP2472859A4 (en) 2012-12-12
CN102025891B (zh) 2012-11-07
US8558869B2 (en) 2013-10-15
US20120169833A1 (en) 2012-07-05
EP2472859B1 (en) 2017-12-13
CN102025891A (zh) 2011-04-20
EP2472859A1 (en) 2012-07-04

Similar Documents

Publication Publication Date Title
WO2011029398A1 (zh) 一种图像处理方法及装置
US8890922B2 (en) Video communication method, device and system
JP4057241B2 (ja) 仮想カメラを有する改善された画像撮影システム
US7202887B2 (en) Method and apparatus maintaining eye contact in video delivery systems using view morphing
US20220046186A1 (en) Designated view within a multi-view composited webcam signal
WO2014036741A1 (zh) 图像处理方法和图像处理设备
JP6303270B2 (ja) ビデオ会議端末装置、ビデオ会議システム、映像の歪み補正方法および映像の歪み補正プログラム
US7710463B2 (en) Method and system for compensating for parallax in multiple camera systems
WO2010118685A1 (zh) 一种远程呈现的系统、装置和方法
WO2010130084A1 (zh) 远程呈现系统、方法及视频采集设备
KR20060079079A (ko) 파노라마식 이미지에서의 데드 존을 최소화하는 카메라시스템 및 방법
US9143727B2 (en) Dual-axis image equalization in video conferencing
WO2009138015A1 (zh) 一种图像呈现方法及装置
US9167201B2 (en) Feedback-system for managing video conferencing with a portable multimedia device comprising a frontal camera
US10863112B1 (en) Smoothing image transitions when changing views
US10194114B1 (en) Split screen display without distortion
US20220005162A1 (en) Selective Distortion or Deformation Correction in Images from a Camera with a Wide Angle Lens
CN107426561B (zh) 一种3d360度的虚拟现实直播方法及装置
CN115834822A (zh) 视频会议控制方法、装置及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10815000

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010815000

Country of ref document: EP