WO2012124929A2 - 다자간 화상 회의 시스템 및 방법 - Google Patents

다자간 화상 회의 시스템 및 방법 Download PDF

Info

Publication number
WO2012124929A2
WO2012124929A2 PCT/KR2012/001687 KR2012001687W WO2012124929A2 WO 2012124929 A2 WO2012124929 A2 WO 2012124929A2 KR 2012001687 W KR2012001687 W KR 2012001687W WO 2012124929 A2 WO2012124929 A2 WO 2012124929A2
Authority
WO
WIPO (PCT)
Prior art keywords
screen
video conference
party
video
party video
Prior art date
Application number
PCT/KR2012/001687
Other languages
English (en)
French (fr)
Other versions
WO2012124929A3 (ko
Inventor
이호석
Original Assignee
(주)피디케이리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020110023616A external-priority patent/KR101099369B1/ko
Priority claimed from KR1020120005107A external-priority patent/KR101219457B1/ko
Application filed by (주)피디케이리미티드 filed Critical (주)피디케이리미티드
Publication of WO2012124929A2 publication Critical patent/WO2012124929A2/ko
Publication of WO2012124929A3 publication Critical patent/WO2012124929A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G03B21/60—Projection screens characterised by the nature of the surface
    • G03B21/62—Translucent screens
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems

Definitions

  • the present invention relates to a multi-party video conferencing system, and more particularly, in a multi-party video conferencing system, video conferencing of multiple talkers in different regions can be multiplexed to perform multi-party video conferencing without distinction of a region.
  • FIG. 1 is a diagram illustrating a configuration of a general video conference system.
  • a general video conferencing system includes a video conferencing server unit 20 and a video conferencing terminal unit 10 capable of multi-party video conferencing. Audio data of the talker is also transmitted during the video conference.
  • the present invention since the present invention relates to video, the following description focuses on video data.
  • the multi-party video conferencing server unit 20 and the video conference terminal unit 10 are connected through a network 15 such as an internet network such as a wide area network (WAN), a local area network (LAN), or the like. do.
  • a network 15 such as an internet network such as a wide area network (WAN), a local area network (LAN), or the like. do.
  • the video conference terminal 10 includes a plurality of cameras 2, a plurality of display devices, and an image processing terminal 5 so that a plurality of talkers can participate in the video conference.
  • Each of the cameras 2 photographs each talker and outputs it to the image processing terminal 5.
  • the display device may include a screen 1 and a projector 3, and may include a liquid crystal display (LCD) and a television.
  • the display apparatus may be configured to display an image of only one person on one screen, or may be configured to display images of all the plurality of people on one screen.
  • the image processing terminal 5 may be a personal computer, a separate codec device, or the like.
  • the multi-party video conferencing data including image data of each of the talkers photographed through the cameras 2 as a file may be
  • the video conferencing server 10 is provided to the video conferencing server 10, and the video data corresponding to each talker is divided from the video conferencing data received from the multi-party video conferencing server 10 and displayed on the display apparatus.
  • the multi-party video conferencing server unit 20 includes a multi-conference unit (MCU) server and / or a web server, and the same area different from the video conference terminal unit 10-1 of the same area as shown in FIG. 1.
  • MCU multi-conference unit
  • the conventional multi-party video conferencing system transmits and receives video conferencing data only between the talkers formed between the two regions, so that only the video conferencing between the two regions can be performed. There was a problem.
  • the video conferencing terminal since the video conferencing terminal transmits the video data captured by the talkers in each of the two regions to each other in the form of a file to the counterpart video conferencing terminal through the MCU server, the video conferencing terminal has a respective background image rather than a unified background. Since the video data is provided to the other side, it could not feel like having a meeting by making them feel as if they were in different places, and there was a problem in that the meeting could not be immersed.
  • Another object of the present invention is to provide a multi-party video conferencing system and method for displaying a background screen by chroma key so that the screen of a plurality of talkers displayed on an arbitrary talker side can feel as if they are meeting in one place. There is.
  • Another object of the present invention is to provide a multi-party video conferencing system and method that can be applied to a curved screen, and can display a multi-way video conference image without distortion on the curved screen.
  • Another object of the present invention is to place the projector in the rear of the video conference space in front of the screen and the screen behind the screen so that the image irradiated onto the flat or curved screen from the projector is not affected by the light of the video conference space.
  • Multi-party video conferencing system of the present invention for achieving the above object;
  • a video conferencing server unit for capturing at least one talker and transmitting video data of each talker, receiving and displaying multi-party video conferencing video data, and two or more different video conferencing terminals for multi-conference video conferencing.
  • At least one camera for respectively capturing at least one or more talkers, a screen, a projector for displaying the multi-party video conferencing image data on the screen, and image data captured and input by the camera to the multi-party video conferencing server unit.
  • an image processing terminal configured to transmit and receive the multi-party video conference image data and display it on the screen through the projector.
  • the screen is characterized in that the curved screen.
  • At least two projectors are provided, and the image processing terminal converts the multi-party video conference image data so as to correspond to the curved surface of the screen, and according to the size of an image displayed on the screen which is set in advance.
  • the multi-party video conferencing video data is divided into the screens and irradiated to the screen.
  • the image processing terminal may warp and convert the multi-party video conference image data so as to correspond to the curved surface of the screen.
  • the image processing terminal may convert and convert the overlapped regions in order to smoothly overlap the overlapped regions when projecting the converted multi-party video conference image data on the screen through the at least two projectors. .
  • the image processing terminal is characterized in that for converting the background of the multi-party video conferencing video data to a unified background screen.
  • the projector is installed in the projector installation space to irradiate an image to the rear of the screen, the screen is installed between the video conferencing space and the projector installation space provided with illumination for irradiating light, the light is the projector installation space It is characterized in that the semi-transmissive screen to block the irradiated to, and to transmit the image projected to the rear side relative to the video conference space to the front.
  • the image processing terminal may be configured to display the multi-party video conference image data on the transflective screen through the projector after performing the left-right symmetric inversion process so that the multi-party video conference image is symmetrically reversed.
  • the transflective screen is characterized in that it is a curved screen.
  • At least two projectors are provided, and the image processing terminal converts the multi-party video conference image data so as to correspond to the curved surface of the screen, and according to the size of an image displayed on the screen which is set in advance.
  • the multi-party video conferencing video data is divided into the screens and irradiated to the screen.
  • the image processing terminal may warp and convert the multi-party video conference image data so as to correspond to the curved surface of the screen.
  • the image processing terminal may be configured to convert the overlapping region by blending the converted multilateral video conference image data in order to naturally overlap the overlapping region when projecting the screen through the two or more projectors.
  • the image processing terminal is characterized in that for converting the background of the multi-party video conferencing video data to a unified background screen.
  • the multi-party video conferencing method of the present invention for achieving the above object;
  • the multi-party video conference server unit synthesizes the video data received from a plurality of video conference terminal units of a multi-party video conference group located in two or more different regions into a single screen.
  • a multi-party video conferencing video supplying process for transmitting to a plurality of video conferencing terminal parts of each multi-party video conferencing group, and a display process for receiving and displaying the multi-conference video data.
  • the multi-party video conferencing video supply process may include: determining a multi-party video group by using a video conference terminal with two or more different video conferencing terminals for multi-party video conferencing; and video conferencing of the multi-party video conferencing group in which the group is determined.
  • the display process includes a receiving step of receiving the multi-party video conference image data, a dividing step of dividing the received multi-party video conference image data into a number of projectors corresponding to a preset screen size, and the divided multi-party image And displaying the projected image data on the screen through a corresponding projector.
  • the display process further includes a left-right symmetric inversion step of performing a left-right symmetric inversion process on the multi-party video conference image data such that the multi-party video conference image is symmetrically inverted, wherein the display step includes a space between the video conference space and the projector installation space. And converting each of the divided multi-party video conference image data into a divided multi-party video conference image through a corresponding projector installed in a projector installation space, which is a space behind a transflective screen installed in the projector, and projecting and displaying the divided multi-party video conference image on the rear of the transflective screen. It is done.
  • the receiving step it characterized in that it further comprises a warping step of warping and converting the multi-party video conferencing image data according to the curved surface to be displayed as the optimal image on the curved surface of the curved screen.
  • a warping step of warping and converting the multi-party video conferencing image data according to the curved surface to be displayed on the curved surface of the curved screen further comprises.
  • the method may further include a rendering step.
  • MCU of the present invention synthesizes the video for each of the plurality of talkers in the various regions and transmits to the other party to the multi-party conference, so the video conferencing effect can be performed with a plurality of talkers in a variety of areas without being limited to the area Have
  • the present invention has the effect that it is possible to give the feeling that the dialog in the same place as the meeting in the same place because the background screen and the video of the dialog chroma display.
  • the present invention has an effect that can be more immersed in the video conferencing by applying a curved screen to display the multi-party video conferencing data bent around the talker.
  • the present invention is installed in the rear of the video conferencing space and the screen blocked, the projector is projected on the back of the screen, so that the screen is not affected by the light of the light present in the video conferencing space with a clearer through the screen And has the effect of viewing clean images.
  • the projector since the projector is installed behind the screen, it is not necessary to install the projector on the ceiling or table of the video conferencing space where there are talkers for video conferencing, and thus the video conferencing space can be configured more simply and cleanly.
  • FIG. 1 is a diagram showing the configuration of a general multi-party video conferencing system.
  • FIG. 2 is a diagram showing the configuration of a multi-party video conferencing system according to a first embodiment of the present invention.
  • FIG. 3 is a block diagram showing the detailed block configuration of the image processing terminal of the multi-party video conferencing system according to the first embodiment of the present invention.
  • FIG. 4 is a diagram illustrating warping and blending of video conference image data according to a first embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a multi-party video conferencing method of a multi-party video conferencing system according to a first embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a multi-party video conference method in a video conference terminal according to a first embodiment of the present invention.
  • FIG. 7 is a diagram showing the configuration of a multi-party video conferencing system according to a second embodiment of the present invention.
  • FIG. 8 is a view for explaining the effect of the image irradiated from the projector of the videoconferencing terminal unit by the light according to the first embodiment and the second embodiment of the present invention.
  • FIG. 9 is a block diagram showing the detailed block configuration of the multi-party image processing terminal of the multi-party video conferencing system according to the second embodiment of the present invention.
  • FIG. 10 is a diagram showing a plan view of a video conference space provided with a video conference terminal of a multi-party video conference system according to a second embodiment of the present invention.
  • FIG. 11 illustrates warping and blending of videoconferencing image data according to a second embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating a video image display method according to a multi-party video conference in a video conference terminal of the multi-party video conference system according to the second embodiment of the present invention.
  • FIG. 2 is a diagram showing the configuration of a multi-party video conferencing system according to a first embodiment of the present invention.
  • the multi-party video conferencing system includes a plurality of video conferencing terminal units 100 and a multi-party video conferencing server unit 200.
  • the plurality of video conferencing terminal units 100 and the multi-party video conferencing server unit 200 may include a network 15 such as an Internet network such as a wide area network (WAN), a local area network (LAN), or the like. It is connected through to perform data communication according to TCP / IP protocol and / or UDP protocol.
  • WAN wide area network
  • LAN local area network
  • the video conferencing terminal unit 100 includes a display apparatus, a camera 130, and an image processing terminal 110.
  • 2 illustrates a case in which the display apparatus of the video conference terminal 100 includes a curved screen 101 and a projector 120.
  • the video conferencing terminal unit 100 connects to the multi-party video conferencing server unit 200, logs in with an ID and password, and then joins the multi-party video conferencing group, and photographs at least one or more talkers when the multi-conference video conference is started.
  • the video data of each talker is provided to the multi-party video conference server 200.
  • the video conferencing terminal unit 100 provides the multi-conferencing video conferencing server unit 200 with size information of the multi-party video conference image displayed on the display device displayed by the video conferencing terminal unit 100.
  • the multi-party video conferencing server unit 200 may be configured as a multi-party video conferencing unit (MCU) server and a web server, or may be configured such that the MCU server performs the function of the web server.
  • the multi-party video conferencing server unit 200 may log on the plurality of video conferencing terminal units 100 and perform a multi-party video conferencing of a plurality of video conferencing terminal units 100 located at different places in two or more locations.
  • a screen size of the video conferencing terminal unit 100 that provides grouping means, receives video data for at least one or more talkers from each of the grouped video conferencing terminal units 100, and transmits the received video data.
  • FIG. 3 is a block diagram illustrating a detailed block configuration of an image processing terminal of a multi-party video conferencing system according to a first embodiment of the present invention, and illustrates a configuration of an image processing terminal when a curved screen and a projector are applied to a display device.
  • 4 is a diagram for describing warping and blending of video conference image data according to a first embodiment of the present invention. A description with reference to FIGS. 2 to 4 is as follows.
  • the image processing terminal 110 includes an image acquisition unit 111, a communication unit 112, an image divider 113, a warping unit 114, a blending unit 115, an image output unit 116, and a chroma key processing unit 117. ) And the control unit 119.
  • the controller 119 controls the overall operation of the image processing terminal 110 of the present invention.
  • the control unit 119 receives the logon information when connecting to the multi-party video conferencing server unit 200 and provides the multi-channel video conferencing server unit 200 through the communication unit 112, and at the time of logon, multi-conference video grouping or video.
  • the video output unit 116 and the projector 120 provide size information of the image to be displayed on the screen 101 to the multi-party video conferencing server unit 200.
  • the control unit 119 has information such as the bending angle information of the curved surface of the curved screen 101, the number of the projector 120 connected to the image output unit 116, and the like.
  • the image acquisition unit 111 generates and outputs image data of an image photographed by the camera 120.
  • the communication unit 112 connects to the network 150 and performs data communication with the multi-party video conferencing server unit 200.
  • the chroma key processing unit 117 detects only the dialogues in the received multi-party video conference image, and outputs a synthesized image of the dialogue with the new background image input from the controller 119.
  • the background image may be a background image of a conference room.
  • the image splitter 113 divides and outputs the chroma key processed multi-party video conference image data by the number of projectors 120 connected to the image output unit 116 under the control of the controller 119.
  • the warping unit 114 may reduce or enlarge a portion of the image under the control of the control unit 119 so that the image displayed on the curved surface of the curved screen 101 is not distorted or distorted, that is, the screen 101. Warping is performed to convert the image to fit the environment such as the bending angle of the curved surface of the waveguide. To this end, the warping unit 114 applies a pixel adjustment and a partial image compression method. 3 illustrates a case in which the warping unit 114 is configured at the rear end of the image division unit 113, but may be configured in front of the image division unit 113. That is, warping may be performed before multi-party video conferencing video data is divided.
  • the blending unit 115 overlaps the overlapped region 103 of FIG. 4 generated by projecting the divided and warped multi-party video conference image data onto a curved surface of the curved screen 101 through a plurality of projectors. The blending process is performed on the regions 103 and then output.
  • an overlap region 103 is generated, and since the two images overlap each other, the overlap region 103 appears to be brighter and brighter. .
  • the process of eliminating the drooping of the overlapping region 103 by adjusting the brightness and contrast of the overlapping region 103 which has been brightened as described above is called blending.
  • the image output unit 116 projects the divided multi-party video conference image data output from the blending unit 115 through the projectors 120.
  • FIG. 5 is a flowchart illustrating a multi-party video conferencing method according to the present invention.
  • any video conferencing terminal unit 100 connects to and logs in to the multi-party video conferencing server unit 200 and requests a multi-party video conference (S511).
  • the multi-party video conferencing server 200 then invites only the video conference terminal 100-2 and the video conference terminal 100-3 invited by the video conference terminal 100-1 into a multi-party conference group.
  • a video conference room is created by the multi-party video conference request, and each of the video conference terminal 100-2 and the video conference terminal 100-3 enters the video conference room and is a video conference group.
  • the multi-party conference group is grouped by a room method of grouping (S513).
  • the video conference is started by the video conference start request of the video conference terminal 100-1 or the like (S515). Then, the video conferencing terminal units 100 start transmitting the respective video data to the multi-party video conferencing server unit 200. Then, the multi-party video conferencing server unit 200 matches the sizes of the video data received from the video conferencing terminal units 100 and synthesizes them to generate the multi-party video conferencing video data (S517). In this case, the video data of the video conference terminal 100 to which the multi-party video conference video data is to be transmitted is not included in the multi-party video conference video data. For example, the multi-party video conference video data transmitted to the video conference terminal 100-1 does not include the video data transmitted by the video conference terminal 100-1.
  • the multi-party video conference server 200 transmits the generated multi-party video conference video data to the grouped video conference terminal 100 (S519).
  • FIG. 6 is a flowchart illustrating a multi-party video conference method in a video conference terminal according to a first embodiment of the present invention.
  • the image processing terminal 110 controls the camera 130 through the image acquisition unit 111 to acquire a video data by capturing a talker.
  • the obtained image data is transmitted to the multi-party video conferencing server 200 through the communication unit 112 (S713).
  • the image processing terminal 110 checks whether the multi-party video conference video data is received from the multi-party video conference server 200 (S715).
  • the image processing terminal 110 When the multi-party video conference video data starts to be received, the image processing terminal 110 performs chroma key processing for synthesizing the unified background screen with the background of the multi-party video conference video data (S716).
  • the image processing terminal 110 divides the multi-party video conference image data to correspond to the number of the projectors 120 through the image division unit 113 (S717).
  • the divided multi-party video conferencing image data is warped by the warping unit 114 (S719), and then blended with respect to the overlapping region 102 where the images projected by the projectors 120 from the blending unit 115 overlap. The process is performed (S721).
  • the image processing terminal 110 projects the multi-party video conference image data divided by the image output unit 116 to the curved screen 101 through the corresponding projector 120 (S723).
  • FIG. 7 is a view showing the configuration of a video conferencing system according to a second embodiment of the present invention
  • Figure 8 is irradiated from the projector of the video conference terminal by the light according to the first and second embodiments of the present invention
  • FIGS. 7 and 8 show a case where the projector is installed in the projector installation space 170.
  • the video conferencing system includes a plurality of video conferencing terminal units 100 and a multi-party video conferencing server unit 200.
  • the plurality of video conferencing terminal units 100 and the multi-party video conferencing server unit 200 may include a network 150 such as a wide area network (WAN), a local area network (LAN), or the like. It is connected through to perform data communication according to TCP / IP protocol and / or UDP protocol.
  • WAN wide area network
  • LAN local area network
  • the video conferencing terminal unit 100 includes a screen 102, a projector 121, a camera 130, and an image processing terminal 110.
  • the video conference space unit in which the video conference terminal unit 100 is configured is composed of a video conference space 160 and a projector installation space 170.
  • the screen 102 is installed between the video conferencing space 160 and the projector installation space 170, and the light emitted from the illumination 6 is not transmitted to the projector installation space 170 as much as possible, but is projected from the rear. It is semi-transmissive and integrated with the wall so that it can be displayed on the front surface.
  • the screen 102 is formed of a material capable of semi-transparent image so that only the image projected from the rear projector 121 is displayed on the front surface of the screen.
  • PC polycarbonate
  • a flat type may be applied, or a curved type (or “curved” type) may be applied. However, it is desirable to apply a bend to give immersion in accordance with the present invention.
  • the projector 121 includes at least one projector mounting space 170 that is a space behind the screen 102 to project a video conference image on the rear of the screen 102.
  • At least one camera 130 is provided on the upper, lower, left, and right sides of the screen 102 to output an image of the video conference space 160 to the image processing terminal 110.
  • the projector 121 is configured in the projector installation space 170 configured behind the screen 102, there is no need to turn off the illumination 6 of the video conference space 160 or to weaken the light during the video conference.
  • the space 160 a more comfortable environment can be provided to the talker who is conducting the video conference, and sufficient light can be provided to the camera 130, so that the video conference video of the bright and clear video can be provided to the other party.
  • the image processing terminal 110 of the video conferencing terminal unit 100 connects to the multi-party video conferencing server unit 200 by a talker, logs in using an ID and password input by the talker, and then enters the multi-party video conferencing group.
  • the multi-party video conference is started, at least one camera 130 photographs the video conference space and provides video data of the talker in the video conference space to the multi-party video conference server 200.
  • the video conferencing terminal unit 100 provides the multi-conference video conferencing server unit 200 with size information of the multi-party video conferencing image displayed on its screen 102.
  • the image processing terminal 110 divides the multi-party video conferencing image data received from the multi-party video conferencing server unit 200 according to the number of configured projectors 121, converts them according to the shape of the screen 102, and converts each projector ( 121).
  • the multi-party video conferencing server unit 200 may be configured as a multi-party video conferencing unit (MCU) server and a web server, or may be configured such that the MCU server performs the function of the web server.
  • the multi-party video conferencing server unit 200 may perform a multi-conference video conference by a plurality of video conferencing terminal units 100 located at different places in two or more locations where the plurality of video conferencing terminal units 100 are logged on and logged on.
  • a screen size of the video conferencing terminal unit 100 that provides grouping means, receives video data for at least one or more talkers from each of the grouped video conferencing terminal units 100, and transmits the received video data.
  • the video data of the talker of the video conference terminal 100 is not synthesized in the multi-party video conference video data.
  • FIG. 9 is a block diagram illustrating a detailed block configuration of an image processing terminal of a multi-party video conferencing system according to a second embodiment of the present invention
  • FIG. 10 is a video conference terminal of the multi-party video conferencing system according to a second embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a plan view of an installed video conference space
  • FIG. 11 is a view for explaining warping and blending of a video conference image by applying a curved screen according to the present invention.
  • a description with reference to FIGS. 7 to 11 is as follows.
  • the image processing terminal 110 may include an image acquisition unit 111, a communication unit 112, an image divider 113, a symmetric inverting unit 118, a warping unit 114, a blending unit 115, and an image output unit ( 116, a chroma key processing unit 117, and a control unit 119.
  • the controller 119 controls the overall operation of the image processing terminal 110 of the present invention.
  • the control unit 119 receives the logon information when connecting to the multi-party video conferencing server unit 200 and provides the multi-channel video conferencing server unit 200 through a communication unit.
  • the image output unit 116 and the projector 120 provide size information of the image to be displayed on the screen 101 to the multi-party video conferencing server unit 200.
  • the control unit 119 has information such as the bending angle information of the curved surface of the curved screen 101 and the number of the projectors 120 connected to the image output unit 116.
  • the image acquisition unit 111 generates and outputs image data of an image photographed by the camera 120.
  • the communication unit 112 connects to the network 150 and performs data communication with the multi-party video conferencing server unit 200.
  • the chroma key processing unit 117 detects only the dialogues in the received multi-party video conference image, and outputs a synthesized image of the dialogue with the new background image input from the controller 119.
  • the background image may be a background image of a conference room.
  • the left and right symmetry inversion unit 118 inverts and outputs the multi-party video conference image input from the chroma key processing unit 117. This is because the projector 121 according to the present invention projects the image behind the screen 102 so that the left and right sides of the projector are not changed from the perspective of the person viewing the image.
  • the image divider 113 divides and outputs the chroma key-processed and left-right reversed multi-party video conference image data by the number of the projectors 120 connected to the image output unit 116 under the control of the controller 119.
  • the warping unit 114 may reduce or enlarge a portion of the image under the control of the controller 119 so that the image displayed on the screen 102 is not distorted or distorted according to the shape of the screen 102.
  • a warping process for converting an image to be suitable for an environment such as a bending angle of the screen 102 is performed and output.
  • the warping unit 114 applies a pixel adjustment and a partial image compression method. For example, when applying a curved screen and projecting the image behind the screen 102 as in the present invention, the image is projected onto the convex side of the screen.
  • the warping unit 114 performs the warping process by applying the screen adjustment and the partial image compression method in units of pixels so as to correspond to the bending angle of the convex curved surface of the screen 102.
  • 9 illustrates a case in which the warping unit 114 is configured at the rear end of the image divider 113, but may be configured in front of the image divider 113. That is, warping may be performed before multi-party video conferencing video data is divided.
  • the blending unit 115 removes the overlapped region 103 of FIGS. 10 and 11 generated by the divided and warped multi-party video conference image data projected onto the screen 102 through the plurality of projectors 121. The blending process is performed on the overlapping regions 103 and then output.
  • an overlap region 103 is generated, and since the two images overlap each other, the overlap region 103 appears to be brighter and brighter. .
  • the process of eliminating the drooping of the overlapping region 103 by adjusting the brightness and contrast of the overlapping region 103 which has been brightened as described above is called blending.
  • the image output unit 116 projects the divided multi-party video conference image data output from the blending unit 115 through the projectors 120.
  • FIG. 12 is a flowchart illustrating a video image display method according to a multi-party video conference in a video conference terminal according to the present invention.
  • the image processing terminal 110 controls the camera 130 through the image acquisition unit 111 to capture a conversational user to acquire image data, and multi-party the obtained image data through the communication unit 112. Transmission to the video conferencing server unit 200 begins.
  • the image processing terminal 110 checks whether the multi-party video conference video data is received from the multi-party video conference server 200 (S811).
  • the image processing terminal 110 When the multi-party video conferencing video data starts to be received, the image processing terminal 110 performs chroma key processing for synthesizing the unified background screen with the background of the multi-party video conferencing video data (S813).
  • the image processing terminal 110 Inverts and outputs the chroma key processed multi-party video conference image data (S815).
  • the image processing terminal 110 divides and outputs the multi-party video conference image data so as to correspond to the number of the projectors 120 through the image divider 113 (S817).
  • the divided multi-party video conference image data are each warped by the warping unit 114 (S819) and then blended with respect to the overlapping region 103 where the images projected by the projectors 120 from the blending unit 115 overlap. Processing is performed (S821).
  • the image processing terminal 110 projects the multi-party video conference image data divided by the image output unit 116 to the screen 101 through the projector 120 (S823).
  • the light emitted from the illumination 6 configured in the video conference space 160 is not projected to the projector installation space 170 as shown in FIG. 8, it projects from the projectors 121 to the back of the screen 102. It does not affect the image being displayed. Therefore, the image displayed on the front of the screen 102 will be clear and clean.
  • the camera can secure sufficient illumination for capturing a subject, thereby transmitting a clear and clean image to the counterpart.
  • the present invention is not limited to the above-described typical preferred embodiment, it can be carried out in various ways without departing from the gist of the present invention various modifications, changes, replacements or additions in the art réelle who has this can easily understand it. If such improvement, change, substitution or addition is carried out within the scope of the appended claims, the technical spirit should also be regarded as belonging to the present invention.
  • chroma key processing unit 118 left and right symmetry inversion unit
  • network 160 video conference space
  • projector installation space 200 multi-party video conferencing server unit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 다자간 화상 회의 시스템에 관한 것으로, 보다 상세하게는 다자간 화상 회의 시스템에서 서로 다른 다수의 지역의 대화자들 화상회의 데이터들을 멀티플렉싱하여 지역의 구분없이 다자간 화상 회의를 수행하고, 프로젝터에서 스크린에 조사되는 영상이 빛에 영향을 받지 않도록 프로젝터를 스크린 전방의 화상 회의 공간과 차단된 스크린의 후방에 배치하여 스크린의 후면에 영상을 조사하는 다자간 화상 회의 시스템 및 방법에 관한 것이다.

Description

다자간 화상 회의 시스템 및 방법
본 발명은 다자간 화상 회의 시스템에 관한 것으로, 보다 상세하게는 다자간 화상 회의 시스템에서 서로 다른 다수의 지역에 있는 대화자들의 영상데이터들을 멀티플렉싱 하여 지역의 구분 없이 다자간에 화상 회의를 수행할 수 있고, 프로젝터에서 스크린에 조사되는 영상이 화상 회의 공간의 빛에 영향을 받지 않는 다자간 화상 회의 시스템 및 방법에 관한 것이다.
최근 원격지에서 얼굴을 마주보며 회의를 할 수 있는 화상회의 시스템이 공공기관, 금융권, 교육, 통신사, 병원 및 기업 등으로 빠르게 공급되고 있으며, 최근 화상회의에 대한 인식변화, 화상회의 기술 발전, 솔루션의 다양화 및 고속 인터넷 등에 힘입어 국내 화상회의 시스템 시장이 급속히 커져가고 있다.
도 1은 일반적인 화상회의 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 일반적인 화상회의 시스템은 다자간 화상 회의 서버부(20)와 다자간 화상 회의를 할 수 있는 화상 회의 단말부(10)들로 구성된다. 화상 회의 시 대화자의 오디오 데이터도 전송되나, 본 발명은 영상에 관한 것이므로 이하의 설명에서는 영상 데이터 위주로 설명한다.
상기 다자간 화상 회의 서버부(20)와 화상 회의 단말부(10)들은 광역망(Wide Area Network: WAN), 근거리통신망(Local Area Network: LAN) 등과 같은 인터넷망 등의 네트워크(15)를 통해 연결된다.
화상 회의 단말부(10)는 다수의 대화자들이 참여하여 화상회의에 참석할 수 있도록 복수의 카메라(2)와 복수의 디스플레이 장치들과 화상 처리 단말기(5)를 포함하여 구성된다.
카메라(2) 각각은 각 대화자들을 촬영하여 화상 처리 단말기(5)로 출력한다.
디스플레이장치는 도 1과 같이 스크린(1)과 프로젝터(3)로 구성될 수 있고, 액정표시장치(Liquid Crystal Display: LCD) 및 텔레비전 등으로 구성될 수도 있다. 디스플레이장치는 도 1과 같이 한 화면에 한 사람의 대화자에 대한 영상만을 표시하도록 구성될 수도 있고, 한 화면에 다수의 대화자들 모두에 대한 영상이 표시되도록 구성될 수도 있다.
화상 처리 단말기(5)는 개인용 컴퓨터, 별도의 코덱 장치 등이 될 수 있으며, 상기 각 카메라(2)들을 통해 촬영된 대화자들 각각에 대한 영상데이터들을 파일로 포함하는 화상 회의 데이터를 네트워크를 통해 다자간 화상 회의 서버부(10)로 제공하고, 다자간 화상 회의 서버부(10)로부터 수신되는 상대측의 화상 회의 데이터로부터 각 대화자에 대응하는 영상데이터를 분할하여 해당 디스플레이장치를 통해 표시한다.
다자간 화상 회의 서버부(20)는 다자간 화상 회의 유닛(Multi Conference Unit: MCU) 서버 및/또는 웹서버 등을 포함하여 도 1과 같이 동일 지역의 화상 회의 단말부(10-1)와 다른 동일 지역의 화상 회의 단말부(10-2)와의 화상회의 채널을 형성하고 화상 회의 단말부(10-1) 및 화상 회의 단말부(10-2)로부터 송신되는 화상회의 데이터를 스위칭하여 상대 화상 회의 단말부로 제공한다.
상술한 바와 같이 종래 다자간 화상 회의 시스템은 MCU 서버가 두 지역간에 형성된 대화자들간에만 화상 회의 데이터를 송수신하므로 두 지역간의 화상 회의만 수행할 수 있을 뿐 세 지역 이상의 대화자들간에 화상 회의를 할 수 없는 문제점이 있었다.
또한, 종래 다자간 화상 회의 시스템은 화상 회의 단말부가 두 지역 각각의 대화자들이 촬영한 영상데이터를 각각의 파일 형태로 MCU 서버를 통해 상대측 화상 회의 단말부로 전송하므로 통일된 배경이 아닌 각각의 배경화면을 가지는 영상데이터를 상대측으로 제공하므로 서로 다른 장소에 있는 것처럼 느끼게 하여 회의를 하는 것과 같은 느낌을 줄 수 없었으며, 회의에 몰입감을 줄 수 없는 문제점이 있었다.
따라서, 본 발명의 목적은 지역에 제한 없이 서로 다른 다수의 지역의 다수의 대화자들이 다자간 회의를 할 수 있는 다자간 화상 회의 시스템 및 방법을 제공하는 데 있다.
본 발명의 다른 목적은 임의의 대화자측에 표시되는 다수의 대화자들의 배경화면을 한 장소에서 회의를 하는 것처럼 느낄 수 있도록 배경화면을 크로마키(Chroma Key)하여 디스플레이 하는 다자간 화상 회의 시스템 및 방법을 제공하는 데 있다.
본 발명의 다른 목적은 굴곡형 스크린을 적용하고, 굴곡형 스크린에 일그러짐 없는 다자간 화상 회의 영상을 표시할 수 있는 다자간 화상 회의 시스템 및 방법을 제공하는 데 있다.
본 발명의 다른 목적은 프로젝터에서 평면 또는 굴곡형 스크린에 조사되는 영상이 화상 회의 공간의 빛에 영향을 받지 않도록 프로젝터를 스크린 전방의 화상 회의 공간과 차단된 스크린의 후방에 배치하여 스크린의 후면에 영상을 조사하는 다자간 화상 회의 시스템 및 방법을 제공하는 데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 다자간 화상 회의 시스템은; 적어도 한 명 이상의 대화자를 촬영하여 각 대화자의 영상데이터를 송신하고, 다자간 화상 회의 영상데이터를 수신받아 표시하는 복수의 화상 회의 단말부와, 다자간 화상 회의를 하기 위한 서로 다른 두 지역 이상의 화상 회의 단말부들로 다자간 화상 회의 그룹을 결정하고, 상기 결정된 다자간 화상 회의 그룹의 화상 회의 단말부들로부터 수신되는 복수의 영상데이터들을 하나의 화면으로 합성한 다자간 화상 회의 영상데이터를 생성하여 상기 화상 회의 단말부로 송신하는 다자간 화상 회의 서버부를 포함하는 것을 특징으로 한다.
적어도 한 명 이상의 대화자를 각각 촬영하기 위한 적어도 하나 이상의 카메라와, 스크린과, 상기 다자간 화상 회의 영상데이터를 상기 스크린에 표시하는 프로젝터와, 상기 카메라에서 촬영되어 입력되는 영상데이터들을 상기 다자간 화상 회의 서버부로 송신하고, 상기 다자간 화상 회의 영상데이터를 수신받아 상기 프로젝터를 통해 상기 스크린에 표시시키는 화상 처리 단말기를 포함하는 것을 특징으로 한다.
상기 스크린은 굴곡형 스크린인 것을 특징으로 한다.
상기 프로젝터는 적어도 둘 이상 구비되고, 상기 화상 처리 단말기는, 상기 스크린의 굴곡면에 대응하도록 상기 다자간 화상 회의 영상데이터를 변환한 후 미리 설정되어 있는 상기 스크린 상에 표시되는 영상의 크기에 따라 상기 프로젝터들을 통해 상기 다자간 화상 회의 영상데이터를 분할하여 상기 스크린에 조사하는 것을 특징으로 한다.
상기 화상 처리 단말기는, 상기 스크린의 굴곡면에 대응하도록 상기 다자간 화상 회의 영상데이터를 워핑처리하여 변환하는 것을 특징으로 한다.
상기 화상 처리 단말기는, 상기 변환된 다자간 화상 회의 영상데이터를 상기 적어도 둘 이상의 프로젝터를 통해 상기 스크린상에 투사 시 중복되는 중첩영역을 자연스럽게 하기 위해 상기 중첩 영역을 블렌더링 처리하여 변환하는 것을 특징으로 한다.
상기 화상 처리 단말기는, 상기 다자간 화상 회의 영상데이터의 배경을 통일된 배경화면으로 크로마키 하여 변환하는 것을 특징으로 한다.
상기 프로젝터는 프로젝터 설치 공간에 설치되어 상기 스크린의 후면으로 영상을 조사하고, 상기 스크린은 빛을 조사하는 조명을 구비하는 화상 회의 공간과 상기 프로젝터 설치 공간의 사이에 설치되어 상기 빛이 상기 프로젝터 설치 공간에 조사되는 것을 차단하고, 상기 화상 회의 공간을 기준으로 후면으로 투사되는 영상을 반투과시켜 전면에 표시시키는 반투과형 스크린인 것을 특징으로 한다.
상기 화상 처리 단말기는, 다자간 화상 회의 영상이 좌우 대칭 반전되도록 상기 다자간 화상 회의 영상 데이터를 좌우 대칭 반전 처리를 수행한 후 상기 프로젝터를 통해 상기 반투과형 스크린에 표시시키는 것을 특징으로 한다.
상기 반투과형 스크린은 굴곡형 스크린인 것을 특징으로 한다.
상기 프로젝터는 적어도 둘 이상 구비되고, 상기 화상 처리 단말기는, 상기 스크린의 굴곡면에 대응하도록 상기 다자간 화상 회의 영상데이터를 변환한 후 미리 설정되어 있는 상기 스크린 상에 표시되는 영상의 크기에 따라 상기 프로젝터들을 통해 상기 다자간 화상 회의 영상데이터를 분할하여 상기 스크린에 조사하는 것을 특징으로 한다.
상기 화상 처리 단말기는, 상기 스크린의 굴곡면에 대응하도록 상기 다자간 화상 회의 영상데이터를 워핑처리하여 변환하는 것을 특징으로 한다.
상기 화상 처리 단말기는, 상기 변환된 다자간 화상 회의 영상데이터를 상기 둘 이상의 프로젝터를 통해 상기 스크린상에 투사 시 중복되는 중첩영역을 자연스럽게 하기 위해 상기 중첩 영역을 블렌더링 처리하여 변환하는 것을 특징으로 한다.
상기 화상 처리 단말기는, 상기 다자간 화상 회의 영상데이터의 배경을 통일된 배경화면으로 크로마키 하여 변환하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 다자간 화상 회의 방법은; 다자간 화상 회의 방법에 있어서, 상기 다자간 화상 회의 서버부가, 서로 다른 두 지역 이상에 위치하는 다자간 화상 회의 그룹의 복수의 화상 회의 단말부들로부터 수신되는 영상데이터들을 한 화면으로 합성한 다자간 화상 회의 영상데이터를 상기 각 다자간 화상 회의 그룹의 복수의 화상 회의 단말부들로 송신하는 다자간 화상 회의 영상 공급 과정과, 상기 각 화상 단말부들이 상기 다자간 회의 영상데이터를 수신받아 표시하는 표시 과정을 포함하는 것을 특징으로 한다.
상기 다자간 화상 회의 영상 공급 과정은, 다자간 화상 회의를 하기 위한 서로 다른 두 지역 이상의 화상 회의 단말부들로 다자간 화상 회의 그룹을 결정하는 다자간 화상 그룹 결정 단계와, 상기 그룹이 결정된 다자간 화상 회의 그룹의 화상 회의 단말부들로부터 영상 데이터들을 수신하는 영상데이터 수신 단계와, 상기 수신된 영상데이터들을 하나의 화면으로 합성한 다자간 화상 회의 영상데이터를 생성하는 합성 단계와, 상기 다자간 화상 회의 영상데이터를 화상 회의 단말부로 송신하는 다자간 회의 영상 송신 단계를 포함하는 것을 특징으로 한다.
상기 표시 과정은, 상기 다자간 화상 회의 영상 데이터가 수신하는 수신단계와, 상기 수신된 다자간 화상 회의 영상 데이터를 미리 설정된 스크린 화면의 크기에 대응하여 프로젝터의 수로 분할하는 분할 단계와, 상기 분할된 다자간 화상 회의 영상 데이터 각각을 해당 프로젝터를 통해 스크린에 투사하는 표시단계를 포함하는 것을 특징으로 한다.
상기 표시 과정은, 다자간 화상 회의 영상이 좌우 대칭 반전되도록 상기 다자간 화상 회의 영상 데이터를 좌우 대칭 반전 처리를 수행하는 좌우 대칭 반전 단계를 더 포함하고, 상기 표시 단계는, 화상 회의 공간과 프로젝터 설치 공간 사이에 설치되는 반투과형 스크린의 후방 공간인 프로젝터 설치 공간에 설치된 해당 프로젝터를 통해 상기 분할된 다자간 화상 회의 영상 데이터 각각을 분할 다자간 화상 회의 영상으로 변환한 후 반투과형 스크린의 후면에 투사하여 표시시키는 것을 특징으로 한다.
상기 수신단계 후, 굴곡형 스크린의 굴곡면에 최적의 화상으로 표시될 수 있도록 상기 굴곡면에 따라 다자간 화상 회의 영상 데이터를 워핑 처리하여 변환하는 워핑 단계를 더 포함하는 것을 특징으로 한다.
상기 수신단계 후, 상기 다자간 화상 회의 영상데이터의 배경을 통일된 배경화면으로 크로마키 하여 변환하는 크로마키 단계를 더 포함하는 것을 특징으로 한다.
상기 크로마키 단계 후, 굴곡형 스크린의 굴곡면에 최적의 화상으로 표시될 수 있도록 상기 굴곡면에 따라 다자간 화상 회의 영상 데이터를 워핑 처리하여 변환하는 워핑 단계를 더 포함하는 것을 특징으로 한다.
상기 워핑 단계 및 분할 단계 후, 분할된 다자간 화상 회의 영상 데이터를 굴곡형 스크린에 표시 시 발생하는 중첩 영역을 자연스럽게 처리하기 위해 상기 분할된 다자간 화상 회의 영상 데이터의 중첩 영역을 블렌더링 처리하여 변환하는 블렌더링 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 MCU는 다양한 지역에 있는 다수의 대화자들 각각에 대한 영상을 합성하여 다자간 회의를 하는 상대측으로 전송하므로 지역에 제한되지 않고 다양한 지역의 다수의 대화자들과 화상회의를 수행할 수 있는 효과를 가진다.
또한, 본 발명은 배경화면과 대화자들의 영상을 크로마키 하여 표시하므로 다양한 지역에 있는 대화자들이 동일한 장소에서 회의를 하는 듯 한 느낌을 줄 수 있는 효과를 가진다.
또한, 본 발명은 굴곡형 스크린을 적용하여 다자간 화상 회의 데이터를 대화자를 중심으로 굴곡지게 표시하여 주므로 대화자가 화상 회의에 더 몰입할 수 있도록 할 수 있는 효과를 가진다.
또한, 본 발명은 프로젝터가 화상 회의 공간과 차단된 스크린의 배후 공간에 설치되어 스크린의 후면에 영상을 투사하므로 대화자들이 있는 화상 회의 공간에 존재하는 조명의 빛에 영향을 받지 않으므로 스크린을 통해 보다 선명하고, 깨끗한 영상을 볼 수 있는 효과를 가진다.
또한, 본 발명은 프로젝터가 스크린의 배후에 설치되므로 화상 회의 를 위해 대화자들이 있는 화상 회의 공간의 천정이나 테이블 위에 프로젝터를 설치하지 않아도 되므로 화상 회의 공간을 보다 심플하고 깨끗하게 구성할 수 있는 효과를 가진다.
도 1은 일반적인 다자간 화상 회의 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 제1실시예에 따른 다자간 화상 회의 시스템의 구성을 나타낸 도면이다.
도 3은 본 발명의 제1실시예에 따른 다자간 화상 회의 시스템의 화상 처리 단말기의 상세 블록 구성을 나타낸 도면이다.
도 4는 본 발명의 제1실시예에 따른 화상 회의 영상 데이터의 워핑 및 블렌더링을 설명하기 위한 도면이다.
도 5는 본 발명의 제1실시예에 따른 다자간 화상 회의 시스템의 다자간 화상 회의 방법을 나타낸 절차도이다.
도 6은 본 발명의 제1실시예에 따른 화상 회의 단말부에서의 다자간 화상 회의 방법을 나타낸 절차도이다.
도 7은 본 발명의 제2실시예에 따른 다자간 화상 회의 시스템의 구성을 나타낸 도면이다.
도 8은 본 발명의 제1실시예에 및 제2실시예에 따른 빛에 의한 화상 회의 단말부의 프로젝터에서 조사되는 영상의 영향을 설명하기 위한 도면이다.
도 9는 본 발명의 제2실시예에 따른 다자간 화상 회의 시스템의 다자간 화상 처리 단말기의 상세 블록 구성을 나타낸 도면이다.
도 10은 본 발명의 제2실시예에 따른 다자간 화상회의 시스템의 화상 회의 단말부가 설치된 화상 회의 공간의 평면도를 나타낸 도면이다.
도 11은 본 발명의 제2실시예에 따른 화상 회의 영상 데이터의 워핑 및 블렌더링을 설명하기 위한 도면이다.
도 12는 본 발명의 제2실시예에 따른 다자간 화상회의 시스템의 화상 회의 단말부에서의 다자간 화상 회의에 따른 화상 영상 표시 방법을 나타낸 흐름도이다.
이하 도면을 참조하여 본 발명의 제1실시예 및 제2실시예에 따른 다자간 화상 회의 시스템 및 그 동작을 설명한다.
(제1실시예)
도 2는 본 발명의 제1실시예에 따른 다자간 화상 회의 시스템의 구성을 나타낸 도면이다.
본 발명에 따른 다자간 화상 회의 시스템은 다수의 화상 회의 단말부(100)들과 다자간 화상 회의 서버부(200)로 구성된다.
상기 다수의 화상 회의 단말부(100)들과 다자간 화상 회의 서버부(200)는 광역망(Wide Area Network: WAN), 근거리통신망(Local Area Network: LAN) 등과 같은 인터넷망 등의 네트워크(15)를 통해 연결되어 TCP/IP 프로토콜 및/또는 UDP 프로토콜에 따른 데이터 통신을 수행한다.
화상 회의 단말부(100)는 디스플레이장치와 카메라(130)와 화상 처리 단말기(110)를 포함한다. 도 2에서는 화상 회의 단말부(100)의 디스플레이장치가 굴곡형 스크린(101) 및 프로젝터(120)로 구성된 경우를 나타낸 것이다.
화상 회의 단말부(100)는 상기 다자간 화상 회의 서버부(200)에 접속하여 아이디 및 패스워드 등에 의해 로그인 한 후, 다자간 화상 회의 그룹에 참여하고, 다자간 화상 회의가 개시되면 적어도 한 명 이상의 대화자를 촬영하여 각 대화자의 영상데이터를 다자간 화상 회의 서버부(200)로 제공한다. 또한 화상 회의 단말부(100)는 자신이 표시하는 디스플레이 장치에 표시되는 다자간 화상 회의 영상의 크기 정보를 다자간 화상 회의 서버부(200)로 제공한다.
다자간 화상 회의 서버부(200)는 다자간 화상 회의 유닛(MCU)서버 및 웹서버로 구성될 수도 있고, MCU 서버가 웹서버의 기능까지 수행하도록 구성될 수도 있다. 이러한 다자간 화상 회의 서버부(200)는 다수의 화상 회의 단말부(100)들의 로그온 및 로그온된 두 지역 이상의 서로 다른 장소에 위치하는 다수의 화상 회의 단말부(100)들이 다자간 화상 회의를 수행할 수 있도록 그룹핑 수단을 제공하고, 그룹핑된 화상 회의 단말부(100)들 각각으로부터 적어도 한 명 이상의 대화자에 대한 영상데이터를 수신하고, 상기 수신된 영상데이터를 전송한 화상 회의 단말부(100)의 화면 크기에 대응하도록 수신된 영상데이터들을 합성한 다자간 화상 회의 영상데이터를 생성하고 해당 화상 회의 단말부(100)로 송신한다. 이때, 상기 다자간 화상 회의 영상데이터에는 전송되는 화상 회의 단말부(100)의 대화자의 영상데이터는 합성되지 않는다.
도 3은 본 발명의 제1실시예에 따른 다자간 화상 회의 시스템의 화상 처리 단말기의 상세 블록 구성을 나타낸 도면으로, 디스플레이장치로 굴곡형 스크린과 프로젝터가 적용되는 경우의 화상 처리 단말기의 구성을 나타낸 도면이고, 도 4는 본 발명의 제1실시예에 따른 화상 회의 영상 데이터의 워핑 및 블렌더링을 설명하기 위한 도면이다. 이하 도 2 내지 도 4를 참조하여 설명한다.
화상 처리 단말기(110)는 영상 획득부(111)와 통신부(112)와 영상 분할부(113)와 워핑부(114)와 블렌딩부(115)와 영상 출력부(116)와 크로마키 처리부(117)와 제어부(119)를 포함한다.
제어부(119)는 본 발명의 화상 처리 단말기(110)의 전반적인 동작을 제어한다. 특히 제어부(119)는 다자간 화상 회의 서버부(200)에 접속 시 로그온 정보를 입력받아 통신부(112)를 통해 다자간 화상 회의 서버부(200)로 제공하고, 로그온 시, 다자간 화상 회의 그룹핑 시 또는 화상 회의 개시 시 영상 출력부(116)와 프로젝터(120)를 통해 스크린(101)에 표시될 영상의 크기 정보를 다자간 화상 회의 서버부(200)로 제공한다. 또한, 제어부(119)는 굴곡형 스크린(101)의 굴곡면의 굴곡 각도 정보, 영상 출력부(116)에 접속되어 있는 프로젝터(120) 수 등의 정보를 가지고 있다.
영상 획득부(111)는 카메라(120)를 통해 촬영되는 영상에 대한 영상데이터를 생성하여 출력한다.
통신부(112)는 네트워크(150)에 접속하여 상기 다자간 화상 회의 서버부(200)와 데이터 통신을 수행한다.
크로마키 처리부(117)는 수신된 다자간 화상 회의 영상에서 대화자들만을 검출하고, 검출된 대화자의 영상과 제어부(119)로부터 입력되는 새로운 배경 영상을 합성하여 출력한다. 상기 배경 영상은 회의실 배경 영상 등이 될 수 있을 것이다.
영상분할부(113)는 제어부(119)의 제어를 받아 상기 크로마키 처리된 다자간 화상 회의 영상데이터를 영상출력부(116)에 연결된 프로젝터(120)의 수만큼 분할하여 출력한다.
워핑부(114)는 상기 제어부(119)의 제어를 받아 상기 굴곡형 스크린(101)의 굴곡면에 표시되는 영상이 일그러지거나 찌그러짐이 없도록 영상의 일부분을 축소 또는 확대시켜 투영 환경, 즉 스크린(101)의 굴곡면의 굴곡 각도 등의 환경에 알맞도록 영상을 변환하는 워핑(Warping) 처리를 수행하여 출력한다. 이를 위하여 워핑부(114)는 픽셀(Pixel) 단위의 화면 조정과 부분 영상 압축 방식을 적용한다. 도 3에서는 워핑부(114)가 상기 영상분할부(113) 후단에 구성되는 경우를 나타내었으나 영상 분할부(113) 전단에 구성될 수도 있을 것이다. 즉 워핑은 다자간 화상 회의 영상 데이터가 분할되기 전에 수행될 수도 있을 것이다.
블렌딩부(115)는 상기 분할되고 워핑된 다자간 화상 회의 영상데이터들이 복수의 프로젝터를 통해 굴곡형 스크린(101)의 굴곡면에 투사됨에 의해 발생하는 도 4의 중첩영역(103)을 없애기 위해 상기 중첩영역(103)들에 대해 블렌딩(Blending) 처리를 수행한 후 출력한다.
구체적으로 설명하면, 두 개 이상의 프로젝터(120)가 단일 화면으로 투사되는 경우에 중첩영역(103)이 발생하고, 이러한 중첩영역(103)은 두 개의 영상이 중첩되므로 밝기가 밝아져 도드라져 보이게 된다. 상기와 같이 밝아진 중첩영역(103)의 밝기(Brightness)와 콘트라스트(Contrast)를 조절하여 중첩영역(103)의 도드라짐을 없애는 처리를 블렌딩이라 한다.
영상 출력부(116)는 상기 블렌딩부(115)에서 출력되는 분할된 다자간 화상 회의 영상데이터들을 해당 프로젝터(120)들을 통해 투사한다.
상기 도 2 내지 도 4에서는 하드웨어적인 구성을 설명하였다. 이하 도 5를 참조하여 본 발명에 따른 다자간 화상 회의 방법을 설명한다. 도 5는 본 발명에 따른 다자간 화상 회의 방법을 나타낸 절차도이다.
우선, 임의의 화상 회의 단말부(100)가 다자간 화상 회의 서버부(200)에 접속 및 로그인 후 다자간 화상 회의를 요청한다(S511).
그러면 다자간 화상 회의 서버부(200)는 화상 회의 단말부(100-1)가 초청하는 화상 회의 단말부(100-2) 및 화상 회의 단말부(100-3)만 다자간 회의 그룹으로 그룹핑하는 초청방식 또는 상기 다자간 화상 회의 요청에 의한 화상 회의 룸(Room)을 생성하고, 화상 회의 단말부(100-2) 및 화상 회의 단말부(100-3)들 각각이 상기 화상 회의 룸에 입실하여 화상 회의 그룹을 그룹핑하는 룸 방식 등에 의해 다자간 회의 그룹을 그룹핑한다(S513).
상기와 같이 다자간 회의 그룹이 그룹핑되면 화상 회의 단말부(100-1) 등의 화상 회의 개시 요청에 의해 화상 회의가 개시된다(S515). 그러면 화상회의 단말부(100)들은 각각의 영상데이터를 다자간 화상 회의 서버부(200)로 송신하기 시작한다. 그러면 다자간 화상 회의 서버부(200)는 상기 화상 회의 단말부(100)들로부터 수신되는 영상데이터들의 크기를 일치시킨 후, 합성하여 다자간 화상 회의 영상데이터를 생성한다(S517). 이때 다자간 화상 회의 영상데이터가 전송될 화상회의 단말부(100)의 영상데이터는 상기 다자간 화상 회의 영상데이터에 포함되지 않는다. 예를 들어 설명하면, 화상 회의 단말부(100-1)로 전송되는 다자간 화상 회의 영상데이터에는 상기 화상 회의 단말부(100-1)가 전송한 영상데이터는 포함되지 않는다.
상기 다자간 화상 회의 영상데이터가 생성되면 다자간 화상 회의 서버부(200)는 생성된 다자간 화상 회의 영상 데이터를 그룹핑된 화상 회의 단말부(100)들로 전송한다(S519).
도 6은 본 발명의 제1실시예에 따른 화상 회의 단말부에서의 다자간 화상 회의 방법을 나타낸 절차도이다.
화상 처리 단말기(110)는 상기 도 5의 S515에서와 같이 다자간 화상 회의가 개시되면(S711), 영상 획득부(111)를 통해 카메라(130)를 제어하여 대화자를 촬영하여 영상데이터를 획득하고, 획득된 영상데이터를 통신부(112)를 통해 다자간 화상 회의 서버부(200)로 전송하기 시작한다(S713).
상기 영상데이터의 송신이 개시되면 화상 처리 단말기(110)는 다자간 화상 회의 서버부(200)로부터 다자간 화상 회의 영상데이터가 수신되는지를 검사한다(S715).
다자간 화상 회의 영상데이터가 수신되기 시작하면 화상 처리 단말기(110)는 상기 다자간 화상 회의 영상데이터의 배경을 통일된 배경 화면을 합성하는 크로마키 처리를 수행한다(S716).
상기 크로마키 처리가 완료되면 화상 처리 단말기(110)는 영상 분할부(113)를 통해 프로젝터(120)의 수에 대응하도록 상기 다자간 화상 회의 영상데이터를 분할한다(S717).
그리고 상기 분할된 다자간 화상 회의 영상데이터는 워핑부(114)에서 각각 워핑처리된(S719) 후 블렌딩부(115)에서 프로젝터(120)들에서 투사되는 영상들이 중첩되는 중첩영역(102)에 대한 블렌딩 처리를 수행한다(S721).
상기 블렌딩 처리가 완료되면 화상 처리 단말기(110)는 영상 출력부(116)를 통해 분할된 다자간 화상 회의 영상데이터들을 해당 프로젝터(120)를 통해 굴곡형 스크린(101)에 투사한다(S723).
(제2실시예)
도 7은 본 발명의 제2실시예에 따른 화상 회의 시스템의 구성을 나타낸 도면이고, 도 8은 본 발명의 제1실시예 및 제2실시예에 따른 빛에 의한 화상 회의 단말부의 프로젝터에서 조사되는 영상의 영향을 설명하기 위한 도면으로, (a)는 프로젝터가 화상 회의 공간부(160)에 설치된 경우를 나타낸 것이고, (b)는 프로젝터가 프로젝터 설치 공간부(170)에 설치된 경우를 나타낸 것이다. 이하 도 7 및 도 8를 참조하여 설명한다. 이하의 도면을 참조하여 설명함에 있어서, 상기 제1실시예와 동일한 구성에 대해서는 동일한 부호를 적용하였음을 유의하여야 한다.
본 발명에 따른 화상 회의 시스템은 다수의 화상 회의 단말부(100)들과 다자간 화상 회의 서버부(200)로 구성된다.
상기 다수의 화상 회의 단말부(100)들과 다자간 화상 회의 서버부(200)는 광역망(Wide Area Network: WAN), 근거리통신망(Local Area Network: LAN) 등과 같은 인터넷망 등의 네트워크(150)를 통해 연결되어 TCP/IP 프로토콜 및/또는 UDP 프로토콜에 따른 데이터 통신을 수행한다.
화상 회의 단말부(100)는 스크린(102)과 프로젝터(121)와 카메라(130)와 화상 처리 단말기(110)를 포함한다.
도 8에 나타낸 바와 같이 화상 회의 단말부(100)가 구성되는 화상 회의 공간부는 화상 회의 공간(160)과 프로젝터 설치 공간(170)으로 구성된다.
상기 스크린(102)은 화상 회의 공간(160)과 프로젝터 설치 공간(170) 사이에 설치되며, 조명(6)에서 조사되는 빛이 프로젝터 설치 공간(170)으로 최대한 투과되지 않고, 후방에서 투사되는 영상이 반투과되어 전면 표면에 표시될 수 있도록 벽면과 일체로 설치된다. 상기 스크린(102)은 후방의 프로젝터(121)에서 투사되는 영상만 스크린의 전면 표면상에 표시되도록 영상을 반 투과시킬 수 있는 재질로 형성된다. 상기 스크린(102)의 재질로는 폴리카보네이트(Polycarbonate: PC) 계열의 플라스틱이 이용될 수 있다. 상기 스크린(102)의 형태로는 평면형이 적용될 수도 있고, 굴곡형(또는 "곡면형"이라 함)이 적용될 수도 있을 것이다. 그러나 본 발명에 따라 몰입감을 주기 위해 굴곡형을 적용하는 것이 바람직하다.
프로젝터(121)는 도 8에 나타낸 바와 같이 스크린(102)의 배후 공간인 프로젝터 설치 공간(170)에 적어도 하나 이상으로 구성되어 스크린(102)의 후면에 화상회의 영상을 투사한다.
카메라(130)는 상기 스크린(102)의 상, 하, 좌, 우 측에 적어도 하나 이상 구비되어 화상 회의 공간(160)을 촬영한 영상을 화상 처리 단말기(110)로 출력한다.
상술한 바와 같이 스크린(102)과 프로젝터(121)를 배치함으로써 도 8의 (가)에서와 같이 화상 회의 공간(160)에 스크린(102)과 프로젝터(121)를 함께 구성하는 경우 발생할 수 있는 조명(6)의 빛(12)이 영상(11)에 영향을 주는 것을 차단할 수 있다.
또한, 프로젝터(121)를 스크린(102)의 배후에 구성된 프로젝터 설치 공간(170)에 구성하므로 화상 회의 중 화상 회의 공간(160)의 조명(6)을 끄거나 빛을 약하게 할 필요가 없으므로 화상 회의 공간(160)에서 화상 회의를 진행중인 대화자에게 보다 쾌적한 환경을 제공할 수 있고, 카메라(130)에도 충분한 빛을 제공할 수 있으므로 상대측에도 밝고 선명환 화상의 화상 회의 영상을 제공할 수 있을 것이다.
화상 회의 단말부(100)의 화상 처리 단말기(110)는 대화자에 의해 상기 다자간 화상 회의 서버부(200)에 접속하고, 상기 대화자가 입력하는 아이디 및 패스워드 등에 의해 로그인 한 후, 다자간 화상 회의 그룹에 참여하고, 다자간 화상 회의가 개시되면 적어도 하나 이상의 카메라(130)에 의해 화상 회의 공간을 촬영하여 해당 화상 회의 공간에 있는 대화자의 영상데이터를 다자간 화상 회의 서버부(200)로 제공한다. 또한 화상 회의 단말부(100)는 자신의 스크린(102)에 표시되는 다자간 화상 회의 영상의 크기 정보를 다자간 화상 회의 서버부(200)로 제공한다. 또한, 화상 처리 단말기(110)는 다자간 화상 회의 서버부(200)로부터 수신되는 다자간 화상 회의 영상 데이터를 구성된 프로젝터(121) 수에 따라 분할하고, 스크린(102)의 형태에 따라 변환하여 각 프로젝터(121)로 출력한다.
다자간 화상 회의 서버부(200)는 다자간 화상 회의 유닛(MCU)서버 및 웹서버로 구성될 수도 있고, MCU 서버가 웹서버의 기능까지 수행하도록 구성될 수도 있다. 이러한 다자간 화상 회의 서버부(200)는 다수의 화상 회의 단말부(100)들의 로그온 및 로그온 된 두 지역 이상의 서로 다른 장소에 위치하는 다수의 화상 회의 단말부(100)들이 다자간 화상 회의를 수행할 수 있도록 그룹핑 수단을 제공하고, 그룹핑된 화상 회의 단말부(100)들 각각으로부터 적어도 한 명 이상의 대화자에 대한 영상데이터를 수신하고, 상기 수신된 영상데이터를 전송한 화상 회의 단말부(100)의 화면 크기에 대응하도록 수신된 영상데이터들을 합성한 다자간 화상 회의 영상데이터를 생성하고 해당 화상 회의 단말부(100)로 송신한다. 이때, 상기 다자간 화상 회의 영상데이터에는 전송되는 화상 회의 단말부(100)의 대화자의 영상데이터는 합성되지 않는다.
도 9는 본 발명의 제2실시예에 따른 다자간 화상 회의 시스템의 화상 처리 단말기의 상세 블록 구성을 나타낸 도면이고, 도 10은 본 발명의 제2실시예에 따른 다자간 화상 회의 시스템의 화상 회의 단말부가 설치된 화상 회의 공간의 평면도를 나타낸 도면이며, 도 11는 본 발명에 따른 굴곡형 스크린의 적용에 의한 화상 회의 영상의 워핑 및 블렌더링을 설명하기 위한 도면이다. 이하 도 7 내지 도 11을 참조하여 설명한다.
화상 처리 단말기(110)는 영상 획득부(111)와 통신부(112)와 영상 분할부(113)와 좌우 대칭 반전부(118)와 워핑부(114)와 블렌딩부(115)와 영상 출력부(116)와 크로마키 처리부(117)와 제어부(119)를 포함한다.
제어부(119)는 본 발명의 화상 처리 단말기(110)의 전반적인 동작을 제어한다. 특히 제어부(119)는 다자간 화상 회의 서버부(200)에 접속 시 로그온 정보를 입력받아 통신부를 통해 다자간 화상 회의 서버부(200)로 제공하고, 로그온 시, 다자간 화상 회의 그룹핑 시 또는 화상 회의 개시 시 영상 출력부(116)와 프로젝터(120)를 통해 스크린(101)에 표시될 영상의 크기 정보를 다자간 화상 회의 서버부(200)로 제공한다. 또한, 제어부(119)는 굴곡형 스크린(101)의 굴곡면의 굴곡 각도 정보, 영상 출력부(116)에 접속되어 있는 프로젝터(120) 수 등의 정보를 가지고 있다.
영상 획득부(111)는 카메라(120)를 통해 촬영되는 영상에 대한 영상데이터를 생성하여 출력한다.
통신부(112)는 네트워크(150)에 접속하여 상기 다자간 화상 회의 서버부(200)와 데이터 통신을 수행한다.
크로마키 처리부(117)는 수신된 다자간 화상 회의 영상에서 대화자들만을 검출하고, 검출된 대화자의 영상과 제어부(119)로부터 입력되는 새로운 배경 영상을 합성하여 출력한다. 상기 배경 영상은 회의실 배경 영상 등이 될 수 있을 것이다.
좌우 대칭 반전부(118)는 상기 크로마키 처리부(117)로부터 입력되는 다자간 화상 회의 영상을 좌우 반전시켜 출력한다. 이는 본 발명에 따른 프로젝터(121)가 스크린(102)의 배후에서 영상을 투사하기 때문에 영상을 보는 대화자 입장에서 좌우가 바뀌어 보이지 않도록 하기 위한 것이다.
영상 분할부(113)는 제어부(119)의 제어를 받아 상기 크로마키 처리되고 좌우 반전된 다자간 화상 회의 영상데이터를 영상출력부(116)에 연결된 프로젝터(120)의 수만큼 분할하여 출력한다.
워핑부(114)는 상기 제어부(119)의 제어를 받아 상기 스크린(102)의 형태에 따라 스크린(102)에 표시되는 영상이 일그러지거나 찌그러짐이 없도록 영상의 일부분을 축소 또는 확대시켜 투영 환경, 즉 스크린(102)의 굴곡 각도 등의 환경에 알맞도록 영상을 변환하는 워핑(Warping) 처리를 수행하여 출력한다. 이를 위하여 워핑부(114)는 픽셀(Pixel) 단위의 화면 조정과 부분 영상 압축 방식을 적용한다. 예를 들어 굴곡형 스크린을 적용하고, 본원발명과 같이 스크린(102)의 배후에서 영상을 투사하는 경우, 스크린의 볼록한 면에 영상을 투사하게 된다. 따라 워핑부(114)는 스크린(102)의 볼록한 굴곡면의 굴곡 각도에 대응하도록 픽셀 단위의 화면 조정과 부분 영상 압축 방식을 적용하여 워핑 처리를 수행한다. 도 9에서는 워핑부(114)가 상기 영상 분할부(113) 후단에 구성되는 경우를 나타내었으나 영상 분할부(113) 전단에 구성될 수도 있을 것이다. 즉 워핑은 다자간 화상 회의 영상 데이터가 분할되기 전에 수행될 수도 있을 것이다.
블렌딩부(115)는 상기 분할되고 워핑된 다자간 화상 회의 영상데이터들이 복수의 프로젝터(121)를 통해 스크린(102)에 투사됨에 의해 발생하는 도 10 및 도 11의 의 중첩영역(103)을 없애기 위해 상기 중첩영역(103)들에 대해 블렌딩(Blending) 처리를 수행한 후 출력한다.
구체적으로 설명하면, 두 개 이상의 프로젝터(120)가 단일 화면으로 투사되는 경우에 중첩영역(103)이 발생하고, 이러한 중첩영역(103)은 두 개의 영상이 중첩되므로 밝기가 밝아져 도드라져 보이게 된다. 상기와 같이 밝아진 중첩영역(103)의 밝기(Brightness)와 콘트라스트(Contrast)를 조절하여 중첩영역(103)의 도드라짐을 없애는 처리를 블렌딩이라 한다.
영상 출력부(116)는 상기 블렌딩부(115)에서 출력되는 분할된 다자간 화상 회의 영상데이터들을 해당 프로젝터(120)들을 통해 투사한다.
상기 도 7 내지 도 11에서는 하드웨어적인 구성을 설명하였다. 이하 도 12에서는 화상 회의 단말부(100)에서의 영상 표시 방법을 설명한다.
도 12는 본 발명에 따른 화상 회의 단말부에서의 다자간 화상 회의에 따른 화상 영상 표시 방법을 나타낸 흐름도이다.
화상 처리 단말기(110)는 화상 회의가 개시되면, 영상 획득부(111)를 통해 카메라(130)를 제어하여 대화자를 촬영하여 영상데이터를 획득하고, 획득된 영상데이터를 통신부(112)를 통해 다자간 화상 회의 서버부(200)로 전송하기 시작한다.
상기 영상데이터의 송신이 개시되면 화상 처리 단말기(110)는 다자간 화상 회의 서버부(200)로부터 다자간 화상 회의 영상데이터가 수신되는지를 검사한다(S811).
다자간 화상 회의 영상데이터가 수신되기 시작하면 화상 처리 단말기(110)는 상기 다자간 화상 회의 영상데이터의 배경을 통일된 배경 화면을 합성하는 크로마키 처리를 수행한다(S813).
상기 크로마키 처리가 완료되면 화상 처리 단말기(110)는 크로마키 처리된 다자간 화상 회의 영상데이터를 좌우 반전시켜 출력한다(S815).
상기 다자간 화상 회의 영상의 좌우 반전이 완료되면 화상 처리 단말기(110)는 영상 분할부(113)를 통해 프로젝터(120)의 수에 대응하도록 상기 다자간 화상 회의 영상데이터를 분할하여 출력한다(S817).
그리고 상기 분할된 다자간 화상 회의 영상데이터는 워핑부(114)에서 각각 워핑처리된(S819) 후 블렌딩부(115)에서 프로젝터(120)들에서 투사되는 영상들이 중첩되는 중첩영역(103)에 대한 블렌딩 처리를 수행한다(S821).
상기 블렌딩 처리가 완료되면 화상 처리 단말기(110)는 영상 출력부(116)를 통해 분할된 다자간 화상 회의 영상데이터들을 해당 프로젝터(120)를 통해 스크린(101)에 투사한다(S823).
이와 같이 함으로써 도 8에서 보이는 바와 같이 화상 회의 공간(160)에 구성된 조명(6)으로부터 조사되는 빛이 프로젝터 설치 공간(170)으로 투사되지 않으므로 프로젝터(121)들로부터 스크린(102)의 배면으로 투사되는 영상에 영향을 끼치지 않는다. 따라서 스크린(102)의 전면에 표시되는 영상은 선명하고 깨끗할 것이다.
또한, 화상 회의 공간(160)의 조명(6)을 끄지 않아도 되므로 카메라는 피사체를 촬상하기 위한 충분한 조도를 확보할 수 있으므로 상대측으로 선명하고 깨끗한 영상을 전송할 수 있다.
한편, 본 발명은 전술한 전형적인 바람직한 실시 예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.
[부호의 설명]
100: 화상 회의 단말부 101, 102: 스크린
103: 분할 영상 중첩 영역 110: 화상 처리 단말기
111: 영상 획득부 112: 통신부
113: 영상 분할부 114: 워핑부
115: 블렌딩부 116: 영상 출력부
117: 크로마키 처리부 118: 좌우 대칭 반전부
119: 제어부
120, 121: 프로젝터 130: 카메라
150: 네트워크 160: 화상 회의 공간
170: 프로젝터 설치 공간 200: 다자간 화상 회의 서버부

Claims (23)

  1. 적어도 한 명 이상의 대화자를 촬영하여 각 대화자의 영상데이터를 송신하고, 다자간 화상 회의 영상데이터를 수신받아 표시하는 복수의 화상 회의 단말부와,
    다자간 화상 회의를 하기 위한 서로 다른 두 지역 이상의 화상 회의 단말부들로 다자간 화상 회의 그룹을 결정하고, 상기 결정된 다자간 화상 회의 그룹의 화상 회의 단말부들로부터 수신되는 복수의 영상데이터들을 하나의 화면으로 합성한 다자간 화상 회의 영상데이터를 생성하여 상기 화상 회의 단말부로 송신하는 다자간 화상 회의 서버부를 포함하는 것을 특징으로 하는 다자간 화상 회의 시스템.
  2. 제1항에 있어서,
    적어도 한 명 이상의 대화자를 각각 촬영하기 위한 적어도 하나 이상의 카메라와,
    스크린과,
    상기 다자간 화상 회의 영상데이터를 상기 스크린에 표시하는 프로젝터와,
    상기 카메라에서 촬영되어 입력되는 영상데이터들을 상기 다자간 화상 회의 서버부로 송신하고, 상기 다자간 화상 회의 영상데이터를 수신받아 상기 프로젝터를 통해 상기 스크린에 표시시키는 화상 처리 단말기를 포함하는 것을 특징으로 하는 다자간 화상 회의 시스템.
  3. 제2항에 있어서,
    상기 스크린은 굴곡형 스크린인 것을 특징으로 하는 다자간 화상 회의 시스템.
  4. 제3항에 있어서,
    상기 프로젝터는 적어도 둘 이상 구비되고,
    상기 화상 처리 단말기는, 상기 스크린의 굴곡면에 대응하도록 상기 다자간 화상 회의 영상데이터를 변환한 후 미리 설정되어 있는 상기 스크린 상에 표시되는 영상의 크기에 따라 상기 프로젝터들을 통해 상기 다자간 화상 회의 영상데이터를 분할하여 상기 스크린에 조사하는 것을 특징으로 하는 다자간 화상 회의 시스템.
  5. 제4항에 있어서,
    상기 화상 처리 단말기는,
    상기 스크린의 굴곡면에 대응하도록 상기 다자간 화상 회의 영상데이터를 워핑처리하여 변환하는 것을 특징으로 하는 다자간 화상 회의 시스템.
  6. 제4항에 있어서,
    상기 화상 처리 단말기는,
    상기 변환된 다자간 화상 회의 영상데이터를 상기 적어도 둘 이상의 프로젝터를 통해 상기 스크린상에 투사 시 중복되는 중첩영역을 자연스럽게 하기 위해 상기 중첩 영역을 블렌더링 처리하여 변환하는 것을 특징으로 하는 다자간 화상 회의 시스템.
  7. 제4항에 있어서,
    상기 화상 처리 단말기는,
    상기 다자간 화상 회의 영상데이터의 배경을 통일된 배경화면으로 크로마키 하여 변환하는 것을 특징으로 하는 다자간 화상 회의 시스템.
  8. 제2항에 있어서,
    상기 프로젝터는 프로젝터 설치 공간에 설치되어 상기 스크린의 후면으로 영상을 조사하고,
    상기 스크린은 빛을 조사하는 조명을 구비하는 화상 회의 공간과 상기 프로젝터 설치 공간의 사이에 설치되어 상기 빛이 상기 프로젝터 설치 공간에 조사되는 것을 차단하고, 상기 화상 회의 공간을 기준으로 후면으로 투사되는 영상을 반투과시켜 전면에 표시시키는 반투과형 스크린인 것을 특징으로 하는 다자간 화상 회의 시스템.
  9. 제8항에 있어서,
    상기 화상 처리 단말기는,
    다자간 화상 회의 영상이 좌우 대칭 반전되도록 상기 다자간 화상 회의 영상 데이터를 좌우 대칭 반전 처리를 수행한 후 상기 프로젝터를 통해 상기 반투과형 스크린에 표시시키는 것을 특징으로 하는 다자간 화상 회의 시스템
  10. 제8항 또는 제9항에 있어서,
    상기 반투과형 스크린은 굴곡형 스크린인 것을 특징으로 하는 다자간 화상 회의 시스템.
  11. 제10항에 있어서,
    상기 프로젝터는 적어도 둘 이상 구비되고,
    상기 화상 처리 단말기는, 상기 스크린의 굴곡면에 대응하도록 상기 다자간 화상 회의 영상데이터를 변환한 후 미리 설정되어 있는 상기 스크린 상에 표시되는 영상의 크기에 따라 상기 프로젝터들을 통해 상기 다자간 화상 회의 영상데이터를 분할하여 상기 스크린에 조사하는 것을 특징으로 하는 다자간 화상 회의 시스템.
  12. 제11항에 있어서,
    상기 화상 처리 단말기는,
    상기 스크린의 굴곡면에 대응하도록 상기 다자간 화상 회의 영상데이터를 워핑처리하여 변환하는 것을 특징으로 하는 다자간 화상 회의 시스템.
  13. 제11항 또는 제12항에 있어서,
    상기 화상 처리 단말기는,
    상기 변환된 다자간 화상 회의 영상데이터를 상기 둘 이상의 프로젝터를 통해 상기 스크린상에 투사 시 중복되는 중첩영역을 자연스럽게 하기 위해 상기 중첩 영역을 블렌더링 처리하여 변환하는 것을 특징으로 하는 다자간 화상 회의 시스템.
  14. 제11항에 있어서,
    상기 화상 처리 단말기는,
    상기 다자간 화상 회의 영상데이터의 배경을 통일된 배경화면으로 크로마키 하여 변환하는 것을 특징으로 하는 다자간 화상 회의 시스템.
  15. 다자간 화상 회의 방법에 있어서,
    상기 다자간 화상 회의 서버부가, 서로 다른 두 지역 이상에 위치하는 다자간 화상 회의 그룹의 복수의 화상 회의 단말부들로부터 수신되는 영상데이터들을 한 화면으로 합성한 다자간 화상 회의 영상데이터를 상기 각 다자간 화상 회의 그룹의 복수의 화상 회의 단말부들로 송신하는 다자간 화상 회의 영상 공급 과정과,
    상기 각 화상 단말부들이 상기 다자간 회의 영상데이터를 수신받아 표시하는 표시 과정을 포함하는 것을 특징으로 하는 방법.
  16. 제15항에 있어서,
    상기 다자간 화상 회의 영상 공급 과정은,
    다자간 화상 회의를 하기 위한 서로 다른 두 지역 이상의 화상 회의 단말부들로 다자간 화상 회의 그룹을 결정하는 다자간 화상 그룹 결정 단계와,
    상기 그룹이 결정된 다자간 화상 회의 그룹의 화상 회의 단말부들로부터 영상 데이터들을 수신하는 영상데이터 수신 단계와,
    상기 수신된 영상데이터들을 하나의 화면으로 합성한 다자간 화상 회의 영상데이터를 생성하는 합성 단계와,
    상기 다자간 화상 회의 영상데이터를 화상 회의 단말부로 송신하는 다자간 회의 영상 송신 단계를 포함하는 것을 특징으로 하는 방법.
  17. 제15항에 있어서,
    상기 표시 과정은,
    상기 다자간 화상 회의 영상 데이터가 수신하는 수신단계와,
    상기 수신된 다자간 화상 회의 영상 데이터를 미리 설정된 스크린 화면의 크기에 대응하여 프로젝터의 수로 분할하는 분할 단계와,
    상기 분할된 다자간 화상 회의 영상 데이터 각각을 해당 프로젝터를 통해 스크린에 투사하는 표시단계를 포함하는 것을 특징으로 하는 방법.
  18. 제17항에 있어서,
    상기 표시 과정은,
    다자간 화상 회의 영상이 좌우 대칭 반전되도록 상기 다자간 화상 회의 영상 데이터를 좌우 대칭 반전 처리를 수행하는 좌우 대칭 반전 단계를 더 포함하고,
    상기 표시 단계는,
    화상 회의 공간과 프로젝터 설치 공간 사이에 설치되는 반투과형 스크린의 후방 공간인 프로젝터 설치 공간에 설치된 해당 프로젝터를 통해 상기 분할된 다자간 화상 회의 영상 데이터 각각을 분할 다자간 화상 회의 영상으로 변환한 후 반투과형 스크린의 후면에 투사하여 표시시키는 것을 특징으로 하는 방법.
  19. 제17항 또는 제18항에 있어서,
    상기 수신단계 후, 굴곡형 스크린의 굴곡면에 최적의 화상으로 표시될 수 있도록 상기 굴곡면에 따라 다자간 화상 회의 영상 데이터를 워핑 처리하여 변환하는 워핑 단계를 더 포함하는 것을 특징으로 하는 방법.
  20. 제19항에 있어서,
    상기 워핑 단계 또는 분할 단계 후, 분할된 다자간 화상 회의 영상 데이터를 굴곡형 스크린에 표시 시 발생하는 중첩 영역을 자연스럽게 처리하기 위해 상기 분할된 다자간 화상 회의 영상 데이터의 중첩 영역을 블렌더링 처리하여 변환하는 블렌더링 단계를 더 포함하는 것을 특징으로 하는 방법.
  21. 제19항에 있어서,
    상기 수신단계 후, 상기 다자간 화상 회의 영상데이터의 배경을 통일된 배경화면으로 크로마키 하여 변환하는 크로마키 단계를 더 포함하는 것을 특징으로 하는 방법.
  22. 제21항에 있어서,
    상기 크로마키 단계 후, 굴곡형 스크린의 굴곡면에 최적의 화상으로 표시될 수 있도록 상기 굴곡면에 따라 다자간 화상 회의 영상 데이터를 워핑 처리하여 변환하는 워핑 단계를 더 포함하는 것을 특징으로 하는 방법.
  23. 제22항에 있어서,
    상기 워핑 단계 및 분할 단계 후, 분할된 다자간 화상 회의 영상 데이터를 굴곡형 스크린에 표시 시 발생하는 중첩 영역을 자연스럽게 처리하기 위해 상기 분할된 다자간 화상 회의 영상 데이터의 중첩 영역을 블렌더링 처리하여 변환하는 블렌더링 단계를 더 포함하는 것을 특징으로 하는 방법.
PCT/KR2012/001687 2011-03-17 2012-03-08 다자간 화상 회의 시스템 및 방법 WO2012124929A2 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2011-0023616 2011-03-17
KR1020110023616A KR101099369B1 (ko) 2011-03-17 2011-03-17 다자간 화상 회의 시스템 및 방법
KR1020120005107A KR101219457B1 (ko) 2012-01-17 2012-01-17 화상 회의 단말장치 및 그 장치에서의 화상 표시 방법
KR10-2012-0005107 2012-01-17

Publications (2)

Publication Number Publication Date
WO2012124929A2 true WO2012124929A2 (ko) 2012-09-20
WO2012124929A3 WO2012124929A3 (ko) 2012-12-27

Family

ID=46816738

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/001687 WO2012124929A2 (ko) 2011-03-17 2012-03-08 다자간 화상 회의 시스템 및 방법

Country Status (2)

Country Link
CN (1) CN102685443B (ko)
WO (1) WO2012124929A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2915006A4 (en) * 2012-10-31 2016-06-08 Milestone Av Technologies Llc INTEGRATED PROJECTION SCREEN

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111372032B (zh) * 2020-03-25 2021-04-23 苏州科达科技股份有限公司 视频合成测试方法、装置、设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05292498A (ja) * 1992-04-16 1993-11-05 Hitachi Ltd 画像合成方式およびそれを用いた多地点間テレビ会議装置
KR19990061602A (ko) * 1997-12-31 1999-07-26 전주범 화상회의 시스템의 영상 구성 제어 방법
KR19990070821A (ko) * 1998-02-25 1999-09-15 최명환 화상회의 시스템에서 참가자 4명까지의 비디오를 단일 비디오 스트림으로 변환하는 서버

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101472134B (zh) * 2007-12-29 2012-04-04 华为终端有限公司 视频会议与会人员联系系统、方法、终端、多点控制单元

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05292498A (ja) * 1992-04-16 1993-11-05 Hitachi Ltd 画像合成方式およびそれを用いた多地点間テレビ会議装置
KR19990061602A (ko) * 1997-12-31 1999-07-26 전주범 화상회의 시스템의 영상 구성 제어 방법
KR19990070821A (ko) * 1998-02-25 1999-09-15 최명환 화상회의 시스템에서 참가자 4명까지의 비디오를 단일 비디오 스트림으로 변환하는 서버

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2915006A4 (en) * 2012-10-31 2016-06-08 Milestone Av Technologies Llc INTEGRATED PROJECTION SCREEN
US10228614B2 (en) 2012-10-31 2019-03-12 Milestone Av Technologies Llc Integrated projection screen

Also Published As

Publication number Publication date
WO2012124929A3 (ko) 2012-12-27
CN102685443B (zh) 2015-05-06
CN102685443A (zh) 2012-09-19

Similar Documents

Publication Publication Date Title
WO2018010240A1 (zh) 拍摄同步方法及同步装置
US20110134205A1 (en) Imaging terminal
CN101395912A (zh) 用于显示位置之间的视频会议中的参与者的系统和方法
WO2014081146A1 (en) Display apparatus, method for controlling the display appartus, glasses and method for controlling the glasses
WO2017164573A1 (en) Near-eye display apparatus and near-eye display method
CA2746590C (en) Method and system for audio-video communications
WO2017128853A1 (zh) 摄制视频的处理方法、装置和设备
WO2014178509A1 (en) Multi-projection system for extending visual element of main image
KR101099369B1 (ko) 다자간 화상 회의 시스템 및 방법
WO2014208837A1 (en) Theater structure and multi-projection system using the same
WO2023277253A1 (en) Automatic representation switching based on depth camera field of view
WO2017222258A1 (ko) 3d 깊이 카메라를 이용한 다자간 영상 대화 시스템 및 방법
WO2019225836A1 (ko) 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법
WO2019221369A1 (ko) 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 오디오 에코 제거방법
JP3587106B2 (ja) 視線一致テレビ会議装置
WO2012124929A2 (ko) 다자간 화상 회의 시스템 및 방법
KR101252762B1 (ko) 화상 회의 단말장치의 화상 합성 장치 및 방법
WO2011071700A2 (en) Imaging terminal
US8421844B2 (en) Apparatus for correcting gaze, a method of videoconferencing and a system therefor
KR101219457B1 (ko) 화상 회의 단말장치 및 그 장치에서의 화상 표시 방법
WO2021033811A1 (ko) 하프 미러 셀프 사진 촬영 시스템 및 하프 미러 셀프 사진 촬영 시스템을 이용한 심리 상담 방법
JP3048667B2 (ja) 視線一致表示装置
US20100283826A1 (en) Audiovisual terminal
WO2023224154A1 (ko) 합성용 동영상 촬영 시스템 및 방법
WO2019022332A1 (ko) 복수 개의 영상회의용 단말을 이용하여 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12756937

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12756937

Country of ref document: EP

Kind code of ref document: A2