WO2018124680A1 - 영상 통신 방법 - Google Patents

영상 통신 방법 Download PDF

Info

Publication number
WO2018124680A1
WO2018124680A1 PCT/KR2017/015444 KR2017015444W WO2018124680A1 WO 2018124680 A1 WO2018124680 A1 WO 2018124680A1 KR 2017015444 W KR2017015444 W KR 2017015444W WO 2018124680 A1 WO2018124680 A1 WO 2018124680A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
background
terminal
user
sub terminal
Prior art date
Application number
PCT/KR2017/015444
Other languages
English (en)
French (fr)
Inventor
남궁환식
Original Assignee
(주)해든브릿지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)해든브릿지 filed Critical (주)해든브릿지
Publication of WO2018124680A1 publication Critical patent/WO2018124680A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Definitions

  • the present invention relates to a video communication method, and more particularly, by utilizing a front camera and a rear camera of a personal mobile terminal device such as a smart phone, thereby improving immersion between video communication parties. It relates to a video communication method to achieve this.
  • one-to-one (1: 1) or one-to-many (1: multi) video is configured to allow video conversation through a display screen provided with a grid structure when a session is established.
  • this method has the following inconvenience.
  • the communication party turns off the front camera illuminating itself and then back again. It is inconvenient to set the camera on and continue the conversation. That is, the continuity of the conversation is interrupted due to the momentary interruption of the video conversation, and thus the immersion of the conversation is hindered.
  • a plurality of video chat participants are displayed in a grid shape while maintaining their own background screens, which may cause distraction due to visual dispersion.
  • the present invention proposes a video communication method utilizing the front camera and the rear camera of a personal portable terminal device at the same time, such that a immersion degree between the parties can be improved It is intended to provide a new video communication method.
  • the present invention provides a video communication method that improves the immersion and realism of a conversation by setting a rear camera image of a user as a common background instead of a background screen of each user participating in the video conversation.
  • the video communication method is not limited to a personal portable terminal device such as a smart phone, but may be applied to a general terminal such as a PC equipped with a 2D general camera.
  • the present invention proposes a video communication method utilizing the front camera and the rear camera of a personal portable terminal device at the same time, such that a immersion degree between the parties can be improved It is intended to provide a new video communication method.
  • the present invention provides a video communication method that improves the immersion and realism of a conversation by setting a rear camera image of a user as a common background instead of a background screen of each user participating in the video conversation.
  • the video communication method is not limited to a personal portable terminal device such as a smart phone, but may be applied to a general terminal such as a PC equipped with a 2D general camera.
  • FIG. 1 is an explanatory diagram showing an internal configuration of a user terminal applied to a video communication method according to an embodiment of the present invention.
  • FIG. 2 is an explanatory diagram showing an internal configuration of an MPS (Media Processing Server) applied to a video communication method according to an embodiment of the present invention.
  • MPS Media Processing Server
  • FIG. 3 is an exemplary view illustrating a tie shopping process through a video communication method according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a video communication method according to an embodiment of the present invention.
  • ⁇ means a unit for processing at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software. Can be.
  • a part is electrically connected to another part, this includes not only the case where it is directly connected, but also the case where it is connected through the other structure in the middle.
  • first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the second component may be referred to as the first component, and similarly, the first component may also be referred to as the second component.
  • FIG. 1 is an explanatory diagram showing an internal configuration of a user terminal applied to a video communication method according to an embodiment of the present invention
  • FIG. 2 is an explanatory diagram showing an internal configuration of a media processing server (MPS)
  • FIG. 3 is a tie Exemplary diagram showing a case where the video communication method according to an embodiment of the present invention is applied for shopping.
  • MPS media processing server
  • the user terminal 200 includes a user interface (UI) unit 10, a camera control unit 20, an address control unit 30, a media control unit 40, a rights control unit 50, and a transmission / reception control unit 60.
  • UI user interface
  • the MPS 400 includes a media preprocessing module 100, a layout control module 110, a mixing module 120, an encoding module 130, a transmission / reception module 140, and the like. It can be confirmed that it includes.
  • the terminal A 200 which is a main terminal
  • the terminal A 200 After obtaining a user image 205 from a front camera by the camera controller 20, a background of the corresponding image is obtained. To change the color to a single color.
  • a 2D background removing method may be applied to remove the background of the acquired image.
  • the real-time background removal technology of video removes the user's background by using depth information by the IR sensor of the 3D depth camera, thereby obtaining user segmentation. It has been used for implementation. However, due to the rapid development of machine learning, technology that can acquire real-time user image using a general 2D camera (web camera, etc.) without 3D depth camera has been commercialized, and its representative technology is 2D background removing method. .
  • the transmission image 210 is configured by filling a single color background to be transmitted to the MPS (Media Processing Server, 400). Subsequently, the transmission image thus configured is encoded and then transmitted to the MPS 400, and the image 220 obtained through the rear camera is displayed on the screen and encoded and transmitted to the MPS 400.
  • MPS Media Processing Server
  • the transmission image 210 filled with a single color background and the shopping target tie image 220 obtained from the rear camera can be checked. have.
  • a normal calling signal or the like to the terminal (terminal B 300) of the selected user.
  • An invitation message or the like is transmitted.
  • a call or transmission of a message may be made according to a general method of SIP or H.323 and other communication protocols, and an invitation message transmission and the like.
  • the camera controller 20 When a user of the terminal B 300 clicks a reception signal or an invitation message after receiving a call signal or an invitation message, an application for executing a video communication method is driven, and the camera controller 20 previously controls the terminal A. In the same manner as described above, after the background of the image obtained from the front camera is removed, the transmission image 310 filled with a single color is configured.
  • the transmission image 310 configured as described above is encoded and transmitted to the MPS 400.
  • the MPS 400 transmits the rear camera image 220 received from the terminal A 200 to the terminal B 300 without additional processing.
  • the transmission images 210 and 310 received from the terminal A 200 and the terminal B 300 pass through the media preprocessing module 100 for processing such as decoding and resizing and the layout module 110 for image placement.
  • the encoding module 130 encodes the mixed image 430 and then the terminal A 200 and the terminal B 300 connected through the transmission / reception module 140. Send to each.
  • a data dedicated transmission server may be provided to smoothly support large-scale access terminals.
  • the mixed image may be transmitted to each terminal through the data dedicated transmission server.
  • the terminal A 200 displays the image of the mixed image 430 received from the MPS 400 by the transmission / reception control unit 60 by removing the single color background through the media control unit 40 by the rear camera.
  • the final image 450 is configured to allow the users of the terminal A 200 and the terminal B 300 to have a video conversation in the background of the rear camera.
  • the terminal A may feel unnaturally the image display delay that is generated because its own image in the final image 450 is an image reached after various media processing through the server. Accordingly, the terminal A 200 removes its own image from the mixed image 430 received from the MPS 400 through the media control unit 40 and directly removes the real-time image obtained from the front camera by 2D background removing technology. It is also possible to overcome the unnaturalness by converting the image with the background removed and displaying it instead.
  • the terminal B 300 renders the image 420 received from the MPS 400 by the transmission / reception control unit 60, and the mixed image 430 received from the MPS 400 on the terminal A 200.
  • the terminal B 300 By displaying the image from which the single color background is removed as an overlay, video conversation with the terminal A 200 can be performed in the background of the rear camera image of the terminal A 200.
  • the terminal B 300 also removes its own image from the mixed image 430 received from the MPS 400 like the terminal A 200 and directly removes its image from the front camera by 2D background removing technology. As described above, it is possible to overcome the unnaturalness by displaying.
  • the synthesized image 230 may be configured in the terminal A 200.
  • the MPS 400 receives the image 310 of the terminal B 300 after the encoding is transmitted to the MPS 400.
  • the single color background may be removed, and the final image 440 recombined with the composite image 230 of the terminal A 200 may be configured and transmitted to each terminal.
  • the MPS 400 will send the encoded video including the picture to the video after encoding, thereby generating only the picture and generating a single color background thereon. It is difficult to be considered a more efficient method than the former method because it is larger than the method of displaying the removed image, and a CPU burden is generated due to the media processing of the MPS 400.
  • FIG. 4 is a flowchart illustrating a video communication method according to an embodiment of the present invention.
  • the rear camera is turned on by the application running in the terminal A, and the rear camera image is rendered.
  • the front camera is turned on to obtain a user's 2D image.
  • the acquired user image is filled with a single color background while the background is removed by a 2D background removing technique. Then, when the user selects one or more video contacts, a call or a message is transmitted to the user's terminal. .
  • the rear camera image and the user image are transmitted to the media processing system (MPS), and the background image is displayed on the background image received from the MPS and the composite image of another user.
  • MPS media processing system
  • the terminal B when the terminal B receives a call or an invitation message from the terminal A and selects to participate in the conversation, the terminal B is turned on to acquire a 2D image of the user by running the application.
  • the acquired user image is processed with a single color background after the background is removed, and this image is transmitted to the MPS.
  • the terminal A synthesizes its own user image having the background removed on the rear camera image, encodes it, and transmits it to the MPS.
  • the MPS After receiving the image of the terminal B, the MPS removes the single color background and removes the single color background.
  • the synthesized video and the final synthesized video may be configured to be transmitted to each terminal.
  • the present invention if you want to seek opinions such as acquaintances during offline shopping, you can achieve a satisfactory purchase behavior while inviting acquaintances using the rear camera of the smartphone to refer to the advice of real-time acquaintances through a video conversation Can be used.
  • the field personnel can be used to quickly resolve the site problem through the advice of the headquarters and experts while shooting the disaster site in real time at the disaster site, such as fire.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 영상 통신 방법에 관한 것으로, 전방 및 후방 카메라를 구비하는 메인 단말기와 1 이상의 서브 단말기 사이의 영상 통신 방법에 있어서, 메인 단말기의 후방 카메라로부터 배경 영상이 획득되고, 전방 카메라로부터 제1 사용자 영상이 획득되는 제1 단계; 상기 제1 사용자 영상의 배경을 제거하고 단일 색 배경 처리하는 제2 단계; 영상 대화 상대를 선택하고 호출하는 제3 단계; 상기 호출된 대화 상대의 대화 참여가 확인되면, 상기 제1 단계의 배경 영상 및 상기 제2 단계의 제1 사용자 영상을 서버로 송신하는 제4 단계; 상기 서버에 의해 상기 제4 단계의 송신 영상 및 상기 서브 단말기로부터 전송되는 1 이상의 제2 사용자 영상에 대한 영상 처리가 수행되는 제5 단계; 및 상기 제5 단계의 영상 처리가 수행된 영상이 상기 메인 단말기 및 상기 서브 단말기로 각각 전송되는 제6 단계; 등을 포함 할 수 있다.

Description

영상 통신 방법
본 발명은 영상 통신 방법에 관한 것으로, 더욱 상세하게는 스마트폰 등과 같은 개인 휴대 단말 장치의 전방 카메라(Front Camera) 및 후방 카메라(Rear Camera)를 활용함으로써, 영상 통신 당사자들 사이의 몰입도 향상을 이룰 수 있도록 하기 위한 영상 통신 방법에 관한 것이다.
일반적인 모바일 기반의 영상 통신 방법은 세션이 이루어지면 일대일(1:1) 또는 일대다(1:다(多))의 영상이 격자 형 구조로 제공되는 디스플레이 화면을 통해 영상 대화를 할 수 있도록 구성된다. 하지만 이와 같은 방식은 다음과 같은 불편함을 갖는다.
먼저, 영상 대화 도중 임의의 참석자가 특정 화면을 함께 봐야 하는 경우, 가령, 설명을 위한 자료 화면 등의 제공이 요구되는 경우, 통신 당사자는 자신을 비추던 전방 카메라를 오프(off) 시킨 후 다시 후방 카메라를 온(on) 상태로 설정한 다음 대화를 이어가야 한다는 불편함이 있다. 즉, 영상 대화의 순간적인 중단으로 인해 대화의 연속성 등이 방해 받게 됨으로써, 대화의 몰입감이 저해된다는 등의 문제점이 있다.
아울러, 일대다 통신의 경우, 다수의 영상 대화 참석자들이 각각 자신만의 배경 화면을 유지한 채 격자형으로 디스플레이됨에 따라, 시각적 분산에 의한 산만함 등을 유발할 수 있다는 문제점이 있다.
상기와 같은 문제점을 해결하기 위해, 본 발명에서는, 스마트폰 등과 같은 개인 휴대 단말 장치의 전방 카메라 및 후방 카메라를 동시에 활용하는 영상 통신 방법을 제안함으로써, 당사자들 사이의 몰입도 향상을 이룰 수 있도록 하기 위한 새로운 영상 통신 방법을 제공하고자 한다.
다시 말해, 본 발명은, 영상 대화에 참여한 사용자들 각각의 배경 화면 대신, 일 사용자의 후방 카메라 영상을 공통의 배경으로 설정함으로써, 대화의 몰입도 및 현장감 등을 향상시킨 영상 통신 방법을 제공한다.
참고로, 이와 같은 영상 통신 방법이 스마트폰 등과 같은 개인 휴대 단말 장치에만 한정적으로 적용되는 것은 아니며, 2D 일반 카메라를 장착한 PC 등의 일반 단말에도 동일하게 적용될 수 있음은 당연하다.
상기와 같은 문제점을 해결하기 위해, 본 발명에서는, 스마트폰 등과 같은 개인 휴대 단말 장치의 전방 카메라 및 후방 카메라를 동시에 활용하는 영상 통신 방법을 제안함으로써, 당사자들 사이의 몰입도 향상을 이룰 수 있도록 하기 위한 새로운 영상 통신 방법을 제공하고자 한다.
다시 말해, 본 발명은, 영상 대화에 참여한 사용자들 각각의 배경 화면 대신, 일 사용자의 후방 카메라 영상을 공통의 배경으로 설정함으로써, 대화의 몰입도 및 현장감 등을 향상시킨 영상 통신 방법을 제공한다.
참고로, 이와 같은 영상 통신 방법이 스마트폰 등과 같은 개인 휴대 단말 장치에만 한정적으로 적용되는 것은 아니며, 2D 일반 카메라를 장착한 PC 등의 일반 단말에도 동일하게 적용될 수 있음은 당연하다.
상기와 같은 본 발명에 따르면, 가령, 오프라인 쇼핑 중 구매 상품의 선택을 위해 지인 등의 의견을 구하고자 하는 경우, 대상 상품을 스마트폰의 후방 카메라를 이용하여 촬영하면서 지인들을 초대하면, 영상 대화를 통하여 실시간 지인의 조언을 참고하면서, 만족스러운 구매 행위를 이룰 수 있도록 한다는 등의 장점을 제공한다(도 3 참고).
또한, 화재 등의 재난 현장에서 현장 요원이 실시간 재난 현장을 촬영하면서 본부 및 전문가의 조언을 통해 신속하게 현장 문제를 해결해 나갈 수 있다는 등의 장점을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 통신 방법에 적용되는 사용자 단말의 내부 구성을 나타낸 설명도 이다.
도 2는 본 발명의 일 실시예에 따른 영상 통신 방법에 적용되는 MPS(Media Processing Server)의 내부 구성을 나타낸 설명도 이다.
도 3은 본 발명의 일 실시예에 따른 영상 통신 방법을 통한 넥타이 쇼핑 과정을 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따른 영상 통신 방법을 설명하기 위한 순서도이다.
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 구체적인 실시예가 설명된다. 그러나 이는 본 발명을 특정한 실시 형태에 대하여 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 대체물을 포함하는 것으로 이해되어야 한다.
명세서 전체에 걸쳐 유사한 구성 및 동작을 갖는 부분에 대해서는 동일한 도면 부호를 붙였다. 그리고 본 발명에 첨부된 도면은 설명의 편의를 위한 것으로서, 그 형상과 상대적인 척도는 과장되거나 생략될 수 있다.
실시예를 구체적으로 설명함에 있어서, 중복되는 설명이나 당해 분야에서 자명한 기술에 대한 설명은 생략되었다. 또한, 이하의 설명에서 어떤 부분이 다른 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 기재된 구성요소 외에 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "~부", "~기", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 어떤 부분이 다른 부분과 전기적으로 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라 그 중간에 다른 구성을 사이에 두고 연결되어 있는 경우도 포함한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
먼저, 도 1 내지 도 3을 이용해 본 발명에 따른 영상 통신 방법의 장치적 구성 및 적용 예 등을 설명할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 영상 통신 방법에 적용되는 사용자 단말의 내부 구성을 나타낸 설명도이고, 도 2는 MPS(Media Processing Server)의 내부 구성을 나타낸 설명도 이며, 도 3은 넥타이 쇼핑을 위해 본 발명의 일 실시예에 따른 영상 통신 방법을 적용한 경우를 나타낸 예시도이다.
도 1을 참조하면, 사용자 단말(200)은 UI(User Interface)부(10), 카메라 제어부(20), 주소 제어부(30), 미디어 제어부(40), 권한 제어부(50) 및 송수신 제어부(60) 등을 포함할 수 있다. 또한 도 2를 참조하면, MPS(400)는 미디어 전처리 모듈(100), 레이아웃 제어 모듈(110), 믹싱(mixing) 모듈(120), 인코딩(encoding) 모듈(130) 및 송수신 모듈(140) 등을 포함함을 확인할 수 있다.
메인 단말인 단말 A(200)에서 2개의 카메라를 이용한 영상 통신 방법의 실행을 위한 어플리케이션이 구동되면, 카메라 제어부(20)에 의해 전방 카메라로부터 사용자 영상(205)을 획득한 후, 해당 영상의 배경을 단일의 색상으로 변경 구성한다.
이때, 획득된 영상의 배경 제거를 위해서는 2D Background Removing 방식 등이 적용될 수 있다.
동영상의 실시간 배경 제거 기술은 3D 깊이 카메라(Depth Camera)의 IR 센서에 의한 깊이 정보를 이용하여 사용자의 배경을 제거함으로써 사용자 영상(User Segmentation)을 획득하는 방식이 게임 등의 다양한 UI(User Interface) 구현에 이용되어 왔다. 하지만 머신 런닝(Machine Learning)의 급속한 발전으로 3D 깊이 카메라 없이도 일반적인 2D 카메라(웹 카메라 등)를 이용하여 실시간 사용자 영상을 획득할 수 있는 기술이 상용화에 이르렀으며, 이의 대표적인 기술이 2D Background Removing 방식이다.
배경이 제거된 사용자 영상(User Segmentation)의 추출이 완료되면 이를 MPS(Media Processing Server, 400)로 전송할 수 있도록 단일 색 배경을 채워 전송 영상(210)을 구성한다. 이후, 이렇게 구성된 전송 영상을 인코딩(Encoding) 한 후 MPS(400)로 전송하고 동시에 후방 카메라를 통하여 획득된 영상(220)을 화면에 표시함과 동시에 인코딩하여 MPS(400)로 전송한다.
즉, 도 3을 참고하면, 전방 카메라의 사용자 영상(205)으로부터 배경이 제거된 후 단일 색상의 배경이 채워진 전송 영상(210)과, 후방 카메라로부터 획득되는 쇼핑 대상 넥타이 영상(220)을 확인할 수 있다.
단말 A의 UI부(10)를 통해, 영상 대화에 초대하고자 하는 사람 목록이 주소록 제어부(30)로부터 선택되면, 선택된 해당 사용자의 단말기(단말 B(300))에 통상의 호출(Calling) 신호 또는 초대 메시지 등의 송신이 이루어진다. 이와 같은 호출이나 메시지의 송신이, SIP 또는 H.323 및 그 밖의 통신 프로토콜(Protocol) 그리고 초대 메시지 송수신 등에 관한 일반적인 방식에 따라 이루어질 수 있음은 당연하다.
단말 B(300)의 사용자가 호출 시그널 또는 초대 메시지를 수신한 후 수신 허용 또는 초대 메시지 등을 클릭하면 영상 통신 방법의 실행을 위한 어플리케이션이 구동되고, 카메라 제어부(20)에 의해 앞서 단말 A에 대해 설명한 방식과 마찬가지로, 전방 카메라로부터 획득된 영상의 배경이 제거된 후 단일 색으로 채워진 전송 영상(310)이 구성된다.
이렇게 구성된 전송 영상(310)은 인코딩되어 MPS(400)로 전송된다.
MPS(400)는, 단말 A(200)로부터 수신된 후방 카메라 영상(220)에 대해서는 별도의 처리 없이 단말 B(300)로 전송한다. 하지만, 단말 A(200)와 단말 B(300)로부터 수신된 전송 영상 (210, 310)은 디코딩 및 리사이징 등의 처리를 위한 미디어 전처리 모듈(100)과 영상 배치를 위한 레이아웃 모듈(110)을 거쳐 믹싱 모듈(120)에서 영상 믹싱을 수행한 다음, 인코딩 모듈(130)에 의해 믹싱 영상(430)을 인코딩 처리한 후 송수신 모듈(140)을 통해 접속된 단말 A(200)와 단말 B(300)에 각각 전송한다.
이때 대규모 접속 단말들을 원활하게 지원하기 위하여 데이터 전담 전송 서버 등이 구비될 수 있으며, 이 경우에는 데이터 전담 전송 서버를 통해 믹싱 영상이 각각의 단말에 전송될 수 있다.
이어서, 단말 A(200)는 송수신 제어부(60)에 의해 MPS(400)로부터 수신한 믹싱 영상(430)에 대해, 미디어 제어부(40)를 통해 단일 색 배경을 제거한 영상을, 후방 카메라에 의하여 표시되고 있는 영상(220) 위에 오버레이로 표시함으로써, 후방 카메라 배경 속에서 단말 A(200) 및 단말 B(300)의 사용자가 영상 대화를 할 수 있도록 하기 위한 최종 영상(450)을 구성하게 된다.
이때, 단말 A는 최종 영상(450) 내의 자신의 영상이 서버를 통하여 다양한 미디어 처리 후 도달되는 영상임으로 발생되는 영상 표출 지연이 부자연스럽게 느껴질 수 있다. 따라서, 단말 A(200)는 미디어 제어부(40)를 통해 MPS(400)로부터 수신된 믹싱 영상(430)에서 자신의 영상을 제거하고, 전방 카메라로부터 획득되는 실시간 영상을 직접 2D Background Removing 기술에 의해 배경 제거된 영상으로 변환하여 대신 표시함으로써 부자연스러움을 극복하는 것도 가능하다.
단말 B(300)는 송수신 제어부(60)에 의하여 MPS(400)로부터 수신한 영상(420)을 렌더링(Rendering)하고, 그 위에 MPS(400)로부터 수신한 믹싱 영상(430)을 단말 A(200)와 같이 단일 색 배경을 제거한 영상을 오버레이로 표시함으로써 단말 A(200)의 후방 카메라 영상의 배경 속에서 단말 A(200)와 영상 대화를 할 수 있게 된다.
여기서, 단말 B(300)역시 단말 A(200)와 마찬가지로 MPS(400)로부터 수신된 믹싱 영상(430)에서 자신의 영상을 제거하고 직접 전방 카메라부터 2D Background Removing 기술에 의하여 배경 제거된 자신의 영상을 대신 표시함으로써 부자연스러움을 극복할 수 있음은 전술한 바와 같다.
또한 MPS(400)에서 송출하는 영상(420, 430)이 각각 송출됨에 따른 네트워크 대역폭의 감소를 위해 단말 A(200)에서 합성 영상(230)을 구성할 수 있다.
즉, 후방 카메라 영상 위에 배경이 제거된 자신의 사용자 영상(User Segmentation)을 합성 후 인코딩하여 MPS(400)로 송신하고, MPS(400)는 단말 B(300)의 영상(310)을 수신 받은 후 단일 색 배경을 제거하고 단말 A(200)의 합성 영상(230)과 다시 합성한 최종 영상(440)을 구성하여 이를 각각의 단말에 송출할 수 도 있다.
하지만, 이는 배경 화면이 후방 카메라에 의해 촬영되고 있는 동영상이 아니라 사진인 경우, MPS(400)가 사진을 포함하여 인코딩 후 동영상으로 송출하게 됨으로써, 네트워크 트래픽 발생량이 사진만 송출하고 그 위에 단일 색 배경이 제거된 영상을 표출하는 방식보다 크고, 또한, MPS(400)의 미디어 처리에 따른 CPU 부담이 발생하기 때문에 전자의 방식보다 더 효율적인 방식이라 보기에는 어려움이 있다.
도 4는 본 발명의 일 실시예에 따른 영상 통신 방법을 설명하기 위한 순서도이다.
도 4를 참조하여 본 발명의 영상 통신 방법을 전체적으로 설명하면 다음과 같다.
먼저 메인 단말인 단말 A의 관점에서 살펴보면, 단말 A에서 어플리케이션이 구동됨으로써 후방 카메라가 온(on)되고, 후방 카메라 영상의 렌더링이 이루어진다. 또한 전방 카메라가 온 되어 이로부터 사용자의 2D 영상 획득이 이루어진다.
획득된 사용자 영상은 2D Background Removing 기술 등에 의해 배경이 제거된 상태에서 단일 색 배경이 채워지게 되며, 이어 사용자가 1 이상의 영상 대화 상대를 선택하면 해당 사용자의 단말에 호출이나 메시지 송신 등이 이루어지게 된다.
이어서, 초대된 사용자의 대화 참여가 확인되면, 후방 카메라 영상 및 사용자 영상을 미디어 전담 처리 시스템(MPS)으로 송신하게 되며, MPS로부터 전송 받은 배경 영상과 타 사용자의 합성 영상 상에 자신의 영상에서 배경 색이 제거된 영상을 오버레이(overlay) 시킨 후 영상 대화를 시작하게 된다.
이때, 단말 B는, 단말 A로부터 호출 또는 초대 메시지 등을 수신 받고 그에 대응하여 대화 참여를 선택하게 되면, 어플리케이션이 구동됨으로써 전방 카메라가 온 되어 사용자의 2D 영상을 획득하게 된다.
획득된 사용자 영상은 배경이 제거된 후 단일 색 배경 처리되며, 이러한 영상은 MPS로 전송된다.
이어서, MPS로부터 단말 A의 후방 카메라 영상과 단말 A와 B 사용자의 영상이 합성된 단일 배경 영상이 수신되면, 단일 A의 후방 카메라 영상을 렌더링하고 그 위에 상기 사용자 합성 영상의 단일 색 배경을 제거한 후 그 영상을 오버레이 시킨 후 영상 대화를 시작하게 된다.
여기서, 단말 A가, 후방 카메라 영상 위에 배경이 제거된 자신의 사용자 영상을 합성한 상태에서 이를 인코딩 하여 MPS로 송신하고, MPS는 단말 B의 영상을 수신 받은 후 단일 색 배경을 제거하고 단말 A의 합성 영상과 다시 합성한 최종 영상을 구성하여 이를 각각의 단말에 송출하도록 구성될 수 있음에 대해서는 앞서 설명한 바 있다.
위에서 개시된 발명은 기본적인 사상을 훼손하지 않는 범위 내에서 다양한 변형예가 가능하다. 즉, 위의 실시예들은 모두 예시적으로 해석되어야 하며, 한정적으로 해석되지 않는다. 따라서 본 발명의 보호범위는 상술한 실시예가 아니라 첨부된 청구항에 따라 정해져야 하며, 첨부된 청구항에 한정된 구성요소를 균등물로 치환한 경우 이는 본 발명의 보호범위에 속하는 것으로 보아야 한다.
본 발명은 오프라인 쇼핑시 지인 등의 의견을 구하고자 하는 경우, 대상 상품을 스마트폰의 후방 카메라를 이용하여 지인들을 초대하여 영상 대화를 통하여 실시간 지인의 조언을 참고하면서, 만족스러운 구매 행위를 이룰 수 있는데 이용될 수 있다.
또한, 화재 등의 재난 현장에서 현장 요원이 실시간 재난 현장을 촬영하면서 본부 및 전문가의 조언을 통해 신속하게 현장 문제를 해결하는데 이용될수있다.

Claims (8)

  1. 전방 및 후방 카메라를 구비하는 메인 단말기와 1 이상의 서브 단말기 사이의 영상 통신 방법에 있어서,
    메인 단말기의 후방 카메라로부터 배경 영상이 획득되고, 전방 카메라로부터 제1 사용자 영상이 획득되는 제1 단계;
    상기 제1 사용자 영상의 배경을 제거하고 단일 색 배경 처리하는 제2단계;
    영상 대화 상대를 선택하고 호출하는 제3단계;
    상기 호출된 대화 상대의 대화 참여가 확인되면, 상기 제1단계의 배경 영상 및 상기 제2 단계의 제1 사용자 영상을 서버로 송신하는 제4 단계;
    상기 서버에 의해 상기 제4단계의 송신 영상 및 상기 서브 단말기로부터 전송되는 1 이상의 제2 사용자 영상에 대한 영상 처리가 수행되는 제5 단계;
    상기 제5단계의 영상 처리가 수행된 영상이 상기 메인 단말기 및 상기 서브 단말기로 각각 전송되는 제6 단계; 및
    상기 제6단계의 전송 영상에 대해, 상기 각각의 메인 단말기 및 서브 단말기는, 오버레이(overlay) 방식을 통하여 영상 표시를 수행시키는 제7단계; 를 포함하되,
    상기 제1 및 제2 사용자 영상의 크기는 상기 배경 영상의 1/3 이하이고,
    상기 제5단계는 상기 제4단계의 송신 영상 중 「단일 색 배경 처리된 상기 제1 사용자 영상」과 「단일 색 배경 처리된 상기 제2 사용자 영상」을 믹싱하여 믹싱 영상을 생성하는 과정을 포함하며,
    상기 제6단계는 상기 배경 영상은 상기 서브 단말기에 전송하고, 상기 믹싱 영상은 상기 메인 단말기 및 상기 서브 단말기에 전송하는 과정을 포함하며,
    상기 제7단계는 상기 메인 단말기는 상기 후방 카메라를 통하여 획득한 상기 배경 영상 위에 상기 믹싱 영상을 오버레이하고, 상기 서브 단말기는 상기 서버로부터 수신한 상기 배경 영상 위에 상기 믹싱 영상을 오버레이하는 과정을 포함하는 것을 특징으로 하는 영상 통신 방법.
  2. 제1항에 있어서,
    상기 제5 단계의 상기 제2 사용자 영상은, 상기 서브 단말기로부터 획득된 사용자 영상의 배경을 제거하고 단일 색 배경 처리하여 얻어지는 영상인 것을 특징으로 하는 영상 통신 방법.
  3. 제1항에 있어서,
    상기 제6 단계의 영상 처리가 수행된 영상이 상기 메인 단말기 및 상기 서브 단말기로 각각 전송되는 과정은 데이터 전담 전송 서버를 통해 이루어지는 것을 특징으로 하는 영상 통신 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제1 사용자 영상 및 제2 사용자 영상의 배경 제거는 2D 배경 제거(2D Background Removing) 기술에 의해 이루어지는 것을 특징으로 하는 영상 통신 방법.
  5. 상용 이동통신 환경에서, 전방 및 후방 카메라를 구비하는 메인 단말기와 1 이상의 서브 단말기 사이의 영상 통신 방법에 있어서,
    메인 단말기의 후방 카메라로부터 배경 영상이 획득되고, 전방 카메라로부터 제1 사용자 영상이 획득되는 제1 단계;
    상기 제1 사용자 영상의 배경을 제거하고 단일 색 배경 처리하는 제2 단계;
    영상 대화 상대를 선택하고 호출하는 제3 단계;
    상기 호출된 대화 상대의 대화 참여가 확인되면, 상기 제1 단계의 배경 영상과 상기 제2 단계를 통해 단일 색 배경 처리된 제1 사용자 영상을 각각 인코딩하여 서버로 송신하는 제4 단계;
    상기 서버에 의해 상기 제4 단계의 송신 영상 및 상기 서브 단말기로부터 전송되는 1 이상의 제2 사용자 영상에 대한 영상 처리가 수행되는 제5 단계;
    상기 제5 단계의 영상 처리가 수행된 영상이 상기 메인 단말기 및 상기 서브 단말기로 각각 전송되는 제6 단계; 및
    상기 제6 단계의 전송 영상에 대해, 상기 각각의 메인 단말기 및 서브 단말기는, 오버레이(overlay) 방식을 통하여 영상 표시를 수행시키는 제7 단계; 를 포함하되,
    상기 제1 및 제2 사용자 영상의 크기는 상기 배경 영상의 1/3이고,
    상기 제 5단계는 상기 제4단계의 송신 영상 중 「단일 색 배경 처리된 상기 제1 사용자 영상」과 「단일 색 배경 처리된 상기 제2 사용자 영상」을 믹싱하여 믹싱 영상을 생성하는 과정을 포함하며,
    상기 제 6 단계는 상기 배경 영상은 상기 서브 단말기에 전송하고, 상기 믹싱 영상은 상기 메인 단말기 및 상기 서브 단말기에 전송하는 과정을 포함하며,
    상기 제 7 단계는 상기 메인 단말기는 상기 후방 카메라를 통하여 획득한 상기 배경 영상 위에 상기 믹싱 영상을 오버레이하고, 상기 서브 단말기는 상기 서버로부터 수신한 상기 배경 영상 위에 상기 믹싱 영상을 오버레이하는 과정을 포함하는 것을 특징으로 하는 영상 통신 방법.
  6. 제5항에 있어서,
    상기 제5 단계의 상기 제2 사용자 영상은, 상기 서브 단말기로부터 획득된 사용자 영상의 배경을 제거하고 단일 색 배경 처리하여 얻어지는 영상인 것을 특징으로 하는 영상 통신 방법.
  7. 제5항에 있어서,
    상기 제6 단계의 영상 처리가 수행된 영상이 상기 메인 단말기 및 상기 서브 단말기로 각각 전송되는 과정은 데이터 전담 전송 서버를 통해 이루어지는 것을 특징으로 하는 영상 통신 방법.
  8. 제5항 내지 제7항 중 어느 한 항에 있어서,
    상기 제1 사용자 영상 및 제2 사용자 영상의 배경 제거는 2D 배경 제거(2D Background Removing) 기술에 의해 이루어지는 것을 특징으로 하는 영상 통신 방법.
PCT/KR2017/015444 2016-12-27 2017-12-26 영상 통신 방법 WO2018124680A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0180029 2016-12-27
KR1020160180029A KR101800979B1 (ko) 2016-12-27 2016-12-27 영상 통신 방법

Publications (1)

Publication Number Publication Date
WO2018124680A1 true WO2018124680A1 (ko) 2018-07-05

Family

ID=60809539

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/015444 WO2018124680A1 (ko) 2016-12-27 2017-12-26 영상 통신 방법

Country Status (2)

Country Link
KR (1) KR101800979B1 (ko)
WO (1) WO2018124680A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542607A (zh) * 2021-07-15 2021-10-22 北京金和网络股份有限公司 一种异地同屏拍照系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050021688A (ko) * 2003-08-25 2005-03-07 삼성전자주식회사 양방향 카메라를 구비한 휴대 단말기에서 영상데이터표시방법
KR20090010674A (ko) * 2007-07-24 2009-01-30 주식회사 엘지텔레콤 영상 통화를 위한 휴대 단말기 및 상기 휴대 단말기의 영상통화 처리 방법
KR20090022137A (ko) * 2007-08-29 2009-03-04 엘지전자 주식회사 다자 영상 통화 기능을 제공하는 이동 통신 단말기 및 다자영상 통화의 모드 전환 방법
KR20110026783A (ko) * 2009-09-08 2011-03-16 주식회사 팬택 듀얼 카메라를 지원하는 이동 단말 및 그 이동 단말의 이미지 처리 방법
KR101577986B1 (ko) * 2015-03-24 2015-12-16 (주)해든브릿지 양방향 가상 현실 구현 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050021688A (ko) * 2003-08-25 2005-03-07 삼성전자주식회사 양방향 카메라를 구비한 휴대 단말기에서 영상데이터표시방법
KR20090010674A (ko) * 2007-07-24 2009-01-30 주식회사 엘지텔레콤 영상 통화를 위한 휴대 단말기 및 상기 휴대 단말기의 영상통화 처리 방법
KR20090022137A (ko) * 2007-08-29 2009-03-04 엘지전자 주식회사 다자 영상 통화 기능을 제공하는 이동 통신 단말기 및 다자영상 통화의 모드 전환 방법
KR20110026783A (ko) * 2009-09-08 2011-03-16 주식회사 팬택 듀얼 카메라를 지원하는 이동 단말 및 그 이동 단말의 이미지 처리 방법
KR101577986B1 (ko) * 2015-03-24 2015-12-16 (주)해든브릿지 양방향 가상 현실 구현 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542607A (zh) * 2021-07-15 2021-10-22 北京金和网络股份有限公司 一种异地同屏拍照系统

Also Published As

Publication number Publication date
KR101800979B1 (ko) 2017-11-23

Similar Documents

Publication Publication Date Title
US11089266B2 (en) Communication processing method, terminal, and storage medium
WO2017222258A1 (ko) 3d 깊이 카메라를 이용한 다자간 영상 대화 시스템 및 방법
CN102761702B (zh) 用于移动通信设备中的图像重叠的方法以及成像系统
US7542068B2 (en) Method and system for controlling multimedia video communication
WO2016153161A1 (ko) 양방향 가상현실 구현 시스템
EP3002905B1 (en) Unified communication-based video conference call method, device and system
CN101939989B (zh) 虚拟桌子
CN107357585B (zh) 视频获取方法、装置、视频设备及存储介质
WO2010033036A1 (en) A control system for a local telepresence videoconferencing system and a method for establishing a video conference call
US20170237941A1 (en) Realistic viewing and interaction with remote objects or persons during telepresence videoconferencing
CN108933913A (zh) 一种视频会议实现方法、装置、系统及计算机存储介质
CN101395912A (zh) 用于显示位置之间的视频会议中的参与者的系统和方法
CN103597468A (zh) 用于视频通信系统中改进的交互式内容共享的系统和方法
CN111107301A (zh) 一种视频会议平台及基于视频会议平台的通讯方法
CN105306872A (zh) 控制多点视频会议的方法、装置和系统
WO2018124680A1 (ko) 영상 통신 방법
US8199184B2 (en) Visually enhancing a conference
JP4347742B2 (ja) 映像送信装置，映像通信システム，映像送信方法，映像通信方法および映像送信プログラム
CN114915852B (zh) 视频通话交互方法、装置、计算机设备和存储介质
WO2021147749A1 (zh) 实现3d显示的方法、装置及3d显示系统
CN113726534A (zh) 会议控制方法、装置、电子设备及存储介质
WO2013060295A1 (zh) 一种视频处理方法和系统
EP3641302A1 (en) Video conference server capable of providing multi-screen video conference by using plurality of terminals for video conference, and method therefor
JPH04159890A (ja) テレビ電話のウインドウ画面通信方式並びに画像送信装置及び受信装置
KR20180092469A (ko) 3d카메라와 웹 실시간 통신을 이용한 실시간 프레젠테이션 방송 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17886618

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17886618

Country of ref document: EP

Kind code of ref document: A1