WO2013115541A1 - 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법 - Google Patents

단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법 Download PDF

Info

Publication number
WO2013115541A1
WO2013115541A1 PCT/KR2013/000703 KR2013000703W WO2013115541A1 WO 2013115541 A1 WO2013115541 A1 WO 2013115541A1 KR 2013000703 W KR2013000703 W KR 2013000703W WO 2013115541 A1 WO2013115541 A1 WO 2013115541A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
image
video call
control server
posture
Prior art date
Application number
PCT/KR2013/000703
Other languages
English (en)
French (fr)
Inventor
김창호
임현철
양재호
윤희태
문정환
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120135149A external-priority patent/KR101965310B1/ko
Priority claimed from KR1020130009383A external-priority patent/KR101293063B1/ko
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to CN201380007775.5A priority Critical patent/CN104094593B/zh
Priority to EP13743668.9A priority patent/EP2811739B1/en
Priority to US14/122,912 priority patent/US9307194B2/en
Publication of WO2013115541A1 publication Critical patent/WO2013115541A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3252—Image capture parameters, e.g. resolution, illumination conditions, orientation of the image capture device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법이 개시된다. 본 발명의 일 실시예에 따른 영상 통화 시스템은, 영상 통화 사용자를 촬영한 영상을 전송하는 단말기; 및 하나 이상의 단말기가 전송하는 영상들을 합성한 합성 영상을 형성하고, 상기 합성 영상을 상기 단말기로 전송하는 영상 통화 제어 서버를 포함하되, 상기 각 영상들은 상기 단말기에서 감지된 자세 정보에 따라 회전되어 상기 합성 영상으로 합성되도록 구성된다.

Description

단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법
본 발명의 실시예는 영상 통화 기술에 관한 것으로서, 보다 상세하게는 각 사용자들이 기준 자세와 동일한 방향으로의 영상 화면을 볼 수 있도록 하는 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법에 관한 것이다.
최근, 정보 통신 기술이 발달하면서 휴대 단말기를 통해 음성 통화뿐만 아니라 영상 통화도 가능하게 되었다. 영상 통화 서비스는 휴대 단말기에 부착된 카메라를 통해 자신의 영상을 촬영한 후, 상대편 휴대 단말기로 각각 전송하여 상호 간에 상대방의 얼굴을 보면서 통화를 할 수 있는 서비스이다.
영상 통화 서비스는 발신자와 착신자간의 일대일 영상 통화와 다자간의 영상 통화로 분류할 수 있다. 여기서, 다자간의 영상 통화는 주로 MCU(Multipoint Control Unit)라고 하는 제어 장치를 통해 이루어졌다. MCU는 각 휴대 단말기가 전송하는 음성 및 영상을 수신하고, 복수 개의 음성 및 영상을 각각 하나의 음성 및 영상으로 합성한 후, 각 휴대 단말기로 전송해주는 장치를 말한다.
도 1은 종래의 MCU(Multipoint Control Unit)를 이용한 영상 통화 시스템을 나타낸 도면이다.
도 1을 참조하면, 종래의 영상 통화 시스템에서, MCU(20)는 각 휴대 단말기(11, 12, 13, 14)가 전송하는 영상(a, b, c, d)들을 그대로 합성한 후, 합성된 영상(I)을 각 휴대 단말기(11, 12, 13, 14)로 전달하였기 때문에, 각 휴대 단말기(11, 12, 13, 14)의 촬영 시 자세에 따라 합성된 영상(I) 내의 영상(a, b, c, d)들이 서로 다른 자세를 가질 수 있게 된다.
예를 들어, 휴대 단말기(11) 및 휴대 단말기(14)는 기준 자세에서 시계 방향으로 90도 각도로 회전된 상태에서 촬영하고, 휴대 단말기(12) 및 휴대 단말기(13)는 기준 자세에서 촬영한 경우, 휴대 단말기(11) 및 휴대 단말기(14)가 촬영한 영상(a) 및 영상(d)은 MCU(20)에서 각각 반시계 방향으로 90도 각도로 회전된 자세로 합성되고, 휴대 단말기(12) 및 휴대 단말기(13)가 촬영한 영상(b) 및 영상(c)은 MCU(20)에서 기준 자세로 합성되게 된다.
이 경우, 각 휴대 단말기(11, 12, 13, 14)의 사용자가 합성된 영상(I)을 보게 되면, 합성된 영상(I)내에서 영상(a) 및 영상(d)가 반시계 방향으로 90도 누운 상태로 보이기 때문에, 영상 통화 시 이질감을 느끼고 화면을 보는데 불편함이 있게 된다.
본 발명의 실시예들은 단말기가 회전되더라도 각 영상 통화 사용자들이 촬영 영상 내에서 기준 방향을 유지하면서 촬영 영상 내에 표시되도록 하는 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법을 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 영상 통화 시스템은, 영상 통화 사용자를 촬영한 영상을 전송하는 단말기; 및 하나 이상의 단말기가 전송하는 영상들을 합성한 합성 영상을 형성하고, 상기 합성 영상을 상기 단말기로 전송하는 영상 통화 제어 서버를 포함하되, 상기 각 영상들은 상기 단말기에서 감지된 자세 정보에 따라 회전되어 상기 합성 영상으로 합성되도록 구성된다.
본 발명의 일 실시예에 따른 영상 통화 방법은, 단말기에서, 영상 통화 사용자를 촬영한 영상을 전송하는 단계; 영상 통화 제어 서버에서, 하나 이상의 단말기가 전송하는 영상들을 합성한 합성 영상을 형성하는 단계; 및 상기 영상 통화 제어 서버에서, 상기 합성 영상을 상기 단말기로 전송하는 단계를 포함하되, 상기 합성 영상을 구성하는 각 영상들은, 상기 단말기에서 감지된 자세 정보에 따라 회전되어 합성된다.
한편, 본 발명의 일 실시예에 따른 영상 통화 제어 서버는, 하나 이상의 단말기로부터 각 단말기의 자세 정보 및 해당 사용자를 촬영한 영상을 수신하는 통신부, 상기 통신부가 수신한 영상들 중 상기 자세 정보에 따라 기준 자세로의 회전이 필요한 영상을 기준 자세로 회전시키는 영상 회전부, 및 상기 통신부가 수신한 영상들 중 상기 기준 자세로의 회전이 필요 없는 영상 및 상기 통신부가 수신한 영상들 중 상기 영상 회전부에 의해 상기 기준 자세로 회전된 영상들을 합성하여 합성 영상을 형성하는 합성 영상 형성부를 포함하며, 상기 통신부는, 상기 합성 영상을 상기 각 단말기로 각각 전송한다.
한편, 본 발명의 다른 실시예에 따른 영상 통화 제어 서버는, 하나 이상의 단말기로부터 영상 통화 사용자를 촬영한 영상을 수신하는 통신부, 상기 수신된 영상으로부터 각 단말기의 화면 모드를 검출하는 영상 분석부, 및 상기 수신된 영상들을 검출된 상기 각 단말기의 화면 모드에 따라 합성하여 합성 영상을 형성하는 합성 영상 형성부를 포함하며, 상기 통신부는, 상기 합성 영상을 해당 단말기로 전송한다.
한편, 본 발명의 일 실시예에 따른 단말기는, 영상 통화 사용자를 촬영하는 촬영부, 상기 단말기의 기 설정된 기준 자세로부터의 회전된 상태를 감지하는 자세 정보 감지부, 상기 회전된 상태에 따라 상기 촬영부가 촬영한 영상을 회전시키는 영상 회전부, 및 상기 촬영부가 촬영한 영상 또는 상기 영상 회전부가 회전시킨 영상을 전송하는 영상 통화부를 포함한다.
본 발명의 실시예들에 따를 경우, 각 단말기가 서로 다른 자세에서 사용자를 촬영하여 영상 통화를 수행하더라도 영상 통화 제어 서버로부터 각 영상 내의 영상 통화 사용자들이 기준 방향으로 표시된 합성 영상을 수신할 수 있게 된다. 이 경우, 각 단말기의 사용자들은 다른 사용자들의 영상이 회전된 상태로 보이는 것에 따른 이질감 및 불편함이 없이 영상 통화를 수행할 수 있게 된다.
도 1은 종래의 MCU(Multipoint Control Unit)를 이용한 영상 통화 시스템을 나타낸 도면이다.
도 2는 본 발명의 제1실시예에 따른 영상 통화 시스템을 나타낸 도면이다.
도 3은 본 발명의 제1실시예에 따른 단말기의 기준 자세로부터의 회전된 상태를 나타낸 도면이다.
도 4는 본 발명의 제1실시예에 따른 영상 통화 시스템에서, 영상 통화 제어 서버가 각 단말기로부터 전송된 자세 정보를 이용하여 영상을 회전시킨 후, 합성 영상을 형성하는 상태를 나타낸 도면이다.
도 5는 본 발명의 제1실시예에 따른 영상 통화 제어 서버의 구성을 나타낸 도면이다.
도 6은 본 발명의 제1실시예에 따른 영상 통화 방법을 나타낸 순서도이다.
도 7은 본 발명의 제2실시예에 따른 영상 통화 시스템을 나타낸 도면이다.
도 8은 본 발명의 제2실시예에 따른 단말기가 기준 자세에서 시계 방향으로 90도씩 회전된 상태 및 기준 자세에서 회전된 상태에 따라 촬영 영상을 회전한 상태를 나타낸 도면이다.
도 9는 본 발명의 제2실시예에 따른 영상 통화 제어 서버가 각 단말기로부터 전송된 영상으로 합성 영상을 형성하는 상태를 나타낸 도면이다.
도 10은 본 발명의 제2실시예에 따른 단말기의 구성을 나타낸 도면이다.
도 11은 본 발명의 제2실시예에 따른 영상 통화 제어 서버의 구성을 나타낸 도면이다.
도 12는 본 발명의 제2실시예에 따른 영상 통화 방법을 나타낸 순서도이다.
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하의 실시예는 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
본 발명의 실시예에 따른 영상 통화 시스템은, 영상 통화 사용자를 촬영한 영상을 전송하는 단말기, 및 하나 이상의 단말기가 전송하는 영상들을 합성한 합성 영상을 형성하고, 상기 합성 영상을 상기 단말기로 전송하는 영상 통화 제어 서버를 포함한다. 이때 상기 각 영상들은, 상기 단말기에서 감지된 자세 정보에 따라 회전되어 상기 합성 영상으로 합성된다.
일 실시예에서 상기 단말기는, 상기 자세 정보를 상기 영상 통화 제어 서버로 송신하도록 구성될 수 있다. 이 경우 상기 영상 통화 제어 서버는 수신된 상기 자세 정보에 따라 상기 단말기로부터 수신된 영상을 기준 자세로 회전하고, 회전된 영상을 합성하여 상기 합성 영상을 형성할 수 있다.
상기 단말기는 상기 자세 정보와 함께 상기 단말기의 화면 비율 정보를 상기 영상 통화 제어 서버로 전송할 수 있다. 또한, 상기 단말기는 상기 자세 정보를 전송한 후 상기 단말기의 자세가 변경된 경우, 변경된 자세에 대응되는 자세 정보를 상기 영상 통화 제어 서버로 송신할 수 있다.
본 발명의 다른 실시예에서, 상기 단말기는 자세 정보를 감지하고, 감지된 상기 자세 정보에 따라 촬영된 영상을 기준 자세로 회전하여 상기 영상 통화 제어 서버로 송신할 수 있다. 또한, 상기 단말기는 상기 자세 정보를 전송한 후 상기 단말기의 자세가 변경된 경우, 변경된 자세에 대응되는 자세 정보에 따라 상기 촬영된 영상을 회전하여 상기 영상 통화 제어 서버로 송신할 수 있다.
이 경우 상기 영상 통화 제어 서버는, 상기 단말기가 전송하는 영상을 통해 상기 단말기의 화면 모드를 확인하고, 상기 화면 모드에 따라 상기 합성 영상을 형성하여 상기 단말기로 전송할 수 있다. 또한 상기 영상 통화 제어 서버는, 상기 단말기로부터 수신된 영상으로부터 상기 화면 모드와 함께 상기 단말기의 화면 비율을 확인하고, 상기 화면 모드 및 상기 화면 비율에 따라 상기 합성 영상을 형성하여 상기 단말기로 전송할 수 있다.
한편, 본 발명의 실시예들에 다른 영상 통화 방법은, 단말기에서 영상 통화 사용자를 촬영한 영상을 전송하는 단계, 영상 통화 제어 서버에서, 하나 이상의 단말기가 전송하는 영상들을 합성한 합성 영상을 형성하는 단계, 및 상기 영상 통화 제어 서버에서, 상기 합성 영상을 상기 단말기로 전송하는 단계를 포함하며, 상기 합성 영상을 구성하는 각 영상들은, 상기 단말기에서 감지된 자세 정보에 따라 회전되어 합성된다.
일 실시예에서, 상기 영상을 전송하는 단계는 상기 단말기의 자세 정보를 상기 영상 통화 제어 서버로 송신하는 단계를 더 포함할 수 있다. 이 경우 상기 합성 영상을 형성하는 단계는, 수신된 상기 자세 정보에 따라 상기 단말기로부터 수신된 영상을 기준 자세로 회전하고, 회전된 영상을 합성하여 상기 합성 영상을 형성할 수 있다.
또한 상기 영상을 전송하는 단계는, 상기 자세 정보와 함께 상기 단말기의 화면 비율 정보를 상기 영상 통화 제어 서버로 전송하는 단계를 더 포함할 수 있다.
한편, 상기 단말기는 상기 자세 정보를 전송한 후 상기 단말기의 자세가 변경된 경우, 변경된 자세에 대응되는 자세 정보를 상기 영상 통화 제어 서버로 송신할 수 있다.
본 발명의 다른 실시예에서, 상기 영상을 전송하는 단계는 상기 단말기의 자세 정보를 감지하는 단계, 및 감지된 상기 자세 정보에 따라 촬영된 영상을 기준 자세로 회전하여 상기 영상 통화 제어 서버로 송신하는 단계를 더 포함할 수 있다. 이 경우 상기 단말기는, 상기 자세 정보를 전송한 후 상기 단말기의 자세가 변경된 경우, 변경된 자세에 대응되는 자세 정보에 따라 상기 촬영된 영상을 회전하여 상기 영상 통화 제어 서버로 송신할 수 있다.
상기 합성 영상을 형성하는 단계는 상기 단말기가 전송하는 영상을 통해 상기 단말기의 화면 모드를 확인하는 단계, 및 상기 화면 모드에 따라 상기 합성 영상을 형성하는 단계를 더 포함할 수 있다. 또한 상기 합성 영상을 형성하는 단계는 상기 단말기로부터 수신된 영상으로부터 상기 화면 모드와 함께 상기 단말기의 화면 비율을 확인하는 단계, 및 상기 화면 모드 및 상기 화면 비율에 따라 상기 합성 영상을 형성하는 단계를 더 포함할 수 있다.
이하에서는 상기와 같이 구성되는 본 발명의 실시예들에 따른 영상 통화 시스템의 구체적 실시예를 설명한다.
도 2는 본 발명의 제1실시예에 따른 영상 통화 시스템을 나타낸 도면이다.
도 2를 참조하면, 본 실시예에 따른 영상 통화 시스템(200)은 복수 개의 단말기(202) 및 영상 통화 제어 서버(204)를 포함한다. 여기서는 단말기(202)가 4대인 것으로 도시하였으나, 이에 한정되는 것은 아니며 단말기(202)는 2대 이상의 단말기가 사용될 수 있다.
각 단말기(202)는 영상 통화 제어 서버(704)로 영상 통화 요청을 수행한다. 본 실시예 및 이하의 실시예들에서, 단말기(202)는 휴대 단말기, 고정 단말기, 무선 단말기, 유선 단말기 등 영상 통화가 가능한 모든 단말기를 포함할 수 있다. 예를 들어, 스마트폰 등의 휴대 전화, PDA, 태블릿, 랩탑 컴퓨터 또는 데스크탑 컴퓨터 등의 본 발명에서의 단말기가 될 수 잇다. 여기서는, 단말기(202)의 일 예로 휴대 전화 형태의 휴대 단말기를 도시하였으나, 이에 한정되는 것은 아니다.
각 단말기(202)는 영상 통화 제어 서버(204)로 영상 통화 요청을 수행하면서, 자신의 자세 정보를 영상 통화 제어 서버(204)로 전송한다. 여기서, 자세 정보란 해당 단말기(202)가 기준 자세로부터 얼마만큼 회전된 상태에 있는지를 나타내는 정보를 말한다.
도 3은 본 발명의 제1실시예에 따른 단말기의 기준 자세로부터의 회전된 상태를 나타낸 도면이다. 도 3을 참조하면, 각 단말기(202)는 예를 들어, 기준 자세로부터 시계 방향으로 90도 각도로 회전된 상태(다시 말하면, 기준 자세로부터 반시계 방향으로 270도 각도로 회전된 상태)(도 3의 a), 기준 자세로부터 시계 방향으로 180도 각도로 회전된 상태(기준 자세로부터 반시계 방향으로 180도 각도로 회전된 상태)(도 3의 b), 기준 자세로부터 시계 방향으로 270도 각도로 회전된 상태(기준 자세로부터 반시계 방향으로 90도 각도로 회전된 상태)(도 3의 c)에 있을 수 있게 된다.
여기서, 단말기(202)는 기준 자세로부터 90도 단위(즉, 0도, 90도, 180도, 270도)로 회전 상태가 변경되는데, 이는 사용자가 단말기(202)를 어느 정도로 회전시키는가에 따라 달라지게 된다. 또한, 사용자가 직접 손에 들고 사용하는 단말기(202)의 특성 상 정확한 각도로 단말기를 회전하는 것은 불가능하므로, 단말기(202)는 단말기의 회전 각도의 임계값을 미리 설정하여 두었다가 이에 따라 회전 상태를 변경할 수 있다. 예를 들어, 단말기(202)의 회전 각도가 -45도 이상 45도 미만인 경우 기준 상태, 46도 이상 135도 미만인 경우 시계 방향으로 90도 회전된 상태, 135도 이상 225도 미만인 경우 시계 방향으로 180도 회전된 상태, 225도 이상 315도 미만인 경우 시계 방향으로 275도 회전된 상태로 설정할 수 있다.
그리고, 단말기(202)의 기준 자세는 단말기(202)의 설정 및 통신사의 정책 등에 따라 달라질 수 있다. 예를 들어 단말기 화면이 가로로 놓인 상태를 기준 자세로 결정할 수도 있고, 세로로 놓인 상태를 기준 자세로 결정할 수도 있다.
이와 같이, 각 단말기(202)는 기준 자세로부터의 회전된 상태에 따라 자신의 자세 정보를 영상 통화 제어 서버(204)로 전송한다. 한편, 각 단말기(202)는 자신의 자세 정보를 영상 통화 제어 서버(204)로 전송한 후에 자신의 자세가 변경된 경우, 변경된 자세에 대응하는 자세 정보를 영상 통화 제어 서버(204)로 다시 전송해준다.
또한, 각 단말기(202)는 영상 통화 제어 서버(204)로 자신의 기준 화면 비율 정보를 전송할 수 있다. 여기서, 기준 화면 비율 정보란 기준 자세에서 해당 단말기(202) 화면의 가로 대 세로 비율을 나타내는 정보를 말한다. 예를 들어, 기준 자세에서 단말기(202) 화면의 가로 대 세로 비율은 4:3 또는 16:9 일 수 있으며, 각 단말기(202)는 이러한 기준 화면 비율 정보를 영상 통화 제어 서버(204)로 전송할 수 있다. 이때, 각 단말기(202)는 자신의 자세 정보 및 기준 화면 비율 정보를 SIP(Session Initiation Protocol) 메시지를 이용하여 전송할 수 있다.
각 단말기(202)는 사용자를 촬영한 영상을 영상 통화 제어 서버(204)로 전송한다. 이때, 촬영시의 각 단말기(202)의 자세에 따라 영상이 기준 자세에서 소정 각도로 회전되어 나타날 수 있다. 예를 들어, 사용자를 촬영할 때 단말기(202)가 기준 자세로부터 시계 방향으로 90도 각도로 회전된 상태에 있는 경우, 사용자를 촬영한 영상은 기준 자세로부터 반시계 방향으로 90도 각도로 회전된 상태로 나타나게 된다.
영상 통화 제어 서버(204)는 각 단말기(202)로부터 전송된 영상이 기준 자세로부터 소정 각도로 회전된 상태에 있는 경우, 해당 영상을 다시 기준 자세가 되도록 회전시킨 후, 각 영상을 합성하여 하나의 합성 영상을 형성한다.
구체적으로, 영상 통화 제어 서버(204)는 각 단말기(202)로부터 전송된 자세 정보를 통해 각 단말기(202)가 전송한 영상이 기준 자세로부터 소정 각도로 회전되어 있는지 여부를 확인할 수 있다. 이때, 소정 단말기(202)가 전송한 영상이 기준 자세로부터 소정 각도로 회전되어 있다면, 영상 통화 제어 서버(204)는 해당 영상을 기준 자세가 되도록 다시 회전시킨다. 예를 들어, 소정 단말기(202)가 전송한 영상이 기준 자세로부터 반시계 방향으로 90도 각도로 회전되어 있는 경우, 영상 통화 제어 서버(204)는 해당 영상을 시계 방향으로 90도 각도(또는 반시계 방향으로 270도 각도)로 회전시켜 해당 영상이 기준 자세를 취하도록 한다.
그러면, 각 단말기(202)가 전송한 영상들이 모두 기준 자세를 취하게 된다. 영상 통화 제어 서버(204)는 모두 기준 자세를 취하고 있는 영상들을 합성하여 합성 영상을 형성한 후, 합성 영상을 각 단말기(202)로 전송해준다.
여기서, 각 단말기(202)로부터 기준 화면 비율 정보가 전송된 경우, 영상 통화 제어 서버(204)는 합성 영상을 기준 화면 비율 정보에 대응하는 화면 비율로 형성한 후, 해당 단말기(202)로 각각 전송해준다. 예를 들어, 소정 단말기(202)의 화면 비율이 4:3인 경우, 영상 통화 제어 서버(204)는 합성 영상을 화면 비율이 4:3이 되도록 형성한 후, 해당 단말기(202)로 전송해준다. 그리고, 소정 단말기(202)의 화면 비율이 16:9인 경우, 영상 통화 제어 서버(204)는 합성 영상을 화면 비율이 16:9가 되도록 형성한 후, 해당 단말기(202)로 전송해준다.
이때, 영상 통화 제어 서버(204)는 각 단말기(202)의 화면 비율의 종류에 따라 그에 대응하는 개수의 합성 영상을 각각 형성한 후, 각 단말기(202)의 화면 비율에 따른 합성 영상을 해당 단말기(202)로 전송할 수 있다. 예를 들어, 각 단말기(202)의 화면 비율이 4:3과 16:9의 두 종류인 경우, 영상 통화 제어 서버(204)는 화면 비율이 4:3인 합성 영상과 화면 비율이 16:9인 합성 영상을 각각 형성한 후, 화면 비율이 4:3인 단말기(202)들에게는 화면 비율이 4:3인 합성 영상을 각각 전송하고, 화면 비율이 16:9인 단말기(202)들에게는 화면 비율이 16:9인 합성 영상을 각각 전송할 수 있다.
또한, 영상 통화 제어 서버(204)는 합성 영상을 각 단말기(202)로 전송할 때, 각 단말기(202)의 자세 정보를 확인한 후, 각 단말기(202)의 현재 자세에 대응하는 화면 비율로 합성 영상을 전송해준다. 예를 들어, 소정 단말기(202)의 가로 대 세로 화면 비율이 4:3이고, 해당 단말기(202)가 현재 기준 자세의 상태에 있는 경우, 영상 통화 제어 서버(204)는 합성 영상을 가로 대 세로 화면 비율이 4:3이 되도록 형성하여 해당 단말기(202)로 전송해준다. 그리고, 소정 단말기(202)의 가로 대 세로 화면 비율이 4:3이고, 해당 단말기(202)가 기준 자세로부터 시계 방향으로 90도 회전된 상태에 있다면, 영상 통화 제어 서버(204)는 합성 영상을 가로 대 세로 화면 비율이 3:4가 되도록 형성한 후, 해당 단말기(202)로 전송해준다.
본 발명의 실시예에 의하면, 각 단말기(202)가 자신의 자세 정보를 영상 통화 제어 서버(204)로 전송하고, 영상 통화 제어 서버(204)가 자세 정보를 이용하여 기준 자세에서 소정 각도로 회전된 영상을 다시 기준 자세로 회전시킨 후 합성 영상을 형성함으로써, 각 단말기(202)가 서로 다른 자세로 사용자를 촬영하여 영상을 전송하더라도 영상 통화 제어 서버(204)로부터 각 영상들이 기준 자세를 취하고 있는 합성 영상을 수신할 수 있게 된다. 이 경우, 각 단말기(202)의 사용자들은 다른 사용자들의 영상이 회전된 상태로 보이는 것에 따른 이질감 및 불편함이 없이 영상 통화를 수행할 수 있게 된다.
도 4는 본 발명의 제1실시예에 따른 영상 통화 시스템에서, 영상 통화 제어 서버가 각 단말기로부터 전송된 자세 정보를 이용하여 영상을 회전시킨 후, 합성 영상을 형성하는 상태를 나타낸 도면이다.
도 4를 참조하면, 단말기(202-1)는 기준 자세에서 촬영한 영상(A)을 영상 통화 제어 서버(204)로 전송하고, 단말기(202-2)는 기준 자세에서 시계 방향으로 90도 회전된 상태에서 촬영한 영상(B)을, 단말기(202-3)는 기준 자세에서 시계 방향으로 180도 회전된 상태에서 촬영한 영상(C)을, 단말기(202-4)는 기준 자세에서 시계 방향으로 270도 회전된 상태에서 촬영한 영상(D)을 영상 통화 제어 서버(204)로 각각 전송하는 경우를 살펴보기로 한다. 이 경우, 영상(B), 영상(C) 및 영상(D)는 기준 자세에서 각각 반시계 방향으로 90도, 180도, 270도 각도로 회전된 상태로 나타나게 된다. 여기서, 각 단말기(202-1, 202-2, 202-3, 202-4)는 영상(A, B, C, D)을 영상 통화 제어 서버(204)로 전송하기 전에 자신의 자세 정보 및 기준 화면 비율 정보를 영상 통화 제어 서버(204)로 미리 전송할 수 있다.
그러면, 영상 통화 제어 서버(204)는 각 단말기(102-1, 102-2, 102-3, 104-4)로부터 수신한 자세 정보를 통해 영상(B), 영상(C) 및 영상(D)가 기준 자세에서 각각 반시계 방향으로 90도, 180도, 270도 각도로 회전된 상태에 있다는 것을 알게 된다. 이 경우, 영상 통화 제어 서버(204)는 영상(B), 영상(C) 및 영상(D)를 각각 시계 방향으로 90도, 180도, 270도 각도로 회전시켜 기준 자세를 취하게 한 후, 영상(A, B, C, D)를 합성하여 합성 영상을 형성한 후, 합성 영상을 각 단말기(202-1, 202-2, 202-3, 202-4)로 전송해준다.
이때, 각 단말기(202-1, 202-2, 202-3, 202-4)의 가로 대 세로 화면 비율이 각각 16:9이라고 가정할 경우, 단말기(102-1, 102-3)는 현재 화면 비율이 16:9인 상태이므로, 영상 통화 제어 서버(204)는 화면의 가로 대 세로 비율이 16:9가 되도록 합성 영상(I')을 형성한 후, 합성 영상(I')을 단말기(102-1, 102-3)들에 전송해준다. 반면, 단말기(102-2, 102-4)는 현재 화면이 9:16인 상태이므로 영상 통화 제어 서버(204)는 화면의 가로 대 세로 비율이 9:16이 되도록 합성 영상(I'')을 형성한 후, 합성 영상(I'')을 단말기(102-2, 102-4)들에 전송해준다.
여기서는, 합성 영상(I') 및 합성 영상(I'') 내에서 각 영상(A, B, C, D)들이 원래 영상의 화면 비율을 그대로 갖는 것으로 도시하였다. 그러나 본 발명은 이에 한정되는 것은 아니며, 합성 영상(I') 및 합성 영상(I'') 내에서 각 영상(A, B, C, D)들은 원래 영상의 화면 비율 및 화면 크기 중 적어도 하나가 다르게 영상 처리되어 합성될 수도 있다. 예를 들어, 합성 영상(I') 내에서 각 영상(A, B, C, D)들이 원래 영상의 화면 비율을 그대로 갖는 경우, 합성 영상(I') 내에서 영상(B, D)의 좌우에는 빈 공간이 생기게 되며, 합성 영상(I'')의 경우에는 영상(A, C)의 상하에 빈 공간이 생기게 된다. 이를 해결하기 위하여, 합성 영상(I', I'') 내에서 각 영상의 상하 또는 좌우에 빈 공간이 생기지 않도록 영상의 화면 비율 및 화면 크기를 조절하여 합성할 수 있다. 예를 들어, 합성 영상(I') 내에서 영상 통화 사용자가 얼굴이 해당 화면 전체를 차지하도록 영상(B, D)의 상하를 잘라내고 크기를 조절하거나, 합성 영상(I'')의 경우에는 영상 (A, C)의 좌우를 잘라낼 수 있다. 또한, 화면 합성 시 영상의 일부를 잘라낼 경우에는 영상 내 얼굴을 인식하여 사람의 얼굴이 잘리지 않도록 할 수도 있다. 영상 인식 기술은 본 발명이 속하는 기술분야에서 잘 알려져 있으므로 이에 대해서는 상세한 설명을 생략한다.
도 5는 본 발명의 제1실시예에 따른 영상 통화 제어 서버의 구성을 나타낸 도면이다. 도 5를 참조하면, 영상 통화 제어 서버(204)는 통신부(500), 저장부(502), 영상 회전부(504), 및 합성 영상 형성부(506)를 포함한다.
통신부(500)는 각 단말기(202)로부터 자세 정보 및 해당 단말기(202)의 사용자를 촬영한 영상을 수신한다. 통신부(500)는 각 단말기(202)로부터 기준 화면 비율 정보를 수신할 수도 있다. 또한, 통신부(500)는 합성 영상 형성부(506)가 형성한 합성 영상을 각 단말기(202)로 전송한다.
저장부(502)는 통신부(500)가 수신한 각 단말기(202)의 자세 정보 및 촬영 영상들을 저장한다. 저장부(502)는 통신부(500)가 수신한 각 단말기(202)의 기준 화면 비율 정보를 저장할 수도 있다.
영상 회전부(504)는 각 단말기(202)의 자세 정보를 이용하여 각 단말기(202)가 전송한 영상들 중 기준 자세로의 회전이 필요한 영상이 있는지 여부를 확인한다. 기준 자세로의 회전이 필요한 영상이 있는 경우, 영상 회전부(504)는 해당 영상이 기준 자세를 취하도록 해당 영상을 회전시킨다.
합성 영상 형성부(506)는 각 단말기(202)로부터 수신한 영상 중 기준 자세로의 회전이 필요 없는 영상(즉, 이미 기준 자세를 취하고 있는 영상) 및 각 단말기(202)로부터 수신한 영상 중 영상 회전부(504)에 의해 기준 자세로 회전된 영상을 합성하여 합성 영상을 형성한다. 이때, 합성 영상 형상부(506)는 각 단말기(202)가 전송한 기준 화면 비율 정보 및 자세 정보에 대응하는 화면 비율로 합성 영상을 형성할 수 있다.
도 6은 본 발명의 제1실시예에 따른 영상 통화 방법을 나타낸 순서도이다.
도 6을 참조하면, 각 단말기(202)가 영상 통화 제어 서버(204)로 영상 통화 요청을 수행하면서, 자신의 자세 정보를 영상 통화 제어 서버(204)로 전송한다(S602). 이때, 각 단말기(202)는 자신의 기준 화면 비율 정보를 자세 정보와 함께 전송할 수 있다. 그러나, 기준 화면 비율 정보가 자세 정보와 반드시 함께 전송되어야 하는 것은 아니며, 기준 화면 비율 정보를 자세 정보와 별도로 전송할 수도 있다.
다음으로, 각 단말기(202)가 사용자를 촬영한 영상을 영상 통화 제어 서버(204)로 전송한다(S604). 이때, 영상 통화 제어 서버(204)로 전송된 영상은 촬영시의 각 단말기(202)의 자세에 따라 영상이 기준 자세에서 소정 각도로 회전되어 나타날 수 있다.
다음으로, 영상 통화 제어 서버(204)가 각 단말기(202)로부터 수신한 자세 정보를 이용하여 각 단말기(202)로부터 수신한 영상들 중 기준 자세로의 회전이 필요한 영상이 있는지 여부를 확인한다(S606).
단계 S 105의 확인 결과, 기준 자세로의 회전이 필요한 영상이 있는 경우, 영상 통화 제어 서버(204)가 해당 영상을 기준 자세로 회전시킨다(S608). 기준 자세로의 회전이 필요한 영상들을 기준 자세로 회전시킨 경우, 각 단말기(202)로부터 수신한 영상들은 모두 기준 자세를 취하게 된다.
다음으로, 영상 통화 제어 서버(204)가 기준 자세를 취하고 있는 영상들을 합성하여 합성 영상을 형성한 후, 합성 영상을 각 단말기(202)로 전송한다(S610). 여기서, 각 단말기(202)로부터 기준 화면 비율 정보가 전송된 경우, 영상 통화 제어 서버(102)는 합성 영상을 기준 화면 비율 정보 및 자세 정보에 대응하는 화면 비율로 형성한 후, 해당 단말기(202)로 각각 전송해준다.
한편, 각 단말기(202)는 자신의 자세 정보를 영상 통화 제어 서버(204)로 전송한 후에 자신의 자세가 변경된 경우, 변경된 자세에 대응하는 자세 정보를 영상 통화 제어 서버(204)로 다시 전송할 수 있다.
도 7은 본 발명의 제2실시예에 따른 영상 통화 시스템을 나타낸 도면이다.
도 7을 참조하면, 본 발명의 제2실시예에 따른 영상 통화 시스템(700)은 복수 개의 단말기(702) 및 영상 통화 제어 서버(704)를 포함한다. 여기서는 단말기(702)가 4대인 것으로 도시하였으나, 이에 한정되는 것은 아니며 단말기(702)는 2대 이상의 단말기가 사용될 수 있다.
각 단말기(702)는 영상 통화 제어 서버(704)로 영상 통화 요청을 수행하면서, 자신이 촬영한 영상을 영상 통화 제어 서버(704)로 전송한다. 이때, 각 단말기(702)는 자신의 자세 정보를 확인한 후, 해당 자세 정보에 따라 촬영 영상을 회전하여 영상 통화 제어 서버(704)로 전송한다. 여기서, 자세 정보란 단말기(702)의 현재 자세가 기 설정된 기준 자세로부터 얼마만큼 회전된 상태에 있는지 여부를 나타내는 정보를 말한다.
도 8은 본 발명의 제2실시예에 따른 단말기가 기준 자세에서 시계 방향으로 90도씩 회전된 상태 및 기준 자세에서 회전된 상태에 따라 촬영 영상을 회전한 상태를 나타낸 도면이다.
도 8을 참조하면, 각 단말기(702)는 예를 들어, 기준 자세(도 8의 a), 기준 자세로부터 시계 방향으로 90도 각도로 회전된 상태(기준 자세로부터 반 시계 방향으로 270도 각도로 회전된 상태)(도 8의 b), 기준 자세로부터 시계 방향으로 180도 각도로 회전된 상태(기준 자세로부터 반 시계 방향으로 180도 각도로 회전된 상태)(도 8의 c), 기준 자세로부터 시계 방향으로 270도 각도로 회전된 상태(기준 자세로부터 반 시계 방향으로 90도 각도로 회전된 상태)(도 8의 d)에 있을 수 있게 된다.
즉, 단말기(702)는 기준 자세로부터 90도 단위(즉, 0도, 90도, 180도, 270도)로 회전 상태가 변경되는데, 이는 사용자가 단말기(702)를 어느 정도로 회전시키는가에 따라 달라지게 된다. 또한, 본 발명의 제1실시예에서 설명한 바와 같이, 사용자가 직접 손에 들고 사용하는 단말기(702)의 특성 상 정확한 각도로 단말기를 회전하는 것은 불가능하므로, 단말기(702)는 단말기의 회전 각도의 임계값을 미리 설정하여 두었다가 이에 따라 회전 상태를 변경할 수 있다.
도 8의 (a)에 도시된 바와 같이, 단말기(702)가 기준 자세에 있는 경우, 단말기(702)는 촬영한 영상을 바로 영상 통화 제어 서버(704)로 전송한다. 여기서, 영상 통화 제어 서버(704)로 전송되는 영상은 가로 화면 모드로 전송된다. 본 발명의 실시예에서, 본 발명의 실시예들에서, 가로 화면 모드란 해당 영상의 가로 화면 길이(또는 해상도)가 세로 화면 길이보다 긴 경우를, 세로 화면 모드란 해당 영상의 세로 화면 길이(또는 해상도)가 가로 화면 길이보다 긴 경우를 각각 의미한다. 예를 들어, 가로 화면 모드에서 해당 영상의 가로 대 세로 화면 비율은 4:3 또는 16:9로, 세로 화면 모드에서 해당 영상의 가로 대 세로 화면 비율은 3:4 또는 9:16으로 각각 설정될 수 있다.
도 8의 (b)에 도시된 바와 같이, 단말기(702)가 기준 자세로부터 시계 방향으로 90도 각도로 회전된 상태에 있는 경우, 단말기(702)가 촬영한 영상은 반 시계 방향으로 90도 각도로 회전되어 표시되게 된다. 이때, 단말기(702)는 영상 통화 사용자가 촬영 영상 내에서 기준 방향으로 표시되도록 촬영 영상을 시계 방향으로 90도 회전한 후, 영상 통화 제어 서버(704)로 전송한다. 기준 방향은 영상 통화 사용자가 촬영 영상 내에서 정상적인 자세(예를 들어, 영상 통화 사용자의 머리가 촬영 영상 내에서 윗 부분을 향하는 자세)로 표시되는 방향을 말한다. 여기서, 영상 통화 제어 서버(704)로 전송되는 영상은 세로 화면 모드로 전송된다.
도 8의 (c)에 도시된 바와 같이, 단말기(702)가 기준 자세로부터 시계 방향으로 180도 각도로 회전된 상태에 있는 경우, 단말기(702)가 촬영한 영상은 반 시계 방향으로 180도 각도로 회전되어 표시되게 된다. 이때, 단말기(702)는 영상 통화 사용자가 촬영 영상 내에서 기준 방향으로 표시되도록 촬영 영상을 시계 방향으로 180도 회전한 후, 영상 통화 제어 서버(704)로 전송한다. 여기서, 영상 통화 제어 서버(704)로 전송되는 영상은 가로 화면 모드로 전송된다.
도 8의 (d)에 도시된 바와 같이, 단말기(702)가 기준 자세로부터 시계 방향으로 270도 각도로 회전된 상태에 있는 경우, 단말기(702)가 촬영한 영상은 반 시계 방향으로 270도 각도로 회전되어 표시되게 된다. 이때, 단말기(702)는 영상 통화 사용자가 촬영 영상 내에서 기준 방향으로 표시되도록 촬영 영상을 시계 방향으로 270도 회전한 후, 영상 통화 제어 서버(704)로 전송한다. 여기서, 영상 통화 제어 서버(704)로 전송되는 영상은 세로 화면 모드로 전송된다.
이와 같이, 각 단말기(702)는 자신의 현재 자세가 기준 자세로부터 얼마만큼 회전된 상태에 있는지를 확인한 후(즉, 자세 정보를 확인한 후), 확인된 자세 정보에 따라 촬영 영상을 회전하여 영상 통화 제어 서버(704)로 전송한다. 여기서, 각 단말기(702)가 촬영 영상 내에서 영상 통화 사용자가 기준 방향으로 표시되도록 촬영 영상을 회전하면, 단말기(702)가 기준 자세로부터 회전된 상태에 있다 하더라도 회전된 영상 내에서 영상 통화 사용자는 기준 방향을 그대로 유지한 상태로 표시되게 된다.
이때, 각 단말기(702)는 촬영 영상을 전송한 후 자신의 자세가 변경되는 경우, 전술한 것과 동일한 방법으로 변경된 자세에 대응하여 촬영 영상을 회전한 후 영상 통화 제어 서버(704)로 전송할 수 있다. 그러면, 영상 통화 제어 서버(704)는 변경된 자세에 대응하여 회전된 촬영 영상을 분석한 후, 해당 단말기(702)의 현재 화면 모드에 대응하는 합성 영상을 형성할 수 있다.
여기서는, 단말기(702) 화면이 가로로 놓인 상태를 기준 자세로 하였기 때문에, 도 8의 (a) 및 (c)는 가로 화면 모드로 영상이 전송되고, 도 8의 (b) 및 (d)는 세로 화면 모드로 영상이 전송되는 것으로 도시하였으나, 이에 한정되는 것은 아니다.
다음으로, 영상 통화 제어 서버(704)는 각 단말기(702)로부터 전송된 각 영상을 합성하여 하나의 합성 영상을 형성한다. 이때, 영상 통화 제어 서버(704)는 해당 단말기(702)의 현재 화면 모드(즉, 가로 화면 모드 또는 세로 화면 모드)에 따라 합성 영상을 형성할 수 있다.
구체적으로, 영상 통화 제어 서버(704)는 각 단말기(702)로부터 전송된 각 영상을 통해 해당 단말기(702)의 현재 화면 모드(즉, 가로 화면 모드 또는 세로 화면 모드)를 확인한 후, 해당 단말기(702)의 현재 화면 모드에 따라 합성 영상을 형성하여 해당 단말기(702)로 전송한다. 이때, 영상 통화 제어 서버(704)는 해당 단말기(702)의 화면 비율(즉, 가로 대 세로 화면 비율) 대로 합성 영상을 전송할 수 있다. 즉, 영상 통화 제어 서버(704)는 해당 단말기(702)의 현재 화면 모드 및 화면 비율에 따라 합성 영상을 형성하여 해당 단말기(702)로 전송할 수도 있다.
예를 들어, 소정 단말기(702)의 현재 화면 모드가 가로 화면 모드이고, 화면의 가로 대 세로 비율이 4:3인 경우, 영상 통화 제어 서버(704)는 합성 영상을 가로 화면 모드로 형성하면서 합성 영상의 가로 대 세로 화면 비율을 4:3으로 하여 해당 단말기(702)로 전송할 수 있다. 그리고, 소정 단말기(702)의 현재 화면 모드가 세로 화면 모드이고, 화면의 가로 대 세로 비율이 16:9인 경우, 영상 통화 제어 서버(704)는 합성 영상을 세로 화면 모드로 형성하면서 합성 영상의 세로 대 가로 화면 비율을 16:9로 하여 해당 단말기(702)로 전송할 수 있다.
이때, 영상 통화 제어 서버(704)는 각 단말기(702)의 화면 비율의 종류에 따라 그에 대응하는 개수의 합성 영상을 각각 형성한 후, 각 단말기(702)의 현재 화면 모드 및 화면 비율에 따른 합성 영상을 해당 단말기(702)로 전송할 수 있다. 예를 들어, 각 단말기(702)의 화면 비율이 4:3과 16:9의 두 종류인 경우, 영상 통화 제어 서버(704)는 가로 대 세로 화면 비율이 4:3인 합성 영상, 3:4인 합성 영상, 16:9인 합성 영상, 및 9:16인 합성 영상을 각각 형성한 후, 각 단말기(702)의 현재 화면 모드 및 화면 비율에 따라 해당 합성 영상을 각 단말기(702)로 전송할 수 있다.
영상 통화 제어 서버(704)는 각 단말기(702)로부터 영상이 전송될 때마다(또는 주기적으로) 영상을 분석하여 각 단말기(702)의 현재 화면 모드를 확인할 수 있다. 이때, 영상 통화 제어 서버(704)는 소정 단말기(702)의 현재 화면 모드가 변경된 경우, 변경된 화면 모드에 따라 합성 영상을 형성하여 해당 단말기(702)로 전송할 수 있다. 예를 들어, 사용자가 단말기(702)를 가로 방향에서 세로 방향으로 회전할 경우, 단말기(702)는 회전된 방향에 맞추어 영상을 회전하여 영상 통화 제어 서버(704)로 송신하며, 영상 통화 제어 서버(704)는 수신된 영상의 영상의 화면 모드가 가로 방향에서 세로 방향으로 변경된 것을 확인하고, 변경된 화면 모드에 맞추어 합성 영상을 생성할 수 있다.
본 발명의 실시예에 의하면, 각 단말기(702)가 자신의 자세 정보에 따라 촬영 영상을 회전하여 영상 통화 제어 서버(704)로 전송하고, 영상 통화 제어 서버(704)가 각 단말기(702)의 현재 화면 모드에 따라 합성 영상을 형성하여 해당 단말기(702)로 전송함으로써, 각 단말기(702)가 서로 다른 자세에서 사용자를 촬영하여 영상 통화를 수행하더라도 영상 통화 제어 서버(704)로부터 영상 통화 사용자들이 영상 내에서 기준 방향으로 표시되는 합성 영상을 수신할 수 있게 된다. 이 경우, 각 단말기(702)의 사용자들은 다른 사용자들의 영상이 회전된 상태로 보이는 것에 따른 이질감 및 불편함이 없이 영상 통화를 수행할 수 있게 된다.
도 9는 본 발명의 제2실시예에 따른 영상 통화 제어 서버가 각 단말기로부터 전송된 영상으로 합성 영상을 형성하는 상태를 나타낸 도면이다.
도 9를 참조하면, 제1 단말기(702-1)는 기준 자세에서 촬영한 영상을 바로 영상 통화 제어 서버(704)로 전송하고, 제2 단말기(702-2)는 기준 자세에서 시계 방향으로 90도 각도로 회전된 상태에서 촬영한 영상을 시계 방향으로 90도 각도로 회전한 후 영상 통화 제어 서버(704)로 전송하며, 제3 단말기(702-3)는 기준 자세에서 시계 방향으로 180도 각도로 회전된 상태에서 촬영한 영상을 시계 방향으로 180도 각도로 회전한 후 영상 통화 제어 서버(704)로 전송하고, 제4 단말기(702-4)는 시계 방향으로 270도 각도로 회전된 상태에서 촬영한 영상을 시계 방향으로 270도 각도로 회전한 후 영상 통화 제어 서버(704)로 전송하는 경우를 살펴보기로 한다.
여기서는, 단말기(702) 화면이 가로로 놓인 상태를 기준 자세로 하였다. 이 경우, 제1 단말기(702-1) 및 제3 단말기(702-3)로부터 각각 전송된 영상(A, C)은 가로 화면 모드로 전송되고, 제2 단말기(702-2) 및 제4 단말기(702-4)로부터 각각 전송된 영상(B, D)은 세로 화면 모드로 전송된다. 그리고, 각 단말기(702)들의 가로 대 세로 화면 비율은 16:9인 것으로 하였다.
그러면, 영상 통화 제어 서버(704)는 제1 단말기(702-1) 및 제3 단말기(702-3)로부터 각각 전송된 영상(A, C)을 통해 제1 단말기(702-1) 및 제3 단말기(702-3)의 현재 화면 모드 및 화면 비율을 확인할 수 있다. 그리고, 영상 통화 제어 서버(704)는 제2 단말기(702-2) 및 제4 단말기(702-4)로부터 각각 전송된 영상(B, D)을 통해 제2 단말기(702-2) 및 제4 단말기(702-4)의 현재 화면 모드 및 화면 비율을 확인할 수 있다.
이 경우, 영상 통화 제어 서버(704)는 영상(A, B, C, D)을 가로 화면 모드로 형성하면서 가로 대 세로 비율이 16:9가 되도록 합성 영상(I')을 형성한 후, 합성 영상(I')을 제1 단말기(702-1) 및 제3 단말기(702-3)로 전송해준다. 그리고, 영상 통화 제어 서버(704)는 영상(A, B, C, D)을 세로 화면 모드로 형성하면서 세로 대 가로 비율이 16:9가 되도록 합성 영상(I'')을 형성한 후, 합성 영상(I'')을 제2 단말기(702-2) 및 제4 단말기(702-4)로 전송해준다.
또한, 본 발명의 제1실시예에서 설명한 바와 같이, 합성 영상(I') 및 합성 영상(I'') 내에서 각 영상(A, B, C, D)들은 원래 영상의 화면 비율 및 화면 크기 중 적어도 하나가 다르게 영상 처리되어 합성될 수도 있다. 예를 들어 제 1실시예와 같이 화면 비율 또는 크기를 조절 하여 빈 공간이 생기지 않도록 하거나. 일부 얼굴 인식을 하여 영상을 잘라낼 수 있다.
도 10은 본 발명의 제2실시예에 따른 단말기의 구성을 나타낸 도면이다.
도 10을 참조하면, 본 발명의 제2실시예에 따른 단말기(702)는 촬영부(1000), 자세 정보 감지부(1002), 영상 회전부(1004), 및 영상 통화부(1006)를 포함한다.
촬영부(1000)는 카메라를 통해 전방을 촬영한다. 예를 들어, 영상 통화 시 촬영부(1000)는 영상 통화 사용자를 촬영할 수 있다.
자세 정보 감지부(1002)는 단말기(702)의 자세 정보를 감지한다. 즉, 자세 정보 감지부(1002)는 단말기(702)가 기 설정된 기준 자세로부터 얼마만큼 회전된 상태에 있는지 여부를 감지한다. 자세 정보 감지부(1002)는 예를 들어, 자이로 센서 또는 중력 센서 등을 포함할 수 있다.
영상 회전부(1004)는 단말기(702)의 자세 정보에 따라 촬영부(1000)가 촬영한 영상을 회전시킨다. 예를 들어, 영상 회전부(1000)는 자세 정보 감지부(1000)가 감지한 자세 정보를 확인하여 단말기(702)가 기준 자세로부터 회전된 상태에 있는 경우, 영상 내에서 영상 통화 사용자가 기준 방향으로 표시되도록 촬영부(1000)가 촬영한 영상을 회전시킨다. 이 경우, 단말기(702)가 기준 자세로부터 회전된 상태에 있더라도 회전된 영상 내에서 영상 통화 사용자는 기준 방향을 유지한 상태로 표시되게 된다.
영상 회전부(1004)는 회전된 영상 또는 촬영부(1000)가 촬영한 영상을 영상 통화부(1006)로 전달한다. 즉, 영상 회전부(1004)는 단말기(702)가 기준 자세를 유지하고 있는 경우, 촬영부(1000)가 촬영한 영상을 그대로 영상 통화부(1006)로 전달한다.
영상 통화부(1006)는 영상 통화 제어 서버(704)로 영상 통화 요청을 수행한다. 영상 통화부(1006)는 촬영부(1000)가 촬영한 영상 또는 영상 회전부(1004)에 의해 회전된 영상을 영상 통화 제어 서버(704)로 전송한다. 영상 통화부(1006)는 영상 통화 제어 서버(704)로부터 합성 영상을 수신한다.
도 11은 본 발명의 제2실시예에 따른 영상 통화 제어 서버의 구성을 나타낸 도면이다. 도 11을 참조하면, 영상 통화 제어 서버(704)는 통신부(1100), 저장부(1102), 영상 분석부(1104), 및 합성 영상 형성부(1106)를 포함한다.
통신부(1100)는 각 단말기(702)와 영상 통화를 위한 통신을 수행한다. 예를 들어, 통신부(1100)는 각 단말기(702)로부터 촬영 영상을 수신한다. 이때, 촬영 영상은 영상 회전부(115)에 의해 회전된 영상일 수 있다. 또한, 통신부(1100)는 합성 영상 형성부(1106)가 형성한 합성 영상을 각 단말기(702)로 전송한다.
저장부(1102)는 통신부(1100)가 수신한 각 단말기(702)의 촬영 영상들을 저장한다. 저장부(1102)는 합성 영상 형성부(1106)가 형성한 합성 영상을 저장할 수도 있다. 이때, 저장부(1102)는 각 단말기(702)의 촬영 영상 및 합성 영상을 임시로 저장하는 버퍼일 수 있다.
영상 분석부(1104)는 통신부(1100)가 수신한 각 단말기(702)의 촬영 영상들을 분석하여 각 단말기(702)의 현재 화면 모드 및 화면 비율을 검출한다. 즉, 영상 분석부(1104)는 각 단말기(702)의 촬영 영상의 가로 화면 길이(또는 해상도)와 세로 화면 길이(또는 해상도)를 분석하여 해당 단말기(702)의 현재 화면 모드 및 화면 비율을 검출한다.
합성 영상 형성부(1106)는 각 단말기(702)로부터 수신한 촬영 영상들을 합성하여 합성 영상을 형성한다. 합성 영상 형성부(1106)는 각 단말기(702)의 현재 화면 모드(가로 화면 모드 또는 세로 화면 모드)에 따라 합성 영상을 형성할 수 있다. 이때, 합성 영상 형성부(1106)는 각 단말기(702)의 화면 비율대로 합성 영상을 형성할 수 있다.
도 12는 본 발명의 제2실시예에 따른 영상 통화 방법을 나타낸 순서도이다. 도 12를 참조하면, 각 단말기(702)가 영상 통화 제어 서버(704)로 영상 통화 요청을 수행하면서, 자신의 자세 정보를 확인한다(S1202). 이때, 각 단말기(702)는 내부에 설치된 자이로 센서 또는 중력 센서 등을 통해 자신의 자세 정보를 확인할 수 있다.
다음으로, 각 단말기(702)가 자신의 자세 정보에 따라 촬영 영상을 회전하여 영상 통화 제어 서버(704)로 전송한다(S1204). 이때, 각 단말기(702)는 영상 내에서 영상 통화 사용자가 기 설정된 기준 방향으로 표시되도록 촬영 영상을 회전시킬 수 있다.
다음으로, 영상 통화 제어 서버(704)가 각 단말기(702)로부터 전송된 영상을 통해 각 단말기(702)의 현재 화면 모드 및 화면 비율을 확인한다(S1206).
다음으로, 영상 통화 제어 서버(704)가 각 단말기(702)로부터 전송된 영상을 이용하여 각 단말기(702)의 현재 화면 모드 및 화면 비율에 따른 합성 영상을 형성한 후, 합성 영상을 해당 단말기(702)로 전송한다(S1208).
한편, 각 단말기(702)는 영상 통화 중 자신의 자세가 변경되는 경우, 변경된 자세에 대응하여 촬영 영상을 회전한 후, 영상 통화 제어 서버(704)로 전송할 수 있다. 그러면, 영상 통화 제어 서버(704)는 변경된 자세에 대응하여 회전된 촬영 영상을 분석한 후, 해당 단말기(702)의 현재 화면 모드에 대응하는 합성 영상을 형성하여 해당 단말기(702)로 전송할 수 있다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야에서 통상의 지식을 가진 자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 플로피 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다.
그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
[부호의 설명]
200, 700: 영상 통화 시스템
202, 702: 단말기
204, 704: 영상 통화 제어 서버
500: 통신부
502: 저장부
504: 영상 회전부
506: 합성 영상 형성부
1000: 촬영부
1002: 자세 정보 감지부
1004: 영상 회전부
1006: 영상 통화부
1100: 통신부
1102: 저장부
1104: 영상 분석부
1106: 합성 영상 형성부

Claims (22)

  1. 영상 통화 사용자를 촬영한 영상을 전송하는 단말기; 및
    하나 이상의 단말기가 전송하는 영상들을 합성한 합성 영상을 형성하고, 상기 합성 영상을 상기 단말기로 전송하는 영상 통화 제어 서버를 포함하되,
    상기 각 영상들은, 상기 단말기에서 감지된 자세 정보에 따라 회전되어 상기 합성 영상으로 합성되는, 영상 통화 시스템.
  2. 청구항 1에 있어서,
    상기 단말기는, 상기 자세 정보를 상기 영상 통화 제어 서버로 송신하며,
    상기 영상 통화 제어 서버는, 수신된 상기 자세 정보에 따라 상기 단말기로부터 수신된 영상을 기준 자세로 회전하고, 회전된 영상을 합성하여 상기 합성 영상을 형성하는, 영상 통화 시스템.
  3. 청구항 2에 있어서,
    상기 단말기는, 상기 자세 정보와 함께 상기 단말기의 화면 비율 정보를 상기 영상 통화 제어 서버로 전송하는, 영상 통화 시스템.
  4. 청구항 2에 있어서,
    상기 단말기는, 상기 자세 정보를 전송한 후 상기 단말기의 자세가 변경된 경우, 변경된 자세에 대응되는 자세 정보를 상기 영상 통화 제어 서버로 송신하는, 영상 통화 시스템.
  5. 청구항 1에 있어서,
    상기 단말기는, 자세 정보를 감지하고, 감지된 상기 자세 정보에 따라 촬영된 영상을 기준 자세로 회전하여 상기 영상 통화 제어 서버로 송신하는, 영상 통화 시스템.
  6. 청구항 5에 있어서,
    상기 단말기는, 상기 자세 정보를 전송한 후 상기 단말기의 자세가 변경된 경우, 변경된 자세에 대응되는 자세 정보에 따라 상기 촬영된 영상을 회전하여 상기 영상 통화 제어 서버로 송신하는, 영상 통화 시스템.
  7. 청구항 5에 있어서,
    상기 영상 통화 제어 서버는, 상기 단말기가 전송하는 영상을 통해 상기 단말기의 화면 모드를 확인하고, 상기 화면 모드에 따라 상기 합성 영상을 형성하여 상기 단말기로 전송하는, 영상 통화 시스템.
  8. 청구항 7에 있어서,
    상기 영상 통화 제어 서버는, 상기 단말기로부터 수신된 영상으로부터 상기 화면 모드와 함께 상기 단말기의 화면 비율을 확인하고, 상기 화면 모드 및 상기 화면 비율에 따라 상기 합성 영상을 형성하여 상기 단말기로 전송하는, 영상 통화 시스템.
  9. 단말기에서, 영상 통화 사용자를 촬영한 영상을 전송하는 단계;
    영상 통화 제어 서버에서, 하나 이상의 단말기가 전송하는 영상들을 합성한 합성 영상을 형성하는 단계; 및
    상기 영상 통화 제어 서버에서, 상기 합성 영상을 상기 단말기로 전송하는 단계를 포함하되,
    상기 합성 영상을 구성하는 각 영상들은, 상기 단말기에서 감지된 자세 정보에 따라 회전되어 합성되는, 영상 통화 방법.
  10. 청구항 9에 있어서,
    상기 영상을 전송하는 단계는, 상기 단말기의 자세 정보를 상기 영상 통화 제어 서버로 송신하는 단계를 더 포함하며,
    상기 합성 영상을 형성하는 단계는, 수신된 상기 자세 정보에 따라 상기 단말기로부터 수신된 영상을 기준 자세로 회전하고, 회전된 영상을 합성하여 상기 합성 영상을 형성하는, 영상 통화 방법.
  11. 청구항 10에 있어서,
    상기 영상을 전송하는 단계는, 상기 자세 정보와 함께 상기 단말기의 화면 비율 정보를 상기 영상 통화 제어 서버로 전송하는 단계를 더 포함하는, 영상 통화 방법.
  12. 청구항 10에 있어서,
    상기 단말기는, 상기 자세 정보를 전송한 후 상기 단말기의 자세가 변경된 경우, 변경된 자세에 대응되는 자세 정보를 상기 영상 통화 제어 서버로 송신하는, 영상 통화 방법.
  13. 청구항 9에 있어서,
    상기 영상을 전송하는 단계는,
    상기 단말기의 자세 정보를 감지하는 단계; 및
    감지된 상기 자세 정보에 따라 촬영된 영상을 기준 자세로 회전하여 상기 영상 통화 제어 서버로 송신하는 단계를 더 포함하는, 영상 통화 방법.
  14. 청구항 13에 있어서,
    상기 단말기는, 상기 자세 정보를 전송한 후 상기 단말기의 자세가 변경된 경우, 변경된 자세에 대응되는 자세 정보에 따라 상기 촬영된 영상을 회전하여 상기 영상 통화 제어 서버로 송신하는, 영상 통화 방법.
  15. 청구항 13에 있어서,
    상기 합성 영상을 형성하는 단계는,
    상기 단말기가 전송하는 영상을 통해 상기 단말기의 화면 모드를 확인하는 단계; 및
    상기 화면 모드에 따라 상기 합성 영상을 형성하는 단계를 더 포함하는, 영상 통화 방법.
  16. 청구항 15에 있어서,
    상기 합성 영상을 형성하는 단계는,
    상기 단말기로부터 수신된 영상으로부터 상기 화면 모드와 함께 상기 단말기의 화면 비율을 확인하는 단계; 및
    상기 화면 모드 및 상기 화면 비율에 따라 상기 합성 영상을 형성하는 단계를 더 포함하는, 영상 통화 방법.
  17. 하나 이상의 단말기로부터 각 단말기의 자세 정보 및 해당 사용자를 촬영한 영상을 수신하는 통신부;
    상기 통신부가 수신한 영상들 중 상기 자세 정보에 따라 기준 자세로의 회전이 필요한 영상을 기준 자세로 회전시키는 영상 회전부; 및
    상기 통신부가 수신한 영상들 중 상기 기준 자세로의 회전이 필요 없는 영상 및 상기 통신부가 수신한 영상들 중 상기 영상 회전부에 의해 상기 기준 자세로 회전된 영상들을 합성하여 합성 영상을 형성하는 합성 영상 형성부를 포함하며,
    상기 통신부는, 상기 합성 영상을 상기 각 단말기로 각각 전송하는, 영상 통화 제어 서버.
  18. 청구항 17에 있어서,
    상기 통신부는, 상기 복수 개의 단말기로부터 각 단말기의 기준 화면 비율 정보를 수신하는, 영상 통화 제어 서버.
  19. 청구항 18에 있어서,
    상기 합성 영상 형성부는, 상기 기준 화면 비율 정보 및 상기 자세 정보에 따라 상기 합성 영상을 형성하는, 영상 통화 제어 서버.
  20. 하나 이상의 단말기로부터 영상 통화 사용자를 촬영한 영상을 수신하는 통신부;
    상기 수신된 영상으로부터 각 단말기의 화면 모드를 검출하는 영상 분석부; 및
    상기 수신된 영상들을 검출된 상기 각 단말기의 화면 모드에 따라 합성하여 합성 영상을 형성하는 합성 영상 형성부를 포함하며,
    상기 통신부는, 상기 합성 영상을 해당 단말기로 전송하는, 영상 통화 제어 서버.
  21. 청구항 20에 있어서,
    상기 영상 분석부는, 상기 수신된 영상으로부터 상기 각 단말기의 화면 비율을 검출하며,
    상기 합성 영상 형성부는, 상기 수신된 영상을 상기 각 단말기의 화면 모드 및 상기 화면 비율에 따라 합성하여 합성 영상을 형성하는, 영상 통화 제어 서버.
  22. 영상 통화 시스템에 사용되는 단말기에 있어서,
    영상 통화 사용자를 촬영하는 촬영부;
    상기 단말기의 기 설정된 기준 자세로부터의 회전된 상태를 감지하는 자세 정보 감지부;
    상기 회전된 상태에 따라 상기 촬영부가 촬영한 영상을 회전시키는 영상 회전부; 및
    상기 촬영부가 촬영한 영상 또는 상기 영상 회전부가 회전시킨 영상을 전송하는 영상 통화부를 포함하는, 단말기.
PCT/KR2013/000703 2012-02-03 2013-01-29 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법 WO2013115541A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201380007775.5A CN104094593B (zh) 2012-02-03 2013-01-29 终端、视频通话控制服务器及利用它们的视频通话系统及方法
EP13743668.9A EP2811739B1 (en) 2012-02-03 2013-01-29 Terminal, image communication control server, and system and method for image communication using same
US14/122,912 US9307194B2 (en) 2012-02-03 2013-01-29 System and method for video call

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2012-0011184 2012-02-03
KR20120011184 2012-02-03
KR10-2012-0135149 2012-11-27
KR1020120135149A KR101965310B1 (ko) 2012-11-27 2012-11-27 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법
KR10-2013-0009383 2013-01-28
KR1020130009383A KR101293063B1 (ko) 2012-02-03 2013-01-28 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2013115541A1 true WO2013115541A1 (ko) 2013-08-08

Family

ID=51640981

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/000703 WO2013115541A1 (ko) 2012-02-03 2013-01-29 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법

Country Status (4)

Country Link
US (1) US9307194B2 (ko)
EP (1) EP2811739B1 (ko)
CN (1) CN104094593B (ko)
WO (1) WO2013115541A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
US11232458B2 (en) 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
US9741150B2 (en) * 2013-07-25 2017-08-22 Duelight Llc Systems and methods for displaying representative images
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US11412276B2 (en) 2014-10-10 2022-08-09 JBF Interlude 2009 LTD Systems and methods for parallel track transitions
KR102373170B1 (ko) * 2015-01-07 2022-03-11 삼성전자주식회사 하나 이상의 아이템들을 동시에 표시하는 방법 및 이를 위한 전자 장치
CN105025243B (zh) * 2015-06-30 2018-09-28 上海众源网络有限公司 一种视频通话方法及装置
US10460765B2 (en) 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US11164548B2 (en) 2015-12-22 2021-11-02 JBF Interlude 2009 LTD Intelligent buffering of large-scale video
US11128853B2 (en) 2015-12-22 2021-09-21 JBF Interlude 2009 LTD Seamless transitions in large-scale video
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
CN105959612A (zh) * 2016-04-22 2016-09-21 惠州Tcl移动通信有限公司 一种移动终端视频通讯中画面角度自动修正方法及系统
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
CN107147927B (zh) * 2017-04-14 2020-04-03 北京小米移动软件有限公司 基于直播连麦的直播方法及装置
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
CN108235090B (zh) * 2018-01-22 2021-09-17 广州市千钧网络科技有限公司 一种调整画面角度的方法及装置
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
US20200296462A1 (en) * 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
KR20210119644A (ko) 2020-03-25 2021-10-06 삼성전자주식회사 비디오 호 제어 방법 및 그 전자 장치
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006254166A (ja) * 2005-03-11 2006-09-21 Hitachi Ltd ビデオ会議システム、会議端末および映像サーバ
KR20070082489A (ko) * 2006-02-15 2007-08-21 후지제롯쿠스 가부시끼가이샤 전자 회의 시스템, 전자 회의 제어 장치, 정보 단말 기기,전자 회의 지원 방법
JP2009194857A (ja) * 2008-02-18 2009-08-27 Sharp Corp 通信会議システム、通信装置、通信会議方法、コンピュータプログラム
JP2010239327A (ja) * 2009-03-31 2010-10-21 Brother Ind Ltd 会議装置、会議支援方法、会議支援プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08336069A (ja) * 1995-04-13 1996-12-17 Eastman Kodak Co 電子スチルカメラ
JP2001054084A (ja) * 1999-08-09 2001-02-23 Matsushita Electric Ind Co Ltd テレビ電話装置
JP2001197462A (ja) * 2000-01-17 2001-07-19 Nec Corp テレビ電話装置及びそれを備えるテレビ電話システム
JP2003111040A (ja) * 2001-09-28 2003-04-11 Matsushita Electric Ind Co Ltd 動画像通信方法及び動画像通信装置
KR100619811B1 (ko) * 2003-09-06 2006-09-08 엘지전자 주식회사 카메라를 구비한 이동단말기의 화상자동반전장치
US7113200B2 (en) * 2004-05-21 2006-09-26 Polycom, Inc. Method and system for preparing video communication image for wide screen display
WO2007063922A1 (ja) * 2005-11-29 2007-06-07 Kyocera Corporation 通信端末および通信システム、並びに通信端末の表示方法
US8917632B2 (en) * 2010-04-07 2014-12-23 Apple Inc. Different rate controller configurations for different cameras of a mobile device
CN102215373B (zh) * 2010-04-07 2014-12-24 苹果公司 会议中的显示调整
US8803999B2 (en) * 2010-10-12 2014-08-12 Blackberry Limited Method and apparatus for image orientation indication and correction
US20130106988A1 (en) * 2011-10-28 2013-05-02 Joseph Davis Compositing of videoconferencing streams
US9137488B2 (en) * 2012-10-26 2015-09-15 Google Inc. Video chat encoding pipeline

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006254166A (ja) * 2005-03-11 2006-09-21 Hitachi Ltd ビデオ会議システム、会議端末および映像サーバ
KR20070082489A (ko) * 2006-02-15 2007-08-21 후지제롯쿠스 가부시끼가이샤 전자 회의 시스템, 전자 회의 제어 장치, 정보 단말 기기,전자 회의 지원 방법
JP2009194857A (ja) * 2008-02-18 2009-08-27 Sharp Corp 通信会議システム、通信装置、通信会議方法、コンピュータプログラム
JP2010239327A (ja) * 2009-03-31 2010-10-21 Brother Ind Ltd 会議装置、会議支援方法、会議支援プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2811739A4 *

Also Published As

Publication number Publication date
CN104094593A (zh) 2014-10-08
EP2811739B1 (en) 2021-11-24
CN104094593B (zh) 2019-04-19
EP2811739A1 (en) 2014-12-10
EP2811739A4 (en) 2016-01-20
US20150070458A1 (en) 2015-03-12
US9307194B2 (en) 2016-04-05

Similar Documents

Publication Publication Date Title
WO2013115541A1 (ko) 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법
WO2015012441A1 (en) Digital device and control method thereof
WO2014104473A1 (en) Head mounted display and method of video communication using the same
WO2018128472A1 (en) Virtual reality experience sharing
WO2017090986A1 (en) Electronic apparatus and method for controlling electronic apparatus thereof
WO2019203528A1 (en) Electronic apparatus and method for controlling thereof
WO2015126006A1 (en) Head mounted display and method for controlling the same
WO2015030307A1 (en) Head mounted display device and method for controlling the same
WO2015012590A1 (en) Image photographing apparatus and method thereof
WO2018040269A1 (zh) 一种图像处理方法及终端
WO2020054978A1 (ko) 이미지 생성 장치 및 그 방법
WO2019139404A1 (ko) 전자 장치 및 그의 영상 처리 방법
WO2018097384A1 (ko) 밀집도 알림 장치 및 방법
WO2014148691A1 (en) Mobile device and method for controlling the same
WO2014073939A1 (en) Method and apparatus for capturing and displaying an image
WO2017204598A1 (ko) 촬영된 영상에 관한 데이터 프로토콜을 설정하는 단말기 및 방법
WO2021201593A1 (ko) 데이터의 제공 방법 및 이를 지원하는 전자 장치
WO2022045584A1 (ko) 이미지 통합 방법 및 시스템
WO2012036331A1 (ko) 이동 통신 단말기에서의 스케쥴 입력 방법 및 장치
EP3520425A1 (en) System and method for monitoring multi-projection theater
KR101293063B1 (ko) 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법
WO2012169693A1 (ko) 영상처리방법 및 영상처리장치
WO2018070638A1 (en) Display apparatus and method for generating capture image
WO2022244920A1 (ko) 휴대 단말기 및 단말기 거치대의 제어 방법
WO2021107243A1 (ko) 보안 환경에서의 외부 영상 정보 전송 시스템 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13743668

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013743668

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14122912

Country of ref document: US