KR101965310B1 - Terminals, server for controlling video calling, system and method for video calling using the same - Google Patents

Terminals, server for controlling video calling, system and method for video calling using the same Download PDF

Info

Publication number
KR101965310B1
KR101965310B1 KR1020120135149A KR20120135149A KR101965310B1 KR 101965310 B1 KR101965310 B1 KR 101965310B1 KR 1020120135149 A KR1020120135149 A KR 1020120135149A KR 20120135149 A KR20120135149 A KR 20120135149A KR 101965310 B1 KR101965310 B1 KR 101965310B1
Authority
KR
South Korea
Prior art keywords
terminal
image
video call
video
control server
Prior art date
Application number
KR1020120135149A
Other languages
Korean (ko)
Other versions
KR20140070768A (en
Inventor
윤희태
문정환
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020120135149A priority Critical patent/KR101965310B1/en
Priority to PCT/KR2013/000703 priority patent/WO2013115541A1/en
Priority to US14/122,912 priority patent/US9307194B2/en
Priority to CN201380007775.5A priority patent/CN104094593B/en
Priority to EP13743668.9A priority patent/EP2811739B1/en
Publication of KR20140070768A publication Critical patent/KR20140070768A/en
Application granted granted Critical
Publication of KR101965310B1 publication Critical patent/KR101965310B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법이 개시된다. 본 발명의 일 실시예에 따른 영상 통화 시스템은, 영상 통화 사용자를 촬영하고, 감지된 자세 정보에 따라 촬영 영상을 회전하여 전송하는 복수 개의 단말기 및 복수 개의 단말기가 전송하는 영상들을 통해 단말기의 화면 모드를 확인하여 단말기의 화면 모드에 따른 합성 영상을 형성하며, 합성 영상을 단말기로 전송하는 영상 통화 제어 서버를 포함한다.A terminal, a video call control server, and a video call system and method using the same are disclosed. A video call system according to an exemplary embodiment of the present invention includes a plurality of terminals for capturing a video call user and rotating and transmitting a captured image according to detected attitude information, And forms a composite image according to the screen mode of the terminal, and transmits the synthesized image to the terminal.

Figure R1020120135149
Figure R1020120135149

Description

단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법{TERMINALS, SERVER FOR CONTROLLING VIDEO CALLING, SYSTEM AND METHOD FOR VIDEO CALLING USING THE SAME}TECHNICAL FIELD [0001] The present invention relates to a terminal, a video call control server, and a video call system and method using the terminal, a video call control server,

본 발명의 실시예는 영상 통화 기술에 관한 것으로서, 보다 상세하게는 각 사용자들이 기준 자세와 동일한 방향으로의 영상 화면을 볼 수 있도록 하는 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법에 관한 것이다.
The present invention relates to a video call technology, and more particularly, to a terminal, a video call control server, and a video call system and method using the same that allow each user to view a video screen in the same direction as a reference posture .

최근, 정보 통신 기술이 발달하면서 휴대 단말기를 통해 음성 통화뿐만 아니라 영상 통화도 가능하게 되었다. 영상 통화 서비스는 휴대 단말기에 부착된 카메라를 통해 자신의 영상을 촬영한 후, 상대편 휴대 단말기로 각각 전송하여 상호 간에 상대방의 얼굴을 보면서 통화를 할 수 있는 서비스이다.Recently, with the development of information and communication technology, not only voice communication but also video communication have become possible through a portable terminal. The video call service is a service for taking a video of a user through a camera attached to the portable terminal and transmitting the video to the partner portable terminal so that they can talk while watching each other's faces.

영상 통화 서비스는 발신자와 착신자 간의 일대일 영상 통화와 다자간의 영상 통화로 분류할 수 있다. 여기서, 다자간의 영상 통화는 주로 MCU(Multipoint Control Unit)라고 하는 제어 장치를 통해 이루어졌다. MCU는 각 휴대 단말기가 전송하는 음성 및 영상을 수신하고, 복수 개의 음성 및 영상을 각각 하나의 음성 및 영상으로 합성한 후, 각 휴대 단말기로 전송해주는 장치를 말한다.The video call service can be classified into a one-to-one video call between a caller and a called party and a multi-party video call. Here, a multi-party video call is mainly performed through a control unit called an MCU (Multipoint Control Unit). The MCU is a device that receives voice and video transmitted from each portable terminal, synthesizes a plurality of voice and image into one voice and image, and transmits the combined voice and image to each portable terminal.

도 1은 종래의 MCU(Multipoint Control Unit)를 이용한 다자간 영상 통화 시스템을 나타낸 도면이다.1 is a diagram illustrating a conventional multi-point video communication system using an MCU (Multipoint Control Unit).

도 1을 참조하면, 종래의 다자간 영상 통화 시스템에서, MCU(20)는 각 휴대 단말기(11, 12, 13, 14)가 전송하는 영상(a, b, c, d)들을 그대로 합성한 후, 합성된 영상(I)을 각 휴대 단말기(11, 12, 13, 14)로 전달하였기 때문에, 각 휴대 단말기(11, 12, 13, 14)의 촬영 시 자세에 따라 합성된 영상(I) 내의 영상(a, b, c, d)들이 서로 다른 자세를 가질 수 있게 된다. 1, in the conventional multi-party video communication system, the MCU 20 synthesizes the images a, b, c, and d transmitted by the portable terminals 11, 12, 13, The synthesized image I is transmitted to each of the portable terminals 11, 12, 13 and 14 so that the images in the synthesized image I according to the posture of the portable terminals 11, 12, 13, (a, b, c, d) can have different postures.

예를 들어, 휴대 단말기(11) 및 휴대 단말기(14)는 기준 자세에서 오른쪽으로 90도 각도로 회전된 상태에서 촬영하고, 휴대 단말기(12) 및 휴대 단말기(13)는 기준 자세에서 촬영한 경우, 휴대 단말기(11) 및 휴대 단말기(14)가 촬영한 영상(a) 및 영상(d)은 MCU(20)에서 각각 왼쪽으로 90도 각도로 회전된 자세로 합성되고, 휴대 단말기(12) 및 휴대 단말기(13)가 촬영한 영상(b) 및 영상(c)은 MCU(20)에서 기준 자세로 합성되게 된다. For example, when the portable terminal 11 and the portable terminal 14 are photographed while being rotated at an angle of 90 degrees to the right in the reference position and the portable terminal 12 and the portable terminal 13 are photographed in the reference position The images a and d captured by the portable terminal 11 and the portable terminal 14 are synthesized in a posture rotated to the left by 90 degrees in the MCU 20, The image b and the image c captured by the portable terminal 13 are synthesized from the MCU 20 to the reference posture.

이 경우, 각 휴대 단말기(11, 12, 13, 14)의 사용자가 합성된 영상(I)을 보게 되면, 합성된 영상(I)내에서 영상(a) 및 영상(d)가 왼쪽으로 90도 누운 상태로 보이기 때문에, 영상 통화 시 이질감을 느끼고 화면을 보는데 불편함이 있게 된다.
In this case, when the user of each of the portable terminals 11, 12, 13, and 14 sees the combined image I, the images a and d in the combined image I are rotated 90 degrees to the left Since it appears to be lying down, it is inconvenient to feel a sense of heterogeneity in the video call and view the screen.

본 발명의 실시예는 단말기가 회전되더라도 각 영상 통화 사용자들이 촬영 영상 내에서 기준 방향을 유지하면서 촬영 영상 내에 표시되도록 하는 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법을 제공하고자 한다.
An embodiment of the present invention is to provide a terminal, a video call control server, and a video call system and a method using the terminal, which allow each video call user to display a captured video in a captured image while maintaining a reference direction in a captured video even if the terminal is rotated.

본 발명의 일 실시예에 따른 영상 통화 시스템은, 영상 통화 사용자를 촬영하고, 감지된 자세 정보에 따라 촬영 영상을 회전하여 전송하는 복수 개의 단말기; 및 상기 복수 개의 단말기가 전송하는 영상들을 통해 상기단말기의 화면 모드를 확인하여 상기 단말기의 화면 모드에 따른 합성 영상을 형성하며, 상기 합성 영상을 상기 단말기로 전송하는 영상 통화 제어 서버를 포함한다.A video call system according to an embodiment of the present invention includes a plurality of terminals for photographing a video call user, rotating the shot video according to detected attitude information, and transmitting the shot video; And a video call control server for confirming a screen mode of the terminal through the images transmitted by the plurality of terminals and forming a composite image according to a screen mode of the terminal, and transmitting the composite image to the terminal.

본 발명의 일 실시예에 따른 영상 통화 방법은, 복수 개의단말기가 영상 통화 사용자를 촬영하고, 감지된 자세 정보에 따라 촬영 영상을 회전하여 영상 통화 제어 서버로 전송하는 단계; 상기 영상 통화 제어 서버가 상기 단말기가 전송한 영상을 통해 상기 단말기의 화면 모드를 확인하여 상기 단말기의 화면 모드에 따른 합성 영상을 형성하는 단계; 및 상기 영상 통화 제어 서버가 상기 합성 영상을 해당 단말기로 전송하는 단계를 포함한다.According to another aspect of the present invention, there is provided a video call method, comprising: capturing a video call user by a plurality of terminals, rotating an image captured according to detected attitude information, and transmitting the rotated image to a video call control server; Checking the screen mode of the terminal through the video transmitted from the terminal by the video call control server to form a composite image according to the screen mode of the terminal; And the video call control server transmitting the composite video to the terminal.

본 발명의 일 실시예에 따른 단말기는, 영상 통화 시스템에 사용되는 단말기에 있어서, 영상 통화 사용자를 촬영하는 촬영부; 상기 단말기의 자세 정보를 감지하는 자세 정보 감지부; 상기 자세 정보에 따라 상기 촬영부가 촬영한 영상을 회전시키는 영상 회전부; 및 상기 촬영부가 촬영한 영상 또는 상기 영상 회전부가 회전시킨 영상을 전송하는 영상 통화부를 포함한다.According to another aspect of the present invention, there is provided a terminal for use in a video call system, comprising: a photographing unit for photographing a video call user; An attitude information sensing unit for sensing attitude information of the terminal; An image rotation unit for rotating the image photographed by the photographing unit according to the attitude information; And a video communication unit for transmitting the video shot by the shooting unit or the video rotated by the video rotation unit.

본 발명의 일 실시예에 따른 영상 통화 제어 서버는, 복수개의 단말기들로부터 영상 통화 사용자를 촬영한 영상을 수신하는 통신부; 상기 단말기로부터 수신한 영상을 분석하여 상기 단말기의 화면 모드를 검출하는 영상 분석부; 및 상기 단말기들로부터 수신한 영상들을 상기 단말기의 화면 모드에 따라 합성하여 합성 영상을 형성하는 합성 영상 형성부를 포함하며, 상기 통신부는, 상기 합성 영상을 해당 단말기로 전송한다.
A video call control server according to an embodiment of the present invention includes a communication unit for receiving an image of a video call user from a plurality of terminals; An image analyzer for analyzing an image received from the terminal and detecting a screen mode of the terminal; And a composite image forming unit for composing images received from the terminals according to a screen mode of the terminal to form a composite image, and the communication unit transmits the composite image to the corresponding terminal.

본 발명의 실시예에 의하면, 각 단말기가 자신의 자세 정보에 따라 촬영 영상을 회전하여 영상 통화 제어 서버로 전송하고, 영상 통화 제어 서버가 각 단말기의 현재 화면 모드에 따라 합성 영상을 형성하여 해당 단말기로 전송함으로써, 각 단말기가 서로 다른 자세에서 사용자를 촬영하여 영상 통화를 수행하더라도 영상 통화 제어 서버로부터 각 영상 내의 영상 통화 사용자들이 기준 방향으로 표시된 합성 영상을 수신할 수 있게 된다. 이 경우, 각 단말기의 사용자들은 다른 사용자들의 영상이 회전된 상태로 보이는 것에 따른 이질감 및 불편함이 없이 영상 통화를 수행할 수 있게 된다.
According to the embodiment of the present invention, each terminal rotates the photographed image according to its own attitude information and transmits it to the video call control server, and the video call control server forms a composite video according to the current screen mode of each terminal, So that the video call users in each video can receive the composite video displayed in the reference direction from the video call control server even if each terminal picks up the user and photographs the video in different attitudes. In this case, the users of each terminal can perform the video call without any sense of discomfort and inconvenience as the images of the other users appear rotated.

도 1은 종래의 MCU(Multipoint Control Unit)를 이용한 다자간 영상 통화 시스템을 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 영상 통화 시스템을 나타낸 도면.
도 3은 본 발명의 일 실시예에 따른 단말기가 기준 자세에서 시계 방향으로 90도씩 회전된 상태 및 기준 자세에서 회전된 상태에 따라 촬영 영상을 회전한 상태를 나타낸 도면.
도 4는 본 발명의 일 실시예에 따른 영상 통화 제어 서버가 각 단말기로부터 전송된 영상으로 합성 영상을 형성하는 상태를 나타낸 도면.
도 5는 본 발명의 일 실시예에 따른 단말기의 구성을 나타낸 도면.
도 6은 본 발명의 일 실시예에 따른 영상 통화 제어 서버의 구성을 나타낸 도면.
도 7은 본 발명의 일 실시예에 따른 영상 통화 방법을 나타낸 순서도.Brief Description of the Drawings Fig. 1 is a diagram showing a multi-party video call system using a conventional MCU (Multipoint Control Unit).
2 illustrates a video call system according to an embodiment of the present invention.
FIG. 3 is a view illustrating a state where a terminal according to an embodiment of the present invention is rotated in 90 degrees in a clockwise direction from a reference position and rotated in a reference position. FIG.
4 is a diagram illustrating a state in which a video call control server according to an embodiment of the present invention forms a composite image from an image transmitted from each terminal.
5 is a diagram illustrating a configuration of a terminal according to an embodiment of the present invention.
6 is a diagram illustrating a configuration of a video call control server according to an embodiment of the present invention.
7 is a flowchart illustrating a video call method according to an embodiment of the present invention.

이하, 도 2 내지 도 7을 참조하여 본 발명의 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법의 구체적인 실시예를 설명하기로 한다. 그러나 이는 예시적 실시예에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, a terminal, a video call control server, and a video call system and method using the same according to the present invention will be described with reference to FIG. 2 to FIG. However, this is an exemplary embodiment only and the present invention is not limited thereto.

본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intention or custom of the user, the operator, and the like. Therefore, the definition should be based on the contents throughout this specification.

본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
The technical idea of the present invention is determined by the claims, and the following embodiments are merely a means for efficiently describing the technical idea of the present invention to a person having ordinary skill in the art to which the present invention belongs.

도 2는 본 발명의 일 실시예에 따른 영상 통화 시스템을 나타낸 도면이다.2 is a diagram illustrating a video call system according to an embodiment of the present invention.

도 2를 참조하면, 영상 통화 시스템(100)은 복수 개의 단말기(102) 및 영상 통화 제어 서버(104)를 포함한다. 여기서는 단말기(102)가 4대인 것으로 도시하였으나, 이에 한정되는 것은 아니며 단말기(102)는 2대 이상의 단말기가 사용될 수 있다.Referring to FIG. 2, the video call system 100 includes a plurality of terminals 102 and a video call control server 104. Although the number of the terminals 102 is shown here as four, the terminal 102 is not limited thereto and two or more terminals may be used.

각 단말기(102)는 영상 통화 제어 서버(104)로 영상 통화 요청을 수행한다. 단말기(102)는 휴대 단말기, 고정 단말기, 무선 단말기, 유선 단말기 등 영상 통화가 가능한 모든 단말기를 포함할 수 있다. 예를 들어, 스마트폰 등의 휴대 전화, PDA, 태블릿, 랩탑 컴퓨터 또는 데스크탑 컴퓨터 등의 본 발명에서의 단말기가 될 수 잇다. 여기서는, 단말기(102)의 일 예로 휴대 전화 형태의 휴대 단말기를 도시하였으나, 이에 한정되는 것은 아니다. Each terminal 102 performs a video call request to the video call control server 104. The terminal 102 may include all terminals capable of video communication, such as a portable terminal, a fixed terminal, a wireless terminal, and a wired terminal. For example, a mobile phone such as a smart phone, a PDA, a tablet, a laptop computer, a desktop computer, or the like in the present invention. Here, a mobile terminal in the form of a cellular phone is shown as an example of the terminal 102, but the present invention is not limited thereto.

각 단말기(102)는 자신이 촬영한 영상을 영상 통화 제어 서버(104)로 전송한다. 이때, 각 단말기(102)는 자신의 자세 정보를 확인한 후, 해당 자세 정보에 따라 촬영 영상을 회전하여 영상 통화 제어 서버(104)로 전송한다. 여기서, 자세 정보란 단말기(102)의 현재 자세가 기 설정된 기준 자세로부터 얼마만큼 회전된 상태에 있는지 여부를 나타내는 정보를 말한다.Each terminal 102 transmits the image photographed by the terminal 102 to the video call control server 104. At this time, each terminal 102 confirms its attitude information, and rotates the photographed image according to the attitude information and transmits it to the video call control server 104. Here, the posture information refers to information indicating whether the current posture of the terminal 102 is rotated from a predetermined reference posture.

도 3은 본 발명의 일 실시예에 따른 단말기가 기준 자세에서 시계 방향으로 90도씩 회전된 상태 및 기준 자세에서 회전된 상태에 따라 촬영 영상을 회전한 상태를 나타낸 도면이다.FIG. 3 is a view illustrating a state where a terminal according to an embodiment of the present invention is rotated in 90 degrees clockwise from a reference position and rotated in a reference position. FIG.

도 3을 참조하면, 각 단말기(102)는 예를 들어, 기준 자세(도 3의 a), 기준 자세로부터 시계 방향으로 90도 각도로 회전된 상태(다시 말하면, 기준 자세로부터 반 시계 방향으로 270도 각도로 회전된 상태)(도 3의 b), 기준 자세로부터 시계 방향으로 180도 각도로 회전된 상태(다시 말하면, 기준 자세로부터 반 시계 방향으로 180도 각도로 회전된 상태)(도 3의 c), 기준 자세로부터 시계 방향으로 270도 각도로 회전된 상태(다시 말하면, 기준 자세로부터 반 시계 방향으로 90도 각도로 회전된 상태)(도 3의 d)에 있을 수 있게 된다. 3, each terminal 102 has a reference posture (a in FIG. 3), a state rotated clockwise from the reference posture at an angle of 90 degrees (that is, (Fig. 3 (b)), a state of being rotated 180 degrees clockwise from the reference posture (that is, a state rotated 180 degrees counterclockwise from the reference posture) c), and can be in a state of being rotated at 270 degrees clockwise from the reference posture (that is, rotated 90 degrees counterclockwise from the reference posture) (d in FIG. 3).

여기서, 단말기(102)는 기준 자세로부터 90도 단위(즉, 0도, 90도, 180도, 270도)로 회전 상태가 변경되는데, 이는 사용자가 단말기(102)를 어느 정도로 회전시키는가에 따라 달라지게 된다. 또한, 사용자가 직접 손에 들고 사용하는 단말기(102)의 특성 상 정확한 각도로 단말기를 회전하는 것은 불가능하므로, 단말기(102)는 단말기의 회전 각도의 임계값을 미리 설정하여 두었다가 이에 따라 회전 상태를 변경할 수 있다. 예를 들어, 단말기(102)의 회전 각도가 -45도 이상 45도 미만인 경우 기준 상태, 46도 이상 135도 미만인 경우 시계 방향으로 90도 회전된 상태, 135도 이상 225도 미만인 경우 시계 방향으로 180도 회전된 상태, 225도 이상 315도 미만인 경우 시계 방향으로 275도 회전된 상태로 설정할 수 있다.Here, the rotation state of the terminal 102 is changed in units of 90 degrees (i.e., 0 degrees, 90 degrees, 180 degrees, 270 degrees) from the reference posture, depending on how much the user rotates the terminal 102 . In addition, since it is not possible to rotate the terminal at an accurate angle due to the characteristics of the terminal 102 that the user directly hands and uses, the terminal 102 sets a threshold value of the rotation angle of the terminal in advance, Can be changed. For example, when the rotation angle of the terminal 102 is -45 degrees or more and less than 45 degrees, it is in the reference state, when the angle is more than 46 degrees and less than 135 degrees, it is rotated 90 degrees clockwise, And when it is in the rotated state, or in a range of more than 225 degrees and less than 315 degrees, it can be set to be rotated 275 degrees clockwise.

여기서는, 단말기(102) 화면이 가로로 놓인 상태를 기준 자세로 하였으나, 이에 한정되는 것은 아니며 단말기(102) 화면이 세로로 놓인 상태를 기준 자세로 할 수도 있다. 이때, 단말기(102)의 기준 자세는 단말기(102)의 설정 또는 통신사의 정책 등에 따라 달라질 수 있다. Here, the state in which the screen of the terminal 102 is horizontally positioned is referred to as a reference posture, but the present invention is not limited thereto, and a state in which the screen of the terminal 102 is placed vertically may be regarded as a reference posture. At this time, the reference posture of the terminal 102 may be changed according to the setting of the terminal 102 or the policy of the communication company.

도 3의 (a)에 도시된 바와 같이, 단말기(102)가 기준 자세에 있는 경우, 단말기(102)는 촬영한 영상을 바로 영상 통화 제어 서버(104)로 전송한다. 여기서, 영상 통화 제어 서버(104)로 전송되는 영상은 가로 화면 모드로 전송된다. 가로 화면 모드란 해당 영상의 가로 화면 길이(또는 해상도)가 세로 화면 길이보다 긴 경우를 말한다. 예를 들어, 가로 화면 모드는 해당 영상의 가로 대 세로 화면 비율이 4:3 또는 16:9인 경우를 말한다.As shown in FIG. 3A, when the terminal 102 is in the reference posture, the terminal 102 transmits the photographed image directly to the video call control server 104. Here, the image transmitted to the video call control server 104 is transmitted in the landscape mode. The horizontal screen mode refers to a case where the horizontal screen length (or resolution) of the image is longer than the vertical screen length. For example, the horizontal screen mode refers to a case where the aspect ratio of the image is 4: 3 or 16: 9.

도 3의 (b)에 도시된 바와 같이, 단말기(102)가 기준 자세로부터 시계 방향으로 90도 각도로 회전된 상태에 있는 경우, 단말기(102)가 촬영한 영상은 반 시계 방향으로 90도 각도로 회전되어 표시되게 된다. 이때, 단말기(102)는 영상 통화 사용자가 촬영 영상 내에서 기준 방향으로 표시되도록 촬영 영상을 시계 방향으로 90도 회전한 후, 영상 통화 제어 서버(104)로 전송한다. 기준 방향은 영상 통화 사용자가 촬영 영상 내에서 정상적인 자세(예를 들어, 영상 통화 사용자의 머리가 촬영 영상 내에서 윗 부분을 향하는 자세)로 표시되는 방향을 말한다. 여기서, 영상 통화 제어 서버(104)로 전송되는 영상은 세로 화면 모드로 전송된다. 세로 화면 모드란 해당 영상의 세로 화면 길이(또는 해상도)가 가로 화면 길이보다 긴 경우를 말한다. 예를 들어, 세로 화면 모드는 해당 영상의 가로 대 세로 화면 비율이 3:4 또는 9:16인 경우를 말한다.3 (b), when the terminal 102 is rotated in the clockwise direction from the reference posture at an angle of 90 degrees, the image captured by the terminal 102 is rotated 90 degrees in the counterclockwise direction As shown in FIG. At this time, the terminal 102 rotates the photographed image 90 degrees clockwise so that the video call user is displayed in the reference direction in the photographed image, and then transmits the rotated image to the video call control server 104. The reference direction refers to a direction in which a video call user is displayed in a normal posture (for example, a posture in which the head of the video call user faces the upper part in the captured image) in the captured image. Here, the image transmitted to the video call control server 104 is transmitted in the portrait mode. The vertical screen mode refers to a case where the vertical screen length (or resolution) of the image is longer than the horizontal screen length. For example, the vertical screen mode refers to a case where the aspect ratio of the image is 3: 4 or 9: 16.

도 3의 (c)에 도시된 바와 같이, 단말기(102)가 기준 자세로부터 시계 방향으로 180도 각도로 회전된 상태에 있는 경우, 단말기(102)가 촬영한 영상은 반 시계 방향으로 180도 각도로 회전되어 표시되게 된다. 이때, 단말기(102)는 영상 통화 사용자가 촬영 영상 내에서 기준 방향으로 표시되도록 촬영 영상을 시계 방향으로 180도 회전한 후, 영상 통화 제어 서버(104)로 전송한다. 여기서, 영상 통화 제어 서버(104)로 전송되는 영상은 가로 화면 모드로 전송된다.3 (c), when the terminal 102 is rotated at an angle of 180 degrees clockwise from the reference posture, the image captured by the terminal 102 is rotated 180 degrees in the counterclockwise direction As shown in FIG. At this time, the terminal 102 rotates the photographed image 180 degrees clockwise so that the video call user is displayed in the reference direction in the photographed image, and then transmits the rotated image to the video call control server 104. Here, the image transmitted to the video call control server 104 is transmitted in the landscape mode.

도 3의 (d)에 도시된 바와 같이, 단말기(102)가 기준 자세로부터 시계 방향으로 270도 각도로 회전된 상태에 있는 경우, 단말기(102)가 촬영한 영상은 반 시계 방향으로 270도 각도로 회전되어 표시되게 된다. 이때, 단말기(102)는 영상 통화 사용자가 촬영 영상 내에서 기준 방향으로 표시되도록 촬영 영상을 시계 방향으로 270도 회전한 후, 영상 통화 제어 서버(104)로 전송한다. 여기서, 영상 통화 제어 서버(104)로 전송되는 영상은 세로 화면 모드로 전송된다. 3 (d), when the terminal 102 is rotated at a 270-degree angle clockwise from the reference posture, the image taken by the terminal 102 is rotated 270 degrees in the counterclockwise direction As shown in FIG. At this time, the terminal 102 rotates the photographed image clockwise by 270 degrees so that the video call user is displayed in the reference direction in the photographed image, and then transmits the photographed image to the video call control server 104. Here, the image transmitted to the video call control server 104 is transmitted in the portrait mode.

이와 같이, 각 단말기(102)는 자신의 현재 자세가 기준 자세로부터 얼마만큼 회전된 상태에 있는지를 확인한 후(즉, 자세 정보를 확인한 후), 확인된 자세 정보에 따라 촬영 영상을 회전하여 영상 통화 제어 서버(104)로 전송한다. 여기서, 각 단말기(102)가 촬영 영상 내에서 영상 통화 사용자가 기준 방향으로 표시되도록 촬영 영상을 회전하면, 단말기(102)가 기준 자세로부터 회전된 상태에 있다 하더라도 회전된 영상 내에서 영상 통화 사용자는 기준 방향을 그대로 유지한 상태로 표시되게 된다.In this manner, each terminal 102 confirms how much its current posture is in the rotated state from the reference posture (i.e., after confirming the posture information), rotates the photographed image according to the confirmed posture information, To the control server 104. In this case, if the terminal 102 rotates the photographed image so that the video call user is displayed in the reference direction in the photographed image, even if the terminal 102 is rotated from the reference posture, It is displayed in a state in which the reference direction is maintained as it is.

이때, 각 단말기(102)는 촬영 영상을 전송한 후 자신의 자세가 변경되는 경우, 전술한 것과 동일한 방법으로 변경된 자세에 대응하여 촬영 영상을 회전한 후 영상 통화 제어 서버(104)로 전송할 수 있다. 그러면, 영상 통화 제어 서버(104)는 변경된 자세에 대응하여 회전된 촬영 영상을 분석한 후, 해당 단말기(102)의 현재 화면 모드에 대응하는 합성 영상을 형성할 수 있다.At this time, when each of the terminals 102 changes its posture after transmitting the photographed image, the photographed image may be rotated in accordance with the changed posture in the same manner as described above, and then transmitted to the video call control server 104 . Then, the video call control server 104 analyzes the rotated photographed image corresponding to the changed posture, and forms a composite image corresponding to the current screen mode of the terminal 102. [

여기서는, 단말기(102) 화면이 가로로 놓인 상태를 기준 자세로 하였기 때문에, 도 3의 (a) 및 (c)는 가로 화면 모드로 영상이 전송되고, 도 3의 (b) 및 (d)는 세로 화면 모드로 영상이 전송되는 것으로 도시하였으나, 이에 한정되는 것은 아니다.
3 (a) and 3 (c) illustrate a case where an image is transferred in the horizontal screen mode, and FIGS. 3 (b) and 3 (d) The image is transmitted in the vertical screen mode, but the present invention is not limited thereto.

영상 통화 제어 서버(104)는 각 단말기(102)로부터 전송된 각 영상을 합성하여 하나의 합성 영상을 형성한다. 이때, 영상 통화 제어 서버(104)는 해당 단말기(102)의 현재 화면 모드(즉, 가로 화면 모드 또는 세로 화면 모드)에 따라 합성 영상을 형성할 수 있다. The video call control server 104 combines each image transmitted from each terminal 102 to form one composite image. At this time, the video call control server 104 may form a composite image according to the current screen mode (i.e., the horizontal screen mode or the vertical screen mode) of the terminal 102. [

구체적으로, 영상 통화 제어 서버(104)는 각 단말기(102)로부터 전송된 각 영상을 통해 해당 단말기(102)의 현재 화면 모드(즉, 가로 화면 모드 또는 세로 화면 모드)를 확인한 후, 해당 단말기(102)의 현재 화면 모드에 따라 합성 영상을 형성하여 해당 단말기(102)로 전송한다. 이때, 영상 통화 제어 서버(104)는 해당 단말기(102)의 화면 비율(즉, 가로 대 세로 화면 비율) 대로 합성 영상을 전송할 수 있다. 즉, 영상 통화 제어 서버(104)는 해당 단말기(102)의 현재 화면 모드 및 화면 비율에 따라 합성 영상을 형성하여 해당 단말기(102)로 전송할 수도 있다.Specifically, the video call control server 104 confirms the current screen mode (i.e., the horizontal screen mode or the vertical screen mode) of the corresponding terminal 102 through each image transmitted from each terminal 102, 102, and transmits the composite image to the corresponding terminal 102. [0034] FIG. At this time, the video call control server 104 can transmit the composite video according to the aspect ratio of the terminal 102 (i.e., the aspect ratio). That is, the video call control server 104 may form a composite image according to the current screen mode and the screen ratio of the terminal 102, and transmit the combined image to the corresponding terminal 102.

예를 들어, 소정 단말기(102)의 현재 화면 모드가 가로 화면 모드이고, 화면의 가로 대 세로 비율이 4:3인 경우, 영상 통화 제어 서버(104)는 합성 영상을 가로 화면 모드로 형성하면서 합성 영상의 가로 대 세로 화면 비율을 4:3으로 하여 해당 단말기(102)로 전송할 수 있다. 그리고, 소정 단말기(102)의 현재 화면 모드가 세로 화면 모드이고, 화면의 가로 대 세로 비율이 16:9인 경우, 영상 통화 제어 서버(104)는 합성 영상을 세로 화면 모드로 형성하면서 합성 영상의 세로 대 가로 화면 비율을 16:9로 하여 해당 단말기(102)로 전송할 수 있다.For example, when the current screen mode of the predetermined terminal 102 is the horizontal screen mode and the horizontal-to-vertical ratio of the screen is 4: 3, the video call control server 104 forms a composite image in a horizontal screen mode The aspect ratio of the image to the terminal 102 may be 4: 3. When the current screen mode of the predetermined terminal 102 is the vertical screen mode and the horizontal to vertical ratio of the screen is 16: 9, the video call control server 104 forms the synthesized video in the vertical screen mode, The vertical to horizontal aspect ratio can be set to 16: 9 and transmitted to the corresponding terminal 102.

이때, 영상 통화 제어 서버(104)는 각 단말기(102)의 화면 비율의 종류에 따라 그에 대응하는 개수의 합성 영상을 각각 형성한 후, 각 단말기(102)의 현재 화면 모드 및 화면 비율에 따른 합성 영상을 해당 단말기(102)로 전송할 수 있다. 예를 들어, 각 단말기(102)의 화면 비율이 4:3과 16:9의 두 종류인 경우, 영상 통화 제어 서버(104)는 가로 대 세로 화면 비율이 4:3인 합성 영상, 3:4인 합성 영상, 16:9인 합성 영상, 및 9:16인 합성 영상을 각각 형성한 후, 각 단말기(102)의 현재 화면 모드 및 화면 비율에 따라 해당 합성 영상을 각 단말기(102)로 전송할 수 있다.At this time, the video call control server 104 forms a number of composite images corresponding to the types of the screen ratios of the terminals 102, and then synthesizes them according to the current screen mode and the aspect ratio of each terminal 102 And transmits the image to the corresponding terminal 102. For example, if the aspect ratios of the terminals 102 are two types of 4: 3 and 16: 9, the video call control server 104 may generate a synthesized video having a 4: 3 aspect ratio and a 3: 4 16: 9, and 9:16, respectively. Then, the composite image is transmitted to each terminal 102 according to the current screen mode and the aspect ratio of each terminal 102 have.

영상 통화 제어 서버(104)는 각 단말기(102)로부터 영상이 전송될 때마다(또는 주기적으로) 영상을 분석하여 각 단말기(102)의 현재 화면 모드를 확인할 수 있다. 이때, 영상 통화 제어 서버(104)는 소정 단말기(102)의 현재 화면 모드가 변경된 경우, 변경된 화면 모드에 따라 합성 영상을 형성하여 해당 단말기(102)로 전송할 수 있다. 예를 들어, 사용자가 단말기(102)를 가로 방향에서 세로 방향으로 회전할 경우, 단말기(102)는 회전된 방향에 맞추어 영상을 회전하여 영상 통화 제어 서버(104)로 송신하며, 영상 통화 제어 서버(104)는 수신된 영상의 영상의 화면 모드가 가로 방향에서 세로 방향으로 변경된 것을 확인하고, 변경된 화면 모드에 맞추어 합성 영상을 생성할 수 있다.The video call control server 104 may analyze the video whenever the video is transmitted (or periodically) from each terminal 102 and confirm the current video mode of each terminal 102. [ At this time, when the current screen mode of the predetermined terminal 102 is changed, the video call control server 104 may form a composite image according to the changed screen mode and transmit the composite image to the corresponding terminal 102. For example, when the user rotates the terminal 102 in the vertical direction from the horizontal direction, the terminal 102 rotates the image according to the rotated direction and transmits the rotated image to the video call control server 104, The controller 104 can confirm that the screen mode of the image of the received image is changed from the horizontal direction to the vertical direction and generate a composite image according to the changed screen mode.

본 발명의 실시예에 의하면, 각 단말기(102)가 자신의 자세 정보에 따라 촬영 영상을 회전하여 영상 통화 제어 서버(104)로 전송하고, 영상 통화 제어 서버(104)가 각 단말기(102)의 현재 화면 모드에 따라 합성 영상을 형성하여 해당 단말기(102)로 전송함으로써, 각 단말기(102)가 서로 다른 자세에서 사용자를 촬영하여 영상 통화를 수행하더라도 영상 통화 제어 서버(104)로부터 영상 통화 사용자들이 영상 내에서 기준 방향으로 표시되는 합성 영상을 수신할 수 있게 된다. 이 경우, 각 단말기(102)의 사용자들은 다른 사용자들의 영상이 회전된 상태로 보이는 것에 따른 이질감 및 불편함이 없이 영상 통화를 수행할 수 있게 된다.
According to the embodiment of the present invention, each terminal 102 rotates the photographed image according to its own attitude information and transmits it to the video call control server 104, and the video call control server 104 transmits A composite image is formed according to the current screen mode and transmitted to the corresponding terminal 102 so that even if each terminal 102 shoots a user in a different attitude to perform a video call, The composite image displayed in the reference direction in the image can be received. In this case, the users of each terminal 102 can perform the video call without any sense of incongruity and inconvenience as the images of the other users appear to be rotated.

도 4는 본 발명의 일 실시예에 따른 영상 통화 제어 서버가 각 단말기로부터 전송된 영상으로 합성 영상을 형성하는 상태를 나타낸 도면이다.4 is a diagram illustrating a state in which a video call control server according to an embodiment of the present invention forms a composite image from an image transmitted from each terminal.

도 4를 참조하면, 제1 단말기(102-1)는 기준 자세에서 촬영한 영상을 바로 영상 통화 제어 서버(104)로 전송하고, 제2 단말기(102-2)는 기준 자세에서 시계 방향으로 90도 각도로 회전된 상태에서 촬영한 영상을 시계 방향으로 90도 각도로 회전한 후 영상 통화 제어 서버(104)로 전송하며, 제3 단말기(102-3)는 기준 자세에서 시계 방향으로 180도 각도로 회전된 상태에서 촬영한 영상을 시계 방향으로 180도 각도로 회전한 후 영상 통화 제어 서버(104)로 전송하고, 제4 단말기(102-4)는 시계 방향으로 270도 각도로 회전된 상태에서 촬영한 영상을 시계 방향으로 270도 각도로 회전한 후 영상 통화 제어 서버(104)로 전송하는 경우를 살펴보기로 한다. Referring to FIG. 4, the first terminal 102-1 transmits the image photographed in the reference posture to the video call control server 104, and the second terminal 102-2 transmits the image 90 The third terminal 102-3 rotates the image photographed in the rotated state at an angle of 90 degrees in a clockwise direction and transmits the rotated image to the video call control server 104. The third terminal 102-3 rotates the reference posture 180 degrees And transmits the rotated image to the video call control server 104. The fourth terminal 102-4 is rotated clockwise by 270 degrees, A case in which the photographed image is rotated clockwise by 270 degrees and then transmitted to the video call control server 104 will be described.

여기서는, 단말기(102) 화면이 가로로 놓인 상태를 기준 자세로 하였다. 이 경우, 제1 단말기(102-1) 및 제3 단말기(102-3)로부터 각각 전송된 영상(A, C)은 가로 화면 모드로 전송되고, 제2 단말기(102-2) 및 제4 단말기(102-4)로부터 각각 전송된 영상(B, D)은 세로 화면 모드로 전송된다. 그리고, 각 단말기(102)들의 가로 대 세로 화면 비율은 16:9인 것으로 하였다.Here, the state in which the screen of the terminal 102 is placed horizontally is set as the reference posture. In this case, the images A and C respectively transmitted from the first terminal 102-1 and the third terminal 102-3 are transmitted in the horizontal screen mode, and the second terminal 102-2 and the fourth terminal The images B and D respectively transmitted from the image processing unit 102-4 are transmitted in the portrait mode. In addition, it is assumed that the aspect ratio of each terminal 102 is 16: 9.

그러면, 영상 통화 제어 서버(104)는 제1 단말기(102-1) 및 제3 단말기(102-3)로부터 각각 전송된 영상(A, C)을 통해 제1 단말기(102-1) 및 제3 단말기(102-3)의 현재 화면 모드 및 화면 비율을 확인할 수 있다. 그리고, 영상 통화 제어 서버(104)는 제2 단말기(102-2) 및 제4 단말기(102-4)로부터 각각 전송된 영상(B, D)을 통해 제2 단말기(102-2) 및 제4 단말기(102-4)의 현재 화면 모드 및 화면 비율을 확인할 수 있다.Then, the video call control server 104 transmits the video data A and C to the first terminal 102-1 and the third terminal 102-3 through the video A and C respectively transmitted from the first terminal 102-1 and the third terminal 102-3. The current screen mode and screen ratio of the terminal 102-3 can be confirmed. Then, the video call control server 104 transmits the second terminal 102-2 and the fourth terminal 102-2 via the images B and D respectively transmitted from the second terminal 102-2 and the fourth terminal 102-4, The current screen mode and screen ratio of the terminal 102-4 can be confirmed.

이 경우, 영상 통화 제어 서버(104)는 영상(A, B, C, D)을 가로 화면 모드로 형성하면서 가로 대 세로 비율이 16:9가 되도록 합성 영상(I')을 형성한 후, 합성 영상(I')을 제1 단말기(102-1) 및 제3 단말기(102-3)로 전송해준다. 그리고, 영상 통화 제어 서버(104)는 영상(A, B, C, D)을 세로 화면 모드로 형성하면서 세로 대 가로 비율이 16:9가 되도록 합성 영상(I'')을 형성한 후, 합성 영상(I'')을 제2 단말기(102-2) 및 제4 단말기(102-4)로 전송해준다. In this case, the video call control server 104 forms the composite image I 'so that the images A, B, C, and D are formed in the landscape mode and the aspect ratio is 16: 9, And transmits the image I 'to the first terminal 102-1 and the third terminal 102-3. Then, the video call control server 104 forms the composite image I '' so that the vertical to horizontal ratio is 16: 9 while forming the images A, B, C and D in the vertical screen mode, And transmits the image I '' to the second terminal 102-2 and the fourth terminal 102-4.

여기서는, 합성 영상(I')및 합성 영상(I'')내에서 각 영상(A, B, C, D)들이 원래 영상의 화면 비율을 그대로 갖는 것으로 도시하였으나, 이에 한정되는 것은 아니며, 합성 영상(I') 및 합성 영상(I'')내에서 각 영상(A, B, C, D)들은 원래 영상의 화면 비율 및 화면 크기 중 적어도 하나가 다르게 영상 처리되어 합성될 수도 있다. 예를 들어, 합성 영상(I') 내에서 각 영상(A, B, C, D)들이 원래 영상의 화면 비율을 그대로 갖는 경우, 합성 영상(I') 내에서 영상(B,D)의 좌우에는 빈 공간이 생기게 되며, 합성 영상(I'')의 경우에는 영상(A, C)의 상하에 빈 공간이 생기게 된다. 이를 해결하기 위하여, 합성 영상(I', I'') 내에서 각 영상의 상하 또는 좌우에 빈 공간이 생기지 않도록 영상의 화면 비율 및 화면 크기를 조절하여 합성할 수 있다. 예를 들어, 합성 영상(I') 내에서 영상 통화 사용자가 얼굴이 해당 화면 전체를 차지하도록 영상(B, D)의 상하를 잘라내고 크기를 조절하거나, 합성 영상(I'')의 경우에는 영상 (A, C)의 좌우를 잘라낼 수 있다. 또한, 화면 합성 시 영상의 일부를 잘라낼 경우에는 영상 내 얼굴을 인식하여 사람의 얼굴이 잘리지 않도록 할 수도 있다. 영상 인식 기술은 본 발명이 속하는 기술분야에서 잘 알려져 있으므로 이에 대해서는 상세한 설명을 생략한다.
Here, although the images A, B, C, and D in the composite image I 'and the composite image I''are shown to have the same aspect ratio of the original image, the present invention is not limited thereto, Each of the images A, B, C, and D within the composite image I 'and the composite image I''may be synthesized and processed by at least one of an aspect ratio and a screen size of the original image. For example, if each image A, B, C and D in the composite image I 'has the same aspect ratio of the original image, the left and right sides of the images B and D in the composite image I' And a blank space is created above and below the images A and C in the case of the composite image I ''. In order to solve this problem, it is possible to adjust the aspect ratio and the screen size of the image so that there is no space at the top, bottom, left and right of each image in the composite image (I ', I''). For example, the upper and lower sides of the images B and D are cut and adjusted in size so that the face call user occupies the entire screen in the composite image I ', or in the case of the composite image I'' The left and right sides of the images A and C can be cut off. In addition, when a part of the image is cut off when synthesizing the image, the face in the image may be recognized so that the face of the person is not cut off. Since the image recognition technology is well known in the art to which the present invention belongs, a detailed description thereof will be omitted.

도 5는 본 발명의 일 실시예에 따른 단말기의 구성을 나타낸 도면이다.5 is a diagram illustrating a configuration of a terminal according to an embodiment of the present invention.

도 5를 참조하면, 단말기(102)는 촬영부(111), 자세 정보 감지부(113), 영상 회전부(115), 및 영상 통화부(117)를 포함한다.5, the terminal 102 includes a photographing unit 111, an attitude information sensing unit 113, an image rotation unit 115, and a video communication unit 117.

촬영부(111)는 카메라를 통해 전방을 촬영한다. 예를 들어, 영상 통화 시 촬영부(111)는 영상 통화 사용자를 촬영할 수 있다.The photographing section 111 photographs the front through the camera. For example, during the video call, the photographing unit 111 may photograph a video call user.

자세 정보 감지부(113)는 단말기(102)의 자세 정보를 감지한다. 즉, 자세 정보 감지부(113)는 단말기(102)가 기 설정된 기준 자세로부터 얼마만큼 회전된 상태에 있는지 여부를 감지한다. 자세 정보 감지부(113)는 예를 들어, 자이로 센서 또는 중력 센서 등을 포함할 수 있다.The posture information sensing unit 113 senses posture information of the terminal 102. [ That is, the posture information sensing unit 113 senses whether the terminal 102 is rotated from a predetermined reference posture. The posture information sensing unit 113 may include, for example, a gyro sensor or a gravity sensor.

영상 회전부(115)는 단말기(102)의 자세 정보에 따라 촬영부(111)가 촬영한 영상을 회전시킨다. 예를 들어, 영상 회전부(115)는 자세 정보 감지부(113)가 감지한 자세 정보를 확인하여 단말기(102)가 기준 자세로부터 회전된 상태에 있는 경우, 영상 내에서 영상 통화 사용자가 기준 방향으로 표시되도록 촬영부(111)가 촬영한 영상을 회전시킨다. 이 경우, 단말기(102)가 기준 자세로부터 회전된 상태에 있더라도 회전된 영상 내에서 영상 통화 사용자는 기준 방향을 유지한 상태로 표시되게 된다.The image rotation unit 115 rotates the image photographed by the photographing unit 111 according to the attitude information of the terminal 102. For example, when the terminal 102 is rotated from the reference posture, the image rotation unit 115 checks the posture information sensed by the posture information sensing unit 113, So that the photographing unit 111 rotates the photographed image. In this case, even if the terminal 102 is rotated from the reference posture, the video call user is displayed in a state of maintaining the reference direction in the rotated image.

영상 회전부(115)는 회전된 영상 또는 촬영부(111)가 촬영한 영상을 영상 통화부(117)로 전달한다. 즉, 영상 회전부(115)는 단말기(102)가 기준 자세를 유지하고 있는 경우, 촬영부(111)가 촬영한 영상을 그대로 영상 통화부(117)로 전달한다. The image rotation unit 115 transmits the rotated image or the image taken by the photographing unit 111 to the image communication unit 117. That is, when the terminal 102 maintains the reference posture, the image rotation unit 115 transfers the image captured by the photographing unit 111 to the video communication unit 117 as it is.

영상 통화부(117)는 영상 통화 제어 서버(104)로 영상 통화 요청을 수행한다. 영상 통화부(117)는 촬영부(111)가 촬영한 영상 또는 영상 회전부(115)에 의해 회전된 영상을 영상 통화 제어 서버(104)로 전송한다. 영상 통화부(117)는 영상 통화 제어 서버(104)로부터 합성 영상을 수신한다.
The video communication unit 117 requests the video call control server 104 to make a video call. The video communication unit 117 transmits the video captured by the video capture unit 111 or the video rotated by the video rotation unit 115 to the video call control server 104. The video communication unit 117 receives the composite video from the video call control server 104.

도 6은 본 발명의 일 실시예에 따른 영상 통화 제어 서버의 구성을 나타낸 도면이다.FIG. 6 is a diagram illustrating a configuration of a video call control server according to an embodiment of the present invention.

도 6을 참조하면, 영상 통화 제어 서버(104)는 통신부(121), 저장부(123), 영상 분석부(125), 및 합성 영상 형성부(127)를 포함한다.Referring to FIG. 6, the video call control server 104 includes a communication unit 121, a storage unit 123, an image analysis unit 125, and a composite image formation unit 127.

통신부(121)는 각 단말기(102)와 영상 통화를 위한 통신을 수행한다. 예를 들어, 통신부(121)는 각 단말기(102)로부터 촬영 영상을 수신한다. 이때, 촬영 영상은 영상 회전부(115)에 의해 회전된 영상일 수 있다. 또한, 통신부(121)는 합성 영상 형성부(127)가 형성한 합성 영상을 각 단말기(102)로 전송한다.The communication unit 121 communicates with each terminal 102 for video communication. For example, the communication unit 121 receives photographed images from each terminal 102. [ At this time, the photographed image may be an image rotated by the image rotating unit 115. Further, the communication unit 121 transmits the composite image formed by the composite image forming unit 127 to each terminal 102.

저장부(123)는 통신부(121)가 수신한 각 단말기(102)의 촬영 영상들을 저장한다. 저장부(123)는 합성 영상 형성부(127)가 형성한 합성 영상을 저장할 수도 있다.이때, 저장부(123)는 각 단말기(102)의 촬영 영상 및 합성 영상을 임시로 저장하는 버퍼일 수 있다.The storage unit 123 stores photographed images of the terminals 102 received by the communication unit 121. The storage unit 123 may store the composite image formed by the composite image forming unit 127. The storage unit 123 may be a buffer for temporarily storing the captured image and the composite image of each terminal 102 have.

영상 분석부(125)는 통신부(121)가 수신한 각 단말기(102)의 촬영 영상들을 분석하여 각 단말기(102)의 현재 화면 모드 및 화면 비율을 검출한다. 즉, 영상 분석부(125)는 각 단말기(102)의 촬영 영상의 가로 화면 길이(또는 해상도)와 세로 화면 길이(또는 해상도)를 분석하여 해당 단말기(102)의 현재 화면 모드 및 화면 비율을 검출한다.The image analyzing unit 125 analyzes the captured images of each terminal 102 received by the communication unit 121 and detects the current screen mode and aspect ratio of each terminal 102. [ That is, the image analysis unit 125 analyzes the horizontal screen length (or resolution) and the vertical screen length (or resolution) of the captured image of each terminal 102 and detects the current screen mode and the aspect ratio of the corresponding terminal 102 do.

합성 영상 형성부(127)는 각 단말기(102)로부터 수신한 촬영 영상들을 합성하여 합성 영상을 형성한다. 합성 영상 형성부(127)는 각 단말기(102)의 현재 화면 모드(가로 화면 모드 또는 세로 화면 모드)에 따라 합성 영상을 형성할 수 있다. 이때, 합성 영상 형성부(127)는 각 단말기(102)의 화면 비율대로 합성 영상을 형성할 수 있다.
The composite image forming unit 127 combines the photographed images received from each terminal 102 to form a composite image. The composite image forming unit 127 may form a composite image according to a current screen mode (a horizontal screen mode or a vertical screen mode) of each terminal 102. At this time, the composite image forming unit 127 can form a composite image according to the aspect ratios of the terminals 102.

도 7은 본 발명의 일 실시예에 따른 영상 통화 방법을 나타낸 순서도이다.7 is a flowchart illustrating a video call method according to an embodiment of the present invention.

도 7을 참조하면, 각 단말기(102)가 영상 통화 제어 서버(104)로 영상 통화 요청을 수행하면서, 자신의 자세 정보를 확인한다(S 101). 이때, 각 단말기(102)는 내부에 설치된 자이로 센서 또는 중력 센서 등을 통해 자신의 자세 정보를 확인할 수 있다.Referring to FIG. 7, each terminal 102 confirms its own attitude information while requesting a video call control server 104 to make a video call (S 101). At this time, each terminal 102 can confirm its own posture information through a gyro sensor or a gravity sensor installed therein.

다음으로, 각 단말기(102)가 자신의 자세 정보에 따라 촬영 영상을 회전하여 영상 통화 제어 서버(104)로 전송한다(S 103). 이때, 각 단말기(102)는 영상 내에서 영상 통화 사용자가 기 설정된 기준 방향으로 표시되도록 촬영 영상을 회전시킬 수 있다.Next, each terminal 102 rotates the photographed image according to its own attitude information and transmits it to the video call control server 104 (S103). At this time, each terminal 102 can rotate the photographed image so that the video call user is displayed in a predetermined reference direction in the video.

다음으로, 영상 통화 제어 서버(104)가 각 단말기(102)로부터 전송된 영상을 통해 각 단말기(102)의 현재 화면 모드 및 화면 비율을 확인한다(S 105).Next, the video call control server 104 confirms the current screen mode and the aspect ratio of each terminal 102 through the video transmitted from each terminal 102 (S 105).

다음으로, 영상 통화 제어 서버(104)가 각 단말기(102)로부터 전송된 영상을 이용하여 각 단말기(102)의 현재 화면 모드 및 화면 비율에 따른 합성 영상을 형성한 후, 합성 영상을 해당 단말기(102)로 전송한다(S 107).Next, the video call control server 104 forms a composite image according to the current screen mode and the aspect ratio of each terminal 102 using the image transmitted from each terminal 102, 102 (S 107).

한편, 각 단말기(102)는 영상 통화 중 자신의 자세가 변경되는 경우, 변경된 자세에 대응하여 촬영 영상을 회전한 후, 영상 통화 제어 서버(104)로 전송할 수 있다.그러면, 영상 통화 제어 서버(104)는 변경된 자세에 대응하여 회전된 촬영 영상을 분석한 후, 해당 단말기(102)의 현재 화면 모드에 대응하는 합성 영상을 형성하여 해당 단말기(102)로 전송할 수 있다.
When each of the terminals 102 changes its posture during a video call, the terminal 102 rotates the photographed image corresponding to the changed posture, and then transmits the rotated video to the video call control server 104. Then, 104 may analyze the rotated photographed image corresponding to the changed attitude and then form a composite image corresponding to the current screen mode of the terminal 102 and transmit the composite image to the corresponding terminal 102.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation, I will understand. Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be determined by equivalents to the appended claims, as well as the appended claims.

100 : 영상 통화 시스템 102 : 단말기
104 : 영상 통화 제어 서버 111 : 촬영부
113 : 자세 정보 감지부 115 : 영상 회전부
117 : 영상 통화부 121 : 통신부
123 : 저장부 125 : 영상 분석부
127 : 합성 영상 형성부100: video call system 102: terminal
104: Video call control server 111:
113: attitude information sensing unit 115: image rotation unit
117: video communication unit 121: communication unit
123: storage unit 125: image analysis unit
127: composite image forming section

Claims (15)

영상 통화 사용자를 촬영하고, 감지된 자세 정보에 따라 촬영 영상을 회전하여 전송하는 복수 개의 단말기; 및
상기 복수 개의 단말기가 전송하는 영상들을 통해 상기 각 단말기의 화면 모드 및 화면 비율을 확인하여 상기 각 단말기의 화면 모드 및 화면 비율에 따라 상기 각 단말기에 대한 합성 영상을 형성하며, 상기 각 단말기에 대한 합성 영상을 해당 단말기로 전송하는 영상 통화 제어 서버를 포함하는, 영상 통화 시스템.
A plurality of terminals for photographing a video call user and rotating and transmitting the photographed image according to the detected attitude information; And
A screen mode and an aspect ratio of each terminal are checked through images transmitted by the plurality of terminals to form a composite image for each terminal according to a screen mode and a screen ratio of each terminal, And a video call control server for transmitting the video to the terminal.
제1항에 있어서,
상기 자세 정보는,
상기 단말기의 기 설정된 기준 자세로부터의 회전된 상태를 나타내는, 영상 통화 시스템.
The method according to claim 1,
The posture information includes:
Wherein the terminal represents a rotated state from a predetermined reference posture of the terminal.
제1항에 있어서,
상기 단말기는,
상기 자세 정보에 따라 상기 영상 통화 사용자가 기 설정된 기준 방향을 유지하면서 상기 촬영 영상 내에서 표시되도록 상기 촬영 영상을 회전하여 전송하는, 영상 통화 시스템.
The method according to claim 1,
The terminal comprises:
Wherein the video call user rotates the photographed image so as to be displayed in the photographed image while maintaining the predetermined reference direction according to the attitude information.
제1항에 있어서,
상기 단말기는,
상기 영상 통화 중 상기 자세 정보가 변경되는 경우, 변경된 자세 정보에 따라 촬영 영상을 회전하여 전송하는, 영상 통화 시스템.
The method according to claim 1,
The terminal comprises:
Wherein when the attitude information of the video call is changed, the photographed image is rotated and transmitted according to the changed attitude information.
삭제delete 복수 개의 단말기가 영상 통화 사용자를 촬영하고, 감지된 자세 정보에 따라 촬영 영상을 회전하여 영상 통화 제어 서버로 전송하는 단계;
상기 영상 통화 제어 서버가 상기 각 단말기가 전송한 영상을 통해 상기 각 단말기의 화면 모드 및 화면 비율을 확인하여 상기 각 단말기의 화면 모드 및 화면 비율에 따라 상기 각 단말기에 대한 합성 영상을 형성하는 단계; 및
상기 영상 통화 제어 서버가 상기 각 단말기에 대한 합성 영상을 해당 단말기로 전송하는 단계를 포함하는, 영상 통화 방법.
The plurality of terminals photographs a video call user, rotates the photographed image according to the detected attitude information, and transmits the rotated photographed image to the video call control server;
Checking the screen mode and the aspect ratio of each terminal through the image transmitted by the terminal, and forming a composite image for each terminal according to the screen mode and the aspect ratio of each terminal; And
And the video call control server transmits a composite image for each terminal to the corresponding terminal.
제6항에 있어서,
상기 촬영 영상을 회전하여 영상 통화 제어 서버로 전송하는 단계는,
상기 단말기가 기 설정된 기준 자세로부터의 회전된 상태를 나타내는 자세 정보를 감지하는 단계를 포함하는, 영상 통화 방법.
The method according to claim 6,
Wherein the step of rotating the photographed image and transmitting the rotated image to the video call control server comprises:
And detecting the attitude information indicating the rotated state from the predetermined reference attitude by the terminal.
제6항에 있어서,
상기 촬영 영상을 회전하여 영상 통화 제어 서버로 전송하는 단계는,
상기 단말기가 상기 자세 정보에 따라 상기 영상 통화 사용자가 기 설정된 기준 방향을 유지하면서 상기 촬영 영상 내에서 표시되도록 상기 촬영 영상을 회전하여 전송하는, 영상 통화 방법.
The method according to claim 6,
Wherein the step of rotating the photographed image and transmitting the rotated image to the video call control server comprises:
Wherein the terminal rotates the photographed image so as to be displayed in the photographed image while the video call user maintains a preset reference direction according to the attitude information.
삭제delete 제6항에 있어서,
상기 촬영 영상을 회전하여 영상 통화 제어 서버로 전송하는 단계 이후에,
상기 단말기가 상기 자세 정보의 변경을 감지하는 단계; 및
상기 자세 정보가 변경된 경우, 상기 단말기가 변경된 자세 정보에 따라 촬영 영상을 회전하여 상기 영상 통화 제어 서버로 전송하는 단계를 더 포함하는, 영상 통화 방법.
The method according to claim 6,
After the step of rotating the photographed image and transmitting it to the video call control server,
Detecting the change of the attitude information by the terminal; And
Further comprising rotating the photographed image according to the changed attitude information and transmitting the rotated photographed image to the video call control server when the attitude information is changed.
영상 통화 시스템에 사용되는 단말기에 있어서,
영상 통화 사용자를 촬영하는 촬영부;
상기 단말기의 자세 정보를 감지하는 자세 정보 감지부;
상기 자세 정보에 따라 상기 영상 통화 사용자가 기 설정된 기준 방향을 유지하면서 상기 촬영부가 촬영한 영상 내에서 표시되도록 상기 촬영부가 촬영한 영상을 회전시키는 영상 회전부; 및
상기 촬영부가 촬영한 영상 또는 상기 영상 회전부가 회전시킨 영상을 전송하는 영상 통화부를 포함하는, 단말기.
A terminal used in a video communication system,
A photographing unit for photographing a video call user;
An attitude information sensing unit for sensing attitude information of the terminal;
An image rotating unit for rotating the image photographed by the photographing unit such that the photographing unit displays the image captured by the photographing unit while maintaining the preset reference direction according to the attitude information; And
And a video communication unit for transmitting the video shot by the shooting unit or the video rotated by the video rotation unit.
제11항에 있어서,
상기 자세 정보는,
상기 단말기의 기 설정된 기준 자세로부터의 회전된 상태를 나타내는, 단말기.
12. The method of claim 11,
The posture information includes:
Wherein the terminal indicates a rotated state from a predetermined reference posture of the terminal.
삭제delete 복수개의 단말기들로부터 영상 통화 사용자를 촬영한 영상을 수신하는 통신부;
상기 각 단말기로부터 수신한 영상을 분석하여 상기 각 단말기의 화면 모드 및 화면 비율을 검출하는 영상 분석부; 및
상기 각 단말기들로부터 수신한 영상들을 상기 각 단말기의 화면 모드 및 화면 비율에 따라 합성하여 상기 각 단말기에 대한 합성 영상을 형성하는 합성 영상 형성부를 포함하며,
상기 통신부는, 상기 각 단말기에 대한 합성 영상을 해당 단말기로 전송하는, 영상 통화 제어 서버.
A communication unit for receiving an image of a video call user from a plurality of terminals;
An image analyzer for analyzing images received from the terminals and detecting a screen mode and an aspect ratio of the terminals; And
And a composite image forming unit for combining the images received from the terminals according to the screen mode and the aspect ratio of each terminal to form a composite image for each terminal,
Wherein the communication unit transmits a composite image for each terminal to the terminal.
삭제delete
KR1020120135149A 2012-02-03 2012-11-27 Terminals, server for controlling video calling, system and method for video calling using the same KR101965310B1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120135149A KR101965310B1 (en) 2012-11-27 2012-11-27 Terminals, server for controlling video calling, system and method for video calling using the same
PCT/KR2013/000703 WO2013115541A1 (en) 2012-02-03 2013-01-29 Terminal, image communication control server, and system and method for image communication using same
US14/122,912 US9307194B2 (en) 2012-02-03 2013-01-29 System and method for video call
CN201380007775.5A CN104094593B (en) 2012-02-03 2013-01-29 Terminal, video calling control server and video call system and method using them
EP13743668.9A EP2811739B1 (en) 2012-02-03 2013-01-29 Terminal, image communication control server, and system and method for image communication using same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120135149A KR101965310B1 (en) 2012-11-27 2012-11-27 Terminals, server for controlling video calling, system and method for video calling using the same

Publications (2)

Publication Number Publication Date
KR20140070768A KR20140070768A (en) 2014-06-11
KR101965310B1 true KR101965310B1 (en) 2019-04-04

Family

ID=51125400

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120135149A KR101965310B1 (en) 2012-02-03 2012-11-27 Terminals, server for controlling video calling, system and method for video calling using the same

Country Status (1)

Country Link
KR (1) KR101965310B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019031622A1 (en) * 2017-08-08 2019-02-14 라인 가부시키가이샤 Method and system for providing group call screen
CN111918014B (en) * 2019-05-10 2022-10-04 腾讯科技（深圳）有限公司 Method and device for displaying video image

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013769A (en) * 1998-05-22 2000-01-14 Samsung Electron Co Ltd Multipoint image conference system and its realizing method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150624A (en) * 1996-11-15 1998-06-02 Nec Corp Digital camera with longitudinal shot deciding function

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013769A (en) * 1998-05-22 2000-01-14 Samsung Electron Co Ltd Multipoint image conference system and its realizing method

Also Published As

Publication number Publication date
KR20140070768A (en) 2014-06-11

Similar Documents

Publication Publication Date Title
US11785344B2 (en) Panoramic camera
US11509825B2 (en) Image management system, image management method, and computer program product
US20150070458A1 (en) System and method for video call
US9332208B2 (en) Imaging apparatus having a projector with automatic photography activation based on superimposition
US20100194860A1 (en) Method of stereoscopic 3d image capture using a mobile device, cradle or dongle
CN105554372B (en) Shooting method and device
US9373302B2 (en) Stacked device position identification
KR20160026251A (en) Method and electronic device for taking a photograph
US20140038560A1 (en) System for and method of transmitting communication information
CN106664361B (en) Information processing apparatus, information processing method, and computer-readable storage medium
US9052866B2 (en) Method, apparatus and computer-readable medium for image registration and display
CN103002244A (en) Interactive video call method and interactive video call terminal
KR101965310B1 (en) Terminals, server for controlling video calling, system and method for video calling using the same
WO2018184408A1 (en) Video recording method and device
KR101293063B1 (en) Terminals, server for controlling video calling, system and method for video calling using the same
US9756673B2 (en) Data sharing method and apparatus
JP6586819B2 (en) Image management system, image communication system, image management method, and program
JP2017162014A (en) Communication terminal, image communication system, display method, and program
CN112887663A (en) Image display method, image communication system, image capturing apparatus, and storage medium
EP2421272A2 (en) Apparatus and method for displaying three-dimensional (3D) object
US10636384B2 (en) Image processing apparatus and image processing method
JP2013153256A (en) Terminal device, photographing system, terminal position detection method, and program
JP2012120055A (en) Imaging device, control method of the same, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant