WO2013172657A1 - 영상 통화 시스템에서의 영상 통합 제어 방법 - Google Patents

영상 통화 시스템에서의 영상 통합 제어 방법 Download PDF

Info

Publication number
WO2013172657A1
WO2013172657A1 PCT/KR2013/004311 KR2013004311W WO2013172657A1 WO 2013172657 A1 WO2013172657 A1 WO 2013172657A1 KR 2013004311 W KR2013004311 W KR 2013004311W WO 2013172657 A1 WO2013172657 A1 WO 2013172657A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
video
call
screen
drawing point
Prior art date
Application number
PCT/KR2013/004311
Other languages
English (en)
French (fr)
Inventor
조현근
Original Assignee
Jo Hyun Geun
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120051626A external-priority patent/KR20130127829A/ko
Priority claimed from KR1020120051424A external-priority patent/KR101434728B1/ko
Application filed by Jo Hyun Geun filed Critical Jo Hyun Geun
Publication of WO2013172657A1 publication Critical patent/WO2013172657A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1059—End-user terminal functionalities specially adapted for real-time communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments

Definitions

  • the present invention relates to a video call technology using a mobile terminal, and in particular, depending on the purpose of the video call during the video call, the type of video to be used in the video call is freely variable, several users look at the same screen drawing collaboration operation
  • An object of the present invention is to provide an integrated video control method in a video call system.
  • a camera, a speaker, a microphone, and the like are embedded in a mobile terminal, and the same screen is configured in FIG. 1 to allow video callers to perform a video call while looking at each other's faces.
  • the user needs to remotely control the camera mode of the opposite terminal.
  • one of the purposes of the video call is to increase the sense of presence that is in the same place as the other party. Although it can be described, it is difficult to perform such an operation during a video call.
  • a video call system is defined according to a video call purpose, and the video call system allows the user terminal to freely change the type of video to be provided to the opposite terminal and the type of video to be provided from the opposite terminal according to the call mode. It is intended to provide a control method.
  • each caller draws letters or images on the screen of the mobile terminal provided during the video call
  • the corresponding letters or images can be displayed on the screens of all the mobile terminals, thereby expanding the field of use of the video call in various ways. It is intended to provide a drawing collaboration method during a video call in a video call system.
  • a means for solving the above problems the user terminal selecting one of a plurality of call modes to notify the other terminal; And an image control step of each of the user terminal and the opposite terminal varying types of images to be displayed in thumbnail view and main view, respectively, according to the call mode.
  • the plurality of call modes include a voice mode for performing a voice call, a face view mode for performing a video call while checking faces between video callers, and a remote view for sharing a rear camera image of an opposite terminal. It may include a view mode, a local view mode for sharing the rear camera image of the user terminal.
  • both the user terminal and the opposite terminal display a front camera image of the user terminal in a thumbnail view and a rear camera image of the opposite terminal in a main view. Can be configured.
  • both the user terminal and the opposite terminal display a front camera image of the opposite terminal in a thumbnail view and a rear camera image of the user terminal in a main view. Can be configured.
  • the user terminal displays a front camera image of the user in a thumbnail view, and displays a front camera image of the other terminal in a main view in a main view.
  • the other terminal may configure a screen for displaying its front camera image in a thumbnail view and the front camera image of the user terminal in a main view.
  • both the user terminal and the command performing mobile terminal may configure a screen to temporarily stop providing an image.
  • the video integrated control method of a mobile terminal having a plurality of call modes comprising: starting a call with the other terminal; Selecting one of the plurality of call modes in consideration of at least one of a user request, a basic option value, or a last call mode with the opposite terminal;
  • the selected call mode is a remote view mode
  • the mobile terminal provides its front camera image to the opposite terminal, receives a back camera image of the opposite terminal from the opposite terminal, and makes a video call with the opposite terminal. It provides a method for controlling the integrated image comprising a.
  • the mobile terminal When the selected call mode is a local view mode, the mobile terminal provides its rear camera image to the opposite terminal, receives the front camera image of the opposite terminal from the opposite terminal, and performs the opposite video call. It may further comprise a.
  • a video integration control method of a mobile terminal having a plurality of call modes comprising: starting a call with the mobile terminal; Selecting one of the plurality of call modes in consideration of at least one of a user request, a basic option value, or a last call mode with the opposite terminal;
  • the selected call mode is a local view mode
  • the mobile terminal provides its rear camera image to the opposite terminal, receives the front camera image of the opposite terminal from the opposite terminal, and performs the opposite video call. It provides a video integrated control method comprising a.
  • the mobile terminal When the selected call mode is a remote view mode, the mobile terminal provides its front camera image to the opposite terminal, receives a back camera image of the opposite terminal from the opposite terminal, and then receives an image with the opposite terminal. Performing a call.
  • the mobile terminal when the selected call mode is a face view mode, the mobile terminal provides its front camera image to the opposite terminal, Receiving a front camera image of the opposite terminal and performing a video call with the opposite terminal; And when the selected call mode is a voice mode, both of the user terminal and the counterpart terminal may stop providing images and perform a voice call.
  • the communication device includes a plurality of call modes and takes into account at least one of a user request, a basic option value, and a last call mode with the opposite terminal.
  • a call mode determination unit for selecting one of a plurality of call modes;
  • An image controller for changing the type of the image to be provided to the opposite terminal and the image to be received from the opposite terminal according to the call mode selected by the call mode determining unit;
  • a display unit which displays a video provided to the opposite terminal and an image provided from the opposite terminal, and supports a video call with the other party's caller.
  • the plurality of call modes include a voice mode for performing a voice call, a face view mode for performing a video call while checking faces between video callers, and a remote view for sharing a rear camera image of an opposite terminal. It may include a view mode, a local view mode for sharing the rear camera image of the user terminal.
  • a voice mode for performing only a voice call a face view mode for performing a video call while checking faces between video callers, and a back of the opposite terminal.
  • a remote view mode for sharing camera images a local view mode for sharing the back camera images of a user terminal, a drawing mode, and the like.
  • the type of the image to be used can be freely changed.
  • the user can experience a tourist destination through a traveling friend, remotely explain how to use home appliances, or look for things left at home (or office) through other people there, Various tasks such as remotely checking the store status, remotely managing construction and production sites, or collaborating on designs remotely can be performed more easily and smoothly.
  • a plurality of terminals share one screen during a video call and support a drawing operation using the corresponding screen, so that a specific part / object included in the screen may be displayed or visually displayed.
  • drawing operations can be performed by all callers in collaboration, thereby maximizing video call utilization.
  • video callers can remotely explain how to use appliances, browse through their homes (or offices) with others, play graffiti on their faces, or design remotely.
  • Various tasks, such as collaborating, will all be available through mobile video calls.
  • FIG. 1 is a view showing a video call screen according to the prior art.
  • FIG. 6 illustrates a video call system according to an embodiment of the present invention.
  • FIG. 7 is a diagram showing the configuration of a mobile terminal according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a screen integration control method of a video call system according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a method for controlling image integration when setting a voice mode according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a method for controlling image integration when setting a face view mode according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a method for controlling image integration when setting a remote view mode according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a method for controlling image integration when setting a local view mode according to an embodiment of the present invention.
  • FIG. 13 is a diagram showing the configuration of a mobile terminal according to another embodiment of the present invention.
  • FIG. 14 is a view for explaining a drawing collaboration method during a video call of the video call system according to an embodiment of the present invention.
  • 15 is a diagram illustrating an example of a mobile terminal screen according to a drawing collaboration method during a video call of a video call system according to an embodiment of the present invention.
  • FIG. 16 illustrates a drawing point generation operation of a drawing collaboration method during a video call according to an embodiment of the present invention.
  • FIG. 17 is a diagram for describing a reference coordinate coordinate step and a screen mapping step of a drawing point of FIG. 14 according to an embodiment of the present invention in more detail.
  • FIG. 18 is a diagram for describing a reference coordinate coordinate step and a screen mapping step of a drawing point of FIG. 14 according to another embodiment of the present invention in more detail.
  • FIG. 19 is a diagram illustrating a drawing collaboration method during a video call of the video call system according to another embodiment of the present invention.
  • 20 is a view for explaining an interpolation operation of a drawing point for converting touch coordinates of a drawing point into reference coordinates, according to an embodiment of the present invention.
  • 21 is a diagram illustrating a drawing collaboration method during a video call of a video call system according to another embodiment of the present invention.
  • FIG. 22 is a diagram illustrating an example of a mobile terminal screen according to a drawing collaboration method during a video call of a video call system according to another embodiment of the present invention.
  • the present invention is free from the conventional method of configuring a video call screen, and by changing the type of video used by the user terminal and the other terminal in accordance with the purpose of the call freely, away from the simple call function, experience the agent agency, remote site It enables additional tasks such as management, remote design collaboration, and remote AS in consumer electronics.
  • a plurality of voice modes such as voice mode, face view mode, remote view mode, local view mode, etc. I would like to suggest a call mode.
  • the voice mode is a mode in which only a voice call is supported for privacy, and as shown in FIG. 2, both the user terminal 100 and the opposite terminal 200 temporarily block the display of the camera image.
  • the face view mode is a mode for making a call while checking each other's faces, and as shown in FIG. 3, a front camera image of the user terminal 100 in a thumbnail view, and a rear camera image of the other terminal 200. Configure the screen to display in the main view.
  • a main view means a relatively large image display area
  • a thumbnail view means a relatively small image display area.
  • the remote view mode is a mode for sharing the rear camera image of the opposite terminal. As shown in FIG. 4, both the user terminal 100 and the opposite terminal 200 share the front camera image of the user terminal 100. In the thumbnail view, the screen is configured to display the rear camera image of the opposite terminal 200 in the main view.
  • the local view mode is a mode for sharing a rear camera image of the user terminal. As shown in FIG. 5, both the user terminal 100 and the opposite terminal 200 share the front camera image of the opposite terminal 200. In the thumbnail view, the screen is configured to display the rear camera image of the user terminal 100 in the main view.
  • the remote view and the local view will be used as a relative concept. Accordingly, when the user terminal 100 operates in the remote view mode, the opposite terminal 200 is automatically set to the local view mode, and when the user terminal 100 operates in the local view mode, the opposite terminal 200 Set to remote view mode automatically.
  • FIG. 6 and 7 illustrate a video call system according to an embodiment of the present invention.
  • the video call system includes first and second mobile terminals 100 and 200 connected through a network, such as a mobile communication network, to perform a video call.
  • a network such as a mobile communication network
  • each of the mobile terminals 100 and 200 includes a call mode determination unit 110, an image control unit 120, a call unit 130, a communication unit 140, a front camera 141, and a rear camera. 142, a microphone 143, a speaker 144, and the like, to actively change the screen configuration of itself and the other terminal during a video call.
  • each of the first and second mobile terminals 100 and 200 will be described in detail with reference to FIG. 7. Since the first mobile terminal 100 and the second mobile terminal 200 are configured and operated in the same manner, hereinafter, only the first mobile terminal 100 will be described as an example for convenience of description.
  • the call mode determination unit 110 includes a plurality of call modes, such as a voice mode, a face view mode, a remote view mode, a local view mode, and a user.
  • a plurality of call modes is selected and notified. For example, when a video call with the opposite terminal 200 is requested, first, a call history with the opposite terminal 200 is checked, and if there is a call history with the opposite terminal 200, the call terminal with the opposite terminal 200 is present. Reselect the call mode used at the last call. Otherwise, the call is carried out in the call mode set as the default option value.
  • the user selects a specific call mode and requests a call, it may be desirable to make the call mode selected first.
  • the user selects one of a plurality of menus displayed on the screen, touches at least one finger on the screen and drags (ie, generates a touch gesture) to the preset pattern, or moves his / her face to the user terminal 100.
  • the user may select a desired call mode.
  • the video controller 120 includes information on the type of video to be displayed in the thumbnail view and the main view for each call mode, and changes the type of the video to be used during the video call according to the call mode. That is, the screen corresponding to the call mode determined by the call mode determination unit 100 is controlled by controlling whether to provide the image to the thumbnail view and the main view or the type of the camera to provide the image to the thumbnail view and the main view according to the call mode. Configure Also, the other terminal 200 is notified of the call mode determined by the call mode determination unit 100 so that the other terminal 200 also varies the type of video to be used during the video call.
  • the call unit 130 displays the screen configured through the image controller 120 on the touch screen (not shown), and provides a voice of the user, which is obtained through the microphone 142, to the opposite terminal 200 and provides the opposite terminal (
  • the voice of the other party's caller transmitted from 200 is output through the speaker 144 in the form of sound. That is, while watching the screen configured through the video controller 120, the video call operation can be performed.
  • FIG. 8 is a diagram illustrating a screen integration control method of a video call system according to an embodiment of the present invention.
  • the face view mode is used as the default call mode.
  • the user If the user requests a video call with the opposite terminal 200 through the user terminal 100 (S1), and the other caller accepts the video call with the user via the opposite terminal 200 (S2), the user Check whether the specific call mode is selected (S3).
  • step S3 if there is a call mode selected by the user, the counterpart terminal 200 is notified of this (S4).
  • the other terminal 200 also checks whether the user terminal 100 can automatically approve the communication mode notified by referring to its setting information in order to set the corresponding communication mode (S5).
  • step S5 if the user terminal 100 can automatically approve the communication mode notified, the other terminal 200 to immediately set the communication mode notified by the user terminal 100 (S6).
  • the call mode approval window is generated and displayed on the screen to query the other party caller whether or not to approve (S7), only when the other party's caller approves the setting of the call mode (S8), the user terminal 100 sets the call mode notified (S6).
  • the user terminal 100 monitors whether the other terminal 200 is approved (S9), and only when the other terminal 200 approves the call mode notified by the user, setting the call mode notified by the user. (S10).
  • step S3 if there is no call mode requested by the user as a result of checking in step S3, the call history with the opposite terminal 200 is checked (S11), and the call mode used during the last call with the opposite terminal 200 is determined. By selecting again and notifying the other terminal 200 (S12), the user terminal 100 and the other terminal 200 to perform the call again using the call mode used during the last call.
  • the user does not need to perform a separate camera control operation through the above process, and selects only the call mode desired by the user terminal 100 and the opposite terminal 200 to use the camera image shown in Figs. It can be seen that it can be simply changed as shown in FIG.
  • FIG. 9 is a diagram illustrating an image integration control method when setting a voice mode according to an embodiment of the present invention.
  • the user terminal 100 and the opposite terminal 200 provide a screen as shown in FIG. 2.
  • both the user terminal 100 and the opposite terminal 200 block acquisition and transmission of the front camera image (S21, S22), and a thumbnail view and a main view. It is also known that only the voice call can be made by stopping the video display (S23, S24).
  • FIG. 10 is a diagram illustrating an image integration control method when setting a face view mode according to an embodiment of the present invention.
  • the user terminal 100 and the opposite terminal 200 provide a screen as shown in FIG. 3. .
  • each of the user terminal 100 and the opposite terminal 200 has its front camera image in thumbnail view and the received front camera image in main view.
  • a screen to be displayed is configured (S31, S32). That is, both the user and the other party's caller make the screen to make a video call while keeping their face small and the other party's face large.
  • the user terminal 100 acquires a face image of the user and transmits it to the opposite terminal 200 (S33), and the opposite terminal 200 acquires a face image of the opposite caller and transmits it to the user terminal 100 (S34). ),
  • the video call can be performed while looking at each other's faces (S35).
  • FIG. 11 is a diagram illustrating a method for controlling image integration when setting a remote view mode according to an embodiment of the present invention.
  • the user terminal 100 and the opposite terminal 200 provide a screen as shown in FIG. 4. .
  • the opposite terminal 200 automatically sets the local view mode (S41).
  • both the user terminal 100 and the opposite terminal 200 constitute a screen displaying a front camera image of the user terminal 100 in a thumbnail view and a rear camera image of the opposite terminal 200 in a main view (S42, S43).
  • the user terminal 100 acquires the front camera image from the other side, and acquires and transmits the rear camera image from the other terminal 200 (S44 and S45).
  • the user may monitor the rear area of the other terminal 200 through the user terminal 100, the other party caller through the other terminal 200, which image is currently provided to the user terminal 100 You can easily see if it is an image.
  • FIG. 12 is a diagram illustrating an integrated image control method when setting a local view mode according to an embodiment of the present invention.
  • the user terminal 100 and the opposite terminal 200 provide a screen as shown in FIG. 5. .
  • the opposite terminal 200 automatically sets the remote view mode (S51).
  • both the user terminal 100 and the opposite terminal 200 constitute a screen for displaying the front camera image of the opposite terminal 200 in the thumbnail view and the rear camera image in the main view of the user terminal 100 (S52, S53).
  • the user terminal 100 acquires and transmits the rear camera image from the opposite terminal 200 and the front camera image from the opposite terminal 200 (S54 and S55).
  • the user checks the other party's face through the thumbnail view of the user terminal 100 to see what video the other party wants, and through the main view through his terminal 100 to present the other terminal 200 You will be able to see what video you are providing in real time.
  • the types of camera images to be displayed in the thumbnail view and the main view of the user terminal and the other terminal are individually adjusted, and the user terminal and the other terminal are shared with each other. You can freely expand this available call mode.
  • each of the first and second mobile terminals 100 and 200 further includes a drawing collaboration unit 150, through which the two mobile terminals share the same screen with each other. It detects the screen touch history of the user and additionally displays drawing objects on the shared screen. Accordingly, callers using the first and second mobile terminals 100 and 200 can make a video call while drawing various letters or images on the video call screen, instead of the simple call function.
  • the present invention further proposes a drawing mode, as shown in FIG. 14, in which a plurality of terminals share an image captured by one of the plurality of terminals, and at least one of the plurality of users displays a video call screen. If you create a drawing object by writing or drawing on it, the drawing object can be displayed on the video call screen of another user in real time.
  • FIG. 14 is a view for explaining a drawing collaboration method during a video call of the video call system according to an embodiment of the present invention.
  • the drawing collaboration method of the present invention is a drawing process performed whenever a touch point movement or a terminal movement in a touch state is detected (S60) and an information sharing process performed whenever a camera frame or screen update period is reached. It consists of S70.
  • each of the first and second mobile terminals 100 and 200 repeatedly checks whether the user's touch point is moved or whether the mobile terminal touched by the user is moved (S61).
  • a specific mobile terminal for example, the first mobile terminal 100
  • the corresponding mobile terminal for example, the first mobile terminal 100
  • the mobile terminal 100 generates at least one drawing point corresponding to the user touch point, and obtains respective touch coordinates (S62).
  • the drawing point may be generated in the form of a point or in the form of a line.
  • one screen coordinate may be obtained, and in the case of a line, a plurality of continuous touch coordinates may be obtained.
  • Coordinate system coordinates can be obtained by two methods, one of which is a method of converting touch coordinates of a drawing point into reference coordinates (first method) through a screen transformation matrix, and the other is an image in a camera frame. After the feature points are connected to each other to form a plurality of triangular mesh regions, a coordinate of the center of gravity of the triangular region to which the drawing point belongs is calculated, and the method is selected as a reference coordinate of the drawing point (second method).
  • the first mobile terminal 100 operating as an image host After acquiring a new camera frame at every camera frame update period (S71-1), the first mobile terminal 100 operating as an image host performs a map update operation according to the new camera frame (S72).
  • the content of the map may be different from each other according to the coordinate method of the reference coordinate system. That is, when using the first method, a view transform matrix may be included, and when using the second method, a coordinate list of image feature points included in a camera frame may be included.
  • the first mobile terminal 100 provides the new camera frame and the updated map to the second mobile terminal 200 operating as a guest, and the second mobile terminal 200 operating as the guest becomes a screen update cycle.
  • the information providing period can be adjusted arbitrarily. That is, at a low communication speed, some camera frames may be skipped without transmitting information.
  • Each of the mobile terminals 100 and 200 determines whether a new drawing point is generated according to the map update (S74). That is, it is determined whether the Euclidean distance between the touch coordinates of the current drawing point of the user and the last drawing point exceeds the preset threshold, and the current drawing of the user only when the threshold is exceeded. Earn points as new drawing points.
  • a reference coordinate system coordinate corresponding to each of the new drawing points is obtained.
  • the reference coordinate system coordinates at this time may be obtained in the same manner as in step S63.
  • each of the mobile terminals 100 and 200 shares the drawing points generated by the mobile terminal 100 and the reference coordinates of the drawing points with each other (S76).
  • each mobile terminal (100, 200) may transmit the information on all the drawing points in a batch, but in order to minimize the communication capacity to selectively transmit only the information on the newly created / destroyed drawing points, periodically You can also update the information about the drawing points.
  • each mobile terminal (100, 200) is displayed by mapping the coordinates of the reference point of the drawing point that is generated or received by itself on its own screen (that is, the current camera frame) as shown in Equation 1 (S77) ).
  • f is a mapping function
  • V is the coordinate of the reference coordinate system of the drawing point
  • M is the map of the current camera frame
  • V ' is the screen display coordinate of the drawing point V is mapped to the current screen of the mobile terminal.
  • FIG. 15 is a diagram illustrating an example of changing a mobile terminal screen according to a drawing collaboration method during a video call of a video call system according to an embodiment of the present invention.
  • the first mobile terminal 100 and the second mobile terminal 200 configure and display the same screen so that a plurality of users can perform the drawing operation while viewing the same screen. In addition, it is possible to share all the drawing information with each other.
  • the drawing information is always fixed on the same image object regardless of the movement of the mobile terminal. That is, even if the viewpoint of the image displayed on the mobile terminal is changed due to the movement of the mobile terminal, the drawing point is always displayed on the same image object.
  • a user may recognize a drawing pattern by drawing a drawing point for each user by changing the display method for each user.
  • FIG. 16 is a diagram illustrating a method for generating drawing points in a video call system according to an embodiment of the present invention.
  • the user drags a finger on the screen to directly move a user touch point (indicated by a blue dotted line), thereby creating a new drawing point (indicated by a solid red line). can do.
  • a drawing point (indicated by a solid red line) may be newly generated by moving the mobile terminal instead of the user's finger. That is, after the user touches a point of the mobile terminal, the drawing point (displayed by the solid red line) may be generated by moving only the mobile terminal while maintaining the touch point (indicated by a blue dot).
  • the present invention proposes a new method of generating a drawing point in consideration of the fact that the mobile terminal can be moved by the user. Accordingly, the user can select a drawing point generation method suitable for his or her environment, and more conveniently and effectively create the drawing point.
  • FIG. 17 is a diagram for describing the reference coordinate coordinate step and the screen mapping step of the drawing point of FIG. 14 according to an embodiment of the present invention in detail.
  • the touch coordinates of the drawing point are multiplied by the inverse of the screen transformation matrix.
  • a method (first method) of acquiring the reference coordinate system coordinates of the drawing point will be described.
  • the mobile terminals 100 and 200 obtain a map M corresponding to a new camera frame (S81).
  • the map M acquired in step S81 is configured with a screen transformation matrix, and the method of obtaining the map may be different when the camera frame is a 2D image or a 3D image.
  • the two-dimensional affine transform which is the shift of image feature points between the new frame and the previous frame, It is calculated as the y-direction moving average value and continuously multiplied from the first frame to accumulate to generate a screen conversion matrix. That is, the screen conversion matrix to be used as a map is generated by considering only the movement amount.
  • the touch coordinates of the drawing points are 3D coordinates including depth information of the drawing points
  • 3D affine transforms in which image feature points are moved between the new frame and the previous frame Is obtained by an algorithm such as RANSAC, and the result is continuously multiplied from the first frame to accumulate to generate a screen conversion matrix.
  • N is a map of each drawing point generation point
  • N -1 is the inverse of N
  • u is the touch coordinate of the drawing point
  • V is the reference coordinate system coordinates of the drawing point.
  • the reference coordinate coordinates (V) of the drawing points are mapped to the current screen (ie, the current camera frame) according to Equation 3 to obtain the screen display coordinates (V ') of the drawing points, and are then displayed on the current camera frame. (S84).
  • FIG. 18 is a diagram for explaining the reference coordinate coordinate step and screen mapping step of the drawing point of FIG. 14 according to another embodiment of the present invention in detail.
  • interpolation of the movement amount of image feature points adjacent to each drawing point is illustrated.
  • a method (second method) for determining the movement amount of the drawing point will be described.
  • the mobile terminals 100 and 200 obtain a map M corresponding to a new camera frame (S91).
  • the map M obtained in step S91 is composed of a coordinate list of image feature points with respect to the camera frame, and the feature points at this time will be tracked between different camera frames through optical flow.
  • the method of acquiring the map of step S91 may be different for the case of the two-dimensional image and the case of the three-dimensional image on the same principle as that of the map acquisition method of step S81.
  • Delaunay triangulation is performed on the map N (S93). That is, a plurality of triangular regions are formed by connecting image feature points included in a current camera frame to each other using a Delaunay triangulation algorithm.
  • the three vertices a, b, and c of the triangular region to which the touch point (u) of the drawing point belongs are selected, the center of gravity coordinates of the three vertices are calculated, and the coordinate points (V) of the drawing point are obtained. (S94).
  • the coordinates of the reference point of the drawing point are mapped to the current screen (that is, the current camera frame) according to Equation 5 to obtain the screen display coordinates of the drawing point, and are displayed by overlaying them on the current camera frame (S95). That is, by restoring the reference coordinate coordinate system V of the drawing point to the touch coordinates of the drawing point based on the coordinates r a , r b , r c of the three vertices in the current map M, Allows mapping and display on the current screen (ie the current camera frame).
  • a map is extracted from one camera frame, and the reference coordinate system is discontinuous between drawing points drawn after the next camera frame and subsequent drawing points, thereby creating a sawtooth drawing point. May occur.
  • this problem may be further exacerbated when the frame rate provided by the communication side is reduced on the guest side receiving the camera image through the network.
  • FIG. 19 is a diagram illustrating a drawing collaboration method during a video call of the video call system according to another embodiment of the present invention.
  • step S74 a process of generating an interpolated map between two maps based on a point generation time point is performed by comparing the map immediately before the drawing point generation and the immediately after map. (S101).
  • step S76 of sharing the drawing point and drawing point reference coordinate system coordinates. Do it.
  • the drawing points will always be continuous regardless of the frame rate.
  • the interpolation operation may be performed only on a drawing point generated within a predetermined reference time (for example, 0.1 to 0.2 seconds) from the last frame.
  • FIG. 521 is a view for explaining a drawing collaboration method during a video call of a video call system according to another embodiment of the present invention, which enables a drawing operation to be performed while the video stream display is paused.
  • Steps S112 to S114 may be repeatedly performed until the user selects a specific button of the mobile terminal or a specific menu displayed on the screen to release the freeze or terminates a single stroke.
  • the drawing error can be completely blocked by the mobile terminal movement amount, so that the user can draw the drawing start point, the end point, and the path more precisely. Make sure you can.
  • 522 is a diagram illustrating an example of a mobile terminal screen according to a drawing collaboration method during a video call of the video call system according to another embodiment of the present invention.
  • the mobile terminal requesting the screen stop may stop the camera image for a predetermined period of time, and then the drawing operation may be performed using map information of the camera image at the time of stopping the screen.
  • the mobile terminal movement amount is determined by comparing and analyzing the new map information and the map information at the time of stopping the screen, and reflecting the mobile terminal movement amount. It can be seen that the coordinates of the drawing points acquired at are modified immediately. That is, it can be seen that the display position of the drawing object is immediately moved by using map information of the new camera image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 영상 통화 시스템에서의 영상 통합 제어 방법에 관한 것으로, 상기 방법은 사용자 단말이 다수의 통화모드 중 하나를 선택하여 상대편 단말에 통보하는 단계; 및 상기 사용자 단말과 상기 상대편 단말 각각이, 상기 통화모드에 따라 썸네일 뷰와 메인 뷰에 각각 표시될 영상의 종류를 가변하는 영상 제어 단계를 포함할 수 있다.

Description

영상 통화 시스템에서의 영상 통합 제어 방법
본 발명은 모바일 단말을 이용한 영상 통화 기술에 관한 것으로, 특히 영상 통화중에 영상 통화에 사용되는 목적에 따라 영상 통화에 사용될 영상의 종류를 자유롭게 가변하고, 여러 명의 사용자가 동일한 화면을 보면서 드로잉 협업 동작을 수행할 수 있도록 하는 영상 통화 시스템에서의 영상 통합 제어 방법을 제공하고자 한다.
근래에 들어, 모바일 기술이 발달함에 따라 모바일 단말에 카메라, 스피커, 마이크 등을 내장하고, 도1에서 같은 화면을 구성하여 영상 통화자들이 서로 상대편 얼굴을 보면서 영상 통화를 수행하도록 한다.
이러한 영상 통화의 목적 중 하나는 상대편 통화자와 같은 장소에 함께 있는 듯 한 현장감을 증대하는 것이다. 다만, 현실에서 같은 장소에 함께 있을 때에는 상대방 통화자의 얼굴을 보다가 전방 주변을 번갈아 보는 것이 자유로우나, 영상 통화시에 이러한 동작을 수행하기 위해서는 상대방 통화자에게 일일이 음성으로 부탁을 해야 하는 번거로움이 있었다.
이에 통화자간 편이성을 증대하기 위해 사용자가 상대편 단말의 카메라 모드를 원격 제어하고자 하는 필요성이 증대되고 있는 실정이다.
더하여, 사용자가 직접 제어하고자 하는 단말을 선택하고, 해당 단말이 사용할 카메라 종류를 선택하고, 각각의 카메라를 통해 획득된 영상의 화면 표시 방법을 모두 선택 및 설정하고자 하는 경우, 제어 방법이 너무 복잡해지는 문제가 있다. 이에 필요성이 높은 통화 모드를 선택하고, 이들 통화 모드를 중심으로 사용자 제어 방법을 단순화할 필요가 있다.
또한 영상 통화의 목적 중 하나는 상대편 통화자와 같은 장소에 함께 있는 듯한 현장감을 증대하는 것인데, 현실에서 같은 장소에 함께 있을 때에는 주변의 임의 장소를 손으로 가리키거나 특정 물건의 작동법 등을 제스처로 설명하는 것이 가능하나 영상 통화시에는 이러한 동작을 수행하기가 어려운 단점이 있다.
즉, 영상 통화시에는 영상만을 전송할 뿐, 그 외의 의사소통은 전적으로 언어에 의존하도록 한다. 이에 따라 화면 중 특정 부분/사물을 가리키거나 설명할 때 시각적 사항을 언어로 바꾸어 설명해야 하므로, 설명의 모호함이 발생하여, 정확하고 원활한 의사소통을 저해하게 된다.
따라서 본 발명에서는 영상 통화 목적에 따라 통화 모드를 정의하고, 통화 모드에 따라 사용자 단말이 상대편 단말에 제공할 영상과 상대편 단말로부터 제공받을 영상의 종류를 자유롭게 변경할 수 있도록 하는 영상 통화 시스템에서의 영상 통합 제어 방법을 제공하고자 한다.
또한 영상 통화 중에 통화자들 각각이 자신이 구비한 모바일 단말의 화면에 글씨 또는 이미지를 그리면, 모든 모바일 단말의 화면에 해당 글씨 또는 이미지가 표시될 수 있도록 함으로써, 영상 통화의 활용 분야가 다양하게 확대될 수 있도록 하는 영상 통화 시스템에서의 영상 통화 중 드로잉 협업 방법을 제공하고자 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제1 실시 형태에 따르면, 사용자 단말이 다수의 통화모드 중 하나를 선택하여 상대편 단말에 통보하는 단계; 및 상기 사용자 단말과 상기 상대편 단말 각각이, 상기 통화모드에 따라 썸네일 뷰와 메인 뷰에 각각 표시될 영상의 종류를 가변하는 영상 제어 단계를 포함하는 영상 통합 제어 방법을 제공한다.
상기 다수의 통화모드는 음성 통화를 수행하는 보이스(voice) 모드, 영상 통화자간 얼굴을 확인하면서 영상 통화를 수행하는 페이스 뷰(face view) 모드, 상대편 단말의 후면 카메라 영상을 공유하는 리모트 뷰(remote view) 모드, 사용자 단말의 후면 카메라 영상을 공유하는 로컬 뷰(local view) 모드를 포함할 수 있다.
상기 영상 제어 단계는 상기 통화모드가 리모트 뷰 모드인 경우, 상기 사용자 단말과 상기 상대편단말 모두는 썸네일 뷰에 상기 사용자 단말의 전면 카메라 영상을, 메인 뷰에 상기 상대편 단말의 후면 카메라 영상을 표시하는 화면을 구성할 수 있다.
상기 영상 제어 단계는 상기 통화모드가 로컬 뷰 모드인 경우, 상기 사용자 단말과 상기 상대편단말 모두는 썸네일 뷰에 상기 상대편 단말의 전면 카메라 영상을, 메인 뷰에 상기 사용자 단말의 후면 카메라 영상을 표시하는 화면을 구성할 수 있다.
상기 영상 제어 단계는 상기 통화모드가 페이스 뷰 모드인 경우, 상기 사용자 단말은 썸네일 뷰에 자신의 전면 카메라 영상을 표시하고, 메인 뷰에 상기 상대편 단말의 전면 카메라 영상을 메인 뷰에 표시하는 화면을 구성하고, 상기 상대편 단말은 자신의 전면 카메라 영상을 썸네일 뷰에, 상기 사용자 단말의 전면 카메라 영상을 메인 뷰에 표시하는 화면을 구성할 수 있다.
상기 영상 제어 단계는 상기 통화모드가 보이스 모드인 경우, 상기 사용자 단말과 상기 지시 수행모바일 단말 모두는 영상 제공을 일시 중지하는 화면을 구성할 수 있다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제2 실시 형태에 따르면, 다수의 통화모드를 구비하는 모바일 단말의 영상 통합 제어 방법에 있어서, 상기 모바일 단말이 상대편 단말과의 통화를 시작하는 단계; 사용자 요청, 기본 옵션 값, 또는 상대편 단말과의 마지막 통화모드 중 적어도 하나를 고려하여, 상기 다수의 통화모드 중 하나를 선택하는 단계; 상기 선택된 통화모드가 리모트 뷰 모드인 경우, 상기 모바일 단말이 자신의 전면 카메라 영상을 상기 상대편 단말에 제공하고, 상기 상대편 단말로부터 상기 상대편 단말의 후면 카메라 영상을 제공받아, 상기 상대편 단말과의 영상 통화를 수행하는 단계;를 포함하는 영상 통합 제어 방법을 제공한다.
그리고 상기 선택된 통화모드가 로컬 뷰 모드인 경우, 상기 모바일 단말이 자신의 후면 카메라 영상을 상기 상대편 단말에 제공하고, 상기 상대편 단말로부터 상기 상대편 단말의 전면 카메라 영상을 제공받아, 상기 상대편 영상 통화를 수행하는 단계;를 더 포함할 수 있다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제3 실시 형태에 따르면, 다수의 통화모드를 구비하는 모바일 단말의 영상 통합 제어 방법에 있어서, 상기 모바일 단말이 상대편 단말과의 통화를 시작하는 단계; 사용자 요청, 기본 옵션 값, 또는 상대편 단말과의 마지막 통화모드 중 적어도 하나를 고려하여, 상기 다수의 통화모드 중 하나를 선택하는 단계; 상기 선택된 통화모드가 로컬 뷰 모드인 경우, 상기 모바일 단말이 자신의 후면 카메라 영상을 상기 상대편 단말에 제공하고, 상기 상대편 단말로부터 상기 상대편 단말의 전면 카메라 영상을 제공받아, 상기 상대편 영상 통화를 수행하는 단계;를 포함하는 영상 통합 제어 방법을 제공한다.
그리고 상기 선택된 통화모드가 리모트 뷰 모드인 경우, 상기 모바일 단말이 자신의 전면 카메라 영상을 상기 상대편 단말에 제공하고, 상기 상대편 단말로부터 상기 상대편 단말의 후면 카메라 영상을 제공받아, 상기 상대편 단말과의 영상 통화를 수행하는 단계;를 포함할 수 있다.
더하여, 본 발명의 제2 및 제3 실시 형태에 따른 방법은, 상기 선택된 통화모드가 페이스 뷰 모드인 경우, 상기 모바일 단말이 자신의 전면 카메라 영상을 상기 상대편 단말에 제공하고, 상기 상대편 단말로부터 상기 상대편 단말의 전면 카메라 영상을 제공받아, 상기 상대편 단말과의 영상 통화를 수행하는 단계; 및 상기 선택된 통화모드가 보이스 모드인 경우, 상기 사용자 단말과 상기 상대편 단말 모두 영상 제공은 일시 중지하고, 음성 통화를 수행하는 단계를 더 포함할 수 있다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제4 실시 형태에 따르면, 다수의 통화모드를 구비하고, 사용자 요청, 기본 옵션 값, 또는 상대편 단말과의 마지막 통화모드 중 적어도 하나를 고려하여, 상기 다수의 통화모드 중 하나를 선택하는 통화모드 결정부; 상기 통화모드 결정부에 의해 선택된 통화모드에 따라 상기 상대편 단말에 제공할 영상과 상기 상대편 단말로부터 제공받을 영상의 종류를 변경하는 영상 제어부; 및 상기 상대편 단말에 제공하는 영상과 상기 상대편 단말로부터 제공받은 영상을 화면 표시하여, 상대편 통화자와의 영상 통화를 지원하는 통화부를 포함하는 모바일 단말을 제공한다.
상기 다수의 통화모드는 음성 통화를 수행하는 보이스(voice) 모드, 영상 통화자간 얼굴을 확인하면서 영상 통화를 수행하는 페이스 뷰(face view) 모드, 상대편 단말의 후면 카메라 영상을 공유하는 리모트 뷰(remote view) 모드, 사용자 단말의 후면 카메라 영상을 공유하는 로컬 뷰(local view) 모드를 포함할 수 있다.
본 발명의 영상 통화 시스템에서의 영상 통합 제어 방법에 따르면, 음성 통화만을 수행하는 보이스(voice) 모드, 영상 통화자간 얼굴을 확인하면서 영상 통화를 수행하는 페이스 뷰(face view) 모드, 상대편 단말의 후면 카메라 영상을 공유하는 리모트 뷰(remote view) 모드, 사용자 단말의 후면 카메라 영상을 공유하는 로컬 뷰(local view) 모드, 드로잉(drawing) 모드 등을 제안하고, 통화모드에 따라 사용자 단말과 상대편 단말 각각이 사용하는 영상의 종류를 자유자재로 변경할 수 있도록 한다.
이에 본 발명에 따르면, 사용자는 여행 중인 친구를 통해 관광지를 대리 체험하거나, 가전 제품 등의 사용법을 원격으로 설명하거나, 집(또는 사무실)에 놓고 온 물건을 그 곳의 다른 사람을 통해 찾아보거나, 매장 상황을 원격으로 점검하거나, 공사 및 생산 형장 등을 원격으로 관리하거나, 원격으로 디자인을 협업하는 등의 다양한 작업을 보다 용이하고 원활하게 수행될 수 있게 된다.
또한 본 발명에서는 다수의 단말이 영상 통화 중에 하나의 화면을 공유하고, 해당 화면을 이용한 드로잉 동작을 지원함으로써, 화면에 포함된 특정 부분/사물을 지시하거나 설명하고자 하는 내용을 시각적으로 표시할 수 있도록 한다. 또한, 드로잉 동작을 모든 통화자가 협업하여 수행할 수 있도록 함으로써, 영상 통화 활용도가 더욱 극대화될 수 있도록 한다. 그 결과, 영상 통화자들은 가전 제품 등의 사용법을 원격으로 설명하거나, 집(또는 사무실)에 놓고 온 물건을 그 곳의 다른 사람을 통해 찾아보거나, 상대방 얼굴에 낙서하며 놀거나, 원격으로 디자인을 협업하는 등의 다양한 작업을 모바일을 통한 영상 통화를 통해 모두 수행할 수 있게 될 것이다.
도1은 종래의 기술에 따른 영상 통화 화면을 도시한 도면이다.
도2 내지 도5는 본 발명의 일 실시예에 따른 다양한 화면 구성예를 도시한 도면이다.
도6은 본 발명의 일 실시예에 따른 영상 통화 시스템을 도시한 도면이다.
도7은 본 발명의 일 실시예에 따른 모바일 단말의 구성을 도시한 도면이다.
도8은 본 발명의 일 실시예에 따른 영상 통화 시스템의 화면 통합 제어방법을 도시한 도면이다.
도9는 본 발명의 일 실시예에 따른 보이스 모드 설정시 영상 통합 제어 방법을 도시한 도면이다.
도10은 본 발명의 일 실시예에 따른 페이스 뷰 모드 설정시 영상 통합 제어 방법을 도시한 도면이다.
도11은 본 발명의 일 실시예에 따른 리모트 뷰 모드 설정시 영상 통합 제어 방법을 도시한 도면이다.
도12는 본 발명의 일 실시예에 따른 로컬 뷰 모드 설정시 영상 통합 제어 방법을 도시한 도면이다.
도13은 본 발명의 다른 실시예에 따른 모바일 단말의 구성을 도시한 도면이다.
도14는 본 발명의 일 실시예에 따른 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법을 설명하기 위한 도면이다.
도15는 본 발명의 일 실시예에 따른 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법에 따른 모바일 단말 화면 예를 도시한 도면이다.
도16은 본 발명의 일 실시예에 따른 영상 통화 중 드로잉 협업 방법의 드로잉 포인트 생성 동작을 설명하기 위한 도면이다.
도17은 본 발명의 일 실시예에 따른 도14의 드로잉 포인트의 기준좌표계 좌표 단계 및 화면 매핑 단계를 보다 상세히 설명하기 위한 도면이다.
도18은 본 발명의 다른 실시예에 따른 도14의 드로잉 포인트의 기준좌표계 좌표 단계 및 화면 매핑 단계를 보다 상세히 설명하기 위한 도면이다.
도19는 본 발명의 다른 실시예에 따른 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법을 설명하기 위한 도면이다.
도20은 본 발명의 일 실시예에 따른 드로잉 포인트의 터치 좌표를 기준좌표계 좌표로 변환하는 드로잉 포인트 보간 동작을 설명하기 위한 도면이다.
도21은 본 발명의 또 다른 실시예에 따른 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법을 설명하기 위한 도면이다.
도22는 본 발명의 또 다른 실시예에 따른 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법에 따른 모바일 단말 화면 예를 도시한 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
또한, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 종래에 정형화된 영상 통화 화면 구성 방법에서 벗어나, 통화 목적에 따라 사용자 단말과 상대편 단말이 사용하는 영상의 종류를 자유자재로 변경할 수 있도록 함으로써, 단순 통화 기능에서 벗어나 관광지 대리 체험, 원격지 현장 관리, 원격 디자인 협업, 가전 제품 등의 원격 AS 등과 같은 다양한 작업을 추가적으로 수행할 수 있도록 한다.
이를 위해, 본 발명에서는 도2 내지 도5와 도시된 바와 같이, 보이스(voice) 모드, 페이스 뷰(face view) 모드, 리모트 뷰(remote view) 모드, 로컬 뷰(local view) 모드와 같은 다수의 통화모드를 제안하고자 한다.
보이스(voice) 모드는 사생활 보호를 위해 음성 통화만을 지원하는 모드로, 도2에 도시된 바와 같이 사용자 단말(100)과 상대편 단말(200) 모두 카메라 영상의 표시를 일시 차단한다.
페이스 뷰(face view) 모드는 서로의 얼굴을 확인하면서 통화하기 위한 모드로, 도3에 도시된 바와 같이 사용자 단말(100)의 전면 카메라 영상을 썸네일 뷰에, 상대편 단말(200)의 후면 카메라 영상을 메인 뷰에 표시하도록 화면을 구성한다. 본 발명에서, 메인 뷰(main view)는 상대적으로 큰 영상 표시 영역을, 썸네일 뷰(thumbnail view)는 상대적으로 작은 영상 표시 영역을 의미한다.
리모트 뷰(remote view) 모드는 상대편 단말의 후면 카메라 영상을 공유하기 위한 모드로, 도4에 도시된 바와 같이 사용자 단말(100)과 상대편 단말(200) 모두 사용자 단말(100)의 전면 카메라 영상을 썸네일 뷰에, 상대편 단말(200)의 후면 카메라 영상을 메인 뷰에 표시하도록 화면을 구성한다.
로컬 뷰(local view) 모드는 사용자 단말의 후면 카메라 영상을 공유하기 위한모드로, 도5에 도시된 바와 같이 사용자 단말(100)과 상대편 단말(200) 모두 상대편 단말(200)의 전면 카메라 영상을 썸네일 뷰에, 사용자 단말(100)의 후면 카메라 영상을 메인 뷰에 표시하도록 화면을 구성한다.
더하여, 본 발명에서는 리모트 뷰와 로컬 뷰는 상대적인 개념으로 사용하기로 한다. 이에 사용자 단말(100)이 리모트 뷰 모드로 동작하는 경우에는 상대편 단말(200)은 자동으로 로컬 뷰 모드로 설정되고, 사용자 단말(100)이 로컬 뷰 모드로 동작하는 경우에는 상대편 단말(200)은 자동으로 리모트 뷰 모드로 설정되도록 한다.
도6 및 도7은 본 발명의 일 실시예에 따른 영상 통화 시스템을 도시한 도면이다.
도6에 도시된 바와 같이, 본 발명에 따른 영상 통화 시스템은 이동 통신망과 같은 네트워크를 통해 연결되어 영상 통화를 수행하는 제1 및 제2 모바일 단말(100, 200)로 구성되고, 제1 및 제2 모바일 단말(100, 200) 각각은 도7에 도시된 바와 같이 통화모드 결정부(110), 영상 제어부(120), 통화부(130), 통신부(140), 전면 카메라(141), 후면 카메라(142), 마이크(143), 및 스피커(144) 등을 포함하여, 영상 통화시에 자신과 상대편 단말의 화면 구성을 능동적으로 변경할 수 있도록 한다.
이하 도7을 참고하여, 제1 및 제2 모바일 단말(100, 200) 각각의 구성을 보다 상세히 살펴보면 다음과 같다. 제1 모바일 단말(100)과 제2 모바일 단말(200)은 동일하게 구성 및 동작되므로, 이하에서는 설명의 편이를 위해 제1 모바일 단말(100)만을 예로 들어 설명하기로 한다.
먼저, 통화모드 결정부(110)는 보이스(voice) 모드, 페이스 뷰(face view) 모드, 리모트 뷰(remote view) 모드, 로컬 뷰(local view) 모드와 같은 다수의 통화모드를 구비하고, 사용자 요청, 기본 옵션 값, 또는 상대편 단말(200)과의 마지막 통화모드 중 적어도 하나를 고려하여, 다수의 통화모드 중 하나를 선택 및 통보한다. 예를 들어, 상대편 단말(200)과의 영상 통화가 요청되면, 우선 상대편 단말(200)과의 통화 내역을 확인하고, 상대편 단말(200)과의 통화 내역이 존재하면 상대편 단말(200)과의 마지막 통화시에 이용된 통화모드를 다시 선택되도록 한다. 반면, 그렇지 않을 경우에는 기본 옵션 값으로 설정된 통화모드로 통화가 수행되도록 한다. 다만, 사용자가 특정 통화모드를 선택하고 통화요청하면, 해당 통화모드가 최우선적으로 선택되도록 하는 것이 바람직할 것이다.
참고로, 사용자는 화면 표시된 다수의 메뉴 중 하나를 선택하거나, 화면에 적어도 하나의 손가락을 터치하고 기 설정된 패턴으로 드래그하거나(즉, 터치 제스처를 발생하거나), 자신의 얼굴을 사용자 단말(100)에 근접 또는 이격시키거나, 사용자 단말(100)을 기 설정된 패턴으로 움직이는 등의 동작을 수행함으로써, 자신이 원하는 통화모드를 선택할 수 있을 것이다.
영상 제어부(120)는 통화모드 별로 썸네일 뷰와 메인 뷰에 표시될 영상의 종류에 대한 정보를 구비하고, 이를 참고하여 통화모드에 따라 영상 통화시 사용될 영상의 종류를 가변한다. 즉, 통화모드에 따라 썸네일 뷰 및 메인 뷰로의 영상 제공 여부, 또는 썸네일 뷰 및 메인 뷰에 영상을 제공할 카메라의 종류를 제어함으로써, 통화모드 결정부(100)에 의해 결정된 통화모드에 상응하는 화면을 구성한다. 또한, 상대편 단말(200)에도 통화모드 결정부(100)에 의해 결정된 통화모드를 통보하여, 상대편 단말(200)도 영상 통화시 사용될 영상의 종류를 가변하도록 한다.
통화부(130)는 영상 제어부(120)를 통해 구성된 화면을 터치스크린(미도시)에 표시하면서, 마이크(142)를 통해 획득되는 사용자의 음성은 상대편 단말(200)에 제공하고, 상대편 단말(200)로부터 전송되는 상대편 통화자의 음성은 스피커(144)를 통해 소리 형태로 출력한다. 즉, 영상 제어부(120)를 통해 구성된 화면을 보면서, 영상 통화 동작이 수행될 수 있도록 한다.
도8은 본 발명의 일 실시예에 따른 영상 통화 시스템의 화면 통합 제어방법을 도시한 도면이다. 참고로, 도8에서는 설명의 편이를 위해, 페이스 뷰 모드를 기본 통화모드로 활용한다고 가정하기로 한다.
만약, 사용자가 사용자 단말(100)을 통해 상대편 단말(200)과의 영상 통화를 요청하고(S1), 상대편 통화자가 상대편 단말(200)을 통해 사용자와의 영상 통화를 수락하면(S2), 사용자가 특정 통화모드를 선택하는지를 확인한다(S3).
단계 S3의 확인 결과, 사용자에 의해 선택된 통화모드가 있다면, 이를 상대편 단말(200)에 통보한다(S4).
그러면 상대편 단말(200) 또한 이에 상응하는 통화모드를 설정하기 위해, 자신의 설정 정보를 참고하여 사용자 단말(100)이 통보한 통화모드를 자동으로 승인할 수 있는지 확인한다(S5).
단계 S5의 확인 결과, 사용자 단말(100)이 통보한 통화모드를 자동으로 승인할 수 있으면, 상대편 단말(200)은 사용자 단말(100)이 통보한 통화모드를 즉각 설정하도록 한다(S6).
한편, 단계 S5의 확인 결과, 상대편 단말(200)늘 사용자 단말(100)이 통보한 통화모드를 자동으로 승인할 수 없다면, 통화모드 승인창을 생성 및 화면 표시하여 상대편 통화자에 승인 여부를 질의하고(S7), 상대편 통화자가 해당 통화모드의 설정을 승인하는 경우에 한해(S8), 사용자 단말(100)이 통보한 통화모드를 설정하도록 한다(S6).
그리고 사용자 단말(100)은 상대편 단말(200)의 승인 여부를 모니터링하고(S9), 상대편 단말(200)이 자신이 통보한 통화모드를 승인한 경우에 한해, 자신이 통보한 통화모드를 설정 완료하도록 한다(S10).
반면, 단계 S3의 확인 결과, 사용자에 의해 요청된 통화모드가 없다면, 상대편 단말(200)과의 통화 내역을 확인하여(S11), 상대편 단말(200)과의 마지막 통화시에 이용된 통화모드를 다시 선택하고, 이를 상대편 단말(200)에 통보함으로써(S12), 사용자 단말(100)과 상대편 단말(200)이 마지막 통화시에 이용된 통화모드를 다시 이용하여 통화를 수행하도록 한다.
더하여, 사용자가 통화모드 선택 동작을 수행하지 않고 상대편 단말(200)도 처음 통화하는 단말이거나(S11), 상대편 통화자가 사용자 단말(100)가 요청한 통화모드의 설정을 거절하는 경우에는(S8, S9), 사용자 단말(100)과 상대편 단말(200)은 별도의 통화모드 설정 동작을 수행하지 않고, 기본 통화모드로 통화를 수행하도록 한다(S13, S14).
즉, 본 발명에서는 상기의 과정을 통해 사용자가 별도의 카메라 제어 동작을 수행할 필요 없이, 자신이 원하는 통화모드만을 선택하여 사용자 단말(100)과 상대편 단말(200)이 사용할 카메라 영상을 도2 내지 도5와 같이 간단히 변경할 수 있음을 알 수 있다.
도9는 본 발명의 일 실시예에 따른 보이스 모드 설정시 영상 통합 제어 방법을 도시한 도면으로, 이때에는 사용자 단말(100)과 상대편 단말(200)이 도2에서와 같은 화면을 제공하도록 한다.
도9에 도시된 바와 같이, 보이스 모드 설정시에는(S20), 사용자 단말(100)과 상대편 단말(200) 모두 전면 카메라 영상의 획득 및 전송을 차단하고(S21, S22), 썸네일 뷰 및 메인 뷰의 영상 표시도 중지함으로써(S23, S24), 음성 통화만이 가능해지도록 함을 알 수 있다(S25).
도10은 본 발명의 일 실시예에 따른 페이스 뷰 모드 설정시 영상 통합 제어 방법을 도시한 도면으로, 이때에는 사용자 단말(100)과 상대편 단말(200)이 도3에서와 같은 화면을 제공하도록 한다.
도10에 도시된 바와 같이, 페이스 뷰 모드 설정시에는(S30), 사용자 단말(100)과 상대편 단말(200) 각각은 자신의 전면 카메라 영상은 썸네일 뷰에, 수신된 전면 카메라 영상은 메인 뷰에 표시하는 화면을 구성한다(S31, S32). 즉, 사용자와 상대편 통화자 모두 자신의 얼굴은 작게, 상대편의 얼굴은 크게 보면서 영상 통화를 수행할 수 있는 화면을 구성하도록 한다.
그리고 사용자 단말(100)은 사용자의 얼굴 영상을 획득하여 상대편 단말(200)에 전송하고(S33), 상대편 단말(200)은 상대편 통화자의 얼굴 영상을 획득하여 사용자 단말(100)에 전송하여(S34), 서로의 얼굴을 보면서 영상 통화를 수행할 수 있도록 한다(S35).
도11은 본 발명의 일 실시예에 따른 리모트 뷰 모드 설정시 영상 통합 제어 방법을 도시한 도면으로, 이때에는 사용자 단말(100)과 상대편 단말(200)이 도4에서와 같은 화면을 제공하도록 한다.
도11에 도시된 바와 같이, 본 발명에서는 사용자 단말(100)이 리모트 뷰 모드를 설정하면(S40), 상대편 단말(200)은 자동으로 로컬 뷰 모드로 설정하도록 한다(S41).
그러면, 사용자 단말(100)과 상대편 단말(200) 모두 썸네일 뷰에는 사용자 단말(100)의 전면 카메라 영상을, 메인 뷰에는 상대편 단말(200)의 후면 카메라 영상을 표시하는 화면을 구성한다(S42, S43).
그리고 나서, 사용자 단말(100)늘 전면 카메라 영상을, 상대편 단말(200)늘 후면 카메라 영상을 획득하여 전송하도록 한다(S44, S45).
이에, 사용자는 사용자 단말(100)을 통해 상대편 단말(200)의 후면 영역을 모니터링할 수 있으며, 상대편 통화자는 상대편 단말(200)을 통해 현재 자신이 사용자 단말(100)에 제공하고 있는 영상이 어떤 영상인지 손쉽게 파악할 수 있게 된다.
도12는 본 발명의 일 실시예에 따른 로컬 뷰 모드 설정시 영상 통합 제어 방법을 도시한 도면으로, 이때에는 사용자 단말(100)과 상대편 단말(200)이 도5에서와 같은 화면을 제공하도록 한다.
도12에 도시된 바와 같이, 본 발명에서는 사용자 단말(100)이 로컬 뷰 모드를 설정하면(S50), 상대편 단말(200)은 자동으로 리모트 뷰 모드로 설정하도록 한다(S51).
그러면, 사용자 단말(100)과 상대편 단말(200) 모두 썸네일 뷰에는 상대편 단말(200)의 전면 카메라 영상을, 사용자 단말(100)의 메인 뷰에는 후면 카메라 영상을 표시하는 화면을 구성한다(S52, S53).
그리고 나서, 사용자 단말(100)늘 후면 카메라 영상을, 상대편 단말(200)늘 전면 카메라 영상을 획득하여 전송하도록 한다(S54, S55).
이에, 사용자는 사용자 단말(100)의 썸네일 뷰를 통해서는 상대편 얼굴을 보면서 상대편 통화자가 어떤 영상을 원하는 지 확인하고, 메인 뷰를 통해서는 자신의 단말(100)을 통해 상대편 단말(200)에 현재 제공하고 있는 영상이 무엇인지 실시간 확인할 수 있게 된다.
더하여, 본 발명에서는 보이스(voice) 모드, 페이스 뷰(face view) 모드, 리모트 뷰(remote view) 모드, 로컬 뷰(local view) 모드만을 통화모드의 예로 들어 설명하였지만, 실제의 적용예에서는 통화의 목적에 따라 추가적인 통화모드도 설정 및 사용할 수 있음을 물론 당연할 것이다.
즉, 통화모드 별로, 사용자 단말 및 상대편 단말의 썸네일 뷰 및 메인 뷰에 표시될 카메라 영상의 종류를 개별적으로 조절하고, 이에 대한 정보를 사용자 단말과 상대편 단말이 서로 공유하도록 함으로써, 사용자 단말 및 상대편 단말이 사용 가능한 통화모드를 자유롭게 확장시켜 줄 수 있을 것이다.
또한 본 발명에서는 리모트 뷰(remote view) 모드, 로컬 뷰(local view)를 활용하여 영상 통화 도중에 드로잉 협업 동작을 수행할 수도 있도록 한다.
즉, 도13에 도시된 바와 같이, 제1 및 제2 모바일 단말(100, 200) 각각이 드로잉 협업부(150)를 추가 구비하고, 이를 통해 두 개의 모바일 단말이 서로 동일한 화면을 공유하면서, 사용자들의 화면 터치 내역을 감지하여 공유 화면상에 드로잉 객체도 추가적으로 표시할 수 있도록 한다. 이에 제1 및 제2 모바일 단말(100, 200)을 사용하는 통화자들은 단순 통화 기능에서 벗어나 영상 통화 화면에 각종 글씨나 이미지를 그려가면서 영상 통화를 할 수 있게 된다.
이를 위해, 본 발명에서는 도14에 도시된 바와 같이 드로잉 모드를 추가적으로 제안하고, 해당 모드에서는 다수의 단말 중 하나가 촬영한 영상을 다수의 단말이 공유하면서, 다수의 사용자 중 적어도 한명이 영상 통화 화면 위에 글씨를 쓰거나 그림을 그려 드로잉 객체를 생성하면, 해당 드로잉 객체가 다른 사용자의 영상 통화 화면 위에도 실시간 표시될 수 있도록 한다.
도14는 본 발명의 일 실시예에 따른 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법을 설명하기 위한 도면이다.
도14를 참고하면, 본 발명의 드로잉 협업 방법은 터치 포인트 이동 또는 터치 상태의 단말 이동이 검출될 때마다 수행되는 드로잉 과정(S60)과 카메라 프레임 또는 화면 갱신 주기가 될 때마다 수행되는 정보 공유 과정(S70)으로 구성된다.
먼저, 드로잉 과정(S60)을 보다 상세히 설명하면 다음과 같다.
본 발명의 드로잉 과정(S60)은 사용자가 화면 드래그 동작을 통해 터치 포인트를 이동시키는 경우 이외에, 사용자가 모바일 단말의 화면을 터치한 상태에서 모바일 단말을 이동시킨 경우(즉, 터치 포인트는 이동하지 않았으나, 모바일 단말의 이동에 의해 모바일 단말의 카메라 시점에 해당하는 맵이 변경되는 경우)에도 수행될 수 있도록 한다.
이에 제1 및 제2 모바일 단말(100, 200) 각각은 사용자의 터치 포인트가 이동되는 지 또는 사용자가 화면 터치한 모바일 단말이 이동되는지를 반복적으로 확인한다(S61).
만약, 특정 모바일 단말(예를 들어, 제1 모바일 단말(100))이 사용자의 터치 포인트가 이동되거나 사용자가 화면 터치한 모바일 단말이 이동함을 검출하면, 해당 모바일 단말(예를 들어, 제1 모바일 단말(100))은 사용자 터치 포인트에 대응되는 적어도 하나의 드로잉 포인트를 생성하고, 이들 각각의 터치 좌표를 획득한다(S62). 이때, 드로잉 포인트는 점 형태로 생성될 수도 있고, 선 형태로 생성될 수도 있는 데, 점 형태일 때에는 하나의 화면 좌표가, 선 형태일 때에는 연속되는 다수의 터치 좌표가 획득될 수 있을 것이다.
그리고, 드로잉 포인트의 터치 좌표를 기준좌표계 좌표로 변환한 후, 드로잉 포인트의 메타 데이터로 저장한다(S63). 기준좌표계 좌표는 크게 2 가지 방법에 의해 획득될 수 있는 데, 하나는 화면 변환 매트릭스를 통해 드로잉 포인트의 터치 좌표를 기준좌표계 좌표로 변환하는 방법(제1 방법)이고, 나머지 하나는 카메라 프레임내 영상 특징점들을 서로 연결하여 다수의 삼각형 메쉬 영역을 형성한 후, 드로잉 포인트가 속한 삼각형 영역의 무게 중심 좌표를 계산한 후, 이를 드로잉 포인트의 기준 좌표로 선정하는 방법(제2 방법)이다.
영상 호스트로 동작하는 제1 모바일 단말(100)은 카메라 프레임 업데이트 주기마다 새로운 카메라 프레임을 획득한 후(S71-1), 새로운 카메라 프레임에 따라 맵 업데이트 동작을 수행한다(S72). 이때, 맵은 기준좌표계 좌표 방법에 따라 포함 내용이 서로 상이해질 수 있다. 즉, 제1 방법 이용시에는 화면 변환 매트릭스(view transform matrix)을 포함하고, 제2 방법 이용시에는 카메라 프레임에 포함된 영상 특징점들의 좌표 목록을 포함할 수 있을 것이다.
그리고, 제1 모바일 단말(100)은 새로운 카메라 프레임과 업데이트된 맵을 게스트로 동작하는 제2 모바일 단말(200)에 제공하고, 게스트로 동작하는 제2 모바일 단말(200)은 화면 갱신 주기가 될 때마다 제1 모바일 단말(100)가 전송하는 새로운 카메라 프레임과 업데이트된 맵을 수신하도록 한다(S73). 다만, 본 발명에서는 제1 모바일 단말(100)과 제2 모바일 단말(200)간 통신 환경을 고려하여, 정보 제공 주기를 임의로 조정할 수 있도록 한다. 즉, 낮은 통신 속도시에는 일부 카메라 프레임에 대한 정보를 전송치 않고 건너뛸 수도 있을 것이다.
그리고, 각 모바일 단말(100, 200)은 맵 업데이트에 따른 신규 드로잉 포인트 생성 여부를 판정한다(S74). 즉, 사용자의 현재 드로잉 포인트의 터치 좌표와 마지막 드로잉 포인트가 현재 화면에 매핑된 좌표간 유클리드 거리(Euclidean distance)가 기 설정된 임계치를 초과하는 지 판단하고, 임계치를 초과하는 경우에 한해 사용자의 현재 드로잉 포인트를 신규 드로잉 포인트로 획득하도록 한다.
그리고, 신규 드로잉 포인트 각각에 상응하는 기준좌표계 좌표로 획득한다(S75). 이때의 기준좌표계 좌표는 단계 S63과 동일한 방식으로 획득될 수 잇을 것이다.
그리고, 각 모바일 단말(100, 200)은 자신이 생성한 드로잉 포인트들, 드로잉 포인트 각각의 기준좌표계 좌표를 서로 공유한다(S76). 이때, 각 모바일 단말(100, 200)은 모든 드로잉 포인트에 대한 정보를 일괄 전송할 수도 있으나, 통신 용량의 최소화를 위해 새로이 생성/소멸된 드로잉 포인트에 대한 정보만을 선별적으로 전송한 후, 주기적으로 전체 드로잉 포인트에 대한 정보를 갱신할 수도 있을 것이다.
마지막으로, 각 모바일 단말(100, 200)은 자신이 자체 생성하거나 또는 전송받은 드로잉 포인트의 기준좌표계 좌표를 수학식 1에서와 같이 자신의 화면(즉, 현재 카메라 프레임)에 매핑하여 표시한다(S77).
수학식 1
Figure PCTKR2013004311-appb-M000001
이때, f 늘 매핑 함수, V는 드로잉 포인트의 기준좌표계 좌표, M은 현재 카메라 프레임의 맵, V'는 V가 모바일 단말의 현재 화면에 매핑된 드로잉 포인트의 화면 표시 좌표.
도15는 본 발명의 일 실시예에 따른 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법에 따른 모바일 단말 화면 변화 예를 도시한 도면이다.
즉, 본 발명에서는 도15에서와 같이 제1 모바일 단말(100)과 제2 모바일 단말(200)은 동일한 화면을 구성 및 표시하여, 다수의 사용자가 동일한 화면을 보면서 드로잉 동작을 수행할 수 있도록 하고, 이에 더 나아가 서로의 드로잉 정보를 모두 공유할 수 있도록 한다.
그리고, 드로잉 포인트의 터치 좌표를 기준좌표계 좌표로 변환한 후, 이를 화면에 매핑하도록 함으로써, 모바일 단말의 움직임과 상관없이 드로잉 정보는 항상 동일한 영상 객체 위에 고정 표시될 수 있도록 하는 효과를 제공한다. 즉, 모바일 단말이 이동하여 모바일 단말에 표시되는 영상의 시점이 변화되더라도, 드로잉 포인트는 항상 동일한 영상 객체 위에 표시될 수 있도록 한다.
또한, 본 발명에서는 사용자 식별을 위해, 사용자 별로 드로잉 포인트의 표시 방법을 달리함으로써, 누가 어떤 드로잉 패턴을 그렸는지를 서로 인식할 수 있도록 하기도 한다.
도16은 본 발명의 일 실시예에 따른 영상 통화 시스템의 드로잉 포인트 생성 방법을 설명하기 위한 도시한 도면이다.
도16에 도시된 바와 같이, 본 발명에서는 일반 드로잉 동작에서와 같이 사용자가 화면상에서 손가락을 드래그하여 사용자 터치 지점(파란 점선으로 표시)을 직접 이동시킴으로써, 드로잉 포인트(빨간 실선으로 표시)를 새로이 생성할 수 있다.
한편, 본 발명에서는 사용자 손가락이 아닌 모바일 단말을 이동시켜서도 드로잉 포인트(빨간 실선으로 표시)를 새로이 생성할 수도 있다. 즉, 사용자가 모바일 단말의 일 지점을 터치한 후 터치 지점(파란 점으로 표시)은 그대로 유지한 채, 모바일 단말만을 이동시킴으로써 드로잉 포인트(빨간 실선으로 표시)를 생성할 수도 있도록 한다.
이와 같이, 본 발명에서는 모바일 단말이 사용자에 의해 이동될 수 있음을 고려하여 새로운 방식의 드로잉 포인트 생성 방법을 제안함을 알 수 있다. 이에 사용자는 자신의 사용 환경에 적합한 드로잉 포인트 생성 방법을 선택하여, 보다 편리하고 효과적으로 드로잉 포인트를 생성할 수 있게 된다.
도17은 본 발명의 일 실시예에 따른 도14의 드로잉 포인트의 기준좌표계 좌표 단계 및 화면 매핑 단계를 보다 상세히 설명하기 위한 도면으로, 도17에서는 드로잉 포인트의 터치 좌표에 화면 변환 매트릭스의 역행렬을 곱하여 드로잉 포인트의 기준좌표계 좌표를 획득하는 방법(제1 방법)에 대해 설명하기로 한다.
먼저, 모바일 단말(100, 200)은 새로운 카메라 프레임에 대응되는 맵(M)을 획득한다(S81).
단계 S81에서 획득되는 맵(M)은 화면 변환 매트릭스로 구성되며, 맵 획득 방법은 카메라 프레임이 2차원 영상인 경우와 3차원 영상인 경우, 그 방법이 달라질 수 있다.
예를 들어, 카메라 프레임이 2차원 영상인 경우에는 드로잉 포인트의 터치 좌표가 일반 2차원 화면 좌표이므로, 새로운 프레임과 이전 프레임 사이에서 영상 특징점들이 이동한 2차원 아핀 변화(affine transform)을 x방향과 y방향 이동 평균값으로 구하고, 이를 최초 프레임으로부터 계속 곱하여 누적하여 화면 변환 매트릭스를 생성하도록 한다. 즉, 이동량만을 간주하여 방법으로 맵으로 사용될 화면 변환 매트릭스를 생성하도록 한다.
한편, 카메라 프레임이 3차원 영상인 경우에는 드로잉 포인트의 터치 좌표가 드로잉 포인트의 깊이 정보를 포함하는 3차원 좌표이므로, 새로운 프레임과 이전 프레임 사이에서 영상 특징점들이 이동한 3차원 아핀 변화(affine transform)을 RANSAC 등의 알고리즘으로 구하고, 이를 최초 프레임으로부터 계속 곱하여 누적하여 화면 변환 매트릭스를 생성하도록 한다.
그리고 드로잉 포인트의 터치 좌표(u)와, 각 드로잉 포인트 생성 시점의 맵(N)을 획득한 후(S82), 이들을 수학식 2에 따라 서로 곱하여 드로잉 포인트의 터치 좌표를 기준좌표계 좌표로 변환한다(S83).
수학식 2
Figure PCTKR2013004311-appb-M000002
이때, N은 각 드로잉 포인트 생성 시점의 맵, N-1 은 N의 역행렬, u는 드로잉 포인트의 터치 좌표, V는 드로잉 포인트의 기준좌표계 좌표.
그리고 수학식 3에 따라 드로잉 포인트의 기준좌표계 좌표(V)를 현재 화면(즉, 현재 카메라 프레임)에 매핑하여 드로잉 포인트의 화면 표시 좌표(V')를 획득한 후, 현재 카메라 프레임에 오버레이시켜 표시하여 준다(S84).
수학식 3
Figure PCTKR2013004311-appb-M000003
도18은 본 발명의 다른 실시예에 따른 도14의 드로잉 포인트의 기준좌표계 좌표 단계 및 화면 매핑 단계를 보다 상세히 설명하기 위한 도면으로, 도18에서는 각 드로잉 포인트에 인접한 영상 특징점들의 이동량의 보간(interpolation)으로서 드로잉 포인트의 이동량을 결정하는 방법(제2 방법)에 관해 설명하기로 한다.
먼저, 모바일 단말(100, 200)은 새로운 카메라 프레임에 대응되는 맵(M)을 획득한다(S91).
단계 S91에서 획득되는 맵(M)은 카메라 프레임에 대한 영상 특징점들의 좌표 목록으로 구성되며, 이때의 특징점들은 옵티컬 플로우(optical flow)를 통해 서로 다른 카메라 프레임간에 트랙킹될 것이다.
물론, 단계 S91의 맵 획득 방법도, 단계 S81의 맵 획득 방법과 동일한 원리로 2차원 영상인 경우와 3차원 영상인 경우에 대해 그 방법이 달라질 수 있다.
그리고 드로잉 포인트의 터치 좌표(u)와, 각 드로잉 포인트 생성 시점의 맵(N)을 획득한 후(S92), 맵(N)에 대한 들로네 삼각화(Delaunay triangulation)을 수행한다(S93). 즉, 들로네 삼각화 알고리즘을 이용하여 현재 카메라 프레임에 포함된 영상 특징점들을 서로 연결하여, 다수의 삼각 영역을 형성한다.
그리고 드로잉 포인트의 터치 좌표(u)가 속한 삼각 영역의 세 정점 a,b,c를 선택하고, 그 세 정점에 대한 무게 중심 좌표를 계산한 후, 이를 드로잉 포인트의 기준좌표계 좌표(V)로 획득한다(S94).
수학식 4
Figure PCTKR2013004311-appb-M000004
그리고 수학식 5에 따라 드로잉 포인트의 기준좌표계 좌표를 현재 화면(즉, 현재 카메라 프레임)에 매핑하여 드로잉 포인트의 화면 표시 좌표를 획득한 후, 현재 카메라 프레임에 오버레이시켜 표시하여 준다(S95). 즉, 드로잉 포인트의 기준좌표계 좌표(V)를 현재 맵(M)에서 상기 세 정점의 좌표 ra, rb, rc를 기준으로 드로잉 포인트의 터치 좌표로 복원함으로써, 드로잉 포인트의 기준좌표계 좌표가 현재 화면(즉, 현재 카메라 프레임)에 매핑 및 표시되도록 한다.
수학식 5
Figure PCTKR2013004311-appb-M000005
참고로, 하나의 카메라 프레임에서 맵을 추출하고, 다음의 카메라 프레임이 들어오기까지 그려진 드로잉 포인트들과 그 이후의 드로잉 포인트들 사이에는 기준좌표계가 불연속적되어, 톱니 모양의 드로잉 포인트가 생겨나는 문제가 발생할 수 있다. 특히, 이러한 문제는 네트워크를 통해 카메라 영상을 수신받는 게스트측에서는 통신 사정으로 제공받는 프레임 레이트가 떨어질 때 더욱 심화될 수 있다.
이에 본 발명에서는 도19의 프레임간 맵 보간 과정을 통해 이러한 문제가 발생하더라도, 정상적인 드로잉 협업 동작이 수행될 수 있도록 한다.
도19는 본 발명의 다른 실시예에 따른 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법을 설명하기 위한 도면이다.
도19를 참고하면, 본 발명의 다른 실시예에서는 단계 S74 이후에, 드로잉 포인트 생성 직전 맵과 직후 맵을 서로 비교하여, 포인트 생성 시점을 기준으로 두 맵 사이를 보간한 맵을 생성하는 과정을 수행한다(S101).
그리고 포인트 생성 시점을 기준으로 두 맵 사이를 보간한 맵을 기반으로 신규 드로잉 포인트 각각에 상응하는 기준좌표계 좌표를 조정한 후(S102), 다시 드로잉 포인트 및 드로잉 포인트 기준좌표계 좌표 공유하는 단계 S76로 진입하도록 한다.
그 결과, 도19의 드로잉 협업 방법을 적용하면, 도520에 도시된 바와 같이 드로잉 포인트는 표시 경로는 프레임 레이트와 상관없이 항상 연속되게 될 것이다. 다만, 통신 사정 등으로 카메라 프레임이 장시간 멈춰 있을 수 있는 경우를 감안하여, 최종 프레임으로부터 일정 기준 시간(예를 들어, 0.1~0.2 초) 이내에 생성된 드로잉 포인트에 대해서만 보간 동작이 수행되도록 하도록 한다.
도521은 본 발명의 또 다른 실시예에 따른 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법을 설명하기 위한 도면으로, 이는 영상 스트림 디스플레이를 일시 정지시킨 상태에서 드로잉 동작을 수행할 수 있도록 하는 것이다.
도521에서는, 사용자가 자신이 구비한 모바일 단말의 특정 버튼, 또는 화면 표시된 특정 메뉴를 선택하여 화면 정지를 요청하면, 화면 정지를 요청한 단말은 영상 통화 화면을 정지한다(S111).
이러한 상태에서 사용자가 화면 터치를 하여 신규 드로잉 포인트를 생성하면(S112), 화면 정지 시점의 맵 정보를 이용하여 신규 드로잉 포인트 각각에 상응하는 기준좌표계 좌표를 획득한 후(S113), 이를 상대편 단말과 공유하도록 한다(S114).
단계 S112 ~ S114는 사용자가 모바일 단말의 특정 버튼, 또는 화면 표시된 특정 메뉴를 선택하여 화면 정지를 해제하거나, 단일 스크로크가 종료될 때까지 반복 수행될 것이다.
한편, 화면 정지 상태가 해제되면(S115), 도14 또는 도19의 단계 S72로 진입하여 이전과 동일하게 드로잉 포인트 생성 동작을 수행하도록 한다.
도521에서와 같이, 영상 통화 화면을 정지하고 드로잉 동작을 수행할 경우에는 모바일 단말 이동량에 의해 드로잉 오차가 발생하는 것을 완전히 차단할 수 있어, 사용자가 드로잉 시작점, 끝점, 경로 등을 더욱 정교하게 그릴 수 있게 수 있도록 한다.
도522는 본 발명의 또 다른 실시예에 따른 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법에 따른 모바일 단말 화면 예를 도시한 도면이다.
즉, 도522에 도시된 바와 같이, 화면 정지를 요청한 모바일 단말은 카메라 영상을 일정 기간 동안 정지시킨 후, 화면 정지 시점의 카메라 영상의 맵 정보를 이용하여 드로잉 동작이 수행함을 알 수 있다.
그리고, 화면 정지가 해제되는 경우, 새로운 카메라 영상과 맵 정보를 획득한 후, 새로운 맵 정보와 화면 정지 시점의 맵 정보를 비교 분석하여 모바일 단말 이동량을 파악하고, 모바일 단말 이동량을 반영하여 화면 정지 상태에서 획득된 드로잉 포인트의 좌표를 즉각 수정함을 알 수 있다. 즉, 새로운 카메라 영상의 맵 정보를 이용하여 드로잉 객체의 표시 위치를 즉각 이동시킴을 알 수 있다.
한편, 본 발명에서는 화면 정지를 요청한 모바일 단말의 영상 통화 화면만이 정지될 할 뿐, 상대편 단말의 영상 표시 및 드로잉 협업 동작은 그대로 수행되도록 함으로써, 특정 단말의 화면 정지 동작에 의해 다른 모바일 단말의 동작까지 영향을 받지 않도록 한다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (23)

  1. 사용자 단말이 다수의 통화모드 중 하나를 선택하여 상대편 단말에 통보하는 단계; 및
    상기 사용자 단말과 상기 상대편 단말 각각이, 상기 통화모드에 따라 썸네일 뷰와 메인 뷰에 각각 표시될 영상의 종류를 가변하는 단계를 포함하는 영상 통합 제어 방법.
  2. 제1항에 있어서, 상기 다수의 통화모드는
    음성 통화를 수행하는 보이스(voice) 모드, 영상 통화자간 얼굴을 확인하면서 영상 통화를 수행하는 페이스 뷰(face view) 모드, 상대편 단말의 후면 카메라 영상을 공유하는 리모트 뷰(remote view) 모드, 사용자 단말의 후면 카메라 영상을 공유하는 로컬 뷰(local view) 모드, 및 드로잉(drawing) 모드를 포함하는 것을 특징으로 하는 영상 통합 제어 방법.
  3. 제2항에 있어서, 상기 영상의 종류를 가변하는 단계는
    상기 통화모드가 리모트 뷰 모드인 경우, 상기 사용자 단말과 상기 상대편단말 모두는 썸네일 뷰에 상기 사용자 단말의 전면 카메라 영상을, 메인 뷰에 상기 상대편 단말의 후면 카메라 영상을 표시하는 화면을 구성하는 것을 특징으로 하는 영상 통합 제어 방법.
  4. 제2항에 있어서, 상기 영상의 종류를 가변하는 단계는
    상기 통화모드가 로컬 뷰 모드인 경우, 상기 사용자 단말과 상기 상대편단말 모두는 썸네일 뷰에 상기 상대편 단말의 전면 카메라 영상을, 메인 뷰에 상기 사용자 단말의 후면 카메라 영상을 표시하는 화면을 구성하는 것을 특징으로 하는 영상 통합 제어 방법.
  5. 제2항에 있어서, 상기 영상의 종류를 가변하는 단계는
    상기 통화모드가 페이스 뷰 모드인 경우, 상기 사용자 단말은 썸네일 뷰에 자신의 전면 카메라 영상을 표시하고, 메인 뷰에 상기 상대편 단말의 전면 카메라 영상을 메인 뷰에 표시하는 화면을 구성하고,
    상기 상대편 단말은 자신의 전면 카메라 영상을 썸네일 뷰에, 상기 사용자 단말의 전면 카메라 영상을 메인 뷰에 표시하는 화면을 구성하는 것을 특징으로 하는 영상 통합 제어 방법.
  6. 제2항에 있어서, 상기 영상의 종류를 가변하는 단계는
    상기 통화모드가 보이스 모드인 경우, 상기 사용자 단말과 상기 지시 수행모바일 단말 모두는 영상 제공을 일시 중지하는 화면을 구성하는 것을 특징으로 하는 영상 통합 제어 방법.
  7. 제2항에 있어서, 상기 영상의 종류를 가변하는 단계는
    상기 사용자 단말과 상기 상대편 단말 중 하나를 영상 호스트 단말로 설정하고, 나머지 단말을 게스트 단말로 설정한 후, 상기 영상 호스트 단말이 제공하는 카메라 프레임을 공유하는 화면을 구성하는 것을 특징으로 하는 영상 통합 제어 방법.
  8. 제7항에 있어서,
    상기 영상 호스트 단말과 상기 게스트 단말 중 적어도 하나가 화면을 터치하거나 화면 터치상태에서 변화되는 모바일 단말 이동을 감지하여, 드로잉 포인트를 생성하고 공유하는 단계; 및
    상기 영상 호스트 단말과 상기 게스트 단말 모두가 상기 영상 호스트 단말이 제공하는 카메라 프레임에 상기 드로잉 포인트를 매핑하여 표시하는 단계를 더 포함하는 영상 통화 중 드로잉 협업 방법.
  9. 다수의 모바일 단말 중 하나는 영상 호스트 단말이고, 나머지 단말은 게스트 단말인 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법에 있어서,
    상기 다수의 모바일 단말이 상기 영상 호스트 단말이 제공하는 카메라 프레임을 공유하면서, 영상 통화를 수행하는 단계;
    상기 다수의 모바일 단말 중 적어도 하나가 화면을 터치하거나 화면 터치상태에서 변화되는 모바일 단말 이동을 감지하여, 드로잉 포인트를 생성하고, 상기 다수의 모바일 단말 모두와 공유하는 단계; 및
    상기 다수의 모바일 단말 각각이 상기 영상 호스트 단말이 제공하는 카메라 프레임에 상기 드로잉 포인트를 매핑하여 표시하는 단계를 포함하는 영상 통화 중 드로잉 협업 방법.
  10. 제9항에 있어서, 상기 드로잉 포인트를 생성하고, 상기 다수의 모바일 단말 모두와 공유하는 단계는
    상기 다수의 모바일 단말 중 적어도 하나가 사용자가 화면을 터치하거나, 화면 터치상태에서 모바일 단말 이동할 때마다, 드로잉 포인트를 생성하여 상기 드로잉 포인트의 기준좌표계 좌표를 획득 및 저장하는 단계;
    상기 다수의 모바일 단말 중 영상 호스트 단말에서 카메라 프레임 갱신 주기가 될 때마다, 새로운 카메라 프레임을 획득하고 맵을 업데이트한 후, 새로운 카메라 프레임과 업데이트된 맵을 게스트 단말에 제공하는 단계; 및
    상기 다수의 모바일 단말 각각이 업데이트된 맵을 이용하여 신규 드로잉 포인트와 상기 드로잉 포인트의 기준좌표계 좌표를 획득한 후, 상기 다수의 모바일 단말 모두와 공유하는 단계를 포함하는 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  11. 제10항에 있어서, 상기 드로잉 포인트의 기준좌표계 좌표는
    드로잉 포인트의 터치 좌표에 새로운 카메라 프레임에 상응하는 맵을 곱하여 획득되는 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  12. 제11항에 있어서, 상기 새로운 카메라 프레임에 상응하는 맵은
    화면 변환 매트릭스(view transform matrix)인 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  13. 제10항에 있어서, 상기 드로잉 포인트의 기준좌표계 좌표는
    새로운 카메라 프레임에 상응하는 맵에 포함된 영상 특징점을 삼각화하여 다수의 삼각 영역을 생성한 후, 드로잉 포인트의 터치 좌표가 속하는 삼각 영역의 무게 중심 좌표를 상기 기준좌표계 좌표로 획득하는 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  14. 제13항에 있어서, 상기 새로운 카메라 프레임에 상응하는 맵은
    상기 새로운 카메라 프레임에 포함된 영상 특징점들의 목록인 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  15. 제13항에 있어서, 상기 드로잉 포인트를 매핑하여 표시하는 단계는
    상기 드로잉 포인트의 터치 좌표가 속하는 삼각 영역의 세 정점의 좌표를 기준으로, 상기 새로운 카메라 프레임에 상응하는 맵에서 상기 드로잉 포인트의 기준좌표계 좌표를 상기 드로잉 포인트의 터치 좌표로 복원함으로써, 상기 영상 호스트 단말이 제공하는 카메라 프레임에 상기 드로잉 포인트를 매핑하여 표시하는 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  16. 제10항에 있어서, 상기 신규 드로잉 포인트와 상기 드로잉 포인트의 기준좌표계 좌표를 획득한 후, 상기 다수의 모바일 단말 모두와 공유하는 단계는
    드로잉 포인트 생성 직전 맵과 드로잉 포인트 생성 직후 맵을 보간한 맵을 생성한 후, 상기 보간된 맵을 이용하여 상기 드로잉 포인트의 기준좌표계 좌표를 수정하는 단계를 더 포함하는 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  17. 제16항에 있어서, 상기 드로잉 포인트를 오버레이하여 표시하는 단계는
    사용자별로 드로잉 포인트의 표시 방법을 달리하는 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  18. 제9항에 있어서,
    상기 다수의 모바일 단말 각각 중 적어도 하나가 화면 정지 요청을 감지하면, 화면 정지 요청 단말이 화면 정지 동작을 수행한 후, 화면 정지 시점의 맵을 이용하여 드로잉 포인트의 기준좌표계 좌표를 획득하고 공유하는 단계를 더 포함하는 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  19. 다수의 모바일 단말 중 하나는 영상 호스트 단말이고, 나머지 단말은 게스트 단말인 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법에 있어서,
    상기 다수의 모바일 단말 중 적어도 하나가 사용자가 화면을 터치하거나, 화면 터치상태에서 모바일 단말 이동할 때마다, 드로잉 포인트를 생성하여 상기 드로잉 포인트의 기준좌표계 좌표를 획득 및 저장하는 단계;
    상기 다수의 모바일 단말 중 영상 호스트 단말에서 카메라 프레임 갱신 주기가 될 때마다, 새로운 카메라 프레임을 획득하고 맵을 업데이트한 후, 새로운 카메라 프레임과 업데이트된 맵을 게스트 단말에 제공하는 단계;
    상기 다수의 모바일 단말 각각이 업데이트된 맵을 이용하여 신규 드로잉 포인트와 상기 드로잉 포인트의 기준좌표계 좌표를 획득한 후, 상기 다수의 모바일 단말 모두와 공유하는 단계; 및
    상기 다수의 모바일 단말 각각이 상기 드로잉 포인트의 기준좌표계 좌표에 따라 상기 드로잉 포인트를 상기 카메라 프레임에 매핑하여 표시하는 단계를 포함하는 영상 통화 중 드로잉 협업 방법.
  20. 제19항에 있어서,
    드로잉 포인트가 불연속되면, 드로잉 포인트 생성 직전 맵과 드로잉 포인트 생성 직후 맵을 보간한 맵을 생성한 후, 상기 보간된 맵을 이용하여 상기 드로잉 포인트의 기준좌표계 좌표를 수정하는 단계를 더 포함하는 것을 특징으로 하는 영상 통화 중 드로잉 협업 방법.
  21. 다수의 모바일 단말 중 하나는 영상 호스트 단말이고, 나머지 단말은 게스트 단말인 영상 통화 시스템의 영상 통화 중 드로잉 협업 방법에 있어서,
    상기 다수의 모바일 단말 중 적어도 하나가 사용자가 화면을 터치하거나, 화면 터치상태에서 모바일 단말 이동할 때마다, 드로잉 포인트를 생성하여 상기 드로잉 포인트의 기준좌표계 좌표를 획득 및 저장하는 단계;
    상기 다수의 모바일 단말 중 영상 호스트 단말에서 카메라 프레임 갱신 주기가 될 때마다, 새로운 카메라 프레임을 획득하고 맵을 업데이트한 후, 새로운 카메라 프레임과 업데이트된 맵을 게스트 단말에 제공하는 단계;
    상기 다수의 모바일 단말 각각 중 적어도 하나가 화면 정지 요청을 감지하면, 화면 정지 요청 단말은 화면 정지 동작을 수행한 후 화면 정지 시점의 맵을 이용하여 드로잉 포인트의 기준좌표계 좌표를 획득하고, 그렇지 않은 모바일 단말은 상기 업데이트된 맵을 이용하여 신규 드로잉 포인트와 상기 드로잉 포인트의 기준좌표계 좌표를 획득하는 단계; 및
    상기 다수의 모바일 단말 각각이 상기 드로잉 포인트의 기준좌표계 좌표를 공유하고, 상기 드로잉 포인트의 기준좌표계 좌표에 따라 상기 드로잉 포인트를 카메라 프레임에 매핑하여 표시하는 단계를 포함하는 영상 통화 중 드로잉 협업 방법.
  22. 다수의 통화모드를 구비하고, 사용자 요청, 기본 옵션 값, 또는 상대편 단말과의 마지막 통화모드 중 적어도 하나를 고려하여, 상기 다수의 통화모드 중 하나를 선택하는 통화모드 결정부;
    상기 통화모드 결정부에 의해 선택된 통화모드에 따라 상기 상대편 단말에 제공할 영상과 상기 상대편 단말로부터 제공받을 영상의 종류를 변경하는 영상 제어부; 및
    상기 상대편 단말에 제공하는 영상과 상기 상대편 단말로부터 제공받은 영상을 화면 표시하여, 상대편 통화자와의 영상 통화를 지원하는 통화부를 포함하는 모바일 단말.
  23. 제21항에 있어서,
    상기 모바일 단말의 사용자와 상기 상대편 단말의 사용자가 동일한 화면을 보면서, 드로잉 협업 동작을 수행할 수 있도록 하는 드로잉 협업부를 더 포함하는 것을 특징으로 하는 모바일 단말.
PCT/KR2013/004311 2012-05-15 2013-05-15 영상 통화 시스템에서의 영상 통합 제어 방법 WO2013172657A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2012-0051626 2012-05-15
KR1020120051626A KR20130127829A (ko) 2012-05-15 2012-05-15 영상 통화 시스템에서의 영상 통합 제어 방법
KR10-2012-0051424 2012-05-15
KR1020120051424A KR101434728B1 (ko) 2012-05-15 2012-05-15 영상 통화 시스템에서의 영상 통화 중 드로잉 협업 방법

Publications (1)

Publication Number Publication Date
WO2013172657A1 true WO2013172657A1 (ko) 2013-11-21

Family

ID=49584001

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/004311 WO2013172657A1 (ko) 2012-05-15 2013-05-15 영상 통화 시스템에서의 영상 통합 제어 방법

Country Status (1)

Country Link
WO (1) WO2013172657A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412483A (zh) * 2016-10-28 2017-02-15 腾讯科技（深圳）有限公司 一种摄像头共享方法及装置
WO2019139631A1 (en) * 2018-01-12 2019-07-18 Facebook, Inc. Coordinated effects in videos
US11102264B2 (en) 2018-01-12 2021-08-24 Facebook, Inc. Methods and systems for initiating a coordinated effect
US11372698B2 (en) 2018-01-12 2022-06-28 Meta Platforms, Inc. Coordinated effects in experiences

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060019412A (ko) * 2004-08-27 2006-03-03 엘지전자 주식회사 화상 통화 기능을 갖는 이동통신 단말기
KR20090008719A (ko) * 2007-07-18 2009-01-22 (주)케이티에프테크놀로지스 화이트보드 기능 지원 영상통화 장치 및 그 동작방법
KR20090052732A (ko) * 2007-11-21 2009-05-26 에스케이 텔레콤주식회사 영상 통화 장치 및 그 제어방법
KR20100087954A (ko) * 2009-01-29 2010-08-06 엘지전자 주식회사 휴대 단말기 및 그 동작방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060019412A (ko) * 2004-08-27 2006-03-03 엘지전자 주식회사 화상 통화 기능을 갖는 이동통신 단말기
KR20090008719A (ko) * 2007-07-18 2009-01-22 (주)케이티에프테크놀로지스 화이트보드 기능 지원 영상통화 장치 및 그 동작방법
KR20090052732A (ko) * 2007-11-21 2009-05-26 에스케이 텔레콤주식회사 영상 통화 장치 및 그 제어방법
KR20100087954A (ko) * 2009-01-29 2010-08-06 엘지전자 주식회사 휴대 단말기 및 그 동작방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412483A (zh) * 2016-10-28 2017-02-15 腾讯科技（深圳）有限公司 一种摄像头共享方法及装置
CN106412483B (zh) * 2016-10-28 2020-03-17 腾讯科技（深圳）有限公司 一种摄像头共享方法及装置
WO2019139631A1 (en) * 2018-01-12 2019-07-18 Facebook, Inc. Coordinated effects in videos
CN111543062A (zh) * 2018-01-12 2020-08-14 脸谱公司 视频中的协同效果
US11019305B2 (en) 2018-01-12 2021-05-25 Facebook, Inc. Coordinated effects in videos
US11102264B2 (en) 2018-01-12 2021-08-24 Facebook, Inc. Methods and systems for initiating a coordinated effect
US11372698B2 (en) 2018-01-12 2022-06-28 Meta Platforms, Inc. Coordinated effects in experiences
CN115604515A (zh) * 2018-01-12 2023-01-13 元平台公司（Us） 视频中的协同效果
US12039383B1 (en) 2018-01-12 2024-07-16 Meta Platforms, Inc. Coordinated effects in experiences

Similar Documents

Publication Publication Date Title
WO2021098678A1 (zh) 投屏控制方法及电子设备
WO2014042458A1 (en) Apparatus and method of providing user interface on head mounted display and head mounted display thereof
WO2014208874A1 (en) Display method and apparatus with multi-screen
CN111083684B (zh) 控制电子设备的方法及电子设备
WO2016060501A1 (en) Method and apparatus for providing user interface
WO2017119664A1 (en) Display apparatus and control methods thereof
WO2014088310A1 (en) Display device and method of controlling the same
WO2014025108A1 (en) Head mounted display for adjusting audio output and video output in relation to each other and method for controlling the same
WO2013103275A1 (en) Method and apparatus for implementing multi-vision system by using multiple portable terminals
WO2015046837A1 (ko) 컨텐츠 공유 장치 및 방법
WO2020238497A1 (zh) 图标移动方法及终端设备
CN110531913B (zh) 一种视频彩铃处理方法，通信设备及计算机可读存储介质
WO2020054978A1 (ko) 이미지 생성 장치 및 그 방법
WO2013172657A1 (ko) 영상 통화 시스템에서의 영상 통합 제어 방법
WO2014182140A1 (en) Display apparatus and method of providing a user interface thereof
WO2021093844A1 (zh) 共享控制方法及电子设备
WO2020105752A1 (ko) 단말을 통한 제품 커스터마이징 방법
WO2020238911A1 (zh) 消息发送方法及终端
WO2017217592A1 (en) Method for providing notifications
WO2014126331A1 (en) Display apparatus and control method thereof
WO2019216572A1 (ko) 휴대 단말에서의 영상 제공 방법 및 그 장치
CN108881742B (zh) 一种视频生成方法及终端设备
WO2018186698A2 (ko) 다자간 커뮤니케이션 서비스를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20100108885A (ko) 컴퓨터와 핸드폰 간 영상통화에서의 마우스 지시 포인터를 이용한 원격 애프터서비스 방법
EP3113489A1 (en) Transfer control system, transfer system, transfer control method, and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13790923

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 03/02/2015)

122 Ep: pct application non-entry in european phase

Ref document number: 13790923

Country of ref document: EP

Kind code of ref document: A1