WO2017217821A1 - 영상을 공유하여 다자간 커뮤니케이션을 제공하는 사용자 단말 및 공유 서버 - Google Patents

영상을 공유하여 다자간 커뮤니케이션을 제공하는 사용자 단말 및 공유 서버 Download PDF

Info

Publication number
WO2017217821A1
WO2017217821A1 PCT/KR2017/006352 KR2017006352W WO2017217821A1 WO 2017217821 A1 WO2017217821 A1 WO 2017217821A1 KR 2017006352 W KR2017006352 W KR 2017006352W WO 2017217821 A1 WO2017217821 A1 WO 2017217821A1
Authority
WO
WIPO (PCT)
Prior art keywords
user terminal
image
detected
information
object information
Prior art date
Application number
PCT/KR2017/006352
Other languages
English (en)
French (fr)
Inventor
강상덕
이철민
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Publication of WO2017217821A1 publication Critical patent/WO2017217821A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content

Definitions

  • the present invention relates to a user terminal and a sharing server for providing multi-party communication by sharing an image.
  • a smart phone is a mobile device developed to allow some of the tasks that a computer can do on a mobile phone. People can always carry their smartphones, browse the Internet, send and receive mail, and even shoot and edit videos or photos. Recently, smart phone users can exchange content such as video, music, and pictures with each other. Accordingly, there is a growing demand for smartphone users to provide additional information related to content.
  • Korean Patent Laid-Open Publication No. 2013-0082826 discloses a method and system for generating object information of content.
  • An object of the present invention is to provide a user terminal and a sharing server that provide a multi-party communication for capturing an image by using a camera and sharing an image so that the corresponding image can be shared in real time to a plurality of other user terminals through a sharing server.
  • a user terminal and a shared server that share information extracted using object detection or image / marker tracking, and provide a multi-party communication for sharing a variety of information can be used in multi-party communication.
  • the technical problem to be achieved by the present embodiment is not limited to the technical problems as described above, and other technical problems may exist.
  • an input unit for receiving object information for designating an object detected from an image, a transmission unit for transmitting the received object information to a shared server, photographing
  • An image providing unit for providing an image being captured to the at least one other user terminal using a device, an object detector for detecting at least one object from the image being photographed based on the received object information and the image being photographed and the A display unit which displays a detected object and displays additional information corresponding to the detected object when the detected object is selected, wherein the object information is transmitted from the sharing server to the at least one other user terminal; Zero provided by the other user terminal to the other user terminal
  • the at least one object may be detected from the image based on the object information, and the provided image and the detected object may be displayed by the other user terminal.
  • Another embodiment of the present invention includes a receiver for receiving object information from a user terminal for designating at least one or more objects detected from a captured image, and a transmitter for transmitting the received object information to at least one other user terminal.
  • the image being photographed is provided from the user terminal to the at least one other user terminal, and the at least one object is generated from the image by the user terminal and the at least one other user terminal based on the object information.
  • the detected image and the detected object are displayed by the user terminal and the at least one other user terminal, and when the detected object is selected, additional information corresponding to the detected object is displayed. You can provide a shared server.
  • the receiving unit for receiving the object information for designating the object detected from the image from the sharing server, and receives the image being taken from another user terminal, from the received image based on the object information
  • An object detector to detect at least one or more objects, and a display to display the received image and the at least one detected object, and to display additional information corresponding to the detected object when the detected object is selected.
  • the object information is received through the other user terminal and transmitted from the other user terminal to the sharing server, and the at least one object is detected by the other user terminal from the image being photographed based on the object information.
  • the image being photographed and the detected object are imaged.
  • the other may provide a user terminal to be displayed through the user terminal.
  • multi-party communication to take a video by using a camera, and share the video to share the video to a plurality of other user terminals in real time through a sharing server It may provide a user terminal and a shared server to provide.
  • a user terminal and a shared server that share information extracted using object detection or image / marker tracking, and provide a multi-party communication for sharing a variety of information can be used in multi-party communication. Can provide.
  • FIG. 1 is a block diagram of a multi-party communication providing system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a user terminal according to an embodiment of the present invention.
  • FIG. 3 is a flow chart of a method for providing multi-party communication by sharing an image in a user terminal according to an embodiment of the present invention.
  • FIG. 4 is a configuration diagram of a user terminal according to another embodiment of the present invention.
  • FIG. 5 is a flowchart of a method for providing multi-party communication by sharing an image in a user terminal according to another embodiment of the present invention.
  • FIG. 6 is a configuration diagram of a shared server according to an embodiment of the present invention.
  • FIG. 7 is a flowchart of a method for providing multi-party communication by sharing an image in a sharing server according to an embodiment of the present invention.
  • 8A to 8C are exemplary views illustrating a process of performing multilateral communication through sharing of image and object information in a multilateral communication providing system according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a process of performing a multi-party communication by sharing an image performed in the multi-party communication providing system according to an embodiment of the present invention.
  • the term 'unit' includes a unit realized by hardware, a unit realized by software, and a unit realized by both.
  • one unit may be realized using two or more pieces of hardware, and two or more units may be realized by one piece of hardware.
  • Some of the operations or functions described as being performed by a terminal or a device in the present specification may instead be performed in a server connected to the terminal or device. Similarly, some of the operations or functions described as being performed by the server may be performed by a terminal or a device connected to the server.
  • FIG. 1 is a block diagram of a multi-party communication providing system according to an embodiment of the present invention.
  • a user terminal 110, a sharing server 120, and at least one other user terminal 130 may be included.
  • the user terminal 110, the sharing server 120, and at least one other user terminal 130 illustrated in FIG. 1 exemplarily illustrate components that can be controlled by the multi-party communication providing system 1.
  • Each component of the multi-party communication providing system 1 of FIG. 1 is generally connected via a network.
  • the sharing server 120 may be connected to the user terminal 110 and at least one other user terminal 130 at the same time or at a time interval through a network.
  • the network refers to a connection structure capable of exchanging information between nodes such as terminals and servers.
  • An example of such a network includes Wi-Fi, Bluetooth, Internet, and LAN (Local Area Network). ), Wireless local area network (WLAN), wide area network (WAN), personal area network (PAN), 3G, 4G, 5G, LTE, and the like, but are not limited thereto.
  • the user terminal 110 may be a terminal for capturing an image by using a photographing device, and transmits the image being photographed to at least one other user terminal 130.
  • the user terminal 110 may receive object information for designating an object detected from an image and transmit the received object information to the sharing server 120.
  • the object information may include, for example, 3D model information, marker information, object type, and the like.
  • the user terminal 110 may receive additional information about the detected object, and the input additional information may be mapped and stored with the detected object.
  • the user terminal 110 may provide a live image by streaming the image being captured to the at least one other user terminal 130 using the photographing apparatus.
  • the user terminal 110 may provide a real-time streaming of an image being photographed to at least one other user terminal 130 by using a photographing device through a streaming server (not shown).
  • the user terminal 110 may transmit at least one other user terminal 130 among a plurality of other user terminals 130 pre-stored in an address book of the user terminal 110 to transmit the captured image to the at least one other user terminal 130. ) May be selected, and at least one other user terminal 130 among the plurality of other user terminals 130 may be selected through the organization chart of the in-house application installed in the user terminal 110.
  • the user terminal 110 may detect at least one or more objects from the image being photographed based on the received object information.
  • the user terminal 110 receives additional object information from the sharing server 120 or another user terminal 130, the user terminal 110 is at least one or more from the image being photographed based on the received additional object information
  • the object can be detected.
  • the additional object information may be generated by being input in advance through at least one or more other user terminals 130 and transmitted from the at least one or more other user terminals 130 to the sharing server 120.
  • the additional object information is generated by receiving at least one or more objects included in the image displayed through the at least one or more other user terminals 130 received from the user terminal 110 while the image is displayed, and at least One or more other user terminal 130 may be transmitted to the shared server 120.
  • the user terminal 110 may display the image being photographed and the detected object, and when the detected object is selected, the user terminal 110 may display additional information corresponding to the detected object. For example, when additional information corresponding to the detected object is added or modified by at least one other user terminal 130, the user terminal 110 adds or modifies additional information corresponding to the object. Can be displayed as
  • the user terminal 110 may be a terminal that receives an image being captured from another user terminal 130 to receive multilateral communication through image sharing.
  • the user terminal 110 may receive object information for designating an object detected from an image from the sharing server 120, and may receive an image being captured from another user terminal 130.
  • the user terminal 110 may detect at least one or more objects from the received image based on the object information.
  • the user terminal 110 may detect at least one or more objects from the received image based on, for example, 3D model information, marker information, object type, and the like.
  • the user terminal 110 may display the received image and at least one or more detected objects, and display additional information corresponding to the detected objects when the detected objects are selected.
  • the sharing server 120 may receive object information from the user terminal 110 to designate at least one or more objects detected from the captured image, and transmit the received object information to the at least one other user terminal 130. . In addition, the sharing server 120 may receive additional object information generated by inputting at least one or more other user terminals 130 in advance, and transmit the received additional object information to the user terminal 110.
  • Technologies that provide multilateral communication by sharing these videos can provide real-time on-site verification of space or products between the field and the office, for example in the construction / architecture and manufacturing sectors, and companies can create a corporate collaboration solution journal. It can be used to share, share, and manage history, and can be applied in various fields such as sharing a memo through a home bulletin board between families.
  • the user terminal 110 may include an input unit 210, a transmitter 220, an image provider 230, an object detector 240, a display unit 250, and a receiver 260.
  • the user terminal 110 of FIG. 2 may be a terminal that photographs an image and transmits the image to another user terminal 130.
  • the input unit 210 may receive object information for designating an object detected from an image.
  • the object information may be generated through image processing, image analysis, or the like, and the object information may be mapped with identification information such as ID and managed and shared through the sharing server 120.
  • the object information may include 3D model information, marker information, object type, and the like.
  • the 3D model information is an object modeled by generating computer graphics data used in existing 3D modeling.
  • the 3D model information may be used as reference data for detecting an object, such as pattern information of a marker, based on the generated graphics data. have.
  • the object type may include, for example, information such as face, animal, color text, and the like.
  • the input unit 210 may receive additional information about the detected object.
  • the input additional information may be stored mapped with the detected object. For example, when additional information about the detected object is input from the user, the additional information may be mapped and stored with the object based on identification information such as an ID of the detected object.
  • the stored additional information may be managed and shared through the sharing server 120 like the mapped object information.
  • the input unit 210 may select at least one or more other user terminals 130 from among the plurality of other user terminals 130 previously stored in the address book. Alternatively, when using the in-house application installed in the user terminal 110, the input unit 210 may select at least one or more other user terminals 130 using an organization chart.
  • the transmitter 220 may transmit the received object information to the sharing server 120.
  • the object information may be transmitted to at least one or more other user terminals 130 through the sharing server 120.
  • the transmitter 220 may directly transmit the received object information to at least one other user terminal 130.
  • the image provider 230 may provide an image being photographed to at least one other user terminal 130 using the photographing apparatus. For example, the image provider 230 may stream the captured image to at least one other user terminal 130 selected based on the address book. For another example, the image provider 230 may stream the captured image to at least one other user terminal 130 selected based on an organization chart of an in-house application installed in the user terminal 110. In this case, the image being photographed may be transmitted to at least one or more other user terminals 130 using, for example, Real Time Streaming Protocol (RTSP).
  • RTSP Real Time Streaming Protocol
  • the object detector 240 may track or detect at least one object from the captured image based on the received object information.
  • the object detector 240 may track or detect at least one or more objects from the captured image based on the received additional object information. For example, when using the marker included in the object information, the object detector 240 may detect the object by comparing the pattern information detected in the streaming image based on the digitized pattern information and detecting the marker of the object. have.
  • the display unit 250 may display the captured image and the detected object.
  • the display unit 250 detects at least one or more objects based on the object information from the image provided in real time streaming from the other user terminal 130 by the other user terminal 130, provided by the other user terminal 130 Images and detected objects may also be displayed.
  • the display unit 250 may display additional information corresponding to the detected object.
  • the receiver 260 may receive additional object information from the sharing server 120.
  • the receiver 260 may directly receive additional object information from the other user terminal 130 in which the additional object information is generated.
  • the additional object information may be generated by being input in advance through at least one or more other user terminals 130.
  • the additional object information may be generated by receiving at least one or more objects included in the image displayed through the at least one other user terminal 130 received from the user terminal 110 while the image is displayed. have. In this case, the additional object information may be transmitted from the at least one other user terminal 130 to the sharing server 120.
  • FIG. 3 is a flow chart of a method for providing multi-party communication by sharing an image in a user terminal according to an embodiment of the present invention.
  • the method of providing multi-party communication by sharing an image performed by the user terminal 110 according to the embodiment shown in FIG. 3 is processed in time series in the multi-party communication providing system 1 according to the embodiment shown in FIG. 1. Steps included. Therefore, although omitted below, the present invention also applies to a method for providing multi-party communication by sharing an image performed by the user terminal 110 according to the exemplary embodiment shown in FIGS. 1 and 2.
  • the user terminal 110 may receive object information for designating an object detected from the image.
  • the object information may include, for example, 3D model information, marker information, object type, and the like.
  • the user terminal 110 may transmit the received object information to the sharing server 120.
  • the object information may be transmitted from the sharing server 120 to at least one other user terminal 130.
  • the user terminal 110 may provide an image being photographed to at least one other user terminal 130 using the photographing apparatus.
  • the user terminal 110 may live stream the captured image to at least one other user terminal 130.
  • the at least one object may be detected from an image streamed in real time by another user terminal 130 based on the object information.
  • the user terminal 110 may detect at least one or more objects from the captured image based on the received object information.
  • the user terminal 110 may display the image being photographed and the detected object, and if the detected object is selected, the user terminal 110 may display additional information corresponding to the detected object.
  • the user terminal 110 receives the selection of at least one or more other user terminals 130 from among the plurality of other user terminals 130 pre-stored in the address book, and at least one or more other received images.
  • the method may further include providing the user terminal 130.
  • the user terminal 110 may further include receiving additional object information from the sharing server 120.
  • the user terminal 110 may detect at least one or more objects from the image being photographed based on the received additional object information.
  • the additional object information may be generated after being input in advance through at least one or more other user terminals 130 and transmitted from the at least one or more other user terminals 130 to the sharing server 120.
  • the additional object information is generated by receiving at least one or more objects included in the image displayed through the at least one or more other user terminals 130 received from the user terminal 110 and designated while the image is displayed, and at least one or more other objects. It may be transmitted from the user terminal 130 to the sharing server 120.
  • the user terminal 110 may further include directly receiving additional object information from another user terminal 130 in which additional object information is generated.
  • steps S310 to S350 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the invention.
  • some steps may be omitted as necessary, and the order between the steps may be changed.
  • the user terminal 110 may include a receiver 410, an object detector 420, and a display 430.
  • the user terminal 110 of FIG. 4 may be a terminal that receives an image captured by another user terminal 130.
  • the receiver 410 may receive object information from the sharing server 120 for specifying an object detected from the image.
  • the object information may be input through the other user terminal 130 and transmitted from the other user terminal 130 to the sharing server 120.
  • the receiver 410 may receive an image being photographed from another user terminal 130.
  • the receiver 410 may receive an image being captured from another user terminal 130 using a Real Time Streaming Protocol (RTSP) protocol.
  • RTSP Real Time Streaming Protocol
  • the object detector 420 may detect at least one or more objects from the received image based on the object information. For example, the object detector 420 may detect at least one or more objects from the image being captured by the other user terminal 130 based on the object information.
  • the display unit 430 may display the received image and at least one detected object.
  • the captured image and the detected object may be displayed through the other user terminal 130.
  • the display unit 430 may display additional information corresponding to the detected object.
  • the input unit may receive input of addition or correction of additional information from the user with respect to the selected object.
  • the additional or modified additional information may be mapped and stored with the object, and the additional information mapped with the object may be updated through the sharing server 120 to be transmitted to at least one or more other user terminals 130.
  • FIG. 5 is a flowchart of a method for providing multi-party communication by sharing an image in a user terminal according to an embodiment of the present invention.
  • the method of providing multi-party communication by sharing an image performed by the user terminal 110 according to the embodiment shown in FIG. 5 is processed in time series in the multi-party communication providing system 1 according to the embodiment shown in FIG. 1. Steps included. Therefore, although omitted below, the present invention also applies to a method for providing multi-party communication by sharing an image performed by the user terminal 110 according to the exemplary embodiment illustrated in FIGS. 1 to 5.
  • the user terminal 110 may receive object information for designating an object detected from an image from the sharing server 120, and may receive an image being captured from another user terminal 130.
  • the object information may be input through the other user terminal 130 and transmitted from the other user terminal 130 to the sharing server 120.
  • the user terminal 110 may detect at least one or more objects from the received image based on the object information.
  • the at least one object may be detected by the other user terminal 130 from the image being photographed based on the object information.
  • the user terminal 110 may display the received image and at least one or more detected objects.
  • the user terminal 110 may display additional information corresponding to the detected object.
  • steps S510 to S530 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the invention.
  • some steps may be omitted as necessary, and the order between the steps may be changed.
  • the sharing server 120 may include a receiver 610 and a transmitter 620.
  • the receiver 610 may receive object information from the user terminal 110 to designate at least one or more objects detected from the image being photographed.
  • the receiving unit 610 may receive additional object information generated by input in advance through at least one or more other user terminals 130.
  • the object information and the additional object information may include, for example, 3D model information, marker information, object type, and the like.
  • the object information and the additional object information may include additional information mapped with the corresponding object information.
  • the transmitter 620 may transmit the object information received from the user terminal 110 to at least one other user terminal 130. In addition, the transmitter 620 may transmit additional object information received from at least one other user terminal 130 to the user terminal 110.
  • FIG. 7 is a flowchart of a method for providing multi-party communication by sharing an image in a sharing server according to an embodiment of the present invention.
  • the method of providing multi-party communication by sharing an image performed by the sharing server 120 according to the embodiment shown in FIG. 7 is processed in time series in the multi-party communication providing system 1 according to the embodiment shown in FIG. 1. Steps included. Therefore, although omitted below, the present invention also applies to a method for providing multi-party communication by sharing an image performed by the sharing server 120 according to the exemplary embodiment shown in FIGS. 1 to 6.
  • the sharing server 120 may receive, from the user terminal 110, object information for designating at least one or more objects detected from the captured image.
  • the sharing server 120 may transmit the received object information to at least one other user terminal 130.
  • the sharing server 120 receives the additional object information generated by input in advance through at least one or more other user terminals 130, and transmits the additional object information to the user terminal 110. It may further include. Here, at least one object may be detected from an image being photographed by the user terminal 110 based on the transmitted additional object information.
  • steps S710 to S720 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the invention.
  • some steps may be omitted as necessary, and the order between the steps may be changed.
  • 8A to 8C are exemplary views illustrating a process of performing multilateral communication through sharing of image and object information in a multilateral communication providing system according to an embodiment of the present invention.
  • the multi-party communication providing system 1 may include a user terminal 810, a first other user terminal 820, and a second other user terminal 830.
  • the user terminal 810 When the user terminal 810 receives object information for designating an object detected from an image, the input object information is input to the first other user terminal 820 and the second other user terminal 830 through the sharing server 120. Can be sent to. In addition, the user terminal 810 may provide an image being captured by the photographing apparatus to the first other user terminal 820 and the second other user terminal 830.
  • the additional object information input in advance may be transmitted to the user terminal 810 through the sharing server 120. Can be.
  • the first other user terminal 820 and the second other user terminal 830 may receive the image being photographed provided by the user terminal 810 and display it on the display.
  • 8B is an exemplary diagram illustrating a process of inputting and sharing additional object information while another user terminal is displaying an image according to an exemplary embodiment of the present invention.
  • the first third user terminal 820 and the second third user terminal 830 may receive an image being photographed by the user terminal 810 using a photographing apparatus and display it on a display.
  • the first other user terminal 820 may generate additional object information by receiving at least one or more objects included in the displayed image while the image is displayed, and the generated additional object information may be shared server 120. ) May be transmitted to the user terminal 810.
  • 8C is an exemplary diagram illustrating modified additional information of an object in a user terminal and another user terminal according to an embodiment of the present invention.
  • the user terminal 810, the first other user terminal 820, and the second other user terminal 830 may display additional information corresponding to the object on the display.
  • the user terminal 810, the first other user terminal 820, and the third other user terminal 830 may display “lighting” as additional information corresponding to the object.
  • the modified additional information may be updated and displayed on each user terminal.
  • the modified additional information may be updated and displayed on each user terminal.
  • the multi-party communication providing system 1 may include a user terminal 110, a sharing server 120, and another user terminal 130.
  • the user terminal 110 may receive object information for designating an object detected from an image (S901), and transmit the received object information to the sharing server 120 (S902).
  • the sharing server 120 may transfer the received object information to another user terminal 130 (S903).
  • the user terminal 110 may transmit an image being photographed to another user terminal 130 using the photographing apparatus (S904).
  • the user terminal 110 detects at least one or more objects from the image being photographed based on the received object information (S905), displays the image and the detected object on the display (S906), and receives the detected object.
  • additional information corresponding to the detected object may be displayed on the display.
  • the other user terminal 130 receives the image being photographed from the user terminal 110, the at least one object is detected from the image being photographed based on the received object information (S908), and the image being photographed and the detected object are detected.
  • the detected object is selected by the user terminal 110, additional information corresponding to the detected object may be displayed in operation S910.
  • the other user terminal 130 may transmit the received additional object information to the sharing server 120 (S912).
  • the sharing server 120 may transfer the additional object information received from the other user terminal 130 to the user terminal 110 (S913).
  • the user terminal 110 may detect at least one or more objects from the image being photographed based on the additional object information (S914), and display the detected objects (S915).
  • steps S901 to S915 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention.
  • some steps may be omitted as necessary, and the order between the steps may be changed.
  • the method for providing multilateral communication by sharing the image described with reference to FIGS. 1 to 9 may also be implemented in the form of a computer program stored in a medium executed by a computer or a recording medium including instructions executable by the computer. .
  • the method for providing multi-party communication by sharing the image described with reference to FIGS. 1 to 9 may be implemented in the form of a computer program stored in a medium executed by a computer.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • the computer readable medium may include a computer storage medium.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

Abstract

영상을 공유하여 다자간 커뮤니케이션을 제공하는 사용자 단말은 영상으로부터 검출되는 객체를 지정하기 위한 객체 정보를 입력받는 입력부, 상기 입력받은 객체 정보를 공유 서버로 전송하는 전송부, 촬영 장치를 이용하여 촬영 중인 영상을 적어도 하나 이상의 타사용자 단말로 제공하는 영상 제공부, 상기 입력받은 객체 정보에 기초하여 상기 촬영 중인 영상으로부터 적어도 하나 이상의 객체를 검출하는 객체 검출부 및 상기 촬영 중인 영상 및 상기 검출된 객체를 표시하고, 상기 검출된 객체를 선택받는 경우, 상기 검출된 객체와 대응되는 부가 정보를 표시하는 표시부를 포함한다. 상기 객체 정보는 상기 공유 서버로부터 상기 적어도 하나 이상의 타사용자 단말로 전송되고, 상기 타사용자 단말에 의해, 상기 타사용자 단말로 제공된 영상으로부터 상기 적어도 하나 이상의 객체가 상기 객체 정보에 기초하여 검출되고, 상기 타사용자 단말에 의해, 상기 제공된 영상 및 상기 검출된 객체가 표시된다.

Description

영상을 공유하여 다자간 커뮤니케이션을 제공하는 사용자 단말 및 공유 서버
본 발명은 영상을 공유하여 다자간 커뮤니케이션을 제공하는 사용자 단말 및 공유 서버에 관한 것이다.
스마트폰(Smart Phone)이란 컴퓨터로 할 수 있는 작업 중 일부를 휴대폰에서도 할 수 있도록 개발된 휴대 기기이다. 사람들은 스마트폰을 항상 들고 다니면서 인터넷을 검색하거나 메일을 송수신하고, 동영상 또는 사진을 촬영 및 편집할 수도 있다. 최근의 스마트폰 이용자들은 서로 간에 동영상, 음악, 사진 등의 콘텐츠를 주고받을 수도 있다. 이에 따라, 스마트폰 이용자들로 하여금 콘텐츠와 관련된 부가 정보 제공에 대한 요구가 증가되고 있는 추세이다.
이와 같이, 콘텐츠에 대한 부가 정보를 제공하는 기술과 관련하여, 선행기술인 한국공개특허 제 2013-0082826호는 콘텐츠의 객체 정보 생성 방법 및 시스템에 대해 개시하고 있다.
그러나 종래에는 콘텐츠 내에서 객체를 검출하고, 객체와 연관된 부가 정보를 표시할 수는 있었지만, 이러한 부가 정보를 다른 사람과 공유하고, 다자간 커뮤니케이션에서 이용할 수 없다는 단점을 가지고 있었다.
카메라를 이용하여 영상을 촬영하고, 해당 영상을 공유 서버를 통해 복수의 타사용자 단말로 실시간으로 공유할 수 있도록 하는 영상을 공유하는 다자간 커뮤니케이션을 제공하는 사용자 단말 및 공유 서버를 제공하고자 한다. 또한, 다자간 커뮤니케이션의 상황에서 객체 검출 또는 이미지/마커 트래킹 등을 이용하여 추출된 정보를 공유하고, 다양한 정보를 다자간 커뮤니케이션에서 활용할 수 있도록 하는 영상을 공유하는 다자간 커뮤니케이션을 제공하는 사용자 단말 및 공유 서버를 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 영상으로부터 검출되는 객체를 지정하기 위한 객체 정보를 입력받는 입력부, 상기 입력받은 객체 정보를 공유 서버로 전송하는 전송부, 촬영 장치를 이용하여 촬영 중인 영상을 적어도 하나 이상의 타사용자 단말로 제공하는 영상 제공부, 상기 입력받은 객체 정보에 기초하여 상기 촬영 중인 영상으로부터 적어도 하나 이상의 객체를 검출하는 객체 검출부 및 상기 촬영 중인 영상 및 상기 검출된 객체를 표시하고, 상기 검출된 객체를 선택받는 경우, 상기 검출된 객체와 대응되는 부가 정보를 표시하는 표시부를 포함하고, 상기 객체 정보는 상기 공유 서버로부터 상기 적어도 하나 이상의 타사용자 단말로 전송되고, 상기 타사용자 단말에 의해, 상기 타사용자 단말로 제공된 영상으로부터 상기 적어도 하나 이상의 객체가 상기 객체 정보에 기초하여 검출되고, 상기 타사용자 단말에 의해, 상기 제공된 영상 및 상기 검출된 객체가 표시되는 것인 사용자 단말을 제공할 수 있다.
본 발명의 다른 실시예는, 촬영 중인 영상으로부터 검출되는 적어도 하나 이상의 객체를 지정하기 위한 객체 정보를 사용자 단말로부터 수신하는 수신부 및 상기 수신받은 객체 정보를 적어도 하나 이상의 타사용자 단말로 전송하는 전송부를 포함하고, 상기 촬영 중인 영상은 상기 사용자 단말로부터 상기 적어도 하나 이상의 타사용자 단말로 제공되고, 상기 적어도 하나 이상의 객체는 상기 객체 정보에 기초하여 상기 사용자 단말 및 상기 적어도 하나 이상의 타사용자 단말에 의해 상기 영상으로부터 검출되고, 상기 영상 및 상기 검출된 객체는 상기 사용자 단말 및 상기 적어도 하나 이상의 타사용자 단말에 의해 표시되고, 상기 검출된 객체를 선택받는 경우, 상기 검출된 객체와 대응되는 부가 정보가 표시되는 것인 공유 서버를 제공할 수 있다.
본 발명의 또 다른 실시예는, 영상으로부터 검출되는 객체를 지정하기 위한 객체 정보를 공유 서버로부터 수신하고, 타사용자 단말로부터 촬영 중인 영상을 수신하는 수신부, 상기 객체 정보에 기초하여 상기 수신된 영상으로부터 적어도 하나 이상의 객체를 검출하는 객체 검출부 및 상기 수신된 영상 및 상기 적어도 하나 이상의 검출된 객체를 표시하고, 상기 검출된 객체를 선택받는 경우, 상기 검출된 객체와 대응되는 부가 정보를 표시하는 표시부를 포함하고, 상기 객체 정보는 상기 타사용자 단말을 통해 입력받아 상기 타사용자 단말로부터 상기 공유 서버로 전송되고, 상기 적어도 하나 이상의 객체는 상기 타사용자 단말에 의해 상기 객체 정보에 기초하여 상기 촬영 중인 영상으로부터 검출되고, 상기 촬영 중인 영상 및 상기 검출된 객체는 상기 타사용자 단말을 통해 표시되는 것인 사용자 단말을 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 카메라를 이용하여 영상을 촬영하고, 해당 영상을 공유 서버를 통해 복수의 타사용자 단말로 실시간으로 공유할 수 있도록 하는 영상을 공유하는 다자간 커뮤니케이션을 제공하는 사용자 단말 및 공유 서버를 제공할 수 있다. 또한, 다자간 커뮤니케이션의 상황에서 객체 검출 또는 이미지/마커 트래킹 등을 이용하여 추출된 정보를 공유하고, 다양한 정보를 다자간 커뮤니케이션에서 활용할 수 있도록 하는 영상을 공유하는 다자간 커뮤니케이션을 제공하는 사용자 단말 및 공유 서버를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 다자간 커뮤니케이션 제공 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 사용자 단말에서 영상을 공유하여 다자간 커뮤니케이션을 제공하는 방법의 순서도이다.
도 4는 본 발명의 다른 실시예에 따른 사용자 단말의 구성도이다.
도 5는 본 발명의 다른 실시예에 따른 사용자 단말에서 영상을 공유하여 다자간 커뮤니케이션을 제공하는 방법의 순서도이다.
도 6은 본 발명의 일 실시예에 따른 공유 서버의 구성도이다.
도 7은 본 발명의 일 실시예에 따른 공유 서버에서 영상을 공유하여 다자간 커뮤니케이션을 제공하는 방법의 순서도이다.
도 8a 내지 도 8c는 본 발명의 일 실시예에 따른 다자간 커뮤니케이션 제공 시스템에서 영상 및 객체 정보의 공유를 통해 다자간 커뮤니케이션을 수행하는 과정을 도시한 예시적인 도면이다.
도 9는 본 발명의 일 실시예에 따른 다자간 커뮤니케이션 제공 시스템에서 수행되는 영상을 공유하여 다자간 커뮤니케이션을 수행하는 과정을 도시한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 다자간 커뮤니케이션 제공 시스템의 구성도이다. 도 1을 참조하면, 사용자 단말(110), 공유 서버(120) 및 적어도 하나 이상의 타사용자 단말(130)을 포함할 수 있다. 도 1에 도시된 사용자 단말(110), 공유 서버(120) 및 적어도 하나 이상의 타사용자 단말(130)은 다자간 커뮤니케이션 제공 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.
도 1의 다자간 커뮤니케이션 제공 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 공유 서버(120)는 네트워크를 통해 사용자 단말(110) 및 적어도 하나 이상의 타사용자 단말(130)과 동시에 또는 시간 간격을 두고 연결될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보교환이 가능한 연결구조를 의미하는 것으로, 이러한 네트워크의 일예는, Wi-Fi, 블루투스(Bluetooth), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 3G, 4G, 5G, LTE 등이 포함되나 이에 한정되지는 않는다.
일 실시예에서, 사용자 단말(110)은 촬영 장치를 이용하여 영상을 촬영하고, 촬영 중인 영상을 적어도 하나 이상의 타사용자 단말(130)로 전송하는 단말일 수 있다.
사용자 단말(110)은 영상으로부터 검출되는 객체를 지정하기 위한 객체 정보를 입력받고, 입력 받은 객체 정보를 공유 서버(120)로 전송할 수 있다. 객체 정보는 예를 들어, 3D 모델 정보, 마커 정보, 객체 타입 등을 포함할 수 있다. 또한, 사용자 단말(110)은 검출된 객체에 대한 부가 정보를 입력받을 수 있으며, 입력된 부가 정보는 검출된 객체와 매핑되어 저장될 수 있다.
사용자 단말(110)은 촬영 장치를 이용하여 촬영 중인 영상을 적어도 하나 이상의 타사용자 단말(130)로 실시간 스트리밍하여 제공할 수 있다. 사용자 단말(110)은 스트리밍 서버(미도시)를 경유하여 촬영 장치를 이용하여 촬영 중인 영상을 적어도 하나 이상의 타사용자 단말(130)로 실시간 스트리밍하여 제공할 수 있다. 사용자 단말(110)은 촬영 중인 영상을 적어도 하나 이상의 타사용자 단말(130)로 전송하기 위해 사용자 단말(110)의 주소록에 기저장된 복수의 타사용자 단말(130) 중 적어도 하나 이상의 타사용자 단말(130)을 선택할 수 있으며, 사용자 단말(110)에 설치된 사내 애플리케이션의 조직도를 통해 복수의 타사용자 단말(130) 중 적어도 하나 이상의 타사용자 단말(130)을 선택할 수 있다.
사용자 단말(110)은 입력받은 객체 정보에 기초하여 촬영 중인 영상으로부터 적어도 하나 이상의 객체를 검출할 수 있다. 또한, 사용자 단말(110)이 공유 서버(120) 또는 타사용자 단말(130)로부터 추가 객체 정보를 수신한 경우, 사용자 단말(110)은 수신된 추가 객체 정보에 기초하여 촬영 중인 영상으로부터 적어도 하나 이상의 객체를 검출할 수 있다. 예를 들어, 추가 객체 정보는 적어도 하나 이상의 타사용자 단말(130)을 통해 미리 입력받아 생성되고, 적어도 하나 이상의 타사용자 단말(130)로부터 공유 서버(120)로 전송되는 것일 수 있다. 다른 예를 들어, 추가 객체 정보는 사용자 단말(110)로부터 제공받아 적어도 하나 이상의 타사용자 단말(130)을 통해 표시된 영상에 포함되는 적어도 하나 이상의 객체를 영상이 표시되는 도중에 지정받음으로써 생성되고, 적어도 하나 이상의 타사용자 단말(130)로부터 공유 서버(120)로 전송되는 것일 수 있다.
사용자 단말(110)은 촬영 중인 영상 및 검출된 객체를 표시하고, 검출된 객체를 선택받는 경우, 검출된 객체와 대응되는 부가 정보를 표시할 수 있다. 예를 들어, 검출된 객체와 대응되는 부가 정보가 적어도 하나 이상의 타사용자 단말(130)에 의해 추가 또는 수정된 경우, 사용자 단말(110)은 해당 객체와 대응되는 부가 정보를 추가 또는 수정된 부가 정보로 표시할 수 있다.
다른 실시예에서, 사용자 단말(110)은 영상 공유를 통해 다자간 커뮤니케이션을 제공받기 위해 타사용자 단말(130)로부터 촬영 중인 영상을 수신하는 단말일 수 있다.
사용자 단말(110)은 영상으로부터 검출되는 객체를 지정하기 위한 객체 정보를 공유 서버(120)로부터 수신하고, 타사용자 단말(130)로부터 촬영 중인 영상을 수신할 수 있다.
사용자 단말(110)은 객체 정보에 기초하여 수신된 영상으로부터 적어도 하나 이상의 객체를 검출할 수 있다. 사용자 단말(110)은 예를 들어, 3D 모델 정보, 마커 정보 및 객체 타입 등에 기초하여 수신된 영상으로부터 적어도 하나 이상의 객체를 검출할 수 있다.
사용자 단말(110)은 수신된 영상 및 적어도 하나 이상의 검출된 객체를 표시하고, 검출된 객체를 선택받는 경우, 검출된 객체와 대응되는 부가 정보를 표시할 수 있다.
공유 서버(120)는 촬영 중인 영상으로부터 검출되는 적어도 하나 이상의 객체를 지정하기 위한 객체 정보를 사용자 단말(110)로부터 수신하고, 수신받은 객체 정보를 적어도 하나 이상의 타사용자 단말(130)로 전송할 수 있다. 또한, 공유 서버(120)는 적어도 하나 이상의 타사용자 단말(130)을 통해 미리 입력받아 생성된 추가 객체 정보를 수신하고, 수신받은 추가 객체 정보를 사용자 단말(110)로 전송할 수 있다.
이러한 영상을 공유하여 다자간 커뮤니케이션을 제공하는 기술은 예를 들어, 건설/건축 및 제조 분야에서는 현장과 사무실 간의 공간 또는 제품에 대한 실시간 현장 검증을 제공할 수 있으며, 기업에서는 기업 협업 솔루션 작업 일지를 작성하고, 공유하며, 히스토리를 관리할 수도 있으며, 가정에서는 가족 간의 홈 게시판을 통한 메모 공유와 같이 다양한 분야에서 적용될 수 있다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다. 도 2를 참조하면, 사용자 단말(110)은 입력부(210), 전송부(220), 영상 제공부(230), 객체 검출부(240), 표시부(250) 및 수신부(260)를 포함할 수 있다. 도 2의 사용자 단말(110)은 예를 들어, 영상을 촬영하여 타사용자 단말(130)로 전송하는 단말일 수 있다.
입력부(210)는 영상으로부터 검출되는 객체를 지정하기 위한 객체 정보를 입력받을 수 있다. 객체 정보는 이미지 처리, 이미지 분석 등을 통해 생성될 수 있으며, 객체 정보는 ID와 같은 식별 정보와 매핑되어 공유 서버(120)를 통해 관리 및 공유될 수 있다. 객체 정보는 3D 모델 정보, 마커 정보 및 객체 타입 등을 포함할 수 있다. 3D 모델 정보는 기존의 3D 모델링에서 사용하는 컴퓨터 그래픽스 데이터를 생성하여 객체를 모델링한 것으로, 3D 모델 정보는 생성된 그래픽스 데이터에 기초하여 마커의 패턴정보와 같이 객체를 검출하는 기준 데이터로 이용될 수 있다. 객체 타입은 예를 들어, 얼굴, 동물, 색상 텍스트 등의 정보를 포함할 수 있다.
입력부(210)는 검출된 객체에 대한 부가 정보를 입력받을 수 있다. 입력된 부가 정보는 검출된 객체와 매핑되어 저장되는 것일 수 있다. 예를 들어, 사용자로부터 검출된 객체에 대한 부가 정보를 입력받는 경우, 부가 정보는 검출된 객체의 ID와 같은 식별 정보에 기초하여 객체와 매핑되어 저장될 수 있다. 저장된 부가 정보는 매핑된 객체 정보와 같이 공유 서버(120)를 통해 관리 및 공유될 수 있다.
입력부(210)는 주소록에 기저장된 복수의 타사용자 단말(130) 중 적어도 하나 이상의 타사용자 단말(130)을 선택할 수 있다. 또는, 입력부(210)는 사용자 단말(110)에 설치된 사내 애플리케이션을 이용하는 경우, 조직도를 이용하여 적어도 하나 이상의 타사용자 단말(130)을 선택할 수도 있다.
전송부(220)는 입력받은 객체 정보를 공유 서버(120)로 전송할 수 있다. 객체 정보는 공유 서버(120)를 통해 적어도 하나 이상의 타사용자 단말(130)로 전송될 수 있다. 또는, 전송부(220)는 입력받은 객체 정보를 적어도 하나 이상의 타사용자 단말(130)로 직접 전송할 수도 있다.
영상 제공부(230)는 촬영 장치를 이용하여 촬영 중인 영상을 적어도 하나 이상의 타사용자 단말(130)로 제공할 수 있다. 예를 들어, 영상 제공부(230)는 촬영 중인 영상을 주소록에 기초하여 선택된 적어도 하나 이상의 타사용자 단말(130)로 실시간 스트리밍할 수 있다. 다른 예를 들어, 영상 제공부(230)는 촬영 중인 영상을 사용자 단말(110)에 설치된 사내 애플리케이션의 조직도에 기초하여 선택된 적어도 하나 이상의 타사용자 단말(130)로 실시간 스트리밍할 수 있다. 이 때, 촬영 중인 영상은 예를 들어, RTSP(Real Time Streaming Protocol)를 이용하여 적어도 하나 이상의 타사용자 단말(130)로 전송될 수 있다.
객체 검출부(240)는 입력받은 객체 정보에 기초하여 촬영 중인 영상으로부터 적어도 하나 이상의 객체를 트래킹 또는 검출할 수 있다. 객체 검출부(240)는 공유 서버(120)로부터 추가 객체 정보를 수신하면, 수신된 추가 객체 정보에 기초하여 촬영 중인 영상으로부터 적어도 하나 이상의 객체를 트래킹 또는 검출할 수 있다. 예를 들어, 객체 검출부(240)는 객체 정보에 포함된 마커를 이용하는 경우, 디지털화된 패턴 정보에 기초하여 스트리밍 영상에서 탐지된 패턴 정보를 비교하고, 객체의 마커를 검출함으로써, 객체를 검출할 수 있다.
표시부(250)는 촬영 중인 영상 및 검출된 객체를 표시할 수 있다. 또한, 표시부(250)는 타사용자 단말(130)에 의해 타사용자 단말(130)로부터 실시간 스트리밍으로 제공된 영상으로부터 적어도 하나 이상의 객체가 객체 정보에 기초하여 검출되고, 타사용자 단말(130)에 의해 제공된 영상 및 검출된 객체를 표시할 수도 있다. 표시부(250)는 검출된 객체를 선택받는 경우, 검출된 객체와 대응되는 부가 정보를 표시할 수 있다.
수신부(260)는 공유 서버(120)로부터 추가 객체 정보를 수신할 수 있다. 또는, 수신부(260)는 추가 객체 정보가 생성된 타사용자 단말(130)로부터 추가 객체 정보를 직접 수신할 수도 있다. 예를 들어, 추가 객체 정보는 적어도 하나 이상의 타사용자 단말(130)을 통해 미리 입력받아 생성되는 것일 수 있다. 다른 예를 들어, 추가 객체 정보는 사용자 단말(110)로부터 제공받아 적어도 하나 이상의 타사용자 단말(130)을 통해 표시된 영상에 포함되는 적어도 하나 이상의 객체를 영상이 표시되는 도중에 지정받음으로써 생성되는 것일 수 있다. 이 때, 추가 객체 정보는 적어도 하나 이상의 타사용자 단말(130)로부터 공유 서버(120)로 전송되는 것일 수 있다.
도 3은 본 발명의 일 실시예에 따른 사용자 단말에서 영상을 공유하여 다자간 커뮤니케이션을 제공하는 방법의 순서도이다. 도 3에 도시된 실시예에 따른 사용자 단말(110)에 의해 수행되는 영상을 공유하여 다자간 커뮤니케이션을 제공하는 방법은 도 1에 도시된 실시예에 따른 다자간 커뮤니케이션 제공 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 및 도 2에 도시된 실시예에 따른 사용자 단말(110)에 의해 수행되는 영상을 공유하여 다자간 커뮤니케이션을 제공하는 방법에도 적용된다.
단계 S310에서 사용자 단말(110)은 영상으로부터 검출되는 객체를 지정하기 위한 객체 정보를 입력받을 수 있다. 객체 정보는 예를 들어, 3D 모델 정보, 마커 정보 및 객체 타입 등을 포함할 수 있다.
단계 S320에서 사용자 단말(110)은 입력받은 객체 정보를 공유 서버(120)로 전송할 수 있다. 객체 정보는 공유 서버(120)로부터 적어도 하나 이상의 타사용자 단말(130)로 전송될 수 있다.
단계 S330에서 사용자 단말(110)은 촬영 장치를 이용하여 촬영 중인 영상을 적어도 하나 이상의 타사용자 단말(130)로 제공할 수 있다. 예를 들어, 사용자 단말(110)은 촬영 중인 영상을 적어도 하나 이상의 타사용자 단말(130)로 실시간 스트리밍할 수 있다. 여기서, 적어도 하나 이상의 객체는 객체 정보에 기초하여 타사용자 단말(130)에 의해 실시간 스트리밍된 영상으로부터 검출되는 것일 수 있다.
단계 S340에서 사용자 단말(110)은 입력받은 객체 정보에 기초하여 촬영 중인 영상으로부터 적어도 하나 이상의 객체를 검출할 수 있다.
단계 S350에서 사용자 단말(110)은 촬영 중인 영상 및 검출된 객체를 표시하고, 검출된 객체를 선택받는 경우, 검출된 객체와 대응되는 부가 정보를 표시할 수 있다.
도 3에서는 도시되지 않았으나, 사용자 단말(110)은 주소록에 기저장된 복수의 타사용자 단말(130) 중 적어도 하나 이상의 타사용자 단말(130)을 선택받는 단계 및 촬영 중인 영상을 선택받은 적어도 하나 이상의 타사용자 단말(130)로 제공하는 단계를 더 포함할 수 있다.
도 3에서는 도시되지 않았으나, 사용자 단말(110)은 공유 서버(120)로부터 추가 객체 정보를 수신하는 단계를 더 포함할 수 있다. 사용자 단말(110)은 수신된 추가 객체 정보에 기초하여 촬영 중인 영상으로부터 적어도 하나 이상의 객체를 검출할 수 있다. 추가 객체 정보는 예를 들어, 적어도 하나 이상의 타사용자 단말(130)을 통해 미리 입력받아 생성되고, 적어도 하나 이상의 타사용자 단말(130)로부터 공유 서버(120)로 전송되는 것일 수 있다. 또는, 추가 객체 정보는 사용자 단말(110)로부터 제공받아 적어도 하나 이상의 타사용자 단말(130)을 통해 표시된 영상에 포함되는 적어도 하나 이상의 객체를 영상이 표시되는 도중에 지정받음으로써 생성되고, 적어도 하나 이상의 타사용자 단말(130)로부터 공유 서버(120)로 전송되는 것일 수 있다.
도 3에서는 도시되지 않았으나, 사용자 단말(110)은 추가 객체 정보가 생성된 타사용자 단말(130)로부터 추가 객체 정보를 직접 수신하는 단계를 더 포함할 수 있다.
상술한 설명에서, 단계 S310 내지 S350은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 4는 본 발명의 다른 실시예에 따른 사용자 단말의 구성도이다. 도 4를 참조하면, 사용자 단말(110)은 수신부(410), 객체 검출부(420) 및 표시부(430)를 포함할 수 있다. 도 4의 사용자 단말(110)은 예를 들어, 타사용자 단말(130)로부터 촬영된 영상을 수신하는 단말일 수 있다.
수신부(410)는 영상으로부터 검출되는 객체를 지정하기 위한 객체 정보를 공유 서버(120)로부터 수신할 수 있다. 객체 정보는 타사용자 단말(130)을 통해 입력받아 타사용자 단말(130)로부터 공유 서버(120)로 전송되는 것일 수 있다.
수신부(410)는 타사용자 단말(130)로부터 촬영 중인 영상을 수신할 수 있다. 예를 들어, 수신부(410)는 타사용자 단말(130)로부터 RTSP(Real Time Streaming Protocol) 프로토콜을 이용하여 촬영 중인 영상을 수신할 수 있다.
객체 검출부(420)는 객체 정보에 기초하여 수신된 영상으로부터 적어도 하나 이상의 객체를 검출할 수 있다. 예를 들어, 객체 검출부(420)는 타사용자 단말(130)에 의해 객체 정보에 기초하여 촬영 중인 영상으로부터 적어도 하나 이상의 객체를 검출할 수 있다.
표시부(430)는 수신된 영상 및 적어도 하나 이상의 검출된 객체를 표시할 수 있다. 이 때, 촬영 중인 영상 및 검출된 객체는 타사용자 단말(130)을 통해서도 표시되는 것일 수 있다. 표시부(430)는 검출된 객체를 선택받는 경우, 검출된 객체와 대응되는 부가 정보를 표시할 수 있다.
입력부(미도시)는 선택된 객체에 대해 사용자로부터 부가 정보의 추가 또는 수정을 입력받을 수 있다. 추가 또는 수정된 부가 정보는 객체와 매핑되어 저장되고, 공유 서버(120)를 통해 객체와 매핑된 부가 정보가 업데이트됨으로써, 적어도 하나 이상의 타사용자 단말(130)로 전송될 수 있다.
도 5는 본 발명의 일 실시예에 따른 사용자 단말에서 영상을 공유하여 다자간 커뮤니케이션을 제공하는 방법의 순서도이다. 도 5에 도시된 실시예에 따른 사용자 단말(110)에 의해 수행되는 영상을 공유하여 다자간 커뮤니케이션을 제공하는 방법은 도 1에 도시된 실시예에 따른 다자간 커뮤니케이션 제공 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 5에 도시된 실시예에 따른 사용자 단말(110)에 의해 수행되는 영상을 공유하여 다자간 커뮤니케이션을 제공하는 방법에도 적용된다.
단계 S510에서 사용자 단말(110)은 영상으로부터 검출되는 객체를 지정하기 위한 객체 정보를 공유 서버(120)로부터 수신하고, 타사용자 단말(130)로부터 촬영 중인 영상을 수신할 수 있다. 객체 정보는 타사용자 단말(130)을 통해 입력받아 타사용자 단말(130)로부터 공유 서버(120)로 전송된 것일 수 있다.
단계 S520에서 사용자 단말(110)은 객체 정보에 기초하여 수신된 영상으로부터 적어도 하나 이상의 객체를 검출할 수 있다. 여기서, 적어도 하나 이상의 객체는 타사용자 단말(130)에 의해 객체 정보에 기초하여 촬영 중인 영상으로부터 검출되는 것일 수 있다.
단계 S530에서 사용자 단말(110)은 수신된 영상 및 적어도 하나 이상의 검출된 객체를 표시하고, 검출된 객체를 선택받는 경우, 검출된 객체와 대응되는 부가 정보를 표시할 수 있다.
상술한 설명에서, 단계 S510 내지 S530은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 6은 본 발명의 일 실시예에 따른 공유 서버의 구성도이다. 도 4를 참조하면, 공유 서버(120)는 수신부(610) 및 전송부(620)를 포함할 수 있다.
수신부(610)는 촬영 중인 영상으로부터 검출되는 적어도 하나 이상의 객체를 지정하기 위한 객체 정보를 사용자 단말(110)로부터 수신할 수 있다. 또한, 수신부(610)는 적어도 하나 이상의 타사용자 단말(130)을 통해 미리 입력받아 생성된 추가 객체 정보를 수신할 수 있다. 객체 정보 및 추가 객체 정보는 예를 들어, 3D 모델 정보, 마커 정보 및 객체 타입 등을 포함할 수 있다. 객체 정보 및 추가 객체 정보는 해당 객체 정보와 매핑된 부가 정보를 포함할 수 있다.
전송부(620)는 사용자 단말(110)로부터 수신한 객체 정보를 적어도 하나 이상의 타사용자 단말(130)로 전송할 수 있다. 또한, 전송부(620)는 적어도 하나 이상의 타사용자 단말(130)로부터 수신한 추가 객체 정보를 사용자 단말(110)로 전송할 수 있다.
도 7은 본 발명의 일 실시예에 따른 공유 서버에서 영상을 공유하여 다자간 커뮤니케이션을 제공하는 방법의 순서도이다. 도 7에 도시된 실시예에 따른 공유 서버(120)에 의해 수행되는 영상을 공유하여 다자간 커뮤니케이션을 제공하는 방법은 도 1에 도시된 실시예에 따른 다자간 커뮤니케이션 제공 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 6에 도시된 실시예에 따른 공유 서버(120)에 의해 수행되는 영상을 공유하여 다자간 커뮤니케이션을 제공하는 방법에도 적용된다.
단계 S710에서 공유 서버(120)는 촬영 중인 영상으로부터 검출되는 적어도 하나 이상의 객체를 지정하기 위한 객체 정보를 사용자 단말(110)로부터 수신할 수 있다.
단계 S720에서 공유 서버(120)는 수신받은 객체 정보를 적어도 하나 이상의 타사용자 단말(130)로 전송할 수 있다.
도 7에서는 도시되지 않았으나, 공유 서버(120)는 적어도 하나 이상의 타사용자 단말(130)을 통해 미리 입력받아 생성된 추가 객체 정보를 수신하는 단계 및 추가 객체 정보를 사용자 단말(110)로 전송하는 단계를 더 포함할 수 있다. 여기서, 적어도 하나 이상의 객체는 전송된 추가 객체 정보에 기초하여 사용자 단말(110)에 의해 촬영 중인 영상으로부터 검출되는 것일 수 있다. '
상술한 설명에서, 단계 S710 내지 S720은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 8a 내지 도 8c는 본 발명의 일 실시예에 따른 다자간 커뮤니케이션 제공 시스템에서 영상 및 객체 정보의 공유를 통해 다자간 커뮤니케이션을 수행하는 과정을 도시한 예시적인 도면이다.
도 8a는 본 발명의 일 실시예에 따른 객체 정보 및 촬영 중인 영상을 공유하는 과정을 도시한 예시적인 도면이다. 도 8a를 참조하면, 다자간 커뮤니케이션 제공 시스템(1)은 사용자 단말(810), 제 1 타사용자 단말(820) 및 제 2 타사용자 단말(830)을 포함할 수 있다.
사용자 단말(810)이 영상으로부터 검출되는 객체를 지정하기 위한 객체 정보를 입력받으면, 입력된 객체 정보는 공유 서버(120)를 통해 제 1 타사용자 단말(820) 및 제 2 타사용자 단말(830)로 전송될 수 있다. 또한, 사용자 단말(810)은 촬영 장치를 이용하여 촬영 중인 영상을 제 1 타사용자 단말(820) 및 제 2 타사용자 단말(830)로 제공할 수 있다.
제 1 타사용자 단말(820) 및 제 2 타사용자 단말(830)이 추가 객체 정보를 사전에 입력받으면, 사전에 입력된 추가 객체 정보는 공유 서버(120)를 통해 사용자 단말(810)로 전송될 수 있다. 또한, 제 1 타사용자 단말(820) 및 제 2 타사용자 단말(830)은 사용자 단말(810)이 제공한 촬영 중인 영상을 수신하여 디스플레이에 표시할 수 있다.
도 8b는 본 발명의 일 실시예에 따른 타사용자 단말이 영상이 표시되는 도중 추가 객체 정보를 입력하여 공유하는 과정을 도시한 예시적인 도면이다. 도 8a 및 도 8b를 참조하면, 제 1 타사용자 단말(820) 및 제 2 타사용자 단말(830)은 사용자 단말(810)이 촬영 장치를 이용하여 촬영 중인 영상을 수신하여 디스플레이에 표시할 수 있다. 이 때, 제 1 타사용자 단말(820)은 표시된 영상에 포함된 적어도 하나 이상의 객체를 영상이 표시되는 도중에 지정받음으로써, 추가 객체 정보를 생성할 수 있으며, 생성된 추가 객체 정보는 공유 서버(120)를 통해 사용자 단말(810)로 전송될 수 있다.
도 8c는 본 발명의 일 실시예에 따른 사용자 단말 및 타사용자 단말에서 객체의 수정된 부가 정보를 표시한 예시적인 도면이다. 도 8a 내지 8c를 참조하면, 사용자 단말(810), 제 1 타사용자 단말(820) 및 제 2 타사용자 단말(830)은 객체와 대응되는 부가 정보를 디스플레이에 표시할 수 있다. 예를 들어, 사용자 단말(810), 제 1 타사용자 단말(820) 및 제 3 타사용자 단말(830)은 객체와 대응되는 부가 정보로서 "조명"을 표시할 수 있다.
이 때, 제 2 타사용자 단말(830)이 객체와 대응되는 부가 정보를 수정하면, 수정된 부가 정보가 업데이트되어 각 사용자 단말에서 표시될 수 있다. 예를 들어, 제 2 타사용자 단말(830)이 객체에 대한 부가 정보를 "조명"에서 "조명 A"로 부가 정보를 수정하는 경우, 수정된 부가 정보가 업데이트되어 각 사용자 단말에서 표시될 수 있다.
도 9는 본 발명의 일 실시예에 따른 다자간 커뮤니케이션 제공 시스템에서 수행되는 영상을 공유하여 다자간 커뮤니케이션을 수행하는 과정을 도시한 동작 흐름도이다. 도 9를 참조하면, 다자간 커뮤니케이션 제공 시스템(1)은 사용자 단말(110), 공유 서버(120) 및 타사용자 단말(130)을 포함할 수 있다.
사용자 단말(110)은 영상으로부터 검출되는 객체를 지정하기 위한 객체 정보를 입력받고(S901), 입력받은 객체 정보를 공유 서버(120)로 전송할 수 있다(S902). 공유 서버(120)는 수신한 객체 정보를 타사용자 단말(130)로 전달할 수 있다(S903).
사용자 단말(110)은 촬영 장치를 이용하여 촬영 중인 영상을 타사용자 단말(130)로 전송할 수 있다(S904). 사용자 단말(110)은 입력받은 객체 정보에 기초하여 촬영 중인 영상으로부터 적어도 하나 이상의 객체를 검출하고(S905), 촬영 중인 영상 및 검출된 객체를 디스플레이에 표시하고(S906), 검출된 객체를 선택받는 경우, 검출된 객체와 대응되는 부가 정보를 디스플레이에 표시할 수 있다(S907).
타사용자 단말(130)은 사용자 단말(110)로부터 촬영 중인 영상을 수신하면, 입력받은 객체 정보에 기초하여 촬영 중인 영상으로부터 적어도 하나 이상의 객체를 검출하고(S908), 촬영 중인 영상 및 검출된 객체를 디스플레이에 표시하고(S909), 사용자 단말(110)로부터 검출된 객체를 선택받는 경우, 검출된 객체와 대응되는 부가 정보를 표시할 수 있다(S910).
타사용자 단말(130)이 사용자로부터 추가 객체 정보를 입력받으면(S911), 타사용자 단말(130)은 입력받은 추가 객체 정보를 공유 서버(120)로 전송할 수 있다(S912).
공유 서버(120)는 타사용자 단말(130)로부터 수신한 추가 객체 정보를 사용자 단말(110)로 전달할 수 있다(S913).
사용자 단말(110)은 추가 객체 정보에 기초하여 촬영 중인 영상으로부터 적어도 하나 이상의 객체를 검출하고(S914), 검출된 객체를 표시할 수 있다(S915).
상술한 설명에서, 단계 S901 내지 S915은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 1 내지 도 9를 통해 설명된 영상을 공유하여 다자간 커뮤니케이션을 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 9를 통해 설명된 영상을 공유하여 다자간 커뮤니케이션을 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (16)

  1. 영상을 공유하여 다자간 커뮤니케이션을 제공하는 사용자 단말에 있어서,
    영상으로부터 검출되는 객체를 지정하기 위한 객체 정보를 입력받는 입력부;
    상기 입력받은 객체 정보를 공유 서버로 전송하는 전송부;
    촬영 장치를 이용하여 촬영 중인 영상을 적어도 하나 이상의 타사용자 단말로 제공하는 영상 제공부;
    상기 입력받은 객체 정보에 기초하여 상기 촬영 중인 영상으로부터 적어도 하나 이상의 객체를 검출하는 객체 검출부 및
    상기 촬영 중인 영상 및 상기 검출된 객체를 표시하고, 상기 검출된 객체를 선택받는 경우, 상기 검출된 객체와 대응되는 부가 정보를 표시하는 표시부를 포함하고,
    상기 객체 정보는 상기 공유 서버로부터 상기 적어도 하나 이상의 타사용자 단말로 전송되고,
    상기 타사용자 단말에 의해, 상기 타사용자 단말로 제공된 영상으로부터 상기 적어도 하나 이상의 객체가 상기 객체 정보에 기초하여 검출되고,
    상기 타사용자 단말에 의해, 상기 제공된 영상 및 상기 검출된 객체가 표시되는 것인, 사용자 단말.
  2. 제 1 항에 있어서,
    상기 영상 제공부는 상기 촬영 중인 영상을 상기 적어도 하나 이상의 타사용자 단말로 실시간 스트리밍하고,
    상기 적어도 하나 이상의 객체는 상기 객체 정보에 기초하여 상기 타사용자 단말에 의해 상기 실시간 스트리밍된 영상으로부터 검출되는 것인, 사용자 단말.
  3. 제 1 항에 있어서,
    상기 입력부는 주소록에 기저장된 복수의 타사용자 단말 중 상기 적어도 하나 이상의 타사용자 단말을 선택받고,
    상기 영상 제공부는 상기 촬영 중인 영상을 상기 선택받은 적어도 하나 이상의 타사용자 단말로 제공하도록 구성되는 것인, 사용자 단말.
  4. 제 1 항에 있어서,
    상기 공유 서버로부터 추가 객체 정보를 수신하는 수신부를 더 포함하고,
    상기 객체 검출부는 상기 수신된 추가 객체 정보에 기초하여 상기 촬영 중인 영상으로부터 상기 적어도 하나 이상의 객체를 검출하도록 구성되는 것인, 사용자 단말.
  5. 제 4 항에 있어서,
    상기 추가 객체 정보는 상기 적어도 하나 이상의 타사용자 단말을 통해 미리 입력받아 생성되고,
    상기 적어도 하나 이상의 타사용자 단말로부터 상기 공유 서버로 전송되는 것인, 사용자 단말.
  6. 제 4 항에 있어서,
    상기 추가 객체 정보는 상기 사용자 단말로부터 제공받아 상기 적어도 하나 이상의 타사용자 단말을 통해 표시된 영상에 포함되는 적어도 하나 이상의 객체를 상기 영상이 표시되는 도중에 지정받음으로써 생성되고,
    상기 적어도 하나 이상의 타사용자 단말로부터 상기 공유 서버로 전송되는 것인, 사용자 단말.
  7. 제 4 항에 있어서,
    상기 수신부는 상기 추가 객체 정보가 생성된 타사용자 단말로부터 상기 추가 객체 정보를 직접 수신하도록 구성되는 것인, 사용자 단말.
  8. 제 1 항에 있어서,
    상기 객체 정보는 3D 모델 정보, 마커 정보 및 객체 타입 중 적어도 하나 이상을 포함하는 것인, 사용자 단말.
  9. 제 1 항에 있어서,
    상기 입력부는 상기 검출된 객체에 대한 부가 정보를 입력받고,
    상기 부가 정보는 상기 검출된 객체와 매핑되어 저장되는 것인, 사용자 단말.
  10. 영상을 공유하여 다자간 커뮤니케이션을 제공하는 공유 서버에 있어서,
    촬영 중인 영상으로부터 검출되는 적어도 하나 이상의 객체를 지정하기 위한 객체 정보를 사용자 단말로부터 수신하는 수신부; 및
    상기 수신받은 객체 정보를 적어도 하나 이상의 타사용자 단말로 전송하는 전송부
    를 포함하고,
    상기 촬영 중인 영상은 상기 사용자 단말로부터 상기 적어도 하나 이상의 타사용자 단말로 제공되고,
    상기 적어도 하나 이상의 객체는 상기 객체 정보에 기초하여 상기 사용자 단말 및 상기 적어도 하나 이상의 타사용자 단말에 의해 상기 영상으로부터 검출되고,
    상기 영상 및 상기 검출된 객체는 상기 사용자 단말 및 상기 적어도 하나 이상의 타사용자 단말에 의해 표시되고, 상기 검출된 객체를 선택받는 경우, 상기 검출된 객체와 대응되는 부가 정보가 표시되는 것인, 공유 서버.
  11. 제 10 항에 있어서,
    상기 촬영 중인 영상은 상기 사용자 단말로부터 상기 적어도 하나 이상의 타사용자 단말로 실시간 스트리밍되고,
    상기 적어도 하나 이상의 객체는 상기 객체 정보에 기초하여 상기 사용자 단말 및 상기 타사용자 단말에 의해 상기 실시간 스트리밍된 영상으로부터 검출되는 것인, 공유 서버.
  12. 제 10 항에 있어서,
    상기 촬영 중인 영상은 상기 사용자 단말로부터 상기 사용자 단말의 주소록에 기저장된 복수의 타사용자 단말 중 선택받은 적어도 하나 이상의 타사용자 단말로 제공되는 것인, 공유 서버.
  13. 제 10 항에 있어서,
    상기 수신부는 상기 적어도 하나 이상의 타사용자 단말을 통해 미리 입력받아 생성된 추가 객체 정보를 수신하고,
    상기 전송부는 상기 사용자 단말로 상기 추가 객체 정보를 전송하고,
    상기 적어도 하나 이상의 객체는 상기 전송된 추가 객체 정보에 기초하여 상기 사용자 단말에 의해 상기 촬영 중인 영상으로부터 검출되는 것인, 공유 서버.
  14. 제 13 항에 있어서,
    상기 추가 객체 정보는 상기 사용자 단말로부터 제공받아 상기 적어도 하나 이상의 타사용자 단말을 통해 표시된 영상에 포함되는 적어도 하나 이상의 객체를 상기 영상이 표시되는 도중에 지정받음으로써 생성되는 것인, 공유 서버.
  15. 제 10 항에 있어서,
    상기 객체 정보는 3D 모델 정보, 마커 정보 및 객체 타입 중 적어도 하나 이상을 포함하는 것인, 공유 서버.
  16. 영상을 공유하여 다자간 커뮤니케이션을 제공하는 사용자 단말에 있어서,
    영상으로부터 검출되는 객체를 지정하기 위한 객체 정보를 공유 서버로부터 수신하고, 타사용자 단말로부터 촬영 중인 영상을 수신하는 수신부;
    상기 객체 정보에 기초하여 상기 수신된 영상으로부터 적어도 하나 이상의 객체를 검출하는 객체 검출부; 및
    상기 수신된 영상 및 상기 적어도 하나 이상의 검출된 객체를 표시하고, 상기 검출된 객체를 선택받는 경우, 상기 검출된 객체와 대응되는 부가 정보를 표시하는 표시부를 포함하고,
    상기 객체 정보는 상기 타사용자 단말을 통해 입력받아 상기 타사용자 단말로부터 상기 공유 서버로 전송되고,
    상기 적어도 하나 이상의 객체는 상기 타사용자 단말에 의해 상기 객체 정보에 기초하여 상기 촬영 중인 영상으로부터 검출되고,
    상기 촬영 중인 영상 및 상기 검출된 객체는 상기 타사용자 단말을 통해 표시되는 것인, 사용자 단말.
PCT/KR2017/006352 2016-06-16 2017-06-16 영상을 공유하여 다자간 커뮤니케이션을 제공하는 사용자 단말 및 공유 서버 WO2017217821A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160075229A KR102546595B1 (ko) 2016-06-16 2016-06-16 영상을 공유하여 다자간 커뮤니케이션을 제공하는 사용자 단말 및 공유 서버
KR10-2016-0075229 2016-06-16

Publications (1)

Publication Number Publication Date
WO2017217821A1 true WO2017217821A1 (ko) 2017-12-21

Family

ID=60663307

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/006352 WO2017217821A1 (ko) 2016-06-16 2017-06-16 영상을 공유하여 다자간 커뮤니케이션을 제공하는 사용자 단말 및 공유 서버

Country Status (2)

Country Link
KR (1) KR102546595B1 (ko)
WO (1) WO2017217821A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120059239A (ko) * 2010-11-30 2012-06-08 엘지전자 주식회사 이동 단말기 및 이동 단말기 실시간 로드뷰 공유방법
KR20130049674A (ko) * 2011-11-04 2013-05-14 주식회사 코리아퍼스텍 동영상 스팟 이미지에 기초한 객체정보 제공서비스를 이용한 컨텐츠 경매 제공방법 및 시스템
KR20130082826A (ko) * 2011-12-20 2013-07-22 주식회사 케이티 콘텐츠의 객체 정보 생성 방법 및 시스템
KR101375971B1 (ko) * 2013-04-24 2014-03-18 이형섭 시공 현장의 실시간 관리 장치
KR20150030387A (ko) * 2013-09-12 2015-03-20 엠랩 주식회사 스트리밍 동영상에 대한 코멘트 태깅 시스템 및 그 제공방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6192107B2 (ja) * 2013-12-10 2017-09-06 Kddi株式会社 撮影動画像に指示画像を重畳することができる映像指示方法、システム、端末及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120059239A (ko) * 2010-11-30 2012-06-08 엘지전자 주식회사 이동 단말기 및 이동 단말기 실시간 로드뷰 공유방법
KR20130049674A (ko) * 2011-11-04 2013-05-14 주식회사 코리아퍼스텍 동영상 스팟 이미지에 기초한 객체정보 제공서비스를 이용한 컨텐츠 경매 제공방법 및 시스템
KR20130082826A (ko) * 2011-12-20 2013-07-22 주식회사 케이티 콘텐츠의 객체 정보 생성 방법 및 시스템
KR101375971B1 (ko) * 2013-04-24 2014-03-18 이형섭 시공 현장의 실시간 관리 장치
KR20150030387A (ko) * 2013-09-12 2015-03-20 엠랩 주식회사 스트리밍 동영상에 대한 코멘트 태깅 시스템 및 그 제공방법

Also Published As

Publication number Publication date
KR20170142032A (ko) 2017-12-27
KR102546595B1 (ko) 2023-06-23

Similar Documents

Publication Publication Date Title
WO2012118299A2 (en) Method and apparatus for sharing media based on social network in communication system
WO2011071309A2 (en) Method and apparatus for sharing comments regarding content
WO2012118294A2 (en) Apparatus and method for sharing comment in mobile communication terminal
WO2012128538A2 (ko) 식별 코드 처리 시스템, 그의 식별 코드 처리 방법 및 이를 지원하는 장치
EP2471002A2 (en) Apparatus and method for synchronizing e-book content with video content and system thereof
WO2015030307A1 (en) Head mounted display device and method for controlling the same
WO2011053027A2 (en) Image providing system and method
WO2018084536A1 (ko) 타임 슬라이스 영상 제공 서버, 방법 및 사용자 단말
WO2018074618A1 (ko) 영상을 위한 효과 공유 방법 및 시스템
WO2017222258A1 (ko) 3d 깊이 카메라를 이용한 다자간 영상 대화 시스템 및 방법
JP5606637B2 (ja) 映像監視システム
WO2014030864A1 (en) Electronic device and content sharing method
WO2016171515A1 (ko) 사용자의 업로드 콘텐츠를 사용자 관련 대화방에 전달하는 방법, 그리고 이를 구현한 콘텐츠 공유 장치 및 어플리케이션
WO2015064854A1 (ko) 멀티앵글영상서비스의 사용자인터페이스 메뉴 제공방법 및 사용자 인터페이스메뉴 제공장치
WO2011059227A2 (en) Method for providing contents to external apparatus
WO2014133288A1 (ko) 아이콘을 통해 촬영 환경을 설정하는 촬영 장치 및 촬영 장치에서의 촬영 환경 적용 방법
WO2020166849A1 (en) Display system for sensing defect on large-size display
WO2017217821A1 (ko) 영상을 공유하여 다자간 커뮤니케이션을 제공하는 사용자 단말 및 공유 서버
WO2014204189A1 (ko) 어플리케이션 실행의 개별단계를 위한 가상 공간 제공 시스템
WO2014088204A1 (ko) 공유 이벤트와 관련된 추천 사진을 표시하는 방법 및 디바이스, 그리고 공유 서버
WO2013180354A1 (en) Method and home device for outputting response to user input
WO2018226030A1 (ko) 그룹내부정보 공유방법 및 공유프로그램
WO2019164025A1 (ko) 위치 기반 영상 제공 방법 및 그 장치
KR20160116493A (ko) WebRTC 기반의 다중접속 CCTV 시스템
WO2018004198A1 (en) Method and system for registering plurality of devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17813644

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 16.04.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17813644

Country of ref document: EP

Kind code of ref document: A1