WO2020138541A1 - 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치 - Google Patents

모바일 단말을 이용한 다채널 영상 생성 방법 및 장치 Download PDF

Info

Publication number
WO2020138541A1
WO2020138541A1 PCT/KR2018/016750 KR2018016750W WO2020138541A1 WO 2020138541 A1 WO2020138541 A1 WO 2020138541A1 KR 2018016750 W KR2018016750 W KR 2018016750W WO 2020138541 A1 WO2020138541 A1 WO 2020138541A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile terminal
mobile terminals
subject
photographing
information
Prior art date
Application number
PCT/KR2018/016750
Other languages
English (en)
French (fr)
Inventor
이상윤
김준호
박성환
Original Assignee
포디리플레이코리아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포디리플레이코리아 주식회사 filed Critical 포디리플레이코리아 주식회사
Publication of WO2020138541A1 publication Critical patent/WO2020138541A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • Embodiments relate to a method and apparatus for generating a multi-channel image using a mobile terminal.
  • an image service has been released to provide a multi-channel image to a user by geometrically correcting and synthesizing a plurality of images obtained by photographing a subject with various mobile terminals in various channels.
  • These multi-channel videos provide realistic images that go beyond the concept of high-definition, and through this, users can feel more immersed in the media and greatly improve the effect of delivering video information in fields such as advertising, education, medical care, defense, and entertainment. have.
  • channel/time switching is a dimension that is simply reproduced in a predetermined merge method when producing a multi-channel image. That is, in the related art, a plurality of frames are acquired from a plurality of cameras, a part of the acquired frames are selected, and these frames are merged to produce a single channel switching image. Since the channel switching image is a simple merge of the frames of a channel predetermined by the producer when the image is produced, when the corresponding video file is reproduced, the merged frames have a channel switching effect indicating a single channel movement effect.
  • the embodiments are intended to provide a method and apparatus capable of generating a multi-channel image using a mobile terminal with a built-in camera.
  • an icon corresponding to the plurality of mobile terminals displayed on a display screen of the host mobile terminal by using addresses of a plurality of mobile terminals to photograph a subject in the host mobile terminal Grouping a plurality of mobile terminals to photograph the subject by selecting them; Transmitting a synchronization message synchronizing time to the plurality of grouped mobile terminals by selecting a synchronization icon corresponding to the group synchronization displayed on the display screen of the host mobile terminal;
  • Photographing guide information for photographing the subject is set on a display screen of the host mobile terminal, and transmitting photographing information extracted from the set photographing guide information to the grouped mobile terminals; Selecting an icon corresponding to a photographing button on a display screen of the host mobile terminal, thereby transmitting a photographing message including time information to start photographing the subject in all mobile terminals to the grouped plurality of mobile terminals; And photographing the subject according to the time information in the host mobile terminal and transmitting the photographed image to
  • a multi-channel image is generated based on the captured image received from the host mobile terminal and the captured images received from the plurality of grouped mobile terminals.
  • the augmented reality image obtained by synthesizing an augmented reality image to a user image of a plurality of mobile terminals photographed by the host mobile terminal is displayed on the display screen.
  • the synchronization message is generated according to NTP (Network Time Protocol).
  • the shooting guide information is to display at least one of a top point, a middle point and a bottom point in a straight line with respect to the subject in the host mobile terminal, and the extracted shooting information is displayed on the subject according to the shooting guide information. It characterized in that it comprises at least one of the tilt information and the angle information of the host mobile terminal for.
  • Tilt information and angle information of the host mobile terminal, and tilt information and angle information of the plurality of grouped mobile terminals are transmitted from the external server, so that the external server guides the shooting guide information and the shooting information to all mobile terminals. It is characterized by further transmitting the included metadata.
  • All mobile terminals are characterized by automatically photographing the subject according to each timer program according to the absolute time information.
  • an icon corresponding to the plurality of mobile terminals displayed on a display screen of the host mobile terminal by using addresses of a plurality of mobile terminals to photograph a subject in the host mobile terminal Grouping a plurality of mobile terminals to photograph the subject by selecting them; Transmitting a synchronization message synchronizing time to the plurality of grouped mobile terminals by selecting a synchronization icon corresponding to the group synchronization displayed on the display screen of the host mobile terminal;
  • Photographing guide information for photographing the subject is set on a display screen of the host mobile terminal, and transmitting photographing information extracted from the set photographing guide information to the grouped mobile terminals; Selecting an icon corresponding to a photographing button on a display screen of the host mobile terminal, thereby transmitting a photographing message including time information to start photographing the subject in all mobile terminals to the grouped plurality of mobile terminals; Generating a photographed image by photographing the subject according to the time information in the host mobile terminal
  • a mobile terminal includes a display screen; Shooting module; And a processor, wherein the icons corresponding to the plurality of mobile terminals displayed on the display screen are selected using the addresses of each of the plurality of mobile terminals to photograph the subject, thereby selecting a plurality of mobile terminals to photograph the subject.
  • a shooting message including information is transmitted to the plurality of grouped mobile terminals, the shooting module is controlled according to the time information to shoot the subject, and the captured image is transmitted to an external server.
  • It includes a recording medium recording a method for executing the method in a computer according to another embodiment.
  • the multi-channel image generation method using a mobile terminal can conveniently generate multi-channel images even for general users without constructing a separate multi-channel image capturing system.
  • FIG. 1 is a schematic diagram of a transmission system 100 for multi-channel video according to an embodiment.
  • FIG. 2 is an exemplary diagram for generating a multi-channel image.
  • FIG. 3 is a schematic diagram of the mobile terminal 100 shown in FIG. 1.
  • FIG. 4 is a system diagram including the mobile terminal 100 shown in FIG. 1.
  • 5 to 7 are exemplary views for explaining a method for generating a multi-channel image using the mobile terminal 100.
  • FIG. 8 is a schematic diagram of the group management server 110 shown in FIG. 1.
  • FIG. 9 is a schematic diagram of the video server 200 shown in FIG. 1.
  • FIG. 10 is another schematic diagram of the video server 200 shown in FIG. 1.
  • 11 and 12 are detailed exemplary views of the transmission unit 133 illustrated in FIG. 10.
  • FIG. 13 is a flowchart illustrating a method for generating a multi-channel image using a mobile terminal according to another embodiment.
  • a part when it is said that a part is connected to another part, this includes not only the case of being directly connected, but also the case of being electrically connected with another component in between.
  • a part when a part includes a certain component, this means that other components may be further included instead of excluding other components unless otherwise specified.
  • the term “... unit” described in the embodiments means a unit that processes at least one function or operation, which may be implemented in hardware or software, or a combination of hardware and software.
  • FIG. 1 is a schematic diagram of a transmission system 100 for multi-channel video according to an embodiment.
  • the transmission system 100 includes a group management server 110 and a group for processing and transmitting multi-channel images captured from a plurality of mobile terminals 111 to 113 and a plurality of mobile terminals 111 to 113. And an image server 200 for processing and storing multi-channel images transmitted from the management server 110.
  • the image server 200 receives a request for a multi-channel image, a request for a switching image, and a request for a specific event from the user terminal 150 and transmits the stored multi-channel image to the user terminal 150.
  • the user terminal 150 may include a plurality of mobile terminals 111 to 113, or may be other user devices.
  • the plurality of mobile terminals 111 to 113 means a mobile device that includes a photographing module, for example, a camera, and is grouped to photograph a multi-channel image.
  • a photographing module for example, a camera
  • the remaining terminals 112 and 113 may be a plurality of mobile terminals grouped to shoot a multi-channel image.
  • Each of the mobile terminals 111 to 113 is equipped with an application for photographing multi-channel images, and photographs the same subject according to the photographing control of the host mobile terminal 111 and transmits it to the group management server 110.
  • the plurality of mobile terminals 111 to 113 perform, for example, shooting group management, shooting control management, and shooting image transmission under the control of the group management server 110.
  • the image server 200 may include an image processing device 130 and an image storage unit 140.
  • a plurality of mobile terminals 1 to N may be disposed to photograph a specific subject.
  • a plurality of images of a subject photographed from multiple angles are received from a plurality of mobile terminals arranged in an array around the subject.
  • the method of arranging a plurality of mobile terminals may be, for example, arranging N mobile terminals in a line on substantially the same plane as a given mobile terminal.
  • N cameras are sequentially arranged on a circumference spaced apart by a predetermined distance based on the subject, or the distance between the two mobile terminals and the subject arranged on both sides based on the mobile terminal disposed in the center is matched, and the remaining cameras are The distance to the subject may be different.
  • the subject may be a fixed subject or a moving subject.
  • a plurality of mobile terminals are disposed around the subject, and the arrangement of other mobile terminals may be changed according to a photographing control of one mobile terminal, that is, a host mobile terminal, a tilt and an angle between the subject and the host mobile terminal.
  • the photographing information may be made under the control of the host mobile terminal, or may be made under the control of each mobile terminal and the group management server 110.
  • FIG. 3 is a schematic diagram of the mobile terminal 100 shown in FIG. 1
  • FIG. 4 is a system diagram including the mobile terminal 100 shown in FIG. 1.
  • the mobile terminal 100 may be implemented with devices for various purposes.
  • the mobile terminal 100 may be implemented as a mobile phone, a smart phone, a laptop computer, or a tablet device, as described above, but is not limited thereto.
  • a display 110 may be installed on the front surface 101 of the mobile terminal 100.
  • a speaker 120 for receiving the voice of the other party may be installed above the display 110.
  • a microphone 130 for transmitting the voice of the user of the mobile terminal 100 to the other party may be installed below the display 110.
  • components for performing various functions of the mobile terminal 100 may be disposed around the speaker 120.
  • the components can include at least one sensor module 140.
  • the sensor module 140 may include, for example, at least one of an illuminance sensor (eg, an optical sensor), a proximity sensor, an infrared sensor, and an ultrasonic sensor.
  • the component may also include a camera 150.
  • the component may include an LED indicator 160 for recognizing the status information of the mobile terminal 100 to the user.
  • the mobile terminal 100 may photograph a subject using the camera 150.
  • the right side of FIG. 3 is a side view of the mobile terminal 100.
  • the mobile terminal 100 may include another camera 150 ′. However, it is not limited to this, and may include more cameras.
  • the cameras 150 and 150' of the mobile terminal 100 may form various angles of view.
  • the mobile terminal 101 may include the mobile terminal 100 of FIG. 1.
  • the mobile terminal 201 may include a bus 210, a processor 220, a memory 230, an input/output interface 250, a display 260, and a communication interface 270. In some embodiments, the mobile terminal 201 may omit at least one of the components or additionally include other components.
  • the bus 210 may include, for example, circuits connecting the components 210-270 to each other and transferring communication (eg, control messages and/or data) between the components.
  • the processor 220 may include one or more of a central processing unit (CPU), an application processor (AP), or a communication processor (CP).
  • the processor 220 may perform, for example, calculation or data processing related to control and/or communication of at least one other component of the mobile terminal 201.
  • the memory 230 may include volatile and/or nonvolatile memory.
  • the memory 230 may store, for example, commands or data related to at least one other component of the mobile terminal 201.
  • the memory 230 may store software and/or programs 240.
  • the program 240 may be, for example, the kernel 241, middleware 243, application programming interface (API) 245, and/or application program (or "application”) 147, etc. It may include. At least a portion of the kernel 241, middleware 243, or API 245 may be referred to as an operating system (OS).
  • OS operating system
  • the kernel 241 may be, for example, system resources (eg, middleware 243, API 245, or application program 247) implemented in other programs (eg, system resources) used to execute functions or functions. :
  • the bus 210, the processor 220, or the memory 230 may be controlled or managed.
  • the kernel 241 provides an interface to control or manage system resources by accessing individual components of the mobile terminal 201 in the middleware 243, API 245, or application program 247. Can.
  • the middleware 243 may serve as an intermediary, for example, so that the API 245 or the application program 247 communicates with the kernel 241 to exchange data.
  • the middleware 243 may process one or more job requests received from the application program 247 according to priority.
  • the middleware 243 may use system resources (eg, the bus 210, the processor 220, or the memory 230) of the mobile terminal 201 for at least one of the application programs 247. Priority can be given.
  • the middleware 243 may process the one or more job requests according to the priority given to the at least one, thereby performing scheduling or load balancing of the one or more job requests.
  • the API 245 is, for example, an interface for the application 247 to control functions provided by the kernel 241 or the middleware 243, for example, file control, window control, image processing, or text. It may include at least one interface or function (eg, command) for control and the like.
  • the input/output interface 250 may serve as an interface that can transmit commands or data input from a user or other external device to other component(s) of the mobile terminal 201, for example. Also, the input/output interface 250 may output commands or data received from other component(s) of the mobile terminal 201 to a user or another external device.
  • the display 260 may be, for example, a liquid crystal display (LCD), a light-emitting diode (LED) display, an organic light-emitting diode (OLED) display, or Microelectromechanical systems (MEMS) displays, or electronic paper displays.
  • the display 260 may, for example, display various contents (eg, text, images, videos, icons, or symbols) to the user.
  • the display 260 may include a touch screen, and may receive, for example, a touch, gesture, proximity, or hovering input using an electronic pen or a user's body part.
  • the communication interface 270 establishes communication between the mobile terminal 201 and an external device (eg, the first external mobile terminal 202, the second external mobile terminal 204, or the server 206). Can.
  • the communication interface 270 may be connected to the network 262 through wireless communication or wired communication to communicate with an external device (eg, the second external mobile terminal 204 or the server 206).
  • Wireless communication is, for example, a cellular communication protocol, for example, long-term evolution (LTE), LTE Advance (LTE-A), code division multiple access (CDMA), wideband CDMA (WCDMA), universal (UMTS)
  • LTE long-term evolution
  • LTE-A LTE Advance
  • CDMA code division multiple access
  • WCDMA wideband CDMA
  • UMTS universal
  • GSM global system for mobile communications
  • the wireless communication may include short-range communication 264, for example.
  • the short-range communication 264 may include at least one of, for example, wireless fidelity (WiFi), Bluetooth (Bluetooth), near field communication (NFC), or global navigation satellite system (GNSS).
  • WiFi wireless fidelity
  • Bluetooth Bluetooth
  • NFC near field communication
  • GNSS global navigation satellite system
  • GNSS can be used depending on the region or bandwidth used, such as global positioning system (GPS), Global Navigation Satellite System (Glonass), Beidou Navigation Satellite System (“Beidou”) or Galileo, the European global satellite-based navigation system. It may include at least one.
  • GPS global positioning system
  • Glonass Global Navigation Satellite System
  • Beidou Beidou Navigation Satellite System
  • Galileo the European global satellite-based navigation system. It may include at least one.
  • GPS Global Navigation Satellite System
  • the wired communication may include at least one of a universal serial bus (USB), a high definition multimedia interface (HDMI), a recommended standard232 (RS-232), or a plain old telephone service (POTS).
  • the network 262 is a telecommunications network, for example, a computer network (eg, a local area network (LAN) or a wide area network (WAN)), the Internet, or a telephone network. It may include at least one.
  • Each of the first and second external mobile terminals 202 and 204 may be the same or a different type of device from the mobile terminal 201.
  • the server 206 may include a group of one or more servers. According to various embodiments, all or some of the operations performed in the mobile terminal 201 may be executed in another one or a plurality of mobile terminals (eg, the mobile terminals 202,204, or the server 206. In one embodiment, according to this, when the mobile terminal 201 needs to perform a certain function or service automatically or by request, the mobile terminal 201 may instead execute the function or service itself, or additionally, at least some functions associated therewith. Request to another device (e.g., mobile terminal 202, 204, or server 206).
  • another device e.g., mobile terminal 202, 204, or server 206.
  • Another mobile terminal may request the requested function or An additional function may be executed, and the result may be delivered to the mobile terminal 201.
  • the mobile terminal 201 may provide the requested function or service by processing the received result as it is or additionally.
  • cloud computing, distributed computing, or client-server computing technology can be used.
  • the mobile terminal 101 and the first and second external mobile terminals 202 and 204 are one mobile terminal using the above-described communication methods for images captured using a camera in each mobile terminal. It can also be sent and composited into a single image. For example, a multi-channel image may be generated through the captured image of the mobile terminal 101 and the captured images of the first and second external mobile terminals 202 and 204 at different locations.
  • the images captured by the mobile terminal 101 and the first and second external mobile terminals 202 and 204 are transmitted through the server 206, that is, the group management server 110 shown in FIG. 1, and the image server At 200, a multi-channel image may be generated.
  • 5 to 7 are exemplary views for explaining a method for generating a multi-channel image using the mobile terminal 100.
  • a mobile terminal 100 (hereinafter referred to as a host mobile terminal) groups a user terminal 501 to 503 of a mobile terminal or a mobile terminal to participate in generating a multi-channel image using augmented reality.
  • the host mobile terminal 100 performs grouping by clicking nearby mobile terminals 501 to 503 displayed through augmented reality on the display screen. Specifically, when clicking as a member using the IP address of the mobile terminal, a member join request message is transmitted to the displayed user terminals 501 to 503, and other mobile terminals 501 to 503 are grouped by sending a response message. This is done.
  • an augmented reality image obtained by synthesizing an augmented reality image with user images of a plurality of mobile terminals photographed by a host mobile terminal may be displayed on a display screen.
  • the present invention is not limited to this, of course, a larger number of mobile terminals can participate.
  • the mobile terminal 100 may perform grouping using a QR code. Through the QR code generated in the mobile terminal 100, other mobile terminals 501 to 503 may participate in generating a multi-channel image.
  • the time of all mobile terminals is synchronized with an absolute time based on the NTP (Network Time Protocol, NTP) protocol for image capturing at the same time using a plurality of mobile terminals.
  • NTP means a protocol for synchronizing the time of systems running in a networked environment.
  • the host mobile terminal 100 becomes an NTP server and synchronizes with other mobile terminals 601 to 603 participating in the shooting at the time of the host terminal. 6, when the synchronization icon 610 is selected, the host mobile terminal 100 transmits a shooting synchronization message to other grouped mobile terminals 601 to 603, and the other mobile terminal 601 uses the NTP protocol. Each synchronization is performed in absolute time.
  • the host mobile terminal 100 may collect the relative time from other mobile terminals 601 to 603 and synchronize the shooting time with the reference time of the host mobile terminal 100.
  • the host mobile terminal 100 may also collect a relative time, calculate a value corresponding to its own time, and calculate a time to synchronize.
  • the host mobile terminal 100 that leads the photographing sets the top, middle, and bottom points in a straight line around the subject to obtain the camera's tilt and angle information about the subject.
  • the acquired subject and camera information is transmitted to all the mobile terminals 701 to 703 to induce the user of the other mobile terminals 701 to 703 to adjust the camera tilt and angle information acquired by the host mobile terminal 100.
  • all mobile terminals may be provided with a guide for adjustment by exchanging metadata information between a subject and a camera in conjunction with the group management server 110 shown in FIG. 1.
  • an absolute time of shooting is transmitted to all mobile terminals 701 to 703 participating in the shooting, and programs in each terminal are transmitted. Start shooting simultaneously through the timer.
  • shooting is performed on all mobile terminals through a timer application, it is of course not limited to this, and various synchronized shooting methods may be performed.
  • FIG. 8 is a schematic diagram of the group management server 110 shown in FIG. 1.
  • the group management server 110 may control a plurality of mobile terminals through synchronization signals synchronizing the plurality of mobile terminals.
  • the group management server 110 temporarily stores images photographed from a plurality of mobile terminals, and reduces the size of the photographed images through codec change and enables fast transmission.
  • the specific configuration of the group management server 110 will be described with reference to FIG. 8.
  • the group management server 110 may include a group management unit 111, a photographing management unit 112, and a transmission unit 113.
  • the group management unit 111 may manage each mobile terminal by grouping a plurality of mobile terminals participating in multi-channel image generation.
  • the photographing manager 112 may provide a guide for adjustment by exchanging metadata information between a subject and a camera in cooperation with a plurality of mobile terminals participating in multi-channel video shooting.
  • the size of the images is reduced by changing the codec so that the images generated from the plurality of mobile terminals can be quickly transmitted through the communication network 120.
  • the transmission unit 113 transmits the converted images to the image server 200 through the communication network 120.
  • the image server 200 stores and stores the multi-channel images transmitted from the group management server 110 by grouping at least one criterion in which time, channel, time and channels are mixed, and stored according to the request of the user terminal 150
  • the grouped video is transmitted through a communication network.
  • the detailed configuration of the video server 200 will be described with reference to FIGS. 9 to 12.
  • FIG. 9 is a schematic diagram of the video server 200 shown in FIG. 1.
  • the image server 200 includes an image processing device 130 and an image storage unit 140.
  • the image processing apparatus 130 includes an image processing unit 131, an image conversion unit 132, and a transmission unit 133.
  • the image processing unit 131 performs image correction on multi-channel images transmitted from the group management server 110, that is, images photographed by a plurality of mobile terminals. For example, since images photographed from a plurality of mobile terminals may not be in focus, image processing is performed such that focus between cameras is the same.
  • the image processing unit 131 corrects the transmitted multi-channel images. Since the geometrical error of the N camera arrangements appears as a visual shake in the process of reproducing a multi-channel image, at least one of the size or size, tilt, or center position of each image can be corrected to remove it.
  • the image converter 132 groups the multi-channel images by at least one criterion in which time, channel, time and channels are mixed.
  • the image converter 132 groups several spaces together.
  • the grouping method can be performed according to various criteria.
  • the transmission system may transmit all image data without wasting data, and transmit only grouped images by transmitting grouped images. Have it.
  • the image converter 132 may group and group channel images by ⁇ y (y is a natural number) based on an event of time t. For example, in channel 1, it may be the case that an event occurs in t3.
  • the event may be a predetermined case, for example, a home run scene or an out scene in a baseball game, an event at the request of the user, or a case desired by the user.
  • multi-channel video grouping may be performed in various ways.
  • channel images are grouped together by time. Grouped images are generated by grouping the images of channels 1 to 5 shot at t1 into one. Similarly, images of channels 1 to 5 photographed on t2 are grouped together to generate a grouped image. In this way, it can be grouped by time, and the user terminal 150 can check images captured in all directions surrounding the subject at the same time.
  • the mobile terminals may be grouped in the order of the first to fifth channels, but in the reverse order, that is, in the order of the fifth to first channels.
  • the grouped images converted by the image conversion unit 132 are stored in the image storage unit 140.
  • the image processing device 130 extracts the images stored in the image storage unit 140 and transmits them to the user terminal 150 through the transmission unit 133.
  • FIG. 10 is another schematic diagram of the video server 200 shown in FIG. 1.
  • the image processing apparatus 130 includes an image processing unit 131, an image conversion unit 132, and a transmission unit 133, and the transmission unit 133 includes a message handler 133-1 and a switch.
  • a trimmer 133-2 and a channel manager 133-3 may be further included.
  • the transmission unit 133 may be a streaming device, and is described as being included in the video server 130, but it is of course possible to implement it as a separate device separate from the video server 130. Description of the same parts as in FIG. 9 will be omitted, and differences will be mainly described.
  • the transmission unit 133 transmits the processed image or the stored image in real time.
  • the message handler 133-1 performs session management and protocol management with the user terminal.
  • the streamer 133-2 transmits an image to a user terminal and is a set of images to be transmitted to the user terminal.
  • the channel manager 133-3 receives the signal from the user terminal, schedules the video in GOP units, and transmits it to the streamer 133-2.
  • the channel manager 133-3 schedules the streamer 133-2 in units of each GOP. Delivered video. As shown in FIG. 11, the images captured by the channel 5, that is, the camera 5, are scheduled in the order of GOP1 to GOPN and delivered to the streamer 133-2.
  • the streamer 133-2 collects GOP images according to the scheduling of the channel manager 133-3 and transmits them to the user terminal.
  • the channel manager 133-3 is GOP1 to 3 and GOP4 and channel 3 of the channel 4, that is, the images captured by the camera 5 It is scheduled in the order of GOP5, GOP6 of channel 2, and GOP7 of channel 7 to be transmitted to streamer 133-2.
  • the streamer 133-2 collects GOP images according to the scheduling of the channel manager 133-3 and transmits them to the user terminal.
  • the image server 200 decodes and renders a multi-channel image according to an event and transmits it to the user terminal 150, or the image server 200 transmits a multi-channel image or a grouped image to the user terminal 150 ), and while playing a multi-channel or grouped image transmitted from the user terminal 150, the compressed and transmitted image may be decoded and rendered according to an event generated by a user request.
  • decoding and rendering are performed as follows.
  • an event occurs to the right in the image corresponding to camera 2.
  • the user terminal 150 it may be a case in which the user wants to play an image captured by the camera 10 from an image captured by the camera 2.
  • decoding is performed from camera 1 to camera 2 to store the decoded image in a temporary memory or buffer, and then rendering starts from camera 2.
  • an event occurs to the left in the image corresponding to camera 7.
  • the user terminal 150 it may be a case in which the user wants to play the image captured by the camera 1 from the image captured by the camera 7.
  • decoding is performed from camera 1 to camera 7 to store the decoded image in a temporary memory or buffer, and then rendering from camera 7 to camera 1 is started.
  • the video server 200 accepts the request and allocates a session according to a connection request from the user terminal 150 to the video server 200.
  • the user terminal 150 allocates the device ID according to the authentication request and responds to the authentication request, the user terminal 150 initiates an authentication or device ID protocol session.
  • the video server 200 When the user terminal 150 requests a connection for a streaming session, the video server 200 accepts the request and allocates a stream. When the user terminal 150 requests an authentication, the video server 200 responds to the authentication request.
  • the streaming session is initiated by the user terminal 150 using the authentication or device ID.
  • the Alive maintenance request is transmitted to the video server 200 at a predetermined time, for example, once every second.
  • the video server 200 responds to the request and manages the session. Therefore, a connection state or an event state is maintained between the video server 200 and the user terminal 150.
  • the video server 200 responds to the playback request and transmits the playback image to the user terminal 150.
  • the playback image is stopped while responding to the stop request.
  • FIG. 13 is a flowchart illustrating a method for generating a multi-channel image using a mobile terminal according to another embodiment.
  • step 1300 icons corresponding to a plurality of mobile terminals displayed on a display screen of the host mobile terminal are selected by using addresses of a plurality of mobile terminals to photograph a subject in the host mobile terminal, thereby selecting the subject. Group a plurality of mobile terminals to be photographed.
  • step 1302 a synchronization icon corresponding to the group synchronization displayed on the display screen of the host mobile terminal is selected, thereby transmitting a synchronization message synchronized to the plurality of grouped mobile terminals in absolute time.
  • the NTP protocol can be used for time synchronization.
  • step 1304 photographing guide information for photographing a subject is set on a display screen of a host mobile terminal, and information on a subject extracted from the set photographing guide information is transmitted to a plurality of grouped mobile terminals.
  • step 1306 an icon corresponding to the photographing button is selected on the display screen of the host mobile terminal, so that a photographing message including absolute time information for starting photographing a subject is transmitted to a plurality of grouped mobile terminals.
  • step 1308 the host mobile terminal photographs the subject according to the absolute time information, and transmits the photographed image to an external server.
  • an external server that is, the group management server and the image server shown in FIG. 1, and the multi-channel image is generated by the image server.
  • the host mobile terminal may generate multi-channel images by receiving images captured by other mobile terminals by the host mobile terminal.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically include computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism, and includes any information delivery media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)

Abstract

일 실시 예에 따른 모바일 단말을 이용한 다채널 영상 생성 방법은 모바일 단말에 내장된 카메라를 이용하여, 별도의 다채널 영상 촬영 시스템을 구축하지 않고도 일반 사용자들도 편리하게 다채널 영상을 생성할 수 있다. 다채널 영상 생성 방법은 피사체를 촬영할 복수의 모바일 단말을 그룹화하는 단계, 그룹화된 복수의 모바일 단말에 시간을 동기화하는 동기화 메시지를 전송하는 단계, 설정된 촬영 가이드 정보로부터 추출된 촬영 정보를 그룹화된 복수의 모바일 단말에 전송하는 단계, 피사체를 촬영 개시하는 시간 정보를 포함한 촬영 메시지를 그룹화된 복수의 모바일 단말에 전송하는 단계 및 촬영된 영상을 외부 서버에 전송하는 단계를 포함하는 것을 특징으로 한다.

Description

모바일 단말을 이용한 다채널 영상 생성 방법 및 장치
실시 예들은 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치에 관한 것이다.
최근 대중들은 모바일을 이용한 동영상 재생을 선호한다. 이러한 선호에 발맞춰 기업들은 방송 플랫폼, 예를 들면 V-app, AfreecaTV, Youtube Live를 서비스 하고 있다. 이러한 플랫폼을 시청하는 대중들은 하나의 시점, 즉 하나의 카메라에서 촬영한 영상을 시청하고 있다. 그러나 최근 시청자들은 원하는 공간에서 촬영된 영상을 시청하길 원한다.
현재, 복수의 모바일 단말로 하나의 피사체를 다양한 채널에서 촬영하여 획득한 복수의 영상을 기하학적으로 교정, 합성하여 다채널의 영상을 사용자에게 제공하는 영상 서비스가 공개되어 있다. 이러한 다채널 영상은 고화질의 개념을 뛰어넘는 사실감 넘치는 영상을 제공하며, 이를 통해 사용자들은 미디어에 몰입감을 더욱 느끼게 되고 광고, 교육, 의료, 국방, 오락 등의 분야에서 영상 정보 전달 효과를 크게 높일 수 있다.
종래의 다채널 영상에서는 채널/시간 스위칭이 다채널 영상 제작시에 미리 정해진 병합 방식으로 단순히 재생되는 차원이다. 즉, 종래에는 복수 개의 카메라에서 복수 개의 프레임을 획득하고, 획득한 프레임들 중 일부를 선별한 후 이들 프레임을 병합하여 하나의 채널 스위칭 영상을 제작하였다. 이러한 채널 스위칭 영상은 영상 제작 시에 제작자가 미리 결정한 채널의 프레임을 단순 병합한 것이므로, 해당 영상 파일을 재생하면 병합된 프레임들이 단일의 채널 이동 효과를 나타내는 채널 스위칭 효과를 내는 것이었다. 이와 같은 종래기술의 다채널 영상에 따르면 사용자는 미리 제작된 채널 스위칭 효과를 단순 시청하는 것에 불과하였고, 시청자가 시각 스위칭 또는 채널 스위칭을 수동으로 조작하여 재생을 원하는 시점으로 채널을 돌려가면서 영상을 시청하는 것은 불가능하였다. 또한, 다양한 공간에서 영상 촬영을 위해 다채널 또는 카메라 동기화 기법, 영상 보정 및 전송 방법이 필요하다.
한편, 전술한 다채널 영상을 생성하기 위해서는 다양한 전송 플랫폼 및 재생장치들이 필요하다. 하지만, 다채널 영상을 생성하기 위해서는 고가의 촬영 환경 구축비용과 시간 소요로 인하여, 일반 사용자들이 사용하기에는 부담이었으며, 다채널 플랫폼을 보급화하는 데 한계가 있었다.
실시 예들은 카메라를 내장한 모바일 단말을 이용해서 다채널 영상을 생성할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
일 실시 예에 따른 모바일 단말을 이용한 다채널 영상 생성 방법은 호스트 모바일 단말에서 피사체를 촬영할 복수의 모바일 단말 각각의 주소를 이용하여 상기 호스트 모바일 단말의 디스플레이 화면에 표시된 상기 복수의 모바일 단말에 상응하는 아이콘들이 선택됨으로써, 상기 피사체를 촬영할 복수의 모바일 단말을 그룹화 하는 단계; 상기 호스트 모바일 단말의 디스플레이 화면에서 표시된 그룹 동기화에 상응하는 동기화 아이콘이 선택됨으로써, 상기 그룹화된 복수의 모바일 단말에 시간을 동기화하는 동기화 메시지를 전송하는 단계; 상기 호스트 모바일 단말의 디스플레이 화면에 상기 피사체를 촬영하기 위한 촬영 가이드 정보가 설정되고, 상기 설정된 촬영 가이드 정보로부터 추출된 촬영 정보를 상기 그룹화된 복수의 모바일 단말에 전송하는 단계; 상기 호스트 모바일 단말의 디스플레이 화면에 촬영 버튼에 상응하는 아이콘이 선택됨으로써, 모든 모바일 단말에서 상기 피사체를 촬영 개시하는 시간 정보를 포함한 촬영 메시지를 상기 그룹화된 복수의 모바일 단말에 전송하는 단계; 및 상기 호스트 모바일 단말에서 상기 시간 정보에 따라 상기 피사체를 촬영하고, 상기 촬영된 영상을 외부 서버에 전송하는 단계를 포함한다.
상기 외부 서버에서, 상기 호스트 모바일 단말로부터 수신된 촬영 영상과, 상기 그룹화된 복수의 모바일 단말로부터 수신된 촬영 영상들을 기초로 다채널 영상을 생성하는 것을 특징으로 한다.
상기 호스트 모바일 단말에서 촬영한 복수의 모바일 단말의 사용자 영상에 증강현실로 증강된 영상을 합성한 증강 현실 영상을 상기 디스플레이 화면에 표시하는 것을 특징으로 한다.
상기 동기화 메시지는 NTP(Network Time Protocol)에 따라 생성되는 것을 특징으로 한다.
상기 촬영 가이드 정보는, 상기 호스트 모바일 단말에서 상기 피사체를 중심으로 일직선상의 최상 지점, 중간 지점 및 최하 지점 중 적어도 하나를 표시하는 것이고, 상기 추출된 촬영 정보는, 상기 촬영 가이드 정보에 따라 상기 피사체에 대한 호스트 모바일 단말의 기울기 정보 및 각도 정보 중 적어도 하나를 포함하는 것을 특징으로 한다.
상기 호스트 모바일 단말의 기울기 정보 및 각도 정보와, 상기 그룹화된 복수의 모바일 단말의 기울기 정보 및 각도 정보는 상기 외부 서버에서 전송되어, 상기 외부 서버에서 모든 모바일 단말에 상기 촬영 가이드 정보 및 상기 촬영 정보를 포함하는 메타데이터를 추가로 전송하는 것을 특징으로 한다.
모든 모바일 단말은 상기 절대 시간 정보에 따라 각각의 타이머 프로그램에 따라 상기 피사체를 자동 촬영하는 것을 특징으로 한다.
다른 실시 예에 따른 모바일 단말을 이용한 다채널 영상 생성 방법은 호스트 모바일 단말에서 피사체를 촬영할 복수의 모바일 단말 각각의 주소를 이용하여 상기 호스트 모바일 단말의 디스플레이 화면에 표시된 상기 복수의 모바일 단말에 상응하는 아이콘들이 선택됨으로써, 상기 피사체를 촬영할 복수의 모바일 단말을 그룹화 하는 단계; 상기 호스트 모바일 단말의 디스플레이 화면에서 표시된 그룹 동기화에 상응하는 동기화 아이콘이 선택됨으로써, 상기 그룹화된 복수의 모바일 단말에 시간을 동기화하는 동기화 메시지를 전송하는 단계; 상기 호스트 모바일 단말의 디스플레이 화면에 상기 피사체를 촬영하기 위한 촬영 가이드 정보가 설정되고, 상기 설정된 촬영 가이드 정보로부터 추출된 촬영 정보를 상기 그룹화된 복수의 모바일 단말에 전송하는 단계; 상기 호스트 모바일 단말의 디스플레이 화면에 촬영 버튼에 상응하는 아이콘이 선택됨으로써, 모든 모바일 단말에서 상기 피사체를 촬영 개시하는 시간 정보를 포함한 촬영 메시지를 상기 그룹화된 복수의 모바일 단말에 전송하는 단계; 상기 호스트 모바일 단말에서 상기 시간 정보에 따라 상기 피사체를 촬영하여, 촬영 영상을 생성하는 단계; 상기 그룹화된 복수의 모바일 단말로부터 상기 피사체를 촬영한 복수의 촬영 영상들을 수신하는 단계; 및 상기 생성된 촬영 영상 및 상기 수신된 복수의 촬영 영상들을 이용하여 다채널 영상을 생성하는 단계를 포함한다.
또 다른 실시 예에 따른 모바일 단말은 디스플레이 화면; 촬영 모듈; 및 프로세서를 포함하고, 상기 프로세서는, 피사체를 촬영할 복수의 모바일 단말 각각의 주소를 이용하여 상기 디스플레이 화면에 표시된 상기 복수의 모바일 단말에 상응하는 아이콘들이 선택됨으로써, 상기 피사체를 촬영할 복수의 모바일 단말을 그룹화 하고, 상기 디스플레이 화면에서 표시된 그룹 동기화에 상응하는 동기화 아이콘이 선택됨으로써, 상기 그룹화된 복수의 모바일 단말에 시간을 동기화하는 동기화 메시지를 전송하고, 상기 디스플레이 화면에 상기 피사체를 촬영하기 위한 촬영 가이드 정보가 설정되고, 상기 설정된 촬영 가이드 정보로부터 추출된 촬영 정보를 상기 그룹화된 복수의 모바일 단말에 전송하고, 상기 디스플레이 화면에 촬영 버튼에 상응하는 아이콘이 선택됨으로써, 모든 모바일 단말에서 피사체를 촬영 개시하는 시간 정보를 포함한 촬영 메시지를 상기 그룹화된 복수의 모바일 단말에 전송하고, 상기 시간 정보에 따라 상기 촬영 모듈을 제어하여 상기 피사체를 촬영하고, 상기 촬영된 영상을 외부 서버에 전송한다.
또 다른 실시 예에 따른 상기 방법을 컴퓨터에서 실행시키기 위한 방법을 기록한 기록매체를 포함한다.
실시 예에 따른 모바일 단말을 이용한 다채널 영상 생성 방법은 별도의 다채널 영상 촬영 시스템의 구축하지 않고도 일반 사용자들도 편리하게 다채널 영상을 생성할 수 있다.
도 1은 일 실시 예에 따른 다채널 영상을 위한 전송 시스템(100)의 개략 도이다.
도 2는 다채널 영상을 생성하는 예시 도이다.
도 3은 도 1에 도시된 모바일 단말(100)의 개략 도이다.
도 4는 도 1에 도시된 모바일 단말(100)을 포함한 시스템 도이다.
도 5 내지 7은 모바일 단말(100)을 이용하여 다채널 영상을 생성하기 위한 방법을 설명하기 위한 예시 도들이다.
도 8은 도 1에 도시된 그룹관리서버(110)의 개략 도이다.
도 9는 도 1에 도시된 영상 서버(200)의 개략 도이다.
도 10은 도 1에 도시된 영상 서버(200)의 다른 개략 도이다.
도 11 및 12는 도 10에 도시된 전송부(133)의 구체적인 예시 도들이다.
도 13은 또 다른 실시 예에 따른 모바일 단말을 이용한 다채널 영상 생성 방법을 설명하기 위한 흐름 도이다.
본 실시 예들에서 사용되는 용어는 본 실시 예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 기술분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 임의로 선정된 용어도 있으며, 이 경우 해당 실시 예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시 예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시 예들의 전반에 걸친 내용을 토대로 정의되어야 한다.
실시 예들에 대한 설명에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 실시 예들에 기재된 “...부”의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 실시 예들에서 사용되는 “구성된다” 또는 “포함한다” 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
하기 실시 예들에 대한 설명은 권리범위를 제한하는 것으로 해석되지 말아야 하며, 해당 기술분야의 당업자가 용이하게 유추할 수 있는 것은 실시 예들의 권리범위에 속하는 것으로 해석되어야 할 것이다. 이하 첨부된 도면들을 참조하면서 오로지 예시를 위한 실시 예들을 상세히 설명하기로 한다.
도 1은 일 실시 예에 따른 다채널 영상을 위한 전송 시스템(100)의 개략 도이다.
도 1을 참조하면, 전송 시스템(100)은 복수의 모바일 단말(111 내지 113), 복수의 모바일 단말(111 내지 113)로부터 촬영된 다채널 영상들을 처리 및 전송하는 그룹관리서버(110), 그룹관리서버(110)로부터 전송된 다채널 영상들을 처리 및 저장하는 영상 서버(200)를 포함한다. 영상 서버(200)는 사용자 단말(150)로부터 다채널 영상에 대한 요청, 스위칭 영상에 대한 요청, 특정 이벤트에 대한 요청을 수신하고, 저장된 다채널 영상을 사용자 단말(150)에 전송한다. 여기서, 사용자 단말(150)은 복수의 모바일 단말(111 내지 113)을 포함하거나, 다른 사용자 기기일 수 있다. 복수의 모바일 단말(111 내지 113)은 촬영 모듈, 예를 들면 카메라를 포함하고, 다채널 영상을 촬영하기 위해 그룹핑된 모바일 기기를 의미한다. 여기서, 어느 한 모바일 단말, 예를 들면 모바일 단말(111)이 호스트 모바일 단말이 되고, 나머지 단말(112 및 113)이 다채널 영상을 촬영하기 위해 그룹핑된 복수의 모바일 단말일 수 있다. 각각의 모바일 단말(111 내지 113)은 다채널 영상을 촬영하기 위한 애플리케이션이 탑재되어 있으며, 호스트 모바일 단말(111)의 촬영 제어에 따라 동일한 피사체를 촬영하여 그룹관리서버(110)에 전송한다. 그리고 복수의 모바일 단말(111 내지 113)은 그룹관리서버(110)의 제어에 따라 예를 들면 촬영 그룹 관리, 촬영 제어 관리, 촬영 영상 송신을 수행한다.
영상 서버(200)는 영상 처리 장치(130) 및 영상 저장부(140)를 포함할 수 있다.
도 2에 도시된 것처럼, 특정 피사체를 촬영하기 위해 복수의 모바일 단말(1 내지 N)이 배치될 수 있다. 피사체의 주위에 어레이로 배열된 복수의 모바일 단말에서 피사체를 다각도에서 촬영한 복수의 영상을 수신한다. 복수의 모바일 단말 배열 방법은, 예컨대 임의의 모바일 단말을 준으로 N개의 모바일 단말들을 실질적으로 동일한 평면상에 일렬로 배치하는 것일 수 있다. 이 경우, 피사체를 기준으로 일정 거리 이격된 원주상에 N개의 카메라들을 순차적으로 배치되거나, 중앙에 배치된 모바일 단말을 기준으로 양측에 배치된 두 개의 모바일 단말과 피사체 간의 거리를 일치시키고 나머지 카메라는 피사체와의 거리를 상이하게 할 수도 있다. 또한, 피사체는 고정된 피사체일 수도 있고, 움직이는 피사체일 수도 있다. 여기서, 피사체를 중심으로 복수의 모바일 단말이 배치되고, 어느 한 모바일 단말, 즉 호스트 모바일 단말의 촬영 제어, 피사체와 호스트 모바일 단말 사이의 기울기 및 각도에 따라 다른 모바일 단말들의 배치가 달라질 수 있다. 이러한 촬영 정보는 호스트 모바일 단말의 제어에 따라 이루어지거나, 각각의 모바일 단말과 그룹관리서버(110)의 제어에 따라 이루어질 수 있다.
도 3은 도 1에 도시된 모바일 단말(100)의 개략 도이고, 도 4는 도 1에 도시된 모바일 단말(100)을 포함한 시스템 도이다.
도 3을 참조하면, 모바일 단말(100)은 다양한 목적의 디바이스들로 구현될 수 있다. 예를 들어, 모바일 단말(100)은, 상술한 바와 같이, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿(tablet) 디바이스 등으로 구현될 수 있으나, 이에 제한되지는 않는다.
도 3을 참조하면, 모바일 단말(100)의 전면(101)에는 디스플레이(110)가 설치될 수 있다. 디스플레이(110)의 상측으로는 상대방의 음성을 수신하기 위한 스피커(120)가 설치될 수 있다. 디스플레이(110)의 하측으로는 상대방에게 모바일 단말(100) 사용자의 음성을 송신하기 위한 마이크(130)가 설치될 수 있다.
일 실시 예에 따르면, 스피커(120)가 설치되는 주변에는 모바일 단말(100)의 다양한 기능을 수행하기 위한 부품(component)들이 배치될 수 있다. 부품들은 적어도 하나의 센서 모듈(140)을 포함할 수 있다. 이러한 센서 모듈(140)은, 예컨대, 조도 센서(예: 광센서), 근접 센서, 적외선 센서, 초음파 센서 중 적어도 하나를 포함할 수 있다. 부품은 카메라(150)를 포함할 수도 있다. 한 실시 예에 따르면, 부품은 모바일 단말(100)의 상태 정보를 사용자에게 인지시켜주기 위한 LED 인디케이터(160)를 포함할 수도 있다.
모바일 단말(100)은 카메라(150)를 이용하여 피사체를 촬영할 수 있다. 도 3의 오른쪽은 모바일 단말(100)의 측면도이다. 도 3을 참조하면, 모바일 단말(100)은 또 다른 카메라(150')를 포함할 수 있다. 그러나 이에 한정되지 않고, 더 많은 카메라를 포함할 수 있다. 모바일 단말(100)의 카메라들(150, 150')은 다양한 화각을 형성할 수 있다.
도 4는 본 개시의 다양한 실시 예에 따른 네트워크 환경(200)내의 모바일 단말(201)에 대한 도면이다. 모바일 단말(101)은 도 1의 모바일 단말(100)을 포함할 수 있다.
도 4를 참조하면, 모바일 단말(201)는 버스(210), 프로세서(220), 메모리(230), 입출력 인터페이스(250), 디스플레이(260), 및 통신 인터페이스(270)를 포함할 수 있다. 어떤 실시예에서는, 모바일 단말(201)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다.
버스(210)는, 예를 들면, 구성요소들(210-270)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.
프로세서(220)는, 중앙처리장치(central processing unit(CPU)), 애플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(220)는, 예를 들면, 모바일 단말(201)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(230)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(230)는, 예를 들면, 모바일 단말(201)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시예에 따르면, 메모리(230)는 소프트웨어 및/또는 프로그램(240)을 저장할 수 있다. 프로그램(240)은, 예를 들면, 커널(241), 미들웨어(243), 애플리케이션 프로그래밍 인터페이스(application programming interface(API))(245), 및/또는 애플리케이션 프로그램(또는 "애플리케이션")(147) 등을 포함할 수 있다. 커널(241), 미들웨어(243), 또는 API(245)의 적어도 일부는, 운영 시스템(operating system(OS))으로 지칭될 수 있다.
커널(241)은, 예를 들면, 다른 프로그램들(예: 미들웨어(243), API(245), 또는 애플리케이션 프로그램(247))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(210), 프로세서(220), 또는 메모리(230) 등)을 제어 또는 관리할 수 있다. 또한, 커널(241)은 미들웨어(243), API(245), 또는 애플리케이션 프로그램(247)에서 모바일 단말(201)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(243)는, 예를 들면, API(245) 또는 애플리케이션 프로그램(247)이 커널(241)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다.
또한, 미들웨어(243)는 애플리케이션 프로그램(247)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(243)는 애플리케이션 프로그램(247) 중 적어도 하나에 모바일 단말(201)의 시스템 리소스(예: 버스(210), 프로세서(220), 또는 메모리(230) 등)를 사용할 수 있는 우선 순위를 부여할 수 있다. 예컨대, 미들웨어(243)는 상기 적어도 하나에 부여된 우선 순위에 따라 상기 하나 이상의 작업 요청들을 처리함으로써, 상기 하나 이상의 작업 요청들에 대한 스케쥴링 또는 로드 밸런싱 등을 수행할 수 있다.
API(245)는, 예를 들면, 애플리케이션(247)이 커널(241) 또는 미들웨어(243)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
입출력 인터페이스(250)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 모바일 단말(201)의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한, 입출력 인터페이스(250)는 모바일 단말(201)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(260)는, 예를 들면, 액정 디스플레이(liquid crystal display(LCD)), 발광 다이오드(light-emitting diode(LED)) 디스플레이, 유기 발광 다이오드(organic light-emitting diode(OLED)) 디스플레이, 또는 마이크로 전자기계 시스템(microelectromechanical systems(MEMS)) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(260)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)을 표시할 수 있다. 디스플레이(260)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다.
통신 인터페이스(270)는, 예를 들면, 모바일 단말(201)과 외부 장치(예: 제1 외부 모바일 단말(202), 제2 외부 모바일 단말(204), 또는 서버(206)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(270)는 무선 통신 또는 유선 통신을 통해서 네트워크(262)에 연결되어 외부 장치(예: 제2 외부 모바일 단말(204) 또는 서버(206))와 통신할 수 있다.
무선 통신은, 예를 들면, 셀룰러 통신 프로토콜로서, 예를 들면, LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(global system for mobile communications) 등 중 적어도 하나를 사용할 수 있다. 또한, 무선 통신은, 예를 들면, 근거리 통신(264)을 포함할 수 있다. 근거리 통신(264)은, 예를 들면, WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), 또는 GNSS(global navigation satellite system) 등 중 적어도 하나를 포함할 수 있다. GNSS는 사용 지역 또는 대역폭 등에 따라, 예를 들면, GPS(global positioning system), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 “Beidou”) 또는 Galileo, the European global satellite-based navigation system 중 적어도 하나를 포함할 수 있다. 이하, 본 문서에서는, “GPS”는 “GNSS”와 혼용되어 사용(interchangeably used)될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(262)는 통신 네트워크(telecommunications network), 예를 들면, 컴퓨터 네트워크(computer network)(예: LAN(local area network) 또는 WAN(wide area network)), 인터넷, 또는 전화 망(telephone network) 중 적어도 하나를 포함할 수 있다.
제1 및 제2 외부 모바일 단말(202, 204) 각각은 모바일 단말(201)과 동일한 또는 다른 종류의 장치일 수 있다. 한 실시 예에 따르면, 서버(206)는 하나 또는 그 이상의 서버들의 그룹을 포함할 수 있다. 다양한 실시 예에 따르면, 모바일 단말(201)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 모바일 단말(예: 모바일 단말(202,204), 또는 서버(206)에서 실행될 수 있다. 한 실시 예에 따르면, 모바일 단말(201)이 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 모바일 단말(201)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 모바일 단말(202, 204), 또는 서버(206))에게 요청할 수 있다. 다른 모바일 단말(예: 모바일 단말(202, 204), 또는 서버(206))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 모바일 단말(201)로 전달할 수 있다. 모바일 단말(201)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
일 실시 예에 따르면, 모바일 단말(101)과 제1 및 제2 외부 모바일 단말(202, 204)는 각 모바일 단말에 있는 카메라를 이용하여 촬영된 이미지들을 상술한 통신 방법들을 사용하여 하나의 모바일 단말로 전송하고 하나의 이미지로 합성할 수도 있다. 예를 들어, 모바일 단말(101)이 촬영된 영상과, 다른 위치에서 제1 및 제2 외부 모바일 단말(202, 204)이 촬영한 각각의 촬영된 영상을 통해 다채널 영상을 생성할 수도 있다. 또한, 모바일 단말(101)과 제1 및 제2 외부 모바일 단말(202, 204)에서 촬영된 영상들을 서버(206), 즉 도 1에 도시된 그룹관리서버(110)를 통해 전송하여, 영상 서버(200)에서 다채널 영상을 생성할 수도 있다.
도 5 내지 7은 모바일 단말(100)을 이용하여 다채널 영상을 생성하기 위한 방법을 설명하기 위한 예시 도들이다.
도 5를 참조하면, 모바일 단말(100, 이하 호스트 모바일 단말이라 한다.)은 증강현실을 이용하여 다채널 영상을 생성하는 데 참여할 모바일 단말 또는 모바일 단말의 사용자(501 내지 503)를 그룹핑한다. 여기서, 호스트 모바일 단말(100)은 디스플레이 화면에 증강 현실을 통해 표시된 주변의 모바일 단말들(501 내지 503)을 클릭해서 그룹핑을 수행한다. 구체적으로, 모바일 단말의 IP 어드레스를 이용해서 멤버로서 클릭하면, 표시된 사용자의 단말(501 내지 503)에 멤버 조인 요청 메시지를 전송하고, 다른 모바일 단말들(501 내지 503)이 응답메시지를 전송함으로써 그룹핑이 수행된다. 여기서, 호스트 모바일 단말에서 촬영한 복수의 모바일 단말의 사용자 영상에 증강현실로 증강된 영상을 합성한 증강 현실 영상을 디스플레이 화면에 표시할 수 있다. 여기서, 다채널 영상의 촬영할 다른 모바일 단말들이 3개인 것으로 설명하였지만, 이에 한정되지 않고, 더 많은 수의 모바일 단말이 참여할 수 있음은 물론이다.
다른 실시 예에서, 모바일 단말(100)은 QR코드를 이용하여 그룹핑을 수행할 수 있다. 모바일 단말(100)에서 생성된 QR 코드를 통해서 다른 모바일 단말(501 내지 503)이 다채널 영상을 생성하는 데 참여할 수 있다.
도 6을 참조하면, 복수의 모바일 단말을 이용하여 동일 시점의 영상 촬영을 위해 NTP(Network Time Protocol, 이하 NTP라 한다) 프로토콜 기반의 절대 시간으로 모든 모바일 단말의 시간을 동기화한다. NTP는 네트워크로 구성된 환경에서 구동되는 시스템들의 시간을 동기화하기 위한 규약을 의미한다. 호스트 모바일 단말(100)은 NTP 서버가 되어 촬영에 참여한 다른 모바일 단말(601 내지 603)에 호스트 단말의 시간으로 동기화한다. 도 6에 도시된 것처럼, 동기화 아이콘(610)을 선택하면, 호스트 모바일 단말(100)은 그룹핑된 다른 모바일 단말(601 내지 603)에 촬영 동기화 메시지를 전송하고, 다른 모바일 단말(601)은 NTP 프로토콜에 따라 절대시간으로 동기화를 각각 수행한다.
다른 실시 예에서, 호스트 모바일 단말(100)이 다른 모바일 단말(601 내지 603)로부터 상대시간을 수집하고, 호스트 모바일 단말(100)의 기준 시간으로 촬영시간을 동기화할 수도 있다. 호스트 모바일 단말(100)은 상대시간을 수집하여, 자신의 시간에 대응하는 값을 계산하여, 동기화할 시간을 계산할 수도 있다.
도 7을 참조하면, 촬영을 주도하는 호스트 모바일 단말(100)에서 피사체를 중심으로 일직선상의 최상 지점, 중간 지점, 최하 지점을 설정하여 피사체에 대한 카메라의 기울기 및 앵글 정보를 취득한다. 취득한 피사체와 카메라의 정보를 모든 모바일 단말(701 내지 703)에 전달하여 호스트 모바일 단말(100)이 취득한 카메라 기울기 및 앵글 정보에 맞게 다른 모바일 단말(701 내지 703)의 사용자로 하여금 조정하게 유도한다. 이를 위해 모든 모바일 단말들은 도 1에 도시된 그룹관리서버(110)와 연동하여 피사체와 카메라 간 메타데이터 정보를 교환하여 조정에 대한 가이드를 제공받을 수 있다.
도 7에 도시된 것처럼, 카메라 포지셔닝 후 호스트 모바일 단말(100)에서, 촬영 아이콘(710)이 선택되면, 촬영 절대 시간을 촬영에 참여한 모든 모바일 단말(701 내지 703)에 전송하여 각각의 단말 내 프로그램의 타이머를 통해 동시 촬영을 시작한다. 여기서, 타이머 애플리케이션을 통해 모든 모바일 단말에 촬영이 수행되는 것으로 설명하였지만, 이에 한정되지 않고, 다양한 동기화 촬영 방법이 수행될 수 있음은 물론이다.
도 8은 도 1에 도시된 그룹관리서버(110)의 개략 도이다.
그룹관리서버(110)는 복수의 모바일 단말을 동기화하는 동기화 신호를 통해 복수의 모바일 단말을 제어할 수 있다. 그룹관리서버(110)는 복수의 모바일 단말로부터 촬영된 영상들을 임시 저장하고, 코덱 변경을 통해 촬영된 영상의 크기를 줄이고 빠른 전송이 가능하게 한다. 그룹관리서버(110)의 구체적인 구성을 도 8을 참조하여 설명한다.
도 8을 참조하면, 그룹관리서버(110)는 그룹관리부(111), 촬영관리부(112) 및 전송부(113)를 포함할 수 있다.
그룹관리부(111)는 다채널 영상 생성에 참여한 복수의 모바일 단말들의 그룹화하여 각각의 모바일 단말을 관리할 수 있다.
촬영관리부(112)는 다채널 영상 촬영에 참여한 복수의 모바일 단말들과 연동하여 피사체와 카메라 간 메타데이터 정보를 교환하여 조정에 대한 가이드를 제공할 수 있다. 또한, 복수의 모바일 단말로부터 생성된 영상들을 통신망(120)을 통해 빠른 전송이 용이하도록 코덱 변경을 통해 영상들을 크기를 줄인다. 또한, 촬영 현장에 적합하거나, 유선 또는 무선 전송에 적합한 데이터 전송 방식을 결정할 수도 있다.
전송부(113)는 변환된 영상들을 통신망(120)을 통해 영상 서버(200)에 전송한다.
영상 서버(200)는 그룹관리서버(110)로부터 전송된 다채널 영상들을 시간별, 채널별, 시간 및 채널을 혼합한 적어도 하나의 기준으로 그룹핑하여 저장하고, 사용자 단말(150)의 요청에 따라 저장된 그룹핑된 영상을 통신망을 통해 전송한다. 영상 서버(200)의 구체적인 구성은 도 9 내지 12를 참조하여 설명한다.
도 9는 도 1에 도시된 영상 서버(200)의 개략 도이다.
도 9를 참조하면, 영상 서버(200)는 영상 처리 장치(130) 및 영상 저장부(140)를 포함한다. 영상 처리 장치(130)는 영상 처리부(131), 영상 변환부(132) 및 전송부(133)를 포함한다.
영상 처리부(131)는 그룹관리서버(110)로부터 전송된 다채널 영상들, 즉 복수의 모바일 단말에서 촬영된 영상에 대해 영상 보정을 수행한다. 예를 들면 복수의 모바일 단말에서 촬영된 영상들이 초점이 맞지 않을 수 있으므로, 카메라 간 초점이 동일하도록 영상 처리를 수행한다. 영상 처리부(131)는 전송된 다채널 영상들을 보정한다. N개의 카메라 배열의 기하학적 오차는 다채널 영상을 재생하는 과정에서 시각적인 흔들림으로 나타나므로, 이를 제거하기 위하여 각 영상의 크기 또는 사이즈, 기울기 또는 중심 위치 중 적어도 하나를 보정할 수 있다.
영상 변환부(132)는 다채널 영상들을 시간별, 채널별, 시간 및 채널을 혼합한 적어도 하나의 기준으로 그룹핑한다. 영상 변환부(132)는 여러 공간을 하나로 묶어 그룹핑한다. 그룹핑하는 방법을 다양한 기준에 따라 수행될 수 있다. 실시 예에 따른 전송 시스템은 사용자 단말(150)에 효과적인 다채널 영상 내지 스위칭 영상을 전송하기 위해, 모든 영상 데이터를 전송하여 데이터 낭비를 주지 않고, 그룹핑된 영상들을 전송함으로써 사용자에게 필요한 데이터만을 전송할 수 있게 한다. 영상 변환부(132)는 t 시간의 이벤트를 중심으로 ±y(y는 자연수임) 시간별 채널 영상을 묶어 그룹핑할 수도 있다. 예를 들면 채널 1에서, t3에서 이벤트가 발생한 경우일 수 있다. 여기서 이벤트는 미리 정해진 경우, 예를 들면 야구 경기에서 홈런 장면, 또는 아웃 장면이거나, 사용자의 요청에 의한 이벤트, 사용자가 원하는 경우일 수 있다.
다양한 실시 예들에 따라 다채널 영상을 그룹핑은 다양하게 수행할 수 있다. 그룹핑의 기본 방식으로 시간별로 채널 영상들을 하나로 묶는 방식이다. t1에 촬영된 채널 1 내지 채널 5의 영상들을 하나로 그룹핑하여 그룹핑된 영상을 생성한다. 유사하게 t2에 촬영된 채널 1 내지 채널 5의 영상들을 하나로 그룹핑하여 그룹핑된 영상을 생성한다. 이와 같은 방식으로 시간별로 그룹핑할 수 있으며, 사용자 단말(150)은 동일한 시간에 피사체를 둘러싼 모든 방향에서 촬영된 영상들을 확인할 수 있다. 시간별로 채널 영상들을 묶는 방식을 설명하였지만, 채널별로 전송하는 것도 가능함은 물론이다. 모바일 단말의 순서대로, 즉 제1 내지 제5 채널의 순서로 그룹핑할 수 있지만, 반대 순서로, 즉 제5 채널 내지 제1 채널의 순서로 그룹핑할 수도 있다. 또한, 시간별 및 채널별 조합에 의해 그룹핑하는 것도 가능하다. 내림차순으로, t1에 촬영된 제1 채널 영상과, t2에 촬영된 제2 채널 영상, t3에 촬영된 제3 채널 영상, t4에 촬영된 제4 채널 영상과, t5에 촬영된 제5 채널 영상을 하나로 그룹핑하여 그룹핑된 영상을 생성한다. 유사하게, t2에 촬영된 제1 채널 영상, t3에 촬영된 제2 채널 영상, t4에 촬영된 제3 채널 영상, t5에서 촬영된 제4 채널 영상, t6에서 촬영된 제5 채널 영상을 하나로 그룹핑하여 그룹핑된 영상을 생성할 수도 있다. 오름차순으로, t1에 촬영된 제5 채널 영상과, t2에 촬영된 제4 채널 영상, t3에 촬영된 제3 채널 영상, t4에 촬영된 제2 채널 영상과, t5에 촬영된 제1 채널 영상을 하나로 그룹핑하여 그룹핑된 영상을 생성할 수도 있다. 시간별 및 채널별을 혼합한 영상들을 그룹핑하는 것을 설명하였지만, 이에 한정되지 않고, 다양한 방식으로 그룹핑이 가능함은 물론이다.
다시 도 9를 참조하면, 영상 변환부(132)에서 변환된 그룹핑된 영상들을 영상 저장부(140)에 저장한다. 사용자 단말(150)의 요청이 있는 경우, 영상 처리 장치(130)가 영상 저장부(140)에 저장된 영상들을 추출하여, 전송부(133)를 통해 사용자 단말(150)에 전송한다.
도 10은 도 1에 도시된 영상 서버(200)의 다른 개략 도이다.
도 10을 참조하면, 영상 처리 장치(130)는 영상처리부(131), 영상변환부(132), 전송부(133)를 포함하며, 전송부(133)는 메시지 핸들러(133-1), 스트리머(133-2), 채널 매니저(133-3)를 더 포함할 수 있다. 전송부(133)는 스트리밍 장치일 수 있으며, 영상서버(130) 내에 포함되어 있는 것으로 설명하지만, 영상서버(130)와 분리되어 별도의 장치로 구현할 수 있음은 물론이다. 도 9와 동일한 부분에 대한 설명은 생략하고, 차이점을 위주로 설명한다.
전송부(133)는 처리된 영상 또는 저장된 영상을 실시간 전송한다. 예를 들면 실시간 스트리밍을 위한 장치일 수 있다. 메시지 핸들러(133-1)는 사용자 단말과 세션 관리, 프로토콜 관리를 수행한다. 스트리머(133-2)는 영상을 사용자 단말로 전송하며, 사용자 단말로 전송할 영상들의 집합이다. 채널 매니저(133-3)는 사용자 단말의 신호를 받아 영상을 GOP단위로 스케쥴링한 후 스트리머(133-2)에 전달한다.
도 11에 도시된 바와 같이, 사용자 단말로부터 특별한 요청, 예를 들면 채널 변경 요청, 채널 이동 요청이 없는 경우, 채널 매니저(133-3)는 스트리머(133-2)에 각각의 GOP단위로 스케쥴링된 영상을 전달한다. 도 11에 도시된 바와 같이, 채널 5, 즉 카메라 5에서 촬영된 영상들, GOP1 내지 GOPN의 순서로 스케쥴링하여 스트리머(133-2)에 전달한다. 스트리머(133-2)는 채널 매니저(133-3)의 스케쥴링에 따라 GOP 영상들을 모아서 사용자 단말에 전송한다.
도 12에 도시된 바와 같이, 사용자 단말로부터 채널 이동 요청이 수신된 경우, 채널 매니저(133-3)는 채널 5, 즉 카메라 5에서 촬영된 영상 중 GOP1 내지 3과, 채널 4의 GOP4, 채널 3의 GOP5, 채널 2의 GOP6, 채널 7의 GOP7의 순서로 스케쥴링하여 스트리머(133-2)에 전달한다. 스트리머(133-2)는 채널 매니저(133-3)의 스케쥴링에 따라 GOP 영상들을 모아서 사용자 단말에 전송한다.
실시 예에 따른 영상 서버(200)는, 이벤트 발생에 따라 다채널 영상을 디코딩 및 렌더링하여 사용자 단말(150)에 전송하거나, 영상 서버(200)는 다채널 영상 또는 그룹핑된 영상을 사용자 단말(150)에 전송하고, 사용자 단말(150)에서 전송된 다채널 또는 그룹핑된 영상을 재생하는 중에, 사용자 요청에 따른 이벤트 발생에 따라 압축되어 전송된 영상을 디코딩 및 렌더링할 수 있다. 이 경우, 실시간 영상 재생을 위해 빠른 영상 채널 변환이 필요하므로, 다음과 같이 디코딩 및 렌더링을 수행한다.
예를 들면 카메라 1 내지 10의 다채널 영상이 존재하는 경우, 카메라 2에 해당하는 영상에서 이벤트가 우측으로 발생한 경우이다. 예를 들면 사용자 단말(150)에서, 사용자가 카메라 2에서 촬영된 영상부터 카메라 10에서 촬영된 영상을 재생하고자 하는 경우일 수 있다. 이 경우, 압축된 다채널 영상에 대해, 디코딩은 카메라 1부터 카메라 2로 수행하여 임시 메모리 또는 버퍼에 디코딩된 영상을 저장하고, 이후 카메라 2부터 렌더링을 시작한다.
또한, 카메라 1 내지 10의 다채널 영상이 존재하는 경우, 카메라 7에 해당하는 영상에서 이벤트가 좌측으로 발생한 경우이다. 예를 들면 사용자 단말(150)에서, 사용자가 카메라 7에서 촬영된 영상부터 카메라 1에서 촬영된 영상을 재생하고자 하는 경우일 수 있다. 이 경우, 압축된 다채널 영상에 대해, 디코딩은 카메라 1부터 카메라 7로 수행하여 임시 메모리 또는 버퍼에 디코딩된 영상을 저장하고, 이후 카메라 7부터 카메라 1로 렌더링을 시작한다.
다시 도 1을 참조하면, 사용자 단말(150)에서 영상 서버(200)로의 연결 요청에 따라 영상 서버(200)에서 요청을 받아들이고, 세션을 할당한다. 사용자 단말(150)에서 인증 요청에 따라 디바이스 ID를 할당하고, 인증 요청에 응답하면, 사용자 단말(150)에서 인증 또는 디바이스 ID 프로토콜 세션이 개시된다.
사용자 단말(150)에서 스트리밍 세션을 위해 연결 요청을 하면, 영상 서버(200)에서 요청을 받아들이고, 스트림을 할당한다. 사용자 단말(150)에서 인증 요청을 하면 영상 서버(200)에서 인증 요청에 응답한다. 사용자 단말(150)에서 인증 또는 디바이스 ID를 이용하여 스트리밍 세션이 개시된다.
사용자 단말(150)에서, 프로토콜 세션을 Alive 상태로 유지하기 위해, 소정의 시간, 예를 들면 1초에 한 번씩 Alive 유지 요청을 영상 서버(200)에 전송한다. 영상 서버(200)는 이러한 요청에 대해 응답하고, 세션을 관리한다. 따라서, 영상 서버(200)와 사용자 단말(150)간에 접속 상태 또는 이벤트 상태가 유지된다.
도면에 도시되지는 않았지만, 사용자 단말(150)에서 재생 요청을 전송하면, 영상 서버(200)에서 재생 요청에 응답하면서, 재생 영상을 사용자 단말(150)에 전송한다. 사용자 단말(150)에서 정지 요청을 전송하면, 정지 요청에 응답하면서 재생 영상을 정지한다.
도 13은 또 다른 실시 예에 따른 모바일 단말을 이용한 다채널 영상 생성 방법을 설명하기 위한 흐름 도이다.
도 13을 참조하면, 단계 1300에서, 호스트 모바일 단말에서 피사체를 촬영할 복수의 모바일 단말 각각의 주소를 이용하여 상기 호스트 모바일 단말의 디스플레이 화면에 표시된 복수의 모바일 단말에 상응하는 아이콘들이 선택됨으로써, 피사체를 촬영할 복수의 모바일 단말을 그룹화한다.
단계 1302에서, 호스트 모바일 단말의 디스플레이 화면에서 표시된 그룹 동기화에 상응하는 동기화 아이콘이 선택됨으로써, 그룹화된 복수의 모바일 단말에 절대시간으로 동기화하는 동기화 메시지를 전송한다. 여기서, 시간 동기화를 위해 NTP 프로토콜을 이용할 수 있다.
단계 1304에서, 호스트 모바일 단말의 디스플레이 화면에 피사체를 촬영하기 위한 촬영 가이드 정보가 설정되고, 설정된 촬영 가이드 정보로부터 추출된 피사체에 대한 정보를 그룹화된 복수의 모바일 단말에 전송한다.
단계 1306에서, 호스트 모바일 단말의 디스플레이 화면에 촬영 버튼에 상응하는 아이콘이 선택됨으로써, 모든 모바일 단말에서 피사체를 촬영 개시하는 절대 시간 정보를 포함한 촬영 메시지를 그룹화된 복수의 모바일 단말에 전송한다.
단계 1308에서, 호스트 모바일 단말에서 절대 시간 정보에 따라 피사체를 촬영하고, 촬영된 영상을 외부 서버에 전송한다. 여기서, 다채널 영상 촬영에 참여한 모든 모바일 단말이 촬영한 영상들을 외부 서버, 즉, 도 1에 도시된 그룹관리서버 및 영상 서버에 전송하고, 영상 서버에서 다채널 영상을 생성하는 것으로 설명하였지만, 이에 한정되지 않고, 호스트 모바일 단말에서 다른 모바일 단말에서 촬영한 영상들을 전송받아, 호스트 모바일 단말에서 다채널 영상을 생성할 수도 있음은 물론이다.
일 실시 예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 호스트 모바일 단말에서 피사체를 촬영할 복수의 모바일 단말 각각의 주소를 이용하여 상기 호스트 모바일 단말의 디스플레이 화면에 표시된 상기 복수의 모바일 단말에 상응하는 아이콘들이 선택됨으로써, 상기 피사체를 촬영할 복수의 모바일 단말을 그룹화 하는 단계;
    상기 호스트 모바일 단말의 디스플레이 화면에서 표시된 그룹 동기화에 상응하는 동기화 아이콘이 선택됨으로써, 상기 그룹화된 복수의 모바일 단말에 시간을 동기화하는 동기화 메시지를 전송하는 단계;
    상기 호스트 모바일 단말의 디스플레이 화면에 상기 피사체를 촬영하기 위한 촬영 가이드 정보가 설정되고, 상기 설정된 촬영 가이드 정보로부터 추출된 촬영 정보를 상기 그룹화된 복수의 모바일 단말에 전송하는 단계;
    상기 호스트 모바일 단말의 디스플레이 화면에 촬영 버튼에 상응하는 아이콘이 선택됨으로써, 모든 모바일 단말에서 상기 피사체를 촬영 개시하는 시간 정보를 포함한 촬영 메시지를 상기 그룹화된 복수의 모바일 단말에 전송하는 단계; 및
    상기 호스트 모바일 단말에서 상기 시간 정보에 따라 상기 피사체를 촬영하고, 상기 촬영된 영상을 외부 서버에 전송하는 단계를 포함하는 모바일 단말을 이용한 다채널 영상 생성 방법.
  2. 제 1 항에 있어서,
    상기 외부 서버에서,
    상기 호스트 모바일 단말로부터 수신된 촬영 영상과, 상기 그룹화된 복수의 모바일 단말로부터 수신된 촬영 영상들을 기초로 다채널 영상을 생성하는 것을 특징으로 하는 다채널 영상 생성 방법.
  3. 제 1 항에 있어서,
    상기 호스트 모바일 단말에서 촬영한 복수의 모바일 단말의 사용자 영상에 증강현실로 증강된 영상을 합성한 증강 현실 영상을 상기 디스플레이 화면에 표시하는 것을 특징으로 하는 모바일 단말을 이용한 다채널 영상 생성 방법.
  4. 제 1 항에 있어서,
    상기 동기화 메시지는 NTP(Network Time Protocol)에 따라 생성되는 것을 특징으로 하는 모바일 단말을 이용한 다채널 영상 생성 방법.
  5. 제 1 항에 있어서,
    상기 촬영 가이드 정보는,
    상기 호스트 모바일 단말에서 상기 피사체를 중심으로 일직선상의 최상 지점, 중간 지점 및 최하 지점 중 적어도 하나를 표시하는 것이고,
    상기 추출된 촬영 정보는,
    상기 촬영 가이드 정보에 따라 상기 피사체에 대한 호스트 모바일 단말의 기울기 정보 및 각도 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 모바일 단말을 이용한 다채널 영상 생성 방법.
  6. 제 1 항에 있어서,
    상기 호스트 모바일 단말의 기울기 정보 및 각도 정보와, 상기 그룹화된 복수의 모바일 단말의 기울기 정보 및 각도 정보는 상기 외부 서버에서 전송되어, 상기 외부 서버에서 모든 모바일 단말에 상기 촬영 가이드 정보 및 상기 촬영 정보를 포함하는 메타데이터를 추가로 전송하는 것을 특징으로 하는 모바일 단말을 이용한 다채널 영상 생성 방법.
  7. 제 1 항에 있어서,
    모든 모바일 단말은 상기 절대 시간 정보에 따라 각각의 타이머 프로그램에 따라 상기 피사체를 자동 촬영하는 것을 특징으로 하는 모바일 단말을 이용한 다채널 영상 생성 방법.
  8. 호스트 모바일 단말에서 피사체를 촬영할 복수의 모바일 단말 각각의 주소를 이용하여 상기 호스트 모바일 단말의 디스플레이 화면에 표시된 상기 복수의 모바일 단말에 상응하는 아이콘들이 선택됨으로써, 상기 피사체를 촬영할 복수의 모바일 단말을 그룹화 하는 단계;
    상기 호스트 모바일 단말의 디스플레이 화면에서 표시된 그룹 동기화에 상응하는 동기화 아이콘이 선택됨으로써, 상기 그룹화된 복수의 모바일 단말에 시간을 동기화하는 동기화 메시지를 전송하는 단계;
    상기 호스트 모바일 단말의 디스플레이 화면에 상기 피사체를 촬영하기 위한 촬영 가이드 정보가 설정되고, 상기 설정된 촬영 가이드 정보로부터 추출된 촬영 정보를 상기 그룹화된 복수의 모바일 단말에 전송하는 단계;
    상기 호스트 모바일 단말의 디스플레이 화면에 촬영 버튼에 상응하는 아이콘이 선택됨으로써, 모든 모바일 단말에서 상기 피사체를 촬영 개시하는 시간 정보를 포함한 촬영 메시지를 상기 그룹화된 복수의 모바일 단말에 전송하는 단계;
    상기 호스트 모바일 단말에서 상기 시간 정보에 따라 상기 피사체를 촬영하여, 촬영 영상을 생성하는 단계;
    상기 그룹화된 복수의 모바일 단말로부터 상기 피사체를 촬영한 복수의 촬영 영상들을 수신하는 단계; 및
    상기 생성된 촬영 영상 및 상기 수신된 복수의 촬영 영상들을 이용하여 다채널 영상을 생성하는 단계를 포함하는 모바일 단말을 이용한 다채널 영상 생성 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 따른 방법을 실행시키기 위한 프로그램을 기록한 기록매체.
  10. 디스플레이 화면;
    촬영 모듈; 및
    프로세서를 포함하고,
    상기 프로세서는,
    피사체를 촬영할 복수의 모바일 단말 각각의 주소를 이용하여 상기 디스플레이 화면에 표시된 상기 복수의 모바일 단말에 상응하는 아이콘들이 선택됨으로써, 상기 피사체를 촬영할 복수의 모바일 단말을 그룹화 하고,
    상기 디스플레이 화면에서 표시된 그룹 동기화에 상응하는 동기화 아이콘이 선택됨으로써, 상기 그룹화된 복수의 모바일 단말에 시간을 동기화하는 동기화 메시지를 전송하고,
    상기 디스플레이 화면에 상기 피사체를 촬영하기 위한 촬영 가이드 정보가 설정되고, 상기 설정된 촬영 가이드 정보로부터 추출된 촬영 정보를 상기 그룹화된 복수의 모바일 단말에 전송하고,
    상기 디스플레이 화면에 촬영 버튼에 상응하는 아이콘이 선택됨으로써, 모든 모바일 단말에서 피사체를 촬영 개시하는 시간 정보를 포함한 촬영 메시지를 상기 그룹화된 복수의 모바일 단말에 전송하고,
    상기 시간 정보에 따라 상기 촬영 모듈을 제어하여 상기 피사체를 촬영하고, 상기 촬영된 영상을 외부 서버에 전송하는 모바일 단말.
PCT/KR2018/016750 2018-12-26 2018-12-27 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치 WO2020138541A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0169899 2018-12-26
KR1020180169899A KR102149004B1 (ko) 2018-12-26 2018-12-26 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2020138541A1 true WO2020138541A1 (ko) 2020-07-02

Family

ID=71127933

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/016750 WO2020138541A1 (ko) 2018-12-26 2018-12-27 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102149004B1 (ko)
WO (1) WO2020138541A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114900710A (zh) * 2022-05-10 2022-08-12 北京奇艺世纪科技有限公司 多设备同步方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110072438A (ko) * 2009-12-22 2011-06-29 주식회사 케이티 증강현실을 이용한 위치기반 모바일 커뮤니케이션 서비스 제공 시스템
US20120229595A1 (en) * 2011-03-11 2012-09-13 Miller Michael L Synthesized spatial panoramic multi-view imaging
KR20170082070A (ko) * 2016-01-05 2017-07-13 한국전자통신연구원 그룹 촬영 방법 및 이를 위한 장치
KR20170088623A (ko) * 2016-01-25 2017-08-02 한국기술교육대학교 산학협력단 복수의 모바일 단말들을 이용한 다시점 영상 생성 방법
JP2017152999A (ja) * 2016-02-26 2017-08-31 日本放送協会 多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140056562A (ko) * 2012-10-29 2014-05-12 홍지명 복수의 모바일 단말을 이용한 영상 생성 방법 및 시스템 그 기록매체, 모바일 단말
KR102063895B1 (ko) * 2015-04-20 2020-01-08 삼성전자주식회사 서버, 사용자 단말 장치 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110072438A (ko) * 2009-12-22 2011-06-29 주식회사 케이티 증강현실을 이용한 위치기반 모바일 커뮤니케이션 서비스 제공 시스템
US20120229595A1 (en) * 2011-03-11 2012-09-13 Miller Michael L Synthesized spatial panoramic multi-view imaging
KR20170082070A (ko) * 2016-01-05 2017-07-13 한국전자통신연구원 그룹 촬영 방법 및 이를 위한 장치
KR20170088623A (ko) * 2016-01-25 2017-08-02 한국기술교육대학교 산학협력단 복수의 모바일 단말들을 이용한 다시점 영상 생성 방법
JP2017152999A (ja) * 2016-02-26 2017-08-31 日本放送協会 多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114900710A (zh) * 2022-05-10 2022-08-12 北京奇艺世纪科技有限公司 多设备同步方法、装置、电子设备及存储介质
CN114900710B (zh) * 2022-05-10 2023-07-25 北京奇艺世纪科技有限公司 多设备同步方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR102149004B1 (ko) 2020-08-28
KR20200080041A (ko) 2020-07-06

Similar Documents

Publication Publication Date Title
JP2023129649A (ja) 通信管理システム、通信システム、通信管理方法、及びプログラム
CN105306868B (zh) 视频会议系统及方法
KR101326739B1 (ko) 정보처리 시스템 및 정보처리 장치
JP2019530356A (ja) 第１のスクリーンデバイスから第２のスクリーンデバイスへのリバースキャスト
US20150029301A1 (en) Teleconference system and teleconference terminal
CN111970524B (zh) 交互类直播连麦的控制方法、装置、系统、设备及介质
CN106060526A (zh) 一种基于双摄像头的直播方法及装置
WO2017111332A1 (ko) 전자 장치 및 전자 장치의 제어 방법
JP6535431B2 (ja) 会議システム、共有表示装置に対する表示方法および切換装置
WO2022019719A1 (en) Generation and distribution of immersive media content from streams captured via distributed mobile devices
WO2014190655A1 (zh) 应用同步方法、应用服务器及终端
CN114095671A (zh) 云会议直播系统、方法、装置、设备及介质
CN107005681A (zh) 通用镜像接收器
WO2015064854A1 (ko) 멀티앵글영상서비스의 사용자인터페이스 메뉴 제공방법 및 사용자 인터페이스메뉴 제공장치
WO2020138541A1 (ko) 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치
WO2019004783A1 (ko) 다채널 영상을 위한 전송 시스템 및 이의 제어 방법, 다채널 영상 재생 방법 및 장치
KR20110006976A (ko) 전시관용 인터렉티브제어시스템
CN111586453B (zh) 一种屏幕拼接同步方法及系统
CN115174946B (zh) 直播页面的显示方法、装置、设备、存储介质和程序产品
WO2015064855A1 (ko) 멀티앵글영상촬영을 위한 사용자인터페이스 메뉴 제공방법 및 사용자 인터페이스메뉴 제공장치
JP2020057329A (ja) ガイドシステム
CN112004100B (zh) 将多路音视频源集合成单路音视频源的驱动方法
KR20150030889A (ko) 멀티앵글영상서비스 제공 방법 및 시스템
CN114125358A (zh) 云会议字幕显示方法、系统、装置、电子设备和存储介质
US20150264336A1 (en) System And Method For Composite Three Dimensional Photography And Videography

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18944671

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18944671

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 08.11.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18944671

Country of ref document: EP

Kind code of ref document: A1