KR102089557B1 - Apparatus and method for processing image - Google Patents

Apparatus and method for processing image Download PDF

Info

Publication number
KR102089557B1
KR102089557B1 KR1020180030414A KR20180030414A KR102089557B1 KR 102089557 B1 KR102089557 B1 KR 102089557B1 KR 1020180030414 A KR1020180030414 A KR 1020180030414A KR 20180030414 A KR20180030414 A KR 20180030414A KR 102089557 B1 KR102089557 B1 KR 102089557B1
Authority
KR
South Korea
Prior art keywords
video data
unit
video
displayed
screen
Prior art date
Application number
KR1020180030414A
Other languages
Korean (ko)
Other versions
KR20190108839A (en
Inventor
우승원
박현구
Original Assignee
주식회사 삼십구도씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 삼십구도씨 filed Critical 주식회사 삼십구도씨
Priority to KR1020180030414A priority Critical patent/KR102089557B1/en
Priority to US16/003,688 priority patent/US10616724B2/en
Priority to US16/012,237 priority patent/US10447965B2/en
Publication of KR20190108839A publication Critical patent/KR20190108839A/en
Application granted granted Critical
Publication of KR102089557B1 publication Critical patent/KR102089557B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 영상 처리 장치 및 영상 처리 방법에 관한 것이다.
본 발명의 일 실시 예에 따른 영상 처리 장치는, 소정 위치의 피사체에 대한 비디오 데이터 및 오디오 데이터를 포함하는 동영상을 촬영하는 촬영부와, 촬영부의 촬영 개시 시간과 동일하고 촬영부의 촬영 위치와 다른 하나 이상의 위치에서 적어도 하나의 서브 디바이스에 의해 피사체에 대하여 촬영한 비디오 데이터 및 오디오 데이터를 포함하는 동영상 중 오디오 데이터를 제외한 비디오 데이터를 수신하는 수신부와, 촬영부가 촬영한 비디오 데이터 및 수신부가 수신한 적어도 하나의 비디오 데이터를 포함하는 복수의 비디오 데이터를 하나의 화면에 재생 디스플레이 위해, 화면에 복수의 비디오 데이터 중 어느 한 비디오 데이터를 전송하는 제1 서피스 및 화면의 일부에 복수의 비디오 데이터를 전송하는 적어도 하나의 제2 서피스를 생성하는 서피스 생성부와, 계층적인 결합에 의해 제1 서피스 및 적어도 하나의 제2 서피스를 하나의 화면 상에 오버레이하여 재생 디스플레이 하는 디스플레이 제어부와, 제1 서피스에 재생 디스플레이 중인 비디오 데이터 및 촬영부에서 촬영한 동영상에 포함되는 오디오 데이터를 외부로 전송하는 전송부를 포함한다.The present invention relates to an image processing apparatus and an image processing method.
An image processing apparatus according to an embodiment of the present invention includes: a photographing unit for photographing a video including video data and audio data for a subject at a predetermined location, and a photographing unit that is the same as the photographing start time and different from the photographing location of the photographing unit At least one sub-device receiving video data except audio data among videos including video data and audio data photographed by the subject by at least one sub-device, and at least one received by the video data and receiving unit photographed by the photographing unit At least one for transmitting a plurality of video data to a part of the screen and a first surface for transmitting any one of the plurality of video data to a screen for displaying and displaying a plurality of video data including video data on one screen Book that creates the second surface of And a display control unit for reproducing and displaying the first surface and at least one second surface on one screen by hierarchical combination, and the video data being played and displayed on the first surface. It includes a transmission unit for transmitting the audio data included in the video to the outside.

Figure R1020180030414
Figure R1020180030414

Description

영상 처리 장치 및 영상 처리 방법{APPARATUS AND METHOD FOR PROCESSING IMAGE}Image processing apparatus and image processing method {APPARATUS AND METHOD FOR PROCESSING IMAGE}

본 발명은 영상 처리 장치 및 방법에 관한 것이다.The present invention relates to an image processing apparatus and method.

기술의 발달로 인하여 다양한 멀티미디어 기능을 지원하는 모바일 기기의 진화와 성능 향상은 계속되어 진행되고 있으며, 모바일 기기의 성능 향상은 실시간으로 동영상을 압축하여 외부 장치로 전송하는 것을 가능하게 만들었으며, 언제 어디서나 들고 다니는 모바일 기기의 특성으로 인하여 콘텐츠의 촬영과 전송을 실시간으로 하는 것이 가능하게 되어 다양한 분야에 활용되고 있다. Due to the development of technology, the evolution and performance improvement of mobile devices supporting various multimedia functions continues to progress, and the performance improvement of mobile devices has made it possible to compress videos in real time and transmit them to external devices, anytime, anywhere. Due to the characteristics of the mobile device that it carries, it is possible to shoot and transmit content in real time, and is used in various fields.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.The above-mentioned background art is technical information acquired by the inventor for the derivation of the present invention or acquired in the derivation process of the present invention, and is not necessarily a known technology disclosed to the general public prior to the filing of the present invention.

국내 공개특허공보 제2012-0019552호Domestic Patent Publication No. 2012-0019552

전술한 문제점 및/또는 한계를 해결하기 위해 안출된 것으로, 멀티 디바이스에서 촬영한 비디오 데이터 및 오디오 데이터를 딜레이 없이 실시간으로 모바일 플랫폼에 전송하여 모바일 플랫폼에서 실시간으로 비디오 데이터 및 오디오 데이터를 재생하도록 하는데 일 목적이 있다.In order to solve the above-mentioned problems and / or limitations, the video data and audio data photographed on a multi-device are transmitted to a mobile platform in real time without delay to play video data and audio data in real time on a mobile platform. There is a purpose.

또한 멀티 디바이스 중 서브 디바이스에서 촬영한 비디오 데이터를 딜레이 및 공유기 없이 메인 디바이스로 전송하는데 일 목적이 있다.In addition, one purpose is to transmit video data taken from a sub device among multi devices to a main device without a delay and a sharer.

또한, 메인 디바이스 및 서브 디바이스에서 촬영한 비디오 데이터를 메인 디바이스의 디스플레이 영역에 실시간으로 디스플레이 하는데 일 목적이 있다.Also, it is an object to display video data captured by the main device and the sub device in real time on the display area of the main device.

또한, 메인 디바이스의 카메라를 온 시켜 동영상 촬영을 유지시킴으로써, 통신망에 에러가 발생하여 서브 디바이스로부터 비디오 데이터를 수신하지 못하더라도, 메인 디바이스에서 촬영한 비디오 데이터 및 오디오 데이터를 모바일 플랫폼으로 실시간 중계하여 모바일 플랫폼에서 비디오 데이터 및 오디오 데이터를 실시간으로 재생할 수 있도록 하는데 일 목적이 있다.In addition, by maintaining the video recording by turning on the camera of the main device, even if an error occurs in the communication network and the video data is not received from the sub device, the video data and audio data captured by the main device are relayed in real time to the mobile platform to move the mobile. The purpose is to enable the platform to play video data and audio data in real time.

본 발명의 일 실시 예에 따른 영상 처리 장치는, 소정 위치의 피사체에 대한 비디오 데이터 및 오디오 데이터를 포함하는 동영상을 촬영하는 촬영부; 상기 촬영부의 촬영 개시 시간과 동일하고 상기 촬영부의 촬영 위치와 다른 하나 이상의 위치에서 적어도 하나의 서브 디바이스에 의해 상기 피사체에 대하여 촬영한 비디오 데이터 및 오디오 데이터를 포함하는 동영상 중 상기 오디오 데이터를 제외한 상기 비디오 데이터를 수신하는 수신부; 상기 촬영부가 촬영한 비디오 데이터 및 상기 수신부가 수신한 적어도 하나의 비디오 데이터를 포함하는 복수의 비디오 데이터를 하나의 화면에 재생 디스플레이 위해, 상기 화면에 상기 복수의 비디오 데이터 중 어느 한 상기 비디오 데이터를 전송하는 제1 서피스 및 상기 화면의 일부에 상기 복수의 비디오 데이터를 전송하는 적어도 하나의 제2 서피스를 생성하는 서피스 생성부; 계층적인 결합에 의해 상기 제1 서피스 및 상기 적어도 하나의 제2 서피스를 하나의 화면 상에 오버레이하여 재생 디스플레이 하는 디스플레이 제어부; 및 상기 제1 서피스에 재생 디스플레이 중인 상기 비디오 데이터 및 상기 촬영부에서 촬영한 동영상에 포함되는 상기 오디오 데이터를 외부로 전송하는 전송부;를 포함할 수 있다.An image processing apparatus according to an embodiment of the present invention includes: a photographing unit for photographing a video including video data and audio data for a subject at a predetermined position; The video excluding the audio data among the videos including video data and audio data captured by the at least one sub device at one or more locations that are the same as the recording start time of the photographing unit and different from the photographing location of the photographing unit A receiving unit for receiving data; In order to play and display a plurality of video data including video data captured by the photographing unit and at least one video data received by the receiving unit on one screen, the video data of any one of the plurality of video data is transmitted to the screen A surface generator configured to generate at least one second surface to transmit the plurality of video data to a first surface and a part of the screen; A display control unit overlaying and displaying the first surface and the at least one second surface on one screen by hierarchical combination; And a transmission unit that transmits the video data being reproduced and displayed on the first surface and the audio data included in a video captured by the photographing unit to the outside.

상기 영상 처리 장치는, 상기 적어도 하나의 제2 서피스 중 어느 한 제2 서피스에 대한 화면 전환 이벤트 신호 수신에 대응하여, 상기 제2 서피스를 상기 제1 서피스로 전환처리하고, 전환처리 전 상기 제1 서피스를 상기 제2 서피스로 전환처리하는 서피스 전환부;를 더 포함할 수 있다.The image processing apparatus, in response to receiving a screen change event signal for any one of the at least one second surface, converts the second surface to the first surface and processes the first before the conversion process. It may further include; a surface switching unit for converting the surface to the second surface.

상기 영상 처리 장치는, 상기 촬영부는 상기 동영상의 촬영 상태를 유지할 수 있다.In the image processing apparatus, the photographing unit may maintain a photographing state of the video.

본 발명의 일 실시 예에 따른 영상 처리 방법은, 촬영부에 의해, 소정 위치의 피사체에 대한 비디오 데이터 및 오디오 데이터를 포함하는 동영상을 촬영하는 단계; 수신부에 의해, 상기 촬영의 개시 시간과 동일하고 상기 촬영의 위치와 다른 하나 이상의 위치에서 적어도 하나의 서브 디바이스에 의해 상기 피사체에 대하여 촬영한 비디오 데이터 및 오디오 데이터를 포함하는 동영상 중 상기 오디오 데이터를 제외한 상기 비디오 데이터를 수신하는 단계; 서피스 생성부에 의해, 상기 촬영부가 촬영한 비디오 데이터 및 상기 수신부가 수신한 적어도 하나의 비디오 데이터를 포함하는 복수의 비디오 데이터를 하나의 화면에 재생 디스플레이 위해, 상기 화면에 상기 복수의 비디오 데이터 중 어느 한 상기 비디오 데이터를 전송하는 제1 서피스 및 상기 화면의 일부에 상기 복수의 비디오 데이터를 전송하는 적어도 하나의 제2 서피스를 생성하는 단계; 디스플레이 제어부에 의해, 계층적인 결합에 의해 상기 제1 서피스 및 상기 적어도 하나의 제2 서피스를 하나의 화면 상에 오버레이하여 재생 디스플레이 하는 단계; 및 전송부에 의해, 상기 제1 서피스에 재생 디스플레이 중인 상기 비디오 데이터 및 상기 촬영부에서 촬영한 동영상에 포함되는 상기 오디오 데이터를 외부로 전송하는 단계;를 포함할 수 있다.An image processing method according to an embodiment of the present invention includes: photographing a video including video data and audio data for a subject at a predetermined position by a photographing unit; By the receiving unit, the audio data is excluded among the videos including video data and audio data captured by the at least one sub device at one or more locations that are the same as the start time of the photographing and different from the location of the photographing. Receiving the video data; In order to reproduce and display a plurality of video data including video data captured by the photographing unit and at least one video data received by the receiving unit on a screen by the surface generating unit, any one of the plurality of video data is displayed on the screen. Generating a first surface for transmitting the video data and at least one second surface for transmitting the plurality of video data to a part of the screen; Reproducing and displaying the first surface and the at least one second surface on one screen by hierarchical combining by a display control unit; And transmitting, by the transmitting unit, the video data being displayed on the first surface and the audio data included in a video captured by the photographing unit to the outside.

상기 영상 처리 방법은, 서피스 전환부에 의해, 상기 적어도 하나의 제2 서피스 중 어느 한 제2 서피스에 대한 화면 전환 이벤트 신호 수신에 대응하여, 상기 제2 서피스를 상기 제1 서피스로 전환처리하고, 전환처리 전 상기 제1 서피스를 상기 제2 서피스로 전환처리하는 단계;를 더 포함할 수 있다.The image processing method converts the second surface to the first surface in response to receiving a screen change event signal for any one of the at least one second surface by the surface switching unit, And converting the first surface to the second surface before the conversion process.

상기 영상 처리 방법은, 상기 촬영부에 의한 상기 동영상 촬영 상태를 유지하는 단계;를 더 포함할 수 있다.The image processing method may further include maintaining the video shooting state by the photographing unit.

또한 본 발명의 다른 실시 예에 따른 영상 처리 장치는, 소정의 위치에서 피사체에 대하여 오디오 데이터 및 비디오 데이터를 포함하는 동영상을 촬영하는 촬영부; 상기 촬영부에 의해 촬영된 동영상에 포함되는 비디오 데이터를 제1 디스플레이 영역에 디스플레이 하고, 상기 촬영부의 촬영 개시 시간과 동일하고 상기 촬영부의 촬영 위치와 다른 하나 이상의 위치에서 적어도 하나의 서브 디바이스에 의해 상기 피사체에 대하여 촬영된 오디오 데이터 및 비디오 데이터를 포함하는 동영상 중 상기 오디오 데이터를 제외한 상기 비디오 데이터만을 수신하여 상기 제1 디스플레이 영역과 다른 하나 이상의 제2 디스플레이 영역에 디스플레이 하는 디스플레이 제어부; 어느 한 상기 제2 디스플레이 영역의 선택 수신에 대응하여, 선택 수신한 상기 제2 디스플레이 영역에 디스플레이 중인 상기 비디오 데이터를 상기 제1 디스플레이 영역으로 전환 디스플레이 하는 전환부; 및 상기 제1 디스플레이 영역에 디스플레이 중인 상기 비디오 데이터 및 상기 촬영부에서 촬영한 동영상에 포함되는 상기 오디오 데이터를 외부로 전송하는 전송부;를 포함할 수 있다.In addition, the image processing apparatus according to another embodiment of the present invention, a photographing unit for photographing a video including audio data and video data for a subject at a predetermined position; The video data included in the moving picture taken by the photographing unit is displayed on a first display area, and the at least one sub-device is displayed at one or more positions that are the same as the shooting start time of the photographing unit and different from the photographing position of the photographing unit. A display control unit that receives only the video data excluding the audio data among videos including audio data and video data photographed with respect to a subject and displays the video data in one or more second display areas different from the first display area; A switching unit configured to switch and display the video data being displayed on the second display area, which has been selected and received, in response to selection reception of any one of the second display areas; And a transmitting unit that transmits the video data being displayed on the first display area and the audio data included in a video captured by the shooting unit to the outside.

상기 영상 처리 장치는, 상기 제1 디스플레이 영역에 디스플레이 중인 상기 비디오 데이터 상에 수신한 워터마크를 삽입하는 삽입부;를 더 포함할 수 있다.The image processing apparatus may further include an inserting unit for inserting a received watermark on the video data being displayed on the first display area.

상기 영상 처리 장치는, 상기 제1 디스플레이 영역에 디스플레이된 상기 비디오 데이터와 상기 촬영부에서 촬영한 동영상에 포함되는 오디오 데이터를 인코딩하는 인코딩부;를 더 포함하고, 상기 전송부는, 인코딩한 상기 비디오 데이터 및 인코딩한 상기 오디오 데이터를 외부로 전송할 수 있다.The image processing apparatus may further include an encoding unit that encodes the video data displayed on the first display area and audio data included in a video captured by the photographing unit, and wherein the transmitting unit encodes the video data. And transmitting the encoded audio data to the outside.

상기 영상 처리 장치는, 상기 영상 처리 장치와 다른 하나 이상의 위치에서 상기 피사체에 대하여 오디오 데이터 및 비디오 데이터를 포함하는 동영상을 촬영하는 제1 디바이스 내지 제N 디바이스를 검색하는 검색부; 및 상기 검색부가 검색한 상기 제1 디바이스 내지 상기 제N 디바이스에 상기 영상 처리 장치와 연결 요청 신호를 전송하고, 상기 제1 디바이스 내지 상기 제N 디바이스로부터 연결 승인 신호를 수신하면, 상기 영상 처리 장치와 상기 연결 승인 신호를 발송한 상기 제1 디바이스 내지 상기 제N 디바이스의 연결 개시를 설정하는 설정부;를 더 포함할 수 있다.The image processing apparatus may include: a search unit for searching a first device to a Nth device for capturing a video including audio data and video data for the subject at one or more locations different from the image processing apparatus; And transmitting the connection request signal to the image processing apparatus to the first device to the N-th device searched by the search unit, and receiving a connection approval signal from the first device to the N-th device. It may further include a; setting unit for setting a connection start of the first device to the N-th device that has sent the connection approval signal.

상기 설정부는, 상기 연결 개시 설정이 완료되면, 상기 영상 처리 장치와 상기 연결 승인 신호를 발송한 상기 제1 디바이스 내지 상기 제N 디바이스에 동일한 촬영 개시 신호를 생성할 수 있다.When the connection start setting is completed, the setting unit may generate the same shooting start signal to the first device to the Nth device that has sent the connection approval signal to the image processing apparatus.

또한 본 발명의 다른 실시 예에 따른 영상 처리 방법은, 영상 처리 장치의 영상 처리 방법으로서, 상기 영상 처리 장치가, 소정의 위치에서 피사체에 대하여 제1 오디오 데이터 및 제1 비디오 데이터를 포함하는 동영상을 촬영하는 단계; 상기 영상 처리 장치가, 상기 동영상에 포함되는 비디오 데이터를 제1 디스플레이 영역에 디스플레이 하고, 상기 영상 처리 장치의 촬영 개시 시간과 동일하고 상기 영상 처리 장치의 촬영 위치와 다른 하나 이상의 위치에서 적어도 하나의 서브 디바이스에 의해 상기 피사체에 대하여 촬영된 오디오 데이터 및 비디오 데이터를 포함하는 동영상 중 상기 오디오 데이터를 제외한 상기 비디오 데이터만을 수신하여 상기 제1 디스플레이 영역과 다른 하나 이상의 제2 디스플레이 영역에 디스플레이 하는 단계; 상기 영상 처리 장치가, 어느 한 상기 제2 디스플레이 영역의 선택 수신에 대응하여, 선택 수신한 상기 제2 디스플레이 영역에 디스플레이 중인 상기 비디오 데이터를 상기 제1 디스플레이 영역으로 전환 디스플레이 하는 단계; 및 상기 영상 처리 장치가, 상기 제1 디스플레이 영역에 디스플레이 중인 상기 비디오 데이터 및 상기 영상 처리 장치에서 촬영한 동영상에 포함되는 상기 오디오 데이터를 외부로 전송하는 단계;를 포함할 수 있다.In addition, an image processing method according to another embodiment of the present invention is an image processing method of an image processing apparatus, wherein the image processing apparatus is configured to transmit a video including first audio data and first video data to a subject at a predetermined location. Photographing; The image processing apparatus displays the video data included in the moving picture in a first display area, and at least one sub is provided in at least one location that is the same as the recording start time of the image processing apparatus and is different from a shooting location of the image processing apparatus Receiving only the video data excluding the audio data from a video including audio data and video data photographed for the subject by a device and displaying the video data on one or more second display areas different from the first display area; Displaying, by the image processing apparatus, the video data being displayed on the second display area, which has been selected and received, in the first display area, in response to selection reception of any one of the second display areas; And transmitting, by the image processing apparatus, the video data being displayed on the first display area and the audio data included in a video captured by the image processing apparatus to the outside.

상기 영상 처리 방법은, 상기 영상 처리 장치가, 상기 제1 디스플레이 영역에 디스플레이 중인 상기 비디오 데이터 상에 수신한 워터마크를 삽입하는 단계;를 더 포함할 수 있다.The image processing method may further include inserting a watermark received by the image processing apparatus on the video data being displayed on the first display area.

상기 영상 처리 방법은, 상기 영상 처리 장치가, 상기 제1 디스플레이 영역에 디스플레이된 상기 비디오 데이터와 상기 영상 처리 장치가 촬영한 동영상에 포함되는 상기 오디오 데이터를 인코딩하는 단계;를 더 포함하고, 상기 전송하는 단계는, 인코딩한 상기 비디오 데이터 및 인코딩한 상기 오디오 데이터를 외부로 전송하는 단계;를 포함할 수 있다.The image processing method may further include the step of encoding, by the image processing apparatus, the video data displayed on the first display area and the audio data included in a video photographed by the image processing apparatus; The operation may include transmitting the encoded video data and the encoded audio data to the outside.

상기 영상 처리 방법은, 상기 영상 처리 장치가, 상기 영상 처리 장치와 다른 하나 이상의 위치에서 상기 피사체에 대하여 오디오 데이터 및 비디오 데이터를 포함하는 동영상을 촬영하는 제1 디바이스 내지 제N 디바이스를 검색하는 단계; 상기 영상 처리 장치가, 검색한 상기 제1 디바이스 내지 상기 제N 디바이스에 상기 영상 처리 장치와의 연결 요청 신호를 전송하는 단계; 상기 영상 처리 장치가, 상기 제1 디바이스 내지 상기 제N 디바이스로부터 연결 승인 신호를 수신하는 단계; 및 상기 영상 처리 장치가, 상기 연결 승인 신호를 발송한 상기 제1 디바이스 내지 상기 제N 디바이스의 연결 개시를 설정하는 단계;를 더 포함할 수 있다.The image processing method may include the steps of: retrieving, by the image processing apparatus, first or Nth devices for capturing a video including audio data and video data for the subject at one or more locations different from the image processing apparatus; Transmitting, by the image processing apparatus, a connection request signal with the image processing apparatus to the searched first device to the Nth device; The image processing apparatus receiving a connection approval signal from the first device to the Nth device; And setting, by the image processing apparatus, to start connection of the first device to the Nth device that has sent the connection approval signal.

상기 영상 처리 방법은, 상기 영상 처리 장치가, 상기 연결 개시 설정을 완료하면, 상기 영상 처리 장치와 상기 연결 승인 신호를 발송한 상기 제1 디바이스 내지 상기 제N 디바이스에 동일한 촬영 개시 신호를 생성하는 단계;를 더 포함할 수 있다.In the image processing method, when the image processing apparatus completes the connection start setting, generating the same shooting start signal to the first to Nth devices that have sent the image processing apparatus and the connection approval signal. ; May further include.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 더 제공될 수 있다.In addition to this, other methods for implementing the present invention, other systems, and computer programs for executing the methods may be further provided.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features, and advantages than those described above will become apparent from the following drawings, claims, and detailed description of the invention.

실시 예들에 따르면, 멀티 디바이스에서 촬영한 비디오 데이터 및 오디오 데이터를 딜레이 없이 실시간으로 모바일 플랫폼에 전송하여 모바일 플랫폼에서 실시간으로 비디오 데이터 및 오디오 데이터를 재생할 수 있다.According to embodiments, video data and audio data photographed on a multi-device may be transmitted to a mobile platform in real time without delay to reproduce video data and audio data in real time on a mobile platform.

또한 멀티 디바이스 중 서브 디바이스에서 촬영한 비디오 데이터를 딜레이 및 공유기 없이 메인 디바이스로 전송하고, 메인 디바이스가 비디오 데이터 및 오디오 데이터를 모바일 플랫폼으로 실시간 중계하여 모바일 플랫폼에서 비디오 데이터 및 오디오 데이터를 실시간으로 재생할 수 있다.In addition, video data shot from sub-devices among multi-devices is transmitted to the main device without delays and sharers, and the main device relays video data and audio data in real time to the mobile platform to play video data and audio data in real time on the mobile platform. have.

또한, 메인 디바이스 및 서브 디바이스에서 촬영한 비디오 데이터를 메인 디바이스의 디스플레이 영역에 실시간으로 디스플레이 하여 모바일 플랫폼으로 전송하기 위한 비디오 데이터를 신속하게 결정함으로써 모바일 플랫폼에서 비디오 데이터 및 오디오 데이터를 실시간으로 재생할 수 있다.In addition, video data and audio data can be reproduced on a mobile platform in real time by quickly determining video data to be transmitted to a mobile platform by displaying video data shot on the main device and a sub device in real time on the display area of the main device. .

또한, 메인 디바이스의 카메라를 온 시켜 동영상 촬영을 유지시킴으로써, 통신망에 에러가 발생하여 서브 디바이스로부터 비디오 데이터를 수신하지 못하더라도, 메인 디바이스에서 촬영한 비디오 데이터 및 오디오 데이터를 모바일 플랫폼으로 실시간 중계하여 모바일 플랫폼에서 비디오 데이터 및 오디오 데이터를 실시간으로 재생할 수 있다.In addition, by maintaining the video recording by turning on the camera of the main device, even if an error occurs in the communication network and the video data is not received from the sub device, the video data and audio data captured by the main device are relayed in real time to the mobile platform to move the mobile. The platform can play video and audio data in real time.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 일 실시 예에 따른 영상 처리 시스템을 개략적으로 설명하기 위하여 도시한 도면이다.
도 2는 도 1의 영상 처리 시스템 중 메인 디바이스의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 도 2의 메인 디바이스 중 영상 처리부의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 도 1의 메인 디바이스의 디스플레이부 구성을 개략적으로 설명하기 위하여 도시한 도면이다.
도 5는 도 1의 영상 처리 시스템 중 서브 디바이스의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다.
도 6 내지 도 8은 본 발명의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도 이다.
도 9는 본 발명의 다른 실시 예에 따른 도 2의 정보 메인 디바이스 중 영상 처리부의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다.
도 10 및 도 11은 본 발명의 다른 실시 예에 따른 도 1의 메인 디바이스의 디스플레이부 구성을 개략적으로 설명하기 위하여 도시한 도면이다.
도 12는 본 발명의 다른 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도 이다.1 is a diagram for schematically explaining an image processing system according to an embodiment of the present invention.
FIG. 2 is a view schematically illustrating a detailed configuration of a main device in the image processing system of FIG. 1.
FIG. 3 is a diagram schematically illustrating a detailed configuration of an image processing unit among the main devices of FIG. 2 according to an embodiment of the present invention.
FIG. 4 is a diagram schematically illustrating a configuration of a display unit of the main device of FIG. 1 according to an embodiment of the present invention.
FIG. 5 is a diagram schematically illustrating a detailed configuration of a sub-device in the image processing system of FIG. 1.
6 to 8 are flowcharts illustrating an image processing method according to an embodiment of the present invention.
9 is a view for schematically explaining a detailed configuration of an image processing unit among the information main devices of FIG. 2 according to another embodiment of the present invention.
10 and 11 are views for schematically explaining the configuration of the display unit of the main device of FIG. 1 according to another embodiment of the present invention.
12 is a flowchart illustrating an image processing method according to another embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Advantages and features of the present invention, and methods for achieving them will be clarified with reference to embodiments described in detail with reference to the accompanying drawings. However, the present invention is not limited to the embodiments presented below, but may be implemented in various different forms, and should be understood to include all transformations, equivalents, and substitutes included in the spirit and scope of the present invention. . The embodiments presented below are provided to make the disclosure of the present invention complete, and to fully inform the scope of the invention to those skilled in the art to which the present invention pertains. In the description of the present invention, when it is determined that a detailed description of known technologies related to the present invention may obscure the subject matter of the present invention, the detailed description will be omitted.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "include" or "have" are intended to indicate the presence of features, numbers, steps, actions, components, parts or combinations thereof described herein, one or more other features. It should be understood that the existence or addition possibilities of fields or numbers, steps, operations, components, parts or combinations thereof are not excluded in advance. Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from other components.

명세서 전체에서 “메인 디바이스(도 1의 10)”라 함은, 비디오 데이터 및 오디오 데이터를 포함하는 동영상 촬영 기능을 포함하는 단말기를 포함할 수 잇다. 이러한 메인 디바이스는 사용자가 조작하는 노트북, 핸드헬드 장치, 스마트폰, 탭, 태블릿 PC 등의 모바일 단말기, 또는 데스크 탑 컴퓨터 또는 이러한 장치를 이용하거나 직접적으로 또는 간접적으로 이와 연결된 임의의 적절한 장치를 포함할 수 있다. 메인 디바이스는 상술한 내용에 제한되지 아니하며, 상술한 바와 같이 웹 브라우징이 가능하면서 영상 촬영 기능을 구비한 단말기는 제한 없이 차용될 수 있다. 본 실시 예에서 메인 디바이스는 예를 들어, 실시간 영상 중계 어플리케이션을 실행할 수 있는 모바일 단말기일 수 있으며, 메인 디바이스는 자체 촬영한 영상 및/또는 서브 디바이스로부터 수신한 영상을 미디어 플랫폼에 전송하는 중계기 역할을 수행할 수 있다.Throughout the specification, the term “main device (10 in FIG. 1)” may include a terminal including a video shooting function including video data and audio data. Such main devices may include user-operated notebooks, handheld devices, mobile terminals such as smartphones, tabs, tablet PCs, or desktop computers, or any suitable device that uses these devices or is directly or indirectly connected thereto. You can. The main device is not limited to the above, and as described above, a web browsing is possible and a terminal equipped with an image capturing function can be borrowed without limitation. In this embodiment, the main device may be, for example, a mobile terminal capable of executing a real-time video relay application, and the main device serves as a repeater that transmits a self-photographed video and / or a video received from a sub device to the media platform. Can be done.

명세서 전체에서 “서브 디바이스(도 1의 200)”라 함은, 메인 디바이스와 연결하여 비디오 데이터 및 오디오 데이터를 포함하는 동영상 촬영 기능을 포함하는 하나 이상의 단말기를 포함할 수 있으며, 서브 디바이스는 메인 디바이스로 소정의 형식으로 변환된 비디오 데이터를 전송할 수 있다. 이러한 서브 디바이스는 사용자가 조작하는 노트북, 핸드헬드 장치, 스마트폰, 탭, 태블릿 PC 등의 모바일 단말기, 또는 데스크 탑 컴퓨터 또는 이러한 장치를 이용하거나 직접적으로 또는 간접적으로 이와 연결된 임의의 적절한 장치를 포함할 수 잇다. 서브 디바이스는 상술한 내용에 제한되지 아니하며, 상술한 바와 같이 웹 브라우징이 가능하면서 영상 촬영 기능을 구비한 단말기는 제한 없이 차용될 수 있다. 본 실시 예에서 서브 디바이스는 예를 들어, 실시간 영상 중계 어플리케이션을 실행할 수 있는 모바일 단말기 일 수 있다.
Throughout the specification, the term “sub device (200 in FIG. 1)” may include one or more terminals that include a video recording function including video data and audio data in connection with a main device, and the sub device is a main device. It is possible to transmit the video data converted to a predetermined format. Such sub-devices may include user-operated notebooks, handheld devices, mobile terminals such as smartphones, tabs, tablet PCs, or desktop computers, or any suitable device that uses or directly or indirectly connects to such devices. Can connect The sub device is not limited to the above, and as described above, a web browsing is possible and a terminal equipped with an image capturing function can be borrowed without limitation. In this embodiment, the sub-device may be, for example, a mobile terminal capable of executing a real-time video relay application.

이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings, and in describing with reference to the accompanying drawings, the same or corresponding components are assigned the same reference numbers, and redundant description thereof is omitted. I will do it.

도 1은 본 발명의 일 실시 예에 따른 영상 처리 시스템을 개략적으로 설명하기 위하여 도시한 도면이다. 도 1을 참조하면, 영상 처리 시스템(1)은 메인 디바이스(100), 서브 디바이스(200), 제1 통신망(300), 미디어 플랫폼(400) 및 제2 통신망(500)을 포함할 수 있으며, 서브 디바이스(200)는 제1 디바이스(200-1) 내지 제N 디바이스(200-N)를 포함할 수 있다.1 is a diagram for schematically explaining an image processing system according to an embodiment of the present invention. Referring to FIG. 1, the image processing system 1 may include a main device 100, a sub device 200, a first communication network 300, a media platform 400, and a second communication network 500, The sub device 200 may include first devices 200-1 to Nth devices 200 -N.

메인 디바이스(100)는 제1 통신망(300)의 통신 반경 내에 존재하는 서브 디바이스(200)로써의 제1 디바이스(200-1) 내지 제N 디바이스(200-N)를 검색하고, 검색한 제1 디바이스(200-1) 내지 제N 디바이스(200-N)와 연결 요청 신호를 전송하고, 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로부터 연결 승인 신호를 수신하면, 메인 디바이스(100)와 연결 승인 신호를 발송한 제1 디바이스(200-1) 내지 제N 디바이스(200-N)의 연결을 개시할 수 있다. 여기서 메인 디바이스(100)는 검색 과정 또는 연결 개시 과정 중 어느 한 시점에서 실시간으로 동영상(제2 비디오 데이터 및 제1 오디오 데이터)을 전송할 외부장치로써의 미디어 플랫폼(400)을 설정할 수 있다. 메인 디바이스(100)가 연결 개시 설정을 완료하면, 제1 디바이스(200-1) 내지 제N 디바이스(200-N)에 촬영 개시 신호를 생성하여 전송함으로써, 메인 디바이스(100) 및 제1 디바이스(200-1) 내지 제N 디바이스(200-N)는 동일한 촬영 개시 시간이 기록될 수 있다.The main device 100 searches for first devices 200-1 to Nth devices 200-N as sub devices 200 existing within a communication radius of the first communication network 300, and searches for the first device When a connection request signal is transmitted from the devices 200-1 to the N-th device 200-N, and a connection approval signal is received from the first devices 200-1 to the N-th device 200-N, the main device The connection of the first device 200-1 to the N-th device 200-N that has sent the connection approval signal with the 100 may be initiated. Here, the main device 100 may set the media platform 400 as an external device to transmit a video (second video data and first audio data) in real time at any point in the search process or the connection start process. When the main device 100 completes the connection initiation setting, the main device 100 and the first device (by generating and transmitting a shooting start signal to the first device (200-1) to the N device (200-N), 200-1) to the Nth device 200-N may record the same shooting start time.

메인 디바이스(100)는 소정의 위치에서 피사체에 대하여 제1 오디오 데이터 및 제1 비디오 데이터를 포함하는 동영상을 실시간으로 촬영할 수 있다. 제1 비디오 데이터는 CCD(미도시)에 의해 촬영될 수 있고, 제1 오디오 데이터는 내부 마이크(미도시)에 의해 녹음될 수 있다.The main device 100 may photograph a video including first audio data and first video data in real time with respect to a subject at a predetermined location. The first video data may be captured by a CCD (not shown), and the first audio data may be recorded by an internal microphone (not shown).

메인 디바이스(100)는 실시간으로 촬영되는 제1 비디오 데이터를 제2 비디오 데이터로 변환할 수 있다. 여기서 제1 비디오 데이터라 함은, 내부에 구비된 CCD(미도시)로부터 최소한으로 처리한 데이터를 포함하는 전혀 가공되지 않은 로우(raw) 데이터 일 수 있다. 로우 데이터는 일반적으로 압축을 하지 않거나 무손실 압축을 하며 화이트밸런스, 밝기, 색조, 채도 등이 정해져 있지 않고 CCD가 감지한 정보만을 가지고 있다. 또한 제2 비디오 데이터라 함은, 제1 비디오 데이터를 소정의 포맷으로 변환한 비디오 데이터를 포함할 수 있다. 제2 비디오 데이터는 예를 들어, 비트맵(bitmap) 포맷을 포함할 수 있다. 여기서 제2 비디오 데이터는 비트맵으로 국한되지 않고, JPEG(joint photographic expert group), GIF(graphics interchange format), PNG(portable network graphics)등의 이미지 포맷을 포함할 수 있다.The main device 100 may convert first video data captured in real time into second video data. Here, the first video data may be raw data that is not processed at all, including data processed minimally from a CCD (not shown) provided therein. The raw data is usually uncompressed or lossless compressed, and white balance, brightness, hue, saturation, etc. are not set, and only the information sensed by the CCD. Also, the second video data may include video data obtained by converting the first video data into a predetermined format. The second video data may include, for example, a bitmap format. Here, the second video data is not limited to a bitmap, and may include image formats such as a joint photographic expert group (JPEG), graphics interchange format (GIF), and portable network graphics (PNG).

메인 디바이스(100)는 자체 변환한 제2 비디오 데이터를 제1 디스플레이 영역에 디스플레이 하고, 서브 디바이스(200)로부터 수신한 하나 이상의 제2 비디오 데이터를, 제1 디스플레이 영역과 다르고 하나 이상의 서브 영역으로 분할되어 있는 제2 디스플레이 영역에 디스플레이 할 수 있다. 일반적으로 메인 디바이스(100)는 서브 디바이스(200)로부터 전송되는 제1 비디오 데이터 및 제1 오디오 데이터를 인코딩 및 디코딩하여 디스플레이 영역에 디스플레이 하기 때문에 인코딩 및 디코딩에 소요되는 시간이 필요하며, 이러한 인코딩 및 디코딩에 소요되는 시간은 실시간 방송에 딜레이를 발생시키는 주요 원인이 될 수 있으며, 더 나아가 이러한 인커딩 및 디코딩에 소요되는 시간으로 인하여 미디어 플랫폼(400)에서 실시간으로 동영상 재생이 불가능하다. 그러나 본 실시 예에서는 서브 디바이스(200)로부터 제2 비디오 데이터를 수신하여 인코딩 및 디코딩 과정 없이 제2 디스플레이 영역에 디스플레이 하기 때문에 실시간 처리가 가능하게 되고, 이로부터 미디어 플랫폼(400)에서는 실시간으로 동영상 재생이 가능하게 된다.The main device 100 displays the self-converted second video data in the first display area, and divides one or more second video data received from the sub device 200 into one or more sub-regions different from the first display area Can be displayed on the second display area. In general, since the main device 100 encodes and decodes the first video data and the first audio data transmitted from the sub device 200 and displays them on the display area, time for encoding and decoding is required. The time required for decoding may be a major cause of generating a delay in real-time broadcasting, and further, due to the time required for incoding and decoding, it is impossible to play a video in real time on the media platform 400. However, in the present embodiment, since the second video data is received from the sub device 200 and displayed on the second display area without encoding and decoding, real-time processing is possible. From this, the media platform 400 plays the video in real time. This becomes possible.

메인 디바이스(100)는 서브 영역의 선택 수신에 대응하여, 선택 수신한 서브 영역에 디스플레이 중인 서브 디바이스(200)로부터 수신한 제2 비디오 데이터를 제1 디스플레이 영역으로 전환 디스플레이 할 수 있다. 이로써 제1 디스플레이 영역에는 메인 디바이스(100)에서 자체 촬영한 제2 비디오 데이터 및 서브 디바이스(200)로부터 수신한 제2 비디오 데이터 중 하나를 디스플레이 할 수 있다. 또한 제1 디스플레이 영역 및 제2 디스플레이 영역에 디스플레이 되는 제2 비디오 데이터는 모두 실시간으로 촬영되어 변환된 비디오 데이터를 포함할 수 있다.The main device 100 may switch and display the second video data received from the sub device 200 being displayed on the selected sub area in response to the selection reception of the sub area. Accordingly, one of the second video data taken by the main device 100 and the second video data received from the sub device 200 may be displayed on the first display area. Also, both the first display area and the second video data displayed on the second display area may include video data captured and converted in real time.

선택적 실시 예로, 메인 디바이스(100)는 자체 촬영한 제2 비디오 데이터 및 서브 디바이스(200)로부터 수신한 하나 이상의 제2 비디오 데이터를 포함하는 복수의 제2 비디오 데이터를 하나의 화면에 재생 디스플레이 위해, 화면에 복수의 제2 비디오 데이터 중 어느 한 제2 비디오 데이터를 전송하는 제1 서피스 및 화면의 일부에 복수의 제2 비디오 데이터를 전송하는 적어도 하나의 제2 서피스를 생성하고, 계층적인 결합에 의해 제1 서피스 및 적어도 하나의 제2 서피스를 하나의 화면 상에 오버레이하여 재생 디스플레이 하고, 제1 서피스에 대응하는 제2 서피스를 블로킹 처리할 수 있다. 여기서 블로킹 처리라 함은, 제2 서피스를 투명하게 처리하여, 가려졌던 제1 서피스의 해당 부분을 가시화시키는 처리라 할 수 있다. In an exemplary embodiment, the main device 100 may play and display a plurality of second video data including self-photographed second video data and one or more second video data received from the sub device 200 on one screen. By generating a first surface for transmitting any one of the plurality of second video data to the screen and at least one second surface for transmitting the plurality of second video data to a part of the screen, by hierarchical combining The first surface and the at least one second surface may be overlaid on one screen to be reproduced and displayed, and the second surface corresponding to the first surface may be blocked. Here, the blocking process may be referred to as a process of transparently processing the second surface and visualizing the corresponding portion of the first surface that is hidden.

종래의 경우 메인 디바이스(100)가 서브 디바이스(200)로부터 하나 이상의 제2 비디오 데이터를 수신하면, 메인 디바이스(100)가 수신한 하나 이상의 제2 비디오 데이터를 하드웨어 코딩을 수행하여 메인 디바이스(100) 상에 디스플레이 하기 때문에, 프로세스 상 메인 디바이스(100)의 비디오 촬영 기능 즉, CCD가 동작 종료될 수 밖에 없었다. 그러나, 본 실시 예에서는 메인 디바이스(100)가 별도의 하드웨어 코딩을 수행하지 않고, 자체적인 소프트웨어 코딩을 수행하며, 독립적인 복수 개의 서피스를 생성하여 서브 디바이스(200)로부터 수신한 하나 이상의 제2 비디오 데이터를 재생 디스플레이 하기 때문에 메인 디바이스(100)의 비디오 촬영 기능 즉, CCD가 동작을 유지할 수 있게 된다.In the conventional case, when the main device 100 receives one or more second video data from the sub device 200, the main device 100 performs hardware coding on one or more second video data received by the main device 100. Since it is displayed on the image, the video capturing function of the main device 100 in the process, that is, the CCD was forced to end. However, in this embodiment, the main device 100 does not perform separate hardware coding, performs its own software coding, and generates one or more independent multiple surfaces to receive one or more second videos received from the sub device 200. Since the data is reproduced and displayed, the video capturing function of the main device 100, that is, the CCD can maintain operation.

이와 같이 메인 디바이스(100)가 복수개의 서피스를 생성하고 서브 디바이스(200)로부터 하나 이상의 제2 비디오 데이터를 재생 디스플레이 함과 동시에 메인 디바이스(100)의 CCD를 온 시켜 동영상 촬영을 유지시킴으로써, 제1 통신망(300)에 에러가 발생하여 서브 디바이스(200)로부터 제2 비디오 데이터를 수신하지 못하더라도, 메인 디바이스(100)에서 촬영한 제2 비디오 데이터 및 제1 오디오 데이터를 모바일 플랫폼(400)으로 실시간 중계하여 모바일 플랫폼(400)에서 제2 비디오 데이터 및 제1 오디오 데이터를 실시간으로 재생할 수 있게 된다.In this way, the main device 100 generates a plurality of surfaces and reproduces and displays one or more second video data from the sub device 200, and at the same time, turns on the CCD of the main device 100 to maintain video shooting, thereby maintaining the first Even if the second network data is not received from the sub device 200 due to an error in the communication network 300, the second video data and the first audio data captured by the main device 100 are real-time to the mobile platform 400. By relaying, the second video data and the first audio data can be reproduced in real time on the mobile platform 400.

메인 디바이스(100)는 화면에 재생 디스플레이 중인 적어도 하나의 제2 서피스 중 어느 한 제2 서피스에 대한 화면 전환 이벤트 신호 수신에 대응하여, 제2 서피스를 제1 서피스로 전환처리하고, 전환처리 전 제1 서피스를 제2 서피스로 전환처리하고, 계층적인 결합에 의해 전환처리 후 제1 서피스 및 적어도 하나의 제2 서피스를 하나의 화면으로 합성하여 재생 디스플레이 하며, 전환처리 후 제1 서피스에 대응하는 제2 서피스를 블로킹 처리할 수 있다. 여기서 블로킹 처리라 함은, 제2 서피스를 투명하게 처리하여, 가려졌던 제1 서피스의 해당 부분을 가시화시키는 처리라 할 수 있다.The main device 100 converts the second surface to the first surface and processes the second surface into the first surface in response to receiving the screen change event signal for any one of the at least one second surface being displayed on the screen. Converts the 1 surface to the 2nd surface, converts it by hierarchical combination, displays the synthesized first surface and at least one 2nd surface as one screen, and displays it. 2 Surfaces can be blocked. Here, the blocking process may be referred to as a process of transparently processing the second surface and visualizing the corresponding portion of the first surface that is hidden.

메인 디바이스(100)는 제1 디스플레이 영역에 디스플레이 중인 제2 비디오 데이터 상에, 사용자로부터 수신한 워터마크를 삽입할 수 있다. 또한 메인 디바이스(100)는 제1 서피스에 재생 디스플레이 중인 제2 비디오 데이터 상에, 사용자로부터 수신한 워터마크를 삽입할 수 있다. 여기서 워터마크는 이미지, 자막, 시각 효과 등 다양한 그래픽 요소를 포함할 수 있다. 또한 제1 디스플레이 영역 또는 제1 서피스에 워터마크 삽입을 위해, 메인 디바이스(100)는 별도의 사용자 인터페이스를 제공할 수 있다.The main device 100 may insert a watermark received from the user on the second video data being displayed in the first display area. Also, the main device 100 may insert a watermark received from the user on the second video data being displayed on the first surface for playback. Here, the watermark may include various graphic elements such as images, subtitles, and visual effects. In addition, in order to insert a watermark into the first display area or the first surface, the main device 100 may provide a separate user interface.

메인 디바이스(100)는 제1 디스플레이 영역에 디스플레이된 제2 비디오 데이터 및 제1 오디오 데이터를 인코딩 할 수 있다. 또한 메인 디바이스(100)는 제1 서피스에 재생 디스플레이 중인 제2 비디오 데이터 및 제1 오디오 데이터를 인코딩할 수 있다. 메인 디바이스(100)는 인코딩이 완료된 제2 비디오 데이터 및 제1 오디오 데이터를 포함하는 동영상을 외부 장치로써의 미디어 플랫폼(400)에 전송할 수 있다. 여기서 메인 디바이스(100)는 인코딩한 제2 비디오 데이터 및 제1 오디오 데이터 각각을 리얼 타임 메시징 프로토콜(RTMP: real time messaging protocol) 통신 규약으로 미디어 플랫폼(400)에 전송할 수 있다.The main device 100 may encode second video data and first audio data displayed in the first display area. Also, the main device 100 may encode second video data and first audio data that are being displayed and reproduced on the first surface. The main device 100 may transmit a video including the encoded second video data and first audio data to the media platform 400 as an external device. Here, the main device 100 may transmit each of the encoded second video data and the first audio data to the media platform 400 using a real time messaging protocol (RTMP) communication protocol.

서브 디바이스(200)는 메인 디바이스(100)와 제1 통신망(300)을 통하여 연결되고, 메인 디바이스(100)가 피사체를 촬영하는 위치와 같거나 다른 하나 이상의 위치에서 피사체에 대하여 제1 오디오 데이터 및 제1 비디오 데이터를 포함하는 동영상을 실시간으로 촬영할 수 있다.The sub device 200 is connected to the main device 100 through the first communication network 300, and the first audio data and the first audio data for the subject are in one or more locations that are the same as or different from where the main device 100 photographs the subject. A video including the first video data can be photographed in real time.

서브 디바이스(200)는 제1 통신망(300)의 통신 반경 내에서 메인 디바이스(100)와 통신하고, 메인 디바이스(100)로부터 연결 요청 신호를 수신하면, 메인 디바이스(100)로 연결 승인 메시지를 전송한 후, 메인 디바이스(100)로부터 촬영 개시 신호를 수신하면, 동영상 촬영을 개시할 수 있다.The sub-device 200 communicates with the main device 100 within a communication radius of the first communication network 300, and upon receiving a connection request signal from the main device 100, transmits a connection approval message to the main device 100 After that, when the shooting start signal is received from the main device 100, video shooting may be started.

서브 디바이스(200)는 촬영한 동영상 중 제1 비디오 데이터를 제2 비디오 데이터로 변환하여 메인 디바이스(100)로 전송할 수 있다. 여기서 서브 디바이스(200)가 녹음한 제1 오디오 데이터는 메인 디바이스(100)로 전송되지 않으며, 메인 디바이스(100)에는 제2 비디오 데이터만 전송될 수 있다.The sub device 200 may convert the first video data from the captured video to the second video data and transmit the converted video data to the main device 100. Here, the first audio data recorded by the sub device 200 is not transmitted to the main device 100, and only the second video data may be transmitted to the main device 100.

제1 통신망(300)은 메인 디바이스(100)와 서브 디바이스(200) 사이의 데이터를 연결하는 역할을 수행한다. 제1 통신망(300)은 메인 디바이스(100) 및 서브 디바이스(200)가 연결되면, 메인 디바이스(100) 및 서브 디바이스(200) 사이에 데이터를 송수신할 수 있도록 접속 경로를 제공하는 통신망을 의미할 수 있다. 여기서 제1 통신망(300)은 와이파이 다이렉트(wi-fi direct)를 포함할 수 있다. 와이파이 다이렉트는 메인 디바이스(100) 및 서브 디바이스(200)가 홈 네트워크, 오피스 네트워크 및 핫 스팟 네트워크에 참가하지 않아도 서로 디바이스-대-디바이스 통신을 수행할 수 있는 통신망을 포함할 수 있다. 와이파이 다이렉트를 이용하면, 공유기 없이도 메인 디바이스(100) 및 서브 디바이스(200) 사이에 통신이 가능하며 그 통신 거리 반경은 약 70 미터를 포함할 수 있다.The first communication network 300 serves to connect data between the main device 100 and the sub device 200. When the main device 100 and the sub device 200 are connected, the first communication network 300 refers to a communication network that provides a connection path to transmit and receive data between the main device 100 and the sub device 200. You can. Here, the first communication network 300 may include Wi-Fi Direct. Wi-Fi Direct may include a communication network through which the main device 100 and the sub device 200 can perform device-to-device communication with each other without participating in a home network, an office network, and a hot spot network. Using Wi-Fi Direct, communication is possible between the main device 100 and the sub device 200 without a router, and the communication distance radius may include about 70 meters.

일반적으로 무선랜은 무선 공유기가 허브로서 기능하는 인프라스트럭쳐(infrastructure) BSS(basic service set)에 대한 동작을 주로 다루고 있다. 무선 공유기는 무선/유선 연결을 위한 물리 레이어 지원 기능과, 네트워크 상의 디바이스들에 대한 라우팅 기능과, 디바이스를 네트워크에 추가/제거하기 위한 서비스 제공 등을 담당할 수 있다. 이 경우 네트워크 내의 디바이스들은 무선 공유기를 통하여 연결되는 것이지, 서로 간에 직접 연결되는 것은 아니다. 그러나 본 실시 예에서는 공유기 필요없이 와이파이 다이렉트를 이용하여 메인 디바이스(100) 및 서브 디바이스(200) 사이에 직접적인 통신이 가능하게 된다.In general, a wireless LAN mainly deals with an operation of an infrastructure BSS (basic service set) in which a wireless router functions as a hub. The wireless router may be responsible for a physical layer support function for a wireless / wired connection, a routing function for devices on a network, and a service for adding / removing devices to / from the network. In this case, devices in the network are connected through a wireless router, but not directly to each other. However, in this embodiment, direct communication between the main device 100 and the sub device 200 is possible using Wi-Fi Direct without the need for a router.

미디어 플랫폼(400)은 메인 디바이스(100)로부터 제2 통신망(500)을 통하여 동영상(제2 비디오 데이터 및 제1 오디오 데이터)을 수신하고 동영상을 실시간으로 재생할 수 잇다. 미디어 플랫폼(400)은 예를 들어, 아프리카 TV, 유튜브, 페이스북 등의 동영상 콘텐츠를 공유하는 소셜 네트워크 서비스 사이트를 제공하는 시스템을 포함할 수 있다.The media platform 400 may receive a video (second video data and first audio data) from the main device 100 through the second communication network 500 and play the video in real time. The media platform 400 may include, for example, a system that provides a social network service site for sharing video content such as African TV, YouTube, Facebook, and the like.

제2 통신망(500)은 메인 디바이스(100) 및 미디어 플랫폼(400)을 연결하는 역할을 수행할 수 있다. 즉, 제2 통신망(500)은 메인 디바이스(100)가 미디어 플랫폼(400)에 접속한 후 데이터를 송수신할 수 있도록 접속 경로를 제공하는 통신망을 의미할 수 있다. 제2 통신망(500)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 본 실시 예에서 제1 통신망(300) 및 제2 통신망(500)을 다르게 구현하였으나, 제2 통신망(500)에 제1 통신망(300)이 포함될 수 있다.
The second communication network 500 may serve to connect the main device 100 and the media platform 400. That is, the second communication network 500 may refer to a communication network that provides a connection path so that the main device 100 can transmit and receive data after accessing the media platform 400. The second communication network 500 includes, for example, wired networks such as Local Area Networks (LANs), Wide Area Networks (WANs), Metropolitan Area Networks (MANs), and Integrated Service Digital Networks (ISDNs), wireless LANs, CDMA, Bluetooth, and satellites. It may cover a wireless network such as communication, but the scope of the present invention is not limited thereto. In this embodiment, the first communication network 300 and the second communication network 500 are implemented differently, but the first communication network 300 may be included in the second communication network 500.

도 2는 도 1의 영상 처리 시스템(1) 중 메인 디바이스(100)의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다. 이하의 설명에서 도 1에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 2를 참조하면, 메인 디바이스(100)는 통신부(110), 메모리(120), 입출력부(130), 프로그램 저장부(140), 제어부(150), 데이터베이스(160), 디스플레이부(170) 및 영상 처리부(180)를 포함할 수 있다.FIG. 2 is a diagram illustrating a detailed configuration of the main device 100 of the image processing system 1 of FIG. 1. In the following description, parts that overlap with the description of FIG. 1 will be omitted. Referring to FIG. 2, the main device 100 includes a communication unit 110, a memory 120, an input / output unit 130, a program storage unit 140, a control unit 150, a database 160, and a display unit 170 And it may include an image processing unit 180.

통신부(110)는 제1 통신망(300)과 연동하여 메인 디바이스(100) 및 서브 디바이스(200) 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공할 수 있다. 이러한 통신부(110)는 제1 통신 반경 내에 있는 서브 디바이스(200)로써의 제1 디바이스(200-1) 내지 제N 디바이스(200-N)에 연결 요청 신호를 전송하고, 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로부터 연결 승인 신호를 수신하며, 제1 디바이스(200-1) 내지 제N 디바이스(200-N)에 촬영 개시 신호를 전송한 후, 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로부터 제2 비디오 데이터를 수신할 수 있다.The communication unit 110 may provide a communication interface required to provide a transmission / reception signal between the main device 100 and the sub device 200 in the form of packet data in cooperation with the first communication network 300. The communication unit 110 transmits a connection request signal to the first device 200-1 to the Nth device 200-N as the sub device 200 within the first communication radius, and the first device 200- 1) to the N-th device (200-N) receiving a connection approval signal, and after transmitting the start signal to the first device (200-1) to the N-th device (200-N), the first device (200) -1) to second video data may be received from the Nth device 200-N.

또한 통신부(110)는 제2 통신망(500)과 연동하여 메인 디바이스(100) 및 미디어 플랫폼(400) 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공할 수 있다. 이러한 통신부(110)는 미디어 플랫폼(400)에 접속하여 제2 비디오 데이터 및 제1 오디오 데이터를 실시간으로 미디어 플랫폼(400)에 전송할 수 있다.In addition, the communication unit 110 may provide a communication interface required to provide a transmission / reception signal between the main device 100 and the media platform 400 in the form of packet data in conjunction with the second communication network 500. The communication unit 110 may access the media platform 400 and transmit the second video data and the first audio data to the media platform 400 in real time.

통신부(110)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.The communication unit 110 may be a device including hardware and software necessary for transmitting and receiving a signal such as a control signal or a data signal through a wired or wireless connection with another network device.

메모리(120)는 제어부(150)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 본 실시 예에서 메모리(120)는 서브 디바이스(200)로부터 수신한 제2 비디오 데이터 및 자체 촬영한 제1 비디오 데이터 및 제1 오디오 데이터를 포함하는 동영상을 저장할 수 있다. 여기서, 메모리(120)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The memory 120 may temporarily or permanently store data processed by the controller 150. In this embodiment, the memory 120 may store a video including second video data received from the sub device 200 and self-photographed first video data and first audio data. Here, the memory 120 may include a magnetic storage media or a flash storage media, but the scope of the present invention is not limited thereto.

입출력부(130)는 터치 인식 디스플레이 제어기 또는 이외의 다양한 입출력 제어기로 구성될 수 있다. 일 예로, 터치 인식 디스플레이 제어기는 장치와 사용자 사이에 출력 인터페이스 및 입력 인터페이스를 제공할 수 있다. 터치 인식 디스플레이 제어기는 전기 신호를 제어부(150)와 송수신할 수 있다. 또한, 터치 인식 디스플레이 제어기는 사용자에게 시각적인 출력 및/또는 청각적인 출력을 표시하며, 시각적 출력은 텍스트, 그래픽, 이미지, 비디오와 이들의 조합을 포함할 수 있고, 청각적 출력은 시각적 출력과 동기화된 오디오를 포함할 수 있다. 이와 같은 입출력부(130)는 예를 들어, 터치 인식이 가능한 OLED(Organic light emitting display) 또는 LCD(Liquid crystal display)와 같은 소정의 디스플레이 부재일 수 있다.The input / output unit 130 may be configured as a touch recognition display controller or various other input / output controllers. As an example, the touch-sensitive display controller may provide an output interface and an input interface between the device and the user. The touch recognition display controller may transmit and receive an electrical signal to and from the controller 150. In addition, the touch-sensitive display controller displays visual and / or audible output to the user, the visual output can include text, graphics, images, video and combinations thereof, and the audible output is synchronized with the visual output Audio. The input / output unit 130 may be, for example, a predetermined display member such as an organic light emitting display (OLED) capable of touch recognition or a liquid crystal display (LCD).

프로그램 저장부(140)는 제1 무선 통신 환경에서 서브 디바이스(200)를 검색하는 작업, 검색된 서브 디바이스(200)에 연결 요청 신호를 전송하는 작업, 검색된 서브 디바이스(200)로부터 연경 승신 신호를 수신하는 작업, 검색된 서브 디바이스(200)에 촬영 개시 신호를 전송하는 작업, 서브 디바이스(200)로부터 제2 비디오 데이터를 수신하는 작업, 자체 촬영한 제1 비디오 데이터를 제2 비디오 데이터로 변환하는 작업, 디스플레이 영역에 제2 비디오 데이터 및 서브 디바이스(200)로부터 수신한 제2 비디오 데이터를 각각 디스플레이 하는 작업, 복수개의 서피스를 생성하는 작업, 복수개의 서피스에 제2 비디오 데이터 및 서브 디바이스(200)로부터 수신한 제2 비디오 데이터를 각각 전송하여 재생 디스플레이 하는 작업, 제2 비디오 데이터에 워터마크를 삽입하는 작업, 제2 비디오 데이터 및 제1 오디오 데이터를 인코딩하는 작업, 제2 비디오 데이터 및 제1 오디오 데이터를 미디어 플랫폼(400)에 전송하는 작업 등을 수행하는 제어 소프트웨어를 탑재하고 있다.The program storage 140 searches for a sub-device 200 in the first wireless communication environment, transmits a connection request signal to the searched sub-device 200, and receives a landing win signal from the searched sub-device 200 Operation, transmitting a start signal to the searched sub-device 200, receiving second video data from the sub-device 200, converting the self-photographed first video data into second video data, Displaying the second video data and the second video data received from the sub device 200 in the display area, respectively, creating a plurality of surfaces, and receiving the second video data and the sub device 200 from the plurality of surfaces. Transferring and displaying one second video data respectively, inserting a watermark into the second video data And mounting an up, the second video data and the first operation of encoding an audio data, second video data and a first control to perform an operation, such as transmitting audio data to a media platform (400) software.

제어부(150)는 일종의 중앙 처리 장치로써, 서브 디바이스(200)로부터 수신한 제2 비디오 데이터 및 자체 촬영하여 동영상에 포함된 제1 비디오 데이터를 변환한 제2 비디오 데이터 중 어느 한 제2 비디오 데이터와, 자체 촬영하여 동영상에 포함된 제1 오디오 데이터를 미디어 플랫폼(400)에 전송하는 전체 과정을 제어할 수 있다. 이와 같이 제어부(150)는 메인 디바이스(100), 서브 디바이스(200) 및 미디어 플랫폼(400) 사이의 데이터 송수신과 관련한 전체 처리 과정을 제어할 수 있다.The control unit 150 is a kind of central processing unit, and may include any second video data from second video data received from the sub device 200 and second video data taken by itself to convert the first video data included in the video. , It is possible to control the entire process of transmitting the first audio data included in the video to the media platform 400 by taking a picture of itself. As such, the control unit 150 may control the entire processing process related to data transmission and reception between the main device 100, the sub device 200, and the media platform 400.

데이터베이스(160)는 메인 디바이스(100) 및 서브 디바이스(200)가 설치한 실시간 영상 중계 어플리케이션과 관련하여 메인 디바이스(100) 및 서브 디바이스(200)를 이용하는 사용자 정보 및 디바이스 정보를 포함할 수 있다.The database 160 may include user information and device information using the main device 100 and the sub device 200 in relation to a real-time video relay application installed by the main device 100 and the sub device 200.

디스플레이부(170)는 메인 디바이스(100)가 촬영중인 동영상 즉, 제1 비디오 데이터 및 제1 오디오 데이터를 재생할 수 있다. 디스플레이부(170)는 예를 들어 터치 인식이 가능한 OLED(organic light emitting display) 또는 LCD(liquid crystal display)와 같은 소정의 디스플레이 부재일 수 있다. 또한 디스플레이부(170)는 제1 디스플레이 영역 및 제2 디스플레이 영역을 포함할 수 있다. 제2 디스플레이 영역에는 서브 디바이스(200)로부터 수신되는 제2 비디오 데이터를 디스플레이 하며, 제2 디스플레이 영역은 하나 이상의 서브 영역으로 분할 될 수 있다. 서브 영역의 개수는 연결 승인 신호를 전송한 제1 디바이스(200-1) 내지 제N 디바이스(200-N)의 개수와 동일할 수 있다. 또한 디스플레이부(170)는 복수의 제2 비디오 데이터를 하나의 화면에 재생 디스플레이할 수 있는 제1 서피스 및 적어도 하나의 제2 서피스를 포함할 수 있다. 제2 서피스에는 자체 촬영한 제2 비디오 데이터 및 서브 디바이스(200)로부터 수신되는 제2 비디오 데이터 재생 디스플레이 할 수 있다. 제2 서피스의 개수는 연결 승인 신호를 전송한 제1 디바이스(200-1) 내지 제N 디바이스(200-N) 개수 및 메인 디바이스(100) 개수의 합과 동일할 수 있으며, 제1 서피스 및 제2 서피스의 총 합은 연결 승인 신호를 전송한 제1 디바이스(200-1) 내지 제N 디바이스(200-N) 개수 및 메인 디바이스(100) 개수의 총 합 보다 하나 더 많을 수 있다. 디스플레이부(170)는 제1 디스플레이 영역 또는 제1 서피스에 디스플레이 중인 제2 비디오 데이터 상에 워터마크를 삽입할 수 있는 사용자 인터페이스를 더 디스플레이 할 수 있으며, 제1 디스플레이 영역에 워터마크 삽입 상황을 디스플레이 할 수 있다.The display 170 may reproduce the video being photographed by the main device 100, that is, the first video data and the first audio data. The display unit 170 may be, for example, a predetermined display member such as an organic light emitting display (OLED) capable of touch recognition or a liquid crystal display (LCD). Also, the display unit 170 may include a first display area and a second display area. The second display area displays second video data received from the sub device 200, and the second display area may be divided into one or more sub areas. The number of sub-regions may be the same as the number of the first devices 200-1 to the N-th device 200-N that have transmitted the connection approval signal. Also, the display unit 170 may include a first surface and at least one second surface capable of reproducing and displaying a plurality of second video data on one screen. The second surface may display the self-photographed second video data and the second video data received from the sub device 200. The number of the second surfaces may be equal to the sum of the number of the first devices 200-1 to the N devices 200-N and the number of the main devices 100 that have transmitted the connection approval signal. The total sum of the 2 surfaces may be one more than the total sum of the number of the first devices 200-1 to the N devices 200-N and the number of the main devices 100 that transmit the connection approval signal. The display 170 may further display a user interface capable of inserting a watermark on the first display area or the second video data being displayed on the first surface, and display the watermark insertion situation on the first display area can do.

영상 처리부(180)는 제1 통신망(300)의 통신 반경 내에 존재하는 서브 디바이스(200)로써의 제1 디바이스(200-1) 내지 제N 디바이스(200-N)를 검색하여 서브 디바이스(200)와의 연결을 개시할 수 있다. 영상 처리부(180)는 소정의 위치에서 피사체에 대하여 제1 오디오 데이터 및 제1 비디오 데이터를 포함하는 동영상을 실시간으로 촬영하고, 제1 비디오 데이터를 제2 비디오 데이터로 변환할 수 있다. 영상 처리부(180)는 자체 변환한 제2 비디오 데이터를 제1 디스플레이 영역에 디스플레이 하고, 서브 디바이스(200)로부터 수신한 하나 이상의 제2 비디오 데이터를, 제1 디스플레이 영역과 다르고 하나 이상의 서브 영역으로 분할되어 있는 제2 디스플레이 영역에 디스플레이 할 수 있다. 영상 처리부(180)는 서브 영역의 선택 수신에 대응하여, 선택 수신한 서브 영역에 디스플레이 중인 서브 디바이스(200)로부터 수신한 제2 비디오 데이터를 제1 디스플레이 영역으로 전환 디스플레이 할 수 있다.The image processing unit 180 searches for the first device 200-1 to the Nth device 200-N as the sub device 200 existing within the communication radius of the first communication network 300, and then the sub device 200 You can initiate a connection with. The image processor 180 may photograph a video including the first audio data and the first video data in real time with respect to a subject at a predetermined location, and convert the first video data into second video data. The image processing unit 180 displays the self-converted second video data on the first display area, and divides one or more second video data received from the sub device 200 into one or more sub-regions different from the first display area. Can be displayed on the second display area. The image processing unit 180 may switch and display the second video data received from the sub device 200 being displayed on the selected sub area in response to the selection reception of the sub area.

선택적 실시 예로, 영상 처리부(180)는 제1 서피스 및 적어도 하나의 제2 서피스를 생성할 수 있다. 영상 처리부(180)는 자체 촬영한 제2 비디오 데이터 및 서브 디바이스(200)로부터 수신한 하나 이상의 제2 비디오 데이터를 포함하는 복수의 제2 비디오 데이터를 하나의 화면에 재생 디스플레이 위해, 제1 서피스에 복수의 제2 비디오 데이터 중 어느 한 제2 비디오 데이터를 전송하고, 적어도 하나의 제2 서피스 각각에 복수의 제2 비디오 데이터를 전송할 수 있다. 영상 처리부(180)는 계층적인 결합에 의해 제1 서피스 및 적어도 하나의 제2 서피스를 하나의 화면 상에 오버레이하여 재생 디스플레이 하고, 제1 서피스에 대응하는 제2 서피스를 블로킹 처리할 수 있다. 영상 처리부(180)는 메인 디바이스(100)의 디스플레이부(170)에 재생 디스플레이 중인 제1 서피스 및 적어도 하나의 제2 서피스 중 어느 한 제2 서피스에 대한 화면 전환 이벤트 신호 수신에 대응하여, 제2 서피스를 제1 서피스로 전환처리하고, 전환처리 전 제1 서피스를 제2 서피스로 전환처리하며, 계층적인 결합에 의해 전환처리 후 제1 서피스 및 적어도 하나의 제2 서피스를 하나의 화면으로 합성하여 재생 디스플레이 하며, 전환처리 후 제1 서피스에 대응하는 제2 서피스를 블로킹 처리할 수 있다.As an optional embodiment, the image processing unit 180 may generate a first surface and at least one second surface. The image processing unit 180 may display a plurality of second video data including self-photographed second video data and one or more second video data received from the sub device 200 on a first surface for playback display. One second video data among the plurality of second video data may be transmitted, and the plurality of second video data may be transmitted to each of the at least one second surface. The image processing unit 180 may reproduce and display the first surface and the at least one second surface on one screen by hierarchical combining, and block the second surface corresponding to the first surface. The image processing unit 180 responds to reception of a screen change event signal for any one of the first surface and at least one second surface being displayed on the display unit 170 of the main device 100, and the second Converting the surface to the first surface, converting the first surface to the second surface before converting, and converting the first surface and at least one second surface into one screen after converting by hierarchical combination After playback, the second surface corresponding to the first surface may be blocked after the conversion process.

영상 처리부(180)는 제1 디스플레이 영역 또는 제1 서피스에 디스플레이 중인 제2 비디오 데이터 상에, 사용자로부터 수신한 워터마크를 삽입하는 삽입할 수 있다. 영상 처리부(180)는 제1 디스플레이 영역 또는 제1 서피스에 디스플레이된 제2 비디오 데이터와 제1 오디오 데이터를 인코딩 하고, 인코딩이 완료된 제2 비디오 데이터 및 제1 오디오 데이터를 포함하는 동영상을 리얼 타임 메시징 프로토콜을 통하여 미디어 플랫폼(400)에 전송할 수 있다.
The image processing unit 180 may insert a watermark received from a user into the second video data being displayed on the first display area or the first surface. The image processing unit 180 encodes second video data and first audio data displayed on the first display area or the first surface, and real-time messaging a video including the encoded second video data and the first audio data. It can be transmitted to the media platform 400 through the protocol.

도 3은 본 발명의 일 실시 예에 따른 도 2의 메인 디바이스(100) 중 영상 처리부(180)의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다. 이하의 설명에서 도 1 및 도 2에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 3을 참조하면, 영상 처리부(180)는, 검색부(181), 설정부(182), 촬영부(183), 변환부(184), 디스플레이 제어부(185), 전환부(186), 삽입부(187), 인코딩부(188) 및 전송부(189)를 포함할 수 있다.FIG. 3 is a view schematically illustrating a detailed configuration of the image processing unit 180 among the main devices 100 of FIG. 2 according to an embodiment of the present invention. In the following description, portions overlapping with the descriptions of FIGS. 1 and 2 will be omitted. Referring to FIG. 3, the image processing unit 180 includes a search unit 181, a setting unit 182, a shooting unit 183, a conversion unit 184, a display control unit 185, a switching unit 186, and insertion It may include a unit 187, an encoding unit 188, and a transmission unit 189.

검색부(181)는 사용자의 서브 디바이스(200) 검색 요청 신호 수신에 대응하여, 제1 통신망(300)의 통신 반경 내에 존재하는 서브 디바이스(200)로써의 제1 디바이스(200-1) 내지 제N 디바이스(200-N)를 검색하고, 서브 디바이스(200)의 검색 결과를 디스플레이부(170)에 출력할 수 있다.The search unit 181 responds to the reception of the user's sub-device 200 search request signal, and the first device 200-1 to the first device 200-1 as the sub-device 200 existing within a communication radius of the first communication network 300 The N device 200 -N may be searched, and the search result of the sub device 200 may be output to the display unit 170.

설정부(182)는 서브 디바이스(200)로써의 제1 디바이스(200-1) 내지 제N 디바이스(200-N) 검색 결과를 확인하고, 검색 결과로부터 적어도 하나 이상의 제1 디바이스(200-1) 내지 제N 디바이스(200-N)를 선택하고, 선택한 제1 디바이스(200-1) 내지 제N 디바이스(200-N)에 메인 디바이스(100)와의 연결을 요청하는 연결 요청 신호를 전송할 수 있다. 설정부(182)는 연결 요청 신호를 전송한 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로부터 연결 승인 신호를 수신하면, 디스플레이부(170) 상에 연결 승인 신호를 전송한 제1 디바이스(200-1) 내지 제N 디바이스(200-N)를 디스플레이 하고, 적어도 하나의 제1 디바이스(200-1) 내지 제N 디바이스(200-N)에 대한 선택 신호 수신에 대응하여 메인 디바이스(100)와 연결 개시를 설정할 수 있다.The setting unit 182 checks the search results of the first device 200-1 to the Nth device 200-N as the sub device 200, and at least one or more first devices 200-1 from the search results The N-th device 200-N may be selected, and a connection request signal requesting connection to the main device 100 may be transmitted to the selected first devices 200-1 to N-th device 200-N. When the setting unit 182 receives the connection approval signal from the first device 200-1 to the Nth device 200-N that has transmitted the connection request signal, the setting unit 182 transmits the connection approval signal on the display unit 170. The first device 200-1 to the N-th device 200-N are displayed, and the main device corresponds to reception of a selection signal for at least one of the first devices 200-1 to the N-th device 200-N. A connection start can be established with the device 100.

설정부(182)는 검색 과정 또는 연결 개시 과정 중 어느 한 시점에서 실시간으로 동영상(제2 비디오 데이터 및 제1 오디오 데이터)를 전송할 외부장치로써의 미디어 플랫폼(400)을 설정할 수 있다. 설정부(182)가 연결 개시 설정을 완료하면, 제1 디바이스(200-1) 내지 제N 디바이스(200-N)에 촬영 개시 신호를 생성하여 전송함으로써, 메인 디바이스(100) 및 제1 디바이스(200-1) 내지 제N 디바이스(200-N)는 동일한 촬영 개시 시간이 기록될 수 있다.The setting unit 182 may set the media platform 400 as an external device to transmit a video (second video data and first audio data) in real time at any point in the search process or the connection start process. When the setting unit 182 completes the connection initiation setting, the main device 100 and the first device (eg, by generating and transmitting a photographing start signal to the first device 200-1 to the Nth device 200-N) 200-1) to the Nth device 200-N may record the same shooting start time.

촬영부(183)는 도면에 도시되지 않은 셔터, 일련의 렌즈들, 조리개 및 CCD(charge coupled device)를 포함하는 카메라, ADC(analog to digital converter) 및 마이크 등을 포함할 수 있다. 촬영부(183)는 셔터 입력을 통하여 소정의 위치에서 피사체에 대한 제1 오디오 데이터 및 제1 비디오 데이터를 포함하는 동영상을 실시간으로 촬영할 수 있다. 촬영부(183)는 CCD에 의해 제1 비디오 데이터를 촬영하고, 마이크에 의해 제1 오디오 데이터를 녹음할 수 있다.The photographing unit 183 may include a shutter (not shown), a series of lenses, a camera including an aperture and a charge coupled device (CCD), an analog to digital converter (ADC), a microphone, and the like. The photographing unit 183 may photograph a video including first audio data and first video data of a subject at a predetermined location in real time through a shutter input. The photographing unit 183 may photograph the first video data by a CCD and record the first audio data by a microphone.

변환부(184)는 실시간으로 촬영한 제1 비디오 데이터를 제2 비디오 데이터로 변환할 수 있다. 여기서 제1 비디오 데이터라 함은, 내부에 구비된 CCD(미도시)로부터 최소한으로 처리한 데이터를 포함하는 전혀 가공되지 않은 로우(raw) 데이터 일 수 있다. 또한 제2 비디오 데이터라 함은, 제1 비디오 데이터를 소정의 포맷으로 변환한 비디오 데이터를 포함할 수 있으며, 예를 들어, 비트맵(bitmap) 포맷의 데이터를 포함할 수 있다. 또한 변환부(184)는 제어 신호에 따라 프레임 레이트 및/또는 해상도를 변환한 제2 비디오 데이터를 생성할 수도 있다.The converter 184 may convert the first video data captured in real time into second video data. Here, the first video data may be raw data that is not processed at all, including data processed minimally from a CCD (not shown) provided therein. Also, the second video data may include video data obtained by converting the first video data into a predetermined format, and may include, for example, bitmap format data. Also, the converter 184 may generate second video data obtained by converting a frame rate and / or resolution according to a control signal.

디스플레이 제어부(185)는 변환부(184)에서 변환한 제2 비디오 데이터 및 서브 디바이스(200)로써의 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로부터 실시간으로 수신한 하나 이상의 제2 비디오 데이터를 디스플레이부(170)에 디스플레이 할 수 있다. The display control unit 185 may receive one or more received in real time from the first device 200-1 to the N-th device 200 -N as the second video data and the sub-device 200 converted by the conversion unit 184. The second video data may be displayed on the display unit 170.

도 4는 본 발명의 일 실시 예에 따른 도 1의 메인 디바이스(100)의 디스플레이부(170) 구성을 개략적으로 설명하기 위하여 도시한 도면이다. 도 4를 참조하면, 디스플레이부(170)는 제1 디스플레이 영역(171) 및 제2 디스플레이 영역(172)을 포함할 수 있다. 여기서 제2 디스플레이 영역(172)은 복수개의 서브 영역으로 분할되어 있는데, 서브 영역의 개수는 메인 디바이스(100)와 연결을 개시한 제1 디바이스(200-1) 내지 제N 디바이스(200-N)의 개수와 동일하다. 제2 디스플레이 영역(172)에 포함되는 서브 영역은 디스플레이 제어부(185)에 의해 메인 디바이스(100)와 제1 디바이스(200-1) 내지 제N 디바이스(200-N)가 연결을 개시한 시점에서 분할될 수 있다.4 is a view for schematically explaining the configuration of the display unit 170 of the main device 100 of FIG. 1 according to an embodiment of the present invention. Referring to FIG. 4, the display unit 170 may include a first display area 171 and a second display area 172. Here, the second display area 172 is divided into a plurality of sub-areas, and the number of the sub-areas is the first device 200-1 to the N-th device 200-N that initiates connection with the main device 100. It is equal to the number of. The sub-region included in the second display area 172 is the time when the main device 100 and the first device 200-1 to the N-th device 200-N start to connect by the display control unit 185. Can be divided.

디스플레이 제어부(185)는 제1 디스플레이 영역(171)에 변환부(184)에서 변환한 제2 비디오 데이터를 디스플레이 하고, 제2 디스플레이 영역(172)에 포함되는 각 서브 영역에 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로부터 수신한 제2 비디오 데이터를 디스플레이 할 수 있다. 여기서 제1 디스플레이 영역(171)에 디스플레이 되는 제2 비디오 데이터가 실시간으로 미디어 플랫폼(400)에 전송될 수 있다. 또한 제1 디스플레이 영역(171)에 디스플레이 되는 제2 비디오 데이터 및 제2 디스플레이 영역(172)에 포함되는 각 서브 영역에 디스플레이 되는 제2 비디오 데이터는 프레임 레이트가 서로 다를 수 있다. 예를 들어, 제1 디스플레이 영역(171)에는 초당 30 프레임을 갖는 제2 비디오 데이터를 디스플레이 하고, 제2 디스플레이 영역(172)에 포함되는 각 서브 영역에는 초당 15 프레임을 갖는 제2 비디오 데이터를 디스플레이 할 수 있다. 도 4에 도시된 바와 같이 제2 디스플레이 영역(172)에 포함되는 서브 영역은 제1 디스플레이 영역(171) 보다 그 크기가 더 작기 때문에, 프레임 레이트가 더 작더라도 디스플레이 하는데 문제가 발생하지 않는다.The display control unit 185 displays the second video data converted by the conversion unit 184 in the first display area 171, and displays the first device 200-in each sub-region included in the second display area 172. 1) to the second video data received from the N-th device (200-N) may be displayed. Here, the second video data displayed on the first display area 171 may be transmitted to the media platform 400 in real time. In addition, the second video data displayed on the first display area 171 and the second video data displayed on each sub-region included in the second display area 172 may have different frame rates. For example, the second video data having 30 frames per second is displayed in the first display area 171, and the second video data having 15 frames per second is displayed in each sub area included in the second display area 172. can do. 4, since the sub-region included in the second display area 172 is smaller in size than the first display area 171, there is no problem in displaying even if the frame rate is smaller.

제2 디스플레이 영역(172)에 포함되는 각 서브 영역에는 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로부터 실시간으로 수신한 제2 비디오 데이터를 디스플레이 하기 때문에, 촬영 개시 신호가 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로 전송됨과 동시에, 디스플레이 제어부(185)는 메인 디바이스(100)에 대하여 초당 30 프레임의 제2 비디오 데이터를 제1 디스플레이 영역(171)에 디스플레이 하도록 제어하고, 제1 디바이스(200-1) 내지 제N 디바이스(200-N)에 대하여 초당 15 프레임의 제2 비디오 데이터를 전송하라고 제어하여, 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로부터 수신한 초당 15 프레임의 제2 비디오 데이터를 제2 디스플레이 영역(172)에 포함되는 각 서브 영역에 디스플레이 할 수 있다.Since each of the sub-regions included in the second display area 172 displays second video data received in real time from the first device 200-1 to the N-th device 200-N, the shooting start signal is removed. Simultaneously with the transmission from the 1 device 200-1 to the N-th device 200-N, the display control unit 185 transmits the second video data of 30 frames per second to the main device 100 in the first display area 171. The first device 200-1 to the Nth device 200-N to transmit the second video data of 15 frames per second, and the first devices 200-1 to the Nth device. The second video data of 15 frames per second received from the device 200 -N may be displayed in each sub-region included in the second display area 172.

본 실시 예에서는 제1 디스플레이 영역(171)에 디스플레이 되는 제2 비디오 데이터 및 제2 디스플레이 영역(172)에 포함되는 각 서브 영역에 디스플레이 되는 제2 비디오 데이터의 프레임 레이트가 서로 다르다고 개시하였으나, 프레임 레이트 이외에 해상도가 서로 다를 수 있다. 예를 들어, 디스플레이 제어부(185)는 제1 디스플레이 영역(171)에 1280×720의 해상도를 갖는 제2 비디오 데이터를 디스플레이 할 수 있고, 제2 디스플레이 영역(172)에 포함되는 각 서브 영역에 640×480의 해상도를 갖는 제2 비디오 데이터를 디스플레이 할 수 있다.In this embodiment, although the frame rate of the second video data displayed in the first display area 171 and the second video data displayed in each sub-region included in the second display area 172 is different, the frame rate Other resolutions may be different. For example, the display control unit 185 may display second video data having a resolution of 1280 × 720 in the first display area 171, and 640 in each sub-region included in the second display area 172. The second video data having a resolution of × 480 can be displayed.

전환부(186)는 제1 디스플레이 영역(171)에 변환부(184)에서 변환한 제2 비디오 데이터를 디스플레이 하고, 제2 디스플레이 영역(172)에 포함되는 각 서브 영역에 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로부터 수신한 제2 비디오 데이터를 디스플레이 한 상태에서, 사용자에 의한 어느 한 서브 영역의 선택 수신에 대응하여, 선택 수신한 서브 영역에 디스플레이 중인 제2 비디오 데이터를 제1 디스플레이 영역에 전환 디스플레이 할 수 있다.The conversion unit 186 displays the second video data converted by the conversion unit 184 in the first display area 171, and the first device 200-in each sub-region included in the second display area 172. In the state in which the second video data received from 1) to the Nth device 200-N is displayed, the second video data being displayed in the selected sub area in response to the selection reception of any one sub area by the user Can be switched to the first display area.

여기서 전환부(186)는 서브 영역에 디스플레이 중인 제2 비디오 데이터를 제1 디스플레이 영역(171)으로 전환할 때, 해당 서브 영역에 제2 비디오 데이터를 전송하는 제1 디바이스(200-1) 내지 제N 디바이스(200-N) 중 하나에, 프레임 레이트를 다르게 한 제2 비디오 데이터를 전송하라는 제어 신호를 전송할 수 있다. 즉, 이전 초당 15 프레임의 프레임 레이트를 갖는 제2 비디오 데이터를 전송한 제1 디바이스(200-1) 내지 제N 디바이스(200-N) 중 하나에, 서브 영역 선택 시점에서, 초당 30 프레임의 프레임 레이트를 갖는 제2 비디오 데이터를 전송하라는 제어 신호를 전송할 수 있다.Here, when the switching unit 186 converts the second video data being displayed in the sub-region to the first display region 171, the first devices 200-1 to first transmit the second video data in the sub-region. A control signal to transmit second video data having different frame rates may be transmitted to one of the N devices 200 -N. That is, at one of the first devices 200-1 to Nth devices 200-N that previously transmitted second video data having a frame rate of 15 frames per second, 30 frames per second at the time of sub-region selection A control signal to transmit second video data having a rate may be transmitted.

또한 전환부(186)는 이전에 제1 디스플레이 영역(171)에 디스플레이 되었던 제2 비디오 데이터를, 제2 디스플레이 영역(172)에 포함되는 어느 한 서브 영역에 디스플레이 전환하는데, 이때 초당 30 프레임의 프레임 레이트를 갖는 제2 비디오 데이터를, 초당 15 프레임의 프레임 레이트를 갖는 제2 비디오 데이터로 전송하라는 제어 신호를 출력할 수 있다.In addition, the switching unit 186 displays the second video data previously displayed on the first display area 171 in one sub-region included in the second display area 172, wherein 30 frames per second are displayed. A control signal for transmitting second video data having a rate as second video data having a frame rate of 15 frames per second may be output.

삽입부(187)는 제1 디스플레이 영역(171)에 제2 비디오 데이터가 디스플레이 중인 상태에서 워터마크를 삽입할 수 있는 사용자 인터페이스를 제공하고, 사용자의 선택에 의해, 제1 디스플레이 영역(171)에 디스플레이 중인 제2 비디오 데이터 상에 워터마크를 삽입할 수 있다. 여기서 워터마크는 이미지, 자막, 시각 효과 등 다양한 그래픽 요소를 포함할 수 있다.The insertion unit 187 provides a user interface capable of inserting a watermark while the second video data is being displayed in the first display area 171, and, according to the user's selection, is provided to the first display area 171. A watermark can be embedded on the second video data being displayed. Here, the watermark may include various graphic elements such as images, subtitles, and visual effects.

인코딩부(188)는 제1 디스플레이 영역(171)에 디스플레이 중인 제2 비디오 데이터를 H.264 포맷으로 인코딩 하고, 제1 오디오 데이터를 AAC(advanced audio coding)로 인코딩 할 수 있다. 여기서 서브 디바이스(200)로부터 제2 비디오 데이터만을 수신하여 제1 디스플레이 영역(171)에 디스플레이 하더라도, 메인 디바이스(100) 및 서브 디바이스(200)는 동일한 촬영 개시 신호가 기록되기 때문에, 서브 디바이스(200)로부터 수신하는 제2 비디오 데이터와 메인 디바이스(100)에서 녹음한 제1 오디오 데이터는 동기가 거의 유사하거나 일치할 수 있다.The encoding unit 188 may encode the second video data being displayed in the first display area 171 in H.264 format, and may encode the first audio data in AAC (advanced audio coding). Here, even if only the second video data is received from the sub device 200 and displayed on the first display area 171, since the same shooting start signal is recorded in the main device 100 and the sub device 200, the sub device 200 ), The second video data received from the first audio data recorded by the main device 100 may have almost the same or similar synchronization.

전송부(189)는 제1 디스플레이 영역(171)에 디스플레이 되면서 인코딩이 완료된 제2 비디오 데이터 및 인코딩이 완료된 제1 오디오 데이터 각각을 리얼 타임 메시징 프로토콜(RTMP)을 이용하여 제2 통신망을 통하여 미디어 플랫폼(400)으로 전송할 수 있다. 이로써 미디어 플랫폼(400)에서는 메인 디바이스(100)로부터 실시간으로 전송되는 동영상(제2 비디오 데이터 및 제1 오디오 데이터 포함)을 재생할 수 있다.
The transmission unit 189 displays the encoded second video data and the encoded first audio data, respectively, while being displayed on the first display area 171 using a real-time messaging protocol (RTMP) to media platform through a second communication network. (400). Accordingly, the media platform 400 can play a video (including second video data and first audio data) transmitted in real time from the main device 100.

도 5는 도 1의 영상 처리 시스템(1) 중 서브 디바이스(200)의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다. 도 5를 참조하면 서브 디바이스(200)로서의 제1 디바이스(200-1) 내지 제N 디바이스(200-N) 각각은, 통신부(210), 메모리(220), 입출력부(230), 프로그램 저장부(240), 제어부(250), 디스플레이부(260), 촬영부(270), 추출부(280) 및 변환부(290)를 포함할 수 있다.FIG. 5 is a diagram illustrating a detailed configuration of the sub device 200 of the image processing system 1 of FIG. 1. Referring to FIG. 5, each of the first devices 200-1 to the N devices 200-N as the sub device 200 includes a communication unit 210, a memory 220, an input / output unit 230, and a program storage unit 240, a control unit 250, a display unit 260, a photographing unit 270, an extraction unit 280, and a conversion unit 290.

통신부(210)는 제1 통신망(300)과 연동하여 메인 디바이스(100) 및 서브 디바이스(200) 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공할 수 있다. 이러한 통신부(210)는 메인 디바이스(100)로부터 연결 요청 신호를 수신하고, 메인 디바이스(100)에 연결 승인 신호를 전송하며, 메인 디바이스(100)로부터 촬영 개시 신호 수신하고, 메인 디바이스(100)로 제2 비디오 데이터를 전송하고, 메인 디바이스(100)의 요청에 의하여 프레임 레이트를 변환한 제2 비디오 데이터를 전송할 수 있다. The communication unit 210 may provide a communication interface required to provide a transmission / reception signal between the main device 100 and the sub device 200 in the form of packet data in cooperation with the first communication network 300. The communication unit 210 receives a connection request signal from the main device 100, transmits a connection approval signal to the main device 100, receives a shooting start signal from the main device 100, and sends it to the main device 100. The second video data may be transmitted, and the second video data having the frame rate converted at the request of the main device 100 may be transmitted.

통신부(210)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.The communication unit 210 may be a device including hardware and software necessary for transmitting and receiving a signal such as a control signal or a data signal through a wired or wireless connection with another network device.

메모리(220)는 제어부(250)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 본 실시 예에서 메모리(220)는 서브 디바이스(200)가 촬영한 제1 비디오 데이터 및 제1 오디오 데이터를 포함하는 동영상을 저장할 수 있다. 여기서, 메모리(220)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The memory 220 performs a function of temporarily or permanently storing data processed by the controller 250. In this embodiment, the memory 220 may store a video including first video data and first audio data captured by the sub device 200. Here, the memory 220 may include a magnetic storage media or a flash storage media, but the scope of the present invention is not limited thereto.

입출력부(230)는 터치 인식 디스플레이 제어기 또는 이외의 다양한 입출력 제어기로 구성될 수 있다. 일 예로, 터치 인식 디스플레이 제어기는 장치와 사용자 사이에 출력 인터페이스 및 입력 인터페이스를 제공할 수 있다. 터치 인식 디스플레이 제어기는 전기 신호를 제어부(250)와 송수신할 수 있다. 또한, 터치 인식 디스플레이 제어기는 사용자에게 시각적인 출력 및/또는 청각적인 출력을 표시하며, 시각적 출력은 텍스트, 그래픽, 이미지, 비디오와 이들의 조합을 포함할 수 있고, 청각적 출력은 시각적 출력과 동기화된 오디오를 포함할 수 있다. 이와 같은 입출력부(130)는 예를 들어 터치 인식이 가능한 OLED(Organic light emitting display) 또는 LCD(Liquid crystal display)와 같은 소정의 디스플레이 부재일 수 있다. The input / output unit 230 may be configured as a touch recognition display controller or various other input / output controllers. As an example, the touch-sensitive display controller may provide an output interface and an input interface between the device and the user. The touch recognition display controller may transmit and receive an electrical signal to and from the controller 250. In addition, the touch-sensitive display controller displays visual and / or audible output to the user, the visual output can include text, graphics, images, video and combinations thereof, and the audible output is synchronized with the visual output Audio. The input / output unit 130 may be, for example, a predetermined display member such as an organic light emitting display (OLED) capable of touch recognition or a liquid crystal display (LCD).

프로그램 저장부(240)는 메인 디바이스(100)의 연결 요청 신호에 대응하여 연결 승인 신호를 생성하여 전송하는 작업, 메인 디바이스(100)의 촬영 개시 신호에 대응하여 제1 비디오 데이터 및 제1 오디오 데이터를 포함하는 동영상을 촬영하는 작업, 촬영한 동영상 중 제1 비디오 데이터를 제2 비디오 데이터로 전환하는 작업, 메인 디바이스(100)의 요청에 의해 제2 비디오 데이터의 프레임 레이트를 변경하는 작업 등을 수행하는 제어 소프트웨어를 탑재하고 있다.The program storage unit 240 generates and transmits a connection approval signal in response to a connection request signal of the main device 100, first video data and first audio data in response to a shooting start signal of the main device 100 Performing an operation for recording a video including, converting the first video data to the second video data among the captured videos, changing the frame rate of the second video data at the request of the main device 100, etc. Control software.

제어부(250)는 일종의 중앙처리장치로서, 자체 촬영한 동영상에 포함된 제1 비디오 데이터를 제2 비디오 데이터로 변환하여 메인 디바이스(100)에 전송하는 전체 과정을 제어할 수 있다. 이와 같이 제어부(250)는 메인 디바이스(100) 및 서브 디바이스(200) 사이의 데이터 송수신과 관련한 전체 처리 과정을 제어할 수 있다.The control unit 250 is a kind of central processing unit, and controls the entire process of converting the first video data included in the self-photographed video into the second video data and transmitting the converted video data to the main device 100. As such, the control unit 250 may control the entire processing process related to data transmission and reception between the main device 100 and the sub device 200.

디스플레이부(260)는 서브 디바이스(200)가 촬영중인 동영상 즉 제1 비디오 데이터 및 제1 오디오 데이터를 재생할 수 있다. 여기서 디스플레이부(260)는 예를 들어 터치 인식이 가능한 OLED(organic light emitting display) 또는 LCD(liquid crystal display)와 같은 소정의 디스플레이 부재일 수 있다.The display unit 260 may reproduce the video being captured by the sub device 200, that is, the first video data and the first audio data. Here, the display unit 260 may be, for example, a predetermined display member such as an organic light emitting display (OLED) capable of touch recognition or a liquid crystal display (LCD).

촬영부(270)는 도면에 도시되지 않은 셔터, 일련의 렌즈들, 조리개 및 CCD(charge coupled device)를 포함하는 카메라, ADC(analog to digital converter) 및 마이크 등을 포함할 수 있다. 촬영부(270)는 셔터 입력을 통하여 메인 디바이스(100)가 피사체를 촬영하는 위치와 동일하거나 다른 위치에서, 피사체에 대한 제1 오디오 데이터 및 제1 비디오 데이터를 포함하는 동영상을 실시간으로 촬영할 수 있다. 촬영부(270)는 CCD에 의해 제1 비디오 데이터를 촬영하고, 마이크에 의해 제1 오디오 데이터를 녹음할 수 있다. 촬영부(270)가 촬영하는 동영상은 디스플레이부(260)에 디스플레이 될 수 있다.The photographing unit 270 may include a shutter (not shown), a series of lenses, a camera including an aperture and a charge coupled device (CCD), an analog to digital converter (ADC), a microphone, and the like. The photographing unit 270 may photograph a video including the first audio data and the first video data of the subject in real time, at the same or different location where the main device 100 photographs the subject through the shutter input. . The photographing unit 270 may photograph the first video data by a CCD and record the first audio data by a microphone. The video taken by the photographing unit 270 may be displayed on the display unit 260.

추출부(280)는 촬영부(270)가 촬영한 제1 비디오 데이터 및 제1 오디오 데이터를 포함하는 동영상으로부터 제1 비디오 데이터만을 추출하고, 변환부(290)는 제1 비디오 데이터를 제2 비디오 데이터로 변환한다. 여기서 변환부(290)는 메인 디바이스(100)의 요청에 따라 프레임 레이트 및/또는 해상도를 변환한 제2 비디오 데이터를 생성할 수도 있다. 변환부(290)가 변환한 제2 비디오 데이터는 통신부(210) 및 제1 통신망(300)을 통하여 메인 디바이스(100)로 전송될 수 있다. 여기서 최초 메인 디바이스(100)로 전송되는 제2 비디오 데이터는 예를 들어 초당 15 프레임의 프레임 레이트를 가지며, 메인 디바이스(100)의 요청에 의해 초당 30 프레임의 프레임 레이트를 갖는 제2 비디오 데이터로 변환하여 메인 디바이스(100)로 전송할 수 있다.
The extracting unit 280 extracts only the first video data from the video including the first video data and the first audio data photographed by the photographing unit 270, and the converting unit 290 extracts the first video data from the second video. Convert to data. Here, the conversion unit 290 may generate second video data obtained by converting the frame rate and / or resolution according to the request of the main device 100. The second video data converted by the conversion unit 290 may be transmitted to the main device 100 through the communication unit 210 and the first communication network 300. Here, the second video data transmitted to the first main device 100 is converted into second video data having a frame rate of 30 frames per second at the request of the main device 100, for example, having a frame rate of 15 frames per second. To the main device 100.

도 6은 본 발명의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도 이다. 이하의 설명에서 도 1 내지 도 5에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 6은 메인 디바이스(100) 및 서브 디바이스(200) 제1 통신망(300)을 통하여 데이터를 송수신 하는 영상 처리 방법 중 서브 디바이스(200) 입장에서의 영상 처리 방법을 도시하고 있다.6 is a flowchart illustrating an image processing method according to an embodiment of the present invention. In the following description, portions overlapping with those of FIGS. 1 to 5 will be omitted. 6 illustrates an image processing method of the sub device 200 from among the image processing methods of transmitting and receiving data through the first communication network 300 of the main device 100 and the sub device 200.

도 6을 참조하면, 메인 디바이스(100) 및 서브 디바이스(200)는 사용자의 선택에 의해 실시간 영상 중계 어플리케이션을 실행한다(S610).Referring to FIG. 6, the main device 100 and the sub device 200 execute a real-time video relay application according to a user's selection (S610).

영상 중계 어플리케이션 실행을 완료하면, 메인 디바이스(100)는 서브 디바이스(200)와 연결을 개시한다(S620).When the execution of the video relay application is completed, the main device 100 starts to connect with the sub device 200 (S620).

도 7은 본 발명의 일 실시 예에 따른 메인 디바이스(100)가 서브 디바이스(200)와 연결을 개시하는 방법을 설명하기 위한 흐름도 이다. 도 7을 참조하면, 메인 디바이스(100)는 제1 통신망(300)의 통신 반경 내에 존재하는 서브 디바이스(200)로써의 제1 디바이스(200-1) 내지 제N 디바이스(200-N)를 검색한다(S621).7 is a flowchart illustrating a method of initiating a connection between the main device 100 and the sub device 200 according to an embodiment of the present invention. Referring to FIG. 7, the main device 100 searches for the first device 200-1 to the Nth device 200 -N as the sub device 200 existing within a communication radius of the first communication network 300. (S621).

메인 디바이스(100) 상에 검색된 서브 디바이스(200)로써의 제1 디바이스(200-1) 내지 제N 디바이스(200-N)를 디스플레이 한다(S622).The first devices 200-1 to the N-th device 200-N as the sub-device 200 searched on the main device 100 are displayed (S622).

메인 디바이스(100)는 검색 결과로부터 적어도 하나 이상의 제1 디바이스(200-1) 내지 제N 디바이스(200-N)를 선택하고, 선택한 제1 디바이스(200-1) 내지 제N 디바이스(200-N)에 메인 디바이스(100)와의 연결을 요청하는 연결 요청 신호를 전송한다(S623).The main device 100 selects at least one or more first devices 200-1 to Nth devices 200-N from the search results, and selects the first devices 200-1 to Nth devices 200-N ), A connection request signal for requesting connection with the main device 100 is transmitted (S623).

메인 디바이스(100)는 연결 요청 신호를 전송한 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로부터 연결 승인 신호를 수신한다(S624).The main device 100 receives a connection approval signal from the first device 200-1 to the N-th device 200-N that has transmitted the connection request signal (S624).

메인 디바이스(100)는 연결 승인 신호를 전송한 제1 디바이스(200-1) 내지 제N 디바이스(200-N)에 메인 디바이스(100)와 연결을 개시를 설정한다(S625).The main device 100 establishes a connection with the main device 100 to the first device 200-1 to the N-th device 200 -N that has transmitted the connection approval signal (S625).

연결 개시 설정이 완료되면, 메인 디바이스(100)는 제1 디바이스(200-1) 내지 제N 디바이스(200-N)에 촬영 개시 신호를 생성하여 전송한다(S626). 이로써, 메인 디바이스(100) 및 제1 디바이스(200-1) 내지 제N 디바이스(200-N)는 동일한 촬영 개시 시간이 기록될 수 있다.When the connection start setting is completed, the main device 100 generates and transmits a shooting start signal to the first device 200-1 to the N-th device 200-N (S626). Accordingly, the same shooting start time may be recorded in the main device 100 and the first devices 200-1 to the N-th device 200 -N.

또한 상술한 단계 중 어느 한 시점에서 메인 디바이스(100)는 실시간으로 동영상(제2 비디오 데이터 및 제1 오디오 데이터)를 전송할 외부장치로써의 미디어 플랫폼(400)을 설정할 수 있다.In addition, at any one of the above steps, the main device 100 may set the media platform 400 as an external device to transmit a video (second video data and first audio data) in real time.

다시 도 6으로 돌아와서, 촬영 개시가 되면 메인 디바이스(100) 및 서브 디바이스(200)는 각각 실시간으로 동영상을 촬영한다(S630). 메인 디바이스(100)는 소정의 위치에서 피사체에 대하여 제1 오디오 데이터 및 제1 비디오 데이터를 포함하는 동영상을 실시간으로 촬영할 수 있다. 서브 디바이스(200)는 메인 디바이스(100)가 피사체를 촬영하는 위치와 같거나 다른 하나 이상의 위치에서 피사체에 대하여 제1 오디오 데이터 및 제1 비디오 데이터를 포함하는 동영상을 실시간으로 촬영할 수 있다.6, the main device 100 and the sub device 200 each take a video in real time (S630). The main device 100 may photograph a video including first audio data and first video data in real time with respect to a subject at a predetermined location. The sub device 200 may photograph a video including the first audio data and the first video data in real time with respect to the subject at one or more locations that are the same as or different from the location where the main device 100 photographs the subject.

서브 디바이스(200)는 촬영한 동영상 중 제1 비디오 데이터를 제2 비디오 데이터로 변환한다(S640). 여기서 제1 비디오 데이터라 함은, 내부에 구비된 CCD(미도시)로부터 최소한으로 처리한 데이터를 포함하는 전혀 가공되지 않은 로우(raw) 데이터일 수 있다. 또한 제2 비디오 데이터라 함은, 제1 비디오 데이터를 소정의 포맷으로 변환한 비디오 데이터로써, 예를 들어 비트맵(bitmap) 포맷을 포함할 수 있다. 여기서 제2 비디오 데이터는 비트맵 포맷으로 국한되지 않고 JPEG(joint photographic expert group), GIF(graphics interchange format), PNG(portable network graphics)등의 이미지 포맷을 포함할 수 있다.The sub device 200 converts the first video data from the captured video to the second video data (S640). Here, the first video data may be raw data that is not processed at all, including data processed minimally from a CCD (not shown) provided therein. Also, the second video data is video data obtained by converting the first video data into a predetermined format, and may include, for example, a bitmap format. Here, the second video data is not limited to a bitmap format and may include image formats such as a joint photographic expert group (JPEG), graphics interchange format (GIF), and portable network graphics (PNG).

서브 디바이스(200)는 변환한 제2 비디오 데이터를 제1 통신망(300)을 통하여 메인 디바이스(100)로 전송한다(S650). 서브 디바이스(200)가 메인 디바이스(100)로 전송하는 최초 제2 비디오 데이터는 예를 들어, 초당 15 프레임의 프레임 레이트를 가질 수 있으며, 메인 디바이스(100)의 요청에 따라 초당 30 프레임의 프레임 레이트로 변환한 제2 비디오 데이터를 전송할 수 있다.
The sub device 200 transmits the converted second video data to the main device 100 through the first communication network 300 (S650). The first second video data transmitted by the sub device 200 to the main device 100 may have, for example, a frame rate of 15 frames per second, and a frame rate of 30 frames per second according to the request of the main device 100 Can convert the second video data.

도 8은 본 발명의 다른 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도 이다. 이하의 설명에서 도 1 내지 도 7에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 8은 메인 디바이스(100) 및 서브 디바이스(200) 제1 통신망(300)을 통하여 데이터를 송수신 하는 영상 처리 방법 중 메인 디바이스(100) 입장에서의 영상 처리 방법을 도시하고 있다.8 is a flowchart illustrating an image processing method according to another embodiment of the present invention. In the following description, portions overlapping with the descriptions of FIGS. 1 to 7 will be omitted. 8 illustrates an image processing method of the main device 100 from the viewpoint of the image processing method of transmitting and receiving data through the first communication network 300 of the main device 100 and the sub device 200.

도 8을 참조하면, 메인 디바이스(100) 및 서브 디바이스(200)는 사용자의 선택에 의해 실시간 영상 중계 어플리케이션을 실행한다(S810).Referring to FIG. 8, the main device 100 and the sub device 200 execute a real-time video relay application according to a user's selection (S810).

영상 중계 어플리케이션 실행을 완료하면, 메인 디바이스(100)는 서브 디바이스(200)와 연결을 개시한다(S820). 메인 디바이스(100)가 서브 디바이스(200)와 연결을 개시하는 방법은 상술한 도 7과 동일하므로 생략하기로 한다.When the execution of the video relay application is completed, the main device 100 starts to connect with the sub device 200 (S820). The method in which the main device 100 initiates the connection with the sub device 200 is the same as in FIG. 7 described above, and thus will be omitted.

촬영 개시가 되면 메인 디바이스(100) 및 서브 디바이스(200)는 각각 실시간으로 동영상을 촬영한다(S830). 메인 디바이스(100)는 소정의 위치에서 피사체에 대하여 제1 오디오 데이터 및 제1 비디오 데이터를 포함하는 동영상을 실시간으로 촬영할 수 있다. 서브 디바이스(200)는 메인 디바이스(100)가 피사체를 촬영하는 위치와 같거나 다른 하나 이상의 위치에서 피사체에 대하여 제1 오디오 데이터 및 제1 비디오 데이터를 포함하는 동영상을 실시간으로 촬영할 수 있다.When the shooting starts, the main device 100 and the sub device 200 each take a video in real time (S830). The main device 100 may photograph a video including first audio data and first video data in real time with respect to a subject at a predetermined location. The sub device 200 may photograph a video including the first audio data and the first video data in real time with respect to the subject at one or more locations that are the same as or different from the location where the main device 100 photographs the subject.

메인 디바이스(100)는 자체 촬영한 동영상 중 제1 비디오 데이터를 제2 비디오 데이터로 변환한다(S840). The main device 100 converts the first video data from the self-photographed video to the second video data (S840).

메인 디바이스(100)는 동시에 촬영을 개시한 서브 디바이스(200)로서의 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로부터 제2 비디오 데이터를 수신한다(S850).The main device 100 receives the second video data from the first device 200-1 to the N-th device 200 -N as the sub-device 200 that started shooting at the same time (S850).

메인 디바이스(100)는 제1 디스플레이 영역에 자체 촬영하여 변환한 제2 비디오 데이터를 디스플레이 한다(S860).The main device 100 displays the second video data, which is taken and converted in the first display area, in operation S860.

메인 디바이스(100)는 제1 디스플레이 영역과 다른 제2 디스플레이 영역에 포함되는 각 서브 영역에 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로부터 수신한 제2 비디오 데이터를 디스플레이 한다(S860).The main device 100 displays second video data received from the first device 200-1 to the N-th device 200-N in each sub-region included in the second display area different from the first display area. (S860).

여기서 제1 디스플레이 영역에 디스플레이 되는 제2 비디오 신호가 실시간으로 미디어 플랫폼(400)으로 전송될 수 있다. 또한 제1 디스플레이 영역에 디스플레이 되는 제2 비디오 데이터 및 제2 디스플레이 영역에 포함되는 각 서브 영역에 디스플레이 되는 제2 비디오 데이터는 프레임 레이트가 서로 다를 수 있다. 예를 들어, 제1 디스플레이 영역에는 초당 30 프레임을 갖는 제2 비디오 데이터를 디스플레이 하고, 제2 디스플레이 영역에 포함되는 각 서브 영역에는 초당 15 프레임을 갖는 제2 비디오 데이터를 디스플레이 할 수 있다. 제2 디스플레이 영역에 포함되는 각 서브 영역에는 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로부터 실시간으로 수신한 제2 비디오 데이터를 디스플레이 하기 때문에, 촬영 개시 신호가 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로 전송됨과 동시에, 메인 디바이스(100)는 메인 디바이스(100)에 대하여 초당 30 프레임의 제2 비디오 신호를 제1 디스플레이 영역에 디스플레이 하도록 제어하고, 제1 디바이스(200-1) 내지 제N 디바이스(200-N)에 대하여 초당 15 프레임의 제2 비디오 신호를 전송하라고 제어하여, 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로부터 수신한 초당 15 프레임의 제2 비디오 신호를 제2 디스플레이 영역에 포함되는 각 서브 영역에 디스플레이 할 수 있다.Here, the second video signal displayed on the first display area may be transmitted to the media platform 400 in real time. In addition, the second video data displayed on the first display area and the second video data displayed on each sub-region included in the second display area may have different frame rates. For example, the second video data having 30 frames per second may be displayed in the first display area, and the second video data having 15 frames per second may be displayed in each sub-region included in the second display area. Since the second video data received in real time from the first device 200-1 to the N-th device 200-N is displayed in each sub-region included in the second display area, the shooting start signal is the first device ( 200-1) to the Nth device 200-N, and at the same time, the main device 100 controls the main device 100 to display a second video signal of 30 frames per second on the first display area, The first device 200-1 to the Nth device 200-N are controlled to transmit a second video signal of 15 frames per second, so that the first device 200-1 to the Nth device 200-N The second video signal of 15 frames per second received from can be displayed in each sub-region included in the second display area.

메인 디바이스(100)는 사용자에 의한 어느 한 서브 영역의 선택 수신되었는지 판단한다(S880).The main device 100 determines which sub-region the user has selected and received (S880).

판단 결과, 사용자에 의한 어느 한 서브 영역이 선택 수신된 경우, 메인 디바이스(100)는 선택 수신한 서브 영역에 디스플레이 중인 제2 비디오 데이터를 제1 디스플레이 영역에 전환 디스플레이 한다(S890). 그러나, 사용자에 의한 어느 한 서브 영역이 선택 수신되지 않은 경우 제1 디스플레이 영역에는 메인 디바이스(100)가 촬영하여 변환한 제2 비디오 데이터를 디스플레이 한다.As a result of the determination, if any one sub-region is selected and received by the user, the main device 100 switches and displays the second video data being displayed on the selected sub-region in the first display region (S890). However, when one sub-area is not selected and received by the user, the second video data captured and converted by the main device 100 is displayed in the first display area.

여기서 메인 디바이스(100)는 서브 영역에 디스플레이 중인 제2 비디오 데이터를 제1 디스플레이 영역으로 전환할 때, 해당 서브 영역에 제2 비디오 데이터를 전송하는 제1 디바이스(200-1) 내지 제N 디바이스(200-N) 중 하나에, 프레임 레이트를 다르게 한 제2 비디오 데이터를 전송하라는 제어 신호를 전송할 수 있다. 즉, 이전 초당 15 프레임의 프레임 레이트를 갖는 제2 비디오 데이터를 전송한 제1 디바이스(200-1) 내지 제N 디바이스(200-N) 중 하나에, 서브 영역 선택 시점에서, 초당 30 프레임의 프레임 레이트를 갖는 제2 비디오 데이터를 전송하라는 제어 신호를 전송할 수 있다. 또한 메인 디바이스(100)는 이전에 제1 디스플레이 영역에 디스플레이 되었던 제2 비디오 데이터를, 제2 디스플레이 영역에 포함하는 어느 한 서브 영역에 디스플레이 전환하는데, 이 때 초당 30 프레임의 프레임 레이트를 갖는 제2 비디오 데이터를, 초당 15 프레임의 프레임 레이트를 갖는 제2 비디오 데이터로 전송하라는 제어 신호를 출력할 수 있다.Here, when the main device 100 converts the second video data being displayed in the sub area to the first display area, the main device 100 transmits the second video data to the sub area 200-1 to the N device ( 200-N), a control signal for transmitting second video data having different frame rates may be transmitted. That is, at one of the first devices 200-1 to Nth devices 200-N that previously transmitted second video data having a frame rate of 15 frames per second, 30 frames per second at the time of sub-region selection A control signal to transmit second video data having a rate may be transmitted. In addition, the main device 100 displays and switches the second video data previously displayed on the first display area to any one sub-area included in the second display area, wherein the second video data has a frame rate of 30 frames per second. A control signal for transmitting video data as second video data having a frame rate of 15 frames per second may be output.

메인 디바이스(100)는 제1 디스플레이 영역에 디스플레이 중인 제2 비디오 데이터를 H.264 포맷으로 인코딩 하고, 메인 디바이스(100)가 촬영한 동영상 중 제1 오디오 데이터를 AAC(advanced audio coding)로 인코딩 한다(S900). 여기서 서브 디바이스(200)로부터 제2 비디오 데이터만을 수신하여 제1 디스플레이 영역에 디스플레이 하더라도, 메인 디바이스(100) 및 서브 디바이스(200)는 동일한 촬영 개시 신호가 기록되기 때문에, 서브 디바이스(200)로부터 수신하는 제2 비디오 데이터와 메인 디바이스(100)에서 녹음한 제1 오디오 데이터는 동기가 거의 유사하거나 일치할 수 있다.The main device 100 encodes the second video data being displayed on the first display area in H.264 format, and encodes the first audio data among the videos captured by the main device 100 with AAC (Advanced Audio Coding). (S900). Here, even if only the second video data is received from the sub device 200 and displayed on the first display area, the main device 100 and the sub device 200 receive the same signal from the sub device 200 because the same shooting start signal is recorded. The second video data and the first audio data recorded by the main device 100 may have almost the same or similar synchronization.

메인 디바이스(100)는 제1 디스플레이 영역에 디스플레이 되면서 인코딩이 완료된 제2 비디오 데이터 및 인코딩이 완료된 제1 오디오 데이터 각각을 리얼 타임 메시징 프로토콜(RTMP)을 이용하여 제2 통신망(500)을 통하여 미디어 플랫폼(400)으로 전송한다(S910). 이로써 미디어 플랫폼(400)에서는 메인 디바이스(100)로부터 실시간으로 전송되는 동영상(제2 비디오 데이터 및 제1 오디오 데이터 포함)을 재생할 수 있다.
While the main device 100 is displayed on the first display area, each of the encoded second video data and the encoded first audio data is real-time messaging protocol (RTMP) through the second communication network 500 through the media platform. It transmits to (400) (S910). Accordingly, the media platform 400 can play a video (including second video data and first audio data) transmitted in real time from the main device 100.

도 9는 본 발명의 다른 실시 예에 따른 도 2의 메인 디바이스(100) 중 영상 처리부(180)의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다. 이하의 설명에서 도 1 내지 도 8에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 9 참조하면, 영상 처리부(180)는, 수신부(180-1), 서피스 생성부(180-2), 서피스 전환부(180-3), 검색부(181), 설정부(182), 촬영부(183), 변환부(184), 디스플레이 제어부(185), 삽입부(187), 인코딩부(188) 및 전송부(189)를 포함할 수 있다.9 is a diagram for schematically explaining a detailed configuration of the image processing unit 180 among the main devices 100 of FIG. 2 according to another embodiment of the present invention. In the following description, portions overlapping with the descriptions of FIGS. 1 to 8 will be omitted. Referring to FIG. 9, the image processing unit 180 includes a receiving unit 180-1, a surface generating unit 180-2, a surface switching unit 180-3, a searching unit 181, a setting unit 182, and imaging It may include a unit 183, a conversion unit 184, a display control unit 185, an insertion unit 187, an encoding unit 188, and a transmission unit 189.

검색부(181)는 사용자의 서브 디바이스(200) 검색 요청 신호 수신에 대응하여, 제1 통신망(300)의 통신 반경 내에 존재하는 서브 디바이스(200)로써의 제1 디바이스(200-1) 내지 제N 디바이스(200-N)를 검색하고, 서브 디바이스(200)의 검색 결과를 디스플레이부(170)에 출력할 수 있다.The search unit 181 responds to the reception of the user's sub-device 200 search request signal, and the first device 200-1 to the first device 200-1 as the sub-device 200 existing within a communication radius of the first communication network 300 The N device 200 -N may be searched, and the search result of the sub device 200 may be output to the display unit 170.

설정부(182)는 서브 디바이스(200)로써의 제1 디바이스(200-1) 내지 제N 디바이스(200-N) 검색 결과를 확인하고, 검색 결과로부터 적어도 하나 이상의 제1 디바이스(200-1) 내지 제N 디바이스(200-N)를 선택하고, 선택한 제1 디바이스(200-1) 내지 제N 디바이스(200-N)에 메인 디바이스(100)와의 연결을 요청하는 연결 요청 신호를 전송할 수 있다. 설정부(182)는 연결 요청 신호를 전송한 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로부터 연결 승인 신호를 수신하면, 디스플레이부(170) 상에 연결 승인 신호를 전송한 제1 디바이스(200-1) 내지 제N 디바이스(200-N)를 디스플레이 하고, 적어도 하나의 제1 디바이스(200-1) 내지 제N 디바이스(200-N)에 대한 선택 신호 수신에 대응하여 메인 디바이스(100)와 연결 개시를 설정할 수 있다.The setting unit 182 checks the search results of the first device 200-1 to the Nth device 200-N as the sub device 200, and at least one or more first devices 200-1 from the search results The N-th device 200-N may be selected, and a connection request signal requesting connection to the main device 100 may be transmitted to the selected first devices 200-1 to N-th device 200-N. When the setting unit 182 receives the connection approval signal from the first device 200-1 to the Nth device 200-N that has transmitted the connection request signal, the setting unit 182 transmits the connection approval signal on the display unit 170. The first device 200-1 to the N-th device 200-N are displayed, and the main device corresponds to reception of a selection signal for at least one of the first devices 200-1 to the N-th device 200-N. A connection start can be established with the device 100.

설정부(182)는 검색 과정 또는 연결 개시 과정 중 어느 한 시점에서 실시간으로 동영상(제2 비디오 데이터 및 제1 오디오 데이터)를 전송할 외부장치로써의 미디어 플랫폼(400)을 설정할 수 있다. 설정부(182)가 연결 개시 설정을 완료하면, 제1 디바이스(200-1) 내지 제N 디바이스(200-N)에 촬영 개시 신호를 생성하여 전송함으로써, 메인 디바이스(100) 및 제1 디바이스(200-1) 내지 제N 디바이스(200-N)는 동일한 촬영 개시 시간이 기록될 수 있다.The setting unit 182 may set the media platform 400 as an external device to transmit a video (second video data and first audio data) in real time at any point in the search process or the connection start process. When the setting unit 182 completes the connection initiation setting, the main device 100 and the first device (eg, by generating and transmitting a photographing start signal to the first device 200-1 to the Nth device 200-N) 200-1) to the Nth device 200-N may record the same shooting start time.

촬영부(183)는 도면에 도시되지 않은 셔터, 일련의 렌즈들, 조리개 및 CCD(charge coupled device)를 포함하는 카메라, ADC(analog to digital converter) 및 마이크 등을 포함할 수 있다. 촬영부(183)는 셔터 입력을 통하여 소정의 위치에서 피사체에 대한 제1 오디오 데이터 및 제1 비디오 데이터를 포함하는 동영상을 실시간으로 촬영할 수 있다. 촬영부(183)는 CCD에 의해 제1 비디오 데이터를 촬영하고, 마이크에 의해 제1 오디오 데이터를 녹음할 수 있다.The photographing unit 183 may include a shutter (not shown), a series of lenses, a camera including an aperture and a charge coupled device (CCD), an analog to digital converter (ADC), a microphone, and the like. The photographing unit 183 may photograph a video including first audio data and first video data of a subject at a predetermined location in real time through a shutter input. The photographing unit 183 may photograph the first video data by a CCD and record the first audio data by a microphone.

변환부(184)는 실시간으로 촬영한 제1 비디오 데이터를 제2 비디오 데이터로 변환할 수 있다. 여기서 제1 비디오 데이터라 함은, 내부에 구비된 CCD(미도시)로부터 최소한으로 처리한 데이터를 포함하는 전혀 가공되지 않은 로우(raw) 데이터 일 수 있다. 또한 제2 비디오 데이터라 함은, 제1 비디오 데이터를 소정의 포맷으로 변환한 비디오 데이터를 포함할 수 있으며, 예를 들어, 비트맵(bitmap) 포맷의 데이터를 포함할 수 있다. 또한 변환부(184)는 제어 신호에 따라 프레임 레이트 및/또는 해상도를 변환한 제2 비디오 데이터를 생성할 수도 있다.The converter 184 may convert the first video data captured in real time into second video data. Here, the first video data may be raw data that is not processed at all, including data processed minimally from a CCD (not shown) provided therein. Also, the second video data may include video data obtained by converting the first video data into a predetermined format, and may include, for example, bitmap format data. Also, the converter 184 may generate second video data obtained by converting a frame rate and / or resolution according to a control signal.

수신부(180-1)는 촬영부(183)의 촬영 개시 시간과 동일하고 촬영부(183)의 촬영 위치와 다른 하나 이상의 위치에서 연결 승인 신호를 전송한 서브 디바이스(200) 즉, 적어도 하나의 제1 디바이스(200-1) 내지 제N 디바이스(200-N)에 의해 피사체에 대하여 촬영한 제1 비디오 데이터 및 제1 오디오 데이터를 포함하는 동영상 중 제1 오디오 데이터를 제외하고 제1 비디오 데이터를 변환한 제2 비디오 데이터를 수신할 수 있다.The receiving unit 180-1 is the same as the recording start time of the photographing unit 183 and transmits a connection approval signal at one or more locations different from the photographing location of the photographing unit 183, that is, at least one agent. Convert the first video data except the first audio data among the videos including the first video data and the first audio data captured by the first device 200-1 to the Nth device 200-N. One second video data can be received.

서피스 생성부(180-2)는 촬영부(183)가 촬영하여 변환부(184)를 통해 변화된 제2 비디오 데이터 및 수신부(180-1)가 수신한 적어도 하나의 제2 비디오 데이터를 포함하는 복수의 제2 비디오 데이터를 하나의 화면에 재생 디스플레이 위해, 디스플레이부(170)의 화면에 제1 서피스 및 적어도 하나의 제2 서피스를 생성할 수 있다. 여기서 제1 서피스는 예를 들어, 디스플레이 영역(170) 상의 하나의 전체 화면을 포함할 수 있고, 제2 서피스는 하나의 전체 화면과 함께 재생 디스플레이 되지만, 전체 화면 보다 작고 전체 화면의 소정 위치에 구비된 일부 화면을 포함할 수 있다. 예를 들어, 제1 서피스는 상술한 제1 디스플레이 영역에 대응될 수 있고, 제2 서피스는 제2 디스플레이 영역에 대응될 수 있으나, 본 실시 예에서 제2 서피스에 대응되는 제2 디스플레이 영역은 제1 디스플레이 영역과 다른 별도의 영역이 아니라, 제1 디스플레이 영역에 포함될 수 있다.The surface generator 180-2 includes a plurality of second video data captured by the photographing unit 183 and changed through the conversion unit 184 and at least one second video data received by the receiving unit 180-1. To reproduce and display the second video data on one screen, a first surface and at least one second surface may be generated on the screen of the display unit 170. Here, the first surface may include, for example, one full screen on the display area 170, and the second surface is reproduced and displayed together with one full screen, but is smaller than the full screen and is provided at a predetermined position on the entire screen. May include some screens. For example, the first surface may correspond to the first display area described above, and the second surface may correspond to the second display area, but in the present embodiment, the second display area corresponding to the second surface is It may be included in the first display area, not a separate area different from the one display area.

도 10은 본 발명의 일 실시 예에 따른 서피스 생성을 설명하기 위하여 도시한 도면이다. 도 10을 참조하면, 메인 디바이스(100)는 하나의 화면에 여러 정보 또는 데이터를 디스플레이 하기 위해 적정 기준에 따라 어려 정보 또는 데이터를 분류하고, 분류된 각 정보 또는 데이터를 나타내기 위한 서피스(surface)(또는 레이어(layer))를 생성할 수 있다. 이렇게 생성한 각각의 서피스에 해당 정보 또는 데이터를 전송한 후 이들 서피스를 계층적으로 결합하여 하나의 화면으로 생성하고, 디스플레이부(170)에 출력할 수 있다. 하나의 화면은 적어도 하나의 서피스에 의해 구성되며, 이때 각각의 서피스의 크기, 위치 등은 서로 동일하거나 상이할 수 있다. 도 10은 서피스 A(1001), 서피스 B(1002), 서피스 C(1003)가 결합되어 즉, 오버레이되어, 최종적으로 디스플레이부(170)에 한 화면이 생성되는 것을 나타낸 것이다. 여기서, 각각의 서피스에는 서로 다른 데이터들이 디스플레이 된다.10 is a view illustrating a surface generation according to an embodiment of the present invention. Referring to FIG. 10, the main device 100 classifies young information or data according to an appropriate criterion to display various information or data on one screen, and a surface for displaying each classified information or data (Or layer) can be created. After transmitting the information or data to each of the generated surfaces, the surfaces may be hierarchically combined to generate a single screen and output to the display unit 170. One screen is composed of at least one surface, and the size and position of each surface may be the same or different from each other. 10 illustrates that a surface A 1001, a surface B 1002, and a surface C 1003 are combined, that is, overlaid, and finally, a screen is generated on the display unit 170. Here, different data are displayed on each surface.

도 11은 본 발명의 다른 실시 예에 따른 도 1의 메인 디바이스(100)의 디스플레이부(170) 구성을 개략적으로 설명하기 위하여 도시한 도면이다. 도 10 및 도 11a를 참조하면, 서피스 생성부(180-2)는 자체 촬영한 제2 비디오 데이터 및 서브 디바이스(200)로부터 수신한 하나 이상의 제2 비디오 데이터를 포함하는 복수의 제2 비디오 데이터를 하나의 화면에 재생 디스플레이 위해, 제1 서피스(1101) 및 적어도 하나의 제2 서피스(1102, 1103, 1104, 1105)를 생성할 수 있다. 제1 서피스(1101)에는 복수의 제2 비디오 데이터 중 어느 한 제2 비디오 데이터를 전송할 수 있다. 예를 들어, 제1 서피스(1101)에는 자체 촬영한 제2 비디오 데이터(A)를 전송할 수 있다. 적어도 하나의 제2 서피스(1102, 1103, 1104, 1105)에는 복수의 제2 비디오 데이터 각각을 전송할 수 있다. 예를 들어 적어도 하나의 제2 서피스(1102, 1103, 1104, 1105)에는 자체 촬영한 제2 비디오 데이터(A) 및 연결 승인 신호를 전송한 서브 디바이스(200)로부터 수신한 적어도 하나의 제2 비디오 데이터(B, C, D)를 전송할 수 있다. 여기서, 제2 서피스(1102, 1103, 1104, 1105)의 개수는 연결 승인 신호를 전송한 제1 디바이스(200-1) 내지 제N 디바이스(200-N)의 개수(B, C, D, 3개) 및 메인 디바이스(100)의 개수(A, 1개)의 합과 동일할 수 있으며, 제1 서피스 및 제2 서피스의 총 합은 연결 승인 신호를 전송한 제1 디바이스(200-1) 내지 제N 디바이스(200-N) 개수 및 메인 디바이스(100) 개수의 총 합 보다 하나 더 많을 수 있다. 11 is a view for schematically explaining the configuration of the display unit 170 of the main device 100 of FIG. 1 according to another embodiment of the present invention. Referring to FIGS. 10 and 11A, the surface generator 180-2 may include a plurality of second video data including self-photographed second video data and one or more second video data received from the sub device 200. For reproduction display on one screen, a first surface 1101 and at least one second surface 1102, 1103, 1104, 1105 may be generated. Any second video data among a plurality of second video data may be transmitted to the first surface 1101. For example, the self-photographed second video data A may be transmitted to the first surface 1101. Each of the plurality of second video data may be transmitted to the at least one second surface 1102, 1103, 1104, 1105. For example, the at least one second surface 1102, 1103, 1104, 1105 may include at least one second video received from the self-photographed second video data A and the sub device 200 that transmits a connection approval signal. Data (B, C, D) can be transmitted. Here, the number of the second surfaces 1102, 1103, 1104, and 1105 is the number (B, C, D, 3) of the first device 200-1 to the Nth device 200-N that transmitted the connection approval signal. Number) and the number of main devices 100 (A, 1) may be the same, and the total sum of the first surface and the second surface may be the first device 200-1 to which the connection approval signal is transmitted. It may be one more than the total sum of the number of Nth devices 200-N and the number of main devices 100.

디스플레이 제어부(185)는 계층적인 결합에 의해 제1 서피스(1101, A) 및 적어도 하나의 제2 서피스(1102, 1103, 1104, 1105, A, B, C, D)를 하나의 화면(170) 상에 오버레이하여 재생 디스플레이 하고, 제1 서피스(1101, A)에 대응하는 제2 서피스(1102)를 블로킹 처리할 수 있다. 여기서 블로킹 처리라 함은, 제1 서피스(1101, A)에 대응하는 제2 서피스(1102, A)를 투명하게 처리하여, 가려졌던 제1 서피스(1101, A)의 해당 부분을 가시화시키는 처리라 할 수 있다. 따라서, 도 11a에 도시된 바와 같이, 디스플레이부(170)에 재생 디스플레이 되는 서피스는 제1 서피스(1101, A) 및 3개의 제2 서피스(1103, 1104, 1105, B, C, D)가 된다.The display control unit 185 displays the first surface 1101, A and the at least one second surface 1102, 1103, 1104, 1105, A, B, C, D by a hierarchical combination on one screen 170. The display may be overlaid and reproduced, and the second surface 1102 corresponding to the first surfaces 1101 and A may be blocked. Here, the blocking process refers to a process of transparently processing the second surfaces 1102 and A corresponding to the first surfaces 1101 and A to visualize the corresponding portions of the hidden first surfaces 1101 and A. can do. Accordingly, as shown in FIG. 11A, surfaces reproduced and displayed on the display unit 170 become first surfaces 1101, A and three second surfaces 1103, 1104, 1105, B, C, and D. .

선택적 실시 예로, 디스플레이 제어부(185)는 계층적인 결합에 의해 제1 서피스(1101, A) 및 적어도 하나의 제2 서피스(1102, 1103, 1104, 1105, A, B, C, D)를 하나의 화면(170) 상에 오버레이하여 재생 디스플레이 할 때, 촬영부(183)의 동영상 촬영 상태를 유지하도록 제어할 수 있다.In an exemplary embodiment, the display control unit 185 may combine the first surfaces 1101, A and the at least one second surfaces 1102, 1103, 1104, 1105, A, B, C, and D by hierarchical combination. When overlaying and displaying on the screen 170, it may be controlled to maintain the video shooting state of the shooting unit 183.

종래의 경우 메인 디바이스(100)가 서브 디바이스(200)로부터 하나 이상의 제2 비디오 데이터를 수신하면, 메인 디바이스(100)가 수신한 하나 이상의 제2 비디오 데이터를 하드웨어 코딩을 수행하여 메인 디바이스(100) 상에 디스플레이 하기 때문에, 프로세스 상 메인 디바이스(100)의 비디오 촬영 기능 즉, 카메라가 동작 종료될 수 밖에 없었다. 그러나, 본 실시 예에서는 메인 디바이스(100)가 별도의 하드웨어 코딩을 수행하지 않고, 자체적인 소프트웨어 코딩을 수행하며, 독립적인 복수 개의 서피스를 생성하여 서브 디바이스(200)로부터 수신한 하나 이상의 제2 비디오 데이터를 재생 디스플레이 하기 때문에 메인 디바이스(100)의 비디오 촬영 기능 즉, 카메라가 동작을 유지할 수 있게 된다.In the conventional case, when the main device 100 receives one or more second video data from the sub device 200, the main device 100 performs hardware coding on one or more second video data received by the main device 100. Since it is displayed on the screen, the video capturing function of the main device 100 in the process, that is, the camera was forced to end. However, in this embodiment, the main device 100 does not perform separate hardware coding, performs its own software coding, and generates one or more independent multiple surfaces to receive one or more second videos received from the sub device 200. Since the data is reproduced and displayed, the video capturing function of the main device 100, that is, the camera can maintain operation.

이와 같이 메인 디바이스(100)가 복수개의 서피스를 생성하고 서브 디바이스(200)로부터 하나 이상의 제2 비디오 데이터를 재생 디스플레이 함과 동시에 메인 디바이스(100)의 카메라를 온 시켜 동영상 촬영을 유지시킴으로써, 제1 통신망(300)에 에러가 발생하여 서브 디바이스(200)로부터 제2 비디오 데이터를 수신하지 못하더라도, 메인 디바이스(100)에서 촬영한 제2 비디오 데이터 및 제1 오디오 데이터를 모바일 플랫폼(400)으로 실시간 중계하여 모바일 플랫폼(400)에서 제2 비디오 데이터 및 제1 오디오 데이터를 실시간으로 재생할 수 있게 된다.As described above, the main device 100 generates a plurality of surfaces, reproduces and displays one or more second video data from the sub device 200, and at the same time turns on the camera of the main device 100 to maintain video recording, thereby maintaining the first Even if the second network data is not received from the sub device 200 due to an error in the communication network 300, the second video data and the first audio data captured by the main device 100 are real-time to the mobile platform 400. By relaying, the second video data and the first audio data can be reproduced in real time on the mobile platform 400.

서피스 전환부(180-3)는 적어도 하나의 제2 서피스 중 어느 한 제2 서피스에 대한 화면 전환 이벤트 신호 수신에 대응하여, 제2 서피스를 제1 서피스로 전환처리하고, 전환처리 전 제1 서피스를 제2 서피스로 전환처리 할 수 있다. 서피스 전환부(180-3)는 도 11a로부터 메인 디바이스(100)의 디스플레이부(170)에 재생 디스플레이 중인 제1 서피스(1101, A) 및 적어도 하나의 제2 서피스(1103, 1104, 1105, B, C, D) 중 어느 한 제2 서피스(예를 들어, 1104, C)에 대한 화면 전환 이벤트 신호 수신에 대응하여, 도 11b에 도시된 바와 같이 제2 서피스(1104, C)를 제1 서피스(1101, C)로 전환처리하고, 전환처리 전 제1 서피스(1101, A)를 제2 서피스(1102, A)로 전환처리 할 수 있다.The surface switching unit 180-3 converts the second surface to the first surface in response to receiving a screen change event signal for any one of the at least one second surface, and converts the first surface to the first surface. Can be converted to a second surface. The surface switching unit 180-3 is the first surface 1101, A and at least one second surface 1103, 1104, 1105, B being reproduced and displayed on the display unit 170 of the main device 100 from FIG. 11A. , C, D) in response to receiving a screen change event signal for any second surface (eg, 1104, C), as shown in FIG. 11B, the second surface 1104, C is the first surface Converting to (1101, C), the first surface (1101, A) before the conversion process can be converted to the second surface (1102, A).

디스플레이 제어부(185)는 계층적인 결합에 의해 전환처리 후 제1 서피스(1101, C) 및 적어도 하나의 제2 서피스(1102, 1103, 1105, A, B, D) 를 하나의 화면으로 합성하여 재생 디스플레이 하며, 전환처리 후 제1 서피스(1101, C)에 대응하는 제2 서피스(1104, C)를 블로킹 처리할 수 있다.The display control unit 185 synthesizes and plays the first surface 1101, C and at least one second surface 1102, 1103, 1105, A, B, D after converting by hierarchical combining into one screen. After displaying, the second surfaces 1104 and C corresponding to the first surfaces 1101 and C may be blocked.

디스플레이 제어부(185)는 제1 서피스(1101)에 재생 디스플레이 되는 제2 비디오 데이터(도 11a의 A 또는 도 11b의 C, 이하, A라 표기함)가 실시간으로 미디어 플랫폼(400)에 전송되도록 제어할 수 있다. 또한 제1 서피스(1101)에 재생 디스플레이 되는 제2 비디오 데이터(A) 및 적어도 하나의 제2 서피스(도 11a의 1103, 1104, 1105 또는 도 11b의 1102, 1103, 1105, 이하, 1103, 1104, 1105라 표기함)에 재생 디스플레이 되는 제2 비디오 데이터(도 11a의 B, C, D 또는 도 11b의 A, B, D, 이하, B, C, D라 표기함)는 프레임 레이트가 서로 다를 수 있다. 예를 들어, 제1 서피스(1101)에는 초당 30 프레임을 갖는 제2 비디오 데이터(A)를 재생 디스플레이 하고, 제2 서피스(1103, 1104, 1105)에는 초당 15 프레임을 갖는 제2 비디오 데이터(B, C, D)를 디스플레이 할 수 있다. 도 11a에 도시된 바와 같이 디스플레이부(170)의 한 화면에 포함되는 제2 서피스(1103, 1104, 1105)는 제1 서피스(1101) 보다 그 크기가 더 작기 때문에, 프레임 레이트가 더 작더라도 재생 디스플레이 하는데 문제가 발생하지 않는다.The display control unit 185 controls the second video data (A in FIG. 11A or C in FIG. 11B, hereinafter referred to as A) to be reproduced and displayed on the first surface 1101 to be transmitted to the media platform 400 in real time. can do. Also, the second video data A reproduced and displayed on the first surface 1101 and at least one second surface (1103, 1104, 1105 in FIG. 11A or 1102, 1103, 1105 in FIG. 11B, or less, 1103, 1104, The frame rate of the second video data (B, C, D in FIG. 11A or A, B, D, hereinafter, B, C, D in FIG. 11B) displayed on the playback may be different from each other. have. For example, second video data A having 30 frames per second is reproduced and displayed on the first surface 1101, and second video data B having 15 frames per second is displayed on the second surfaces 1103, 1104, and 1105. , C, D). 11A, the second surfaces 1103, 1104, and 1105 included in one screen of the display unit 170 are smaller in size than the first surfaces 1101, so even if the frame rate is smaller, There is no problem displaying.

제2 서피스(1103, 1104, 1105)에는 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로부터 실시간으로 수신한 제2 비디오 데이터(B, C, D)를 재생 디스플레이 하기 때문에, 촬영 개시 신호가 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로 전송됨과 동시에, 디스플레이 제어부(185)는 메인 디바이스(100)에 대하여 초당 30 프레임의 제2 비디오 데이터(A)를 제1 서피스(1101)에 재생 디스플레이 하도록 제어하고, 제1 디바이스(200-1) 내지 제N 디바이스(200-N)에 대하여 초당 15 프레임의 제2 비디오 데이터(B, C, D)를 전송하라고 제어하여, 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로부터 수신한 초당 15 프레임의 제2 비디오 데이터(B, C, D)를 제2 서피스(1103, 1104, 1105)에 재생 디스플레이 할 수 있다.Since the second surfaces 1103, 1104, and 1105 reproduce and display the second video data B, C, and D received in real time from the first device 200-1 to the N device 200-N, The photographing start signal is transmitted to the first device 200-1 to the N device 200-N, and at the same time, the display control unit 185 second video data (A) of 30 frames per second to the main device 100 Is controlled to be displayed on the first surface 1101, and transmits the second video data (B, C, D) of 15 frames per second to the first devices 200-1 to the N devices 200-N. The second surface (1103, 1104, 1105) of the second video data (B, C, D) of 15 frames per second received from the first device (200-1) to the N device (200-N) Can be played on display.

본 실시 예에서는 제1 서피스(1101)에 재생 디스플레이 되는 제2 비디오 데이터(A) 및 제2 서피스(1103, 1104, 1105)에 재생 디스플레이 되는 제2 비디오 데이터(B, C, D)의 프레임 레이트가 서로 다르다고 개시하였으나, 프레임 레이트 이외에 해상도가 서로 다를 수 있다. 예를 들어, 디스플레이 제어부(185)는 제1 서피스(1101)에 1280×720의 해상도를 갖는 제2 비디오 데이터(A)를 디스플레이 할 수 있고, 제2 서피스(1103, 1104, 1105)에 640×480의 해상도를 갖는 제2 비디오 데이터(B, C, D)를 디스플레이 할 수 있다.In this embodiment, the frame rate of the second video data (A) reproduced and displayed on the first surface 1101 and the second video data (B, C, D) displayed and reproduced on the second surfaces 1103, 1104, 1105 Although it is disclosed that is different from each other, resolutions may be different from each other in addition to the frame rate. For example, the display control unit 185 may display second video data A having a resolution of 1280 × 720 on the first surface 1101, and 640 × on the second surfaces 1103, 1104, and 1105. The second video data (B, C, D) having a resolution of 480 may be displayed.

서피스 전환부(180-3)는 제2 서피스(1103, 1104, 1105)에 재생 디스플레이 중인 제2 비디오 데이터(B, C, D) 중 어느 하나(C)를 제1 서피스(1101)로 전환할 때, 해당 제2 서피스(1104)에 제2 비디오 데이터(C)를 전송하는 제1 디바이스(200-1) 내지 제N 디바이스(200-N) 중 하나에, 프레임 레이트를 다르게 한 제2 비디오 데이터(C)를 전송하라는 제어 신호를 전송할 수 있다. 즉, 이전 초당 15 프레임의 프레임 레이트를 갖는 제2 비디오 데이터(C)를 전송한 제1 디바이스(200-1) 내지 제N 디바이스(200-N) 중 하나에, 화면 전환 이벤트 신호 수신 시점에서, 초당 30 프레임의 프레임 레이트를 갖는 제2 비디오 데이터(C)를 전송하라는 제어 신호를 전송할 수 있다.The surface switching unit 180-3 converts any one of the second video data (B, C, D) C being displayed on the second surfaces 1103, 1104, 1105 to the first surface 1101. At this time, the second video data having a different frame rate to one of the first device 200-1 to the Nth device 200-N transmitting the second video data C to the corresponding second surface 1104 A control signal to transmit (C) may be transmitted. That is, at one of the first devices 200-1 to the N-th device 200-N, which previously transmitted the second video data C having a frame rate of 15 frames per second, at the time of receiving the screen change event signal, A control signal to transmit second video data C having a frame rate of 30 frames per second may be transmitted.

또한 서피스 전환부(180-3)는 이전에 제1 서피스(1101)에 재생 디스플레이 되었던 제2 비디오 데이터(A)를, 제2 서피스(1102)로 전환하는데, 이때 초당 30 프레임의 프레임 레이트를 갖는 제2 비디오 데이터(A)를, 초당 15 프레임의 프레임 레이트를 갖는 제2 비디오 데이터(A)로 전송하라는 제어 신호를 출력할 수 있다.In addition, the surface switching unit 180-3 converts the second video data A previously displayed on the first surface 1101 to the second surface 1102, wherein the frame rate is 30 frames per second. A control signal for transmitting the second video data A to the second video data A having a frame rate of 15 frames per second may be output.

삽입부(187)는 제1 서피스(1101)에 제2 비디오 데이터(A)가 재생 디스플레이 중인 상태에서 워터마크를 삽입할 수 있는 사용자 인터페이스를 제공하고, 사용자의 선택에 의해, 제1 서피스(1101)에 디스플레이 중인 제2 비디오 데이터(A) 상에 워터마크를 삽입할 수 있다. 여기서 워터마크는 이미지, 자막, 시각 효과 등 다양한 그래픽 요소를 포함할 수 있다.The insertion unit 187 provides a user interface to insert a watermark while the second video data A is being displayed on the first surface 1101, and, according to the user's selection, the first surface 1101 ), A watermark can be inserted on the second video data A being displayed. Here, the watermark may include various graphic elements such as images, subtitles, and visual effects.

인코딩부(188)는 제1 서피스(1101)에 재생 디스플레이 중인 제2 비디오 데이터(A)를 H.264 포맷으로 인코딩 하고, 제1 오디오 데이터를 AAC(advanced audio coding)로 인코딩 할 수 있다. 여기서 서브 디바이스(200)로부터 제2 비디오 데이터만을 수신하여 제1 서피스(1101)에 디스플레이 하더라도, 메인 디바이스(100) 및 서브 디바이스(200)는 동일한 촬영 개시 신호가 기록되기 때문에, 서브 디바이스(200)로부터 수신하는 제2 비디오 데이터와 메인 디바이스(100)에서 녹음한 제1 오디오 데이터는 동기가 거의 유사하거나 일치할 수 있다.The encoding unit 188 may encode the second video data A being played and displayed on the first surface 1101 in H.264 format, and may encode the first audio data in AAC (advanced audio coding). Here, even if only the second video data is received from the sub device 200 and displayed on the first surface 1101, the main device 100 and the sub device 200 record the same shooting start signal, so the sub device 200 The second video data received from and the first audio data recorded by the main device 100 may have almost the same or similar synchronization.

전송부(189)는 제1 서피스(1101)에 디스플레이 되면서 인코딩이 완료된 제2 비디오 데이터 및 인코딩이 완료된 제1 오디오 데이터 각각을 리얼 타임 메시징 프로토콜(RTMP)을 이용하여 제2 통신망을 통하여 미디어 플랫폼(400)으로 전송할 수 있다. 이로써 미디어 플랫폼(400)에서는 메인 디바이스(100)로부터 실시간으로 전송되는 동영상(제2 비디오 데이터 및 제1 오디오 데이터 포함)을 재생할 수 있다.
The transmission unit 189 displays the encoded second video data and the encoded first audio data, respectively, while being displayed on the first surface 1101 using a real-time messaging protocol (RTMP) through a second communication network. 400). Accordingly, the media platform 400 can play a video (including second video data and first audio data) transmitted in real time from the main device 100.

도 12는 본 발명의 또 다른 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도 이다. 이하의 설명에서 도 1 내지 도 11에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 12는 메인 디바이스(100) 및 서브 디바이스(200) 제1 통신망(300)을 통하여 데이터를 송수신 하는 영상 처리 방법 중 메인 디바이스(100) 입장에서의 영상 처리 방법을 도시하고 있다.12 is a flowchart illustrating an image processing method according to another embodiment of the present invention. In the following description, parts that overlap with the description of FIGS. 1 to 11 will be omitted. 12 illustrates an image processing method of the main device 100 from the viewpoint of the image processing method of transmitting and receiving data through the first communication network 300 of the main device 100 and the sub device 200.

도 12를 참조하면, 메인 디바이스(100) 및 서브 디바이스(200)는 사용자의 선택에 의해 실시간 영상 중계 어플리케이션을 실행한다(S1201).Referring to FIG. 12, the main device 100 and the sub device 200 execute a real-time video relay application according to a user's selection (S1201).

영상 중계 어플리케이션 실행을 완료하면, 메인 디바이스(100)는 서브 디바이스(200)와 연결을 개시한다(S1203). 메인 디바이스(100)가 서브 디바이스(200)와 연결을 개시하는 방법은 상술한 도 7과 동일하므로 생략하기로 한다.When the execution of the video relay application is completed, the main device 100 starts to connect with the sub device 200 (S1203). The method in which the main device 100 initiates the connection with the sub device 200 is the same as in FIG. 7 described above, and thus will be omitted.

촬영 개시가 되면 메인 디바이스(100) 및 서브 디바이스(200)는 각각 실시간으로 동영상을 촬영한다(S1205). 메인 디바이스(100)는 소정의 위치에서 피사체에 대하여 제1 오디오 데이터 및 제1 비디오 데이터를 포함하는 동영상을 실시간으로 촬영할 수 있다. 서브 디바이스(200)는 메인 디바이스(100)가 피사체를 촬영하는 위치와 같거나 다른 하나 이상의 위치에서 피사체에 대하여 제1 오디오 데이터 및 제1 비디오 데이터를 포함하는 동영상을 실시간으로 촬영할 수 있다.When shooting starts, the main device 100 and the sub device 200 each take a video in real time (S1205). The main device 100 may photograph a video including first audio data and first video data in real time with respect to a subject at a predetermined location. The sub device 200 may photograph a video including the first audio data and the first video data in real time with respect to the subject at one or more locations that are the same as or different from the location where the main device 100 photographs the subject.

메인 디바이스(100)는 자체 촬영한 동영상 중 제1 비디오 데이터를 제2 비디오 데이터로 변환한다(S1207). The main device 100 converts the first video data from the self-photographed video to the second video data (S1207).

메인 디바이스(100)는 동시에 촬영을 개시한 서브 디바이스(200)로서의 제1 디바이스(200-1) 내지 제N 디바이스(200-N)로부터 제2 비디오 데이터를 수신한다(S1209).The main device 100 receives the second video data from the first device 200-1 to the N-th device 200 -N as the sub-device 200 that has started shooting at the same time (S1209).

메인 디바이스(100)는 제1 서피스 및 적어도 하나의 제2 서피스를 생성한다(S1211). 메인 디바이스(100)는 자체 촬영한 제2 비디오 데이터 및 서브 디바이스(200)로부터 수신한 하나 이상의 제2 비디오 데이터를 포함하는 복수의 제2 비디오 데이터를 하나의 화면에 재생 디스플레이 위해, 제1 서피스에 복수의 제2 비디오 데이터 중 어느 한 제2 비디오 데이터를 전송하고, 적어도 하나의 제2 서피스 각각에 복수의 제2 비디오 데이터를 전송할 수 있다.The main device 100 generates a first surface and at least one second surface (S1211). The main device 100 displays a plurality of second video data including self-photographed second video data and one or more second video data received from the sub device 200 on a first screen for reproduction and display. One second video data among the plurality of second video data may be transmitted, and the plurality of second video data may be transmitted to each of the at least one second surface.

메인 디바이스(100)는 계층적인 결합에 의해 제1 서피스 및 적어도 하나의 제2 서피스를 하나의 화면 상에 오버레이하여 재생 디스플레이 한다(S1213). 여기서 메인 디바이스(100)는 계층적인 결합에 의해 제1 서피스 및 적어도 하나의 제2 서피스를 하나의 화면(170) 상에 오버레이하여 재생 디스플레이 할 때, 촬영부(183)의 동영상 촬영 상태를 유지하도록 제어할 수 있다.The main device 100 overlays the first surface and the at least one second surface on one screen by hierarchical combination to display the reproduction (S1213). Here, when the main device 100 overlays and displays the first surface and the at least one second surface on one screen 170 by hierarchical combination, the video recording state of the photographing unit 183 is maintained. Can be controlled.

메인 디바이스(100)는 재생 디스플레이 중인 하나의 화면 상에서 제1 서피스에 대응하는 제2 서피스를 블로킹 처리한다(S1215).The main device 100 blocks the second surface corresponding to the first surface on one screen being displayed for playback (S1215).

메인 디바이스(100)는 제1 서피스에 재생 디스플레이 중인 제2 비디오 데이터를 H.264 포맷으로 인코딩 하고, 메인 디바이스(100)가 촬영한 동영상 중 제1 오디오 데이터를 AAC(advanced audio coding)로 인코딩 한다(S1217). 여기서 서브 디바이스(200)로부터 제2 비디오 데이터만을 수신하여 제1 디스플레이 영역에 디스플레이 하더라도, 메인 디바이스(100) 및 서브 디바이스(200)는 동일한 촬영 개시 신호가 기록되기 때문에, 서브 디바이스(200)로부터 수신하는 제2 비디오 데이터와 메인 디바이스(100)에서 녹음한 제1 오디오 데이터는 동기가 거의 유사하거나 일치할 수 있다.The main device 100 encodes the second video data being displayed on the first surface in H.264 format, and encodes the first audio data among the videos captured by the main device 100 by AAC (advanced audio coding). (S1217). Here, even if only the second video data is received from the sub device 200 and displayed on the first display area, the main device 100 and the sub device 200 receive the same signal from the sub device 200 because the same shooting start signal is recorded. The second video data and the first audio data recorded by the main device 100 may have almost the same or similar synchronization.

메인 디바이스(100)는 제1 서피스에 디스플레이 되면서 인코딩이 완료된 제2 비디오 데이터 및 인코딩이 완료된 제1 오디오 데이터 각각을 리얼 타임 메시징 프로토콜(RTMP)을 이용하여 제2 통신망(500)을 통하여 미디어 플랫폼(400)으로 전송한다(S1219). 이로써 미디어 플랫폼(400)에서는 메인 디바이스(100)로부터 실시간으로 전송되는 동영상(제2 비디오 데이터 및 제1 오디오 데이터 포함)을 재생할 수 있다.The main device 100 displays each of the encoded second video data and the encoded first audio data while being displayed on the first surface using a real-time messaging protocol (RTMP) through the second communication network 500 through the media platform ( 400) is transmitted (S1219). Accordingly, the media platform 400 can play a video (including second video data and first audio data) transmitted in real time from the main device 100.

메인 디바이스(100)는 메인 디바이스(100)의 디스플레이부(170)에 재생 디스플레이 중인 제1 서피스 및 적어도 하나의 제2 서피스 중 어느 한 제2 서피스에 대한 화면 전환 이벤트 신호를 수신하였는지 판단한다(S1221).The main device 100 determines whether a screen switching event signal for one of the first surface and the at least one second surface being played and displayed on the display unit 170 of the main device 100 is received (S1221). ).

메인 디바이스(100)가 화면 전환 이벤트 신호를 수신한 경우, 제2 서피스를 제1 서피스로 전환처리하고, 전환처리 전 제1 서피스를 제2 서피스로 전환처리한다(S1223). 이후 메인 디바이스(100)는 계층적인 결합에 의해 전환처리 후 제1 서피스 및 적어도 하나의 제2 서피스를 하나의 화면으로 합성하여 재생 디스플레이 하며, 전환처리 후 제1 서피스에 대응하는 제2 서피스를 블로킹 처리할 수 있다.
When the main device 100 receives the screen change event signal, the second surface is converted to the first surface, and the first surface is converted to the second surface before the conversion process (S1223). Thereafter, the main device 100 synthesizes and displays the first surface and at least one second surface as one screen after conversion processing by hierarchical combining, and blocks the second surface corresponding to the first surface after conversion processing. Can handle it.

이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.The embodiment according to the present invention described above may be implemented in the form of a computer program that can be executed through various components on a computer, and such a computer program can be recorded on a computer-readable medium. At this time, the medium includes a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as a CD-ROM and DVD, a magneto-optical medium such as a floptical disk, and a ROM. , Hardware devices specially configured to store and execute program instructions, such as RAM, flash memory, and the like.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.Meanwhile, the computer program may be specially designed and configured for the present invention or may be known and available to those skilled in the computer software field. Examples of computer programs may include machine language codes such as those produced by a compiler, as well as high-level language codes that can be executed by a computer using an interpreter or the like.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. In the specification (particularly in the claims) of the present invention, the use of the term " above " and similar indication terms may be in both singular and plural. In addition, in the case where a range is described in the present invention, it includes the invention to which the individual values belonging to the range are applied (if there is no contrary description), and describes the individual values constituting the range in the detailed description of the invention. Same as

본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.Unless explicitly stated or contrary to the steps constituting the method according to the invention, the steps can be done in a suitable order. The present invention is not necessarily limited to the order of description of the above steps. The use of all examples or exemplary terms (eg, etc.) in the present invention is merely for describing the present invention in detail, and the scope of the present invention is limited due to the examples or exemplary terms, unless it is defined by the claims. It does not work. In addition, those skilled in the art can recognize that various modifications, combinations, and changes can be configured according to design conditions and factors within the scope of the appended claims or equivalents thereof.

따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention is not limited to the above-described embodiment, and should not be determined, and the scope of the spirit of the present invention as well as the claims to be described later, as well as all ranges that are equivalent to or equivalently changed from the claims Would belong to

100: 메인 디바이스
200: 서브 디바이스
300: 제1 통신망
400: 미디어 플랫폼
500: 제2 통신망100: main device
200: sub device
300: first communication network
400: media platform
500: second communication network

Claims (7)

소정 위치의 피사체에 대한 비디오 데이터 및 오디오 데이터를 포함하는 동영상을 촬영하는 촬영부;
상기 촬영부의 촬영 개시 시간과 동일하고 상기 촬영부의 촬영 위치와 다른 하나 이상의 위치에서 적어도 하나의 서브 디바이스에 의해 상기 피사체에 대하여 촬영한 비디오 데이터 및 오디오 데이터를 포함하는 동영상 중 상기 오디오 데이터를 제외한 상기 비디오 데이터를 수신하는 수신부;
상기 촬영부가 촬영한 비디오 데이터 및 상기 수신부가 수신한 적어도 하나의 비디오 데이터를 포함하는 복수의 비디오 데이터를 하나의 화면에 재생 디스플레이 위해, 상기 화면에 상기 복수의 비디오 데이터 중 어느 한 상기 비디오 데이터를 전송하는 제1 서피스 및 상기 화면의 일부에 상기 복수의 비디오 데이터를 전송하는 적어도 하나의 제2 서피스를 생성하는 서피스 생성부;
계층적인 결합에 의해 상기 제1 서피스 및 상기 적어도 하나의 제2 서피스를 하나의 화면 상에 오버레이하여 재생 디스플레이 하는 디스플레이 제어부; 및
상기 제1 서피스에 재생 디스플레이 중인 상기 비디오 데이터 및 상기 촬영부에서 촬영한 동영상에 포함되는 상기 오디오 데이터를 외부로 전송하는 전송부;를 포함하고,
상기 디스플레이 제어부는, 상기 제1 서피스를 상기 화면 전체에 표시하고, 상기 적어도 하나의 제2 서피스를 상기 화면의 일부에 상기 제1 서피스를 오버레이하도록 표시하되, 상기 적어도 하나의 제2 서피스들은 서로 오버레이되지 않고, 상기 적어도 하나의 제2 서피스 중 하나는 상기 제1 서피스에 대응하고, 상기 촬영부가 촬영한 비디오 데이터는 인코딩하고, 상기 수신부가 수신한 비디오 데이터는 인코딩하지 않으며, 상기 제1 서피스를 제1 프레임 레이트로 표시하고 상기 제2 서피스를 제2 프레임 레이트로 표시하며, 상기 제2 서피스에 대한 사용자 입력에 응답하여 상기 제2 서피스에 재생되는 비디오를 상기 제1 프레임 레이트로 표시하며, 상기 제1 프레임 레이트와 상기 제2 프레임 레이트는 상이한,
영상 처리 장치.A photographing unit for photographing a video including video data and audio data for a subject at a predetermined position;
The video excluding the audio data among the videos including the video data and audio data captured by the at least one sub device at one or more locations that are the same as the shooting start time of the photographing unit and different from the photographing location of the photographing unit A receiving unit for receiving data;
To play and display a plurality of video data including video data photographed by the photographing unit and at least one video data received by the receiving unit on one screen, the video data of any one of the plurality of video data is transmitted to the screen A surface generator configured to generate at least one second surface to transmit the plurality of video data to a first surface and a part of the screen;
A display control unit overlaying and displaying the first surface and the at least one second surface on one screen by hierarchical combination; And
It includes; a transmission unit for transmitting the video data being displayed on the reproduction of the first surface and the audio data included in the video taken by the recording unit to the outside;
The display control unit displays the first surface on the entire screen and displays the at least one second surface to overlay the first surface on a part of the screen, wherein the at least one second surfaces are overlaid on each other. One of the at least one second surface corresponds to the first surface, encodes video data captured by the photographing unit, does not encode video data received by the receiving unit, and removes the first surface. Display at a first frame rate, display the second surface at a second frame rate, display video played on the second surface at the first frame rate in response to a user input to the second surface, and display the second surface rate. The first frame rate and the second frame rate are different,
Image processing device. 제 1항에 있어서,
상기 적어도 하나의 제2 서피스 중 어느 한 제2 서피스에 대한 화면 전환 이벤트 신호 수신에 대응하여, 상기 제2 서피스를 상기 제1 서피스로 전환처리하고, 전환처리 전 상기 제1 서피스를 상기 제2 서피스로 전환처리하는 서피스 전환부;를 더 포함하는 영상 처리 장치.According to claim 1,
In response to receiving a screen change event signal for any one of the at least one second surface, the second surface is converted to the first surface, and before the conversion process, the first surface is the second surface. An image processing apparatus further comprising; a surface switching unit for converting to. 제 1항에 있어서,
상기 촬영부는 상기 동영상의 촬영 상태를 유지하는 영상 처리 장치.According to claim 1,
The photographing unit is an image processing apparatus that maintains a photographing state of the video. 촬영부에 의해, 소정 위치의 피사체에 대한 비디오 데이터 및 오디오 데이터를 포함하는 동영상을 촬영하는 단계;
수신부에 의해, 상기 촬영의 개시 시간과 동일하고 상기 촬영의 위치와 다른 하나 이상의 위치에서 적어도 하나의 서브 디바이스에 의해 상기 피사체에 대하여 촬영한 비디오 데이터 및 오디오 데이터를 포함하는 동영상 중 상기 오디오 데이터를 제외한 상기 비디오 데이터를 수신하는 단계;
서피스 생성부에 의해, 상기 촬영부가 촬영한 비디오 데이터 및 상기 수신부가 수신한 적어도 하나의 비디오 데이터를 포함하는 복수의 비디오 데이터를 하나의 화면에 재생 디스플레이 위해, 상기 화면에 상기 복수의 비디오 데이터 중 어느 한 상기 비디오 데이터를 전송하는 제1 서피스 및 상기 화면의 일부에 상기 복수의 비디오 데이터를 전송하는 적어도 하나의 제2 서피스를 생성하는 단계;
디스플레이 제어부에 의해, 계층적인 결합에 의해 상기 제1 서피스 및 상기 적어도 하나의 제2 서피스를 하나의 화면 상에 오버레이하여 재생 디스플레이 하는 단계; 및
전송부에 의해, 상기 제1 서피스에 재생 디스플레이 중인 상기 비디오 데이터 및 상기 촬영부에서 촬영한 동영상에 포함되는 상기 오디오 데이터를 외부로 전송하는 단계;를 포함하고,
상기 재생 디스플레이하는 단계는, 상기 제1 서피스를 상기 화면 전체에 표시하고, 상기 적어도 하나의 제2 서피스를 상기 화면의 일부에 상기 제1 서피스를 오버레이하도록 표시하되, 상기 적어도 하나의 제2 서피스들은 서로 오버레이되지 않고, 상기 적어도 하나의 제2 서피스 중 하나는 상기 제1 서피스에 대응하고, 상기 촬영부가 촬영한 비디오 데이터는 인코딩하고, 상기 수신부가 수신한 비디오 데이터는 인코딩하지 않으며, 상기 제1 서피스를 제1 프레임 레이트로 표시하고 상기 제2 서피스를 제2 프레임 레이트로 표시하며, 상기 제2 서피스에 대한 사용자 입력에 응답하여 상기 제2 서피스에 재생되는 비디오를 상기 제1 프레임 레이트로 표시하며, 상기 제1 프레임 레이트와 상기 제2 프레임 레이트는 상이한, 영상 처리 방법.Photographing a video including video data and audio data for a subject at a predetermined position by a photographing unit;
By the receiving unit, the audio data is excluded among the videos including video data and audio data captured by the at least one sub device at one or more locations that are the same as the start time of the photographing and different from the location of the photographing. Receiving the video data;
In order to reproduce and display a plurality of video data including video data captured by the photographing unit and at least one video data received by the receiving unit on a screen by the surface generating unit, any one of the plurality of video data is displayed on the screen. Generating a first surface for transmitting the video data and at least one second surface for transmitting the plurality of video data to a part of the screen;
Reproducing and displaying the first surface and the at least one second surface on one screen by hierarchical combining by a display control unit; And
Includes; transmitting, by the transmitting unit, the audio data included in the video data being played and displayed on the first surface and the moving picture taken by the photographing unit to the outside;
In the displaying of the reproduction, the first surface is displayed on the entire screen, and the at least one second surface is displayed to overlay the first surface on a part of the screen, wherein the at least one second surfaces are Not overlaid with each other, one of the at least one second surface corresponds to the first surface, the video data captured by the photographing unit is encoded, the video data received by the receiving unit is not encoded, and the first surface Is displayed at a first frame rate, the second surface is displayed at a second frame rate, and a video played on the second surface is displayed at the first frame rate in response to a user input to the second surface, The first frame rate and the second frame rate are different, the image processing method. 제 4항에 있어서,
서피스 전환부에 의해, 상기 적어도 하나의 제2 서피스 중 어느 한 제2 서피스에 대한 화면 전환 이벤트 신호 수신에 대응하여, 상기 제2 서피스를 상기 제1 서피스로 전환처리하고, 전환처리 전 상기 제1 서피스를 상기 제2 서피스로 전환처리하는 단계;를 더 포함하는 영상 처리 방법.The method of claim 4,
In response to receiving a screen change event signal for any one of the at least one second surface, the second surface is switched to the first surface by the surface switching unit, and the first before conversion processing. And converting the surface to the second surface. 제 4항에 있어서,
상기 촬영부에 의한 상기 동영상 촬영 상태를 유지하는 단계;를 더 포함하는 영상 처리 방법.The method of claim 4,
And maintaining the video shooting state by the photographing unit. 컴퓨터를 이용하여 제 4항 내지 제 6항의 방법 중 어느 한 항의 방법을 실행시키기 위하여 상기 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.A computer program stored in a computer-readable recording medium to execute the method of any one of claims 4 to 6 using a computer.
KR1020180030414A 2015-11-19 2018-03-15 Apparatus and method for processing image KR102089557B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180030414A KR102089557B1 (en) 2018-03-15 2018-03-15 Apparatus and method for processing image
US16/003,688 US10616724B2 (en) 2015-11-19 2018-06-08 Method, device, and non-transitory computer-readable recording medium for supporting relay broadcasting using mobile device
US16/012,237 US10447965B2 (en) 2016-10-04 2018-06-19 Apparatus and method for processing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180030414A KR102089557B1 (en) 2018-03-15 2018-03-15 Apparatus and method for processing image

Publications (2)

Publication Number Publication Date
KR20190108839A KR20190108839A (en) 2019-09-25
KR102089557B1 true KR102089557B1 (en) 2020-03-16

Family

ID=68068297

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180030414A KR102089557B1 (en) 2015-11-19 2018-03-15 Apparatus and method for processing image

Country Status (1)

Country Link
KR (1) KR102089557B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013162348A (en) * 2012-02-06 2013-08-19 Nikon Corp Imaging apparatus
JP2016213808A (en) * 2015-04-29 2016-12-15 パナソニックＩｐマネジメント株式会社 Camera selecting method and video distribution system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09149396A (en) * 1995-11-27 1997-06-06 Fujitsu Ltd Multi-spot television conference system
KR101652331B1 (en) 2010-08-26 2016-08-30 에스케이 텔레콤주식회사 Video Contents Providing System, Mobile and Playing Method using tho same
KR102045957B1 (en) * 2013-01-18 2019-11-18 삼성전자 주식회사 Method and apparatus for photographing of a portable terminal

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013162348A (en) * 2012-02-06 2013-08-19 Nikon Corp Imaging apparatus
JP2016213808A (en) * 2015-04-29 2016-12-15 パナソニックＩｐマネジメント株式会社 Camera selecting method and video distribution system

Also Published As

Publication number Publication date
KR20190108839A (en) 2019-09-25

Similar Documents

Publication Publication Date Title
WO2019205872A1 (en) Video stream processing method and apparatus, computer device and storage medium
KR102129792B1 (en) Information processing device, image generation method, control method and program
US20170257414A1 (en) Method of creating a media composition and apparatus therefore
JP4304108B2 (en) METADATA DISTRIBUTION DEVICE, VIDEO REPRODUCTION DEVICE, AND VIDEO REPRODUCTION SYSTEM
WO2022037331A1 (en) Video processing method, video processing apparatus, storage medium, and electronic device
US20150058709A1 (en) Method of creating a media composition and apparatus therefore
KR101730115B1 (en) Apparatus and method for processing image
EP2816564B1 (en) Method and apparatus for smart video rendering
JP4937592B2 (en) Electronics
KR101905638B1 (en) Device and method for playing video
JP4897404B2 (en) VIDEO DISPLAY SYSTEM, VIDEO DISPLAY DEVICE, ITS CONTROL METHOD, AND PROGRAM
KR101537665B1 (en) Method and apparatus for contents play
US10447965B2 (en) Apparatus and method for processing image
JP2006041888A (en) Information processing apparatus and method therefor, recording medium and program
JP2003087693A (en) Processor, method, and program for information processing
WO2013116163A1 (en) Method of creating a media composition and apparatus therefore
US10616724B2 (en) Method, device, and non-transitory computer-readable recording medium for supporting relay broadcasting using mobile device
KR102089557B1 (en) Apparatus and method for processing image
EP3890327A1 (en) Method and device for content recording and streaming
JP2004229706A (en) System and device for translating drama
KR101906396B1 (en) Method, device and non-trnasitory computer-readable recording media for supporting relay broadcasting
JP4798215B2 (en) Electronics
CN105765969A (en) Image processing method, device, and equipment, and image-shooting system
JP2007324663A (en) Video camera
KR20150106472A (en) Method and apparatus for providing contents

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant