KR101992397B1 - 영상 처리 장치, 영상 중계 장치, 영상 처리 방법 및 영상 중계 방법 - Google Patents

영상 처리 장치, 영상 중계 장치, 영상 처리 방법 및 영상 중계 방법 Download PDF

Info

Publication number
KR101992397B1
KR101992397B1 KR1020120069195A KR20120069195A KR101992397B1 KR 101992397 B1 KR101992397 B1 KR 101992397B1 KR 1020120069195 A KR1020120069195 A KR 1020120069195A KR 20120069195 A KR20120069195 A KR 20120069195A KR 101992397 B1 KR101992397 B1 KR 101992397B1
Authority
KR
South Korea
Prior art keywords
image
merged
images
image processing
information
Prior art date
Application number
KR1020120069195A
Other languages
English (en)
Other versions
KR20140001009A (ko
Inventor
김용태
김재한
박재성
백윤선
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120069195A priority Critical patent/KR101992397B1/ko
Priority to PCT/KR2013/001003 priority patent/WO2014003282A1/en
Priority to US13/854,402 priority patent/US9430859B2/en
Publication of KR20140001009A publication Critical patent/KR20140001009A/ko
Application granted granted Critical
Publication of KR101992397B1 publication Critical patent/KR101992397B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00137—Transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00167—Processing or editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3204—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium
    • H04N2201/3205—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium of identification information, e.g. name or ID code
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3215—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a time or duration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

영상 중계 방법이 개시된다. 본 영상 중계 방법은, 복수의 영상 처리 장치 각각으로부터 촬영된 영상을 수신하는 단계, 수신된 복수의 영상 각각의 배치 모드를 판단하는 단계, 수신된 복수의 영상을 병합하는 단계, 및 병합 영상을 복수의 영상 처리 장치 각각에 전송하는 단계를 포함한다.

Description

영상 처리 장치, 영상 중계 장치, 영상 처리 방법 및 영상 중계 방법{IMAGE PROCESS APPARATUS, IMAGE RELAY APPARATUS, METHOD FOR IMAGE PROCESS, AND METHOD FOR IMAGE RELAY THEREOF}
본 발명은 영상 처리 장치, 영상 중계 장치, 영상 처리 방법 및 영상 중계 방법에 관한 것으로, 더욱 상세하게는 다자간 영상 송수신시 개선된 병합 영상을 제공할 수 있는 영상 처리 장치, 영상 중계 장치, 영상 처리 방법 및 영상 중계 방법에 관한 것이다.
전자기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히 최근 멀티미디어 통신 서비스가 대중화되어 가면서 지역적으로 멀리 떨어진 상대방의 얼굴을 마주 보면서 대화를 할 수 있는 실시간 어플리케이션 기반으로 멀티미디어가 발전하고 있다. 이러한 실시간 어플리케이션은 다수의 사용자가 참여하므로 여러 지역을 연결할 수 있는 네트워크를 통해 각 사용자의 단말 장치로 정보를 송수신할 수 있다.
한편, 실시간 어플리케이션을 실행하는 방법은 패킷의 전송 루트(route)에 따라 크게 머지(merge) 방식과 릴레이(relay) 방식으로 나눌 수 있다. 그 중 머지(merge)방식의 경우 복수의 단말 장치 각각이 네트워크 상에서 MCU(Multi-point Control Unit)를 통해 간접적으로 연결된다. MCU란 다지점 제어장치로서, 실시간 어플리케이션을 실행하기 위한 기기에서 복수의 단말 장치간에 접속할 수 있도록 하는 전용 장치를 말한다. 즉, 복수의 단말 장치의 사용자 영상을 하나의 영상으로 병합하여 각 단말 장치로 전송하는 기능을 수행한다.
종래에는 TV 또는 고정된 비율의 디스플레이를 통하여 실시간 어플리케이션을 수행하였으므로, 사용자 영상의 배치 방향을 고려하지 않아도 MCU에서 하나의 영상을 병합하는데에 큰 문제점이 발생하지 않았다. 하지만, 최근 휴대폰, 노트북, PDA 등의 모바일 기기등의 발달로 다양한 배치로 사용자 영상이 제공될 수 있다.
이에 따라, 사용자가 쉽게 인식 가능한 병합 영상을 제공할 수 없다는 문제점이 있었다.
따라서, 상술한 문제점을 해결하기 위한 본 발명의 목적은, 영상 처리 장치 또는 영상 중계 장치에서 영상을 동일한 배치 모드를 갖도록 영상 처리하여, 적절한 병합 영상을 제공할 수 있는 영상 처리 장치, 영상 중계 장치, 영상 처리 방법 및 영상 중계 방법을 제공하는 데 있다.
상술한 목적을 수행하기 위한 본 실시 예에 따른 영상 중계 장치에서의 영상 중계 방법은, 복수의 영상 처리 장치 각각으로부터 촬영된 영상을 수신하는 단계, 수신된 복수의 영상 각각의 배치 모드를 판단하는 단계, 수신된 복수의 영상을 병합하는 단계, 및 병합 영상을 복수의 영상 처리 장치 각각에 전송하는 단계를 포함한다.
여기서, 전송하는 단계는, 병합 영상의 병합 정보를 병합 영상과 함께 복수의 영상 처리 장치 각각에 전송할 수 있다.
한편, 병합 정보는, 판단된 복수의 영상 각각의 배치 모드와, 프레임 좌표, 회전 정보, 스케일 정보, 종횡비 및 병합된 사용자 영상의 갯수 중 적어도 하나를 포함할 수 있다.
한편, 병합하는 단계는, 판단된 배치 모드에 기초하여 복수의 영상이 동일한 배치 모드를 갖도록 병합할 수 있다.
한편, 수신하는 단계는, 복수의 영상 처리 장치 각각으로부터 촬영된 영상과 함께 촬영 정보를 수신하는 것을 특징으로 하고, 판단하는 단계는, 영상 처리 장치 각각으로부터 수신된 촬영 정보를 이용하여 복수의 영상 각각의 배치 모드를 판단할 수 있다.
한편, 판단하는 단계는, 수신된 복수의 영상이 사용자 영상인 경우, 얼굴 인식 알고리즘을 이용하여 복수의 사용자 영상 각각의 배치 모드를 판단할 수 있다.
한편, 본 실시 예에 따른 영상 처리 장치에서의 영상 처리 방법은, 영상을 촬영하는 단계, 적어도 하나의 타 영상 처리 장치의 영상의 배치 모드와 일치되도록, 촬영된 영상의 배치 모드를 변경하는 이미지 처리를 수행하는 단계, 이미지 처리된 영상을 영상 중계 장치로 전송하는 단계, 영상 중계 장치를 통해, 영상과 적어도 하나의 타 영상이 병합된 병합 영상을 수신하는 단계, 및 수신된 병합 영상을 표시하는 단계를 포함한다
한편, 본 실시 예에 따른 영상 처리 장치에서의 영상 처리 방법에 있어서, 영상을 촬영하는 단계, 촬영된 영상을 영상 중계 장치로 전송하는 단계, 영상 중계 장치를 통해, 영상과 적어도 하나의 타 영상 처리 장치에서 촬영된 적어도 하나의 타 영상이 병합된 병합 영상을 수신하는 단계, 수신된 병합 영상 내에 영상 및 적어도 하나의 타 영상이 기설정된 배치 모드를 갖도록 이미지 처리하는 단계, 및 이미지 처리된 병합 영상을 표시하는 단계를 포함한다.
여기서, 수신하는 단계는, 병합 영상과 병합 영상의 병합 정보를 함께 수신하고, 이미지 처리하는 단계는, 수신된 병합 정보를 이용하여 수신된 병합 영상 내에 촬영된 영상 및 적어도 하나의 타 영상이 기설정된 배치 모드를 갖도록 이미지 처리할 수 있다.
한편, 이미지 처리하는 단계는, 촬영된 영상 및 적어도 하나의 타영상이 사용자 영상인 경우, 얼굴 인식 알고리즘을 이용하여 수신된 병합 영상 내에 영상 및 적어도 하나의 타 영상이 기설정된 배치 모드를 갖도록 이미지 처리할 수 있다.
한편, 본 실시 예에 따른 영상 처리 장치의 영상 처리 방법은, 영상을 촬영하는 단계, 촬영된 영상을 영상 중계 장치로 전송하는 단계, 영상 중계 장치를 통해, 촬영된 영상과 적어도 하나의 타 영상 처리 장치에서 촬영된 적어도 하나의 타 영상이 병합된 병합 영상을 수신하는 단계, 수신된 병합 영상 내에 촬영된 영상 및 적어도 하나의 타 영상을 각각 추출하여, 추출된 영상들을 기설정된 레이아웃을 갖는 영상으로 렌더링하는 단계, 및 렌더링 영상을 표시하는 단계를 포함한다.
한편, 본 실시 예에 따른 복수의 영상 처리 장치와 연결 가능한 영상 중계 장치는, 복수의 영상 처리 장치 각각으로부터 촬영된 영상을 수신하는 통신 인터페이스부, 수신된 복수의 영상 각각의 배치 방향을 판단하는 판단부, 수신된 복수의 영상을 병합하는 이미지 처리부, 및 병합 영상을 복수의 영상 처리 장치 각각에 전송하도록 상기 통신 인터페이스부를 제어하는 제어부를 포함한다.
여기서, 통신 인터페이스부는, 병합 영상의 병합 정보를 병합 영상과 함께 복수의 영상 처리 장치 각각에 전송할 수 있다.
한편, 병합 정보는, 판단된 복수의 영상 각각의 배치 모드와, 프레임 좌표, 회전 정보, 스케일 정보, 종횡비 및 병합된 영상의 갯수 중 적어도 하나를 포함할 수 있다.
한편, 이미지 처리부는, 판단된 배치 모드에 기초하여 복수의 영상이 동일한 배치 모드를 갖도록 병합할 수 있다.
한편, 통신 인터페이스부는, 영상 처리 장치 각각으로부터 촬영된 영상과 함께 촬영 정보를 수신하는 것을 특징으로 하고, 판단부는, 영상 처리 장치 각각으로부터 수신된 촬영 정보를 이용하여 복수의 영상 각각의 배치 모드를 판단할 수 있다.
한편, 판단부는, 수신된 복수의 영상이 사용자 영상인 경우, 얼굴 인식 알고리즘을 이용하여 복수의 사용자 영상 각각의 배치 모드를 판단할 수 있다.
한편, 본 실시 예에 따른 영상 처리 장치는, 영상을 촬영하는 촬영부, 적어도 하나의 타 영상 처리 장치의 영상의 배치 모드와 일치되도록, 촬영된 영상의 배치 모드를 변경하는 이미지 처리를 수행하는 이미지 처리부, 이미지 처리된 영상을 영상 중계 장치로 전송하고, 영상 중계 장치를 통해, 이미지 처리된 영상과 적어도 하나의 타영상이 병합된 병합 영상을 수신하는 통신 인터페이스부, 및 수신된 병합 영상을 표시하는 사용자 인터페이스부;를 포함한다.
한편, 촬영부는, 회전 가능한 촬영소자를 포함하고, 이미지 처리부는, 적어도 하나의 타 영상 처리 장치의 영상의 배치 모드와 일치되게 촬영하도록 촬영부를 제어할 수 있다.
한편, 본 실시 예에 따른 영상 처리 장치는, 영상을 촬영하는 촬영부, 촬영된 영상을 전송하고, 영상과 적어도 하나의 타 영상 처리 장치에서 촬영된 적어도 하나의 타 영상이 병합된 병합 영상을 수신하는 통신 인터페이스부, 수신된 병합 영상 내에 영상 및 적어도 하나의 타 영상이 기설정된 배치 모드를 갖도록 이미지 처리하는 이미지 처리부, 및 이미지 처리된 병합 영상을 표시하는 사용자 인터페이스부를 포함한다.
여기서, 통신 인터페이스부는, 병합 영상과 병합 영상의 병합 정보를 함께 수신하고, 이미지 처리부는, 수신된 병합 정보를 이용하여 수신된 병합 영상 내에 촬영된 영상 및 적어도 하나의 타영상이 기설정된 배치 모드를 갖도록 이미지 처리할 수 있다.
한편, 이미지 처리부는, 촬영된 영상 및 적어도 하나의 타영상이 사용자 영상인 경우, 얼굴 인식 알고리즘을 이용하여 수신된 병합 영상 내에 영상 및 적어도 하나의 타 영상이 기설정된 배치 모드를 갖도록 이미지 처리할 수 있다.
한편, 본 실시 예에 따른 영상 처리 장치는, 영상을 촬영하는 촬영부, 촬영된 영상을 전송하고, 촬영된 영상과 적어도 하나의 타 영상 처리 장치에서 촬영된 적어도 하나의 타 영상이 병합된 병합 영상을 수신하는 통신 인터페이스부, 수신된 병합 영상 내에 촬영된 영상 및 적어도 하나의 타 영상을 각각 추출하여, 추출된 영상들을 기설정된 레이아웃을 갖는 영상으로 렌더링 처리하는 이미지 처리부, 및 렌더링 영상을 표시하는 사용자 인터페이스부를 포함한다.
한편, 본 실시 예에 따른 복수의 영상 처리 장치와 연결 가능한 영상 중계 장치의 영상 중계 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체는, 복수의 영상 처리 장치 각각으로부터 촬영된 영상을 수신하는 단계, 수신된 복수의 영상 각각의 배치 모드를 판단하는 단계, 수신된 복수의 영상을 병합하는 단계 및 병합 영상을 복수의 영상 처리 장치 각각에 전송하는 단계를 포함하는 영상 중계 방법을 실행하기 위한 프로그램을 포함한다.
한편, 본 실시 예에 따른 영상 처리 장치에서의 영상 처리 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체는, 영상을 촬영하는 단계, 적어도 하나의 타 영상 처리 장치의 영상의 배치 모드와 일치되도록, 촬영된 영상의 배치 모드를 변경하는 이미지 처리를 수행하는 단계, 이미지 처리된 영상을 영상 중계 장치로 전송하는 단계, 영상 중계 장치를 통해, 영상과 적어도 하나의 타 영상이 병합된 병합 영상을 수신하는 단계, 및 수신된 병합 영상을 표시하는 단계를 포함하는 영상 처리 방법을 실행하기 위한 프로그램을 포함한다.
한편, 본 실시 예에 따른 영상 처리 장치에서의 영상 처리 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체는, 영상을 촬영하는 단계, 촬영된 영상을 영상 중계 장치로 전송하는 단계, 영상 중계 장치를 통해, 영상과 적어도 하나의 타 영상 처리 장치에서 촬영된 적어도 하나의 타 영상이 병합된 병합 영상을 수신하는 단계, 수신된 병합 영상 내에 영상 및 적어도 하나의 타 영상이 기설정된 배치 모드를 갖도록 이미지 처리하는 단계, 및 이미지 처리된 병합 영상을 표시하는 단계를 포함하는 영상 처리 방법을 실행하기 위한 프로그램을 포함한다.
한편, 본 실시 예에 따른 영상 처리 장치에서의 영상 처리 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체는, 영상을 촬영하는 단계, 촬영된 영상을 영상 중계 장치로 전송하는 단계, 영상 중계 장치를 통해, 촬영된 영상과 적어도 하나의 타 영상 처리 장치에서 촬영된 적어도 하나의 타 영상이 병합된 병합 영상을 수신하는 단계, 수신된 병합 영상 내에 촬영된 영상 및 적어도 하나의 타 영상을 각각 추출하여, 추출된 영상들을 기설정된 레이아웃을 갖는 영상으로 렌더링하는 단계, 및 렌더링 영상을 표시하는 단계를 포함하는 영상 처리 방법을 실행하기 위한 프로그램을 포함한다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 시스템의 구성을 나타내는 블럭도,
도 2는 도 1의 영상 처리 장치의 구체적인 구성을 설명하기 위한 블럭도,
도 3은 본 발명의 다양한 실시 예에 따른 영상 처리 장치의 구체적인 구성을 설명하기 위한 블럭도,
도 4는 도 1의 영상 중계 장치의 구체적인 구성을 설명하기 위한 블럭도,
도 5는 본 발명의 다양한 실시 예에 따른 영상 중 계 장치의 구체적인 구성을 설명하기 위한 블럭도,
도 6 내지 도 9는 본 발명의 일 실시 예에 따른 영상 처리 방법 및 영상 중계 방법을 설명하기 위한 도면,
도 10은 본 발명의 일 실시 예에 따른 영상 처리 방법 및 영상 중계 방법을 설명하기 위한 도면,
도 11은 본 발명의 일 실시 예에 따른 병합 정보의 구조을 설명하기 위한 도면,
도 12는 본 발명의 일 실시 예에 따른 병합 정보를 전달하는 RTP Header의 구조를 설명하기 위한 도면,
도 13은 본 발명의 일 실시 예에 따른 영상 중계 장치를 설명하기 위한 도면,
도 14 내지 도 15는 본 발명의 일 실시 예에 따른 영상 렌더링 방법을 설명하기 위한 도면,
도 16 내지 도 17은 본 발명의 일 실시 예에 따른 영상 처리 방법 및 영상 중계 방법을 설명하기 위한 도면,
도 18은 본 발명의 일 실시 예에 따른 영상 중계 장치의 영상 중계 동작을 설명하기 위한 흐름도,
도 19는 본 발명의 일 실시 예에 따른 영상 처리 장치의 영상 처리 동작을 설명하기 위한 흐름도,
도 20은 본 발명의 일 실시 예에 따른 영상 처리 장치의 영상 처리 동작을 설명하기 위한 흐름도, 그리고
도 21은 본 발명의 일 실시 예에 따른 영상 처리 장치의 영상 처리 동작을 설명하기 위한 흐름도이다.
이하에서는 첨부된 도면을 참조하며 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 다양한 실시 예에 따른 영상 처리 시스템의 구성을 설명하기 위한 블럭도이다.
도 1을 참고하면, 영상 처리 시스템은 복수의 영상 처리 장치(100-1, 100-2), 영상 중계 장치(200)를 포함한다.
영상 처리 장치(100-1, 100-2)는 사용자 영상을 촬영하여 영상 중계 장치(200)로 전송한다. 영상 중계 장치(200)는 각 영상 처리 장치(100-1, 100-2)에서 전송된 복수의 영상이 병합된 병합 영상을 생성한 후, 생성된 병합 영상을 다시 각 영상 처리 장치(100-1, 100-2)로 전송한다. 각 영상 처리 장치(100-1, 100-2)는 수신된 병합 영상을 표시한다.
각 영상 처리 장치(100-1, 100-2)에서 표시되는 병합 영상은 각 영상 처리 장치(100-1, 100-2)에서 촬영된 영상이 동일한 배치 모드로 조정되어 정렬된 형태의 영상을 의미한다. 영상에 대한 조정 작업은 실시 예에 따라 다양한 방식으로 이루어 질 수 있다.
여기서, 배치 모드는 촬영된 영상이 디스플레이 패널의 배치상태에 따라 결정되는 것으로 가로모드(Landscape mode), 세로모드(Portrait mode) 등이 있을 수 있다.
일 실시 예에 따르면, 각 영상 처리 장치(100-1, 100-2)는 촬영된 영상이 기설정된 배치 모드를 갖도록 이미지 처리를 수행할 수 있다.
구체적으로, 영상 중계 장치(200)는 미리 기설정된 배치 모드에 대한 정보를 각 영상 처리 장치(100-1, 100-2)에 제공할 수 있다. 각 영상 처리 장치(100-1, 100-2)는 촬영된 영상이 기설정된 배치 모드를 갖도록 이미지 처리를 수행하고, 이미지 처리된 영상을 영상 중계 장치(200)에 전송할 수 있다. 이 후, 영상 중계 장치(200)는 수신된 복수의 영상을 병합하여 병합 영상을 생성하고, 다시 각 영상 처리 장치(100-1, 100-2)에 병합 영상을 전송할 수 있다. 그리고, 각 영상 처리 장치(100-1, 100-2)는 수신받은 병합 영상을 표시할 수 있다.
이 경우, 영상 중계 장치(200)는 기설정된 하나의 모드로만 사용자 영상이 수신되는 것을 가정하므로, Rotation , Scale 등의 이미지 처리를 할 필요 없이 이미지 병합(Mixing)만 수행할 수 있다. 또한, 수신단(Receiver)의 영상 처리 장치(100-1, 100-2)에서는 병합된 영상을 그대로 표시할 수 있다. 따라서, 송신단(Sender) 이후 단계의 장치의 구성이 단순해 지는 효과가 있다.
한편, 다른 실시 예에 따르면, 각 영상 처리 장치(100-1, 100-2)는 영상 중계 장치로부터 병합 영상을 수신받아, 병합 영상내에 각 영상 처리 장치(100-1, 100-2)에서 촬영된 영상과 적어도 하나의 타 영상을 동일한 배치 모드를 갖도록 이미지 처리할 수 있다.
구체적으로, 각 영상 처리 장치(100-1, 100-2)는 촬영된 영상을 영상 중계 장치(200)에 전송한다. 영상 중계 장치(200)는 수신받은 복수의 영상을 조합하여 병합 영상을 생성하고, 각 영상 처리 장치(100-1, 100-2)로 전송한다. 이 후, 각 영상 처리 장치(100-1, 100-2)는 수신받은 병합 영상을 병합 영상내에 각 영상 처리 장치(100-1, 100-2)에서 촬영된 영상과 적어도 하나의 타 영상을 동일한 배치 모드를 갖도록 이미지 처리하여, 표시할 수 있다.
이 경우, 영상 중계 장치(200)의 구성이 단순해지고, 해상도의 손실 없이 각 사용자 영상을 재생할 수 있다는 효과가 있다.
한편, 다른 실시 예에 따르면, 영상 중계 장치(200)에서 복수의 영상을 동일한 배치 모드를 갖도록 조정하여 병합할 수 있다.
구체적으로, 각 영상 처리 장치(100-1, 100-2)는 촬영된 영상을 영상 중계 장치(200)에 전송할 수 있다. 그리고, 영상 중계 장치(200)는 수신된 복수의 영상을 동일한 배치 모드를 갖도록 이미지 처리하여 병합 영상을 생성하고, 병합 영상을 각 영상 처리 장치(100-1, 100-2)에 전송할 수 있다. 이 후, 각 영상 처리 장치(100-1, 100-2)는 수신받은 병합 영상을 표시할 수 있다.
이 경우, 영상 처리 장치(100-1, 100-2)에서 기설정된 배치 모드를 갖도록 이미지 처리할 필요가 없으므로 각 영상 처리 장치(100-1, 100-2)의 구성이 단순해 지는 효과가 있다.
한편, 각 영상 처리 장치(100-1, 100-2)는 촬영 소자를 지니고 있는 모바일 기기인 휴대폰, 스마트폰, 노트북, 전자패드 또는 PDA 등 일 수 있으며, 그 밖에 촬영 소자를 지닌 TV, 스마트 TV 또는 영상회의 시스템 등 일 수 있다.
한편, 영상 중계 장치(200)는 영상 회의 시스템에서 MCU(Multi-point Control Unit)의 기능을 수행할 수 있다. 그리고, 영상 중계 장치(200)는 영상 처리 장치(100-1, 100-2)의 내부에 구성될 수 있으며, 별개의 독립적인 장치로 구성 될 수 있다.
이상과 같이 다양한 실시 예에 따른 영상 처리 시스템은 영상 처리 장치(100-1, 100-2) 또는 영상 중계 장치(200)에서 영상을 동일한 배치 모드를 갖도록 영상 처리하여, 적절한 병합 영상을 제공할 수 있다.
도 2는 도 1의 영상 처리 장치(100)의 구체적인 구성을 설명하기 위한 블럭도이다.
도 2를 참고하면, 영상 처리 장치(100)는 촬영부(110), 이미지 처리부(120), 통신 인터페이스부(130), 및 사용자 인터페이스부(140)를 포함한다.
촬영부(110)는 영상을 촬영한다.
구체적으로, 촬영부(110)는 회전 가능한 촬영소자를 포함할 수 있다. 또한 촬영부(110)는 복수의 촬영 소자를 구비할 수 있으며, 줌인(Zoom-In) / 줌아웃(Zoom-out)기능 등을 수행할 수 있다. 촬영부에서 촬영된 영상은 이미지 처리부(120) 또는 통신 인터페이스부(130)로 전송될 수 있다.
여기서, 촬영된 영상은 사용자 영상, 회의 자료 및 강의 자료 등의 영상일 수 있다.
이미지 처리부(120)는 적어도 하나의 타 영상 처리 장치(100)의 영상의 배치 모드와 일치되도록, 촬영된 영상의 배치 모드를 변경하는 이미지 처리를 수행한다.
구체적으로, 촬영된 영상을 송신하는 단계에서 각 영상 처리 장치(100)의 디스플레이 패널의 배치상태와 상관없이 기설정된 하나의 모드로 촬영된 영상을 이미지 처리할 수 있다. 여기서 이미지 처리는 Rotation, Scaling 또는 Cropping등의 조합일 수 있다.
일 예로, 영상 처리 장치(100)가 가로모드(Landscape mode)로 기설정되어 있을 때, 가로모드(Landscape mode)로 영상이 촬영되는 경우, 이미지 처리 필요없이 영상 중계 장치(200)로 사용자 영상을 전송하고, 세로모드(Portrait mode)로 영상이 촬영되는 경우, 가로모드(Landscape mode)로 Rotation , Scaling의 이미지 처리를 수행하여 영상 중계 장치(200)로 이미지 처리된 영상을 전송한다.
한편, 적어도 하나의 타 영상 처리 장치(100)의 영상의 배치 모드와 일치되도록, 영상 중계 장치(200)에서 미리 기설정된 배치 모드에 대한 정보를 각 영상 처리 장치(100)에 제공할 수 있다.
또한, 이미지 처리부(100)는 적어도 하나의 타 영상 처리 장치의 영상의 배치 모드와 일치되게 촬영하도록 촬영부(110)를 제어할 수 있다.
한편, 본 발명의 다른 실시 예에 따르면, 이미지 처리부(120)는 수신된 병합 영상 내에 촬영된 영상 및 적어도 하나의 타 영상이 기설정된 배치 모드를 갖도록 이미지 처리한다.
구체적으로, 영상 중계 장치(200)로부터 병합 영상을 수신받고, 영상 처리 장치(100)의 디스플레이 패널의 배치 상태에 따라 병합 영상 내에 촬영된 영상 및 적어도 하나의 타 영상이 기설정된 배치 모드를 갖도록 이미지 처리할 수 있다. 여기서 이미지 처리는 Rotation, Scaling 또는 Cropping 등의 조합일 수 있다.
이 경우, 통신 인터페이스부(130)으로부터 병합 영상과 병합 영상의 병합 정보를 함께 수신하여, 병합 정보를 이용하여 기설정된 배치 모드를 갖도록 이미지 처리할 수 있다. 여기서 병합 정보는 병합 영상내에 병합된 복수의 영상 각각의 배치 모드와, 프레임 좌표, 회전 정보, 스케일 정보, 종횡비 및 병합된 영상의 갯수 중 적어도 하나를 포함할 수 있다.
또한, 이미지 처리부(120)는 다수의 Renderer을 구비할 수 있다. 이경우, 영상 처리 장치(100)는 수신된 병합 영상 내에 촬영된 영상 및 적어도 하나의 타 영상을 각각 추출하여 기설정된 레이아웃을 갖는 영상으로 렌더링할 수 있다.
기설정된 레이아웃(또는 프레임)은 사용자가 임의로 설정된 레이아웃(또는 프레임) 또는 영상 처리 장치(100)의 디스플레이 화면의 구조 등에 따라 설정될 수 있다. 이에 대하여, 이하 도 14 및 도 15를 참고하여 구체적으로 설명한다.
한편, 이미지 처리부(120)는 촬영된 영상 및 적어도 하나의 타 영상이 사용자 영상인 경우, 얼굴 인식 알고리즘을 이용하여 수신된 병합 영상 내에 촬영된 영상 및 적어도 하나의 타 영상이 기설정된 배치 모드를 갖도록 이미지 처리할 수 있다. 구체적으로, 얼굴 인식 알고리즘은 영상 전체에서 얼굴의 대칭적 구조, 생김새, 눈의 위치 등을 분석하여 얼굴의 위치 특성을 알아낼 수 있는 알고리즘이다. 얼굴 인식 알고리즘의 종류로는 기하학적 방법, PCA(Principal Component Analysis), FLD(Fisher Linear Discriminant), SVM(Support Vector Machine), 신경망 회로를 이용하는 방법 등이 있을 수 있다. 얼굴 인식 알고리즘을 이용하여, 사용자 영상의 회전 정도를 인식하고, 회전 정도에 따라 기설정된 배치 모드를 갖도록 이미지 처리할 수 있게 된다.
한편, 본 발명의 다른 실시 예에 따르면, 영상 중계 장치(200)에서 복수의 영상을 동일한 배치 모드를 갖도록 조정하여 병합하는 경우, 이미지 처리부(120)는 촬영된 영상 및 병합 영상이 별도의 기설정된 배치 모드를 갖도록 하는 이미지 처리를 생략할 수 있다. 이 경우, 이미지 처리는 일반적인 인코딩, 디코딩, 스케일링, 디인터레이싱, 노이즈 제거, 선명도 향상 등의 조합일 수 있다.
통신 인터페이스부(130)는 이미지 처리된 영상을 영상 중계 장치(200)로 전송하고, 영상 중계 장치(200)를 통해, 이미지 처리된 영상과 적어도 하나의 타 영상이 병합된 병합 영상을 수신한다.
구체적으로, 영상 처리 장치(100)에서 촬영된 영상이 기설정된 배치 모드를 갖도록 이미지 처리를 수행하는 경우, 통신 인터페이스부(130)는 이미지 처리된 영상을 영상 중계 장치(200)에 전송하고, 영상 중계 장치(200)를 통해, 이미지 처리된 영상과 적어도 하나의 타 영상이 병합된 병합 영상을 수신할 수 있다.
한편, 본 발명의 다른 실시 예에 따르면, 통신 인터페이스부(130)는 촬영된 영상을 전송하고, 촬영된 영상과 적어도 하나의 타 영상 처리 장치(100)에서 촬영된 적어도 하나의 타 영상이 병합된 병합 영상을 수신한다.
구체적으로, 영상 처리 장치(100)에서 병합 영상내에 촬영된 영상과 적어도 하나의 타 영상을 동일한 배치 모드를 갖도록 이미지 처리하는 경우, 통신 인터페이스부(130)는 촬영된 영상을 영상 중계 장치(200)에 전송한다. 이 후, 영상 중계 장치(200)를 통해, 촬영된 영상과 적어도 하나의 타 영상 처리 장치(100)에서 촬영된 적어도 하나의 타 영상이 병합된 병합 영상을 수신할 수 있다.
이 경우, 통신 인터페이스부(130)는 병합 영상과 병합 영상의 병합 정보를 함께 수신할 수 있다. 여기서, 병합 정보는 병합 영상내에 병합된 복수의 영상 각각의 배치 모드와, 프레임 좌표, 회전 정보, 스케일 정보, 종횡비 및 병합된 영상의 갯수 중 적어도 하나를 포함할 수 있다.
한편, 본 발명의 다른 실시 예에 따르면, 영상 중계 장치(200)에서 복수의 영상을 동일한 배치 모드를 갖도록 조정하는 경우, 통신 인터페이스부(130)는 영상 중계 장치(200)에 촬영된 영상과 함께 촬영 정보를 전송할 수 있다. 여기서, 촬영 정보는 사용자 영상의 배치 방향과 해상도, 종횡비 및 크기 중 적어도 하나를 포함할 수 있다.
한편, 통신 인터페이스부(130)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 그리고, 통신 인터페이스부(130)는 방송 수신 모듈(미도시), 근거리 무선 통신 모듈(미도시), 무선 통신 모듈(미도시), GPS 모듈(미도시) 등과 같은 다양한 통신 모듈을 포함할 수 있다. 또한, 통신 인터페이스부(130)는 영상 중계 장치(200)과 연결하기 위해, 무선 또는 유선 방식으로 접속될 수 있다.
사용자 인터페이스부(140)는 수신된 병합 영상을 표시한다.
한편, 본 발명의 다른 실시 예로, 영상 처리 장치(100)가 수신된 병합 영상내에 촬영된 영상과 적어도 하나의 타영상을 동일한 배치 모드를 갖도록 이미지 처리하는 경우, 사용자 인터페이스부(140)는 이미지 처리된 병합 영상을 표시한다. 또한, 사용자 인터페이스부(140)는 영상 처리 장치(100)가 수신된 병합 영상내에 촬영된 영상과 적어도 하나의 타영상을 각각 추출하여 기설정된 레이아웃을 갖는 영상으로 렌더링 영상을 표시할 수 있다.
한편, 사용자 인터페이스부(140)는 영상을 표시하는 디스플레이 패널 및 적어도 하나 이상의 버튼을 포함할 수 있다. 이 경우, 디스플레이 패널은 터치 스크린으로 구현될 수 있다. 사용자 인터페이스부(140)는 각종 UI 화면을 제공하여주고, 사용자는 UI 화면을 직접 터치하거나, 사용자 인터페이스부(140)에 구비된 버튼을 조작하여 선택 명령을 입력할 수 있다. 선택 명령은 영상 처리 장치(100)가 구비한 다양한 기능을 설정하거나, 모드 변경, 동작 정지 및 재개 등을 설정하기 위한 명령일 수 있다.
도 3은 본 발명의 다양한 실시 예에 따른 영상 처리 장치(100)의 구체적인 구성을 설명하기 위한 블럭도이다.
도 3을 참고하면, 영상 처리 장치(100)는 촬영부(110), 이미지 처리부(120), 통신 인터페이스부(130), 사용자 인터페이스부(140), 제어부(150), 저장부(160), 판단부(180), 스피커부(170)를 포함할 수 있다.
촬영부(110), 이미지 처리부(120), 통신 인터페이스부(130), 사용자 인터페이스부(140)의 동작에 대해서는 도 2에서 구체적으로 설명한 바 있으므로, 중복설명은 생략한다.
제어부(150)는 영상 처리 장치(100)에 포함된 각 구성을 제어할 수 있다. 제어부(150)에서 수행되는 동작의 일 예로는 영상 처리 장치(100)에서 이미지 처리를 선택적으로 제어할 수 있고, 통신 인터페이스부(130)를 이용하여 외부 장치와 통신을 수행할 수 있다.
저장부(160)에는 영상 처리 장치(100)의 동작과 관련된 각종 프로그램이나 데이터, 사용자가 설정한 설정 정보, 시스템 구동 소프트웨어(Operating Software), 각종 어플리케이션 프로그램, 사용자 조작 내용에 대응되는 동작에 대한 정보 등이 저장될 수 있다.
스피커부(170)는 영상 처리 장치(100)에서 재생되는 음향을 출력하거나, 다른 영상 처리 장치(100) 또는 영상 중계 장치(200)로부터 전송되는 음향을 통신 인터페이스부(130)를 통하여 수신받아 출력할 수 있다.
판단부(180)는 사용자 영상의 배치 방향을 판단하는 구성이다. 구체적으로, 이미지 처리부(120)가 기설정된 배치 모드를 갖도록 이미지 처리하기 위하여, 사용자 영상의 배치 방향을 판단할 수 있다.
판단부(180)는 자이로스코프 센서(Gyroscope Sensor)를 구비할 수 있다. 자이로스코프 센서에 의해 영상 처리 장치(100)의 상하, 좌우, 전후에 생기는 각도 변화를 읽어 영상 처리 장치(100)의 배치를 검출할 수 있다. 이에 따라, 영상 처리 장치(100)는 촬영된 영상의 배치 방향을 판단할 수 있다. 이 경우, 영상 처리 장치(100)는 통신 인터페이스부(130)를 통하여 영상 중계 장치(200)에 촬영된 영상과 판단부(180)에 의해 판단된 영상의 배치 방향 정보를 포함하는 촬영 정보를 전송할 수 있다.
한편, 판단부(180)는 영상 중계 장치(200)에서 수신되는 병합 영상의 정보를 이용하여 병합 영상 내의 병합된 각 영상의 배치 방향을 판단할 수 있다. 또한, 얼굴 인식 알고리즘을 이용하여 사용자 영상의 배치 방향을 판단할 수 있다.
이상과 같이 다양한 실시 예에 따른 영상 처리 장치(100)는 영상 처리 장치(100) 또는 영상 중계 장치(200)에서 영상을 동일한 배치 모드를 갖도록 영상 처리 하여, 적절한 병합 영상을 제공할 수 있다.
도 4는 도 1의 영상 중계 장치(200)의 구체적인 구성을 설명하기 위한 블럭도이다.
도 4를 참고하면, 통신 인터페이스부(210), 판단부(220), 이미지 처리부(230) 및 제어부(240)를 포함한다.
통신 인터페이스부(210)는 복수의 영상 처리 장치(100) 각각으로부터 사용자 영상을 수신한다. 또한, 통신 인터페이스부(210)는 제어부(240)의 제어에 따라 병합 영상을 복수의 영상 처리 장치(100) 각각에 전송한다.
이 경우, 통신 인터페이스부(210)는 각각의 영상 처리 장치(100)로부터 사용자 영상의 촬영 정보를 사용자 영상과 함께 수신할 수 있다.
또한, 통신 인터페이스부(210)는 복수의 영상 처리 장치(100) 각각에 병합 영상과 함께 병합 영상의 병합 정보를 같이 전송할 수 있다. 여기서, 병합 정보는 판단된 복수의 사용자 영상 각각의 사용자 배치 방향과, 프레임 좌표, 회전 정보, 스케일 정보, 종횡비 및 병합된 사용자 영상의 갯수 중 적어도 하나를 포함할 수 있다.
한편, 통신 인터페이스부(210)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 통신 인터페이스부(210)는 방송 수신 모듈(미도시), 근거리 무선 통신 모듈(미도시), 무선 통신 모듈(미도시), GPS 모듈(미도시) 등과 같은 다양한 통신 모듈을 포함할 수 있다.
판단부(220)는 수신된 복수의 영상 각각의 배치 모드를 판단한다. 구체적으로 복수의 영상 처리 장치(100)로부터 수신된 복수의 영상에서 각각의 사용자 배치 모드를 판단할 수 있다.
이 경우, 판단부(220)는 영상 처리 장치(100) 각각으로부터 촬영된 영상과 함께 촬영 정보를 수신하여, 수신된 촬영 정보를 이용하여 복수의 영상 각각의 배치 모드를 판단할 수 있다.
한편, 판단부(220)는 수신된 복수의 영상이 사용자 영상인 경우, 별도의 얼굴 인식 알고리즘을 이용하여 복수의 사용자 이미지 각각의 배치 모드를 판단할 수 있다.
이미지 처리부(230)는 수신된 복수의 영상을 병합한다. 구체적으로, 복수의 영상 처리 장치(100)으로부터 수신된 복수의 사용자 영상을 병합(Mixing)하여 하나의 병합 영상으로 이미지 처리할 수 있다.
본 발명의 다른 실시 예로, 영상 중계 장치(200)에서 수신된 복수의 영상을 동일한 배치 모드를 갖도록 복수의 영상을 병합할 수 있다. 이 경우, 이미지 처리부(230)는 판단부(220)에서 판단된 복수 영상 각각의 배치 모드를 기초하여 복수의 영상이 동일한 배치 모드를 갖도록 Rotation, Scaling 등의 이미지 처리를 하여 병합(Mixing)할 수 있다.
제어부(240)는 병합 영상을 복수의 영상 처리 장치(100) 각각에 전송하도록 통신 인터페이스부를 제어한다. 구체적으로, 영상 중계 장치(200)에서 복수의 영상이 병합된 병합 영상을 복수의 영상 처리 장치(100) 각각에 전송하도록 제어한다.
한편, 제어부(240)는 영상 중계 장치(200)에 포함된 각 구성을 제어할 수 있다.
도 5는 본 발명의 다양한 실시 예에 따른 영상 중계 장치의 구체적인 구성을 설명하기 위한 블럭도이다.
도 5를 참고하면, 통신 인터페이스부(210), 판단부(220), 이미지 처리부(230), 제어부(240), 사용자 인터페이스부(250) 및 저장부(260)를 제어한다.
통신 인터페이스부(210), 판단부(220), 이미지 처리부(230) 및 제어부(240)의 동작에 대해서는 도 4에서 구체적으로 설명한 바 있으므로, 중복설명은 생략한다.
사용자 인터페이스부(250)는 영상을 표시하는 디스플레이 패널 및 적어도 하나 이상의 버튼을 포함할 수 있다. 이 경우, 디스플레이 패널은 터치 스크린으로 구현될 수 있다. 사용자 인터페이스부(250)는 각종 UI 화면을 제공하여주고, 사용자는 UI 화면을 직접 터치하거나, 사용자 인터페이스부(250)에 구비된 버튼을 조작하여 선택 명령을 입력할 수 있다. 선택 명령은 영상 중계 장치(200)가 구비한 다양한 기능을 설정하거나, 모드 변경, 동작 정지 및 재개 등을 설정하기 위한 명령일 수 있다.
저장부(260)는 영상 중계 장치(200)의 동작과 관련된 각종 프로그램이나 데이터, 사용자가 설정한 설정 정보, 시스템 구동 소프트웨어(Operating Software), 각종 어플리케이션 프로그램, 사용자 조작 내용에 대응되는 동작에 대한 정보 등이 저장될 수 있다.
이상과 같이 다양한 실시 예에 따른 영상 중계 장치(200)는 영상 처리 장치(100) 또는 영상 중계 장치(200)에서 영상을 동일한 배치 모드를 갖도록 영상 처리 하여, 적절한 병합 영상을 제공할 수 있다.
도 6 내지 도 9는 본 발명의 일 실시 예에 따른 영상 처리 방법 및 영상 중계 방법을 설명하기 위한 도면이다.
구체적으로, 도 6 내지 도 9는 송신단에서 기설정된 배치 모드로 이미지 처리하는 동작(Rotation in Sender)을 설명한다.
도 6을 참고하면, 송신단(610)의 영상 처리 장치(100)에서 세로모드(Portrait mode)로 전송하는 것으로 기설정되어 있다. 이 경우, 가로모드(Landscpae mode)로 촬영된 영상(611)은 Rotation 되어 세로모드(Portrait mode)로 이미지 처리되어 영상 중계 장치(200)인 MCU(Multi-point Control Unit)(620)에 전송될 수 있다. 영상 중계 장치(200)인 MCU(620)에서는 송신단(610)에서 전송된 사용자 영상을 병합하고, 수신단(630)의 영상 처리 장치(100)로 전송한다. 그리고, 수신단(630)의 영상 처리 장치(100)에서는 수신된 병합된 영상을 표시할 수 있다. 여기서, 송신단(610)의 영상 처리 장치(100), MCU(620)는 메모리 상에 저장되는 영상을 도시한 것이고, 수신단(630)의 영상 처리 장치(100)에서는 디스플레이 상에 표시되는 사용자 영상을 도시한 것이다. 즉, 수신단(630)의 영상 처리 장치(100)에서 수신받은 메모리 상에 저장된 병합 영상은 MCU(620)에서 도시한 병합 영상과 같다.
참고적으로, 가로모드(Landscape mode)로 촬영되는 경우, Encoder에 입력되어 저장되는 영상은 촬영된 영상과 동일할 수 있다.
반면, 세로모드(Portrait mode)로 촬영되는 경우, 촬영된 영상에서 90도 회전된 영상으로 Encoder에 입력되어 저장될 수 있다.
도 7을 참고하면, 송신단에서 기설정된 배치 모드로 이미지 처리하는 경우에 이미지 처리의 일 실시예를 설명한다. 구체적으로 송신단의 영상 처리 장치(100)에서 사용자 영상이 기설정된 배치 모드를 갖도록 이미지 처리하는 방법으로 촬영부(110)의 회전가능한 촬영소자를 제어하여 기설정된 배치 모드로 촬영하는 방법이 있다.
이 경우, 촬영소자를 회전시킬 때마다 delay가 발생할 수 있으나, Rotation / Scaling과 같은 이미지 처리를 따로 수행하지 않아도 되는 장점이 있다.
도 8, 9을 참고하면, 송신단의 영상 처리 장치(100)에서 기설정된 배치 모드로 이미지 처리하는 경우에 이미지 처리의 다양한 실시예를 설명한다.
도 8의 경우, 사용자 영상을 촬영하여 동일 해상도로 영상을 획득 후, Cropping하고, 90도로 Rotation한 후, Scale-up을 수행하여 기설정된 배치 모드로 이미지 처리하는 방법이다.
도 9의 경우, 사용자 영상을 촬영하여 큰 해상도의 영상를 획득 후, 기설정된 배치 모드에 따라 Cropping을 수행할 수 있다. 이후, 촬영된 사용자 영상의 배치가 기설정된 배치 모드가 동일한 경우 Scale-down을 수행하고, 다른 경우 Scale-down 및 Rotation을 수행하여 이미지 처리하는 방법이다.
한편, 도 8의 이미지 처리 방법의 경우 기설정된 배치 모드와 촬영된 사용자 영상의 배치 방향이 동일한 경우 이미지 처리할 필요가 없다는 장점이 있다.
반면, 도 9의 이미지 처리 방법의 경우 Scale-up을 수행할 필요가 없다는 장점이 있다.
도 10 은 본 발명의 일 실시 예에 따른 영상 처리 방법 및 영상 중계 방법을 설명하기 위한 도면이다.
구체적으로, 도 10 은 수신단에서 기설정된 배치 모드로 이미지 처리하는 동작(Rotation in Receiver)을 설명한다.
도 10을 참고하면, 송신단(1010)의 복수의 영상 처리 장치(100) 각각은 촬영된 사용자 영상과 함께 촬영 정보(1011)를 영상 중계 장치(200)인 MCU(1020)에 전송할 수 있다. MCU(1020)에서는 수신된 복수의 사용자 영상을 병합하여 병합 영상을 생성하고, 수신된 복수의 촬영 정보(1011)를 기초하여 병합 정보(1021)를 생성할 수 있다.
여기서 촬영 정보는 사용자 영상의 배치 방향과 해상도, 종횡비 및 크기 중 적어도 하나를 포함할 수 있다. 또한, 병합 정보는 복수의 사용자 영상 각각의 사용자 배치 방향과, 프레임 좌표, 회전 정보, 스케일 정보, 종횡비 및 병합된 사용자 영상의 갯수 중 적어도 하나를 포함할 수 있다.
수신단(1030)의 복수의 영상 처리 장치(100)는 MCU(1020)으로 부터 병합 영상과 함께 병합 정보(1021)를 수신받아 병합 정보(1021)를 기초로 하여 병합 영상 내의 각 사용자 영상의 배치 방향을 동일하게 이미지 처리할 수 있다.
도 11 은 본 발명의 일 실시 예에 따른 병합 정보의 구성을 설명하기 위한 도면이다.
도 11을 참고하면, 4개의 영상을 병합한 병합 정보로, 각 영상의 갯수(Number of Views), 각 영상의 배치 정보(Rotation Info.), 각 영상의 프레임 위치 정보(Composition Info.) 및 각 영상의 종횡비(Aspect Ratio) 등의 정보를 포함할 수 있다.
구체적으로, 각 영상의 배치 정보(Rotation Info.)(1110)는 8bit로 구성되어 있는데 2bit씩 각 영상의 Rotation 정보를 나타낼 수 있다. 각 영상의 프레임 위치 정보(Composition Info.)(1120)는 8bit로 구성되어 있는데 2bit씩 각 영상이 위치하는 위치를 나타낼 수 있다. 각 영상의 종횡비(Aspect Ratio)는 16bit로 구성되어 상위 8bit와 하위 8bit로 나누어 각 영상의 종횡비를 나타낼 수 있다. 일 예로, 16:9의 가로 세로 비율일 경우 상위 8bit는 16이란 값을 하위 8bit는 9라는 값을 가지게 된다. 4:3의 경우 상위 8bit는 4를 하위 8bit는 3이란 값을 가지게 된다.
상술한 병합 정보의 구성은 표현 범위를 넓히기 위해 더 많은 bit를 할당받을 수 있다.
도 12는 본 발명의 일 실시 예에 따른 병합 정보를 전달하는 RTP Header의 구조를 설명하기 위한 도면이다.
영상 중계 장치(200)의 통신 인터페이스부(210)에서 병합 영상과 병합 정보를 영상 처리 장치(100)에 전송할 수 있다. 이 경우, 병합 정보의 전송은 여러 채널을 통하여 이루어질 수 있다. 도 12는 RTP(Real-time Transport Protocol) Extension을 이용하는 방법을 제시한다. 이 방법 외에도 SDP(Service Discovery Protocol)등을 이용할 수 있다. 하지만, RTP Extension을 이용하는 경우 RTP를 통해 전송되는 병합 영상과 Sync를 맞추기 쉽다는 장점이 있다.
도 12를 참고하면, RTP Header의 구조를 보여주고 있다. Contribution source(CSRC)(1210)의 뒤의 X가 1로 세팅된 경우 Header Extension(1220)이 붙게 된다. 여기서 Header Extension(1220)에 의해 병합 정보가 전달될 수 있다.
도 13은 본 발명의 일 실시 예에 따른 영상 중계 장치(200)를 설명하기 위한 도면이다.
도 13을 참고하면, 촬영된 영상의 촬영 정보(Rotation/해상도 정보)를 수신받는 View Info. Interpreter(1310)은 촬영된 영상의 배치 방향을 판단하는 판단부(220)의 기능을 수행할 수 있다. 복수의 영상을 수신받아 스케일링 및 믹싱을 하는 Scaler 및 Image Mixer(1320)은 이미지 처리부(230)의 기능을 수행할 수 있다.
도 14 내지 도 15는 본 발명의 일 실시 예에 따른 영상 렌더링 방법을 설명하기 위한 도면이다.
도 14를 참고하면, 수신단의 영상 처리 장치(100)에서 하나의 renderer만 이용하는 영상 렌더링 방법으로, 영상 중계 장치(200)로부터 수신된 병합 영상과 병합 정보를 이용하여 병합 영상 내의 사용자 영상의 배치 방향이 동일하도록 Rotation 및 Scale 의 이미지 처리를 수행할 수 있다. 이미지 처리된 병합 영상을 하나의 renderer만을 이용하여 디스플레이 패널의 배치 상태에 따라 가로모드(Landscape mode)(1410) 또는 세로모드(Portrait mode)(1420) 중 어느 하나로 표시할 수 있다.
반면, 도 15를 참고하면, 수신단의 영상 처리 장치(100)에서 다수의 renderer를 이용하는 영상 렌더링 방법으로, 영상 중계 장치(200)로부터 수신된 병합 영상과 병합 정보를 이용하여 병합 영상 내의 각 사용자 영상을 추출하여(Memory copy) 이미지 처리하고, 각각의 추출되어 이미지 처리된 사용자 영상에 Rendering을 수행할 수 있다. 이 경우, 도 14와 같이 디스플레이 패널의 배치 상태에 따라 가로모드(Landscape mode)(1510) 또는 세로모드(Portrait mode) 중 어느 하나로 표시할 수 있으며, 또한, 디스플레이 패널의 배치 상태와 상관없이 자유로운 구도의 프레임(또는 레이아웃)(1520)으로 병합 영상을 표시할 수 있다.
도 15의 경우와 같이 Multi renderer을 이용하는 경우 각 사용자 영상의 해상도의 손실을 방지하는 효과가 있다. 또한, UI(User Interface)측면에서 자유도가 증가하여 한정적인 디스플레이 공간을 효율적으로 사용할 수 있다는 장점이 있다.
도 16 내지 도 17은 본 발명의 일 실시 예에 따른 영상 처리 방법 및 영상 중계 방법을 설명하기 위한 도면이다.
구체적으로, 도 16 내지 도 17은 영상 중계 장치(200)에서 복수의 사용자 이미지가 동일한 배치 방향을 갖도록 이미지 처리하여 병합하는 동작(Rotation in MCU)을 설명한다.
도 16을 참고하면, 영상 중계 장치(200)인 MCU(1620)에서 세로모드(Portrait mode)로 병합하는 것으로 설정되어 있다. 각 송신단(1610)의 영상 처리 장치(100)에서는 촬영된 사용자 영상 및 촬영 정보(1611)를 영상 중계 장치(200)인 MCU(1620)에 전송할 수 있다. MCU(1620)에서는 수신받은 복수의 사용자 영상을 각각의 촬영 정보(1611)를 이용하여 세로모드(Portrait mode)로 이미지 처리하여 병합하여 수신단(1630)의 영상 처리 장치(100)에 병합된 병합 영상을 전송할 수 있다. 수신단(1630)의 영상 처리 장치(100)에서는 수신된 병합 영상을 디스플레이 패널의 배치 상태에 따라 병합 영상을 표시할 수 있다.
한편, 도 17은 영상 중계 장치(200)에서 복수의 사용자 이미지가 동일한 배치 방향을 갖도록 이미지 처리하여 병합하는 동작(Rotation in MCU) 중 병합하는 모드를 선택하는 방법을 설명한다.
도 17을 참고하면, 영상 처리 장치(100)에 수신되는 복수의 사용자 영상의 배치 모드 비율을 기초로 더 많은 배치 모드로 복수의 사용자 영상을 병합할 수 있다.
세로모드(Portrait mode)의 사용자 영상이 더 많은 경우, 영상 중계 장치(200)는 세로모드(Portrait mode)로 복수의 사용자 영상을 병합할 수 있다.(1710)
가로모드(Landscape mode)의 사용자 영상이 더 많은 경우, 영상 중계 장치(200)는 가로모드(Landscape mode)로 복수의 사용자 영상을 병합할 수 있다.(1780)
도 18은 본 발명의 일 실시 예에 따른 영상 중계 장치(200)의 영상 중계 동작을 설명하기 위한 흐름도이다.
도 18을 참고하면, 복수의 영상 처리 장치(100) 각각으로부터 촬영된 영상을 수신하고,(S1810) 수신된 복수의 영상 각각의 배치 모드를 판단한다.(S1820) 구체적으로, 영상 처리 장치(100) 각각으로부터 촬영된 영상과 함께 촬영 정보를 수신하고, 영상 처리 장치(100) 각각으로부터 수신된 촬영 정보를 이용하여 복수의 사용자 이미지 각각의 배치 방향을 판단할 수 있다.
한편, 수신된 복수의 영상이 사용자 영상인 경우, 얼굴 인식 알고리즘을 이용하여 복수의 사용자 영상 각각의 배치 모드를 판단할 수도 있다.
그리고, 수신된 복수의 영상을 병합하고,(S1830) 병합 영상을 복수의 영상 처리 장치(100) 각각에 전송한다.(S1840) 구체적으로, 판단된 배치 방향을 기초하여 복수의 사용자 이미지가 동일한 배치 모드를 갖도록 병합할 수 있다.
한편, 병합 영상의 병합 정보를 병합 영상과 함께 복수의 영상 처리 장치(100) 각각에 전송할 수 있다. 이 경우, 병합 정보는 판단된 복수의 사용자 영상 각각의 사용자 배치 방향과, 프레임 좌표, 회전 정보, 스케일 정보, 종횡비, 및 병합된 사용자 영상의 갯수 중 적어도 하나를 포함할 수 있다.
한편, 도 18과 같은 영상 중계 방법은, 도 4의 구성을 가지는 영상 중계 장치(200)에서 실시될 수 있으며, 그 밖의 구성을 가지는 영상 중계 장치에서도 실행될 수 있다.
도 19는 본 발명의 일 실시 예에 따른 영상 처리 장치(100)의 영상 처리 동작을 설명하기 위한 흐름도이다.
도 19를 참고하면, 영상 처리 장치(100)는 영상을 촬영하고(S1910), 촬영된 영상이 기설정된 배치 모드를 갖도록 이미지를 처리한다.(S1920)
여기서, 기설정된 배치 모드는, 촬영된 영상 및 적어도 하나의 타 영상 처리 장치(100)의 영상과 일치되도록 설정된 배치 모드일 수 있다.
여기서, 이미지 처리는, 기설정된 배치 모드를 갖도록 Rotation, Scaling, Cropping 등의 이미지 처리 하는 것일 수 있다.
그리고, 이미지 처리된 영상을 영상 중계 장치(200)로 전송한다.(S1930) 구체적으로, 동일한 기설정된 배치 모드로 이미지 처리된 영상을 영상 중계 장치(200)로 전송할 수 있다.
그리고, 영상 중계 장치(200)로부터 이미지 처리된 영상과 적어도 하나의 타 영상이 병합된 병합 영상을 수신하고,(S1940) 수신된 병합 영상을 표시한다.(S1950)
한편, 도 19와 같은 영상 처리 방법은, 도 2의 구성을 가지는 영상 처리 장치(100)에서 실시될 수 있으며, 그 밖의 구성을 가지는 영상 처리 장치에서도 실행될 수 있다.
도 20은 본 발명의 일 실시 예에 따른 영상 처리 장치(100)의 영상 처리 동작을 설명하기 위한 흐름도이다.
도 20을 참고하면, 영상 처리 장치(100)는 영상을 촬영하고,(S2010) 촬영된 영상을 전송한다.(S2020)
그리고, 영상 중계 장치(200)로부터 촬영된 영상과 적어도 하나의 타 영상 처리 장치(100)에서 촬영된 적어도 하나의 타 영상이 병합된 병합 영상을 수신하고,(S2030) 수신된 병합 영상 내에 촬영된 영상 및 적어도 하나의 타 영상이 기설정된 배치 모드를 갖도록 이미지 처리한다.(S2040) 구체적으로, 영상 중계 장치(200)로부터 병합 영상과 병합 영상의 정보를 함께 수신할 수 있다.
이 경우, 수신된 병합 영상의 정보를 이용하여 수신된 병합 영상 내에 촬영된 영상 및 적어도 하나의 타 영상이 기설정된 배치 모드를 갖도록 이미지 처리할 수 있다. 여기서 이미지 처리는 Rotation, Scaling 또는 Cropping등의 조합 일 수 있다.
한편, 촬영된 영상 및 적어도 하나의 타 영상이 사용자 영상인 경우, 얼굴 인식 알고리즘을 이용하여 수신된 병합 영상 내에 촬영된 영상 및 적어도 하나의 타 영상이 기설정된 배치 모드를 갖도록 이미지 처리할 수 있다.
그리고, 이미지 처리된 병합 영상을 표시한다.(S2050)
한편, 도 20과 같은 영상 처리 방법은, 도 2의 구성을 가지는 영상 처리 장치(100)에서 실시될 수 있으며, 그 밖의 구성을 가지는 영상 처리 장치에서도 실행될 수 있다.
도 21은 본 발명의 일 실시 예에 따른 영상 처리 장치(100)의 영상 처리 동작을 설명하기 위한 흐름도이다.
도 21을 참고하면, 영상 처리 장치(100)는 영상을 촬영하고,(S2110) 촬영된 영상을 전송한다.(S2120)
그리고, 영상 중계 장치(200)로부터 촬영된 영상과 적어도 하나의 타 영상 처리 장치(100)에서 촬영된 적어도 하나의 타 영상이 병합된 병합 영상을 수신하고,(S2130) 수신된 병합 영상 내에 촬영된 영상 및 적어도 하나의 타 영상을 각각 추출하여 기설정된 레이아웃을 갖는 영상으로 렌더링한다.(S2140) 구체적으로, 영상 중계 장치(200)로부터 병합 영상과 병합 영상의 정보를 함께 수신할 수 있다.
이 경우, 수신된 병합 영상의 정보를 이용하여 수신된 병합 영상 내에 촬영된 영상 및 적어도 하나의 타 영상을 추출한다. 추출된 각각의 영상을 다수의 Renderer에 의해 기설정된 레이아웃을 갖는(또는 프레임) 영상으로 렌더링 될 수 있다.
그리고, 렌더링 영상을 표시한다.(S2150)
한편, 도 21과 같은 영상 처리 방법은, 도 2의 구성을 가지는 영상 처리 장치(100)에서 실시될 수 있으며, 그 밖의 구성을 가지는 영상 처리 장치에서도 실행될 수 있다.
이상과 같이, 본 발명의 다양한 실시 예에 따르면, 적절한 병합 영상을 제공할 수 있는 영상 처리 장치, 영상 중계 장치, 영상 처리 방법 및 영상 중계 방법을 제공할 수 있게 된다.
한편, 이러한 다양한 실시 예에 따른 방법들은 프로그래밍되어 각종 저장 매체에 저장될 수 있다. 이에 따라, 저장 매체를 실행하는 다양한 유형의 전자 장치에서 상술한 다양한 실시 예에 따른 방법들이 구현될 수 있다.
구체적으로는, 본 발명의 일 실시 예에 따르면, 복수의 영상 처리 장치 각각으로부터 촬영된 영상을 수신하는 단계, 수신된 복수의 영상 각각의 배치 모드를 판단하는 단계, 수신된 복수의 영상을 병합하는 단계, 및 병합 영상을 복수의 영상 처리 장치 각각에 전송하는 단계를 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비 일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어 져서는 안 될 것이다.
100 : 영상 처리 장치 200 : 영상 중계 장치
110 : 촬영부 120 : 이미지 처리부
130 : 통신 인터페이스부 140 : 사용자 인터페이스부
150 : 제어부 160 : 저장부
170 : 스피커부 180 : 판단부
210 : 통신 인터페이스부 220 : 판단부
230 : 이미지 처리부 240 : 제어부
250 : 사용자 인터페이스부 260 : 저장부

Claims (27)

  1. 복수의 영상 처리 장치와 연결 가능한 영상 중계 장치의 영상 중계 방법에 있어서,
    상기 복수의 영상 처리 장치 각각으로부터 촬영된 영상을 수신하는 단계;
    상기 수신된 복수의 영상 각각의 배치 모드를 판단하는 단계;
    상기 수신된 복수의 영상을 병합하여 병합 영상을 획득하는 단계; 및
    상기 병합 영상 및 상기 병합 영상에 대한 정보를 상기 복수의 영상 처리 장치 각각에 전송하는 단계;를 포함하며,
    상기 복수의 영상 각각의 배치 모드는, 상기 복수의 영상 처리 장치 각각에 포함된 디스플레이 패널의 배치 상태에 따라 식별되며,
    상기 병합 영상은, 상기 복수의 영상이 동일한 배치 모드로 조정되어 정렬된 영상이며,
    상기 병합 영상에 대한 정보는, 상기 복수의 영상의 개수 및 상기 복수의 영상 각각의 배치 모드에 대한 정보를 포함하는 영상 중계 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 병합 영상에 대한 정보는,
    상기 판단된 복수의 영상 각각의 배치 모드와, 프레임 좌표, 회전 정보, 스케일 정보, 종횡비 및 병합된 사용자 영상의 갯수 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 중계 방법.
  4. 삭제
  5. 제1항에 있어서,
    상시 수신하는 단계는,
    상기 복수의 영상 처리 장치 각각으로부터 촬영된 영상과 함께 촬영 정보를 수신하는 것을 특징으로 하고,
    상기 판단하는 단계는,
    상기 영상 처리 장치 각각으로부터 수신된 촬영 정보를 이용하여 상기 복수의 영상 각각의 배치 모드를 판단하는 것을 특징으로 하는 영상 중계 방법.
  6. 제1항에 있어서,
    상기 판단하는 단계는,
    상기 수신된 복수의 영상이 사용자 영상인 경우, 얼굴 인식 알고리즘을 이용하여 상기 복수의 사용자 영상 각각의 배치 모드를 판단하는 것을 특징으로 하는 영상 중계 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 영상 처리 장치에서의 영상 처리 방법에 있어서,
    영상을 촬영하는 단계;
    상기 촬영된 영상을 영상 중계 장치로 전송하는 단계;
    상기 영상 중계 장치를 통해, 상기 촬영된 영상과 적어도 하나의 타 영상 처리 장치에서 촬영된 적어도 하나의 타 영상이 병합된 병합 영상 및 상기 병합 영상에 대한 정보를 수신하는 단계;
    상기 병합 영상에 대한 정보에 기초하여 상기 수신된 병합 영상 내에 상기 촬영된 영상 및 상기 적어도 하나의 타 영상을 각각 획득하고, 상기 획득된 영상들의 배치를 변경하여 상기 획득된 영상들을 기설정된 레이아웃을 갖는 영상으로 렌더링하는 단계; 및
    상기 렌더링 영상을 표시하는 단계;를 포함하며,
    상기 병합 영상에 대한 정보는, 병합된 영상들의 개수 및 상기 병합된 영상들 각각의 배치 모드에 대한 정보를 포함하는 영상 처리 방법.
  12. 복수의 영상 처리 장치와 연결 가능한 영상 중계 장치에 있어서,
    상기 복수의 영상 처리 장치 각각으로부터 촬영된 영상을 수신하는 통신 인터페이스부;
    상기 수신된 복수의 영상 각각의 배치 모드를 판단하는 판단부;
    상기 수신된 복수의 영상을 병합하여 병합 영상을 획득하는 이미지 처리부; 및
    상기 병합 영상 및 상기 병합 영상에 대한 정보를 상기 복수의 영상 처리 장치 각각에 전송하도록 상기 통신 인터페이스부를 제어하는 제어부;를 포함하며,
    상기 복수의 영상 각각의 배치 모드는, 상기 복수의 영상 처리 장치 각각에 포함된 디스플레이 패널의 배치 상태에 따라 식별되며,
    상기 병합 영상은, 상기 복수의 영상이 동일한 배치 모드로 조정되어 정렬된 영상이며,
    상기 병합 영상에 대한 정보는, 상기 복수의 영상의 개수 및 상기 복수의 영상 각각의 배치 모드에 대한 정보를 포함하는 영상 중계 장치.
  13. 삭제
  14. 제12항에 있어서,
    상기 병합 영상에 대한 정보는,
    상기 판단된 복수의 영상 각각의 사용자 배치 모드과, 프레임 좌표, 회전 정보, 스케일 정보, 종횡비 및 병합된 영상의 갯수 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 중계 장치.
  15. 삭제
  16. 제12항에 있어서,
    상기 통신 인터페이스부는,
    상기 영상 처리 장치 각각으로부터 촬영된 영상과 함께 촬영 정보를 수신하는 것을 특징으로 하고,
    상기 판단부는,
    상기 영상 처리 장치 각각으로부터 수신된 촬영 정보를 이용하여 복수의 영상 각각의 배치 모드를 판단하는 것을 특징으로 하는 영상 중계 장치.
  17. 제12항에 있어서,
    상기 판단부는,
    상기 수신된 복수의 영상이 사용자 영상인 경우, 얼굴 인식 알고리즘을 이용하여 상기 복수의 사용자 영상 각각의 배치 모드를 판단하는 것을 특징으로 영상 중계 장치.
  18. 삭제
  19. 삭제
  20. 영상 처리 장치에 있어서,
    영상을 촬영하는 촬영부;
    상기 촬영된 영상을 전송하고, 상기 촬영된 영상과 적어도 하나의 타 영상 처리 장치에서 촬영된 적어도 하나의 타 영상이 병합된 병합 영상 및 상기 병합 영상에 대한 정보를 수신하는 통신 인터페이스부;
    상기 병합 영상에 대한 정보에 기초하여 상기 수신된 병합 영상 내에 상기 촬영된 영상 및 상기 적어도 하나의 타 영상을 각각 획득하고, 상기 획득된 영상들의 배치를 변경하여 상기 획득된 영상들을 기설정된 레이아웃을 갖는 영상으로 렌더링하는 이미지 처리부; 및
    상기 렌더링 영상을 표시하는 사용자 인터페이스부;를 포함하며,
    상기 병합 영상에 대한 정보는, 병합된 영상들의 개수 및 상기 병합된 영상들 각각의 배치 모드에 대한 정보를 포함하는 영상 처리 장치.
  21. 삭제
  22. 제20항에 있어서,
    상기 이미지 처리부는, 상기 촬영된 영상 및 상기 적어도 하나의 타 영상이 사용자 영상인 경우, 얼굴 인식 알고리즘을 이용하여 상기 수신된 병합 영상 내에 상기 촬영된 영상 및 상기 적어도 하나의 타 영상이 기설정된 배치 모드를 갖도록 이미지 처리하는 것을 특징으로 하는 영상 처리 장치.
  23. 삭제
  24. 복수의 영상 처리 장치와 연결 가능한 영상 중계 장치의 영상 중계 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서,
    상기 영상 중계 방법은,
    상기 복수의 영상 처리 장치 각각으로부터 촬영된 영상을 수신하는 단계;
    상기 수신된 복수의 영상 각각의 배치 모드를 판단하는 단계;
    상기 수신된 복수의 영상을 병합하여 병합 영상을 획득하는 단계; 및
    상기 병합 영상 및 상기 병합 영상에 대한 정보를 상기 복수의 영상 처리 장치 각각에 전송하는 단계;를 포함하며,
    상기 복수의 영상 각각의 배치 모드는, 상기 복수의 영상 처리 장치 각각에 포함된 디스플레이 패널의 배치 상태에 따라 식별되며,
    상기 병합 영상은 상기 복수의 영상이 동일한 배치 모드로 조정되어 정렬된 영상이며,
    상기 병합 영상에 대한 정보는, 상기 복수의 영상의 개수 및 상기 복수의 영상 각각의 배치 모드에 대한 정보를 포함하는 컴퓨터 판독가능 기록매체.
  25. 삭제
  26. 삭제
  27. 영상 처리 장치에서의 영상 처리 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서,
    상기 영상 처리 방법은,
    영상을 촬영하는 단계;
    상기 촬영된 영상을 영상 중계 장치로 전송하는 단계;
    상기 영상 중계 장치를 통해, 상기 촬영된 영상과 적어도 하나의 타 영상 처리 장치에서 촬영된 적어도 하나의 타 영상이 병합된 병합 영상 및 상기 병합 영상에 대한 정보를 수신하는 단계;
    상기 병합 영상에 대한 정보에 기초하여 상기 수신된 병합 영상 내에 상기 촬영된 영상 및 상기 적어도 하나의 타 영상을 각각 획득하고, 상기 획득된 영상들의 배치를 변경하여 상기 획득된 영상들을 기설정된 레이아웃을 갖는 영상으로 렌더링하는 단계; 및
    상기 렌더링 영상을 표시하는 단계;를 포함하며,
    상기 병합 영상에 대한 정보는, 병합된 영상들의 개수 및 상기 병합된 영상들 각각의 배치 모드에 대한 정보를 포함하는, 컴퓨터 판독가능 기록매체.
KR1020120069195A 2012-06-27 2012-06-27 영상 처리 장치, 영상 중계 장치, 영상 처리 방법 및 영상 중계 방법 KR101992397B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120069195A KR101992397B1 (ko) 2012-06-27 2012-06-27 영상 처리 장치, 영상 중계 장치, 영상 처리 방법 및 영상 중계 방법
PCT/KR2013/001003 WO2014003282A1 (en) 2012-06-27 2013-02-07 Image processing apparatus, image relaying apparatus, method for processing image, and method for relaying image
US13/854,402 US9430859B2 (en) 2012-06-27 2013-04-01 Image processing apparatus, image relaying apparatus, method for processing image, and method for relaying image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120069195A KR101992397B1 (ko) 2012-06-27 2012-06-27 영상 처리 장치, 영상 중계 장치, 영상 처리 방법 및 영상 중계 방법

Publications (2)

Publication Number Publication Date
KR20140001009A KR20140001009A (ko) 2014-01-06
KR101992397B1 true KR101992397B1 (ko) 2019-09-27

Family

ID=49777775

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120069195A KR101992397B1 (ko) 2012-06-27 2012-06-27 영상 처리 장치, 영상 중계 장치, 영상 처리 방법 및 영상 중계 방법

Country Status (3)

Country Link
US (1) US9430859B2 (ko)
KR (1) KR101992397B1 (ko)
WO (1) WO2014003282A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102228457B1 (ko) * 2014-01-09 2021-03-16 삼성전자주식회사 단말과 서버간의 정보 동기화 방법 및 시스템
CN105335124A (zh) * 2015-11-12 2016-02-17 深圳Tcl数字技术有限公司 基于多屏互动的图片处理方法及系统
CN111274848A (zh) * 2018-12-04 2020-06-12 北京嘀嘀无限科技发展有限公司 一种图像检测方法、装置、电子设备及存储介质
KR102637147B1 (ko) * 2021-11-11 2024-02-16 주식회사 엠비씨플러스 세로 모드 스트리밍 방법, 및 이동형 세로 모드 스트리밍 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060061599A1 (en) * 2004-09-17 2006-03-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for automatic image orientation normalization
US20070146798A1 (en) * 2005-12-28 2007-06-28 Fujitsu Limited Image processing system, image processing method, image processing program, image processing apparatus, and communication terminal device
US20080239131A1 (en) * 2007-03-28 2008-10-02 Ola Thorn Device and method for adjusting orientation of a data representation displayed on a display
US20110249086A1 (en) * 2010-04-07 2011-10-13 Haitao Guo Image Processing for a Dual Camera Mobile Device

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3198980B2 (ja) * 1996-10-22 2001-08-13 松下電器産業株式会社 画像表示装置及び動画像検索システム
US6915025B2 (en) * 2001-11-27 2005-07-05 Microsoft Corporation Automatic image orientation detection based on classification of low-level image features
JP4367929B2 (ja) * 2004-08-27 2009-11-18 キヤノン株式会社 携帯電話及び印刷システムとその制御方法
US7372975B2 (en) * 2004-12-06 2008-05-13 Mitsubishi Electric Research Laboratory, Inc. Method for secure background modeling in images
JP4849297B2 (ja) * 2005-04-26 2012-01-11 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP4833817B2 (ja) * 2006-12-15 2011-12-07 富士フイルム株式会社 画像合成用サーバおよびその制御方法
US9215405B2 (en) * 2011-12-09 2015-12-15 Hewlett-Packard Development Company, L.P. Modification of images based on orientation
US20130300821A1 (en) * 2012-05-10 2013-11-14 Qualcomm Incorporated Selectively combining a plurality of video feeds for a group communication session

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060061599A1 (en) * 2004-09-17 2006-03-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for automatic image orientation normalization
US20070146798A1 (en) * 2005-12-28 2007-06-28 Fujitsu Limited Image processing system, image processing method, image processing program, image processing apparatus, and communication terminal device
US20080239131A1 (en) * 2007-03-28 2008-10-02 Ola Thorn Device and method for adjusting orientation of a data representation displayed on a display
US20110249086A1 (en) * 2010-04-07 2011-10-13 Haitao Guo Image Processing for a Dual Camera Mobile Device

Also Published As

Publication number Publication date
KR20140001009A (ko) 2014-01-06
WO2014003282A1 (en) 2014-01-03
US20140002695A1 (en) 2014-01-02
US9430859B2 (en) 2016-08-30

Similar Documents

Publication Publication Date Title
US9992410B2 (en) Apparatus and method photographing image
TWI493971B (zh) 在行動裝置中之影像重疊
US9742995B2 (en) Receiver-controlled panoramic view video share
EP3151548A1 (en) Video recording method and device
US9270934B2 (en) 3D video communication apparatus and method for video processing of 3D video communication apparatus
AU2014221567A1 (en) Apparatus and method for processing an image in device
US20150035999A1 (en) Method for sharing digital photos securely
KR20170129592A (ko) 비디오 처리 방법, 장치, 프로그램 및 저장 매체
KR101992397B1 (ko) 영상 처리 장치, 영상 중계 장치, 영상 처리 방법 및 영상 중계 방법
JP6400293B2 (ja) 電子装置でコンテンツを制御する装置及びその方法
CN108965711B (zh) 视频处理方法及装置
CN108965769B (zh) 视频显示方法及装置
CA2763098A1 (en) Apparatus and method for synchronizing media capture in a wireless device
CN112822544A (zh) 视频素材文件生成方法、视频合成方法、设备及介质
JP6261191B2 (ja) 表示制御装置、表示制御方法、プログラム
US20140267870A1 (en) Mixed media from multimodal sensors
KR20110090623A (ko) 얼굴추적이 가능한 홈네트워크 단말 및 그 단말에서의 얼굴추적방법
WO2021147749A1 (zh) 实现3d显示的方法、装置及3d显示系统
KR20120078980A (ko) 휴대단말기에서 영상의 방향정보 추출장치 및 방법
JP5972302B2 (ja) オペレータ端末、携帯端末、指示送信方法、オペレータ端末用プログラム
US8933950B2 (en) Image processing device
US11902502B2 (en) Display apparatus and control method thereof
US20130286007A1 (en) Apparatus and method for displaying stereo-scopic image in electronic device
US9762891B2 (en) Terminal device, image shooting system and image shooting method
KR101781850B1 (ko) 전자 장치 및 입체영상 재생 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant