KR20180085917A - 초고해상도 영상 및 자막의 실시간 합성을 위한 시스템 및 방법 - Google Patents

초고해상도 영상 및 자막의 실시간 합성을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20180085917A
KR20180085917A KR1020170009592A KR20170009592A KR20180085917A KR 20180085917 A KR20180085917 A KR 20180085917A KR 1020170009592 A KR1020170009592 A KR 1020170009592A KR 20170009592 A KR20170009592 A KR 20170009592A KR 20180085917 A KR20180085917 A KR 20180085917A
Authority
KR
South Korea
Prior art keywords
image
high resolution
subtitle
resolution image
caption
Prior art date
Application number
KR1020170009592A
Other languages
English (en)
Inventor
장성준
이상설
김제우
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to PCT/KR2017/000720 priority Critical patent/WO2018135678A1/ko
Priority to KR1020170009592A priority patent/KR20180085917A/ko
Publication of KR20180085917A publication Critical patent/KR20180085917A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

초고해상도 영상 및 자막의 실시간 합성을 위한 시스템 및 방법이 제공된다. 본 영상 시스템은 압축 영상을 디코딩하여 초고해상도 영상을 생성하는 디코더; 디코더에 의해 생성된 영상에 자막을 합성하는 합성기;를 포함한다.
이에 의해, 서버 내 소프트웨어 수준에서 불가능하였던 막대한 크기의 멀티 채널 초고해상도 영상과 자막의 실시간 합성 및 재생이 가능해진다.

Description

초고해상도 영상 및 자막의 실시간 합성을 위한 시스템 및 방법{System and Method for Real-time Synthesis of Ultra High Resolution Image and subtitle}
본 발명은 초고해상도 영상/방송 기술에 관한 것으로, 더욱 상세하게는 초고해상도 방송 분야에서 데이터 획득 및 편집을 위해 초고해상도 영상 및 음성 데이터를 실시간으로 획득하여 서버에 저장하는 시스템 및 방법에 관한 것이다.
도 1은 종래의 초고해상도 영상 시스템을 도시한 도면이다. 재생 과정에서, 도 1에 도시된 시스템은, PCIe 인터페이스를 통해 영상압축 데이터를 초고해상도 영상 데이터 획득/재생 모듈로 전송한다. 멀티 채널의 경우 다수의 초고해상도 영상 데이터를 처리해야 하기 때문에 무압축 데이터로는 실시간 처리가 불가능하여 압축 데이터로 획득 혹은 전송한다.
초고해상도 영상 데이터 획득/재생 모듈은 압축 데이터를 하드웨어 코덱으로 실시간 디코딩하여 SDI 인터페이스를 통해 디스플레이로 전달하여 재생한다. 인터페이스 속도 차이로 인해 데이터 유실을 막기 위해 외부 메모리를 이용해 프레임 버퍼링을 하고 여러 카메라/디스플레이 및 코덱으로부터의 병렬적으로 처리하기 때문에 이를 제어하는 장치가 있다.
서버에서는 PCIe 레지스터 설정을 통해 FPGA 내부의 Controller의 Control 값을 설정하여 제어한다.
한편, 도 1에 도시된 시스템에서는 하드웨어 수준에서의 자막 합성 기능을 고려하지 않고 있다. 즉, 초고해상도 영상과 자막의 실시간 합성 및 재생을 지원하지 않는다.
서버 내 소프트웨어 수준에서 멀티 채널 초고해상도 영상과 자막의 막대한 크기로 인해 실시간 합성이 불가능하므로, 하드웨어 수준의 합성 기술에 대한 모색이 필요하다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 멀티 채널 초고해상도 영상 및 자막의 실시간 합성 및 재생이 가능한 시스템 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 영상 시스템은 압축 영상을 디코딩하여 초고해상도 영상을 생성하는 디코더; 디코더에 의해 생성된 영상에 자막을 합성하는 합성기;를 포함한다.
본 발명에 따른 영상 시스템은 합성기에 의해 생성된 자막 영상을 SDI 패킷으로 변환하는 처리기; 처리기에서 생성된 SDI 패킷을 디스플레이에 전달하는 제어기;를 더 포함할 수 있다.
본 발명에 따른 영상 시스템은 서버로부터 압축 영상을 수신하여 메모리에 저장하였다가 디코더로 인가하는 메모리 제어기;를 더 포함할 수 있다.
메모리 제어기는, 서버로부터 자막을 수신하여 메모리에 저장하였다가 합성기로 인가하는 메모리 제어기;를 더 포함할 수 있다.
메모리 제어기, 디코더 및 합성기는, FPGA(Field Programmable Gate Array)로 구성할 수 있다.
자막은, 자막 데이터와 자막 위치로 제공될 수 있다.
압축 영상은, 초고해상도 압축 영상일 수 있다.
한편, 본 발명의 다른 실시예에 따른 영상 재생 방법은 압축 영상을 디코딩하여 초고해상도 영상을 생성하는 단계; 및 디코더에 의해 생성된 영상에 자막을 합성하는 단계;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 서버 내 소프트웨어 수준에서 불가능하였던 막대한 크기의 멀티 채널 초고해상도 영상과 자막의 실시간 합성 및 재생이 가능해진다.
도 1은 종래의 초고해상도 영상 시스템을 도시한 도면,
도 2는 본 발명의 일 실시예에 따른 FPGA의 설명에 제공되는 블럭도,
도 3은 초고해상도 영상 재생 상황을 나타낸 도면,
도 4는 본 발명의 다른 실시예에 따른 초고해상도 영상 재생 방법의 설명에 제공되는 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 FPGA(Field Programmable Gate Array)의 설명에 제공되는 블럭도이다. 도시된 FPGA는 초고해상도 영상 시스템에서 영상 획득/재생을 담당하는 하드웨어 장치이다.
초고해상도 영상 시스템에는 도 2에 도시된 FPGA가 채널 개수(카메라 대수) 만큼 구비된다.
도시된 FPGA는 카메라를 통해 입력되는 초고해상도 영상을 실시간으로 압축하여 획득한 압축 데이터를 서버에 저장하고, 서버에 저장된 초고해상도 영상 압축 데이터를 디코딩하여 자막을 부가하여 디스플레이에 전달한다.
FPGA는, 도 2에 도시된 바와 같이, 메모리 제어기(110), 코덱(120), 영상/자막 합성기(130), SDI(Serial Digital Interface) 패킷 처리기(140) 및 SDI 제어기(150)를 포함한다.
코덱(120)은 초고해상도 영상의 압축과 해제를 수행한다. 구체적으로, 카메라를 통해 획득된 초고해상도 영상에 대해서는 압축하여 압축 데이터를 생성하고, 서버로부터 전달받은 압축 데이터에 대해서는 디코딩 하여 초고해상도 영상 데이터로 복원한다.
메모리 제어기(110)는 코덱(120)에서 생성된 초고해상도 압축 영상 데이터를 외부 메모리(10)에 임시 저장하면서 서버로 전달한다.
또한, 메모리 제어기(110)는 서버로부터 전달되는 초고해상도 압축 영상 데이터와 자막을 외부 메모리(10)에 임시 저장하였다고, 코덱(120)과 영상/자막 합성기(130)로 각각 전달한다.
영상/자막 합성기(130)는 초고해상도 영상에 자막을 동기화하여 합성한다. SDI 패킷 처리기(140)와 SDI 제어기(150)는 FPGA와 카메라/디스플레이 간의 SDI(Serial Digital Interface) 정합을 위한 수단이다.
도 3에는 초고해상도 영상 재생 상황을 나타내었다. 초고해상도 영상 재생을 위해, FPGA는 초고해상도 영상 데이터와 자막 데이터 패스를 구성하고 양자를 동기화시켜 실시간으로 합성한다.
구체적으로, 메모리 제어기(110)는 서버로부터 초고해상도 영상 압축 데이터와 자막 데이터를 전달받아 외부 메모리(10)에 저장한다. 외부 메모리(10)에서 초고해상도 영상 압축 데이터가 저장되는 영역과 자막 데이터가 저장되는 영역은 구분되어 있다.
메모리 제어기(110)는 외부 메모리(10)에 저장된 초고해상도 영상 압축 데이터를 코덱(120)의 디코더(125)로 전달하고, 디코더(125)는 이를 디코딩하여 초고해상도 영상을 생성한다.
또한, 메모리 제어기(110)는 외부 메모리(10)에 저장된 자막 데이터를 영상/자막 합성기(130)로 전달한다.
이에, 영상/자막 합성기(130)는 디코더(125)에서 생성된 초고해상도 영상에 자막을 동기화시켜 합성하여 자막이 부가된 초고해상도 영상을 생성한다.
SDI 패킷 처리기(140)는 영상/자막 합성기(130)에서 생성된 초고해상도 자막 영상을 SDI 패킷으로 변환하고, SDI 제어기(150)는 SDI 패킷 처리기(140)에서 생성된 SDI 패킷을 디스플레이에 전달한다.
이에 디스플레이에서는 자막이 부가된 초고해상도 영상이 재생되어 표시된다.
이하에서, 초고해상도 자막 영상 생성 과정에 대해 도 4를 참조하여 상세히 설명한다. 도 4는 본 발명의 다른 실시예에 따른 초고해상도 영상 재생 방법의 설명에 제공되는 흐름도이다.
도 4에 도시된 바와 같이, 메모리 제어기(110)는 서버로부터 초고해상도 영상 압축 데이터와 자막 데이터를 전달받아 외부 메모리(10)에 저장한다(S210).
그러면, 디코더(125)가 S210단계에서 저장된 초고해상도 영상 압축 데이터를 전달 받아 디코딩한다(S220).
이후, 영상/자막 합성기(130)는 S210단계에서 저장된 자막을 전달 받아, S220단계에서 디코딩된 초고해상도 영상에 합성하여 초고해상도 자막 영상을 생성한다(S230).
다음, SDI 패킷 처리기(140)와 SDI 제어기(150)는 초고해상도 자막 영상을 디스플레이에 SDI 패킷으로 변환하여 전달한다(S240).
지금까지, 초고해상도 영상 및 자막의 실시간 합성을 위한 시스템 및 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
자막의 크기가 작을 경우 서버에서 전체 영상 크기로 전송하지 않고 자막 데이터를 자막 위치 정보와 함께 전송할 수 있다. 이 경우 메모리 제어기(110)가 자막 위치 정보를 기초로 자막 데이터 저장 위치를 조절하거나 영상/자막 합성기(130)가 자막 위치 정보를 기초로 자막 데이터 합성 위치를 조절하여, 초고해상도 영상의 해당 위치에 자막이 합성되도록 할 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 메모리 제어기 120 : 코덱
125 : 디코더 130 : 영상/자막 합성기
140 : SDI 패킷 처리기 150 : SDI 제어기

Claims (8)

  1. 압축 영상을 디코딩하여 초고해상도 영상을 생성하는 디코더;
    디코더에 의해 생성된 영상에 자막을 합성하는 합성기;를 포함하는 것을 특징으로 하는 영상 시스템.
  2. 청구항 1에 있어서,
    합성기에 의해 생성된 자막 영상을 SDI 패킷으로 변환하는 처리기;
    처리기에서 생성된 SDI 패킷을 디스플레이에 전달하는 제어기;를 더 포함하는 것을 특징으로 하는 영상 시스템.
  3. 청구항 2에 있어서,
    서버로부터 압축 영상을 수신하여 메모리에 저장하였다가 디코더로 인가하는 메모리 제어기;를 더 포함하는 것을 특징으로 하는 영상 시스템.
  4. 청구항 3에 있어서,
    메모리 제어기는,
    서버로부터 자막을 수신하여 메모리에 저장하였다가 합성기로 인가하는 메모리 제어기;를 더 포함하는 것을 특징으로 하는 영상 시스템.
  5. 청구항 4에 있어서,
    메모리 제어기, 디코더 및 합성기는,
    FPGA(Field Programmable Gate Array)로 구성하는 것을 특징으로 하는 영상 시스템.
  6. 청구항 4에 있어서,
    자막은,
    자막 데이터와 자막 위치로 제공되는 것을 특징으로 하는 영상 시스템.
  7. 청구항 1에 있어서,
    압축 영상은,
    초고해상도 압축 영상인 것을 특징으로 하는 영상 시스템.
  8. 압축 영상을 디코딩하여 초고해상도 영상을 생성하는 단계; 및
    디코더에 의해 생성된 영상에 자막을 합성하는 단계;를 포함하는 것을 특징으로 하는 영상 재생 방법.
KR1020170009592A 2017-01-20 2017-01-20 초고해상도 영상 및 자막의 실시간 합성을 위한 시스템 및 방법 KR20180085917A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2017/000720 WO2018135678A1 (ko) 2017-01-20 2017-01-20 초고해상도 영상 및 자막의 실시간 합성을 위한 시스템 및 방법
KR1020170009592A KR20180085917A (ko) 2017-01-20 2017-01-20 초고해상도 영상 및 자막의 실시간 합성을 위한 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170009592A KR20180085917A (ko) 2017-01-20 2017-01-20 초고해상도 영상 및 자막의 실시간 합성을 위한 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20180085917A true KR20180085917A (ko) 2018-07-30

Family

ID=62908964

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170009592A KR20180085917A (ko) 2017-01-20 2017-01-20 초고해상도 영상 및 자막의 실시간 합성을 위한 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR20180085917A (ko)
WO (1) WO2018135678A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186446A (ja) * 1999-12-24 2001-07-06 Toshiba Corp 情報再生装置及び情報再生方法
KR20020041988A (ko) * 2000-11-29 2002-06-05 구자홍 피디피 티브이의 자막표시장치 및 방법
KR101285906B1 (ko) * 2006-10-30 2013-07-12 엘지전자 주식회사 자막 탐색이 가능한 방송 녹화 재생 방법 및 장치
KR20100012219A (ko) * 2008-07-28 2010-02-08 엘지전자 주식회사 데이터 재생방법 및 재생장치
WO2016006746A1 (ko) * 2014-07-11 2016-01-14 전자부품연구원 초고해상도 영상 처리를 위한 장치

Also Published As

Publication number Publication date
WO2018135678A1 (ko) 2018-07-26

Similar Documents

Publication Publication Date Title
US7145947B2 (en) Video data processing apparatus and method, data distributing apparatus and method, data receiving apparatus and method, storage medium, and computer program
WO2018082284A1 (zh) 3d全景音视频直播系统及音视频采集方法
US8620134B2 (en) Video and audio reproducing apparatus and video and audio reproducing method for reproducing video images and sound based on video and audio streams
US20130039418A1 (en) System and Method for Video and Audio Encoding on a Single Chip
US9601156B2 (en) Input/output system for editing and playing ultra-high definition image
CN109379619B (zh) 音画同步方法及装置
US11895352B2 (en) System and method for operating a transmission network
KR20110052933A (ko) 촬영장치 및 촬영영상 제공방법
KR20180085953A (ko) 멀티 채널 초고해상도 영상 데이터의 동시 획득 시 채널 간 동기를 위한 하드웨어 장치
US8902991B2 (en) Decoding apparatus for encoded video signals
US9609215B2 (en) Moving-image recording/reproduction apparatus
KR20180085917A (ko) 초고해상도 영상 및 자막의 실시간 합성을 위한 시스템 및 방법
KR20170085213A (ko) 채널별 이종 동작을 위한 멀티채널 초고해상도 영상 획득/재생 시스템 및 방법
US20040161032A1 (en) System and method for video and audio encoding on a single chip
KR20100082166A (ko) 영상 재생장치
JP2005006166A (ja) 撮像装置
KR20100054586A (ko) 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치 및 그 방법과 그 프로그램 소스를 저장한 기록매체
US20170374243A1 (en) Method of reducing latency in a screen mirroring application and a circuit of the same
JP2013247582A (ja) 映像合成方法、映像記録方法、映像合成装置、映像記録装置、映像表示システム
KR101652095B1 (ko) 디지털 비디오 레코더를 이용한 실시간 원격 모니터링 및 재생 시스템 및 그 방법
US20240137597A1 (en) System and method for operating a transmission network
KR20180014370A (ko) 4k uhd 통합 콘텐츠 제작 장치 및 방법
CN113141536B (zh) 视频封面的添加方法、装置、电子设备及存储介质
KR20170025004A (ko) 실시간 초고해상도 영상 획득 및 프리뷰 제공이 가능한 영상 처리 시스템 및 방법
KR20160144061A (ko) 초고선명 텔레비전용 보급형 메인보드