KR101553846B1 - 영상 합성을 위한 프레임 동기화 장치 및 그 방법 - Google Patents

영상 합성을 위한 프레임 동기화 장치 및 그 방법 Download PDF

Info

Publication number
KR101553846B1
KR101553846B1 KR1020140181650A KR20140181650A KR101553846B1 KR 101553846 B1 KR101553846 B1 KR 101553846B1 KR 1020140181650 A KR1020140181650 A KR 1020140181650A KR 20140181650 A KR20140181650 A KR 20140181650A KR 101553846 B1 KR101553846 B1 KR 101553846B1
Authority
KR
South Korea
Prior art keywords
frame
moving picture
stream
picture stream
streams
Prior art date
Application number
KR1020140181650A
Other languages
English (en)
Inventor
최윤식
간저릭
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020140181650A priority Critical patent/KR101553846B1/ko
Application granted granted Critical
Publication of KR101553846B1 publication Critical patent/KR101553846B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 복수 개의 영상들 간의 프레임을 동기화하는 장치 및 그 방법에 관한 것이다.
본 발명은, 서로 다른 부호화 구조를 가지는 복수개의 영상 스트림을 하나의 다중 화면 동영상으로 통합하는 과정에서 영상 스트림들 간의 프레임 구조 또는 프레임 율을 동기화 시킴으로써, 복호화된 다중 화면 동영상에서의 오류 발생을 억제하고 시청자가 양질의 다중 화면 동영상을 시청할 수 있도록 하는, 영상 합성을 위한 프레임 동기화 장치 및 그 방법를 제공한다.

Description

영상 합성을 위한 프레임 동기화 장치 및 그 방법{Apparatus and Method of frame synchronization for video stitching}
본 발명은 복수 개의 영상들 간의 프레임을 동기화하는 장치 및 그 방법에 관한 것이다.
하나의 화면에 여러 개의 동영상을 동시에 표시하는 디스플레이 방식은 스마트 폰이나 TV 등 여러 기기에서 활용되고 있는데, 이를 위하여는 여러 개의 서로 다른 동영상들을 하나의 화면으로 합쳐 동시에 표시하는 기술이 필요하다.
이와 같은 비디오 스티칭, 영상 합성 또는 다중 화면 기술에 있어서 중요한 점은 여러 개의 동영상 스트림을 적은 자원으로도 빠르게 하나로 합성하는 것이다. 이를 위하여 기존의 저복잡도 영상 합성 기술은 입력받은 복수개의 동영상 스트림을 전부 복호화하지 아니하고, 영상 스트림의 구문을 분석하고 구문 중 일부를 변경 또는 새롭게 설정하여 영상 스트림 레벨에서 비디오 스티칭된 영상에 대한 통합 영상 스트림을 생성하는 방식을 이용하였다. 위와 같은 기존의 방식은 저복잡도를 가지면서도 고속으로 비디오를 스티칭할 수 있는 장점이 있다.
예를 들면 기존의 H.264에서의 저복잡도 영상 합성 방법은 각 영상 스트림에 포함된 슬라이스 해더와 파라미터 세트를 분석하고, 그 중 일부 정보를 변경하는 방식으로 통합된 영상에 대한 스트림을 생성하였다.
그러나 상술한 기존 영상 합성 방식에 의하면 스티칭되는 대상 동영상들의 프레임 구조 또는 GOP 구조나 프레임 율 등이 상이할 경우, 그와 같은 부정합 요소로 인하여 다중 화면으로 합성된 동영상의 복호화 시 통합된 영상들 중 일부 영상이 깨지거나 일정 시간 영상의 출력이 멈추게 되는 문제점이 있다.
본 발명이 해결하고자 하는 과제는, 서로 다른 부호화 구조를 가지는 복수개의 영상 스트림을 하나의 다중 화면 동영상으로 통합하는 과정에서 영상 스트림들 간의 프레임 구조 또는 프레임 율을 동기화 시킴으로써, 복호화된 다중 화면 동영상에서의 오류 발생을 억제하고 시청자이 양질의 다중 화면 동영상을 시청할 수 있도록 하는, 영상 합성을 위한 프레임 동기화 장치 및 그 방법를 제공하는 것이다.
상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 영상 합성을 위한 프레임 동기화 장치는, 부호화된 복수 개의 동영상 스트림을 입력받는 동영상 스트림 입력부; 상기 입력받은 동영상 스트림의 구문을 분석하여, 상기 동영상 스트림의 프레임 구조 정보와 프레임 율 정보를 포함하는 부호화 구조 정보를 획득하는 동영상 스트림 구문 분석부; 및 상기 획득된 각 동영상 스트림의 상기 프레임 구조 정보와 상기 프레임 율 정보를 이용하여, 상기 동영상 스트림들 중 어느 하나의 동영상 스트림을 변경하여, 상기 동영상 스트림들 간의 프레임 동기화를 수행하는 프레임 동기화부를 포함할 수 있다.
여기서, 상기 동영상 스트림 구문 분석부는, 상기 동영상 스트림이 H.264 부호화 방법을 이용하여 부호화된 스트림인 경우, 상기 동영상 스트림 중 파라미터 세트 또는 슬라이스 헤더를 분석하여 상기 프레임 구조 정보와 상기 프레임 율 정보를 획득하는 것을 특징으로 할 수 있다.
여기서 상기 본 발명에 따른 영상 합성을 위한 프레임 동기화 장치는, 상기 프레임 동기화부에서 상기 프레임 동기화가 수행된 동영상 스트림들을 합성하여, 통합 동영상을 나타내는 동영상 스트림을 획득하는 동영상 스트림 합성부를 더 포함할 수 있다.
여기서, 상기 프레임 구조는 상기 동영상 스트림의 부호화 방식 중, 각 프레임이 인트라(Intra) 부호화 방식 또는 인터(Inter) 부호화 방식을 포함하는 동영상 부호화 모드로 부호화된 사항을 나타내는 정보이고, 상기 프레임 율 정보는 상기 동영상 스트림의 단위 시간 당 프레임 수 또는 화면 그룹(Group Of Picture)의 수를 나타내는 정보인 것을 특징으로 할 수 있다.
여기서, 상기 프레임 동기화부는, 상기 각 동영상 스트림의 상기 프레임 율을 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 어느 하나의 상기 동영상 스트림을, 상기 동영상 스트림들의 상기 프레임 율이 서로 일치하도록 변경하는 프레임율 조정부; 및 상기 각 동영상 스트림의 프레임 구조를 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 어느 하나의 상기 동영상 스트림의 프레임을 변경하는 프레임 변경부를 포함할 수 있다.
여기서, 상기 프레임 동기화부는 상기 각 동영상 스트림의 상기 프레임 율을 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 어느 하나의 상기 동영상 스트림에 일정한 수의 프레임을 삽입하여, 상기 동영상 스트림들의 상기 프레임 율이 서로 일치하도록 변경하는 것을 특징으로 할 수 있다.
여기서, 상기 프레임 동기화부는, 상기 각 동영상 스트림의 상기 프레임 율을 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 가장 큰 상기 프레임 율을 가지는 상기 동영상 스트림 보다 작은 상기 프레임 율을 가지는 상기 동영상 스트림에, 상기 가장 큰 상기 프레임 율을 가지는 상기 동영상 스트림과 동일한 상기 프레임 율을 가지도록, 일정한 수의 스킵 프레임을 생성하여 삽입하는 것을 특징으로 할 수 있다.
여기서, 상기 스킵 프레임은 움직임 벡터 또는 차분값을 사용하지 아니하고, 이미 복호화된 시간 또는 공간적으로 이웃하는 다른 영상 블록들을 이용하여 생성되는 매크로블록으로 구성되는 프레임이고, 상기 동영상 스트림이 H.264로 부호화된 경우, 상기 스킵 프레임은 매크로블록 스킵 모드를 이용하여 생성한 프레임인 스킵 프레임인 것을 특징으로 할 수 있다.
여기서, 상기 프레임 동기화부는 상기 각 동영상 스트림의 프레임 구조를 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 어느 하나의 상기 동영상 스트림의 프레임을 변경하는 것을 특징으로 할 수 있다.
여기서, 상기 프레임 동기화부는, 상기 각 동영상 스트림들 중 기준이 되는 주 동영상 스트림을 설정하고, 상기 동영상 스트림들 중 상기 주 동영상 스트림을 제외한 나머지 상기 동영상 스트림을 부 동영상 스트림으로 정하고, 상기 주 동영상 스트림의 상기 부호화 구조 정보를 기준으로 상기 부 동영상 스트림을 변경하여, 상기 프레임 동기화를 수행하는 것을 특징으로 할 수 있다.
여기서, 상기 프레임 동기화부는, 상기 주 동영상 스트림과 상기 부 동영상 스트림의 각 상기 프레임 구조가 서로 다를 경우, 상기 주 동영상 스트림의 상기 프레임 구조 정보에 따라 서로 다른 종류의 프레임으로 상기 부 동영상 스트림의 프레임을 변경하는 것을 특징으로 할 수 있다.
여기서, 상기 프레임 동기화부는, 상기 주 동영상 스트림의 상기 프레임 구조가 인터(Inter) 부호화 모드로 부호화된 인터 프레임인 경우는, 상기 부 동영상 스트림의 프레임을 스킵 프레임으로 대체하여, 상기 프레임 동기화를 수행하고, 상기 주 동영상 스트림의 상기 프레임 구조가 인트라(Intra) 부호화 모드로 부호화된 인트라 프레임인 경우는, 상기 부 동영상 스트림의 프레임을 미리 정해진 샘플 영상으로 대체하여 상기 프레임 동기화를 수행하는 것을 특징으로 할 수 있다.
여기서, 상기 스킵 프레임은 움직임 벡터 또는 차분값을 사용하지 아니하고, 이미 복호화된 시간 또는 공간적으로 이웃하는 다른 영상 블록들을 이용하여 생성되는 매크로블록으로 구성되는 프레임이고, 상기 동영상 스트림이 H.264로 부호화된 경우, 상기 스킵 프레임은 매크로블록 스킵 모드를 이용하여 생성한 프레임인, 스킵 프레임인 것을 특징으로 할 수 있다.
여기서, 상기 주 동영상 스트림은 사용자에 의하여 선택되거나 또는 통합 동영상에서 출력되는 소리 정보를 포함하는 동영상 스트림인 것을 특징으로 할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 영상 합성을 위한 프레임 동기화 방법은, 부호화된 복수 개의 동영상 스트림을 입력받는 동영상 스트림 입력 단계; 상기 입력받은 동영상 스트림의 구문을 분석하여, 상기 동영상 스트림의 프레임 구조 정보와 프레임 율 정보를 포함하는 부호화 구조 정보를 획득하는 동영상 스트림 구문 분석 단계; 및 상기 획득된 각 동영상 스트림의 상기 프레임 구조 정보와 상기 프레임 율 정보를 이용하여, 상기 동영상 스트림들 중 어느 하나의 동영상 스트림을 변경하여, 상기 동영상 스트림들 간의 프레임 동기화를 수행하는 프레임 동기화 단계를 포함할 수 있다.
여기서, 상기 본 발명에 따른 영상 합성을 위한 프레임 동기화 방법은, 상기 프레임 동기화 단계에서 상기 프레임 동기화가 수행된 동영상 스트림들을 합성하여, 통합 동영상을 나타내는 동영상 스트림을 획득하는 동영상 스트림 합성 단계를 더 포함할 수 있다.
여기서, 상기 프레임 동기화 단계는, 상기 각 동영상 스트림의 상기 프레임 율을 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 어느 하나의 상기 동영상 스트림을, 상기 동영상 스트림들의 상기 프레임 율이 서로 일치하도록 변경하는 프레임율 조정 단계; 및 상기 각 동영상 스트림의 프레임 구조를 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 어느 하나의 상기 동영상 스트림의 프레임을 변경하는 프레임 변경 단계를 포함할 수 있다.
여기서, 상기 프레임율 조정 단계는, 상기 각 동영상 스트림의 상기 프레임 율을 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 가장 큰 상기 프레임 율을 가지는 상기 동영상 스트림 보다 작은 상기 프레임 율을 가지는 상기 동영상 스트림에, 상기 가장 큰 상기 프레임 율을 가지는 상기 동영상 스트림과 동일한 상기 프레임 율을 가지도록, 일정한 수의 스킵 프레임을 생성하여 삽입하는 것을 특징으로 할 수 있다.
여기서, 상기 프레임 변경 단계는, 상기 각 동영상 스트림들 중 기준이 되는 주 동영상 스트림을 설정하고, 상기 동영상 스트림들 중 상기 주 동영상 스트림을 제외한 나머지 상기 동영상 스트림을 부 동영상 스트림으로 정하고, 상기 주 동영상 스트림의 상기 부호화 구조 정보를 기준으로 상기 부 동영상 스트림을 변경하여, 상기 프레임 동기화를 수행하는 것을 특징으로 할 수 있다.
여기서, 상기 프레임 변경 단계는, 상기 주 동영상 스트림의 상기 프레임 구조가 인터(Inter) 부호화 모드로 부호화된 인터 프레임인 경우는, 상기 부 동영상 스트림의 프레임을 스킵 프레임으로 대체하여, 상기 프레임 동기화를 수행하고, 상기 주 동영상 스트림의 상기 프레임 구조가 인트라(Intra) 부호화 모드로 부호화된 인트라 프레임인 경우는, 상기 부 동영상 스트림의 프레임을 미리 정해진 샘플 영상으로 대체하여 상기 프레임 동기화를 수행하는 것을 특징으로 할 수 있다.
본 발명에 따른 영상 합성을 위한 프레임 동기화 장치 및 그 방법에 의하면, 부호화된 동영상들을 합성하여 다중 화면 동영상에 관한 영상 스트림을 생성함에 있어서, 저복잡도를 가지면서도 고속으로 스티칭을 수행하는 효과가 있고, 또한 복호화된 다중 화면 동영상에서의 오류 발생을 억제하고 시청자가 양질의 다중 화면 동영상을 시청할 수 있도록 하는 효과가 있다.
도 1은 기존 영상 합성 장치를 나타내는 참고도이다.
도 2는 기존 영상 합성 장치에 따라 합성된 통합 동영상의 오류를 나타내는 참고도이다.
도 3은 본 발명의 일 실시예에 따른 영상 합성을 위한 프레임 동기화 장치의 블록도이다.
도 4는 본 발명에 따른 프레임 동기화부의 세부 블록도이다.
도 5는 본 발명의 일 실시예에 따른 영상 합성을 위한 프레임 동기화 방법의 흐름도이다.
도 6은 본 발명에 따른 프레임 동기화 단계의 세부 흐름도이다.
도 7은 통합 동영상에서의 주 동영상과 부 동영상의 일 예를 나타내는 참고도이다.
도 8은 본 발명에 따른 프레임 동기화 단계의 세부 흐름도이다.
도 9는 본 발명에 따른 프레임 동기화부의 동작을 설명하기 위한 참고도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 기존 영상 합성 장치를 나타내는 참고도이다.
여기서 영상 합성이라 함은 복수 개의 동영상을 하나의 화면으로 합치는 것을 의마하며, 비디오 또는 영상을 스티칭(stitching)하여 합성하는 것을 일컫는다. 이와 같은 영상 합성은 IPTV나 스마트폰 등의 다양한 디스플레이 장치를 구비한 기기에서 사용자가 여러개의 동영상을 동시에 시청할 수 있도록 하는 기술이다. 아래에서는 이와 같으 여러개의 동영상이 하나의 화면으로 합쳐진 동영상을 통합 동영상이라 일컫는다.
도 1을 참조하면, 기존 영상 합성 장치는 복수개의 동영상 스트림을 입력받아, 이를 합성하여 통합된 동영상에 관한 스트림을 생성하였다. 그리고 이와 같이 통합된 동영상 스트림을 복호화하면 각 동영상 스트림이 하나의 화면으로 합쳐진 동영상이 출력되었다.
그러나 이와 같은 기존의 영상 합성 장치는 복수개의 동영상 스트림이 동 시간 대에 서로 다른 영상 프레임 구조나 프레임 율을 가지는 경우, 이를 그대로 스트림 레벨에서 합성하게 되면, 복호화 단계에서 통합 동영상에 오류가 발생하는 문제점을 가지고 있다. 이는 하나로 합성된 동영상에 있어서 동일한 프레임 내에 서로 다른 프레임 구조를 가지는 영상들이 혼합되어 있기 때문에 발생하는 오류이다.
도 2는 기존 영상 합성 장치에 따라 합성된 통합 동영상에서 발생하는 오류를 나타내는 참고도이다.
도 2 (a)는 통합 동영상을 구성하는 복수개의 동영상을 한번에 나타내는 그림이다. 기존의 영상 합성 장치는 도 2 (a)와 같은 복수개의 동영상을 하나의 화면으로 통합함에 있어서, 동영상들 간에 프레임 구조가 상이한 경우, 통합된 동영상의 스트림을 복호화하면, 도 2 (b)와 같이 화면이 깨지거나 재생이 안되는 등의 오류가 발생할 수 있다.
이에 본 발명은 위와 같은 기존 영상 합성 장치의 문제점을 해결하는 영상 합성을 위한 프레임 동기화 장치와 그에 관한 방법을 제공한다.
참고로 이하에서 동영상 스트림이란 동영상을 H.264나 MPEG4 등 다양한 종류의 동영상 부호화 방법을 이용하여 부호화 한 후 얻어지는 스트림을 의미한다. 특히 본 발명은 H.264로 부호화된 동영상 스트림에 대한 보다 상세한 구성을 제안한다. 그러나 본 발명에 따른 영상 합성을 위한 프레임 동기화 장치는 H.264에만 한정되는 것이 아니라, 그와 유사한 동영상 부호화 방법을 사용하는 다양한 방법을 이용하여 부호화된 동영상 스트림을 통합함에 있어서도 적용될 수 있다.
이하에서는 본 발명에 따른 영상 합성을 위한 프레임 동기화 장치와 그 방법에 대하여 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 영상 합성을 위한 프레임 동기화 장치의 블록도이다.
상기 본 발명에 따른 영상 합성을 위한 프레임 동기화 장치는 동영상 스트림 입력부(100), 동영상 스트림 구문 분석부(200), 프레임 동기화부(300)를 포함할 수 있다. 또한 필요에 따라 동영상 스트림 합성부(400)를 더 포함할 수 있다. 이하에서는 상기 요소들을 모두 포함한 최적의 실시예에 대하여 보다 상세히 설명한다.
동영상 스트림 입력부(100)는 부호화된 복수 개의 동영상 스트림을 입력받는다.
동영상 스트림 구문 분석부(200)는 상기 입력받은 동영상 스트림의 구문(Syntax)을 분석하여, 상기 동영상 스트림의 프레임 구조 정보와 프레임 율 정보를 포함하는 부호화 구조 정보를 획득한다.
여기서, 상기 프레임 구조는 상기 동영상 스트림의 부호화 방식 중, 각 프레임이 인트라(Intra) 부호화 방식 또는 인터(Inter) 부호화 방식을 포함하는 동영상 부호화 모드로 부호화된 사항을 나타내는 정보를 의미한다. 예를 들면 상기 프레임 구조는 인터 프레임(Inter Frame) 모드나 인트라 프레임(Intra Frame) 모드를 나타낼 수 있다. 또한 인터 프레임 모드 중에서는 P(Predicted) 프레임 모드나 B(Bidirectionally predicted) 프레임 모드를 나타낼 수도 있다.
여기서 프레임(Frame)이란 동영상을 구성하는 하나의 화면을 의미하고 다른 단어로 픽쳐(Picture)를 의미할 수도 있다.
상기 프레임 율 정보는 상기 동영상 스트림의 단위 시간 당 프레임 수 또는 화면 그룹(Group Of Pictures)에 포함되는 프레임의 수를 나타내는 정보를 의미한다.
여기서 동영상 스트림 구문 분석부(200)는, 상기 동영상 스트림이 H.264 부호화 방법을 이용하여 부호화된 스트림인 경우, 상기 동영상 스트림 중 파라미터 세트 또는 슬라이스 헤더를 분석하여 상기 프레임 구조 정보와 상기 프레임 율 정보를 획득할 수 있다.
프레임 동기화부(300)는 상기 획득된 각 동영상 스트림의 상기 프레임 구조 정보와 상기 프레임 율 정보를 이용하여, 상기 동영상 스트림들 중 어느 하나의 동영상 스트림을 변경하여, 상기 동영상 스트림들 간의 프레임 동기화를 수행한다.
동영상 스트림 합성부(400)는 프레임 동기화부(300)에서 상기 프레임 동기화가 수행된 동영상 스트림들을 합성하여, 통합 동영상을 나타내는 동영상 스트림을 획득한다.
여기서 동영상 스트림 합성부(400)는 상기 프레임 동기화가 수행된 동영상 스트림의 구문 중 일부를 변경하거나 또는 새롭게 설정하여 통합 동영상의 동영상 스트림을 생성할 수 있다.
이하에서는 본 발명에 따른 프레임 동기화부(300)의 동작에 대하여 도면과 함께 보다 상세히 설명한다.
도 4는 본 발명에 따른 프레임 동기화부(300)의 세부 블록도이다.
프레임 동기화부(300)는 프레임율 조정부(310) 또는 프레임 변경부(320)를 포함할 수 있고, 양자 모두를 포함할 수도 있다. 그리고 프레임 동기화부는 프레임율 조정부(310) 또는 프레임 변경부(320)의 각 동작을 수행할 수도 있다.
프레임율 조정부(310)는 상기 각 동영상 스트림의 상기 프레임 율을 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 어느 하나의 상기 동영상 스트림을, 상기 동영상 스트림들의 상기 프레임 율이 서로 일치하도록 변경한다.
프레임 변경부(320)는 상기 각 동영상 스트림의 프레임 구조를 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 어느 하나의 상기 동영상 스트림의 프레임을 변경한다.
다음으로는 먼저 프레임 동기화부(300)가 프레임 율을 조정하여 프레임 동기화를 수행하는 동작에 대하여 설명한다. 아래 동작은 프레임율 조정부(310)가 수행할 수 있다.
프레임 동기화부(300)는 상기 각 동영상 스트림의 상기 프레임 율을 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 어느 하나의 상기 동영상 스트림에 일정한 수의 프레임을 삽입하여, 상기 동영상 스트림들의 상기 프레임 율이 서로 일치하도록 변경할 수 있다.
여기서 프레임 동기화부(300)는 상기 각 동영상 스트림의 GOP에 포함된 프레임의 수가 서로 다를 경우, 상술한 바와 동일한 방식으로 상기 동영상 스트림들 중 어느 하나의 상기 동영상 스트림을, 상기 동영상 스트림들의 상기 프레임 율이 서로 일치하도록 변경할 수도 있다.
여기서 프레임 동기화부(300)는, 상기 각 동영상 스트림의 상기 프레임 율을 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 가장 큰 상기 프레임 율을 가지는 상기 동영상 스트림 보다 작은 상기 프레임 율을 가지는 상기 동영상 스트림에, 상기 가장 큰 상기 프레임 율을 가지는 상기 동영상 스트림과 동일한 상기 프레임 율을 가지도록, 일정한 수의 스킵 프레임을 생성하여 삽입하는 것이 바람직하다.
도 5는 본 발명에 따른 프레임 동기화부(300)의 동작을 설명하기 위한 참고도이다. 도 5의 (a)와 (b)와 같이 각 동영상 스트림에 포함된 GOP 당 프레임의 수가 서로 다른 경우, 프레임율 조정부(310)는 보다 적은 프레임을 가지는 동영상 스트림(도 5 (a))에 상기 스킵 프레임을 삽입하여, 양 동영상 스트림의 GOP 당 프레임 수가 동일하여 지도록 할 수 있다.
여기서, 상기 스킵 프레임은 움직임 벡터 또는 차분값을 사용하지 아니하고, 이미 복호화된 시간 또는 공간적으로 이웃하는 다른 영상 블록들을 이용하여 생성되는 매크로블록으로 구성되는 프레임이다.
특히 상기 동영상 스트림이 H.264로 부호화된 경우, 상기 스킵 프레임은 매크로블록 스킵 모드를 이용하여 생성한 프레임 스킵 프레임이 될 수 있다.
다음으로는 먼저 프레임 동기화부(300)가 프레임을 변경하여 프레임 동기화를 수행하는 동작에 대하여 설명한다. 아래 동작은 프레임 변경부(320)가 수행할 수 있다.
프레임 동기화부(300)는 상기 각 동영상 스트림의 프레임 구조를 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 어느 하나의 상기 동영상 스트림의 프레임을 변경할 수 있다.
여기서, 프레임 동기화부(300)는, 상기 각 동영상 스트림들 중 기준이 되는 주 동영상 스트림을 설정하고, 상기 동영상 스트림들 중 상기 주 동영상 스트림을 제외한 나머지 상기 동영상 스트림을 부 동영상 스트림으로 정하고, 상기 주 동영상 스트림의 상기 부호화 구조 정보를 기준으로 상기 부 동영상 스트림을 변경하여, 상기 프레임 동기화를 수행하는 것이 바람직하다.
도 6은 통합 동영상에서의 주 동영상과 부 동영상의 일 예를 나타내는 참고도이다.
도 6과 같이 4개의 동영상 스트림이 하나로 합쳐져 통합 동영상이 생성되는 경우, 그 중 하나인 우상단의 동영상에 관한 스트림을 주 동영상 스트림으로 설정할 수 있다.
여기서, 주 동영상 스트림은 사용자에 의하여 선택되거나 또는 통합 동영상에서 출력되는 소리 정보를 포함하는 동영상 스트림이 될 수 있다.
여기서, 프레임 동기화부(300)는, 상기 주 동영상 스트림과 상기 부 동영상 스트림의 각 상기 프레임 구조가 서로 다를 경우, 상기 주 동영상 스트림의 상기 프레임 구조 정보에 따라 서로 다른 종류의 프레임으로 상기 부 동영상 스트림의 프레임을 변경할 수 있다.
다음으로는 프레임 동기화부(300)의 동작에 대하여 보다 자세히 설명한다.
먼저 상기 주 동영상 스트림의 상기 프레임 구조가 인터(Inter) 부호화 모드로 부호화된 인터 프레임인 경우에 대하여 설명한다.
위와 같이 인터 프레임인 경우, 상기 부 동영상 스트림의 프레임을 스킵 프레임으로 대체할 수 있다.
여기서 사용되는 상기 스킵 프레임은 상술한 바와 같이, 움직임 벡터 또는 차분값을 사용하지 아니하고, 이미 복호화된 시간 또는 공간적으로 이웃하는 다른 영상 블록들을 이용하여 생성되는 매크로블록으로 구성되는 프레임이다. 또한 상기 동영상 스트림이 H.264로 부호화된 경우, 상기 스킵 프레임은 매크로블록 스킵 모드를 이용하여 생성한 프레임인 스킵 프레임일 수 있다.
다음으로 상기 주 동영상 스트림의 상기 프레임 구조가 인트라(Intra) 부호화 모드로 부호화된 인트라 프레임인 경우는, 상기 부 동영상 스트림의 프레임을 미리 정해진 샘플 영상으로 대체하여 상기 프레임 동기화를 수행하는 것이 바람직하다.
여기서 상기 미리 정해진 샘플 영상은 임의의 미리 정해진 영상이 될 수 있다.
도 7는 본 발명의 일 실시예에 따른 영상 합성을 위한 프레임 동기화 방법의 흐름도이다.
상기 본 발명에 따른 영상 합성을 위한 프레임 동기화 방법은 동영상 스트림 입력 단계(S100), 동영상 스트림 구문 분석 단계(S200), 프레임 동기화 단계(S300)를 포함할 수 있고, 필요에 따라 동영상 스트림 합성 단계(S400)를 더 포함할 수 있다. 상기 본 발명에 따른 영상 합성을 위한 프레임 동기화 방법은 위에서 도 3 내지 도 6을 참조하면서 설명한 본 발명에 따른 영상 합성을 위한 프레임 동기화 장치와 동일한 방식으로 동작할 수 있다. 이에 중복되는 부분은 생략하고 간단히 서술한다.
동영상 스트림 입력 단계(S100)는 부호화된 복수 개의 동영상 스트림을 입력받는다.
동영상 스트림 구문 분석 단계(S200)는 상기 입력받은 동영상 스트림의 구문을 분석하여, 상기 동영상 스트림의 프레임 구조 정보와 프레임 율 정보를 포함하는 부호화 구조 정보를 획득한다.
프레임 동기화 단계(S300)는 상기 획득된 각 동영상 스트림의 상기 프레임 구조 정보와 상기 프레임 율 정보를 이용하여, 상기 동영상 스트림들 중 어느 하나의 동영상 스트림을 변경하여, 상기 동영상 스트림들 간의 프레임 동기화를 수행한다.
동영상 스트림 합성 단계(S400)는 프레임 동기화 단계(S300)에서 상기 프레임 동기화가 수행된 동영상 스트림들을 합성하여, 통합 동영상을 나타내는 동영상 스트림을 획득한다.
도 8과 도 9는 본 발명에 따른 프레임 동기화 단계(S300)의 세부 흐름도이다.
프레임 동기화 단계(S300)는 프레임율 조정 단계(S310), 프레임 변경 단계(S320)를 포함할 수 있다.
프레임율 조정 단계(S310)는 상기 각 동영상 스트림의 상기 프레임 율을 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 어느 하나의 상기 동영상 스트림을, 상기 동영상 스트림들의 상기 프레임 율이 서로 일치하도록 변경한다.
프레임 변경 단계(S320)는 상기 각 동영상 스트림의 프레임 구조를 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 어느 하나의 상기 동영상 스트림의 프레임을 변경한다.
여기서, 프레임율 조정 단계(S310)는, 상기 각 동영상 스트림의 상기 프레임 율을 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 가장 큰 상기 프레임 율을 가지는 상기 동영상 스트림 보다 작은 상기 프레임 율을 가지는 상기 동영상 스트림에, 상기 가장 큰 상기 프레임 율을 가지는 상기 동영상 스트림과 동일한 상기 프레임 율을 가지도록, 일정한 수의 스킵 프레임을 생성하여 삽입하는 것이 바람직하다.
여기서, 프레임 변경 단계(S320)는, 상기 각 동영상 스트림들 중 기준이 되는 주 동영상 스트림을 설정하고, 상기 동영상 스트림들 중 상기 주 동영상 스트림을 제외한 나머지 상기 동영상 스트림을 부 동영상 스트림으로 정하고, 상기 주 동영상 스트림의 상기 부호화 구조 정보를 기준으로 상기 부 동영상 스트림을 변경하여, 상기 프레임 동기화를 수행하는 것이 바람직하다.
다음으로는 프레임 변경 단계(S320)를 보다 상세히 설명한다.
먼저, 상기 주 동영상 스트림의 상기 프레임 구조가 인터(Inter) 부호화 모드로 부호화된 인터 프레임인 경우는, 상기 부 동영상 스트림의 프레임을 상기 스킵 프레임으로 대체하여, 상기 프레임 동기화를 수행할 수 있다.
다음으로, 상기 주 동영상 스트림의 상기 프레임 구조가 인트라(Intra) 부호화 모드로 부호화된 인트라 프레임인 경우는, 상기 부 동영상 스트림의 프레임을 미리 정해진 샘플 영상으로 대체하여 상기 프레임 동기화를 수행할 수 있다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 동영상 스트림 입력부
200 : 동영상 스트림 구문 분석부
300 : 프레임 동기화부
310 : 프레임율 조정부
320 : 프레임 변경부
400 : 동영상 스트림 합성부
S100 : 동영상 스트림 입력 단계
S200 : 동영상 스트림 구문 단계
S300 : 프레임 동기화 단계
S310 : 프레임율 조정 단계
S320 : 프레임 변경 단계
S400 : 동영상 스트림 합성 단계

Claims (20)

  1. 프레임 동기화 장치에 있어서,
    부호화된 복수 개의 동영상 스트림을 입력받는 동영상 스트림 입력부;
    상기 입력받은 동영상 스트림의 구문을 분석하여, 상기 동영상 스트림의 프레임 구조 정보와 프레임 율 정보를 포함하는 부호화 구조 정보를 획득하는 동영상 스트림 구문 분석부;
    상기 획득된 각 동영상 스트림의 상기 프레임 구조 정보와 상기 프레임 율 정보를 이용하여, 상기 동영상 스트림들 중 어느 하나의 동영상 스트림을 변경하여, 상기 동영상 스트림들 간의 프레임 동기화를 수행하는 프레임 동기화부; 및
    상기 프레임 동기화부에서 상기 프레임 동기화가 수행된 동영상 스트림들을 합성하여, 통합 동영상을 나타내는 동영상 스트림을 획득하는 동영상 스트림 합성부를 포함하고,
    상기 프레임 동기화부는,
    상기 각 동영상 스트림의 상기 프레임 율을 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 어느 하나의 상기 동영상 스트림에 일정한 수의 스킵 프레임을 삽입하여, 상기 동영상 스트림들의 상기 프레임 율이 서로 일치하도록 변경하고,
    상기 각 동영상 스트림들 중 기준이 되는 주 동영상 스트림과 상기 동영상 스트림들 중 상기 주 동영상 스트림을 제외한 나머지 상기 동영상 스트림인 부 동영상 스트림의 각 상기 프레임 구조를 비교하여 서로 다를 경우, 상기 주 동영상 스트림의 상기 프레임 구조가 인트라 프레임 또는 인터 프레임인지 여부에 따라 상기 부 동영상 스트림의 프레임을 상기 스킵 프레임 또는 샘플 영상으로 대체하여 프레임 동기화를 수행하는 것을 특징으로 하는, 영상 합성을 위한 프레임 동기화 장치.
  2. 제1항에 있어서,
    상기 동영상 스트림 구문 분석부는, 상기 동영상 스트림이 H.264 부호화 방법을 이용하여 부호화된 스트림인 경우, 상기 동영상 스트림 중 파라미터 세트 또는 슬라이스 헤더를 분석하여 상기 프레임 구조 정보와 상기 프레임 율 정보를 획득하는 것을 특징으로 하는, 영상 합성을 위한 프레임 동기화 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 프레임 구조는 상기 동영상 스트림의 부호화 방식 중, 각 프레임이 인트라(Intra) 부호화 방식 또는 인터(Inter) 부호화 방식을 포함하는 동영상 부호화 모드로 부호화된 사항을 나타내는 정보이고,
    상기 프레임 율 정보는 상기 동영상 스트림의 단위 시간 당 프레임 수 또는 화면 그룹(Group Of Picture)의 수를 나타내는 정보인 것을 특징으로 하는, 영상 합성을 위한 프레임 동기화 장치.
  5. 제1항에 있어서, 상기 프레임 동기화부는,
    상기 각 동영상 스트림의 상기 프레임 율을 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 어느 하나의 상기 동영상 스트림을, 상기 동영상 스트림들의 상기 프레임 율이 서로 일치하도록 변경하는 프레임율 조정부; 및
    상기 각 동영상 스트림의 프레임 구조를 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 어느 하나의 상기 동영상 스트림의 프레임을 변경하는 프레임 변경부를 포함하는 것을 특징으로 하는, 영상 합성을 위한 프레임 동기화 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 프레임 동기화부는, 상기 각 동영상 스트림의 상기 프레임 율을 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 가장 큰 상기 프레임 율을 가지는 상기 동영상 스트림 보다 작은 상기 프레임 율을 가지는 상기 동영상 스트림에, 상기 가장 큰 상기 프레임 율을 가지는 상기 동영상 스트림과 동일한 상기 프레임 율을 가지도록, 일정한 수의 상기 스킵 프레임을 생성하여 삽입하는 것을 특징으로 하는, 영상 합성을 위한 프레임 동기화 장치.
  8. 제7항에 있어서,
    상기 스킵 프레임은 움직임 벡터 또는 차분값을 사용하지 아니하고, 이미 복호화된 시간 또는 공간적으로 이웃하는 다른 영상 블록들을 이용하여 생성되는 매크로블록으로 구성되는 프레임이고,
    상기 동영상 스트림이 H.264로 부호화된 경우, 상기 스킵 프레임은 매크로블록 스킵 모드를 이용하여 생성한 프레임인 스킵 프레임인 것을 특징으로 하는, 영상 합성을 위한 프레임 동기화 장치.
  9. 제1항에 있어서,
    상기 프레임 동기화부는 상기 각 동영상 스트림의 프레임 구조를 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 어느 하나의 상기 동영상 스트림의 프레임을 변경하는 것을 특징으로 하는, 영상 합성을 위한 프레임 동기화 장치.
  10. 제9항에 있어서,
    상기 프레임 동기화부는, 상기 각 동영상 스트림들 중 기준이 되는 상기 주 동영상 스트림을 설정하고, 상기 동영상 스트림들 중 상기 주 동영상 스트림을 제외한 나머지 상기 동영상 스트림을 상기 부 동영상 스트림으로 정하고, 상기 주 동영상 스트림의 상기 부호화 구조 정보를 기준으로 상기 부 동영상 스트림을 변경하여, 상기 프레임 동기화를 수행하는 것을 특징으로 하는, 영상 합성을 위한 프레임 동기화 장치.
  11. 제10항에 있어서,
    상기 프레임 동기화부는, 상기 주 동영상 스트림과 상기 부 동영상 스트림의 각 상기 프레임 구조가 서로 다를 경우, 상기 주 동영상 스트림의 상기 프레임 구조 정보에 따라 서로 다른 종류의 프레임으로 상기 부 동영상 스트림의 프레임을 변경하는 것을 특징으로 하는, 영상 합성을 위한 프레임 동기화 장치.
  12. 제11항에 있어서, 상기 프레임 동기화부는,
    상기 주 동영상 스트림의 상기 프레임 구조가 인터(Inter) 부호화 모드로 부호화된 상기 인터 프레임인 경우는, 상기 부 동영상 스트림의 프레임을 상기 스킵 프레임으로 대체하여, 상기 프레임 동기화를 수행하고,
    상기 주 동영상 스트림의 상기 프레임 구조가 인트라(Intra) 부호화 모드로 부호화된 상기 인트라 프레임인 경우는, 상기 부 동영상 스트림의 프레임을 미리 정해진 상기 샘플 영상으로 대체하여 상기 프레임 동기화를 수행하는 것을 특징으로 하는, 영상 합성을 위한 프레임 동기화 장치.
  13. 제11항에 있어서,
    상기 스킵 프레임은 움직임 벡터 또는 차분값을 사용하지 아니하고, 이미 복호화된 시간 또는 공간적으로 이웃하는 다른 영상 블록들을 이용하여 생성되는 매크로블록으로 구성되는 프레임이고,
    상기 동영상 스트림이 H.264로 부호화된 경우, 상기 스킵 프레임은 매크로블록 스킵 모드를 이용하여 생성한 프레임인 스킵 프레임인 것을 특징으로 하는, 영상 합성을 위한 프레임 동기화 장치.
  14. 제10항에 있어서,
    상기 주 동영상 스트림은 사용자에 의하여 선택되거나 또는 통합 동영상에서 출력되는 소리 정보를 포함하는 동영상 스트림인 것을 특징으로 하는, 영상 합성을 위한 프레임 동기화 장치.
  15. 프레임 동기화 방법에 있어서,
    부호화된 복수 개의 동영상 스트림을 입력받는 동영상 스트림 입력 단계;
    상기 입력받은 동영상 스트림의 구문을 분석하여, 상기 동영상 스트림의 프레임 구조 정보와 프레임 율 정보를 포함하는 부호화 구조 정보를 획득하는 동영상 스트림 구문 분석 단계;
    상기 획득된 각 동영상 스트림의 상기 프레임 구조 정보와 상기 프레임 율 정보를 이용하여, 상기 동영상 스트림들 중 어느 하나의 동영상 스트림을 변경하여, 상기 동영상 스트림들 간의 프레임 동기화를 수행하는 프레임 동기화 단계; 및
    상기 프레임 동기화 단계에서 상기 프레임 동기화가 수행된 동영상 스트림들을 합성하여, 통합 동영상을 나타내는 동영상 스트림을 획득하는 동영상 스트림 합성 단계를 포함하고,
    상기 프레임 동기화 단계는,
    상기 각 동영상 스트림의 상기 프레임 율을 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 어느 하나의 상기 동영상 스트림에 일정한 수의 스킵 프레임을 삽입하여, 상기 동영상 스트림들의 상기 프레임 율이 서로 일치하도록 변경하고,
    상기 각 동영상 스트림들 중 기준이 되는 주 동영상 스트림과 상기 동영상 스트림들 중 상기 주 동영상 스트림을 제외한 나머지 상기 동영상 스트림인 부 동영상 스트림의 각 상기 프레임 구조를 비교하여 서로 다를 경우, 상기 주 동영상 스트림의 상기 프레임 구조가 인트라 프레임 또는 인터 프레임인지 여부에 따라 상기 부 동영상 스트림의 프레임을 상기 스킵 프레임 또는 샘플 영상으로 대체하여 프레임 동기화를 수행하는 것을 특징으로 하는, 영상 합성을 위한 프레임 동기화 방법.
  16. 삭제
  17. 제15항에 있어서, 상기 프레임 동기화 단계는,
    상기 각 동영상 스트림의 상기 프레임 율을 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 어느 하나의 상기 동영상 스트림을, 상기 동영상 스트림들의 상기 프레임 율이 서로 일치하도록 변경하는 프레임율 조정 단계; 및
    상기 각 동영상 스트림의 프레임 구조를 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 어느 하나의 상기 동영상 스트림의 프레임을 변경하는 프레임 변경 단계를 포함하는 것을 특징으로 하는, 영상 합성을 위한 프레임 동기화 방법.
  18. 제17항에 있어서,
    상기 프레임율 조정 단계는, 상기 각 동영상 스트림의 상기 프레임 율을 비교하여 서로 다를 경우, 상기 동영상 스트림들 중 가장 큰 상기 프레임 율을 가지는 상기 동영상 스트림 보다 작은 상기 프레임 율을 가지는 상기 동영상 스트림에, 상기 가장 큰 상기 프레임 율을 가지는 상기 동영상 스트림과 동일한 상기 프레임 율을 가지도록, 일정한 수의 상기 스킵 프레임을 생성하여 삽입하는 것을 특징으로 하는, 영상 합성을 위한 프레임 동기화 방법.
  19. 제17항에 있어서,
    상기 프레임 변경 단계는, 상기 각 동영상 스트림들 중 기준이 되는 상기 주 동영상 스트림을 설정하고, 상기 동영상 스트림들 중 상기 주 동영상 스트림을 제외한 나머지 상기 동영상 스트림을 상기 부 동영상 스트림으로 정하고, 상기 주 동영상 스트림의 상기 부호화 구조 정보를 기준으로 상기 부 동영상 스트림을 변경하여, 상기 프레임 동기화를 수행하는 것을 특징으로 하는, 영상 합성을 위한 프레임 동기화 방법.
  20. 제19항에 있어서, 상기 프레임 변경 단계는,
    상기 주 동영상 스트림의 상기 프레임 구조가 인터(Inter) 부호화 모드로 부호화된 상기 인터 프레임인 경우는, 상기 부 동영상 스트림의 프레임을 상기 스킵 프레임으로 대체하여, 상기 프레임 동기화를 수행하고,
    상기 주 동영상 스트림의 상기 프레임 구조가 인트라(Intra) 부호화 모드로 부호화된 상기 인트라 프레임인 경우는, 상기 부 동영상 스트림의 프레임을 미리 정해진 샘플 영상으로 대체하여 상기 프레임 동기화를 수행하는 것을 특징으로 하는, 영상 합성을 위한 프레임 동기화 방법.
KR1020140181650A 2014-12-16 2014-12-16 영상 합성을 위한 프레임 동기화 장치 및 그 방법 KR101553846B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140181650A KR101553846B1 (ko) 2014-12-16 2014-12-16 영상 합성을 위한 프레임 동기화 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140181650A KR101553846B1 (ko) 2014-12-16 2014-12-16 영상 합성을 위한 프레임 동기화 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101553846B1 true KR101553846B1 (ko) 2015-09-17

Family

ID=54248534

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140181650A KR101553846B1 (ko) 2014-12-16 2014-12-16 영상 합성을 위한 프레임 동기화 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101553846B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529823A (zh) * 2019-09-19 2021-03-19 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
WO2021242005A1 (ko) * 2020-05-29 2021-12-02 삼성전자 주식회사 전자 장치 및 사용자 아바타 기반의 이모지 스티커를 생성하는 방법
WO2022010130A1 (ko) * 2020-07-10 2022-01-13 삼성전자(주) 전자장치 및 그의 제어방법
KR20230083104A (ko) * 2021-12-02 2023-06-09 한국항공우주연구원 위성 영상 처리를 위한 영상데이터 텔레메트리 및 보조데이터 텔레메트리 패킷 대응 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007271848A (ja) 2006-03-31 2007-10-18 Casio Comput Co Ltd 映像出力装置、及び映像出力方法
JP2009111936A (ja) * 2007-11-01 2009-05-21 Hitachi Ltd 映像表示装置
JP2012169727A (ja) 2011-02-10 2012-09-06 Panasonic Corp 映像信号処理装置および映像信号処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007271848A (ja) 2006-03-31 2007-10-18 Casio Comput Co Ltd 映像出力装置、及び映像出力方法
JP2009111936A (ja) * 2007-11-01 2009-05-21 Hitachi Ltd 映像表示装置
JP2012169727A (ja) 2011-02-10 2012-09-06 Panasonic Corp 映像信号処理装置および映像信号処理方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529823A (zh) * 2019-09-19 2021-03-19 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN112529823B (zh) * 2019-09-19 2023-08-25 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
WO2021242005A1 (ko) * 2020-05-29 2021-12-02 삼성전자 주식회사 전자 장치 및 사용자 아바타 기반의 이모지 스티커를 생성하는 방법
EP4141798A4 (en) * 2020-05-29 2024-02-21 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD FOR GENERATING EMOJI STICKER BASED ON USER AVATAR
WO2022010130A1 (ko) * 2020-07-10 2022-01-13 삼성전자(주) 전자장치 및 그의 제어방법
KR20230083104A (ko) * 2021-12-02 2023-06-09 한국항공우주연구원 위성 영상 처리를 위한 영상데이터 텔레메트리 및 보조데이터 텔레메트리 패킷 대응 방법 및 장치
KR102568263B1 (ko) * 2021-12-02 2023-08-17 한국항공우주연구원 위성 영상 처리를 위한 영상데이터 텔레메트리 및 보조데이터 텔레메트리 패킷 대응 방법 및 장치

Similar Documents

Publication Publication Date Title
JP6355521B2 (ja) デジタル放送受信装置及び方法
US11412261B2 (en) Video decoding device, method, and program
WO2012111325A1 (ja) 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム
KR101553846B1 (ko) 영상 합성을 위한 프레임 동기화 장치 및 그 방법
KR20010090024A (ko) 다중채널 영상신호 부호화 장치 및 그 방법
JP5957769B2 (ja) 映像処理装置及び映像処理方法
JP2011082631A (ja) 三次元映像処理装置及び三次元映像処理方法
JP6008292B2 (ja) ビデオストリームの映像のデータ作成装置及び再生装置
US8704876B2 (en) 3D video processor and 3D video processing method
JP6385236B2 (ja) 映像再生装置および映像再生方法
JP5422597B2 (ja) 三次元映像処理装置
JP2009159374A (ja) 画像圧縮符号化装置および画像圧縮符号化方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180910

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191205

Year of fee payment: 5