KR101504789B1 - 인코딩된 합성 비디오 스트림 생성 방법, 인코딩 장치, 송신기, 조합 수단, 수신기 및 중간 노드 - Google Patents

Abstract

공통 비디오 스트림(video0) 및 개인화 정보(personalized information)의 적어도 하나의 입력 스트림(input1,...,inputi,...,inputn)에 기초하여 인코딩된 합성 비디오 스트림(evideofinal)을 생성하는 방법으로서, 슬라이스의 매크로블록 그룹화를 고려하여 공통 비디오 스트림의 사전 결정된 위치에 적어도 하나의 입력 스트림(input1,...,inputi,...,inputn)을 상기 공통 비디오 스트림(video0)으로 혼합함으로써 적어도 하나의 중간 스트림(video1,...,videoi,...,videon)을 생성하는 단계와, 이 매크로블록 그룹화를 사용하여 적어도 하나의 인코딩된 중간 스트림(video1,...,videoi,...,videon)을 인코딩하여 적어도 하나의 인코딩된 중간 스트림(evideo1,...,evideoi,...,evideon)을 생성하는 단계와, 매크로블록 그룹화를 사용해서 공통 비디오 스트림(video0)을 인코딩하여, 인코딩된 비디오 프레임의 시퀀스를 포함하는 인코딩된 공통 비디오 스트림(evideo0)을 생성하는 단계를 포함하되, 이 방법은 조합 수단(F)에 의해, 인코딩된 공통 비디오 스트림(evideo0) 및 적어도 하나의 인코딩된 중간 스트림(evideo1,...,evideoi,...,evideon)을 조합하고 필터링하여, 프레임당 및 슬라이스 시퀀스 번호당 하나의 스트림의 단 하나의 슬라이스만이 선택되어 상기 인코딩된 합성 비디오 스트림(evideofinal)을 형성하는 단계를 더 포함한다.

Description

인코딩된 합성 비디오 스트림 생성 방법, 인코딩 장치, 송신기, 조합 수단, 수신기 및 중간 노드{METHOD AND ARRANGEMENT FOR PERSONALIZED VIDEO ENCODING}

본 발명은 개인화 비디오 인코딩을 위한 방법에 관한 것으로, 더 구체적으로는 공통 비디오 스트림 및 개인화 정보의 입력 스트림에 기초하여 인코딩된 합성 비디오 스트림을 생성하는 방법에 관한 것이다. 또한, 본 발명은 본 발명에 따른 방법을 구현하는 조합 수단과 함께 동작하는 인코딩 장치에 관한 것이다.

개인화 정보의 입력 스트림으로서 고려될 수 있는 운영자의 로고와 같은 어떤 브로드캐스트 특정 정보 또는 운영자 특정 정보가 추가되는, 공통 비디오 스트림에 대응하는 것으로 고려될 수 있는 합성 비디오 스트림, 가령, 텔레비전 프로그램과 같은 메인 스트림을 인코딩하는 현재의 방법은 이를 매체상에 전송하기 전에 전체 합성 비디오 스트림을 인코딩한다. 수신기에서 이 전체 합성 비디오 스트림은 다시 디코딩되어야 한다.

이는 모든 콘텐츠 제공자, 모든 운영자 등에 대해 전체 인코딩된 비디오 스트림이 전송될 필요가 있다는 것을 의미한다. 또한, 동일한 운영자가 동일한 비디오 스트림에 그림 내의 사용자 특정 정보를 추가하고자 하는 경우, 특정 사용자에게 특히 초점이 맞추어진 어떤 특정 광고와 같은 사용자 커뮤니티에 따라, 매번 전체 합성 비디오 스트림이 인코딩되고 전송되며 다시 디코딩되어야 한다. 유사하게, 어떤 사용자가 전혀 광고를 필요로 하지 않는 경우, 이 경우에도 전체 인코딩된 공통 비디오 스트림이 이들 사용자에 대해 인코딩되고 전송되며 디코딩되어야 한다. 다른 방안은 최종 사용자 측에서 합성하기 위해 셋톱 박스의 복잡한 렌더링 기능에 의존하는 것이다.

이러한 종래 방법은 인코딩, 디코딩, 전송 또는 셋톱 박스 기능에 과도한 부담을 주는 것이 분명하다.

그러므로, 본 발명의 목적은 전술한 알려진 종류의 개인화 비디오 인코딩을 위한 방법을 제공하지만, 인코딩되고 전송되며 다시 디코딩되어야 할 데이터의 양을 감소시키며 사용자에게 상대적으로 저렴한 표준 장비를 제공하는 것을 목표로 한다.

본 발명에 따르면 이 목적은 청구항 제1항의 특징부에서 설명되는 특징에 의해 달성된다.

이 방식에서 공통 비디오 스트림은 매크로블록 그룹화 방안을 사용하여 개별적으로 인코딩된다. 매크로블록 그룹화의 일례는 H.264/AVC 비디오 코딩 표준으로부터 이미 알려진 유연한 매크로블록 순서화이다. 이 표준은 기본적으로 낮은 비트 레이트에서 비디오 신호의 전송을 가능하게 하도록 개발된 향상된 압축 기술을 설명한다. 이 표준은 비트스트림을 디코딩하는 방법과 함께 인코딩된 비디오 비트스트림의 구문론(syntax)을 정의한다. 각 비디오 프레임은 세부 분할되고 매크로블록 레벨에서 인코딩되는데, 여기서 각 매크로블록은 16 × 16 픽셀 블록이다.

매크로블록은 슬라이스로 함께 그룹화되어 병렬화(parallelization) 및 오류 복원을 허용한다. 각 매크로블록은 현재 슬라이스의 재구성된 매크로블록에 기초하여 예측 매크로블록이 형성되는 "내부-예측(intra-prediction)" 모드 또는 기준 프레임의 매크로블록에 기초하여 예측 매크로블록이 형성되는 "상호-예측(inter-prediction)" 모드에서 더 인코딩된다. 내부-예측 코드 모드는 예측 매크로블록이 이전에 인코딩되고 디코딩되며 재구성된 현재 슬라이스의 샘플들로부터 형성되는 현재 슬라이스 태의 공간 정보를 적용한다. 상호-예측 코딩 모드는 이전 및/또는 장래 기준 프레임으로부터의 시간 정보를 사용하여 예측 매크로블록을 형성하는 동작을 추정한다.

디폴트 H.264 동작은 래스터-스캔 순서(raster-scan order)(즉, 좌측으로부터 우측으로의 스캐닝)로 매크로블록을 슬라이스로 그룹화하는 것이다. 그러나, H.264 표준은 유연한 매크로블록 순서화(flexible macroblock ordering)로 지칭되는 새로운 기능을 추가도 도입하는데, 이하 FMO로 줄여서 부른다. FMO는 비디오 프레임을 다수의 슬라이스 그룹으로 분할하는데, 각 슬라이스 그룹은 비연속적 위치에 존재할 수 있으며 프레임의 임의의 곳에 위치할 수 있는 매크로블록 세트를 포함한다. FMO를 구현하는 종래 방법은 슬라이스 그룹 내의 매크로블록을 인코딩한 후 전송하는 것이다.

본 발명에 따르면, 래스터 순서 슬라이스의 동일한 매크로블록 그룹화 방안, 또는 백그라운드 또는 공통 비디오 스트림의 인코딩을 위해 사용되는 FMO를 사용하는 또는 더 유연한 그룹화 방안이 이제 중간 스트림의 인코딩을 위해서도 사용되는데, 이는 그 자체가 공통 비디오 스트림으로의 사용자 특정 입력 스트림의 혼합 결과이다. 혼합 단계 동안에, 다음 단계의 동일한 매크로블록 그룹화 방안을 사용하여 올바른 인코딩을 가능하게 하기 위해, 입력 스트림이 공통 비디오 스트림에 추가되는 그림 위치에 의해 표현되는 위치와 같은 이 장래 매크로블록 그룹화에 관련되는 정보가 외부적으로 제공되거나 최종 중간 스트림으로 제어 정보로서 추가되거나 삽입되어야 한다.

입력 스트림이 혼합될 공통 비디오 스트림 내의 그림 위치 또는 영역이 그 자체로 프레임 내의 특정 시퀀스 번호에 링크되므로, 이 초과 정보는 슬라이스의 동일한 매크로블록 그룹화를 사용하여 후속 인코딩이 수행될 수 있게 할 것이다.

동일한 매크로블록 그룹화를 사용하는 스스로 공통 비디오 스트림을 인코딩하는 단계는 인코딩된 비디오 프레임의 시퀀스를 포함하는 인코딩된 공통 비디오 스트림을 생성하여, 각 인코딩된 프레임이 이 공통 비디오 스트림의 인코딩된 매크로블록의 사전 결정된 수의 슬라이스의 시퀀스로 구성된다.

중간 스트림의 인코딩을 위해 동일한 매크로블록 그룹화 방안을 사용함으로써 동일한 사전 결정된 수의 슬라이스의 프레임의 시퀀스가 생성된다.

이 방법의 혼합 및 인코딩 부분은 본 발명에 따른 인코딩 장치에 의해 수행된다.

다음 단계에서 인코딩된 공통 비디오 스트림 또는 인코딩된 중간 스트림으로부터의 적합한 슬라이스가 본 발명에 따른 조합 수단 내에서 선택되어, 프레임당 및 슬라이스 시퀀스 번호당 각 스트림의 단 하나의 슬라이스가 선택되어 추가 전송된다. 이 방식에서 각 프레임 및 슬라이스 번호마다 선택된 슬라이스를 포함하는 인코딩된 합성 스트림이 생성된다.

이는 조합 수단 내의 이 조합 및 필터링 단계 동안에 적합한 슬라이스를 자유롭게 선택함으로써 인코딩된 합성 비디오 스트림을 생성하는 것을 허용한다. 따라서 사용자 입력 스트림이 프레임의 상이한 위치에 추가될 광고, 로고 등과 같은 상이한 멀티미디어 요소 세트를 포함하는 경우, 합성된 스트림은 본래 백그라운드 공통 비디오 스트림만을 포함하거나 하나의 추가된 멀티미디어 요소 세트만을 갖는 이 백그라운드의 부분을 포함하거나 상이한 위치에 추가된 2개 또는 훨씬 더 많은 멀티미디어 요소를 갖는 합성 스트림을 포함할 수 있다.

따라서, 이 방법은 시스템의 인코딩 및 전송 기능을 절약하고, H.264/AVC 표준 순응 디코더를 사용할 수 있게 하여, 더 유연한 매크로블록 그룹화 방안을 가능하게 하기 위해 FMO 기능을 지원할 수 있으며, 추가 그래픽 렌더링 기능을 필요로 하지 않는다.

조합 및 필터링 단계는 전송측에서 수행될 수 있으나, 수신측 또는 네트워크의 임의의 위치에서 수행될 수도 있으며, 이는 청구항 제2항 내지 제4항에 각각 기재되어 있다. 후자의 경우, 액세스 노드와 같은 중간 노드가 모든 수신된 인코딩된 중간 비디오 스트림으로부터의 특정 슬라이스를 선택할 수 있어서, 최종 인코딩된 합성 비디오 스트림을 형성하는데, 이는 청구항 제2항 내지 제4항에 기재되어 있다. 후자의 경우, 인코딩된 합성 비디오 스트림은 이에 연결되는 사용자에게 이 중간 노드에 의해 추가 전송된다. 이 중간 노드에 연결되는 여러 사용자 또는 각각 특정 상이한 사용자 프로파일에 관련되는 수신기의 경우, 이 중간 노드의 조합 수단은 이들 인코딩된 합성 비디오 스트림 중 다수를 더 생성할 수 있으며, 이들 인코딩된 합성 비디오 스트림이 추가 전송될 수신기의 특정 사용자 프로파일에 대응한다. 송신기에 존재하는 조합 수단은 송신기에 연결되는 특정 프로파일에 관련되는 여러 사용자들로의 추가 전송을 위해 이들 스트림 중 다수를 생성할 수도 있다.

다른 실시예가 첨부된 청구범위에 기재되어 있다.

청구범위에서 사용되는 용어 '연결되는'은 직접적인 접속으로 제한되도록 해석되어서는 안 된다. 따라서, '장치 B에 연결되는 장치 A'라는 표현의 범위가 장치 A의 출력이 장치 B의 입력으로 직접적으로 접속되는 장치 또는 시스템으로 제한되어서는 안 된다. 이는 A의 출력과 B의 입력 사이에 다른 장치 또는 수단을 포함하는 경로일 수 있는 경로가 존재한다는 것을 의미한다.

또한, 청구범위에서 사용되는 '포함하는'이라는 표현은 나열되는 수단들로 제한되는 것으로 해석되어서는 안 된다는 것을 유의해야 한다. 따라서, '수단 A 및 B를 포함하는 장치 a'라는 표현의 범위는 구성요소 A 및 B만으로 구성되는 장치들로 제한되어서는 안 된다. 이는 본 발명과 관련하여 관련되는 장치의 구성요소가 단지 A 및 B라는 것을 의미한다.

본 발명의 전술한 목적과 특징 및 기타 사항은 첨부된 도면을 참조하는 이하의 실시예를 참조하여 보다 명확해질 것이며 본 발명 자체로 가장 잘 이해될 것이다.

본 발명에 의하면, 인코딩되고 전송되며 다시 디코딩되어야 할 데이터의 양을 감소시키는 장비를 제공한다.

도 1은 본 발명에 따른 개인화 비디오 스트림의 인코딩을 위한 장치를 도시하고 있다.
도 2는 본 발명에 따른 n 개의 개인화 비디오 스트림 중 하나를 인코딩하는 장치를 도시하고 있다.

본 발명은 먼저 개인화 정보의 하나의 입력 스트림에 관해 설명할 것인데, 이는 도 1에 개략적으로 도시되어 있다. video0으로 표시된 공통 비디오 스트림은 inputi로 표시된 개인화 정보의 입력 스트림과 혼합된다. 혼합이 어디에 개인화 입력이 혼합되었는지를 식별하도록 허용하지 않는 원시 비디오 스트림을 출력하는 종래 방법과는 달리, 본 발명에 따라 믹서(Mi)에 의해 수행되는 혼합 단계는 매크로블록 그룹화 단계를 고려하여 개인화 정보가 공통 스트림에서 혼합되는 영역 또는 위치를 슬라이스 그룹 영역으로 맵핑한다. 이 혼합의 결과는 videoi로 표시된 중간 비디오이며, 공통 비디오 스트림을 포함하지만 매크로블록 그룹 영역에 의해 식별되는 위치에 존재하는 개인화 정보를 갖는다. 이를 위해, 믹서는 개인화 입력 스트림이 공통 비디오 스트림에 추가되어야 하는 상이한 그림 영역을 식별하기 위해 필요한 제어 정보를 수신하거나 포함해야 한다. 이 위치는 다음 단계가 대응 매크로블록 그룹화를 사용할 때 주어진 슬라이스 번호에 속하는 매크로블록에 일치하는 그림 영역 세트에 의해 표현되며, 각 매크로블록을 특정 슬라이스 번호로 맵핑한다.

다음 단계에서, 공통 비디오 스트림 video0와 중간 스트림 videoi는 동일한 매크로블록 그룹화를 사용하여 인코딩될 것이다. 이 매크로블록 그룹화 방안은 혼합 단계 동안에 식별되는 것에 순응한다(compliant)는 것이 중요한데, 이는 입력 스트림이 중간 스트림의 생성을 위해 공통 비디오 스트림에 추가된 그림 영역이 이제 슬라이스 인코딩을 위해서도 사용된다는 것을 의미한다. 이는 자신을 인코딩으로부터 얻어질 인코딩된 매크로블록의 슬라이스 번호로 반영할 것이다. 인코딩 video0을 위한 인코더는 E0로 표시되고, 인코딩 videoi을 위한 인코더는 Ei로 표시된다. AVC 표준에 따르면, evideo0으로 표시되는 최종 인코딩된 공통 비디오 스트림은 인코딩된 비디오 프레임 시퀀스를 포함하며, 각 인코딩된 비디오 프레임 자체가 이 공통 비디오 스트림의 인코딩된 매크로블록의 사전 결정된 슬라이스 번호 시퀀스를 포함한다. 도 1에서, m개의 프레임 시퀀스가 도시되어 있는데, 여기서 각 프레임은 2개의 인코딩된 매크로블록 슬라이스를 포함한다. 이들은 각각 sl1, fr1( 프레임 1의 슬라이스 1을 의미함), sl2, fr1(프레임 1의 슬라이스 2를 의미함) sl1, frm(프레임 m의 슬라이스 1을 의미함), sl2, frm(프레임 m의 슬라이스 2를 의미함)으로 표시된다.

이 매크로블록 그룹화의 일례는 이미 언급한 FMO 순서화이지만, AVC 표준에 따른 다른 방안도 가능하다.

본 발명에 따르면, 중간 비디오 스트림은 이 동일한 매크로블록 그룹화 방안을 사용하여 인코딩되며 최종 인코딩된 중간 스트림은 인코딩된 비디오 프레임의 대응 시퀀스를 포함할 것이어서, 각 인코딩된 비디오 프레임도 동일한 사전 결정된 번호의 인코딩된 매크로블록 슬라이스 시퀀스를 포함할 것이다. 도 1에 표시된 예에서, m개의 프레임 시퀀스가 얻어질 것이며, 각 프레임은 2개의 매크로블록 슬라이스를 포함할 것이다. 이들은 공통 비디오 스트림의 슬라이스로서 유사한 방식으로 표시된다.

물론 인코딩된 공통 비디오 스트림의 이들 슬라이스의 콘텐츠는 인코딩된 중간 스트림의 슬라이스의 콘텐츠와는 상이하다. 이는 도면에서 연속적인 슬라이스를 표현하는 상이한 색상의 상자을 사용하여 표시되어 있다. 공통 비디오 스트림의 슬라이스는 공백의 채워지지 않은 상자인 반면 인코딩된 중간 스트림의 slice1을 도시하는 상이한 상자는 점으로 채워져 있다. 인코딩된 중간 스트림의 slice2를 도시하는 상이한 상자는 회색을 갖는다.

믹서(Mi)와 2개의 인코더(Eo 및 Ei) 모두 인코딩 장치(EA)의 일부이다. 이 인코딩 장치는 송신기의 일반적인 파트이다. 일부 실시예에서, 이 송신기는 인코딩된 공통 스트림 evideo0 및 인코딩된 중간 스트림 evideoi 모두를 무선 또는 케이블 네트워크와 같은 통신 네트워크를 통해 수신기로 송신할 것이다.

다른 실시예에서, 이 송신기는 도 1에서 F로 표시된 조합 수단을 더 포함할 것이다. 이 장치는 인코딩 장치(EA)로부터의 인코딩된 공통 비디오 스트림 evideo0 및 인코딩된 중간 스트림 evideoi를 수신하도록 구성되며, 또한 프레임당 및 슬라이스 번호당 하나의 스트림 슬라이스를 선택하도록 구성되어, 동일한 수의 프레임 시퀀스를 포함할 인코딩된 합성 비디오 스트림 및 프레임당 동일한 수의 슬라이스를 형성한다. 도 1에서, 이 최종 인코딩된 합성 비디오 스트림은 evideofinal로 표시되고, m개의 프레임 시퀀스를 다시 포함하는데, 각 프레임은 2개의 매크로블록 슬라이스를 포함한다. 슬라이스 1에 대해 공통 비디오 스트림으로부터의 슬라이스가 선택되며, 슬라이스 2에 대해 개인화 정보의 입력 스트림으로부터의 슬라이스가 선택된다. 단지 공통 스트림의 슬라이스를 선택하거나 단지 개인화 입력 스트림으로부터의 슬라이스를 선택하거나 다른 조합, 즉, 개인화 스트림으로부터의 슬라이스 1 및 공통 스트림으로부터의 슬라이스 2과 같은 다른 조합이 구성될 수 있다는 것을 쉽게 이해할 수 있다.

이들 스트림이 4개의 상이한 수신기로 송신되어야 하는 경우에 이들 4개의 최종 스트림에 대해 별도의 인코더가 필요한 종래 기술에 비교할 때 이제 단지 2개의 인코더와 하나의 조합 수단만이 필요하다. 또한, 표준 AVC 순응 디코더가 사용되어 개인화 콘텐츠를 생성할 수 있으며, 더 최적의 슬라이스 그룹화 방안을 갖기 위해 후자의 방안이 사용되는 경우에 FMO 지원을 갖출 수 있다. 이는 복잡한 그래픽 기능을 갖는 셋톱 박스를 제공하는 것에 대조된다.

이들 장점은 개인화 정보의 많은 상이한 입력 스트림이 하나 또는 여러 사용자 또는 사용자 그룹으로 전송되기 위해 공통 비디오 스트림과 혼합될 경우에 훨씬 더 분명해질 것이다. 공통 비디오 스트림은 텔레비전 프로그램으로 구성될 수 있으며, 상이한 입력 스트림이 상이한 사용자 그룹에 전용되는 상이한 로고 또는 광고 유형일 수 있다. 예들은 애완동물을 갖는 사용자에 대한 어떤 애완용 음식에 대한 전용 광고 및 아기를 갖는 가족에 대한 기저귀에 대한 광고 등과 같은 상이한 사용자에게 초점을 맞춘 다른 광고이다. 종래 기술에서, 이들 광고 각각은 인코딩 및 추후 전송을 위한 공통 비디오 스트림과 혼합되어야 했다. 이제 입력 스트림은 상이한 그림 영역에 이들 상이한 광고를 포함할 수 있는데, 각각 스트림의 상이한 위치에 관련된다. 혼합된 중간 스트림의 인코딩은 한번만 발생해야 하며, 조합 수단은 슬라이스 중 어느 것이 조합된 인코딩된 합성 스트림을 생성하기 위해 사용될 것인지를 선택할 수 있다.

각각 상이한 개인화 정보에 관련되는 n개의 상이한 입력 스트림에 관한 상황이 도 2에 도시되어 있다. 다시 공통 스트림은 video0으로 표시되고 n개의 상이한 입력 스트림은 input1 내지 inputn으로 표시된다. 도 1에서와 같이, 이들 입력 스트림은 공통 비디오 스트림과 혼합되어 n개의 중간 스트림(video1 내지 videon)을 생성한다. 각 믹서는 M1 내지 Mn으로 표시된다. 도 1에서와 같이, 이들 믹서는 매크로블록 그룹화 단계를 고려해야 하는데, 개인화 정보가 공통 스트림에서 혼하되는 위치를 슬라이스 그룹 영역으로 맵핑하며 스스로 슬라이스 번호에 의해 표현된다. 이 혼합의 결과는 videoi로 표시되는 중간 비디오 스트림이고 공통 비디오 스트림을 포함하지만, 매크로블록 그룹화 영역에 의해 식별되는 위치에 존재하는 개인화 정보를 갖는다. 단 하나의 입력 스트림의 경우에 대해 유사한 고려사항이 적용되는데, 즉, 믹서는 개인화 입력 스트림이 공통 비디오 스트림에 추가되어야 하는 상이한 위치를 식별하기 위해 필요한 제어 정보를 수신하거나 포함해야 한다. 이 위치는 슬라이스에 속하는 매크로블록과 일치하는 그림 영역 세트에 의해 표현된다. n개의 중간 스트림은 E1 내지 En으로 표시되는 n개의 각 AVC 인코더에서 인코딩된다. 전술한 바와 같이, 이 매크로블록 그룹화 방안은 혼합 단계를 위해 사용된 것에 순응한다는 것이 중요한데, 이는 입력 스트림이 중간 스트림의 생성을 위해 공통 비디오 스트림에 추가된 그림 영역이 이제 매크로블록의 인코딩 및 슬라이스로의 맵핑을 위해서도 사용된다는 것을 의미한다. 공통 비디오 스트림은 E0로 표시되는 인코더를 사용하여, 이 동일한 매크로블록 그룹화를 사용하여 인코딩된다. 다시, 사전 결정된 수의 매크로블록의 슬라이스를 각각 포함하는 다수의 프레임의 시퀀스는 이들 인코더에 의해 제공된다. 도 2에서, 다시 m개의 프레임 시퀀스가 도시되어 있는데, 각 프레임은 다시 2개의 슬라이스를 포함한다. 그러나, 임의의 수의 프레임 및 슬라이스가 본 발명을 사용하는 데에 적용 가능하다는 것이 명백하다.

모든 믹서 및 인코더가 본 발명에 따른 하나의 인코딩 장치(EA)에 포함된다. 이 인코딩 장치는 개인화 정보의 n개의 입력 스트림(input1 내지 inputn) 및 공통 비디오 스트림(video0)을 수신하고, evideo0 내지 evideon으로 표시되는 이 매크로블록 그룹화를 사용하여 n+1 인코딩된 비디오 스트림을 생성하도록 구성된다. 다시 상이한 슬라이스의 상이한 콘텐츠는 상이한 슬라이스를 표시하는 작은 상자를 채움으로써 표시된다. 다시, 공통 비디오 스트림의 슬라이스는 비어있는 상자로서 표시된다. 인코딩된 중간 스트림 evideo1에 대해, 슬라이스 1에 대한 연속적 프레임은 공통 비디오 스트림의 것과 동일하지만, 슬라이스 2에 대한 연속적 프레임은 상이하며, 점으로 채워진 상자로 표시된다. 인코딩된 중간 스트림 evideo1에 대해, 슬라이스 2에 대한 연속적 프레임은 공통 비디오 스트림의 것과 동일하지만, 콘텐츠는 슬라이스 1에 대해 상이하며, 벽돌 무늬로 표시된다. 그리고, 인코딩된 중간 스트림 evideon에 대해 다시 첫 번째 슬라이스는 공통 비디오 스트림의 것들에 대해 공통적이지만, 두 번째 슬라이스는 회색 상자에 의해 표시되는 바와 같이 상이하다.

F로 표시되는 조합 수단은 각 슬라이스 번호에 대해 n+1개의 파일들 중 단 하나의 슬라이스를 선택하여 이 선택으로부터 얻어질 인코딩된 합성 스트림이 선택된 슬라이스 시퀀스를 포함할 것이어야 한다. 도 2에서, 최종 인코딩된 합성 비디오 스트림은 인코딩된 중간 스트림으로부터의 첫 번째 슬라이스(evideoi) 및 인코딩된 중간 스트림으로부터의 두 번째 슬라이스(evideo1)를 가질 것이다.

이 방식에서 많은 조합이 구성될 수 있다는 것이 명백하다. 다시 인코딩 장치(EA)는 송신기에 포함되는 경우가 흔한데 이는 소정 실시예에서 조합 수단(F)을 포함할 수도 있다. 다른 실시예에서, 송신기는 인코딩 장치만을 포함하는 반면 조합 수단이 수신기 자체의 일부이거나, DSL 네트워크의 액세스 노드, 가정용 네트워크의 상주 게이트웨이 등과 같은 네트워크 내의 중간 노드의 일부일 수 있다.

조합 수단이 중간 노드의 송신기의 일부를 형성하는 경우에, 조합 수단은 이들 인코딩된 합성 비디오 스트림 중 여럿을 생성하도록 구성될 수 있는데, 이는 적합한 사용자에게 추가 송신될 수 있다. 상이한 인코딩된 합성 비디오 스트림은 특정 사용자 프로파일에 각각 관련되는데, 이는 특정 사용자 또는 사용자 그룹에도 링크된다. 또한, 조합 수단과 송신기 또는 중간 노드가 적합한 슬라이스 선택 및 전송에 관련되는 필요한 제어 정보를 수신하거나 소유할 필요가 있는 경우에, 올바른 최종 인코딩된 합성 스트림이 올바른 사용자 또는 수신기에 도달할 것이다.

믹서, 상이한 인코더 및 조합 수단은 이 방법을 잘 수행하기 위해 함께 공동 동작한다는 것이 중요하다. 이를 달성하는 한가지 방식은 도 1 및 도 2에서 CM으로 표시된 중앙 제어 블록을 통해 적합한 제어 신호를 믹서, 인코더 및 조합 수단에 제공하는 것이다. 이들 제어 신호는 제어 블록(CM)과 상이한 믹서 사이, 인코더와 조합 수단(F) 사이의 화살표에 의해 표시되며, 시간 의존성의 정확성을 보장하는 가능한 인코더 결정에 제한을 두는 주어진 슬라이스에 속하는 이미지의 영역, 인코더에 의해 사용되는 임시 기준 그림의 정확성을 보장하는 encoder0에 의해 내려진 기준 결정, 시퀀스 및 그림 파라미터 설정 등을 표시하는 정보를 포함할 수 있다.

그러나, 다른 실시예에서, 이 중앙 코딩은 장치 자체 내의 어떤 사전 프로그래밍된 지능에 의해 교체되어 이들이 상호 동작 가능한 방식으로만 기능할 수 있다. 또 다른 실시예에서, 모든 믹서, 인코더 및 조합 수단 사이의 양방향적 제어 연결 및 제어 수단(CM)이 존재한다.

특정 장치와 관련하여 본 발명의 원리를 설명하였지만 이 설명은 단지 예시적인 것이며 첨부된 청구범위에서 정의되는 본 발명의 범위를 제한하지 않는다는 것이 명백하다.

Claims (14)

1. 공통 비디오 스트림(video0) 및 개인화 정보(personalized information)의 적어도 하나의 입력 스트림(input1,...,inputi,...,inputn)에 기초하여 인코딩된 합성 비디오 스트림(evideofinal)을 생성하는 방법으로서,
   상기 적어도 하나의 입력 스트림(input1,...,inputi,...,inputn)을 상기 공통 비디오 스트림(video0) 내에 혼합함으로써 적어도 하나의 중간 스트림(video1,...,videoi,...,videon)을 생성하는 단계와,
   상기 적어도 하나의 중간 스트림(video1,...,videoi,...,videon)을 인코딩하여 적어도 하나의 인코딩된 중간 스트림(evideo1,...,evideoi,...,evideon)을 생성하는 단계를 포함하되,
   상기 적어도 하나의 중간 스트림은, 슬라이스로의 매크로블록 그룹화(a macroblock grouping in slices)를 고려하여, 상기 공통 비디오 스트림의 사전 결정된 위치에 상기 적어도 하나의 입력 스트림을 추가함으로써 생성되며,
   상기 방법은,
   상기 매크로블록 그룹화를 사용해서 상기 공통 비디오 스트림(video0)을 인코딩하여, 인코딩된 비디오 프레임의 시퀀스를 포함하는 인코딩된 공통 비디오 스트림(evideo0)을 생성하는 단계 - 각 인코딩된 비디오 프레임은 상기 공통 비디오 스트림(video0)의 인코딩된 매크로블록의 사전 결정된 수의 슬라이스 시퀀스(sl1,...,sls)를 포함함 - 를 포함하며,
   상기 적어도 하나의 중간 스트림(video1,...,videoi,...,videon)은 상기 매크로블록 그룹화를 사용하여 인코딩되어, 그 결과로 상기 적어도 하나의 인코딩된 중간 비디오 스트림은 상기 적어도 하나의 중간 비디오 스트림의 인코딩된 매크로블록의 상기 사전 결정된 수의 슬라이스(sl1)의 프레임의 시퀀스를 포함하며,
   상기 방법은,
   조합 수단(F)에 의해, 상기 인코딩된 공통 비디오 스트림(evideo0) 및 상기 적어도 하나의 인코딩된 중간 스트림(evideo1,...,evideoi,...,evideon)을 조합하고 필터링하여, 프레임당 및 슬라이스 시퀀스 번호당 하나의 스트림의 단 하나의 슬라이스만이 선택되어 상기 인코딩된 합성 비디오 스트림(evideofinal)을 형성하는 단계를 더 포함하는
   인코딩된 합성 비디오 스트림 생성 방법.
   
2. 제 1 항에 있어서,
   상기 인코딩된 합성 비디오 스트림(evideofinal)을 형성하는 단계 후에, 상기 인코딩된 합성 스트림(evideofinal)을 네트워크를 통해 수신기로 전송하는 단계가 수행되는
   인코딩된 합성 비디오 스트림 생성 방법.
   
3. 제 1 항에 있어서,
   상기 인코딩된 합성 비디오 스트림(evideofinal)을 형성하는 단계는, 수신기 내의 상기 조합 수단(F)에 의해 상기 인코딩된 공통 비디오 스트림(evideo) 및 상기 적어도 하나의 인코딩된 중간 스트림(evideo1,...,evideoi,...evideon)의 수신 후에 수행되는
   인코딩된 합성 비디오 스트림 생성 방법.
   
4. 제 1 항에 있어서,
   상기 적어도 하나의 인코딩된 중간 비디오 스트림(evideo1,...,evideoi,...,evideon) 및 상기 인코딩된 공통 비디오 스트림(evideo0)은 네트워크를 통해 송신기에 의해 중간 노드로 송신되며,
   상기 인코딩된 공통 비디오 스트림(evideo0) 및 상기 적어도 하나의 인코딩된 중간 스트림(evideo1,...,evideoi,...,evideon)을 조합하고 필터링하여 상기 인코딩된 합성 비디오 스트림(evideofinal)을 형성하는 단계는 상기 네트워크의 상기 중간 노드 내의 상기 조합 수단(F)에 의해 수행되며, 그 후에 상기 중간 노드에 의해 상기 인코딩된 합성 비디오 스트림(evideofinal)을 수신기로 전송하는 단계가 더 수행되는
   인코딩된 합성 비디오 스트림 생성 방법.
   
5. 제 4 항에 있어서,
   상기 중간 노드는 복수의 수신기에 연결되고, 각 수신기는 특정 사용자 프로파일을 포함하며, 복수의 상기 인코딩된 합성 비디오 스트림은 상기 중간 노드 내의 상기 조합 수단(F)에 의해 생성되고, 각 인코딩된 합성 비디오 스트림은 상기 특정 사용자 프로파일 중 하나에 대응하며 상기 중간 노드에 의해 대응 수신기로 더 전송되는
   인코딩된 합성 비디오 스트림 생성 방법.
   
6. 인코딩된 공통 비디오 스트림(evideo0) 및 적어도 하나의 인코딩된 중간 스트림(evideo1,...,evideoi,...,evideon)을 생성하는 인코딩 장치(EA)로서,
   상기 인코딩 장치(EA)는, 공통 비디오 스트림(video0) 및 개인화 정보의 적어도 하나의 입력 스트림(input1,...,inputi,...,inputn)을 수신하도록 구성되며,
   상기 인코딩 장치(EA)는, 상기 공통 비디오 스트림(video0) 및 상기 적어도 하나의 입력 스트림(input1,...,inputi,...,inputn)을 혼합하여 적어도 하나의 중간 스트림(video1,...videoi,...,videon)을 생성하는 적어도 하나의 믹서(M1,...,Mi,...,Mn)를 더 포함하고,
   상기 인코딩 장치(EA)는, 상기 적어도 하나의 중간 스트림(video1,...,videoi,...,videon)을 상기 적어도 하나의 인코딩된 중간 스트림(evideo1,...,evideoi,...,evideon) 내에 인코딩하는 적어도 하나의 인코더(E1,...,Ei,...,En)를 더 포함하며,
   상기 적어도 하나의 믹서(M1,...,Mi,...,Mn)는, 슬라이스로의 매크로블록 그룹화를 고려하여, 상기 공통 비디오 스트림의 사전 결정된 위치에 상기 적어도 하나의 입력 스트림을 추가함으로써 상기 적어도 하나의 중간 스트림(video1,...,videoi,...,videon)을 생성시키도록 구성되고,
   상기 인코딩 장치(EA)는, 상기 매크로블록 그룹화를 사용하여 상기 공통 비디오 스트림(video0)을 인코딩하고 인코딩된 비디오 프레임의 시퀀스를 포함하는 인코딩된 공통 비디오 스트림(evideo0)를 생성하는 추가 인코더(EO)를 더 포함하여, 그 결과로 각 인코딩된 비디오 프레임은 상기 공통 비디오 스트림(video0)의 인코딩된 매크로블록의 사전 결정된 수의 슬라이스 시퀀스(sl1,...,sls)를 포함하고,
   상기 적어도 하나의 인코더(E1,...,Ei,...,En)는 또한, 상기 적어도 하나의 중간 비디오 스트림의 인코딩된 매크로블록의 상기 사전 결정된 수의 슬라이스(sl1)의 프레임의 시퀀스를 포함하는 상기 적어도 하나의 인코딩된 중간 스트림(evidoe1,...,evideoi,...,evideon)을 생성하기 위해, 상기 매크로블록 그룹화를 사용하여 상기 적어도 하나의 중간 스트림을 인코딩하도록 구성되는
   인코딩 장치.
   
   
7. 인코딩된 비디오 스트림을 송신하는 송신기로서,
   상기 송신기는 제 6 항에 따른 인코딩 장치를 포함하는
   송신기.
   
8. 인코딩된 합성 비디오 스트림(evideofinal)을 생성하기 위해 인코딩된 공통 비디오 스트림(evideo0)과 적어도 하나의 인코딩된 중간 스트림(evideo1,...,evideoi,...,evideon)을 조합하고 필터링하는 조합 수단(F)으로서,
   상기 조합 수단(F)은, 인코딩된 비디오 프레임의 시퀀스를 포함하는 상기 인코딩된 공통 비디오 스트림(evideo0)를 수신 - 각 인코딩된 비디오 프레임은 공통 비디오 스트림(video0)의 인코딩된 매크로블록의 사전 결정된 수의 슬라이스(sl1,...,sls)의 시퀀스를 포함함 - 하고, 적어도 하나의 중간 비디오 스트림의 인코딩된 매크로블록의 상기 사전 결정된 수의 슬라이스(sl1)의 인코딩된 비디오 프레임 시퀀스를 포함하는 상기 적어도 하나의 인코딩된 중간 스트림(evideo1,...,evideoi,...,evideon)을 수신하도록 구성되며,
   상기 조합 수단(F)은 또한, 상기 인코딩된 공통 비디오 스트림(evideo0)과 상기 적어도 하나의 인코딩된 중간 스트림(evideo1,...,evideoi,...,evideon)을 조합하고 필터링하여, 프레임당 및 슬라이스 시퀀스 번호당 하나의 스트림의 단 하나의 슬라이스만이 선택되어 상기 인코딩된 합성 비디오 스트림(evideofinal)을 생성하도록 구성되는
   조합 수단.
   
9. 제 8 항에 있어서,
   상기 조합 수단(F)은 또한, 상기 인코딩된 합성 비디오 스트림 중 복수의 상이한 인코딩된 합성 비디오 스트림을 생성하도록 구성되며,
   각 인코딩된 합성 비디오 스트림은 특정 사용자 프로파일에 대응하는
   조합 수단.
   
10. 제 7 항에 있어서,
    상기 송신기는 제 8 항 또는 제 9 항에 따른 조합 수단(F)을 더 포함하는
    송신기.
    
11. 인코딩된 비디오 스트림을 수신하는 수신기로서,
    상기 수신기는 제 8 항에 따른 조합 수단(F)을 포함하는
    수신기.
    
12. 인코딩된 비디오 스트림을 전송하는 네트워크의 중간 노드로서,
    상기 중간 노드는 제 9 항에 따른 조합 수단(F)을 포함하는
    중간 노드.
    
13. 제 12 항에 있어서,
    상기 중간 노드는 복수의 수신기에 연결되고, 각 수신기는 상기 특정 사용자 프로파일을 포함하며, 상기 중간 노드는 또한, 상기 특정 사용자 프로파일에 따라 각 수신기에 상기 상이한 인코딩된 합성 비디오 스트림을 전송하도록 구성되는
    중간 노드.
14. 인코딩된 비디오 스트림을 전송하는 네트워크의 중간 노드로서,
    상기 중간 노드는 제 8 항에 따른 조합 수단(F)을 포함하는
    중간 노드.

Images