KR100981456B1 - 서브 화상 조정 방법과 이를 수행할 수 있는 컴퓨터 프로그램을 포함하는 컴퓨터 판독 가능 저장 매체 및 서브 화상 조정 장치 - Google Patents

서브 화상 조정 방법과 이를 수행할 수 있는 컴퓨터 프로그램을 포함하는 컴퓨터 판독 가능 저장 매체 및 서브 화상 조정 장치 Download PDF

Info

Publication number
KR100981456B1
KR100981456B1 KR1020057006801A KR20057006801A KR100981456B1 KR 100981456 B1 KR100981456 B1 KR 100981456B1 KR 1020057006801 A KR1020057006801 A KR 1020057006801A KR 20057006801 A KR20057006801 A KR 20057006801A KR 100981456 B1 KR100981456 B1 KR 100981456B1
Authority
KR
South Korea
Prior art keywords
picture
sub
compressed
block
adjusting
Prior art date
Application number
KR1020057006801A
Other languages
English (en)
Other versions
KR20050065611A (ko
Inventor
오노 에렌베르그
에릭 기즈스베르스
이와우트 브랜드스마
Original Assignee
엔엑스피 비 브이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=32103970&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR100981456(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 엔엑스피 비 브이 filed Critical 엔엑스피 비 브이
Publication of KR20050065611A publication Critical patent/KR20050065611A/ko
Application granted granted Critical
Publication of KR100981456B1 publication Critical patent/KR100981456B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 모자이크 화면(301)과 같은 화상에서의 서브 화상(303)의 조작에 관한 것이다. 이 장치는 서브 화상으로부터 모자이크 화면을 생성하는 모자이크 화면 생성기(107)에 접속된 서브 화상 생성기(105)를 포함한다. 모자이크 화면(301)은 비디오 압축기(111)에 의해서 압축되지 않은 화상 블록으로 분할되되, 각각의 블록은 하나의 서브 화상으로부터의 비디오 데이터만을 포함한다. 화상 블록은 MPEG-2와 같은 블록 압축 방식을 사용해서 압축된다. 이 장치는 비디오 신호 내의 제어 데이터와 압축 화상 블록 사이의 관련성을 조정해서 서브 화상을 조정하는 비디오 조정 프로세서를 포함한다. 압축 화상 블록의 비디오 데이터는 무관하기 때문에, 압축 해제 및 새로운 압축이 필요없다.

Description

서브 화상 조정 방법과 이를 수행할 수 있는 컴퓨터 프로그램을 포함하는 컴퓨터 판독 가능 저장 매체 및 서브 화상 조정 장치{MANIPULATING SUB-PICTURES OF A COMPRESSED VIDEO SIGNAL}
본 발명은 압축 비디오 신호의 서브 화상의 조정에 관한 것이다.
디지털 비디오 신호를 전송하는 데 필요한 대역폭을 감소시키기 위해서, 비디오 압축을 사용해서 비디오 신호의 데이터 레이트를 상당히 압축시키는 것이 알려져 있다.
가장 널리 사용되는 비디오 압축 기술 중 하나가 MPEG-2(동영상 전문가 그룹 )이다. MPEG-2는 블록 기반 압축 방식으로, 한 프레임이 다수의 블록으로 분할되며, 이들 블록은 각각 8개의 수직 픽셀과 8개의 수평 픽셀로 이루어진다. 휘도 데이터를 압축하기 위해서는 각각의 블록이 이산 코사인 변환(DCT) 및 이에 후속하는 양자화를 사용해서 개별적으로 압축되며, 이로써 변환된 데이터 값의 상당수를 0으로 감소시킨다. 크로미넌스 데이터를 압축하기 위해서는, 색차 신호 당 1, 2, 또는 심지어 4개의 블록이 매크로 블록마다 사용되며, 그 수는 색 서브 샘플링 모드에 따라 달라진다. 인트라 프레임(intra-frame) 압축에만 기초한 프레임이 인트라 프레임(I-프레임)이라고 알려져 있다.
인트라 프레임 압축에 더해서 MPEG-2는 인터 프레임 압축을 사용해서 데이터 레이트를 더 감소시킨다. 인터 프레임 압축은 이전의 I 프레임 또는 예측 프레임(P-프레임)에 기초해서 P 프레임을 생성하는 것을 포함한다. 또한, I 프레임 및 P 프레임은 전형적으로 양방향 예측 프레임(B-프레임)에 의해 도입되는 것이 전형적이며, 여기서 압축은 B-프레임과 주위의 I 및 P 프레임(또는 주위의 P 프레임)과의 차이를 전송하는 것만으로 수행된다. 또한, MPEG-2는 다른 위치에 있는 후속 프레임에서 나타나는 하나의 프레임의 블록의 이미지가 모션 벡터를 사용해서 간단하게 전송될 수 있는 모션 추정(motion estimation)을 사용한다.
이러한 압축 기술을 사용한 결과, 표준 TV 스튜디오 방송 품질 레벨의 비디오 신호가 약 2-4Mpbs의 데이터 레이트로 전송될 수 있다.
비디오 장치의 사용자가 자주 수행하는 조작이 비디오 시퀀스를 통해서 특정 장면(occurrence) 위치를 찾는 네비게이션이다. 현재의 아날로그 비디오 카세트 리코더는 고속 탐색 모드 또는 슬로우 모션을 가지고 사용자가 특정 장면을 찾는 것을 지원하고 있다. 디지털 저장 장치에서는, 한 화상이 시간 차를 둔 다수의 서브 화상을 포함하고 있는 모자이크 화면에 기초한 네비게이션이 가능해졌다. 이런 식으로 사용자는 비디오 시퀀스 중 특정 부분에 대한 미리 보기를 획득할 수 있으며, 모자이크 화면을 스크롤함으로써 비디오 시퀀스 중 특정 부분을 선택할 수 있다. 모자이크 화면은 일정 간격을 둔 서브 화상을 포함할 수도 있고, 장면 변화와 같은 특정 이벤트와 관련될 수도 있다. 특히, 서브 화상 및 모자이크 화면은 비디오 자료를 통한 네비게이션을 쉽게 해주는 VTOC(Visual Table Of Content)를 계층형 방식으로 만드는 데 사용될 수 있다.
VTOC는 비디오 자료를 녹화 또는 재생하는 동안 생성될 수 있다. 일정 간격으로 또는 특정 장면에서, 현재의 비디오 영상이 샘플링되고 저장된다. 영상의 크기 및 해상도는 서브 화상에 맞게 감소된다. 이들 복수의 서브 화상으로부터 생성된 모자이크 화면이 압축되지 않으면, 너무 커서, 큰 대역폭 및 저장 용량을 필요로 한다. 결과적으로, 모자이크 화면은 MPEG-2 압축 알고리즘을 사용해서 압축된다.
모자이크 화면의 서브 화상이 다른 모자이크 화면에서 재사용될 때, 압축 모자이크 화상의 압축은 풀리고, 적절한 서브 화상이 선택되어서 새로운 서브 화상과 결합된다.
압축 비디오 신호의 압축 서브 화상을 조정하는 것은 매우 복잡하고, 많은 처리 전력을 필요로 한다는 것은 자명한 일이다. 따라서, 이는 매우 느리고, 필요한 자원을 처리하기 위한 추가 전력 소비를 더 요구한다. 그러므로, 압축 비디오 신호 영역의 서브 화상을 조정하는 개선된 방법이 바람직하다.
따라서, 본 발명은 압축 비디오 신호의 서브 화상의 조정을 개선하려 한다. 바람직하게는, 본 발명은 위의 하나 이상의 단점을 단독으로 또는 조합해서 제거하거나 완화시킨다.
따라서, 제 1 관점에서 압축 비디오 신호의 서브 화상을 조정하는 방법은, 복수의 서브 화상을 포함하는 비디오 신호를 생성하는 단계와, 비디오 신호의 적어도 하나의 제 1 프레임을 복수의 압축되지 않은 화상 블록으로 분할하되, 압축되지 않은 화상 블록 각각이 오직 하나의 서브 화상과 관련된 비디오 데이터를 포함하도록 분할하는 단계와, 비디오 블록 기반 압축 방식을 사용해서 압축되지 않은 화상 블록으로부터 압축 비디오 블록을 생성해서 압축 비디오 신호를 생성하는 단계와, 비디오 블록 기반 압축 방식을 사용해서 압축 비디오 신호를 생성해서 압축되지 않은 화상 블록으로부터 압축 비디오 블록을 생성하는 단계와, 압축 화상 블록의 압축 비디오 데이터를 수정하지 않고 제 1 서브 화상과 관련된 압축 화상 블록과 제어 데이터의 결합을 조정함으로써 압축 비디오 신호의 적어도 하나의 제 1 서브 화상을 조정하는 단계를 포함한다.
따라서, 이 방법은 압축 화상 블록의 압축 비디오 데이터를 수정할 필요없이, 서브 화상을 조정하는 매우 간단한 방법을 제공한다. 따라서, 현재의 압축 화상 블록을 사용해서 조정 조작이 수행될 수 있으며, 이 조정 과정이 압축 및 압축 해제를 포함할 필요가 없다. 이는 높은 융통성을 가지면서도, 복잡하지 않은 시스템을 제공한다. 조정에 필요한 계산 자원이 상당히 감소되며, 유사하게 어떤 조정에 의해서 야기되는 지연도 마찬가지다. 또한, 계산 자원이 제한되기 때문에, 전력 소비도 감소될 수 있다.
본 발명의 일 특성에 따라서, 적어도 하나의 제 1 서브 화상을 조정하는 단계는 제어 데이터를 변화시키지 않고도 제 1 서브 화상의 압축 화상 블록을 다른 화상의 압축 화상 블록과 대체하는 단계를 포함한다. 이는 서브 화상을 조정하는 매우 간단하고, 복잡하지 않은 방법을 제공하며, 특히 비디오 신호의 압축 화상 블록이 전체 화상 내의 위치에 나열되었을 때 그렇다.
본 발명의 제 2 특성에 따라서, 적어도 하나의 제 1 서브 화상을 조정하는 단계는 제 2 서브 화상의 제어 데이터를 제 1 서브 화상의 압축 화상 블록과 결합시키는 단계를 포함한다. 이는 서브 화상을 조정하는 매우 간단하고, 복잡하지 않은 방법을 제공하며, 특히 전체 화상의 압축 화상 블록의 위치가 제어 데이터 내의 정보로부터 결정될 때 그렇다.
본 발명의 제 3 특성에 따라서, 제어 데이터는 결합된 서브 화상의 위치와 연관된 정보를 포함한다. 이는 전체 화상 내의 서브 화상의 위치의 조정을 용이하게 하며, 이는 이 정보가 수정되어서 위치 변화를 수행할 수 있기 때문이다.
본 발명의 제 4 특성에 따라서, 제어 데이터는 식별 데이터를 포함하고 있으며, 이 방법은 압축 비디오 신호를 분석해서 제 1 서브 화상에 상응하는 식별 데이터를 검출함으로써, 제 1 서브 화상의 압축 데이터 블록을 선택하는 단계를 더 포함한다. 따라서, 간단하고, 빠르며, 적은 자원을 요구하는 조작인 간단한 분석에 의해 선택 조작이 수행될 수 있다.
본 발명의 제 5 특성에 따라서, 압축 비디오 신호는 복수의 슬라이스를 포함하며, 각각의 슬라이스는 슬라이스 헤더 및 다수의 연속된 압축 화상 블록을 포함한다. 이러한 장치는 조정을 용이하게 하며, 이는 슬라이스의 조정에 의해 수행될 수 있기 때문이며, 특히 수직 스크롤링이 매우 용이하게 수행될 수 있기 때문이다.
본 발명의 제 6 특성에 따라서, 각각의 슬라이스는 하나의 압축 화상 블록을 포함한다. 이는 하나의 압축 화상 블록의 해상도 정도로 낮은 해상도로 수행될 수 있기 때문에 더 높은 조정의 융통성을 제공한다.
본 발명의 제 7 특성에 따라서, 각각의 슬라이스는 서브 화상의 폭에 상응하는 다수의 압축 화상 블록을 포함한다. 이는 서브 화상의 핸들링을 용이하게 하며, 그 이유는 하나의 슬라이스에 대한 조작이 서브 화상의 전체 폭에 있어서의 화상에 영향을 미치기 때문이다.
본 발명의 제 8 특성에 따라서, 각각의 슬라이스는 화상의 폭에 상응하는 복수의 압축 화상 블록을 포함한다. 이는 서브 화상의 핸들링을 용이하게 하며, 그 이유는 하나의 슬라이스에 대한 조작이 화상의 전체 폭에 있는 화상에 영향을 미치기 때문이다.
본 발명의 제 9 특성에 따라서, 적어도 하나의 제 1 서브 화상의 조정은 슬라이스의 압축 화상 블록을 다른 슬라이스의 압축 화상 블록과 대체하고, 제어 데이터를 수정함으로써 제 1 서브 화상의 위치를 조정하는 단계를 포함한다. 이는 서브 화상을 가진 화상의 이동 조작을 수행하는 복잡하지 않은 방법을 제공한다.
본 발명의 제 10 특성에 따라서, 적어도 하나의 제 1 서브 화상을 조정하는 단계는 제어 데이터를 수정해서 이동 조작을 수행함으로써 제 1 서브 화상의 위치를 조정하는 단계를 포함한다. 이는 서브 화상을 가진 하나의 화상의 이동 조작을 수행하는 복잡하지 않은 방법을 제공한다.
본 발명의 제 11 특성에 따라서, 슬라이스 헤더는 슬라이스 번호를 포함하고, 적어도 하나의 제 1 서브 화상의 조정은 제 1 서브 화상의 압축 화상 블록을 포함하는 슬라이스의 슬라이스 번호를 수정함으로써 제 1 서브 화상의 수직 위치를 조정하는 단계를 포함한다. 따라서, 슬라이스 번호를 변경하는 간단한 조작으로 조정이 수행될 수 있다. 특히 간단한 슬라이스 번호 조정에 의해서 수직 스크롤링 조작이 수행될 수 있다.
본 발명의 제 12 특성에 따라서, 적어도 하나의 제 1 서브 화상 조정 단계는 제어 데이터를 수정하는 일 없이 압축 화상 블록을 사전결정된 압축 화상 블록으로 대체하는 단계를 더 포함하며, 이로써 사전결정된 서브 화상이 압축 비디오 신호에 삽입될 수 있다. 이는 마커 또는 아이콘과 같은 사전결정된 화상이 화상에 삽입되는 간단한 방법을 제공한다.
바람직하게는, 블록 압축 방식은 MPEG-2 방식이고, 압축 화상 블록은 매크로 블록이다.
본 발명의 제 2 관점에 따라서, 압축 비디오 신호의 서브 화상을 조정하는 장치가 제공되며, 이 장치는 복수의 서브 화상을 포함하는 압축 비디오 신호를 수신하는 수단 - 이 압축 비디오 신호의 적어도 하나의 제 1 프레임은 오직 하나의 서브 화상과 연관된 비디오 데이터를 포함하는 압축되지 않은 화상 블록의 비디오 블록 압축에 의해서 압축 화상 블록으로 분할됨 - 과, 압축 화상 블록의 압축 비디오 데이터를 수정하지 않고 제어 데이터와 제 1 서브 화상과 연관된 압축 화상 블록과의 결합을 조정함으로써 압축 비디오 신호의 적어도 하나의 제 1 서브 화상을 조정하는 수단을 포함한다.
본 발명의 이러한 측면들은 이하 설명되는 실시예를 참조로 자명해질 것이다.
본 발명의 실시예가 도면을 단순한 예로만 참조하면서 설명될 것이다.
도 1은 본 발명의 실시예에 따른 압축 비디오 신호의 서브 화상을 조정하는 장치를 도시하는 도면,
도 2는 본 발명의 실시예에 따른 도 1의 장치의 조작의 흐름도를 도시하는 도면,
도 3은 본 발명의 바람직한 실시예의 모자이크 화면의 예를 도시하는 도면,
도 4는 미니 슬라이스 - 이 슬라이스의 폭은 서브 화상의 폭과 같음 - 로 이루어진 서브 화상을 포함하는 모자이크 화면을 도시하는 도면,
도 5는 슬라이스 - 이 슬라이스의 폭은 전체 화상의 폭과 같음 - 로 이루어진 서브 화상을 포함하는 모자이크 화면을 도시하는 도면,
도 6은 미니 슬라이스 - 이 슬라이스의 폭은 압축 화상 블록의 폭과 같음 - 로 이루어진 서브 화상을 포함하는 모자이크 화면을 도시하는 도면,
도 7은 본 발명의 일 실시예에 따른 유익한 코딩을 도시하는 도면.
본 발명의 일 실시예가 특히 MPEG-2 압축을 참조하면서 이하 설명될 것이지 만, 본 발명이 이 애플리케이션으로 한정되는 것이 아니며, 다른 비디오 블록 기반 압축 방식에도 동일하게 적용될 수 있다는 것을 이해할 것이다.
도 1은 본 발명의 실시예에 따른 압축 비디오 신호의 서브 화상 조정 장치(100)를 도시하고 있다. 도 2는 본 발명의 일 실시예에 따른 도 1의 장치(100)의 조작의 흐름도(200)를 도시하고 있다.
도 1은 장치(100)에 포함된 화상 샘플러(103)에 접속된 비디오 소스(101)를 도시하고 있다. 비디오 소스는 외부 카메라, 비디오 저장 장치 또는 방송 비디오 신호용 수신기가 될 수 있다. 이와 같이, 비디오 소스(101)는 장치(100)의 외부 또는 내부에 위치될 수 있다. 비디오 소스(101)로부터의 비디오 신호는 디지털이고, 바람직한 실시예에서는 MPEG-2 압축 방식을 사용해서 압축 디지털 비디오 신호이다. 이 화상 샘플러(103)는 서브 화상 생성기(105)에 접속되며, 이는 다시 모자이크 화면 생성기(107)에 접속된다. 장치(100)는 장치(100)의 대부분의 다른 기능 블록에 접속된 모자이크 화면 컨트롤러(109)를 더 포함한다. 모자이크 화면 컨트롤러(109)는 장치(100)의 다양한 기능 블록을 제어해서, 모자이크 스크린의 생성 및 조정에 필요한 동작을 수행하도록 동작될 수 있다. 모자이크 화면 컨트롤러(109)는 사용자 입력을 수신하고, 이에 따라서 장치의 동작을 제어한다.
도 2의 흐름도의 단계(201)에서, 서브 화상이 생성된다. 서브 화상은 비디오 소스(101)로부터의 비디오 신호로부터 생성된다. 모자이크 화면 컨트롤러(109)는 서브 화상이 생성되었는지 판정하고, 제어 신호를 화상 샘플러(103)에 전송하며, 이에 응답해서 현재 비디오 소스로부터 수신되는 화상을 샘플링한다. 바람직 한 실시예에서, 비디오 신호는 MPEG-2 압축 비디오 신호이며, 샘플링은 비디오 신호로부터 현재의 이미지를 디코딩하는 것과 관련된 모든 정보를 저장한다. 이와 같이, 이 정보는 I 프레임으로부터의 모든 정보를 간단히 포함할 수 있지만, 다른 상황에서는 선택된 예상 화상을 적절하게 디코딩하기 위해서 앵커(anchor) 화상을 포함할 수 있다. 샘플링된 데이터 값은 서브 화상 생성기로 전송된다. 바람직한 실시예에서, 화상 샘플러(103)는 메모리에 데이터를 저장하고, 이는 서브 화상 생성기(105)에 의해 액세스될 수 있다. 화상 샘플러가 모든 필요한 정보를 추출해서 저장하면, 화상 샘플러는 제어 신호를 모자이크 화면 생성기(109)에 전송하고, 이에 응답해서 서브 화상 생성기(105)를 개시시킨다.
서브 화상 생성기(105)는 화상 샘플러(103)가 캡쳐한 정보를 사용해서 바람직한 실시예에서는 잘 알려진 MPEG-2 압축 기술을 사용해서 프레임의 압축을 해제한다. 압축 해제된 이미지가 일단 생성되면, 이는 크기 조정되고, 따라서 해상도가 변한다. 바람직하게는, 이는 주파수 영역 또는 시간 영역에서 원래의 이미지를 재샘플링하고, 선별 제거(decimate)함으로써 수행된다. 바람직한 실시예에서, 모자이크 화면은 16개의 서브 화상 및 이 서브 화상 사이의 경계선으로 이루어지며, 수평 및 수직 화소 해상도 모두가 1/4로 감소되도록 리샘플링이 이루어진다. 특히, 384×320 화소 이미지는 96×80 화소 화상으로 재샘플링된다.
단계(203)에서, 모자이크 화면 컨트롤러(109)는 더 많은 서브 화상이 생성되어야 하는 지 결정하고, 생성되어야 한다면 방법은 단계(201)로 돌아간다. 바람직한 실시예에서, 서브 화상은 임의의 모자이크 화면이 생성되기 전에 전체 수신된 비디오 시퀀스에 대해서 생성된다. 다른 실시예에서, 화소 수에 상응하는 수의 서브 화상이 스크린에 생성되자마자 모자이크 화면이 생성된다. 다른 실시예에서, 하나의 서브 화상이 수신되자마자 모자이크 화면이 생성되기 시작한다.
특히, 서브 화상은 장치의 기록 시간, 재생 시간 또는 유휴 시간 중에 생성될 수 있다. 따라서, 장치는 기록 또는 재생 동안 서브 화상을 생성하는 기능을 가질 수 있지만, 이는 계산을 요구하기 때문에 장치가 유휴 상태일 때 기록된 비디오 신호를 액세스해서 서브 화상을 생성하는 기능을 가질 수 있다. 이는 계산 소스 요구를 감소시키고, 같은 자원이 디코딩 동안의 압축, 재생하는 동안의 압축 해제 및 유휴 시간 동안의 서브 화상의 생성을 위해 사용될 수 있다.
바람직한 실시예에서, 모자이크 화면 컨트롤러(109)는 서브 화상 사이의 시간 간격이 일정하도록 일정 간격을 두고 서브 화상을 생성한다. 이는 본 발명의 사상 범위 내에 있으며, 적절한 알고리즘 또는 방식에 따라서 분산된 시간에 생성될 수도 있다. 특히 모자이크 화면 컨트롤러는 비디오 신호가 장면 전환을 포함할 때 새로운 서브 화상의 생성을 유발할 수 있다.
모자이크 화면을 생성하기에 충분한 서브 화상이 생성되면, 처리는 단계(205)에서 서브 화상을 포함하는 비디오 신호를 생성함으로써 계속한다. 바람직한 실시예에서, 모자이크 화면 생성기(107)는 서브 화상의 모자이크 장면을 포함하는 비디오 신호를 생성한다.
도 3은 모자이크 화면(301)의 예이다.
모자이크 화면(301)은 Hm의 픽셀 높이와 Wm의 픽셀 폭을 가지고 있다. 바람 직한 실시예에서, Hm은 320픽셀이고, Wm은 384픽셀이다. 바람직한 실시예에서, 모자이크 화면(301)은 16개의 서브 화상(303)을 포함한다. 매크로 블록 크기에 의해서 정수로 나누어진 임의의 수의 서브 화상에 사용되어서 모자이크 화면을 생성할 수 있다. 각각의 서브 화상은 Hsp 픽셀의 높이 및 Wsp 픽셀의 폭을 갖고 있다. 바람직한 실시예에서, Hsp는 80픽셀이고, Wsp는 96픽셀이다. 따라서, 모자이크 화면은 서브 화소의 픽셀을 모자이크 화면에서 인접한 서브 화상의 화소에 인접해서 위치시킴으로써 간단하게 만들어진다. 바람직한 실시예예서, 모자이크 화면 및 서브 화상은 메모리에 데이터 값으로 저장되고, 모자이크 화면의 생성은 각각의 서브 화상에 대한 데이터 값을 모자이크 화상의 적절한 메모리 위치로 이동시킴으로써 수행된다.
모자이크 화면을 포함하는 비디오 신호가 단계(205)에서 생성되면, 방법은 단계(207, 209)에서 계속되어서 비디오 신호를 압축한다. 바람직한 실시예에서, 사용되는 압축 방식은 MPEG-2이고, 따라서 원래의 비디오 신호에 사용되었던 모자이크 화면 압축 방식과 같은 압축 방식이 사용된다. 압축은 모자이크 화면 생성기(107)로부터의 모자이크 화면을 포함하는 화상을 수신하는 비디오 압축기(111)에서 수행된다. 바람직한 실시예에서, 모자이크 화면은 포인터에 의해서 메모리 내의 모자이크 화면의 위치로 전송된다.
단계(207)에서, 비디오 신호의 적어도 하나의 제 1 프레임은 각각의 화상 블록이 오직 하나의 서브 화상과 연관된 비디오 데이터를 포함하도록 복수의 압축되지 않은 화상 블록으로 분할된다. 따라서, 바람직한 실시예에서, 화상은 MPEG-2 압축 방식에 적절한 16×16 픽셀의 수의 매크로 블록으로 분할된다. 이 분할은 각각의 매크로 블록인 전체적으로 하나의 서브 화상 내에 있고, 서브 화상의 경계가 매크로 블록의 경계와 정렬되도록 이루어진다. 따라서, 96×80 픽셀의 서브 화상 각각은 가로 6 및 세로 5로 배열된 30개의 매크로 블록으로 분할된다. 결과적으로, 서브 화상에 대한 어떤 직접적인 조작은 어떤 다른 서브 화상에도 영향을 미치지 않고, 그 서브 화상의 매크로 블록에만 영향을 미칠 것이다. 바람직한 실시예에서, 서브 화상의 경계는 매크로 블록의 에지와 일치하지만, 다른 실시예에서 서브 화상은 매크로 블록의 경계 내에 포함되지만 에지 정렬은 없을 것이다. 이 경우, 나머지 화소는 모자이크 화면의 개개의 서브 화상을 나누는 경계를 포함할 수 있다.
단계(209)에서, 압축 비디오 신호는 비디오 블록 압축 방식에 의해 생성되어서 압축되지 않은 화상 블록으로부터 압축 화상 블록을 생성한다. 따라서, 바람직한 실시예에서, MPEG-2가 블록 압축 방식으로 사용되고, 모자이크 화면은 단계(207)에서 수행되는 매크로 블록으로의 분할에 기초해서 MPEG-2 압축 알고리즘을 사용해서 압축된다. MPEG-2를 사용하는 블록 압축은 이미 알려져 있으므로, 설명을 줄이기 위해서 더 이상 설명되지 않을 것이다.
압축 비디오 신호는 비디오 조정 프로세서(113)에 전송되고, 이는 예컨대 스클롤링, 시프팅, 서브 화상 선택, 서브 화상 대체 등을 포함한, 압축 모자이크 화면에 대한 다양한 조작을 수행할 수 있다. 비디오 조정 프로세서(112)는 모자이크 조정 프로세서(113)에 접속되고, 이를 통해서 사용자 인터페이스가 사용자 입력으로부터 비디오 조정 프로세서(113)를 제어할 수 있다.
후속하는 압축 단계(209)에서, 바람직한 실시예에 따른 방법은 단계(211)로 넘어가고, 여기서 압축 비디오 신호의 적어도 하나의 제 2 서브 화상은 압축 화상 블록의 압축 비디오 데이터를 수정하지 않고, 제 1 서브 화상과 연관된 압축 화상 블록과 제어 데이터의 연관성을 조정함으로써 조정된다.
다음 압축 단계에서, 각각의 압축되지 않은 화상 블록은 압축 화상 블록으로 압축되고, 따라서 각각의 압축 화상 블록은 하나의 서브 화상과 연관된 비디오 데이터만을 포함하는 특성을 유지한다. 따라서, 서브 화상은 매크로 블록의 압축 비디오 데이터에 대한 어떤 수정없이 압축 화상 블록(매크로 블록)의 제어 데이터를 조정함으로써 모자이크 화면 내에서 조정될 수 있다.
비디오 신호는 압축 화상 블록과 결합된 제어 데이터를 포함한다. 이 제어 데이터는 다양한 정보 데이터를 포함하며, 이는 전형적으로 모자이크 화면 내의 압축 화상 블록의 위치와 관련된 정보를 포함한다. 따라서, 서브 화상은 서브 화상의 압축 화상 블록과 결합된 제어 데이터의 위치 정보를 변화시킴으로써 모자이크 화상 내에서 이동될 수 있다. MPEG-2 압축 방식의 바람직한 실시예에서, 제어 데이터는 특히 그 슬라이스 헤더에 수직 위치를 나타내는 슬라이스 번호를 포함하고 있으며, 매크로 블록에 수평 위치를 나타내는 매크로 블록 제어 데이터를 포함한다. 따라서 제어 데이터는 압축 화상 블록의 제어 데이터 부분(화상 데이터가 아닌 제어 데이터를 가진 데이터 블록)이 될 수 있다. 다른 방안으로, 압축 화상 블록은 MPEG-2 매크로 블록의 화상 데이터 부분에만 상응하는 것으로 생각될 수 있다. 따라서, MPEG-2 매크로 블록의 제어 데이터는 압축 화상 블록에 속하지 않는 것으로 생각될 수 있다.
일 실시예에 따라서, 제 1 서브 화상의 조정 과정은 제 1 서브 화상의 압축 화상 블록을 제어 데이터를 변화시키지 않고, 다른 화상의 화상 블록과 대체하는 단계를 포함한다. 결과적으로, 제 1 서브 화상은 압축 해제 또는 압축을 요구하는 일 없이, 매크로 블록 전체 또는 매크로 블록의 화상 데이터 부분을 대체함으로써 제 2 서브 화상에 의해서 간단하게 모자이크 화상에서 대체된다. 사실상, 간단한 분석이 사용되어서 제 1 및 제 2 블록의 매크로 블록을 식별할 수 있다. 제어 데이터는 자체가 변하는 것이 아니라 제어 데이터와 결합된 블록의 데이터 컨텐츠가 제 1 서브 화상의 데이터로부터 제 2 서브 화상의 데이터로 변하는 것이다. 이는 특히 비디오 신호 프로토콜이 압축 화상 블록이 화상 내의 위치에 따라서 비디오 신호 내에서 나열되는 프로토콜인 경우에, 그리고 제어 데이터와 결합된 압축 화상 블록이 후속할 때 유익하다.
본 발명의 다른 실시예에서, 서브 화상 제조 단계는 제 2 서브 화상의 제어 데이터를 제 1 서브 화상의 압축 화상 블록과 연관시키는 단계를 포함한다. 이 실시예에서, 모자이크 화면 내의 서브 화상의 수평 변경은 그 관계가 제 1 화상의 매크로 블록에서 제 2 화상의 매크로 블록으로 변화되는 방식으로 제어 데이터 내의 데이터를 변경함으로써 수행될 수 있다. 이는 특히 압축 화상 블록이 화상 내의 위치에 따라서 비디오 신호 내에서 나열되지 않고, 그 위치가 결합된 제어 데이터 내의 위치 정보에 의해서 결정되는 실시예에서 유익하다.
MPEG-2 압축이 사용되는 바람직한 실시예에서, 압축 비디오 신호는 각각이 슬라이스 헤더를 포함하는 복수의 슬라이스 및 다수의 연속의 압축 화상 블록을 포함하고 있다. 이로써 서브 화상의 조작이 슬라이스 상에서 수행될 수 있게 되며, 특히 슬라이스 헤더에 포함된 제어 데이터에 의해 수행된다.
슬라이스를 사용한 다양한 서브 화상 인코딩 방법이 사용될 수 있으며, 이 슬라이스는 각각 하나의 압축 화상 블록, 서브 화상의 폭에 상응하는 다수의 압축 화상 블록 또는 전체 화상의 폭에 상응하는 다수의 압축 화상 블록을 포함하고 있다.
도 4 내지 도 6은 서로 다른 크기의 슬라이스로 이루어진 서브 화상을 포함하는 모자이크 화면을 도시하고 있다. 이하 도면은 특히 MPEG-2 압축 포맷을 참조로 설명될 것이지만, 여기서 압축 화상 블록의 위치 데이터는 슬라이스 헤더(수직 위치)에 포함되고, 제 1 매크로 블록의 제어 데이터는 슬라이스 헤더에 바로 후속한다(수평 위치). 압축 화상 블록은 이하 매크로 블록의 화상 데이터 컨텐츠로 간주될 것이며, 제어 데이터는 슬라이스 헤더의 제어 데이터 및/또는 매크로 블록 및 각각의 슬라이스의 제 1 매크로 블록에 포함된 제어 데이터로 간주될 것이다.
도 4는 미니 슬라이스로 이루어진 서브 화상을 포함하는 모자이크 화면을 도시하고 있으며, 여기서 슬라이스의 폭은 서브 화상의 폭과 같은, 즉 바람직한 실시예에서, 96픽셀이다. 슬라이스의 높이는 16픽셀이고, 따라서 서브 화상은 5개의 슬라이스로 이루어진다. 이 실시예에서, 서브 화상은 어떤 압축 화상 데이터도 변경하는 일 없이, 현재의 모자이크 화면으로부터 필터링되고, 서브 화상 데이터 베 이스로부터 검색되거나, 미니 슬라이스 및 매크로 블록의 제어 데이터에 대한 조작에 의해 다른 위치로 간단하게 위치 변경될 수 있다. 예컨대, 슬라이스 헤더의 제어 데이터 및 제 1 매크로 블록과 압축 화상 블록(매크로 블록의 화상 데이터가 포함하고 있는)의 연관성을 변경함으로써, 압축 화상 블록의 위치는 모자이크 화상 내에서 변화될 수 있다. 연관성의 변화는 슬라이스 헤더 데이터, 수직 시프트 및/또는 매크로 블록의 수평 시프트 정보의 제어 데이터를 변경함으로써 이루어질 수 있다. 다른 방안으로 혹은 이에 더해서 연관성의 변화는 매크로 블록 및 후속하는 슬라이스 헤더가 변경되도록 신호 내의 매크로 블록을 조정함으로써 관리될 수 있다.
MPEG-2에서, 수직 정보를 포함하는 슬라이스 헤더에 수평 정보를 포함하는 매크로 블록이 후속한다. 후속하는 매크로 블록은 절대적인 수평 정보를 포함하고 있지 않으며, 따라서 제 2 및 후속하는 매크로 블록이 슬라이스 헤더의 제어 데이터 및 제 2 매크로 블록이 변화되는 일 없이 화상 내에서 이동될 수 있다. 따라서, 슬라이스 헤더 및 제 1 매크로 블록이 다양한 압축 화상 블록이 놓이는 틀(template)로 보일 수 있다. 도 4-6에서, 화살표는 슬라이스 헤더의 위치를 나타낸다. 이와 같이, 도 4는 모자이크 화면의 틀로서 도시될 수 있으며, 이는 적절한 압축 화상 블록으로 채워질 수 있다.
다른 실시예에서, 서브 화상은 예컨대 슬라이스 헤더, 매크로 블록 또는 슬라이스 헤더와 매크로 블록의 제어 데이터 모두에 대한 조작을 수행하는 것만으로 조정될 수 있다. 다른 방안으로 혹은 이에 더해서, 각각의 슬라이스의 제 1 매크 로 블록의 슬라이스 헤더 및 수평 정보 제어 데이터로 이루어진 틀 내의 매크로 블록의 조작에 의해 이루어질 수 있다.
도 4는 모자이크 화면의 수평 이동의 예를 도시하고 있다. 이 실시예에서, 제 1 서브 화상의 위치는 매크로 블록의 헤더 또는 슬라이스 헤더에 바로 후속하는 제어 데이터를 수정하는 일 없이, 슬라이스의 화상 블록을 후속하는 슬라이스의 압축 화상 블록으로 대체함으로써 조정된다. 따라서, 하나의 슬라이스의 매크로 블록의 화상 데이터는 후속하는 슬라이스의 매크로 블록의 화상 데이터로 대체된다. 따라서, 슬라이스(401) 내에서 압축 화상 블록은 슬라이스(403)로 이동되고, 슬라이스의 제어 데이터는 그대로 유지되는, 즉 슬라이스(401, 403)의 제 1 매크로 블록의 슬라이스 헤더 및 제어 데이터는 변하지 않는다. 유사하게 슬라이스(403)의 압축 화상 블록은 슬라이스(405)로 이동되고, 슬라이스(405)의 압축 화상 블록은 슬라이스(407)로 이동되는 등이다. 슬라이스(407)의 압축 화상 블록은 슬라이스(409)로 이동된다. 새로운 압축 화상 블록은 슬라이스(401)에 추가된다. 일 실시예에서, 새로운 압축 화상 블록은 블랙 이미지에 간단하게 상응한다. 다른 실시예에서, 슬라이스(401)에 삽입된 새로운 압축 화상 블록은 새로운 서브 화상을 제공할 수 있다. 또 다른 실시예에서, 슬라이스(407)의 화상 데이터는 슬라이스(409)로 이동하지 않고, 슬라이스(401)로 이동해서 수평 회전한다.
위의 단락의 실시예에서, 화면 우측의 서브 화상이 모자이크 화면의 좌측으로 이동하지만, 한 슬라이스 레벨 아래이다(또는 슬라이스(407)의 압축 화상 블록이 슬라이스(401) 등으로 이동하는 경우에는 같은 슬라이스 레벨이다). 전형적인 바람직한 실시예에서, 모자이크 화면의 우측의 서브 화상은 모자이크 화면의 좌측의 다음의 더 낮은 서브 화상의 위치로 이동된다. 이 실시예에서, 모자이크 화면의 우측의 서브 화상으로부터의 슬라이스는 좌측 서브 화상의 슬라이스로 이동되고, 이는 존재하는 서브 화상의 수직 슬라이스 레벨만큼의 아래의 슬라이스 레벨로 이동한다. 따라서, 각각의 서브 화상이 5개의 슬라이스를 포함하는 실시예에서, 압축 슬라이스(407)의 화상 블록은 슬라이스(401)의 5 레벨 아래로 이동한다.
도 5는 화상의 폭과 같은 폭을 가진 슬라이스의 실시예를 도시하고 있다. 스크롤링 조작은 슬라이스(501)의 압축 화상 블록이 다음 라인의 슬라이스(503)로 이동하는 등으로 수행된다. 이 실시예에서, 매크로 블록의 수평 위치는 변하지 않고, 수직 위치만 변한다. 따라서, 매크로 블록의 제어 데이터가 수평 위치 데이터와 같은 경우에, 매크로 블록의 제어 데이터는 매크로 블록의 화상 데이터와 함께 이동될 수 있다. 따라서, 이 실시예에서 압축 화상 블록은 MPEG-2 압축 방식의 매크로 블록과 동일하다. 이 경우, 전체 모자이크 화면은 복잡하지 않게 스크롤 다운(또는 업)된다. 이 실시예는 슬라이스 헤더의 수정은 필요로 하지만, 매크로 블록의 제어 데이터의 수정은 필요로 하지 않는다. 그러나, 모자이크 화면의 조정은 수직 방향만으로 제한되며, 이는 바람직한 실시예의 슬라이스 헤더가 수직 위치 정보만을 포함하기 때문이다.
도 6은 각각의 슬라이스가 하나의 압축 화상 블록만을 포함하는 실시예를 도시하고 있다. 이동 조작은 압축 화상 블록(즉 매크로 블록의 화상 데이터)을 슬라이스(601)로부터 슬라이스(603)로, 슬라이스(603)로부터 슬라이스(605) 등으로 이 동시키고, 반면에 슬라이스 헤더 및 매크로 블록의 제어 데이터를 유지함으로써 달성된다. 단 하나의 압축 화상 블록의 슬라이스 크기가 요구되기 때문에, 융통성이 증가하며, 이는 매우 작은 화상 블록에 대해서 조작이 행해질 수는 있지만, 더 많은 슬라이스 헤더와 제어 데이터가 조정되어야 하기 때문에 더 복잡해진다. 도 4의 예와 유사하게, 우측 슬라이스의 압축 화상 블록은 좌측 슬라이스로 5 레벨 아래로 이동하는 것이 바람직하다.
서브 화상에 대한 다른 많은 조작이 슬라이스 헤더의 조작에 기초해서 행해질 수 있다. 일 실시예에서, 슬라이스 헤더는 슬라이스 번호를 포함하고, 적어도 하나의 제 1 서브 화상의 조작 과정은 제 1 서브 화상의 압축 화상 블록을 포함하는 슬라이스의 슬라이스 번호를 수정함으로써 제 1 서브 화상의 위치를 조정하는 것을 포함한다. 이는 특히 수직 방향으로 서브 화상을 이동시키는 기능을 제공한다.
본 발명의 일 실시예에 따라서, 제어 데이터는 식별 데이터를 포함하고, 이 방법은 압축 비디오 신호를 조사해서 제 1 서브 화상에 상응하는 식별 데이터를 검출함으로써 제 1 서브 화상의 압축 데이터 블록을 선택하는 단계를 포함한다. 따라서, 서브 화상을 현재의 압축 모자이크 화면으로부터 필터링하는 것은 복잡하지 않은 방법에 의해 달성될 수 있다. 이 경우, 비디오 신호는 선택될 서브 화상에 상응하는 정보를 식별하기 위해 간단하게 조사된다. 특히, 매크로 블록의 슬라이스 헤더 및/또는 제어 데이터가 조사되어서, 상응하는 식별 정보를 가진 슬라이스의 압축 화상 블록이 추출된다.
유사하게, 복잡하지 않은 방법에 의해서 새로운 모자이크 화면이 생성될 수 있다. 도 3의 예에서, 서브 화상(2)을 서브 화상(6)과 대체하는 것은 상응하는 슬라이스의 슬라이스 헤더 내의 슬라이스 번호를 간단히 대체시킴으로써 수행될 수 있다. 이 번호는 비디오 신호를 조사함으로써 쉽게 식별될 수 있는 나열된 8비트 수의 1 바이트이다.
또한, 복잡하고 자원이 많이 요구되는 서브 화상의 생성은 한번에 수행되어야 하며, 생성된 서브 화상은 위에 설명된 바와 같은 필터링에 의해 다양한 목적으로 재사용될 수 있다.
일 실시예에 따라서, 제어 정보를 수정하는 일 없이 압축된 화상 블록을 미리 정한 압축 화상 블록으로 대체하는 단계를 포함하며, 여기서 미리 정한 화상은 압축 비디오 신호에 삽입될 수 있다. 따라서, 마커, 아이콘, 커서 등과 같은 합성 매크로 블록을 용이하게 삽입할 수 있다. 예컨대, 마커 또는 다른 폰트의 텍스트에 상응하는 화상이 생성될 수 있으며, MPEG-2 압축을 사용해서 압축될 수 있다. 최종 압축 화상 블록은 메모리에 저장되고, 이후에 검색될 수 있으며, 비디오 신호의 적절한 압축 화상 블록을 저장된 것으로 직접 대체함으로써 모자이크 화면에 삽입될 수 있다. 따라서, 사전결정된 서브 화상은 모자이크 화면에 용이하게 삽입될 수 있다.
도 7은 본 발명의 유익한 실시예를 도시하고 있으며, 다른 모자이크 화면(701)은 모자이크 화면(301)을 참조로 예측적으로 코딩되며, 이는 앵커 화상으로서 사용된다. 모자이크 화면(301)은 I 화상 또는 P 화상으로서 인코딩될 수 있다. 많은 애플리케이션에서, 다른 모자이크 화상(701)의 주어진 서브 화상은 주어진 서브 화상의 모든 블록 모션 벡터를 모자이크 화면(701)과 기준 화면(301) 사이의 관련된 서브 화상 변위와 같은 값으로 설정함으로써 효율적으로 코딩된다. 관련된 서브 화상 변위는 사용자의 제어하에서 결정될 수 있으며, 혹은 송신기 측의 모자이크 생성 처리에서 결정될 수 있다. 두 경우 모두, 모션 예측 및 블록 매칭은 필요없으며, 이는 서브 화상 변위가 코더 밖에 설정되기 때문이다. 필요한 하나 이상의 서브 화상의 이동이 예컨대 마우스 또는 조이스틱에 의해서 사용자로부터 획득될 수 있다. 이러한 필요한 이동은 상응하는 블록의 모션 벡터에 대해서 직접적으로 또는 간접적으로 매핑될 수 있다. 예컨대, 도 7은 스크롤링 조작을 도시한다. 화면(701)에서, 모든 서브 화상(5,...,16)은 서브 화상의 높이에 상응하는 거리만큼 위로 이동된다. 새로운 서브 화상(17,...,20)은 화면(701)의 바닥에 추가된다. 서브 화상의 블록의 모든 모션 벡터는 서브 화상의 변위와 같게 설정되며, 이 경우 모든 서브 화상에 대해 동일하다. 예컨대 서브 화상(5)의 블록의 모든 모션 벡터는 모자이크 화면(301)의 서브 화상(5)을 기존으로 모자이크 화면(701)의 서브 화상(5)의 변위 mv5와 동일하다. 수행되는 조작에 따라서, 다수의 서브 화상이 이런 식으로 인코딩될 수 있다. 모자이크 화면(301)에서 상응하는 서브 화상을 이용할 수 없는 서브 화상(17,...,20)은 예컨대 인트라 코딩된 매크로 블록의 형태로 내부 코딩(intra coded)된다. 서브 화상(17,..., 20)의 블록과 모자이크 화면(301)의 블록 사이에 어떤 상관 관계가 있다면, 서브 화상(17,...,20)의 블록은 모자이크 화면(301) 내의 블록을 기준으로 예상해서 미리 코딩될 수 있다.
위의 설명을 간단하고 분명하게 하기 위해서 모자이크 화면에 초점을 맞췄지만, 본 발명이 서브 화상을 가진 다른 화면, 이미지, 또는 화상에 동일하게 적용될 수 있다는 것이 자명할 것이다.
본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합을 포함하는 어떤 적절한 형태로 구현될 수 있다. 그러나, 바람직하게는 본 발명은 하나 이상의 데이터 프로세서에서 구동되는 소프트웨어 프로그램으로서 구현된다. 기능부, 소자 및 구성 요소가 하나의 장치, 또는 복수의 장치 또는 다른 기능 유닛의 일부로 구현될 수 있다.
본 발명이 바람직한 실시예와 관련해서 설명되었지만, 여기 설명된 특정 형태에 한정되는 것은 아니다. 오히려 본 발명의 범주는 첨부된 청구항에 의해서만 한정된다.

Claims (17)

  1. 압축 비디오 신호의 서브 화상(sub-pictures)을 조정하는 방법으로서,
    복수의 서브 화상을 포함하는 비디오 신호를 생성하는 단계와,
    상기 비디오 신호의 적어도 제 1 프레임을 복수의 압축되지 않은 화상 블록들로 분할하되, 상기 압축되지 않은 화상 블록 각각이 오직 하나의 서브 화상과 관련된 비디오 데이터를 포함하도록 분할하는 단계와,
    상기 압축되지 않은 화상 블록들로부터 압축 화상 블록들을 생성하도록 비디오 블록 기반 압축 방식을 사용하여 압축된 비디오 신호를 생성하는 단계와,
    상기 압축 비디오 신호의 적어도 제 1 서브 화상을 조정하되, 압축 화상 블록의 압축 비디오 데이터를 수정하지 않고 상기 제 1 서브 화상과 관련된 압축 화상 블록과 제어 데이터의 연관(association)을 조정함으로써, 상기 압축 비디오 신호의 상기 적어도 제 1 서브 화상을 조정하는 단계를 포함하며,
    상기 적어도 제 1 서브 화상을 조정하는 단계는, 상기 제어 데이터를 변화시키지 않고 상기 제 1 서브 화상의 압축 화상 블록들을 다른 화상의 압축 화상 블록들로 대체하는 단계를 포함하는
    서브 화상 조정 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 적어도 제 1 서브 화상을 조정하는 단계는, 제 2 서브 화상의 제어 데이터를 상기 제 1 서브 화상의 상기 압축 화상 블록과 연관시키는 단계를 포함하는
    서브 화상 조정 방법.
  4. 제 1 항에 있어서,
    상기 제어 데이터는 연관된 서브 화상의 위치와 관련된 정보를 포함하는
    서브 화상 조정 방법.
  5. 제 1 항에 있어서,
    상기 제어 데이터는 식별 데이터를 포함하고,
    상기 서브 화상 조정 방법은, 상기 제 1 서브 화상에 상응하는 식별 데이터를 검출하기 위해 상기 압축 비디오 신호를 파싱(parsing)하여 상기 제 1 서브 화상의 압축 데이터 블록을 선택하는 단계를 더 포함하는
    서브 화상 조정 방법.
  6. 제 1 항에 있어서,
    상기 압축 비디오 신호는 복수의 슬라이스를 포함하며,
    각각의 상기 슬라이스는 슬라이스 헤더 및 다수의 연속된 압축 화상 블록을 포함하는
    서브 화상 조정 방법.
  7. 제 6 항에 있어서,
    각각의 상기 슬라이스는 하나의 압축 화상 블록을 포함하는
    서브 화상 조정 방법.
  8. 제 6 항에 있어서,
    각각의 상기 슬라이스는 서브 화상의 폭에 상응하는 다수의 압축 화상 블록을 포함하는
    서브 화상 조정 방법.
  9. 제 6 항에 있어서,
    각각의 상기 슬라이스는 화상의 폭에 상응하는 복수의 압축 화상 블록을 포함하는
    서브 화상 조정 방법.
  10. 제 6 항에 있어서,
    상기 적어도 제 1 서브 화상을 조정하는 단계는, 한 슬라이스의 압축 화상 블록을 다른 슬라이스의 압축 화상 블록으로 대체하고 상기 제어 데이터를 수정하여 쉬프팅 조작(shifting operation)을 수행함으로써, 상기 제 1 서브 화상의 위치를 조정하는 단계를 포함하는
    서브 화상 조정 방법.
  11. 제 6 항에 있어서,
    상기 적어도 제 1 서브 화상을 조정하는 단계는 상기 제어 데이터를 수정하여 쉬프팅 조작을 수행함으로써 상기 제 1 서브 화상의 위치를 조정하는 단계를 포함하는
    서브 화상 조정 방법.
  12. 제 6 항에 있어서,
    상기 슬라이스 헤더는 슬라이스 번호를 포함하고,
    상기 적어도 제 1 서브 화상을 조정하는 단계는 상기 제 1 서브 화상의 압축 화상 블록을 포함하는 슬라이스에 대한 슬라이스 번호를 수정함으로써 상기 제 1 서브 화상의 수직 위치를 조정하는 단계를 포함하는
    서브 화상 조정 방법.
  13. 제 1 항에 있어서,
    상기 적어도 제 1 서브 화상을 조정하는 단계는, 사전결정된 서브 화상이 상기 압축 비디오 신호에 삽입될 수 있도록, 상기 제어 데이터를 수정하지 않고 압축 화상 블록을 사전결정된 압축 화상 블록으로 대체하는 단계를 더 포함하는
    서브 화상 조정 방법.
  14. 제 1 항에 있어서,
    주어진 서브 화상은 예측적으로(predictively) 코딩되고,
    상기 주어진 서브 화상 내의 복수의 화상 블록과 연관된 모든 블록 모션 벡터는 화상과 기준 화상 사이에서의 상기 주어진 서브 화상의 변위에 의존하는 동일한 값으로 설정되는
    서브 화상 조정 방법.
  15. 제 14 항에 있어서,
    상기 서브 화상의 변위는 사용자가 제어할 수 있는
    서브 화상 조정 방법.
  16. 제 1 항 또는 제 3 항 내지 제 15 항 중 어느 한 항에 따른 방법을 수행할 수 있는 컴퓨터 프로그램을 포함하는 컴퓨터 판독가능 저장 매체.
  17. 압축 비디오 신호의 서브 화상을 조정하는 장치로서,
    복수의 서브 화상을 포함하는 압축 비디오 신호를 수신하는 수단 - 상기 압축 비디오 신호의 적어도 제 1 프레임은 오직 하나의 서브 화상과 관련된 비디오 데이터를 포함하는 압축되지 않은 화상 블록의 비디오 블록 압축에 의해서 압축 화상 블록으로 분할됨 - 과,
    상기 압축 비디오 신호의 적어도 제 1 서브 화상을 조정하되, 압축 화상 블록의 압축 비디오 데이터를 수정하지 않고 상기 제 1 서브 화상과 관련된 압축 화상 블록과 제어 데이터와의 연관을 조정함으로써, 상기 압축 비디오 신호의 상기 적어도 제 1 서브 화상을 조정하는 수단을 포함하며,
    상기 적어도 제 1 서브 화상을 조정하는 수단은, 상기 제어 데이터를 변화시키지 않고 상기 제 1 서브 화상의 압축 화상 블록들을 다른 화상의 압축 화상 블록들로 대체하는 수단을 포함하는
    서브 화상 조정 장치.
KR1020057006801A 2002-10-21 2003-09-19 서브 화상 조정 방법과 이를 수행할 수 있는 컴퓨터 프로그램을 포함하는 컴퓨터 판독 가능 저장 매체 및 서브 화상 조정 장치 KR100981456B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02079359.2 2002-10-21
EP02079359 2002-10-21

Publications (2)

Publication Number Publication Date
KR20050065611A KR20050065611A (ko) 2005-06-29
KR100981456B1 true KR100981456B1 (ko) 2010-09-10

Family

ID=32103970

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057006801A KR100981456B1 (ko) 2002-10-21 2003-09-19 서브 화상 조정 방법과 이를 수행할 수 있는 컴퓨터 프로그램을 포함하는 컴퓨터 판독 가능 저장 매체 및 서브 화상 조정 장치

Country Status (7)

Country Link
US (3) US9462295B2 (ko)
EP (1) EP1557044A1 (ko)
JP (1) JP4633464B2 (ko)
KR (1) KR100981456B1 (ko)
CN (1) CN100591126C (ko)
AU (1) AU2003263503A1 (ko)
WO (1) WO2004036917A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2872988B1 (fr) * 2004-07-12 2006-10-27 Canon Kk Procede et dispositif de creation d'un flux video formant une mosaique genere a partir d'une pluralite de flux video
JP4734887B2 (ja) * 2004-10-15 2011-07-27 株式会社日立製作所 映像符号化システム、方法及び機器
KR100703529B1 (ko) * 2005-05-26 2007-04-03 삼성전자주식회사 디지털 멀티미디어 방송을 위한 다채널 영상 수신 장치 및방법
US8069466B2 (en) * 2005-08-04 2011-11-29 Nds Limited Advanced digital TV system
JP5136345B2 (ja) * 2008-10-08 2013-02-06 富士通モバイルコミュニケーションズ株式会社 電子機器
CN102843142B (zh) * 2011-06-23 2013-07-31 深圳市国微电子有限公司 可编程逻辑器件配置数据流压缩、解压缩处理方法及系统
US9838686B2 (en) * 2013-07-12 2017-12-05 Intel Corporation Techniques for inclusion of thumbnail images in compressed video data
US10299007B2 (en) 2016-06-02 2019-05-21 John Senew Apparatus and method for displaying video
CN110568983B (zh) * 2019-07-16 2022-08-12 西安万像电子科技有限公司 图像处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5633683A (en) 1994-04-15 1997-05-27 U.S. Philips Corporation Arrangement and method for transmitting and receiving mosaic video signals including sub-pictures for easy selection of a program to be viewed
JPH09214970A (ja) * 1996-02-08 1997-08-15 Nec Corp 画像符号変換方式
US5822014A (en) 1993-12-01 1998-10-13 Thomas Multimedia S.A. Programmes in a digital video receiver system

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226327B1 (en) * 1992-06-29 2001-05-01 Sony Corporation Video coding method and apparatus which select between frame-based and field-based predictive modes
US5694173A (en) * 1993-12-29 1997-12-02 Kabushiki Kaisha Toshiba Video data arranging method and video data encoding/decoding apparatus
US5828421A (en) 1994-10-11 1998-10-27 Hitachi America, Ltd. Implementation efficient digital picture-in-picture decoding methods and apparatus
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
JP2798035B2 (ja) * 1996-01-17 1998-09-17 日本電気株式会社 適応動きベクトル補間による動き補償フレーム間予測方法
US6141053A (en) * 1997-01-03 2000-10-31 Saukkonen; Jukka I. Method of optimizing bandwidth for transmitting compressed video data streams
JPH10210465A (ja) * 1997-01-23 1998-08-07 Hitachi Ltd 符号列編集装置、画像符号化信号復号化装置、および、動画符号化信号復号化装置
US5847703A (en) 1997-07-03 1998-12-08 Vsoft Ltd. Browsing system method and apparatus for video motion pictures
EP0987897A3 (en) 1998-08-25 2005-07-13 Matsushita Electric Industrial Co., Ltd. Moving picture synthesizing device
US6377713B1 (en) 1999-01-27 2002-04-23 General Instrument Corporation Synchronous DRAM bandwidth optimization for display downsizing of an MPEG-2 image
US6236395B1 (en) * 1999-02-01 2001-05-22 Sharp Laboratories Of America, Inc. Audiovisual information management system
FI106421B (fi) 1999-03-11 2001-01-31 Nokia Multimedia Network Termi Menetelmä ja järjestely videokuvien yhdistämiseksi
JP4058578B2 (ja) 1999-04-15 2008-03-12 ソニー株式会社 符号化装置及び符号化方法
US6931660B1 (en) * 2000-01-28 2005-08-16 Opentv, Inc. Interactive television system and method for simultaneous transmission and rendering of multiple MPEG-encoded video streams
JP5443791B2 (ja) 2009-03-11 2014-03-19 東京エレクトロン株式会社 荷重検出センサおよび荷重検出センサの製造方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822014A (en) 1993-12-01 1998-10-13 Thomas Multimedia S.A. Programmes in a digital video receiver system
US5633683A (en) 1994-04-15 1997-05-27 U.S. Philips Corporation Arrangement and method for transmitting and receiving mosaic video signals including sub-pictures for easy selection of a program to be viewed
JPH09214970A (ja) * 1996-02-08 1997-08-15 Nec Corp 画像符号変換方式

Also Published As

Publication number Publication date
US20170272777A1 (en) 2017-09-21
CN1689336A (zh) 2005-10-26
US20060050790A1 (en) 2006-03-09
EP1557044A1 (en) 2005-07-27
US9699477B2 (en) 2017-07-04
CN100591126C (zh) 2010-02-17
JP4633464B2 (ja) 2011-02-16
AU2003263503A1 (en) 2004-05-04
KR20050065611A (ko) 2005-06-29
JP2006504298A (ja) 2006-02-02
US20160337664A1 (en) 2016-11-17
WO2004036917A1 (en) 2004-04-29
US9462295B2 (en) 2016-10-04

Similar Documents

Publication Publication Date Title
US9699477B2 (en) Manipulating sub-pictures of a compressed video signal
US10313417B2 (en) Methods and systems for auto-zoom based adaptive video streaming
JP4261630B2 (ja) 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体
US7072512B2 (en) Segmentation of digital video and images into continuous tone and palettized regions
US7362804B2 (en) Graphical symbols for H.264 bitstream syntax elements
KR100440953B1 (ko) 영상 압축 비트 스트림의 트랜스코딩 방법
Quang Minh Khiem et al. Supporting zoomable video streams with dynamic region-of-interest cropping
US20090110076A1 (en) Method and System for Optical Flow Based Motion Vector Estimation for Picture Rate Up-Conversion
JPH08251583A (ja) 画像符号化装置及び画像復号装置
KR20020064771A (ko) 엔코딩된 화상의 영역을 변경하기 위한 회로 및 방법
KR20190043469A (ko) 보조 프레임을 지원하는 비디오 코딩 포맷으로 비디오 스트림을 인코딩하기 위한 방법 및 인코더
KR20010072074A (ko) 비디오 신호의 인코딩
KR20020042822A (ko) 엔코딩된 비디오 화상 각각을 각자의 영역으로 포멧하는회로 및 방법
US6973131B2 (en) Decoding apparatus, decoding method, decoding processing program and computer-readable storage medium having decoding processing program codes stored therein
KR20240050413A (ko) 비디오 처리를 위한 방법, 장치 및 매체
US20050105811A1 (en) Processing images
JPH09261530A (ja) 映像記録装置
JPH10145788A (ja) 映像再生装置
KR102459813B1 (ko) 영상스위칭 기반의 주기적 화질보정 영상처리 방법
JP3062166B2 (ja) 画像記録装置
KR19980054366A (ko) 디지탈 티브이의 피아이피(pip)구현장치 및 그 방법
JPH04290088A (ja) テレビ電話
CN117242773A (zh) 用于频率相关系数符号编码的系统和方法
CN117280686A (zh) 用于分区相关的二次变换的系统和方法
JP2007049520A (ja) 画像信号の高能率符号化装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130823

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140821

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee