KR100941388B1 - 비디오 신호 발생 방법 - Google Patents

비디오 신호 발생 방법 Download PDF

Info

Publication number
KR100941388B1
KR100941388B1 KR1020027017659A KR20027017659A KR100941388B1 KR 100941388 B1 KR100941388 B1 KR 100941388B1 KR 1020027017659 A KR1020027017659 A KR 1020027017659A KR 20027017659 A KR20027017659 A KR 20027017659A KR 100941388 B1 KR100941388 B1 KR 100941388B1
Authority
KR
South Korea
Prior art keywords
picture
blank
field
original
coded
Prior art date
Application number
KR1020027017659A
Other languages
English (en)
Other versions
KR20030013466A (ko
Inventor
오노 에렌버그
디클란 피. 켈리
조세프 피. 반가젤
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20030013466A publication Critical patent/KR20030013466A/ko
Application granted granted Critical
Publication of KR100941388B1 publication Critical patent/KR100941388B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

인터레이스 효과가 효과적으로 회피되게 트릭 재생에서 사용하기에 적합한 압축된 비디오 신호를 발생시키는 방법이 기술된다. 제1 실시예에서, 이미지들은 적어도 한 공백 반복 화상을 발생함으로써 반복하여 디스플레이되고, 제1 공백 반복 화상은 하위 프레임(B2)에 관해서 만이 아니라 상위 프레임(T2)에 관하여 하위 필드 메모리(MB)를 역으로 참조하는 인터레이스 제거 화상(E2(RT®B; RB®B)이다. 제2 실시예에서, 필드-기반 코딩된 비디오 시퀀스의 경우에 적용할 수 있는 것으로, 오리지날 화상(X1)의 하위 필드(BI1)는 상위 필드 메모리(MT)에 역으로 참조하는 공백 반복 필드(EB(RB®T))로 교체된다.
비디오 신호, 인터레이스, 필드 메모리, 앵커 화상, 공백 반복 화상

Description

비디오 신호 발생 방법{METHOD FOR GENERATING A VIDEO SIGNAL}
본 발명은 일반적으로 트릭 재생(trick play)에서 사용하기 위한 압축된 비디오 신호를 생성하는 기술에 관한 것이다.
일반적으로 알려진 바와 같이, 종래의 텔레비전 세트는 화면 상에 수평 라인들을 기입함으로써 이미지를 디스플레이한다. 화면 상의 모든 라인들은 조합하여 하나의 이미지 프레임을 형성한다. 이미지 프레임들을 디스플레이하는 주파수는 사용되는 포맷에 따라 일정한 값이며, 유럽 포맷에서 이미지 프레임 기간은 1/25 초와 같다.
특히, 디스플레이할 동안 우수 라인들이 먼저 기입되고 이어서 기수 라인들이 기입된다. 우수 라인들의 조합은 우수 이미지 필드를 규정하고 기수 라인들의 조합은 기수 이미지 필드를 규정한다. 이에 따라, 각각의 이미지 프레임은 2개의 인터레이스된 이미지 필드들을 포함한다. 이미지 필드 레이트는 유럽 포맷에서는 1/50 초이다. 최상위 라인을 포함하는 필드를 "상위 필드"라고도 하며 이외의 다른 필드를 "하위 필드"라고도 한다.
TV 세트가 영화를 정확하게 디스플레이할 수 있기 위해선, 이미지 신호들은 초당 50 필드의 디스플레이와 부합되게, 정확한 레이트로 텔레비전 세트에 전송되어야 한다. 즉, 이미지 신호들용의 어떠한 소스든지 이들 신호들은 특히 각 이미지 화소의 휘도 및 크로미넌스(chrominance)의 정보를 포함하는 이미지 신호들이 텔레비전에 의해 예상되는 레이트, 즉 유럽 포맷에서는 초당 50필드에 대응하게 발생될 필요가 있다.
비디오 신호는 예를 들면 테이프에 기록될 수 있다. 아날로그 신호 기록에 관하여 향상된 이미지 품질을 얻기 위해서, 디지털 기록방법들이 개발되었다. 관련 비트량을 실질적으로 감소시키기 위해서, 압축기술이 개발되었다. 확립된 표준 코딩 포맷은 MPEG 포맷, 특히 MPEG-2 포맷이다. 이 코딩 포맷은 이 기술에 숙련된 자들에겐 공지되어 있으므로, 이 코딩 포맷의 상세는 여기서는 설명하지 않는다. 전체를 참고하려면, 문헌 ISO/IEC 13818-2를 참조한다.
압축기술은 어쨌든 사람의 눈에 보이지 않는 상세에 관한 중복된 정보(redundunt information)의 제거에 기초할 수 있다. 그러나, MPEG 압축기술은 더 나아간다. MPEG 신택스에 따라서, 이미지는 3개의 서로 상이한 압축도로 코딩될 수 있다. 이미지가 자체로 디코드될 수 있게 코딩된다면, 이러한 이미지를 인트라코딩 화상(Intra-coded(I), picture)이라고 한다. 이러한 I-화상은 여전히 많은 수의 비트를 포함하지만 이러한 이미지를 디코딩함에 있어서는 이미지 자체로부터의 정보만이 필요하다는 잇점을 제공한다.
또 다른 유형의 코딩에서, 연속한 이미지들은 보통은 매우 유사하고 주된 차이는 장면 내 움직임에 의해 야기된다는 사실을 이용한다. 움직임을 분석함으로써, 새로운 이미지의 내용들은 이전 이미지에 기초하여 예측될 수 있다. 이러한 새로운 이미지를 일 방향 예측 코딩된 화상(P)이라 하며, 이전의 I 혹은 P-화상으로부터 움직임 보상된 예측을 사용하여 코딩된다. P-화상으로서 코딩된 이미지는 I-화상보다는 비트들을 덜 포함하는데, 이러한 화상을 디코딩할 때는 이전의 I-화상 혹은 P-화상으로부터의 정보가 필요할 수도 있다.
소위 양방향 예측 코딩된 화상(B)으로서 화상을 코딩함으로써 더 높은 압축도가 달성될 수 있다. 이러한 화상은 이전 및/또는 미래의 P-화상 혹은 I-화상으로부터 움직임 보상된 예측을 사용하여 코딩되지만 B-화상은 다른 화상들에 대한 참조화상으로서 사용될 수는 없다.
원칙적으로, I-화상들로서 비디오 시퀀스 내 모든 화상들을 인코딩하는 것이 가능할 것이다. 그러나, 좋은 화질이 요구되면, 이러한 비디오 시퀀스를 전송하기 위한 비트 레이트는 받아들이기 어려울 만큼 높을 것이다. 그러므로, 실제로 비디오 시퀀스는 보통은 P-화상들 및 B-화상들만이 아니라 I-화상들을 사용하여 통상 인코딩되며, 여기서 I-화상들, P-화상들 및 B-화상들은 평균 비트 레이트가 적합한 값을 갖도록 선택되는 소정의 패턴에 따라 구성된다. 비디오 시퀀스가 단지 I-화상들 및 P-화상들을 포함한다면, 코딩은 "단순 프로파일(simple profile)"이라 하며, 비디오 시퀀스가 B-화상들도 포함한다면, 코딩은 "메인 프로파일(main profile)"이라 한다.
통상, 연속한 화상들의 구조 혹은 패턴이 MPEG 포맷에선 규정되어 있지 않지만, 연속한 화상들의 구조 혹은 패턴은 고정되어 있다. 이러한 일반적으로 사용되는 패턴의 예는 반복되는 IBBPBBPBBPBB이다. I-화상과 다음 I-화상까지 이 I-화상에 이은 모든 P-화상들 및 B-화상의 이러한 조합을 "화상그룹(GOP)"이라 한다. GOP는 GOP 내 화상들을 디코딩함에 있어 이전 혹은 다음 GOP로부터의 정보가 필요한가 여부에 따라 "개방" 혹은 "폐쇄"될 수 있다.
전술한 GOP는 하나의 I-화상, 3개의 P-화상들 및 8개의 B-화상들을 포함한다. 이러한 GOP에 연관된 총 비트 수는 디코더가 평균적으로 12/25초(유럽 포맷) 내에 12프레임들에 대응하는 비트 수를 수신하는 비교적 낮은 비트 레이트로 전송될 수 있다. 이로부터, 이러한 디코더는 12개의 이미지들을 재구성할 수 있고 대응하는 비디오 데이터를 1/25 초의 동일한 시간 슬롯 내에 수신 텔레비전 세트에 제공할 수 있다. 그러나, 각 GOP에서, I-화상을 인코딩하는데 사용되는 비트 수는 GOP 내 총 비트 수의 큰 백분율을 차지한다. 따라서, I-화상에 대응하는 비트들을 전송하는 것은 1/25 초보다 훨씬 긴 시간이 걸릴 것이며, 이것은 각각이 1/25 초보다 훨씬 덜 걸리는 P-화상들 및 특히 B-화상들의 전송에 의해 보상된다.
코딩된 디지털 비디오 시퀀스는 적합한 캐리어, 예를 들면 자기 테이프 혹은 자기 디스크 혹은 광학 디스크 상에 기록될 수 있다. 이러한 캐리어가 비디오 플레이어에 의해 재생될 때, 정규 재생 상황 동안, 플레이어는 수신측 디코더가 수신된 신호로 무엇을 할지를 알도록 즉, 이를테면 표준 텔레비전 세트를 위한 비디오와 대응하는 오디오의 초당 25 프레임들을 발생시킬 수 있게 하는 것과 같이, 수신된 신호를 어떻게 디코드할 것인지를 알도록, MPEG 신택스에서의 정의에 대응하는 프레임 레이트 및 비트 레이트로 프레임들의 시퀀스를 출력할 것이다. 그러나, 기록된 장면이 원래의 속도와는 다른 속도로 디스플레이되게 기록물을 재생할 수 있는 것이 바람직하다. "트릭 재생(trick play)"이라고도 하는 이러한 상황들은 예를 들면, 고속 순방향 재생, 슬로우 모션 순방향 재생, 정지, 슬로우 모션 역방향 재생, 정규속도 역방향 재생, 고속 역방향 재생이다. 이들 효과들은 아날로그 기록물들에 의해 가능한 바와 같이, 정규속도와는 다른 속도로 기록물을 재생하는 것만에 의해서는 달성될 수 없다. 모든 이러한 트릭 재생 상황들에서, 비디오 플레이어는 표준 디코더가 수신된 신호를 디코딩하여 텔레비전 세트에서 더 처리하기 위한 디지털 비디오 신호를 생성할 수 있도록, MPEG 표준에 대응하는 압축된 디지털 비디오 데이터 시퀀스를 생성해야 한다. 이것은, 특히, 플레이어에 의해 발생된 코딩된 비디오 신호는 디지털 인터페이스의 비트 레이트 제약에 따라야 하고 또한 MPEG 포맷에 따라야 함을 의미한다.
본 발명은 특히 재생속도가 정규 재생속도와는 다른 재생상황에 관한 것이다.
제1의 특징적인 면에서, 본 발명은 오리지날 MPEG 스트림에 기초하여 MPEG 코딩된 화상들의 스트림을 발생시키는 방법을 제공하는 것을 목적으로 하며, 이 발생된 출력 스트림은 디스플레이 상에서는 오리지날 MPEG 스트림보다 낮은 속도를 갖는 장면으로 된다. MPEG 코딩된 화상들의 이러한 스트림을 "슬로우 모션 스트림"이라 하도록 하겠다.
제2의 특징적인 면에서, 본 발명은 오리지날 MPEG 스트림에 기초하여 MPEG 코딩된 화상들의 스트림을 발생시키는 방법을 제공하는 것을 목적으로 하며, 이 발생된 출력 스트림은 디스플레이 상에 오리지날 MPEG 스트림보다 빠른 속도를 갖는 장면으로 된다. MPEG 코딩된 화상들의 이러한 스트림을 "패스트 모션 스트림"이라 하도록 하겠다.
달리 말하여, 슬로우 모션 스트림의 시간 기간은 대응하는 오리지날 스트림의 시간 기간보다 길며, 반면 패스트 모션 스트림의 시간 기간은 대응하는 오리지날 스트림의 시간 시간보다 짧다. 모든 상기 트릭 재생의 경우들에서, 플레이어는 단위 시간 당 화상들의 수가 디스플레이 상에 동일한 채로 있어야 함을 의미하는, 정확한 시간 베이스를 가지며 정확한 프레임 레이트 및 비트 레이트를 갖는 MPEG 코딩된 화상들의 시퀀스를 발생해야 하므로, 슬로우 모션 스트림은 대응하는 오리지날 스트림보다 많은 화상들을 포함하는 반면 패스트 모션 스트림은 대응하는 오리지날 스트림보다는 화상들을 덜 포함한다.
본 발명의 중요한 면에 따라서, 슬로우 모션 스트림을 발생함에 있어, 디코딩할 때 화상들이 1회 보다 많은 디스플레이되는 효과를 갖는 추가 프레임들이 발생된다.
본 발명의 또 다른 중요한 면에 따라서, 고속 순방향(혹은 고속 역방향) 스트림을 발생함에 있어, 프레임들은 오리지날 스트림으로부터 생략된다.
WO98/48573은 오리지날 MPEG 스트림에 기초하여 각각 슬로우 모션 스트림 혹은 패스트 모션 스트림을 발생시키는 방법을 개시한다. 슬로우 모션 스트림 발생에 대해서, 이 공보는 오리지날 MPEG 스트림 내 이미 존재하는 B-프레임들이 반복되는 방법을 개시한다. I-프레임들 및 P-프레임들은 반복되지 않는다. 이러한 방법의 문제는 슬로우 모션의 품질이 GOP구조에 달려 있는데, I-프레임들 및 P-프레임들은 단지 1회 디스플레이되는 반면 B-프레임들은 2회(혹은 더 많이) 디스플레이되어 디스플레이되는 장면의 다음 진행이 불규칙하다는 것이다. 이 공지의 방법의 또 다른 문제는 오리지날 MPEG 스트림들은 반드시 B 화상들을 포함할 필요가 없는데, MPEG 스트림이 어떠한 B-화상들도 포함하지 않은 경우엔 이 공지의 방법은 전혀 사용될 수 없다는 사실에 있다.
패스트 모션 스트림 발생에 대해서, 상기 공보는 B-프레임들이 스킵되는 방법을 개시하고 있는데, 훨씬 더 빠른 패스트 모션이 요구되는 중에 만약 모든 B-프레임들이 스킵된다면, P-프레임들이 스킵되고, 결국, I-프레임들조차도 스킵될 수 있다. 이 방법은 또한 다른 문제들을 포함한다. 전술한 바와 같이, 이 방법의 문제는 패스트 모션의 품질이 GOP 구조에 달려있다는 것이다. 또한, 단순히 B 코딩된 프레임들 및 P-코딩된 프레임들을 스킵하기 때문에 발생된 비디오 시퀀스의 비트 레이트가 상당히 증가하게 되는데, 이것은 쉽게 너무 높아지게 될 수 있다.
본 발명의 중요한 면에 따라서, 공백의 예측 코딩된 프레임들이 발생되고 발생된 비디오 스트림에 도입됨으로써 디스플레이 상에서 오리지날 I-화상들 혹은 P-화상들이 반복하여 디스플레이되게 한다. 이하, 이러한 공백의 예측 코딩된 프레임들을 반복 프레임들이라 하도록 하겠다.
슬로우 모션 상황에서, 슬로우 모션의 품질은 I-화상들 및/또는 P-화상들이 또한 반복하여 디스플레이되기 때문에, WO98/48573에 기술된 방법에 의해 얻어진 품질에 관하여 향상될 것이다. I-코딩된 화상을 반복하여 디스플레이하는 것은 비디오 시퀀스에서 대응하는 I-프레임을 반복함으로써 달성될 수도 있을 것인데, 그러나 이렇게 함으로써 비트 레이트가 증가하게 될 것이다. 패스트 모션 상황에서, 원하는 속도의 비에 따라, 스킵되는 프레임들의 수는 원하는 속도를 얻는데 필요한 것보다 많을 것이므로 이에 따라 원하는 것보다 높은 속도로 될 것이며, 또한 적어도 나머지 화상들의 일부는 상기 반복 프레임들의 도입에 의해 반복될 것이며 이에 따라 원하는 올바른 속도가 얻어질 것이다. 예를 들면, 오리지날 기록물의 I-코딩된 화상들만을 사용하고, 출력된 비디오 시퀀스의 GOP들에 반복 프레임들을 반복적으로 도입함으로써 대응하는 화상들을 디스플레이하는 것이 가능하다.
즉, GOP는 오리지날 기록물로부터 I-화상을 취하고, 이어서 디코딩시 상기 I-화상이 다시 디스플레이되는 효과를 갖는 하나 이상의 인위적인 프레임들을 삽입함으로써 구성된다. 이에 따라, 디코더가 인식가능한 MPEG 코딩된 비디오 신호를 여전히 수신하는 동안 비트 레이트는 허용된 레벨들 미만에 머물러 있을 것이다. 위에서, "인위적인 프레임"이라는 용어는 이러한 프레임이 오리지날 기록물의 부분이 아닌 것을 나타내기 위해 사용된 것이다.
본 발명의 상기한 면들은 프레임들이 순차적으로 코딩되는 비디오 스트림들에 적용할 수 있다. 여느 때처럼 프레임들이 2개의 인터레이스된 필드들을 포함하는 상황들에서, 화상들이 반복하여 디스플레이될 때 다른 문제가 발생하는데, 이 경우, 한 프레임의 상위 필드와 하위 필드가 수회에 걸쳐 번갈아 디스플레이 될 것이다. 장면이 움직임을 포함하고 있다면, 프레임을 반복하여 디스플레이하는 것은 장면 내 움직이는 부분이 흔들리는 인상을 줄 것이며, 이는 "인터레이스 효과"라 하는 것으로, 텔레비전 화면 관찰자는 각각 상위 필드에 의해 디스플레이되는 위치와 하위 필드에 의해 디스플레이되는 위치에 대응하는, 25Hz의 주파수의 두 위치들간에 전후방으로 도약하는 움직이는 물체를 볼 것이다.
본 발명의 다른 목적은 이러한 인터레이스 효과를 제거하는 것이다.
본 발명의 다른 중요한 면에 따라서, 오리지날 I-화상 혹은 P-화상 다음에 도입된 적어도 제1 반복 화상은 디스플레이 상에서 상기 인터레이스 효과를 제거하도록 설계된다. 이하, 이러한 특정의 반복 화상을 "인터레이스 제거 화상"이라 하도록 하겠다.
본 발명에 따른 제1 실시예에서, 인터레이스 제거 화상은 디코딩 및 디스플레이할 때, 이전 화상의 하위 필드의 반복을 야기하는 상위 필드를 포함하고, 또한 디코딩 및 디스플레이할 때, 이전 화상의 하위 필드의 반복을 또한 야기하는 하위 필드를 더 포함한다. 이러한 인터레이스 제거 화상이 디코더에 의해 처리된 후에, 디코더의 필드 메모리들은 동일한 정보를 포함할 것이다. 가능한 다른 반복 화상들은 인터레이스 제거 화상으로서 설계될 필요가 없으며, 이러한 다른 반복 화상이 디코딩 및 디스플레이할 때 이전 화상의 상위 필드의 반복을 야기하는 상위 필드를 포함하며, 또한 디코딩 및 디스플레이할 때 이전 화상의 하위필드의 반복을 야기하는 하위필드를 더 포함한다면, 이들 두 디스플레이되는 필드들은 여전히 동일할 것이며, 그러므로, 어떠한 인터레이스 효과도 발생하지 않는다.
본 발명에 따른 제2 실시예에서, 인터레이스 제거 화상은 인트라코딩된 상위 필드 화상을 포함하며, 또한 디코딩 및 디스플레이할 때 상기 인트라코딩된 프레임의 상위 필드를 반복하는 연관된 인트라코딩된 상위 필드 화상의 반복을 야기하는 P-코딩된 하위 필드 화상을 더 포함한다. 이러한 인터레이스 제거 화상이 디코더에 의해 처리된 후에, 디코더의 필드 메모리들은 전술한 바와 같이 동일한 정보를 포함할 것이며, 가능한 다른 반복 화상들은 인터레이스 제거 화상들로서 설계될 필요가 없다.
전술한 실시예들에서, 오리지날 화상은 오리지날 화상이 디스플레이된 후에 반복된다. 그러나, 오리지날 화상이 디스플레이되기 전에 추가 화상을 디스플레이함으로써 오리지날 화상의 반복된 디스플레이를 얻는 것이 또한 가능하다. 이에 따라, 본 발명에 따른 제3 실시예에서, 인터레이스 제거 프리뷰 화상은, 디코딩 및 디스플레이될 때, 다음 화상의 상위 필드의 디스플레이를 하는 하위 필드를 포함하며, 또한 디코딩 및 디스플레이될 때 다음 화상의 상위 필드의 디스플레이를 또한 야기하는 상위 필드를 더 포함한다.
제1 및 제3 실시예들의 조합으로서 볼 수 있는 본 발명에 따른 제4 실시예에서, 인터레이스 제거 화상은 디코딩 및 디스플레이될 때, 이전 화상의 하위 필드의 반복을 야기하는 상위 필드를 포함하며 또한 디코딩 및 디스플레이될 때 다음 화상의 상위 필드의 디스플레이를 하는 하위 필드를 더 포함한다.
본 발명의 이들 및 다른 면들, 특징 및 잇점들은 도면을 참조하여 본 발명에 따른 제어회로의 바람직한 실시예에 대한 다음의 설명에 의해 보다 명백하게 될 것이다.
도 1은 MPEG 비디오 시퀀스의 구조의 개략도.
도 2는 디코더의 동작 양상을 개략적으로 도시한 블록도.
도 3은 디지털 플레이어의 개략도.
도 4a-4c는 본 발명에 따른 슬로우 모션 비디오 시퀀스의 형성을 개략적으로 도시한 도면.
도 5a-5c는 인터레이스 제거 화상들의 개략도.
도 6a-6c는 본 발명에 따른 방법의 제2 실시예를 개략적으로 도시한 것이다.
도 7a-7b는 본 발명에 따른 패스트 모션 비디오 시퀀스의 형성을 개략적으로 도시한 도면.
도 8a-8c는 본 발명에 따른 장치의 서로 상이한 실시예들을 개략적으로 도시한 도면.
도 8a-8c에서 동일하거나 유사한 부분들은 각각 100 단위, 200 단위, 300 단위로 연속한 참조부호들로 표시된 것에 유의한다.
도 1은 일반적으로 MPEG 비디오 시퀀스(1)의 구조를 도시한 것이다. 각각의 비디오 시퀀스(1)는 시퀀스 헤더(2a)로 시작하여, 이에 이어 시퀀스 헤더 확장부(2b)와 복수의 화상그룹(GOP)(3)이 이어진다. 시퀀스 헤더(2a)는 특히 프레임 레이트에 관한 정보를 포함한다.
각각의 GOP(3)는 선택적 GOP 헤더(4)로 시작하고, 이에 복수의 화상블록들(5)이 이어진다. 각각의 GOP 헤더(4)는 새로운 화상그룹의 시작을 표시한다.
각각의 화상블록(5)은 화상헤더(6a) 및 화상 헤더 확장부(6b)로 시작하고 이 에 실제 화상 비디오 정보를 포함하는 슬라이스들(8)을 포함하는 화상 데이터부(7)가 이어진다. 화상 데이터부(7)엔, 대응하는 화상의 실제 화상정보(화소 세기 및 색)가 포함된다.
표준 텔레비전에 디스플레이될 때, 각각의 인터레이스된 이미지는 2개의 연속한 필드들을 기입함으로써 디스플레이되며, 이러한 두 필드들의 결합을 프레임으로서 나타낸다. 인터레이스된 이미지의 각 필드는 인터레이스된 이미지의 각 필드가 개별적으로 디코딩될 수 있게 개별적으로 인코딩될 수 있고, 이러한 경우에, 화상 코딩을 "필드 기반"이라고 나타내도록 하겠다. 대안으로, 인터레이스된 이미지의 두 필드들은 필드들이 개별적으로가 아니라 전체로서 디코딩될 수 있게 혼합하여 인코딩될 수도 있고, 이러한 경우에, 화상 코딩을 "프레임 기반"이라 칭하도록 하겠다. 화상이 필드에 기반한 것인지 아니면 프레임에 기반한 것인지의 여부는 화상 헤더 확장부(6b) 내 정보에 의해 표시된다.
각각의 화상헤더(6a)는 대응하는 화상의 화상 유형(I, P, B)에 관한 정보를 포함한다. 화상 헤더(6a)가 대응하는 화상이 인트라코딩된 즉 I-type임을 나타낸다면, 디코더는 대응하는 화상 데이터부(7)에 포함된 정보에만 기초하여 화상을 재구성할 수 있다.
화상 헤더(6a)가 대응하는 화상이 예측 코딩된(P형 혹은 B형) 것임을 나타낸다면, 디코더는 대응하는 화상 데이터부(7)에 포함된 정보에만 기초하여 화상을 재구성할 수 없다. P형 화상을 디코딩할 수 있기 위해서, 디코더는 이전의 I-화상 또는 P-화상의 화상 비디오 정보를 필요로 할 수도 있다. B-화상을 디코딩할 수 있기 위해, 디코더는 이전의 I-화상 혹은 P-화상의 화상 비디오 정보 및/또는 미래의 I-화상 혹은 P-화상의 화상 비디오 정보를 필요로 할 수도 있다. I-화상 혹은 P-화상은 이의 화상 비디오 정보가 예측 코딩된 화상(P형 혹은 B형)을 재구성하는데 사용되는 것으로 이하 참조화상 혹은 앵커 화상이라 칭한다.
비디오 디코더(40)의 통상의 동작을 도 2를 참조하여 간략히 설명한다. 도 2는 코딩된 디지털 비디오 시퀀스(1)를 수신하는 입력(42) 및 텔레비전에 의해 다음 처리에 적합한, 디코딩된 비디오 신호(10)를 출력하는 출력(43)을 구비한 프로세서(41)를 포함하는 비디오 디코더(40)를 개략적으로 도시한 것이다. 프로세서(41)엔 화상 메모리가 연관되어 있고 적어도 2개의 디코딩된 화상들, 즉 4개의 디코딩된 필드들을 저장할 수 있다. 다음 설명을 위해서, 상기 화상 메모리는 4개의 필드 메모리들을 포함하는 것으로 도시되었고, 제1 화상의 상위 필드 및 하위 필드 각각을 저장하고 또한 제2 화상의 상위 필드 및 하위 필드를 각각 저장하도록 한 것으로 MT1, MB1, MT2, MB2로서 표시되었으며, 이들 예시된 필드 메모리들은 각각 제1 상위 필드 메모리, 제1 하위 필드 메모리, 제2 상위 필드 메모리 및 제2 하위 필드 메모리라 칭한다. 이들 예시한 제1 상위 및 하위 필드 메모리들의 조합을 제1 메모리(M1)이라 하고, 이들 예시된 제2 상위 및 하위 필드 메모리들의 조합을 제2 메모리(M2)라 칭한다.
도 2는 또한 프로세서(41)의 입력(42)에 인가되는 MPEG 코딩된 비디오 시퀀스(1)를 도시하고 있고, 디코딩된 비디오 시퀀스(10)는 프로세서(41)의 출력(43)에서 출력된다. 비디오 시퀀스(1)는 복수의 화상들을 포함하며, 각각의 화상은 코딩 유형을 나타내는 문자(I, P, B)로 표시되어 있다. 디코딩된 비디오 시퀀스(10)는 대응하는 비디오 화상들(V1, V2, V3, V4)을 포함하며, 각각의 비디오 화상(Vi)은 상위 필드(Ti)와 하위 필드(Bi)로 구성된다. 화상들은 좌측에서 우측으로 도시한 바와 같은 순서로 비디오 시퀀스(1)에 나타난다. 이에 따라, 이 예에서, MPEG 코딩된 비디오 시퀀스(1)는 인트라코딩되는 제1 화상과, 이에 이어진 예측 코딩된 제2 화상과, 양방향 예측 코딩된 제3 화상과, 양방향 예측 코딩된 제4 화상을 포함한다. 화상 문자들은 디스플레이 순서를 나타내는 첨자를 갖는다. 따라서, 이 예에서, 제1 인트라코딩된 화상(I1)이 먼저 디스플레이되고(V1), 이에 이어 제3 화상(B2)(V2)와 제4 화상(B3)(V3)이 디스플레이되며, 이 다음에 제2 화상(P4)이 마지막으로 디스플레이된다(V4).
프로세서가(41)가 제1 화상(I1)의 화상 헤더(6a) 내 정보를 처리할 때, 제1 화상은 인트라코딩된 화상임을 알 것이며, 대응하는 화상 데이터부(7)의 정보에 기초해서만 제1 비디오 화상(V1)을 재구성할 것이다. 먼저, 제1 화상(I1)이 디코딩될 것이며, 제1 재구성된 화상(V1)의 상위 필드(T1)는 제1 상위 필드 메모리(MT1)에 저장될 것이며, 이 재구성된 화상(V1)의 대응하는 하위 필드(B1)는 제1 하위 필드 메모리(MB1)에 저장될 것이다. 제1 화상(I1)이 수신되어 완전히 디코딩되었을 때, 제1 메모리(M1)(= MT1 + MB1)는 제1 재구성된 화상(V1)을 포함한다.
두 번째로, 제2 화상(P4)은 프로세서(41)에 의해 수신된다. 프로세서(41)가 제2 화상(P4)의 화상 헤더(6a) 내 정보를 처리할 때, 제2 화상(P4)은 예측 코딩된 화상임을 인식할 것이며, 앵커 화상(I1)을 포함하는, 제1 메모리(M1) 내 정보 뿐만아니라 대응하는 화상 데이터부(7)의 정보에 기초하여 제4 비디오 화상(V4)을 재구성할 것이다. 메모리들(MT1, MB1) 내 정보와 화상 데이터부(7) 내의 정보를 결합하는 방법은 MPEG 신택스 부분이고, 여기서는 상세히 논의될 필요는 없다. 제2 화상(P4)이 디코딩될 것이며, 제4 비디오 화상(V4)의 상위 필드(T4)는 제2 상위 필드 메모리(MT2)에 저장될 것이며 대응하는 하위 필드(B4)는 제2 하위 필드 메모리(MB2)에 저장될 것이다. 제2 화상(P4)이 수신되어 완전히 디코딩되었을 때, 제2 메모리(M2)(=MT2+MB2)는 제4 비디오 화상(V4)을 포함한다. 한편, 프로세서(41)는 제1 메모리(M1)를 읽었으며, 제1 재구성된 화상(V1)의 상위 필드(T1)와 하위 필드(B1)를 디스플레이하기 위해서, 텔레비전에 의한 처리에 적합한 비디오 신호를 출력(43)에서 발생하였다.
세 번째로, 제3 화상(B2)이 프로세서(41)에 의해 수신된다. 프로세서(41)가 제3 화상(B2)의 화상 헤더(6a) 내 정보를 처리할 때, 제3 화상(B2)은 양방향 예측 코딩된 화상임을 인식할 것이며, 앵커 화상(I1/V1)을 포함하는, 제1 메모리(M1) 내 정보와, 앵커 화상(P4/V4)을 포함하는, 제2 메모리(M2) 내 정보뿐만 아니라 대응하는 화상 데이터부(7)의 정보에 기초하여 제2 비디오 화상(V2)을 재구성할 것이다. 동시에, 프로세서(41)는 제2 비디오 화상(V2)을 디스플레이하기 위해서 텔레비전에 의한 처리에 적합한 비디오 신호를 출력(43)에서 발생한다. 제3 화상(B2)을 수신하여 처리한 후에, 제1 메모리(M1)는 여전히 제1 비디오 화상(V1)을 포함하면서 제2 메모리(M2)는 여전히 제4 비디오 화상(V4)을 포함한다.
이어서, 유사하게, 제4 화상(B3)이 프로세서(41)에 의해 수신되고 제3 비디오 화상(V3)을 디스플레이하도록 처리된다. 이러한 형태의 화상의 수신 및 처리는 양방향 예측 코딩된 화상이 수신되는 한 계속된다. 프로세서(41)가 후속되는 앵커 화상을 수신하였을 때, 디코딩되어 화상 메모리에 저장되며 제2 메모리(M2)의 내용, 즉 V4가 읽혀져 디스플레이 된다.
다음에, 예를 들면 광학 디스크인 디스크로서 도 3에 표시된 것으로 정규속도로 기록된 디지털 비디오 시퀀스를 갖고 있는 기록 캐리어(31)를 재생하기 위한 것인 도 3에 개략적으로 도시한 디지털 플레이어(30)의 예시적인 상황에 대해 상세히 본 발명을 설명한다. 그 자체로 공지된 바와 같이, 플레이어(30)는 이에 저장된 정보에 대해 디스크를 스캐닝하는 스캐닝 수단을 포함한다. 이들 스캐닝 수단의 구성은 이 기술에 숙련된 자에게 명백한 바와 같이 통상적인 것으로 여기서는 상세히 논의될 필요는 없다. 이러한 기록 캐리어를 트릭 재생 모드에서 재생하기 위해서, 플레이어(30)는 정규속도와는 다른 속도로 캐리어를 물리적으로 스캔할 수 있어야 하고, 이의 출력(32)에서는 MPEG 신택스에 상응하고 디코더(40)에 의해 처리될 수 있는 트릭 재생 비디오 출력 시퀀스를 발생한다. 그러나, 본 발명은 "정규" 비디오 신호를 수신하며, 전술한 바와 같은 트릭 재생 비디오 시퀀스를 발생하며, 캐리어에 이러한 트릭 재생 비디오 시퀀스를 기록하도록 구성된 디지털 비디오 레코더에도 관계된 것이며, 이러한 경우에, "정규" 재생에서 이러한 기록물을 "정규" 속도로 재생하는 것은 오리지날 시퀀스와 비교하여 볼 때 트릭 재생 디스플레이로 될 것이다. 일반적으로, 이러한 레코더는 오리지날 비디오 시퀀스뿐만 아니라 상기 트릭 재생 비디오 시퀀스를 서로 다른 트랙들에 기록할 것이다.
사용자로 하여금 트릭 재생 모드를 선택할 수 있게 하기 위해서, 플레이어(30)는 예를 들면 정규 재생 선택키(KN)에 접하여 고속 순방향 선택 키(KFF) 및 슬로우 모션 순방향 키(KSM)과, 정지 키(KO), 및 도시하지 않는 가능한 다른 선택 키들을 포함할 수 있다.
MPEG에서, GOP들의 각종의 패턴들이 가능하며, 패턴은 시퀀스 내에서 다를 수도 있다. 다음에, 코딩된 비디오 시퀀스가 IBBPBBPBBPBB 포맷의 폐쇄된 GOP들만을 포함하는 예시적인 상황에 대해 본 발명을 설명한다.
다음에서, 먼저 슬로우 모션의 경우에 대해 본 발명이 더 설명될 것이다.
도 4a는 정규 재생 상황에서 화상들의 시퀀스를 도시한 것이다. 표에서 제1 라인은 표준 텔레비전 등의 디스플레이 장치 상에 디스플레이되는 연속한 화상들을 나타내며, 예로서, 연속한 화상들은 연속한 알파벳 문자들의 이미지들을 표시하는 것으로 가정한다.
제2 라인에서, 화상들은 Yn으로 표시되었고, n은 디스플레이 시퀀스에서 이러한 화상의 위치를 나타내며, 번호 매김은 알파벳의 첫 번째 글자의 이미지부터 1로 시작한다.
제3 라인은 캐리어(31) 상에 기록된 코딩된 비디오 시퀀스에 관계된 것으로, 코딩된 비디오 시퀀스가 IBBPBBPBBPBB 포맷의 GOP들만을 포함하는 경우에 대응하는 화상들의 I, P, 혹은 B로서 표시된 화상 유형을 나타낸다. 앞서 나타낸 바와 같이, 코딩된 비디오 시퀀스에서 화상들의 순서는 화상들의 디스플레이 순서에 상응하지 않는다. 예를 들면, 이미지 "D"를 야기하는 제4 (P 코딩된) 화상은 이미지 "C"를 야기하는 제3 (B-코딩된) 화상 다음에 디스플레이되지만, 코딩된 비디오 시퀀스 내에서 이 제3 화상의 위치에 앞선 위치를 갖는다. 화상들의 신호 순서는 도 4a엔 도시되지 않았다.
도 4b는 도 4a와 유사하나, 슬로우 모션 상황에서 동일한 비디오 시퀀스의 디스플레이에 관계된 것이다. 표에서 제1 라인은 디스플레이 장치 상에 나타나는 연속한 이미지들을 나타낸다. 도 4a에 비교하여 볼 때, 모든 오리지날 이미지들은 예시된 상황에서 3회 디스플레이되고, 이에 따라 재생 시간은 정규 재생 시간의 3배(즉, 시퀀스는 슬로우 모션 팩터 3으로 재생된다)임을 알 수 있다. 슬로우 모션 팩터 3은 예를 들면 제1 이미지가 4회 디스플레이되고 제2 이미지가 2회 디스플레이된다면 달성될 수도 있을 것이지만 이는 비디오의 불규칙한 진행를 초래하고 일정한 리프레시 레이트가 바람직하다. 그러나, 한편으로, 슬로우 모션 팩터가 정수가 아닌 것이 바람직하다면, 이것은 서로 다른 화상들에 대해 서로 다른 반복 방식들을 사용하여 달성될 수 있고, 예를 들면, 후속되는 화상들이 번갈아가며 3회 및 4회 디스플레이된다면, 3.5의 슬로우 모션 팩터로 될 것이다. 이와는 다른 슬로우 모션 팩터들도 가능하다.
도 4b에서 제2 라인에서, 화상들은 Xn으로 표시되었고, n은 슬로우 모션 디스플레이 시퀀스에서 이러한 화상의 위치를 나타내며, 여기서 번호매김은 알파벳의 첫 번째 글자의 이미지를 나타내는 제1 화상부터 1로 시작한다.
도 4b에서 제3 라인은 오리지날 디스플레이 시퀀스에서 대응하는 오리지날 화상들의 위치를 나타내며, 제4 라인은 오리지날 화상들의 화상 유형을 나타낸다(도 4a의 제3 라인과 비교). 따라서, 디코딩 및 디스플레이할 때 도 4b의 제1 라인의 이미지 시퀀스를 야기하도록 설계된 비디오 신호가 오리지날 비디오 시퀀스의 화상들의 3배를 포함함이 명백할 것이다. 특히, 본 발명에 따른 슬로우 모션 비디오 신호는 반복 화상들을 포함하며, 각각의 반복 화상은 적어도 한 오리지날 화상의 이미지 정보의 반복된 디스플레이를 하도록 설계된다. 도 4b에서, 이러한 반복 화상들은 제4 라인에 R로 표시되었다.
이 예에서, 슬로우 모션 디스플레이 시퀀스에서 제2 및 제3 화상들(X2 및 X3)은 이 예에서 I 코딩된 오리지날 화상(Y1)인, 제1 화상(X1)에 의해 야기된 이미지의 반복된 디스플레이를 한다. I-코딩된 화상들은 다른 화상들로부터의 정보를 필요로 하지 않고 디코딩될 수 있기 때문에, 이 화상의 반복된 디스플레이는 이 화상을 반복하여 보냄으로써 달성될 수 있다. 이것은 슬로우 모션 디스플레이 시퀀스에서 제2 및 제3 화상들(X2, X3)은 원리적으로 제1 화상(X1)과 동일할 수도 있을 것이며, 이 경우 이들은 I-코딩된 것임을 의미할 것이다. 그러나, 이러한 해결책의 한 문제는 이것이 많은 비트 수를 포함할 것이라는 것이다. 또 다른 문제는 후술하는 바와 같이 인터레이스 효과에 관계된 것이다.
본 발명에 따라서, 슬로우 모션 디스플레이 시퀀스에서 제2 및 제3 화상들(X2, X3)은 P-코딩 혹은 B-코딩된 공백 반복 화상들이다. 도 4b의 제5 라인에 ER로서 표시된 이들 공백 반복 화상들은 다음 시퀀스가 어떠한 B-코딩된 화상들도 포함하지 않는다면 P-코딩될 수 있다. 본 예에서와 같이 다음 시퀀스가 B-코딩 시퀀스들을 포함한다면, 공백의 반복 화상들의 다른 특성을 고려해야 한다. 후술하는 바와 같이, 반복 화상들은 바람직하게는 인터레이스 제거 특성들을 가지며, 이러한 경우에, 슬로우 모션 표시 시퀀스에서 제2 및 제3 화상들(X2, X3)은 B-코딩된 화상들이 디코더 내 화상 메모리들을 영향을 받지 않은 상태로 두기 때문에 B-코딩된 공백 화상들이어야 한다. 다음에, 공백 화상들은 B-코딩된 것으로 가정하고, 따라서 제2 및 제3 화상들(X2, X3)을 도 4b의 제5 라인에 ERB로서 표시하였다.
디코더가 B-코딩된 화상을 수신하였을 때, 이웃한 앵커 화상들에 관계된 두 화상 메모리들 내 정보에 기초하고, 상기 앵커 화상들로부터의 어떤 정보가 사용될 것인가와 상기 앵커 화상들로부터의 이 정보에 어떤 변경들이 행해질 것인가를 나타내는 상기 B-코딩된 화상의 정보에 기초하여, 이미지를 "구성"할 것이다. 예로서, 두 이웃한 앵커 화상들의 내용들을 각각 A1 및 A2의 기호로 표시하면, B-코딩된 화상은 변수들 α, β, 및 γ을 포함하는 것으로서 기호로 표시될 수 있고, 이러한 B-코딩된 화상으로 표현된 이미지(A3)의 생성은 A3 = αA1+βA2+γ로서 기호로 표시될 수 있다.
이전 화상을 반복하는 공백의 B-코딩된 화상은 이들 변경들이 제로이고, 이전 앵커 화상만을 참조하며, 따라서 이전 화상과 동일한 새로이 구성된 이미지, 이 경우엔 슬로우 모션 디스플레이 시퀀스의 I-코딩된 제1 화상(X1)이다. 코딩된 매크로블록들을 갖지 않는 이러한 화상을 이하 B-코딩 공백 반복 화상(ERB)라 칭하도록 하겠다. 전술한 기호 사용에서, α=1, β=0, 및 γ=0이다. 필요한 변경을 가하여 동일하게 P-코딩된 화상에 적용하고 이를 이하 P-코딩 공백 반복 화상(ERP)이라 칭하도록 하겠다. 이러한 화상들은 유효한 B-화상 혹은 P-화상을 각각 구성하는데 필요한 최소량의 정보를 포함하나, 움직임 정보량은 제로이다.
이에 따라, 슬로우 모션 디스플레이 시퀀스의 I-코딩된 제1 화상(X1)의 반복된 디스플레이는 I-코딩된 제1 화상 자체를 반복하여 전송하는 것보다 훨씬 적은 비트들을 포함하는 B-코딩된 화상들을 사용함으로써 달성될 수 있다.
명백히, 전술한 바와 같은 시퀀스는 MPEG 포맷에 따른 유효 시퀀스임에 유의한다. 결국, 디코더(40)는 이러한 시퀀스를 처리함에 있어 전혀 곤란이 없을 것이다.
도 4b의 예에서, 슬로우 모션 디스플레이 시퀀스의 I-코딩된 제1 화상(X1)은 비디오 시퀀스에 오리지날 I-코딩된 화상(X1) 다음에 2개의 B-코딩된 공백 반복 화상들(X2, X3)(ERB)을 넣음으로써 3회 디스플레이된다. 비디오 시퀀스에 합해지는 반복 화상들의 수는 원하는 슬로우 모션 팩터에 의존한다는 것이 명백할 것이다. 또한, 대안으로써, 하나 이상의 반복 화상들을 사용하는 대신에, 오리지날 I-코딩된 화상(X1) 전에 디스플레이를 하는, 비디오 시퀀스에 합해진 하나 이상의 프리뷰 화상들을 사용하는 것이 가능하다. 이에 따라 도 4c에 도시한 바와 같이 동일한 시각적 효과로 될 것이며, 여기서 공백 프리뷰 화상들은 EPB로서 표시되었다. "프리뷰 화상"이라는 용어는 여기서는 미래의 앵커 화상만을 참조하여 따라서 미래의 앵커 화상과 동일한 새로이 구성되는 이미지로 되는 공백의(즉, 어떠한 코딩된 매크로블록들도 포함하지 않는) B-코딩된 화상을 지칭하는데 사용된다. 전술의 기호 사용에서, α=0, β=1, 및 γ=0이다. "반복된 디스플레이" 및 "반복하여 디스플레이하는 것"이라는 용어는 여기서는 프리뷰 화상의 상황뿐만 아니라 반복 화상의 상황을 포함하도록 사용된다.
또한 도 4b의 예에서, 슬로우 모션 디스플레이 시퀀스에서 제5 및 제6 화상들(X5, X6)은 제4 화상(X4)에 의해 야기되는 이미지, 즉 B-코딩된 화상인 제2 오리지날 화상(Y2)의 반복된 디스플레이를 한다. B-코딩된 화상에 기초한 이미지를 반복(혹은 프리뷰)하기 위해서, B-코딩된 화상 자체가 반복되어야 할 것이다. 그러므로, 이 예에서, 제4 화상(X4)를 반복함에 있어서, 슬로우 모션 디스플레이 시퀀스에서 제5 및 제6 화상들(X5, X6)은 제4 화상(X4), 즉 제2 오리지날 화상(Y2)의 동일한 사본들이다. 유사하게, 슬로우 모션 디스플레이 시퀀스에서 제8 및 제9 화상들(X8, X9)는 제7 화상(X7), 즉 제3 오리지날 화상(Y3)의 동일한 사본들이다. 그러나, 후술하는 바와 같이, 반복 화상들 X5, X6(X8, X9)이 인터레이스 제거 특성들을 갖는다면, 이들은 100% 완전히 X4(X7)와는 동일하진 않을 것이다.
또한, 이 예에서, 슬로우 모션 디스플레이 시퀀스에서 제11 및 제12 화상들(X11, X12)는 제10 화상(X10), 즉 P-코딩된 화상인 제4 오리지날 화상(P4)에 의해 야기된 이미지의 반복된 디스플레이를 한다. P-코딩된 화상을 디코딩할 때, 디코더는 이전 앵커 화상으로부터의 정보를 필요로 하며, 또한 디코더의 화상 메모리가 영향을 받는다. 그러므로, 이 화상의 반복된 디스플레이는 이 화상을 반복하여 보냄으로써 달성될 수 없다. 본 발명에 따라서, 슬로우 모션 디스플레이 시퀀스에서 제11 및 제12 화상들(X11, X12)은 P-코딩 혹은 B-코딩된 공백 반복 화상들(ER)이다. I-코딩된 화상(X1)을 반복하는 것에 관해 전술한 바와 유사하게, 이들 공백 반복 화상들(ER)은 다음 시퀀스가 어떠한 B-코딩된 화상들도 포함하지 않는다면 P-코딩될 수 있으나, 다음 시퀀스가 본 예에서처럼, B-코딩된 화상들을 포함한다면, 그리고 반복 화상들이 인터레이스 제거 특성들을 갖는다면, 슬로우 모션 디스플레이 시퀀스에서 제11 및 제12 화상들(X11, X12)는 B-코딩된 화상들이 디코더 내 화상 메모리를 영향을 받지 않은 상태로 두기 때문에 B-코딩된 공백 화상들(ERB)가 될 것이다.
전술한 바와 마찬가지로, 오리지날 P-코딩된 화상 후에 디스플레이를 하는 B-코딩된 반복 화상들(ERB)를 사용하는 대신에, 오리지날 P-코딩된 화상 전에 디스플레이를 하는 B-코딩된 프리뷰 화상들(EPB)이 사용될 수도 있을 것이다(도 4c에서 X10 및 X11).
전술한 바와 같이, 도 4b는 대응하는 오리지날 화상이 디스플레이된 후에 오리지날 화상들을 반복하여 디스플레이하기 위해 공백 반복 화상들(ER)만을 포함하는 트릭 재생 시퀀스를 도시한 것이고, 도 4c는 대응하는 오리지날 화상이 디스플레이 되기 전에 오리지날 화상들을 반복하여 디스플레이하기 위해 공백 프리뷰 화상들(EP)만을 포함하는 트릭 재생 시퀀스를 도시한 것이다. 한 트릭 재생 시퀀스에 공백 프리뷰 화상들만이 아니라 공백 반복 화상들을 갖게 하는 것도 가능하고, 하나의 동일한 오리지날 화상을 반복하여 디스플레이하는 공백 프리뷰 화상 및 공백 반복 화상을 갖게 하는 것도 가능하다(시퀀스 EPB-Y-ERB).
위에서, 두 유형의 공백 화상들로서 한 이전의 오리지날 화상의 이미지 정보의 반복된 디스플레이를 하도록 설계되는 공백 반복 화상(ER)과, 한 미래의 오리지날 화상의 이미지정보의 반복된 디스플레이를 하도록 설계되는 공백 프리뷰 화상(EP)를 설명하였다. 본 발명은 디코딩 및 디스플레이할 때 이전의 오리지날 화상과 미래의 오리지날 화상 간에 보간(interpolation)을 야기하도록 설계되는 제3 유형의 공백 화상을 또한 제공한다. 특히, 디코더가 이러한 화상을 디코딩할 때, 이전 오리지날 화상의 이미지 정보와 미래의 오리지날 화상의 이미지 정보를 평균화함으로써 인위적 이미지를 구성할 것이며, 앞에서의 기호 사용에서, α=1/2, β=1/2, 및 γ=0이다. 이에 따라, 디스플레이되는 이미지는 이전 오리지날 화상 혹은 미래 오리지날 화상의 진정한 반복이 아니지만, 이전 오리지날 화상의 이미지 정보는 상기 인위적 이미지를 구성할 때 다시 사용되기 때문에(동일한 것이 미래 오리지날 화상의 이미지 정보에 대해 적용된다), 상기 제3 유형의 공백 화상은 여전히 반복 화상의 예를 구성하는 것으로 간주될 것이다. 특히, 상기 제3 유형의 공백 화상을 공백 보간 화상(EI)라 칭하고, 이 화상은 코딩된 매크로블록들을 포함하지 않는 점에서 공백이다.
화상 프레임은 연속적으로 디스플레이되는 두 개의 인터레이스된 필드들을 포함한다는 것을 알 것이다. 이들 두 필드들은 제1 필드 및 제2 필드라 칭하고, 제1 필드는 먼저 디스플레이되는 필드이다. 전술한 공백 반복 화상들(ER)에서, 양 필드들은 이전 오리지날 필드들의 반복된 디스플레이를 하며, 공백 프리뷰 화상의 양 필드들은 미래의 오리지날 필드들의 반복된 디스플레이를 한다. 본 발명은 제4 유형의 반복 화상을 또한 제공하며, 이를 공백 반복/프리뷰 화상(ER/P)라 칭하고, 여기서는 제1 필드는 이전 오리지날 필드의 반복된 디스플레이를 하며, 제2 필드는 미래의 오리지날 필드의 반복된 디스플레이를 한다.
따라서, 본 발명의 중요한 면에 따라서, 디코딩 및 디스플레이할 때 오리지날 시퀀스를 디코딩할 필요없이 오리지날 시퀀스가 슬로우 모션 재생으로 되는 슬로우 모션 MPEG 비디오 시퀀스를 오리지날 MPEG 비디오 시퀀스에 기초하여, 발생하는 방법이 제공된다. 이것은 이하 일반적으로 문자 E로 표시되는 B-코딩 혹은 P-코딩된 공백 화상들을 삽입함으로써 달성된다. 이들 공백 화상들은 디코딩 및 디스플레이할 때 이전 오리지날 화상(ER)을 반복하여 디스플레이하게 되거나 미래 오리지날 화상(EP)을 반복하여 디스플레이하게 되거나 이들의 조합(EI: ER/P)으로 된다.
공백 화상들을 비디오 시퀀스에 삽입하는 것은 오리지날 시퀀스를 디코딩할 필요없이, 오리지날 화상들에 기초하여 "인위적" 화상들을 디스플레이하는 원하는 효과를 가질 것이다. 그러나, 화상 프레임이 1회 이상 디스플레이된다면, 인터레이스 효과의 문제가 전술한 바와 같이 발생한다. 이것은 각각의 화상 프레임이 연속적으로 디스플레이되는 두 개의 인터레이스된 필드들을 포함한다는 것을 실현함으로써 이해할 수 있다. 통상, 상위 라인을 포함하는 필드(상위 필드)가 먼저 디스플레이되고, 이어서 동일 화상의 다른 필드(하위 필드)가 디스플레이된다. 그러나, MPEG에서는 하위 필드가 먼저 디스플레이되고 이어서 상위 필드가 디스플레이되는 것이 가능하다. 다음에, 상위 필드가 먼저 디스플레이되는 보통의 상황에 대해 본 발명을 설명할 것인데, 그러나 본 발명은 이러한 상황으로 한정되는 것은 아님을 알 것이다.
화상의 하위필드에 이어 다음 화상의 상위 필드가 온다. 두 개의 연속한 화상 프레임들이 100% 완전히 동일하다면, 제2 화상의 상위 필드는 제1 화상의 상위 필드와 동일하고, 제2 화상의 하위필드는 제1 화상의 하위 필드와 동일하다. 장면이 움직임을 포함한다면, 물체는 제1 화상의 상위 필드가 디스플레이될 때 제1 위치에서 디스플레이될 것이고, 제1 화상의 하위필드가 디스플레이될 때 제2 위치에서 디스플레이될 것이다. 이어서 제1 화상의 상기 상위 필드와 동일한 제2 화상의 상위 필드가 디스플레이될 때, 이 움직이는 물체는 제1 화상의 상기 상위 필드에 의해 나타내어지는 제1 위치에서 다시 보여지게 될 것이다. 즉, 이러한 움직이는 물체는 이들 두 위치들 간에 전후로 도약할 것이다.
본 발명의 다른 목적은 이러한 문제를 극복하는 것이다.
본 발명에 따라서, 이러한 문제를 극복하기 위해서, 공백 화상(E)은 디코딩 및 디스플레이할 때 이 공백의 화상(E)의 각 필드가, 상기 공백 화상(E)이 참조하는 앵커 화상의 시간적으로 가장 가까운 필드의 반복된 디스플레이를 하도록 구성되는 것이 바람직하다.
공백 반복 화상(ER)은 이전의 앵커 화상을 참조한다. 이 앵커 화상의 시간적으로 가장 가까운 필드는 그 제2 필드, 즉, 하위 필드이다. 따라서, 본 발명에 따라, 인터레이스 제거 특성을 갖는 공백 반복 화상(ER)은, 디코딩 및 디스플레이될 때, 이전 앵커 화상의 하위 필드의 2회 반복 디스플레이를 유발한다.
공백 프리뷰 화상(EP)은 미래의 앵커 화상을 참조한다. 이 앵커 화상의 시간적으로 가장 가까운 필드는 그 제1 필드, 즉, 상위 필드이다. 따라서, 본 발명에 따라, 인터레이스 제거 특성을 갖는 공백 프리뷰 화상(EP)은, 디코딩 및 디스플레이될 때, 미래 앵커 화상의 상위 필드의 2회 반복 디스플레이를 유발한다.
공백 보간 화상(EI)은 미래의 앵커 화상뿐만 아니라 이전의 앵커 화상도 참조한다. 이전의 앵커 화상의 시간적으로 가장 가까운 필드는 그 제2 필드, 즉, 하위 필드이고, 미래의 앵커 화상의 시간적으로 가장 가까운 필드는 그 제1 필드, 즉 그 상위 필드이다. 그러므로, 본 발명에 따라서, 인터레이스 제거 특성들을 갖는 공백 보간 화상(EI)는, 디코딩 및 디스플레이될 때, 이전 앵커 화상의 하위 필드와 미래 앵커 화상의 상위필드 사이의 보간의 2회 디스플레이를 유발한다. 그러나, 만일 공백 보간 화상(EI)이, 이전 앵커 화상의 하위 필드와 미래 앵커 화상의 하위 필드 사이의 보간의 디스플레이 이후에 이전 앵커 화상의 상위필드와 미래 앵커 화상의 상위 필드 사이의 보간의 디스플레이를 한다면, 인터레이스 효과는 이미 감소되어 있다.
공백 반복/프리뷰 화상(ER/P)은 미래의 앵커 화상만이 아니라 이전의 앵커 화상을 참조하며, 이전의 앵커 화상의 시간적으로 가장 가까운 필드는 이의 제2 필드, 즉 이의 하위 필드이고, 미래의 앵커 화상의 시간적으로 가장 가까운 필드는 이의 제1 필드, 즉 이의 상위 필드이다. 그러므로, 본 발명에 따라서, 인터레이스 제거 특성들을 갖는 공백 반복/프리뷰 화상(ER/P)는 디코딩 및 디스플레이할 때 이전의 앵커 화상의 하위 필드의 디스플레이 및 이에 이은 미래의 앵커 화상의 상위 필드의 디스플레이를 한다.
이 기술에 숙련된 자들에게 공지된 바와 같이, 화상의 매크로블록 헤더들은 참조 파라미터 MVFS(Motion Vertical Field Select)을 포함하며, 이 파라미터의 값에 따라, 디코더는 의존되는 앵커 화상의 상위 필드 혹은 하위 필드로부터 매크로블록을 사용할 것이다. 사실 각각의 매크로블록이 이의 자신의 참조 파라미터 MVFS를 갖고 있을 지라도, 참조 파라미터 MVFS의 값이 서로 상이한 매크로블록들마다 다를 수 있고, 다음에서는 참조 파라미터 MVFS의 값이 필드 내 모든 매크로블록들에 대해 동일한 것으로 가정한다. 다음의 설명을 위해서, 이것은 전체 상위 필드에 대해 상위 참조 정보 파라미터(RT)를 정의하고 전체 하위 필드에 대해 하위 참조 정보 파라미터(RB)를 정의함으로써 나타낼 것이다. 이러한 참조 정보가 앵커 화상의 상위 필드를 나타낸다면, 이것은 값 -> T로서 표시될 것이고, 반면, 이러한 참조 정보가 앵커 화상의 하위 필드를 나타낸다면, 이것은 값 -> B로서 나타낼 것이다.
통상, 상위 참조 정보 파라미터(RT)는 상위 필드에의 참조(RT->T)를 나타내며 하위 참조 정보 파라미터(RB)는 통상 하위 필드에의 참조(RB->B)를 나타낸다. 이러한 정규의 관계를 이행하는 공백 화상(E)은 이 표기로는 E(RT->T; RB->B)로서 표시될 것이다. 그러나, MPEG 신택스에선 필수적인 것은 아니고 본 발명은 이 사실의 인식에 기초한다.
도 5a는 상위 필드(T1)와 하위 필드(B1)를 갖는 제1 화상(X1)을 개략적으로 도시한 것이다. 이 제1 화상(X1)은 I-코딩된 혹은 P-코딩된 오리지날 화상이고, 이에 이어 플레이어(30)에 의해 발생된 것인 P-코딩 혹은 B-코딩된 공백 반복 화상(ER2)이 온다. 공백 반복 화상(ER2)은 상위 필드(T2)와 대응하는 상위 참조 정보 파라미터(RT2), 및 하위 필드(B2)와 대응하는 하위 참조 정보 파라미터(RB2)를 갖는다. 하위 참조 정보 파라미터(RB2)는 이 반복 화상(ER2)의 하위 필드(B2)에서 역으로 제1 화상(X1)의 하위 필드(B1)를 가리키는 화살표(RB2)로서 도 5a에 도시한, 제1 화상(X1)의 하위 필드(B1)에의 참조(RB2 -> B1)를 나타낸다.
공백 반복 화상(ER2)이, 디코딩 및 디스플레이할 때, 제1 화상(X1)의 상위 및 하위 필드의 정확한 반복을 야기하게 설계된다면, 상위 참조 정보 파라미터(RT2)는 제1 화상(X1)의 상위 필드(T1)에의 참조를 나타낼 것이다(RT2 -> T1). 그러나, 전술한 바와 같이, 인터레이스 효과가 이때 발생할 것이다. 본 발명에 따라서, 이 인터레이스 효과는 이 반복 화상(ER2)의 상위 필드(T2)에서 역으로 제1 화상(X1)의 하위 필드(B1)를 가리키는 화살표(RT2)로서 도 5a에 개략적으로 도시된 바와 같이 제1 화상(X1)의 하위 필드(B1)에의 참조(RT2 -> B1)을 나타낸다. 이러한 공백 반복 화상(ER2)(RT2 -> B1; RB2 -> B1)은 디코딩 및 디스플레이할 때, 제1 화상(X1)의 하위 필드 화상(B1)의 반복을 2회 야기하며, 이 하위 필드 화상(B1)은 반복 화상(E2)에 관련하여 제1 화상(X1)의 시간적으로 가장 가까운 필드, 즉 마지막 필드이다.
이러한 식으로 하여 인터레이스 효과가 효과적으로 회피됨을 쉽게 알 수 있고, 디코딩 및 디스플레이할 때, 두 화상들(X1, ER2)은 이미지들 T1, B1, B1, B1의 연속적인 디스플레이를 한다. 그러므로, 플레이어(30)에 의해 발생된 상기 공백 반복 화상(ER2)(RT2 -> B1; RB2 -> B1)은 "인터레이스 제거 화상"으로서 표시될 것이다.
보다 큰 슬로우 모션 팩터를 얻기 위해서 제1 화상(X1)이 다시 반복될 것을 원한다면, 하나 이상의 다른 공백 반복 화상들(ER3, ER4 등)이 ER2 후에 비디오 시퀀스에 삽입될 수 있다. 공백 반복 화상들(ER2, ER3, ER4 등)이 B-코딩된 것이면, 이들은 모두 동일한 것, 즉 유형 ERBi일 것이다(RTi -> B1; RBi-> B1). 그러나, 제1 공백 반복 화상(ER2)가 P 코딩된 것이면, 디코더의 대응하는 상위 및 하위 필드의 내용들은 디코딩 및 이러한 P-코딩된 반복 화상(ERP2)의 추가 처리 후에 동일해질 것이며, 그러면, P-코딩 된 것이든 B-코딩 된 것이든 간에, 추가 반복 화상들의 상위 필드 및 하위 필드는 이러한 P-코딩된 반복 화상(ERP2)의 필드들(T2/B2) 중 어느 하나를, 도 5a에 개략적으로 도시한 바와 같이, 예를 들어 ER3(RT3 -> T2; RB3 -> B2), 참조할 수 있다.
전술한 바와 같이, 이 화상에 이어 공백 반복 화상이 오게 함으로써 화상의 디스플레이를 반복하는 대신에, 이 화상에 공백 프리뷰 화상이 선행하게 하는 것도 가능하다. 도 5a와 유사하게, 도 5b는 상위 필드(T3)와 하위 필드(B3)을 갖는 화상(X3)을 개략적으로 도시한 것이다. 이 화상(X3)은 I-코딩된 혹은 P-코딩된 오리지날 화상이고, 이에 B-코딩된 공백 프리뷰 화상(EP2)이 선행한다. 이 공백 프리뷰 화상(EPB2)는 상위 참조 정보 파라미터(RT2) 및 하위 참조 정보 파라미터(RB2)를 갖는다. 상위 참조 정보 파라미터(RT2)는 이 반복 화상(EP2)의 상위 필드(T2)에서 화상(X3)의 상위 필드(T3)로 순방향으로 가리키는 화살표(RT2)로서 도 5b에 도시한, 화상(X3)의 상위 필드(T3)에의 참조를 나타낸다(RT2 -> T3). 공백 프리뷰 화상(Ep2)가, 디코딩 및 디스플레이할 때, 상기 오리지날 화상(X3)의 상위 필드 화상과 하위필드 화상의 정확한 복제를 야기하도록 설계된다면, 하위 참조 정보 파라미터(RB2)는 화상(X3)의 하위 필드(B3)에의 참조를 나타낼 것이다(RB2 -> B3). 그러나, 전술한 바와 같이, 이 때 인터레이스 효과가 발생할 것이다. 본 발명에 따라서, 이 인터레이스 효과는 하위 참조 정보 파라미터(RB2)가 이 반복 화상(ER2)의 하위 필드(B2)에서 오리지날 화상(X3)의 상위 필드(T3)로의 순방향으로 가리키는 화살표(RB2)로서 도 5b에 개략적으로 도시한 바와 같이, 오리지날 화상(X3)의 상위 필드(T3)에의 참조를 나타낸다(RT2 -> T3). 이러한 공백 프리뷰 화상(EP2)(RT2 -> T3; RB2 -> T3)는, 디코딩 및 디스플레이할 때, 상기 화상(X3)의 상위 필드 화상(T3)의 디스플레이를 2회 야기시키며, 이 상위 필드 화상(T3)는 프리뷰 화상(E2)에 관련하여 시간적으로 상기 화상(X3)의 시간적으로 가장 가까운 필드, 즉 제1 필드이다.
인터레이스 효과는 이러한 식으로 하여 효과적으로 회피되고, 디코딩 및 디스플레이할 때, 2개의 화상들(EP2, X3)는 이미지들(T3, T3, T3, B3)의 연속적인 디스플레이를 한다. 그러므로, 플레이어(30)에 의해 발생된 상기 공백 프리뷰 화상(EP2)(RT2 -> T3; RB2 -> T3)는 또한 "인터레이스 제거 화상"으로서 표시될 것이다.
보다 높은 슬로우 모션 팩터를 얻기 위해서 오리지날 화상(X3)이 더 많은 횟수로 프리뷰될 것을 원한다면, 하나 이상의 다른 공백 프리뷰 화상들(EP)이 E2 전에 비디오 시퀀스에 삽입될 수 있다. 공백 프리뷰 화상들은 B-코딩된 것이 때문에, 이들은 모두 동일한 것, 즉 유형 EPBi(RTi->T3; RBi->T3)일 것이다.
오리지날 비디오 시퀀스가 앵커 화상들만을 포함하는 경우, 즉 B-코딩된 화상들을 포함하지 않는 경우에, 그리고 슬로우 모션 팩터 2(혹은 4, 6, 등)를 원하는 경우, 특별한 상황이 일어난다. 도 5c는 상위 필드(T1)와 하위필드(B1)를 갖는 제1 화상(X1)을 개략적으로 도시한 것이다. 이 제1 화상(X1)은 I-코딩된 혹은 P-코딩된 오리지날 앵커 화상이고, 이에 이어 B-코딩된 공백 화상(E2)이 오고, 이어서 I-코딩된 혹은 P-코딩된 제2 오리지날 앵커 화상인 제3 화상(X3)이 온다. 공백 화상(E2)는 상위 필드(T2)와 대응하는 상위 참조 정보 파라미터(RT2), 및 하위 필드(B2)와 대응하는 하위 참조 정보 파라미터(RB2)를 갖는다. 제3 화상(X3)은 상위 필드(T3)와 하위 필드(B3)를 갖는다.
앞의 예들에서, 제2 화상(E2)은 B1을 참조하는 상위 참조 정보 파라미터(RT2)와 하위 참조 정보 파라미터(RB2)를 모두 갖는 공백 반복 화상이거나(도 5a), T3을 참조하는 상위 참조 정보 파라미터(RT2)와 하위 참조 정보 파라미터(RB2)를 모두 갖는 공백 프리뷰 화상이다(도 5b). 본 예에서, 제2 화상(E2)이 이러한 유형의 것이라면, 디스플레이 시퀀스는
도 5a의 경우에, T1, B1, B1, B1, T3, B3, B3, B3,...이거나,
도 5b의 경우에, T1, T1, T1, B1, T3, T3, T3, B3,...가 될 것이다. 따라서, 필드 화상들의 리프레시 레이트는 불규칙할 것이다. 이것은 본 발명에 따라서, 도 5c에 개략적으로 도시한 바와 같이, 상위 참조 정보 파라미터(RT2)가 제1 화상(X1)의 하위 필드(B1)에의 참조를 나타내고(RT2 -> B1) 하위 참조 정보 파라미터(RB2)가 제3 화상(X3)의 상위 필드(T3)에의 참조를 나타낸다면(RB2 -> T3) 향상될 수 있다. 따라서, 공백 화상(E2)는 반복 상위 필드 및 프리뷰 하위 필드를 가질 것이다. 이러한 공백 반복/프리뷰 화상(E2)(RT2 -> B1; RB2->T3)는, 디코딩 및 디스플레이할 때, 화상(E2)에 관련하여 제3 화상(X3)의 시간적으로 가장 가까운 필드, 즉 제1 필드인, 제3 화상(X3)의 상위 필드 화상(T3)의 한 번의 프리뷰와 아울러, 화상(E2)와 관련하여 제1 화상(X1)의 시간적으로 가장 가까운 필드, 즉 마지막 필드인, 제1 화상(X1)의 하위 필드 화상(B1)의 한 번의 반복을 야기한다.
디코딩 및 디스플레이할 때, 3개의 화상들(X1, E2, X3)은 이미지들(T1, B1, B1, T3, T3, B3)의 연속적인 디스플레이를 한다. 따라서, 인터레이스 효과가 효과적으로 회피될 뿐만 아니라, 필드 리프레시 레이트가 일정해진다. 전술한 바와 같이, 플레이어(30)에 의해 발생된 상기 공백 반복/프리뷰 화상(E2)(RT2 -> B1; RB2 -> T3)는 "인터레이스 제거 화상"으로서 표시될 것이다.
두 개의 오리지날 앵커 화상들간에 공백 화상들의 수가 1보다 큰 기수이면 동일한 원리가 적용될 것이고, 모든 이러한 경우들에, 중앙의 공백 화상은 이러한 결합된 반복/프리뷰 화상일 수 있다.
위에서, 프레임 기반의 코딩과 필드-기반의 코딩간에 어떠한 구별도 행해지지 않았다. 캐리어(31)에 기록되는 코딩된 비디오 시퀀스 내 화상들이 프레임 기반의 코딩된 것이면, 각 화상 블록은 상위 필드 및 하위 필드의 정보를 혼합하여 포함한다. 그러나, 디코딩 후에, 디코더(40)의 메모리는 분리하여 상위 필드 정보 및 하위 필드 정보를 포함한다. 한편, 캐리어(31)에 기록된 코딩된 비디오 시퀀스가 필드-기반의 코딩된 것이면, 각 화상 블록은 단지 한 필드, 즉 상위 필드 혹은 하위 필드에 관한 정보를 포함한다. 위의 설명은 프레임 기반의 코딩된 화상들만이 아니라 필드-기반의 코딩된 화상들에 대해서도 유효하다.
전술한 바와 같은 공백 반복 화상들 및 프리뷰 화상들은 기록된 비디오 시퀀스가 필드-기반의 코딩된 것이든 프레임 기반으로 코딩된 것이든 관계없이, 필드-기반 코딩되거나 프레임 기반 코딩될 수 있음에 유의한다.
도 6은 본 발명의 또 다른 실시예를 도시한 것으로, 캐리어(31)에 기록된 코딩된 비디오 시퀀스가 필드-기반 코딩된 화상들을 포함할 경우 사용될 수 있다. 이 실시예는 현재 한 프레임의 두 개의 필드들이 여전히 코딩되는 중에 개별적으로 조작될 수 있기 때문에, 기록된 비디오 시퀀스가 필드-기반 코딩된 경우들에 사용될 수 있다. 다음에서, 처리될 화상이 인트라코딩된 화상(I)인 상황에 대해 본 발명을 설명하는데, 그러나 처리될 화상이 예측 코딩된 화상(P)이면 동일한 것이 적용된다.
화상이 필드-기반 코딩되었을 때, 인터레이스된 이미지의 상위 필드는 연관된 화상 헤더(6a)와 연관된 화상 헤더 확장부(6b)를 갖는 별도의 화상 블록(5)에서 코딩되며, 인터레이스된 이미지의 하위 필드는 연관된 화상 헤더(6a)와 연관된 화상 헤더 확장부(6b)를 갖는 별도의 화상 블록(5)에 코딩되며, 이들 화상 블록들(5) 각각은 상위 필드 및 하위 필드의 정보를 포함한다. 화상이 예측 코딩된 것이면, 상위 참조 정보 파라미터(RT) 및 하위 참조 정보 파라미터(RB)는, 각각, 전술한 바와 유사하게 각 필드에 연관된 것으로 간주될 수 있고, 상기 참조 정보(RT, RB) 각각은 상위 필드 메모리(->T)나 하위 필드 메모리(->B)를 참조할 수 있다.
통상, 어떤 이미지의 양 필드들은 동일한 유형, 즉 둘다 I-유형 혹은 P-유형 혹은 B-유형으로 코딩될 수 있다. 그러면, 오리지날 비디오 시퀀스의 인트라코딩된 화상(XI1)은 도 6a에 각각 TI1 및 BI1으로서 표시된, 개별적으로 인트라코딩된 상위 필드 및 개별적으로 인트라코딩된 하위 필드를 포함할 것이다.
플레이어(30)는 연이어서 이들 인트라코딩된 필드들 둘다를 출력하고 설명한 바와 같이 공백 반복 화상(ER2)를 발생하여 출력하도록 설계될 수 있다. 이어서, 전술한 바와 같이, 디코딩 및 디스플레이할 때, 먼저 상위 필드(TI1)가 디스플레이될 것이며, 이어서 하위 필드(BI1)가 반복되어 디스플레이될 것이다(도 6a 참조).
그러나, 본 발명의 본 실시예에 따라서, 이러한 구현에서 플레이어(30)는 인트라코딩된 화상(XI1)의 제2 화상 블록, 즉 인트라코딩된 하위 필드(BI1)를, 상위 필드 메모리를 참조하는 개별적으로(필드에 기반한) 예측 코딩된 공백 하위 필드(EBP)로 교체하도록 설계되며, 플레이어(30)에 의해 발생된 이 필드는 도 6b에 EBP(RB->T)로서 표시되었다.
디코딩시, 디코더(40)는 먼저 상위 필드(TI1)에 기초하여 상위 필드를 구성할 것이다. 이어서, 플레이어(30)에 의해 발생된, 개별적으로(필드에 기반한) 예측 코딩된 공백 하위 필드(EBP)(RB->T)에 기초하여, 디코더(40)는 상위 필드 메모리(MT)의 내용들을 반복함으로써 디스플레이를 위해 하위 필드를 구성할 것이다. 이에 따라, 디스플레이되는 제1 화상(V1)의 하위 필드는 도 6b에 도시한 바와 같이, 상위 필드(TI1)와 동일할 것이다. 이 프레임의 두 필드들이 동일하다는 사실에 비추어, 어떠한 인터레이스 효과든지 효과적으로 제거됨이 명백할 것이다. 그러므로, 플레이어(30)에 의해 발생되는 개별적으로(필드에 기반한) 예측 코딩된 공백 하위 필드(EBP)(RB->T) 또한 "인터레이스 제거 필드"로서 표시될 것이다.
도 6c는 도 5와 유사하게 이 인터레이스 제거 필드를 도시한 것이다.
이후에, 디코더(40)의 하위 필드 메모리(MB)는 상위 필드 메모리(MT)와 동일한 내용들을 가질 것이다. 이 화상의 반복된 디스플레이에 있어서, 플레이어(30)는 P-유형 혹은 B-유형, 프레임 기반으로 코딩된 혹은 필드-기반으로 코딩된 공백 반복 화상(ER2)를 발생할 수 있고, 여기서, 상위 필드 참조 정보(RT) 및 하위 필드 참조 정보(RB)는 모두가 전술한 바와 같이 하위 필드 메모리를 참조할 수도 있는데, 그러나 이것은 인터레이스 제거 효과를 얻는데 필수적인 것은 아니며, 상위 필드 메모리 및 하위 필드 메모리의 내용들이 동일할 것이기 때문에 이러한 반복 화상의 상위 필드 참조 정보(RT) 역시 상위 필드 메모리를 참조할 수도 있다. 사실, 상위 필드 참조 정보(RT)의 값과 하위 필드 참조 정보(RB)의 값은 현재 관계가 없다. 이러한 반복 화상(ER2)을 디코딩할 때, 디코더(40)는 하위 메모리(MB)의 내용들을 2회에, 혹은 대안으로, 동일한 시각적 결과를 가져오는, 상위 필드 메모리의 내용들에 이어 하위 필드 메모리의 내용들을 출력, 즉, 제1 화상(V1)의 상위 필드와 동일한 내용들(TI1)을 각각이 갖는 상위 필드 화상 및 하위 필드 화상으로 구성된 제2 화상(V2)을 디스플레이할 것이다.
이 경우에도, 디스플레이되는 모든 필드들이 동일하기 때문에, 어지럽게 하는 흔들리는 어떠한 움직임도 관찰되지 않을 것이다.
대안으로서의 실시예에서, 이 기술에 숙련된 자에게 명백한 바와 같이, 인트라코딩된 하위 필드(BI1)가 인트라코딩된 상위 필드(TI1)의 복제로 교체된 다면 동일한 시각적 효과가 달성될 수 있다.
위에서, 도 4a-c를 참조로 하여, 오리지날 화상들이 I-코딩, P-코딩, 혹은 B-코딩된 경우에 있어, 이들 오리지날 화상들에 기초하여 추가 화상들을 발생시켜 이들 화상들의 디스플레이를 반복하는 방법을 설명하였다. 또한, 도 5a-c 및 6a-c를 참조로 하여, 이들 오리지날 화상들이 I-코딩 혹은 P-코딩된 경우에 있어서 있을 수 있는 인터레이스 효과가 효과적으로 제거될 수 있는 방법을 설명하였다. 상기 오리지날 화상들이 B-코딩된 경우에 있어서는 설명한 바와 같이 이러한 B-코딩된 화상을 반복하는 반복 화상이 이러한 B-코딩된 화상 자체의 복제이기 때문에 인터레이스 제거 반복(혹은 프리뷰) 화상을 사용하여 오리지날 B-코딩된 화상 프레임의 디스플레이를 반복(혹은 프리뷰)하는 것은 가능하지 않다.
본 발명은 오리지날 B-코딩된 화상 프레임이 필드-기반의 코딩된 것인 경우에, 이러한 문제에 대한 해결책을 또한 제공한다. 이러한 경우에, 오리지날 비디오 시퀀스에서 B-코딩된 화상(XB1)은 개별적으로 B-코딩된 상위 필드(TB1)와 개별적으로 B-코딩된 하위 필드(BB1)를 포함할 것이다. 인터레이스 제거를 허용하면서 이 화상이 반복되게 하기 위해서, 이 구현에서의 플레이어(30)는 상위 필드 및 하위 필드가 동일하고, 오리지날 화상의 필드들 중 한 필드의 복제들인 B-코딩된 반복(혹은 프리뷰) 화상을 발생하도록 설계된다. 플레이어(30)는 B-코딩된 오리지날 화상(XB1)의 제2 화상 블록, 즉 B-코딩된 하위 필드(BB1)을 B-코딩된 상위 필드(TB1)의 복제로 교체하도록 설계될 수도 있다.
조작된 B-코딩된 화상 프레임을 디코딩할 때, 디코더(40)는 오리지날 상위 필드(TB1)에 기초하여 상위 필드를 먼저 구성할 것이며, 이어서 언급한 바와 같이 오리지날 상위 필드(TB1)와 동일한, 플레이어(30)에 의해 발생되는 하위 필드(BB1)에 기초하여 하위 필드를 구성할 것이다. 따라서, 디스플레이된 제1 화상(VI)의 하위 필드는 이의 상위 필드와 동일할 것이다. 이 프레임의 두 필드들이 동일하다는 사실에 비추어, 어떠한 인터레이스 효과든지 효과적으로 제거됨이 명백할 것이다. 그러므로, 플레이어(30)에 의해 발생되는 상기 "인위적" 하위 필드 또한 "인터레이스 제거 필드"로서 표시될 것이다.
위에서, 슬로우 모션의 경우에 대해 상세히 본 발명이 설명되었다. 요약하여, 오리지날 화상들은 1회 이상 디스플레이된다. 그러나, 본 발명은 도 7a를 참조하여 다음에 설명되는 바와 같이 고속 재생의 경우에도 적용될 수 있다.
도 7a의 표에서 첫 번째 3개의 라인들은 오리지날 비디오 시퀀스에 관계된 것이다. 도 7a에서 제1 라인은 오리지날 비디오 시퀀스에 기초하여 디스플레이 장치에 디스플레이되는 연속한 이미지들을 나타낸다. 제2 라인은 디스플레이 상에, 오리지날 시퀀스 내 연속한 화상들의 위치를 나타낸다. 제3 라인은 이들 오리지날 화상들의 화상유형을 나타낸다.
도 7a의 표에서 다음 라인들은 오리지날 시퀀스에 기초하여 플레이어(30)에 의해 발생되는 트릭 재생 시퀀스에 관계된 것이다. 트릭 재생 시퀀스는 오리지날 시퀀스보다는 화상들을 덜 포함하며, 사실, 트릭 재생 시퀀스는 어떤 오리지날 화상들을 스킵함으로써 발생된다. 트릭 재생 시퀀스를 발생하는데 사용되는, 즉 오리지날 시퀀스로부터 "추출되는" 오리지날 시퀀스로부터의 화상들은 도 7a의 제4 라인에 화살표들로 표시되었다. 제5 라인은 트릭 재생 시퀀스 내 화상의 위치를 나타내며, 제6 라인은 트릭 재생 시퀀스 내 화상들에 의해 발생된 이미지를 나타낸다.
도 7a로부터 모든 오리지날 이미지들이 다 디스플레이되는 것은 아님이 명백할 것이다. 이미지들이 스킵된다면, 정규 재생에서보다 빠른 움직임이 달성되고, 고속 순방향 팩터는 스킵되는 이미지들의 수에 의존한다. 본 예에서, 오리지날 코딩된 비디오 시퀀스는 각각의 GOP가 IBBPBBPBBPBB 포맷으로 된 것인 12개의 화상들을 포함하는 GOP들만을 포함하며, 플레이어(30)는 고속 순방향 트릭 재생 모드에서 I-화상들만을 사용하고 나머지 화상들은 스킵하는 것으로 가정한다. 추출된 인트라코딩된 화상들은 도 7a의 제7 라인에서 XI1, XI2, XI3, 등으로서 표시되었다.
비트 레이트 고찰은 별문제로 하고, 이러한 오리지날 비디오 시퀀스로부터 추출된 이들 인트라코딩된 화상들만을 포함하는 비디오 시퀀스는 TV 화면에 보내질 수도 있고 결과로 나온 디스플레이는 고속 순방향 팩터(12)에 대응할 것이다.
보다 고속의 순방향 팩터를 원한다면, I-코딩된 화상들이 스킵될 수도 있다. 보다 낮은 고속 순방향 팩터 혹은 보다 낮은 리프레시 레이트로 트릭 재생이 되게 하기 위해서, 비디오 플레이어(30)는 공백 화상들(E)(공백 반복 화상들(ER) 및/또는 공백 프리뷰 화상들(EP) 및/또는 공백 보간 화상들(EI) 및/또는 공백 반복/프리뷰 화상들(ER/P))을 삽입시킨다. 디코더(40)에 의해 디코딩될 때, 이들 화상들(E)은 이전 인트라코딩된 화상(반복) 혹은 다음 인트라코딩된 화상(프리뷰) 혹은 이들의 조합을 추가로 디스플레이하는 것으로 된다.
도 7b는 트릭 재생 시퀀스의 화상들을 도시한 것이다. 도 7b의 제1 라인은 도 7a의 제7 라인에 표시되기도 한, 오리지날 시퀀스로부터 추출된 인트라코딩된 화상들(XI1, XI2, XI3, 등)을 나타낸다. 도 7b의 제1 라인은 또한 이 예시적 트릭 재생 시퀀스가 각각의 오리지날 인트라코딩된 화상들(XI1, XI2, XI3, 등) 다음에, 번호 i가 선행의 오리지날 인트라코딩된 화상(XIi)의 번호이고 번호 j는 동일 오리지날 화상을 참조하는 공백 화상들을 구별하는 것인 Eij로서 번호를 매긴 두 개의 공백 화상들(E)을 항시 포함하는 것을 나타낸다. 이 예에서, 공백 화상들은 모두가 반복 화상들이다.
이 예시적 트릭 재생 시퀀스의 디코딩시 디스플레이되는 이미지들은 도 7b의 제2 라인에 표시되었다. 이 트릭 재생 시퀀스는 오리지날 시퀀스에 관하여 모든 고속 순방향 팩터 4로 됨이 명백할 것이다.
추출된 시퀀스 내 오리지날 화상 다음에 삽입되는 공백 반복 화상들(E)가 많으면 많을수록 이 오리지날 화상은 더 많은 횟수로 디스플레이될 것이며, 고속 순방향 팩터는 더 작아지게 될 것이다. 이 기술에 숙련된 자에게 명백한 바와 같이, 각각의 화상을 다른 횟수로 반복함으로써 상이한 고속 순방향 팩터들이 달성될 수 있다. 또한, 모든 화상들이 동일 횟수로 반복될 필요는 없는데, 예를 들면, 제2 화상이 2회 반복될 때 제1 화상이 3회 디스플레이 된다면, 평균 고속 순방향 팩터 4.8이 달성될 것이다.
슬로우 모션에 관하여 앞에서 기술한 바와 유사하게, 트릭 재생 시퀀스는 반복 화상들, 프리뷰 화상들, 보간 화상들, 및 반복/프리뷰 화상들을 포함할 수 있다.
화상들이 반복하여 디스플레이 된다는 사실에 비추어, 인터레이스 효과 문제가 발생할 수도 있을 것이다. 이 문제를 극복하기 위해서, 이 구현에서 디지털 비디오 플레이어(30)는 반복될 각각의 오리지날 화상(XIi) 다음에, P-코딩된 혹은 B-코딩된 인터레이스 제거 화상(Ei1)으로서(RT->B; RB->B) 제1 공백 반복 화상(Ei1)을 발생하도록 설계된다. 혹은, 인트라코딩된 화상들(XIi)이 필드-기반의 코딩된 것이면, 디지털 비디오 플레이어(30)는 오리지날 인트라코딩된 화상(XIi)의 오리지날 하위 필드를 이의 대응하는 상위 필드의 복제로, 혹은 대안으로, 도 6a-c를 참조로 전술한 바와 같이, 플레이어(30)에 의해 발생된 개별적으로(필드-기반) 예측 코딩된 공백 하위 필드(EBP)(RB->T)로 교체하도록 설계될 수 있다.
위에서, 패스트 모션 상황에 대한 발명을 오리지날 시퀀스로부터 I 프레임들만이 추출되는 상황을 예로서 기술하였다. 그러나, 본 발명에 따라서 오리지날 P 프레임들을 사용하는 것, 즉 예측 코딩된 프레임들의 디스플레이를 반복하는 것이 가능하다. 결국, 위에서 설명한 바와 같이, P-프레임이 처리된 후에, 디코더의 비디오 메모리들(MT, MB)은 마지막으로 디스플레이된 화상을 포함할 것이다. 이 화상은 공백 반복 프레임을 디코더에 보냄으로써 다시 디스플레이될 수 있고, 인터레이스 효과는 지금 설명한 바와 같이 이 공백 반복 프레임을 인터레이스 제거 프레임으로서 구성함으로써 제거될 수 있다.
위에서, 수신장치가 한편으로는 MPEG 신택스를 완전히 만족하고 다른 한편으로는, 디코딩 및 디스플레이할 때, 트릭 재생, 즉 오리지날 시퀀스의 정규속도와는 다른 디스플레이 속도로 되는 신호를 수신하도록, 디지털 인터페이스에 통한 전송에 적합한, MPEG-2 인코딩된 비디오 신호가 발생될 수 있는 방법을 기술하였다. 특별한 경우는 일시정지이다. 플레이어가 일시정지 모드로 전환된다면, 플레이어는 통상 인터페이스를 통해 비디오 신호들을 보내는 것을 중지한다. 디지털 전송 링크의 경우에, 이러한 것에 의해, 수신장치는 미규정된 상태에 들어가게 될 수도 있고, 이러한 수신장치에 접속된 디스플레이는 공백상태로 될 수도 있으며; 나중에 전송이 재개되면, 수신장치는 수신된 신호를 디코딩할 때 곤란할 수도 있고, 디스플레이는 플레이어가 재생모드로 전환된 후에 얼마간 공백 상태에 있을 수 있다.
이들 문제들을 피하기 위해서, 본 발명에 따라서, 송신장치(플레이어)는 바람직하게는 디지털 인터페이스를 통해 공백 반복 화상들의 연속한 스트림을 발생하여 전송하도록 장비되며, 적어도 이러한 스트림의 제1 공백 화상은 인터레이스 제거 화상이다. 이어서, 수신 디코더는 유효한 MPEG 스트림을 수신할 것이며, 플레이어가 일시정지 모드에 있는 한, 정지 이미지를 연속하여 디스플레이 할 것이다.
바람직한 구현에서, 송신장치가 일시정지 모드로 전환되었을 때, 이 장치는 인트라코딩된 화상까지 정규 재생을 계속하며(평균적으로 이것은 통상 0.25초 미만으로 발생한다), 이어서 공백 화상들을 보내는 것을 시작한다.
다른 문제에 대해 동일한 해결책이 가능하다. 플레이어가 정지 이미지 모드로 전환된다면, 디스플레이는 연속적으로 현재의 이미지를 보여주는 것이 사용자의 의도이다. 통상, 이것은 플레이어가 레코드로부터 한 이미지를 연속하여 읽고 읽은 비디오 신호를 연속적으로 보냄으로써 달성된다. 특히, 자기 기록물들의 경우, 이것은 레코드에 손상을 가할 수도 있다. 또한, I 코딩된 화상들의 경우, 필요한 비트 레이트는 매우 높을 것이고, P-코딩된 화상들의 경우에, 간단히 이들 화상들을 반복하는 것은 가능하지 않다. 이들 문제들을 피하기 위해서, 송신장치(플레이어)는 본 발명에 따라서, 바람직하게는 정지 이미지 모드로 전환되었을 경우 디지털 인터페이스를 통해 공백 반복 화상들의 연속한 스트림을 발생하여 전송하도록 장비되고, 이러한 스트림의 적어도 제1 공백 화상은 인터레이스 제거 화상이다. 이어서, 수신 디코더는 유효 MPEG 스트림을 수신할 것이며, 플레이어가 정지 이미지 모드에 있는 한, 정지 이미지를 계속하여 디스플레이 할 것이다.
수신 디코더가 공백의 반복 화상들의 연속한 스트림만을 수신한다면, 가능한 전송 오류들로부터 복구될 수 없다. 또한, 수신 디코더는 필드 메모리들이 올바른 앵커 정보를 포함하지 않는다면 공백 반복 화상들만의 연속 스트림에 기초하여 정지 이미지를 디스플레이할 수 없고, 플레이어가 일시정지 모드 혹은 정지 이미지 모드에 들어간 후에 디코더가 스위치 온 되면, 이의 메모리들은 비어있게 된다. 이들 문제들은 본 발명의 다른 바람직한 실시예에 따라서 송신장치(플레이어)가 수시로, 오리지날 스트림으로부터의 오리지날 인트라코딩된 화상을 공백 반복 화상들의 상기 연속한 스트림에 삽입하게 장비된다면 피할 수 있다. 사실, 플레이어는 이때 한 오리지날 인트라코딩된 화상과 미리결정된 개수의 공백 반복 화상들로 구성된 인위적 GOP들을 발생할 것이며, 상기 오리지날 인트라코딩된 화상은 모든 이러한 인위적 GOP들에 대해 동일하다. 이러한 인위적인 GOP들은 상호 동일한 길이들을 가질 수도 있는데, 그러나 이것은 필수적인 것은 아니며, 범위 내에서, 이러한 인위적 GOP들의 길이들은 원하는 랜덤 액세스 시간과 인터페이스를 통한 평균 비트 레이트를 고려하여, 임의로 선택될 수 있다. 또한, 이러한 인위적인 GOP들에서, 공백 화상들은 B-코딩된 화상들이 미래의 앵커 화상이 수신된 경우에만 디코딩될 수 있고 버퍼 메모리에 저장되므로, 단지 P-유형일 수 있다.
이에 따라, 본 발명은 오리지날 코딩된 비디오 시퀀스에 기초하여, 트릭 재생에 사용하기 위한 것으로서 디코딩 및 디스플레이할 때, 비트 전송 레이트는 제한된 상태에 있어도 오리지날 속도와는 다른 재생 속도로 되는 압축 비디오 신호를 발생하는 방법, 및 이 방법을 구현하는 장치들을 제공하다. 본 발명에 따라서, 한정된 수의 화상들만이 오리지날 비디오 시퀀스로부터 추출되고, 이에 따라 재생 속도가 증가하게 되며, 각각의 추출된 화상은 인터레이스 효과가 효과적으로 회피되게 이러한 방법으로 적어도 한번 반복된다. 발생된 비디오 시퀀스에 적어도 하나의 공백 반복 혹은 프리뷰 화상을 삽입함으로써 화상의 반복된 디스플레이가 얻어진다.
제1 실시예에서, 인터레이스 효과는 반복될 오리지날 화상 바로 다음에 제1 반복 화상이, 하위 필드 메모리를 다 참조함에 따라 오리지날 하위 필드를 반복하여 디스플레이 하게 되는 상위 필드 참조 정보(RT)와 하위 필드 참조 정보(RB)를 갖는 인터레이스 제거 화상이기 때문에 효과적으로 회피된다.
제2 실시예에서, 인터레이스 효과는, 반복될 오리지날 화상의 하위 필드가 상위 필드 메모리를 참조하는 하위 필드 참조 정보(RB)를 갖는 인터레이스 제거 하위 필드로 교체되어, 오리지날 상위 필드를 반복하여 디스플레이하게 되기 때문에, 효과적으로 회피된다.
본 발명의 범위는 위에 논한 예들로 한정되는 것이 아니라 첨부한 청구범위들에 정한 바와 같은 본 발명의 범위에서 벗어나지 않고 몇 가지 개정 및 수정이 가능함을 이 기술에 숙련된 자에게 명백할 것이다. 예를 들면, 플레이어(30)는 사용자로 하여금 선택된 고속 순향방 팩터를 입력하게 하고, 평균적으로 이러한 선택된 고속 순방향 팩터를 얻는데 필요한 반복 프레임들의 수를 계산할 수 있게 설계될 수 있다. 고속 순방향 팩터는 연속적으로 가변될 수도 있다.
위에서, 상위 프레임들은 하위 프레임들 전에 디스플레이 되는 것으로 가정하였다. 본 발명의 공백 반복 화상(ER)은 이전 앵커 화상의 마지막으로 디스플레이 된 필드를 반복하고 따라서, 하위 필드들이 상위 필드들 전에 디스플레이 되어도, 인터레이스 제거 반복 화상(ER)의 상위 필드 참조 정보(RT2) 및 하위 필드 참조 정보(RB2) 모두 상위 필드 메모리를 참조한다는 것은 이 기술에 숙련된 자에게 명백할 것이다. 특별한 변경을 가하여 공백 프리뷰 화상들(EP)에 동일한 것이 적용된다.
또한, 본 발명을 고속 순방향 트릭 재생의 상황에 대해 기술하였으나, 본 발명은 순방향 재생에 한정되는 것이 아니라 이 또한 가능하게는 상이한 속도 팩터들로 역방향 재생에 똑같이 적용될 수 있다.
위에서, 오리지날 비디오 시퀀스는 디스크 형상 매체에 기록되는 경우에 대해 본 발명을 설명하였다. 이러한 디스크 형상 매체는 자기 기록물 혹은 광학 기록물을 포함할 수 있다. 그러나, 오리지날 비디오 시퀀스는 예를 들면 자기 테이프인 테이프 유형의 매체에 기록될 수도 있다. 플레이어(30)는 레코드를 읽을 수 있기 위해서 레코드의 유형에 맞게 구성될 것이다. 그러므로, 설명 및 청구항에서 "플레이어"라는 일반적인 용어가 사용되는 경우, 이 용어는 자기 디스크 플레이어, 광학 디스크 플레이어, 자기 테이프 플레이어 등을 포함하도록 한 것이다.
위에서, 플레이어로부터 출력된 신호가 직접 디스플레이를 위해 TV에 전송되는 경우에 대해 본 발명을 설명하였다. 그러나, 플레이어(130; 도 8a)로부터 출력된 신호는 기록 매체(135)에 기입하도록 구성된 어떤 종래의 레코더(133)에 의해서, 어떤 적합한 기록 매체(135)에 기록될 수도 있다. 이러한 레코더(133)는 별도의 레코더이거나, 플레이어(130)에 일체로 될 수 있다. 이와 같이 하여 기록된 압축된 디지털 비디오 기록물이 어떤 종래의 플레이어에 의해 정규속도로 재생되어 TV에 전송될 때, 결과적인 디스플레이는 트릭 재생 속도의 디스플레이일 것이다.
나중에 정규속도 재생에 의해 오리지날 속도와는 다른 속도로 디스플레이로 되게, 트릭 재생 비디오 시퀀스가 발생되어 기록되고 있을 때, 플레이어가 증가된 속도로 오리지날 기록물을 읽을 필요가 없다. 대안으로서, 장치(플레이어)는 전술한 본 발명에 따르는 트릭 재생 시퀀스를 구성하고 적합한 매체에 트릭 재생 시퀀스를 기입하기 위해서, 정규속도로 오리지날 기록물을 읽도록 설계될 수도 있다. 이와 같이 하여 기록된 트릭 재생 시퀀스가 정규속도로 어떤 종래의 플레이어에 의해 재생되고 TV에 전송될 때, 결과적인 디스플레이는 오리지날 시퀀스의 속도와는 다른 속도를 갖는 디스플레이가 될 것이다.
이러한 경우에, 오리지날 비디오 시퀀스는 레코드 형태로 얻어질 필요는 없다. 장치는 또한 입력(236)에 외부원(단순하게 하기 위해서 도시하지 않았음), 예를 들면 외부 플레이어로부터의 오리지날 비디오 신호를 수신하고 트릭 재생 시퀀스를 구성하여 레코더(233)를 통해 적합한 매체(235)에 트릭 재생 시퀀스를 기입하도록 구성된 수신기(230; 도 8b)를 포함할 수도 있다.
대안으로, 장치는 입력(337)에 디지털 비디오 방송을 수신하도록 구성된 수신기(330; 도 8c)를 포함할 수도 있다. 입력(337)은 무선 방송을 수신하기 위한 안테나로서 도 8c에 도시되었는데, 입력(337)은 케이블 입력일 수도 있다.
위에서, 인터레이스된 필드 유형의 비디오 화상들에 대해 본 발명을 설명하였으나, 순차 비디오에도 똑같이 본 발명이 적용될 수 있고, 물론 이 때에도 인터레이스 효과는 어떠한 역할도 하지 않는다.

Claims (51)

  1. 삭제
  2. MPEG2 포맷에 따른 오리지날 비디오 시퀀스에 기초하여 압축된 비디오 신호를 발생시키기 위한 방법으로서, 상기 오리지날 비디오 시퀀스는 두개의 필드를 갖는 프레임들을 포함하는, 상기 압축된 비디오 신호를 발생시키기 위한 방법에 있어서,
    적어도 하나의 공백 화상(E) 즉, 코딩된 매크로 블록이 없는 화상을 발생시키고 인코딩하는 단계로서, 상기 공백화상은 디코딩시 적어도 하나의 앵커 화상(anchor picture)의 반복된 디스플레이를 하기 위해 상기 오리지날 비디오 시퀀스의 상기 적어도 하나의 앵커 화상을 참조하는, 상기 적어도 하나의 공백화상을 발생시키고 인코딩하는 단계를 포함하고,
    상기 공백화상(E)은 적어도 하나의 필드를 포함하며, 디코딩시 상기 공백화상(E)의 이 필드가 인터레이스 효과(interlace effect)를 제거하기 위해, 이 공백화상(E)이 참조하는 상기 앵커 화상의 시간적으로 가장 가까운 필드의 반복된 디스플레이를 하도록 구성되며,
    상기 공백화상(E)은 두 개의 필드들을 포함하고, 상기 두 개의 필드들은 디코딩시 이 공백 화상(E)의 각 필드가 인터레이스 효과를 제거하기 위해서 이 공백 화상(E)이 참조하는 앵커 화상의 시간적으로 가장 가까운 동일한 필드의 반복된 디스플레이를 하도록 구성된, 압축된 비디오 신호 발생 방법.
  3. 제2항에 있어서,
    오리지날 비디오 시퀀스로부터 오리지날 인트라코딩되거나(I-type) 예측 코딩된(P-type) 화상(X1)을 추출하는 단계; 및
    상기 추출된 오리지날 화상 뒤에 인코딩된 공백화상(E2)을 발생시키고 부가하는 단계를 더 포함하고,
    상기 공백화상은 제2 필드 메모리를 참조하는(RT2->B) 제1 필드 참조 정보(RT2)와, 동일한 제2 필드 메모리를 참조하는(RB2->B) 제2 필드 참조 정보(RB2)를 갖는 공백 반복 화상(ER2)이어서, 상기 공백 반복 화상(ER2)의 디코딩시, 상기 오리지날 화상(X1)의 제2 필드 이미지가 두 번 반복되는, 압축된 비디오 신호 발생 방법.
  4. 제3항에 있어서,
    상기 공백 반복 화상(ER2)은 예측 코딩된(P-type) 화상이고;
    적어도 하나의 또 다른 공백 반복 화상(ER3)이 상기 공백 반복 화상(ER2) 뒤에 발생되고 부가되며;
    상기 또 다른 공백 반복 화상(ER3)은 제1 필드 메모리를 참조하는(RT3->T2) 제1 필드 참조 정보(RT3)와 제2 필드 메모리를 참조하는(RB3->B2) 제2 필드 참조 정보(RB3)를 포함하는 공백 예측 코딩된(P-type) 화상인, 압축된 비디오 신호 발생 방법.
  5. 제3항에 있어서,
    상기 공백 반복 화상(ER2)은 예측 코딩된(P-type) 화상이고;
    적어도 하나의 또 다른 공백 반복 화상(ER3)이 상기 공백 반복 화상(ER2) 뒤에 발생되고 부가되며;
    상기 또 다른 공백 반복 화상(ER3)은, 제1 필드 메모리를 참조하거나(RT3->T2) 제2 필드 메모리를 참조하는(RT3->B2) 제1 필드 참조 정보(RT3)와, 제2 필드 메모리를 참조하는(RB3->B2) 제2 필드 참조 정보(RB3)를 포함하는 공백 양 방향 예측 코딩된(B-type) 화상인, 압축된 비디오 신호 발생 방법.
  6. 제3항에 있어서,
    상기 공백 반복 화상(ER2)은 양 방향 예측 코딩된(B-type) 화상이고;
    적어도 하나의 또 다른 공백 반복 화상(ER3)이 상기 공백 반복 화상(ER2) 뒤에 발생되고 부가되며;
    상기 또 다른 공백 반복 화상(ER3)은 제1 공백 반복 화상(ER2)과 같은, 압축된 비디오 신호 발생 방법.
  7. 제2항에 있어서,
    오리지날 비디오 시퀀스로부터 오리지날 인트라코딩되거나(I-type) 예측 코딩된(P-type) 화상(X1)을 추출하는 단계; 및
    상기 추출된 오리지날 화상 뒤에 인코딩된 공백화상(E2)을 발생시키고 부가하는 단계를 더 포함하고,
    상기 공백화상은 제1 필드 메모리를 참조하는(RT2->T) 제1 필드 참조 정보(RT2)와, 동일한 제1 필드 메모리를 참조하는(RB2->T) 제2 필드 참조 정보(RB2)를 갖는 공백 프리뷰 화상(EP2)이어서, 상기 공백 프리뷰 화상(EP2)의 디코딩시 상기 오리지날 화상(X1)의 제1 필드 이미지가 두 번 프리뷰되는, 압축된 비디오 신호 발생 방법.
  8. 제7항에 있어서,
    상기 공백 프리뷰 화상(EP2)은, 양방향 예측 코딩된 (B-type) 화상이고;
    적어도 하나의 또 다른 공백 프리뷰 화상이 상기 공백 프리뷰 화상(EP2) 뒤에 발생되고 부가되며;
    상기 또 다른 공백 반복 화상은 제1 공백 프리뷰 화상(EP2)과 같은, 압축된 비디오 신호 발생 방법.
  9. MPEG2 포맷에 따른 오리지날 비디오 시퀀스에 기초하여 압축된 비디오 신호를 발생시키기 위한 방법으로서, 상기 오리지날 비디오 시퀀스는 두개의 필드를 갖는 프레임들을 포함하는, 상기 압축된 비디오 신호를 발생시키기 위한 방법에 있어서,
    적어도 하나의 공백 화상(E) 즉, 코딩된 매크로 블록이 없는 화상을 발생시키고 인코딩하는 단계로서, 상기 공백화상은 디코딩시 적어도 하나의 앵커 화상(anchor picture)의 반복된 디스플레이를 하기 위해 상기 오리지날 비디오 시퀀스의 상기 적어도 하나의 앵커 화상을 참조하는, 상기 적어도 하나의 공백화상을 발생시키고 인코딩하는 단계를 포함하고,
    상기 공백화상(E)은 적어도 하나의 필드를 포함하며, 디코딩시 상기 공백화상(E)의 이 필드가 인터레이스 효과(interlace effect)를 제거하기 위해, 이 공백화상(E)이 참조하는 상기 앵커 화상의 시간적으로 가장 가까운 필드의 반복된 디스플레이를 하도록 구성되며,
    상기 공백 화상(E)은 상이한 앵커 화상들을 참조하는 두 개의 필드들을 포함하고, 상기 공백 화상(E)의 각 필드는, 디코딩시, 인터레이스 효과를 제거하기 위해 이 필드가 참조하는 상기 앵커 화상의 시간적으로 가장 가까운 필드의 반복된 디스플레이를 하도록 구성된, 압축된 비디오 신호 발생 방법.
  10. 제9항에 있어서,
    오리지날 비디오 시퀀스로부터 제1 오리지날 인트라코딩되거나(I-type) 예측 코딩된(P-type) 화상(X1)을 추출하고, 이 제1 화상을 제1 메모리(MT1, MB1)에 저장하는 단계;
    상기 오리지날 비디오 시퀀스로부터 제2 오리지날 인트라코딩되거나(I-type) 예측 코딩된(P-type) 화상(X3)을 추출하고, 이 제2 화상을 제2 메모리(MT2, MB2)에 저장하는 단계; 및
    두 개의 추출된 오리지날 화상 뒤에 공백화상(E2)을 발생시키고 부가하는 단계를 더 포함하고,
    상기 공백화상은 제1 메모리의 제2 필드 메모리를 참조하는(RT2->B1) 제1 필드 참조 정보(RT2)와 제2 메모리의 제1 필드 메모리를 참조하는(RB2->T3) 제2 필드 참조 정보(RB2)를 갖는 공백 반복/프리뷰 화상(ER/P2)이어서, 상기 공백 반복/프리뷰 화상(ER/P2)의 디코딩시, 상기 제1 오리지날 인트라코딩되거나(I-type) 예측 코딩된(P-type) 화상(X1)의 제2 필드 이미지가 반복되고 상기 제2 오리지날 인트라코딩되거나(I-type) 예측 코딩된(P-type) 화상(X3)의 제1 필드 이미지가 프리뷰되는, 압축된 비디오 신호 발생 방법.
  11. MPEG2 포맷에 따른 오리지날 비디오 시퀀스에 기초하여 압축된 비디오 신호를 발생시키기 위한 방법으로서, 상기 오리지날 비디오 시퀀스는 두개의 필드를 갖는 프레임들을 포함하는, 상기 압축된 비디오 신호를 발생시키기 위한 방법에 있어서,
    적어도 하나의 공백 화상(E) 즉, 코딩된 매크로 블록이 없는 화상을 발생시키고 인코딩하는 단계로서, 상기 공백화상은 디코딩시, 적어도 하나의 앵커 화상(anchor picture)의 반복된 디스플레이를 하기 위해 상기 오리지날 비디오 시퀀스의 상기 적어도 하나의 앵커 화상을 참조하는, 상기 적어도 하나의 공백화상을 발생시키고 인코딩하는 단계를 포함하고,
    오리지날 비디오 시퀀스로부터 제1 오리지날 인트라코딩되거나(I-type) 예측 코딩된(P-type) 화상(X1)을 추출하는 단계;
    상기 오리지날 비디오 시퀀스로부터 제2 오리지날 인트라코딩되거나(I-type) 예측 코딩된(P-type) 화상(X3)을 추출하는 단계;
    두 개의 추출된 오리지날 화상들 뒤에 공백화상(E2)을 발생시키고 부가하는 단계를 더 포함하며,
    상기 공백화상(E)은 적어도 하나의 필드를 포함하며, 디코딩시, 상기 공백화상(E)의 이 필드가 인터레이스 효과(interlace effect)를 제거하기 위해, 이 공백화상(E)이 참조하는 상기 앵커 화상의 시간적으로 가장 가까운 필드의 반복된 디스플레이를 하도록 구성되며,
    상기 공백화상은, 디코딩시 상기 제1 오리지날 인트라코딩되거나(I-type) 예측 코딩된(P-type) 화상(X1)의 제2 필드와 상기 제2 오리지날 인트라코딩되거나(I-type) 예측 코딩된(P-type) 화상(X3)의 제1 필드 사이의 보간(interpolation)을 디스플레이하는 제1 필드 정보를 갖는 공백 보간 화상(EI2)이고, 상기 공백 보간 화상(EI2)은, 디코딩시, 상기 제1 오리지날 인트라코딩되거나(I-type) 예측 코딩된(P-type) 화상(X1)의 제2 필드와 상기 제2 오리지날 인트라코딩되거나(I-type) 예측 코딩된(P-type) 화상(X3)의 제1 필드 사이의 동일한 보간(interpolation)을 디스플레이하는 제2 필드 정보를 갖는, 압축된 비디오 신호 발생 방법.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
KR1020027017659A 2001-04-24 2002-04-12 비디오 신호 발생 방법 KR100941388B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP01201477.5 2001-04-24
EP01201477 2001-04-24
PCT/IB2002/001328 WO2002087232A1 (en) 2001-04-24 2002-04-12 Method and device for generating a video signal

Publications (2)

Publication Number Publication Date
KR20030013466A KR20030013466A (ko) 2003-02-14
KR100941388B1 true KR100941388B1 (ko) 2010-02-10

Family

ID=8180197

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027017659A KR100941388B1 (ko) 2001-04-24 2002-04-12 비디오 신호 발생 방법

Country Status (6)

Country Link
US (1) US20020167607A1 (ko)
EP (1) EP1393557A1 (ko)
JP (1) JP2004521559A (ko)
KR (1) KR100941388B1 (ko)
CN (1) CN100551009C (ko)
WO (1) WO2002087232A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030159152A1 (en) * 2001-10-23 2003-08-21 Shu Lin Fast motion trick mode using dummy bidirectional predictive pictures
JP3897684B2 (ja) * 2002-11-22 2007-03-28 キヤノン株式会社 画像記録方式
US6965726B2 (en) * 2003-02-19 2005-11-15 Thomson Licensing Sa. Slow video display trick mode
US20070230574A1 (en) * 2004-05-25 2007-10-04 Koninklijke Philips Electronics N.C. Method and Device for Encoding Digital Video Data
NO327155B1 (no) 2005-10-19 2009-05-04 Fast Search & Transfer Asa Fremgangsmåte for å vise videodata innenfor resultatpresentasjoner i systemer for aksessering og søking av informasjon
WO2007072419A2 (en) * 2005-12-23 2007-06-28 Koninklijke Philips Electronics N.V. A device for and a method of processing a data stream
WO2007072244A1 (en) * 2005-12-23 2007-06-28 Koninklijke Philips Electronics N.V. A device for and a method of processing a data stream comprising a plurality of frames
JP2009524328A (ja) * 2006-01-20 2009-06-25 エヌエックスピー ビー ヴィ ビデオストリーム信号におけるフレームデータの置換
US8964841B2 (en) 2007-02-21 2015-02-24 Nec Corporation Moving image stream processing apparatus, moving image reproduction apparatus equipped with the same, method, and program
US20080260352A1 (en) * 2007-04-19 2008-10-23 Gary Turner Recorded advertisement enhancement
WO2009006542A2 (en) * 2007-07-03 2009-01-08 3M Innovative Properties Company System and method for assessing effectiveness of communication content
CN100454982C (zh) * 2007-11-19 2009-01-21 新奥特(北京)视频技术有限公司 一种工程快照文件的生成系统和装置
JP4364283B2 (ja) * 2008-03-26 2009-11-11 株式会社東芝 順次走査変換装置及び順次走査変換方法
US9792363B2 (en) * 2011-02-01 2017-10-17 Vdopia, INC. Video display method
US8988578B2 (en) 2012-02-03 2015-03-24 Honeywell International Inc. Mobile computing device with improved image preview functionality
US10893266B2 (en) * 2014-10-07 2021-01-12 Disney Enterprises, Inc. Method and system for optimizing bitrate selection
EP3526794A1 (en) 2016-10-14 2019-08-21 Rovi Guides, Inc. Systems and methods for providing a slow motion video stream concurrently with a normal-speed video stream upon detection of an event

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999065239A2 (en) * 1998-06-11 1999-12-16 Koninklijke Philips Electronics N.V. Trick play signal generation for a digital video recorder

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0410880A (ja) * 1990-04-27 1992-01-16 Matsushita Electric Ind Co Ltd 映像信号の録画再生方法
DE4233354A1 (de) * 1992-10-05 1994-04-07 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Bildwechselfrequenz-Verdoppelung
US5717816A (en) * 1993-01-13 1998-02-10 Hitachi America Ltd. Method and apparatus for the selection of data for use in VTR trick playback operation in a system using intra-coded video frames
US5828786A (en) * 1993-12-02 1998-10-27 General Instrument Corporation Analyzer and methods for detecting and processing video data types in a video data stream
GB9421206D0 (en) * 1994-10-20 1994-12-07 Thomson Consumer Electronics Digital VCR MPEG- trick play processing
US6047100A (en) * 1994-10-20 2000-04-04 Thomson Licensing S.A. Trick play stream derivation for pre-recorded digital video recording
JP3197855B2 (ja) * 1997-11-06 2001-08-13 三洋電機株式会社 Mpegデータの再生装置
GB9807202D0 (en) * 1998-04-03 1998-06-03 Nds Ltd A method and apparatus for processing compressed video data streams
US6526097B1 (en) * 1999-02-03 2003-02-25 Sarnoff Corporation Frame-level rate control for plug-in video codecs
US6865747B1 (en) * 1999-04-01 2005-03-08 Digital Video Express, L.P. High definition media storage structure and playback mechanism

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999065239A2 (en) * 1998-06-11 1999-12-16 Koninklijke Philips Electronics N.V. Trick play signal generation for a digital video recorder
KR20010022752A (ko) * 1998-06-11 2001-03-26 요트.게.아. 롤페즈 디지털 비디오 레코더용 트릭 플레이 신호 발생

Also Published As

Publication number Publication date
CN1465180A (zh) 2003-12-31
WO2002087232A1 (en) 2002-10-31
EP1393557A1 (en) 2004-03-03
JP2004521559A (ja) 2004-07-15
US20020167607A1 (en) 2002-11-14
KR20030013466A (ko) 2003-02-14
CN100551009C (zh) 2009-10-14

Similar Documents

Publication Publication Date Title
JP4719418B2 (ja) ダミーの双方向予測フィールドピクチャの生成
KR100941388B1 (ko) 비디오 신호 발생 방법
KR100416873B1 (ko) 부호화데이터재생방법및장치
JP4859343B2 (ja) インタレースのダミー双方向予測ピクチャを使用したコマ落としトリックモード
US6873786B2 (en) Reverse trick modes on non-progressive video using special groups of pictures
US7643724B2 (en) Fast motion trick mode using non-progressive dummy predictive pictures
JP4790214B2 (ja) インタレースのダミー双方向予測ピクチャの生成
US20040223735A1 (en) Forward trick modes on non-progressive video using special groups of pictures
JPH06339113A (ja) 動画像記録再生装置
JP2006319645A (ja) 映像再生装置及び方法及びプログラム及び記憶媒体
JP4069823B2 (ja) 特殊再生用データ作成装置
JP2005236386A (ja) 画像処理装置
JP2005159525A (ja) デジタル再生装置または再生方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee