KR20060006823A - 화상 복호화 장치 및 화상 복호화 방법 - Google Patents

화상 복호화 장치 및 화상 복호화 방법 Download PDF

Info

Publication number
KR20060006823A
KR20060006823A KR20057020193A KR20057020193A KR20060006823A KR 20060006823 A KR20060006823 A KR 20060006823A KR 20057020193 A KR20057020193 A KR 20057020193A KR 20057020193 A KR20057020193 A KR 20057020193A KR 20060006823 A KR20060006823 A KR 20060006823A
Authority
KR
South Korea
Prior art keywords
decoding
picture
image
processing
playback
Prior art date
Application number
KR20057020193A
Other languages
English (en)
Other versions
KR101057863B1 (ko
Inventor
다께후미 나구모
요이찌 야가사끼
데루히꼬 스즈끼
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20060006823A publication Critical patent/KR20060006823A/ko
Application granted granted Critical
Publication of KR101057863B1 publication Critical patent/KR101057863B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Abstract

본 발명은 간이한 구성으로 단시간에 정확하게 복호화 처리를 행할 수 있는 화상 복호화 장치 및 화상 복호화 방법을 실현하는 것이다. 소정의 부호화 방식에 준거한 복호화 처리를 행하는 화상 복호화 장치 및 화상 복호화 방법에 있어서, 고속 재생 모드시, 부호화 방식으로 부호화된 화상 데이터에 있어서의 원하는 위치의 I픽쳐를 기준으로 하여 해당 I픽쳐 및 후속하는 소정수의 P픽쳐로 이루어지는 간이 재생 프레임을 추출하도록 하였다.
복호화 장치, 부호화 방식, 재생 프레임, 화상 데이터, 고속 재생

Description

화상 복호화 장치 및 화상 복호화 방법{IMAGE DECODING DEVICE AND IMAGE DECODING METHOD}
본 발명은 화상 복호화 장치 및 화상 복호화 방법에 관한 것으로, 예를 들면 JVT(Joint Model of Enhanced-Compression Video Coding) 부호화 방식에 준거한 화상 복호화 장치 및 화상 복호화 방법에 적용하기에 적합한 것이다.
근래, 화상 정보를 디지털화해서 취급하고, 그 때, 효율이 높은 정보의 전달 및 축적을 목적으로 하여, 화상 정보 특유의 용장성을 이용해서, 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축하는 MPEG(Moving Picture Experts Group) 등의 방식에 준거한 장치가, 방송국 등의 정보 배신(配信) 및 일반 가정에서의 정보 수신의 쌍방에 있어서 보급되고 있다.
특히 MPEG2(ISO/IEC 13818-2)는 범용 화상 부호화 방식으로서 정의되어 있고, 비월 주사 화상 및 순차 주사 화상의 쌍방, 및 표준 해상도 화상 및 고정밀 화상을 망라하는 표준으로서, 프로페셔널 용도 및 소비자 용도의 광범위한 어플리케이션에 현재 널리 이용되고 있다.
이러한 MPEG2 압축 방식을 이용함으로써, 예를 들면 720×480 화소를 갖는 표준 해상도의 비월 주사 화상이면 4∼8〔Mbps〕, 1920×1088 화소를 갖는 고해상 도의 비월 주사 화상이면 18∼22〔Mbps〕의 부호량(비트 레이트)을 할당하는 것에 의해, 높은 압축률과 양호한 화질의 실현이 가능하다.
MPEG2는 주로 방송용에 적합한 고화질 부호화를 대상으로 하고 있지만, MPEG1보다 낮은 부호량(비트 레이트), 즉 더욱 높은 압축률의 부호화 방식에는 대응하고 있지 않았다.
휴대 단말기의 보급에 따라, 금후 그와 같은 부호화 방식의 필요성은 높아진다고 생각되고, 이것에 대응해서 MPEG4 부호화 방식의 표준화가 실행되었다. 화상 부호화 방식에 관해서는 1998년 12월에 ISO/IEC 14496-2로서 그 규격이 국제 표준에 승인되었다.
또한, 근래, 당초 텔레비전 회의용의 화상 부호화를 목적으로 해서, H.26 L(ITU-T Q6/16 VCEG)라는 표준의 규격화가 진행되고 있다. H.26L은 MPEG2나 MPEG4와 같은 종래의 부호화 방식에 비해, 그 부호화, 복호화에 보다 많은 연산량이 요구되지만, 더욱 높은 부호화 효율이 실현되는 것이 알려져 있다.
또한, 현재, MPEG4의 활동의 일환으로서, 이 H.26L을 베이스로 해서 해당 H.26L에서는 서포트되고 있지 않은 기능도 도입하여, 더욱 높은 부호화 효율을 실현하는 표준화가 JVT 부호화 방식으로서 실행되고 있다. 표준화의 스케줄로서는 2003년 3월에는 H.264 및 MPEG-4 Part10(Advanced Video Coding)라는 이름으로 국제 표준으로 될 예정이다.
여기서 JVT 부호화 방식에 대해 설명한다. 입력되는 화상 신호는 우선 A/D 변환되어 디지털화된 후, 출력으로 되는 화상 압축 정보의 GOP(Group of Pictures) 구조에 따라서, 프레임 화상의 재배열을 행한다.
인트라 부호화가 실행되는 화상에 관해서는, 입력 화상과, 인트라 예측에 의해 생성되는 화소값의 차분 정보가 이산 코사인 변환 및 카루넨-뢰베 변환(Karhunen-Loeve transformation) 등의 직교 변환이 실시된 후, 그 결과 얻어지는 변환 계수에 대해 양자화 처리가 실시된다.
양자화된 변환 계수는 가변 길이 부호화 및 산술 부호화 등의 가역 부호화가 실시된 후, 축적되어 화상 압축 정보로서 출력된다. 이러한 양자화 처리는 해당 축적 상태에 따라서 피드백적으로 레이트 제어된다.
한편, 양자화된 변환 계수는 역양자화 처리 및 역직교 변환 처리가 실시되어 복호화 화상 정보로 되고, 디블록 필터 처리에 의해 블록 왜곡의 제거가 실시된 후, 그 정보가 프레임 메모리에 축적되면서, 인트라 예측 처리에 이용된다.
이 인트라 예측 처리에 있어서, 블록/매크로 블록에 대해 적용된 인트라 예측 모드에 관한 정보는 가역 부호화 처리에 이용되고, 화상 압축 정보에 있어서의 헤더 정보의 일부로서 부호화된다.
또 인터 부호화가 행해지는 화상에 관해서는, 우선 화상 정보는 움직임 예측·보상 처리됨과 함께, 참조로 되는 화상 정보가 프레임 메모리로부터 판독되어, 움직임 예측·보상 처리가 실시된 후, 참조 화상 정보가 생성된다. 참조 화상 정보는 해당 화상 정보와의 차분 신호로 변환된다.
움직임 보상·예측 처리에서는, 동시에 움직임 벡터 정보를 가역 부호화 처리를 실시하여, 화상 압축 정보의 헤더부에 삽입되는 정보를 형성한다. 그 밖의 처리는 인트라 부호화가 실시되는 화상 압축 정보와 마찬가지이다.
이 JVT 부호화 방식에 있어서는, 입력으로 되는 화상 정보가 비월 주사인 경우에는, 2개의 매크로 블록을 페어(Pair)(이하, 매크로 블록 페어라 함)로 해서, 각각의 매크로 블록 페어에 대해, 필드 모드 또는 프레임 모드에 의해 부호화하는 것이 가능하다.
이하에서는, JVT 부호화 방식에 있어서 정해져 있는 인트라 예측의 방법에 대해 기술한다.
인트라 예측 처리에 있어서 입력으로 되는 파라미터는 해당 매크로 블록의 mb_type, prev_intra4×4_pred_mode_flag(if available), rem_intra4×4_pred_mode(if available), intra_chroma_pred_mode(if available), 인접 매크로 블록(또는 인접 매크로 블록 페어)의 화소값이다. 또한, 출력으로 되는 파라미터는 해당 매크로 블록(또는 해당 매크로 블록 페어)에 대한 예측 화소값이다. 인트라 예측은 디블록 필터 처리전의 화소값을 이용해서 실행된다.
이하에서는, 우선, 휘도 신호에 대한 인트라 예측 방식에 대해 설명한다. 휘도 신호에 대한 처리는 이하에 기술하는 바와 같이, 해당 매크로 블록이 인트라 4× 4 모드인지, 인트라 16×16 모드인지에 따라서, 그 처리가 다르다.
우선, 인트라 4×4 모드에 있어서의 처리는 다음과 같다.
이 처리는 mb_part_pred_mode(mb_type, 0)가 Intra_4×4와 동일할 때에 적용되며, 입력으로 되는 파라미터는 prev_intra4×4_pred_mode_flag, rem_intra4×4_pred_mode(if available), 주변 휘도 block의 De-blocking fi1tering 처리전의 화소값(if available)이고, 출력은 해당 매크로 블록에 대한 휘도 신호의 예측값이다. 휘도 신호 4×4 블록의 스캔순은 도 4에 도시한 바와 같다.
이하에서는, 우선, adaptive_frame_field_flag의 값이 0일 때, 해당 블록의 인트라 예측이 "available"인지, "not available"인지의 판정을 행하는 처리에 대해 기술한다. 이 처리의 입력은 해당 휘도 블록의 위치, 인접 블록에 포함되는 복호화 처리 완료의 휘도 화소값(디블록 필터 처리전의 것)이고, 출력은 도 5에 도시되는 A∼M의 화소값이 "available"인지의 여부이다. 4×4LumaBlkLoc를 4×4LumaBlkIdx에 의해 지시된다. 4×4 휘도 블록의 좌측상부의 화소값의 위치로 정의한다. 4×4LumaBlkIdx에 의해 지시되는 4×4 휘도 블록에 포함되는 각각의 화소값은 도 5에 있어서의 a∼p이고, 이들은 인접하는 화소값 A∼M에 의해 예측된다. 화소값의 위치는 4×4LumaBlkLoc에 의해 지시된다. 예를 들면 d의 위치는
Figure 112005060137028-PCT00001
로 표시된다.
또한 A의 위치는
Figure 112005060137028-PCT00002
와 같이 나타내어진다.
화소값 A∼M은 이하의 제1∼제3 중의 어느 하나라도 성립할 때, "not available"로 한다. 첫 번째로, 해당 화소가 픽쳐밖 혹은 슬라이스밖일 때, 두 번째로, 복호화처리에 있어서, 해당 화소가 해당 블록보다 후에 처리되는 블록에 속할 때, 세 번째로, constrainde_intra_pred_flag=0에서, 해당 블록이 인터 매크로블럭에 속할 때이다.
E∼H가 "not available"이지만, D가 "available"일 때, E∼H를 "available"이라고 해서, 그 값은 D로 대용한다.
다음에, mb_adaptive_frame_filed_flag의 값이 1이고, field_pic_flag의 값이 0일 때의 처리에 대해 기술한다. 도 5에 도시된 화소값 a∼p에 대해, 인접 화소 A∼M이 이하와 같이 정의된다. 즉, 해당 매크로 블록이 frame decoding mode인 경우, mb_adaptive_field_flag의 값이 0인 경우와 마찬가지의 처리가 행해진다.
해당 매크로 블록이 field decoding mode이고, top macroblock 인 경우에는,
Figure 112005060137028-PCT00003
과 같이 인접 화소값이 정의된다.
또한 해당 매크로 블록이 field decoding mode이고, bottom field macroblock인 경우에는,
Figure 112005060137028-PCT00004
와 같이 인접 화소값이 정의된다.
다음에, 인트라 예측값의 생성 처리에 대해 기술한다. 본 처리의 입력은 prev_inrta4×4_pred_flag, rem_intra4×4_pred_mode, 4×4LumaBlkIdx에 의해서 지시되는 4×4 휘도 블록의 위치, LumaBlkLoc[4×4LumaBlkIdx]이고, 출력은 Intra4×4LumaPredMode[4×4LumaBlkIdx]이다. 도 6에 ntra4×4LumaPredMode[4×4LumaBlkIdx] 및 그것에 대응하는 예측 모드의 명칭을 나타낸다.
Intra4×4LumaPredMode[4×4LumaBlkIdx]의 값이 0, 1, 3, 4, 5, 6, 7, 8일 때, 예측 방향은 각각 도 7에 도시하는 바와 같다.
adaptive_frame_field_flag가 0일 때, 혹은, field_pic_flag가 1일 때, 인접 매크로 블록의 어드레스 검출 및, "availability"의 검출은 이하와 같이 행해진다. 이 처리의 입력은 MbAddress(해당 매크로 블록의 어드레스)이고, 출력은 MbAddressA(해당 매크로 블록의 좌측에 위치하는 매크로 블록의 어드레스), MbAddressB(해당 매크로 블록의 위에 위치하는 매크로 블록의 어드레스) 및, 이들 2개의 매크로 블록의 어드레스"availability"이다.
임의의 매크로 블록의 어드레스 MbAddress에 대해, 첫 번째로, MbAddress<0, 두 번째로, MbAddress>Max MbAddress-1, 세 번째로, MbAddress에 의해 지정되는 매크로 블록이 다른 슬라이스에 속하는 것이며, 네 번째로, MbAddress에 의해 지정되는 매크로 블록이 복호화 완료가 아닌 제1∼제4 중의 어느 하나가 성립할 때, 이 MbAddress에서 지정되는 매크로 블록은 "not available"인 것으로 된다.
이 처리가 인접하는 매크로 블록 A 및 B에 이하와 같이 적용된다. 즉, 제1 처리에 관해서는, 입력은 MbPairAddressA=MbPairAddress-1이고, 출력은 MbPairAddressA가 "available"인지의 여부이다. 제2 처리에 관해서는, 입력은 MbPairAddressB=MbPairAddress-(frame_width_in_mbs_minus1+1)이고, 출력은 MbPairAddressB가 “available"인지의 여부이다.
adaptive_frame_field_flag가 0, 혹은 Field_pic_fleg가 1일 때, 인접하는 매크로 블록의 어드레스 검출 및 "availability"의 검출은 이하와 같이 실행된다. 이 처리의 입력 파라미터는 MbAddressA이고, 출력은 변수 "ExIntra4×4LumaPred"의 값(4개)이다.
우선, 해당 매크로 블록의 좌측부에 위치하는 매크로 블록에 관해서이지만, MbAddressA에서 지시되는 매크로 블록이 "available"이고, MbAddressA에서 지시되 는 매크로 블록의 mb_type이 I_4×4 혹은 SI일 때, ExIntra4×4LumaPredMode의 값은,
Figure 112005060137028-PCT00005
와 같이 얻어진다.
여기서, Intra4×4LumaPredMode는 MbAddressA에 의해 지시되는 매크로 블록에 대해 할당된 값이다.
MbAressA에서 지시되는 매크로 블록이 "available"가 아닌지, 혹은, 그 mb_ type이 I_4×4도 SI도 아닌 경우, ExIntra4×4LumaPredMode의 값은,
Figure 112005060137028-PCT00006
의 처리에 의해 얻어진다.
다음에, 해당 매크로 블록의 상부에 위치하는 매크로 블록에 관해서이지만, 입력으로 되는 파라미터는 MbAddressB, 출력으로 되는 파라미터는 변수"ExtIntra4×4LumaPred"의 값(4개)으로 된다.
MbAddressB에서 지시되는 매크로 블록이 "available"이고, MbAddressB에서 지시되는 매크로 블록 mb_type_이,I_4×4 혹은 SI일 때, ExIntra4×4LumaPredMode 의 값은,
Figure 112005060137028-PCT00007
의 처리에 의해 얻어진다.
여기서, Intra4×4LumdPredMode는 MbAddressB에 의해 지시되는 매크로 블록에 대해 할당된 값이다.
MbAddressB에서 지시되는 매크로 블록이 "avaiable"이 아닌지, 혹은, 그 mb_ type이 I_4×4도 SI도 아닌 경우, ExIntra4×4LumaPredMode의 값은,
Figure 112005060137028-PCT00008
의 처리에 의해 얻어진다.
다음에, 상술한 바와 같은 매크로 블록 레벨의 필드/프레임 적응형 부호화를 행할 때의 인접 매크로 블록 페어의 인트라 예측 모드에 관한 정보의 추출 방법에 대해 기술한다.
해당 매크로 블록의 mb_adaptive_field_flag가 1이고, field_pic_flag가 0일 때 적용되는 처리에 대해 기술한다.
우선, 해당 매크로 블록 페어가 frame mode이지만, 입력으로 되는 정보는 MbPairAddressA 및 MbPairAddressB이고, 출력으로 되는 정보는 top macroblock, bottom macroblock 각각에 대해, 해당 매크로 블록에 대한 ExIntra4×4LumaPredModeTop 및 ExIntra4×4LumaPredModeBottom(합계 8개)이다.
Top macroblock에 관해서는 상술한 수학식 5에 기술된 처리의, MbAddressA로서, MbPairAddressA가 입력되고, 그 결과, ExIntra4×4LumaPredModeTop이 출력된다. 또한, 상술한 수학식 7에 기술된, MbAddressB로서, MbPairAddressB가 입력되고, 그 결과, ExIntra4×4PredModeTop이 출력된다.
다음에, Bottpm Macroblock에 관해서는, 상술한 수학식 5에 기술된 처리의 MbAddressA로서, MbPairAddressA가 입력되고, 그 결과 ExIntra4×4 LumaPredModeBottom이 출력된다. 또한 상술한 수학식 7에 기술된 처리의, MbAddressB로서, MbPairAddressB가 입력되고, 그 결과, ExIntra4×4LumaPredModeBottom이 출력된다.
우선, 해당 매크로 블록 페어가, field mode일 때이지만, 입력으로 되는 정보는 MbPairAddressA 및 MbPairAddressB이고, 출력으로 되는 정보는 top macroblock, bottom macroblock 각각에 대해, 해당 매크로 블록에 대한 ExIntra4×4 LumaPredModeTop 및 ExIntra4×4LumaPredModeBottom(합계 8개)이다.
인접 매크로 블록 페어의 MbPairAddressA에 대한 처리는 이하와 같다. 즉, 8.3.1.2.3.1에 기술된 처리의, MbAddressA로서, MbPairAddressA가 입력되고, 그 결과, ExIntra4×4PredModeTop이 출력된다. 또한, 상술한 수학식 5에 기술된 처리의, MbPairAddressA가 입력되고, 그 결과 ExIntra4×4LumaPredModeBottom이 출력된 다.
인접 매크로 블록 페어의 MbPairAddressB가 filedmode일 때, 혹은, "available"이 아닐 때, 이하의 처리가 적용된다. 즉, 해당 MB Pair에 있어서의 top macro-block에 관해서는, 상술한 수학식 7에 기술되어 있는 처리가 적용되고, 그 입력은 MbPairAddressB에서 지시되는 MB Pair의 top macroblock이, MBAddressB로서 이용된다. 그 출력은 ExIntra4×4LumaPredModeTop으로 된다. 또한, 해당 MBPairAddressB에서 지시되는 MBPair의 bottom macroblock이 MBAddressB로서 이용된다. 그 출력은 ExIntra4×4LumaPredModeBottom으로 된다.
인접 매크로 블록 페어 MbPairAddressB가 framemode일 때, 이하의 처리가 적용된다. 즉, 해당 MB Pair에 있어서의 top macroblock에 관해서는 상술한 수학식 7에 기술되어 있는 처리가 적용되고, 그 입력은 MBPairAddressB에서 지시되는 MB Pair의 bottom macroblock이 MBAddressB로서 이용된다. 그 출력은 ExIntra4×4 LumaPredMddeTop으로 된다. 또한, 해당 MB Pair에 있어서의 bottom macroblock에 관해서는 상술한 수학식 7에 기술되어 있는 처리가 적용되고, 그 입력은 MBPairAddressB에서 지시되는 MB pair의 bottom macroblock이 MBAddressB로서 이용된다. 그 출력은 ExIntra4×4LumaPredModeBottom으로 된다.
도 8에, 해당 매크로 블록 페어가 field mode일 때의 상술한 처리를 도시한다.
다음에, 해당 매크로 블록에 대한 Intra4×4LumaPredMode의 복호화 처리에 대해 기술한다.
이 처리는 adaptive_frame_field_flag가 1, 혹은 field_pic_flag가 1일 때 적용된다. 입력으로 되는 정보는 prev_intra4×4_pred_mode_flag, rem_intra4×4_pred_mode 및 ExIntra4×4LumaPredMode이고, 출력으로 되는 정보는 해당 macroblock(MbAddress에 의해 지정됨)에 대한 Intra4×4LumaPredMode이다. 그 처리는,
Figure 112005060137028-PCT00009
의 의사 코드에 의해 기술되는 바와 같다.
다음에, 상술한 바와 같은 매크로 블록 페어(MB Pair)에 대한 Intra4×4 LumaPredMode의 복호화 처리에 대해 기술한다.
이 처리는 mb_adaptive_frame_field_flag이 1이고, field_pic_flag가 0일 때 적용된다.
해당 매크로 블록 페어의 top macroblcok에 대한 prev_intra4×4_pred_ mode_flag, rem_intra4×4_pred_mode, ExIntra4×4LumaModePredTop이, 수학식 8에 기술된 처리의 입력으로 되고, 그 출력인 Intra4×4LumaPredMode가 해당 매크로 블록 페어의 top macroblock에 대해 할당된다.
해당 매크로 블록 페어의 bottom macroblock에 대한 prev_intra4×4_pred_ mode_flag, rem_intra4×4_pred_mode, ExIntra4×4LumaPredMode가, 수학식 8에 기술된 처리의 입력으로 되고, 그 출력인 Intra4×4LumaPredMode가 해당 매크로 블록 페어의 bottom macroblock에 대해 할당된다.
다음에, 인트라 4×4모드에 있어서의 인트라 예측의 복호화 처리로 해서 기술한다.
입력으로 되는 파라미터는 도 5에 있어서 도시된 인접 화소값 A∼M 및 해당 4×4 블록에 대해 정의되는 Intra4×4LumaPredMode[4×4LumaBlkIdx]이고, 출력으로 되는 파라미터는 4×4LumaBlkIdx에 의해서 지정되는 4×4 블록에 대한 예측 화소값이다. Intra4×4LumaPredMode[4×4LumaBlkIdx]의 값에 따라서, 이하에 기술한다. 어느 하나의 인트라 예측 모드가 이용된다.
이하에서는 Vertica1 예측의 방법에 대해 기술한다. 이 예측 방법은 Intra4×4LumapredMode[4×4LumaBlkIdx]가 0일 때 적용된다. A, B, C, D가 “available"인 경우에만 적용된다. 각각의 예측값은,
Figure 112005060137028-PCT00010
과 같다.
이하에서는 Horizontal 예측의 방법에 대해 기술한다. 이 예측 방법은 Intra4×4LumaPredMode[4×4LumaBlkIdx]가 1일 때 적용된다. I, J, K, L이 "available"인 경우에만 적용된다. 각각의 예측값은,
Figure 112005060137028-PCT00011
과 같다.
이하에서는 DC 예측의 방법에 대해 기술한다. 이 예측 방법은 Intra4×4 LumaPredMode[4×4LumaBlkIdx]가 2일 때 적용된다. 화소 a∼p의 모두에 대한 예측값으로서 이하의 값이 이용된다.
즉, A, B, C, D, I, J, K, L이 모두 "available"일 때, 예측값은,
Figure 112005060137028-PCT00012
로 한다.
A, B, C, D가 모두 "unavailable"일 때, 예측값은,
Figure 112005060137028-PCT00013
으로 한다.
I, J, K, L이 모두 "unavailable"일 때, 예측값은,
Figure 112005060137028-PCT00014
로 한다.
A, B, C, D, I, J, K, L이 모두 "available"일 때, 128을 예측값으로서 이용한다.
이하에서는 Diagonal_Down_Left 예측에 대해 기술한다. 이 예측 방법은 Intra4×4LumaPredMode[4×4LumaBlkIdx]이 3일 때 적용된다. A, B, C, D, I, J, K, L, M이 모두 "available"인 경우에만 적용된다. 각각의 예측값은,
Figure 112005060137028-PCT00015
와 같다.
이하에서는 Diagonal_Down_Right 예측에 대해 기술한다. 이 예측 방법은 Intra4×4LumaPredMode[4×4LumaBlkIdx]가 4일 때 적용된다. A, B, C, D, I, J, K, L, M이 "available"인 경우에만 적용된다. 각각의 예측값은,
Figure 112005060137028-PCT00016
와 같다.
이하에서는 Diagonal_Vertical_Right 예측에 대해 기술한다. 이 예측 방법은 Intra4×4LumaPredMode[4×4LumaBlkIdx]가 5일 때 적용된다. A, B, C, D, I, J, K, L, M이 "available"인 경우에만 적용된다. 각각의 예측값은,
Figure 112005060137028-PCT00017
와 같다.
이하에서는 Horizontal_Down에 대해 기술한다. 이 예측 방법은 Intra 4×4 LumaPredMode[4×4LumaBlkIdx]가 6일 때 적용된다. A, B, C, D, I, J, K, L, M이“available"인 경우에만 적용된다. 각각의 예측값은,
Figure 112005060137028-PCT00018
와 같다.
이하에서는 Vertical_Left 예측값에 대해 기술한다. 이 예측 방법은 Intra4×4LumaPredMode[4×4LumaBlkIdx]가 7일 때 적용된다. A, B, C, D, I, J, K, L, M이 "available"인 경우에만 적용된다. 각각의 예측값은,
Figure 112005060137028-PCT00019
와 같다.
이하에서는 Horizontal_Up 예측에 대해 기술한다. 이 예측 방법은 Intra4× 4LumaPredMode[4×4LumaBlkIdx]가 8일 때 적용된다. A, B, C, D, I, J, K, L, M이 "available"인 경우에만 적용된다. 각각의 예측값은,
Figure 112005060137028-PCT00020
과 같다.
다음에, 해당 휘도 신호가 인트라 16×16 모드인 매크로 블록에 속하는 경우의, 인트라 예측의 방법에 대해 기술한다. 이 처리는 mb-part_pred_mode(mb_type, 0)가, Intra 16×16과 동일할 때 적용된다. 입력으로 되는 파라미터는 해당 매크로 블록에 대한 mb_type 및 해당 매크로 블록의 인접 화소값의 De-blocking filtering 처리전의 값이고, 출력으로 되는 파라미터는 해당 매크로 블록에 대한 예측 화소값이다.
이하에서는 해당 매크로 블록에 속하는 화소값을 P(x, y); x, y= 0..15로 나타낸다. 또한, 인접 화소값은 P(x,-1) 및 P(-1, y);= -1..15로 나타낸다.
P(x,-1) 및 P(-1, y)에 대해 이하 중 어느 하나가 성립할 때, "unavailable"로 한다. 즉, 해당 픽쳐 또는 해당 슬라이스 내에 존재하지 않을 때, 인접 화소값이 비인트라 매크로 블록에 소속하고, 또한 constrained_intra_pred_flag가 1일 때 이다.
인트라 16×16 모드일 때, 이하에 기술하는 4가지 중의 어느 하나의 방법에 의해 인트라 예측이 실행된다.
Mode0은 vertical예측이고, P(x,-1); x, y= -1..15가 "available"일 때에만 적용된다. 생성되는 예측값은,
Figure 112005060137028-PCT00021
과 같다.
Mode1은 horizontal 예측이고, P(-1, y); x, y= -1..15가 "available"일 때에만 적용된다. 생성되는 예측값은,
Figure 112005060137028-PCT00022
와 같다.
Mode2는 DC 예측이고, 예측값은 이하와 같이 생성된다. 즉, P(x,-1) 및 P(-1, y); x, y= -1..15가 모두 "available"인 경우에는,
Figure 112005060137028-PCT00023
로 된다.
P(x,-1); x, y= -1..15가 “not available"인 경우에는,
Figure 112005060137028-PCT00024
로 된다.
P(-1, y); x, y= -1..15가 “not available"인 경우에는,
Figure 112005060137028-PCT00025
로 된다.
P(x,-1) 및 P(-1, y); x, y= -1..15가 모두 "not-available"인 경우에는 예측값으로서 128을 이용한다.
Mode3은 plane 예측이다. 이 예측 모드는 P(x,-1) 및 P(-1, y); x, y=-1..15가 모두 "availeble"인 경우에만 적용된다. 예측값의 생성은,
Figure 112005060137028-PCT00026
로 나타낸 바와 같다. 여기서 Clip1은 0∼255의 범위에서의 클립 처리를 나타낸다.
다음에, 색차 신호에 대한 인트라 예측에 대해 기술한다. 이 처리는 I매크로 블록 및 SI 매크로 블록에 대해서만 적용된다. 입력으로 되는 파라미터는 intra_chroma_pred_mode 및 디블록 필터 처리전의 인접 화소값이고, 출력으로 되는 파라미터는 해당 매크로 블록의 색차 신호에 대한 예측값이다.
이하에서는 해당 매크로 블록에 속하는 화소값을 P(x, y); x, y= 0..7로 나타낸다. 또한, 인접 화소값은 P(x,-1) 및 P(-1, y)= -1..7로 나타낸다.
색차 신호에 대한 인트라 예측 모드는 휘도 신호에 대한 그것과는 독립적으로 설정하는 것이 가능하다.
P(x,-1) 및 P(-1,y)에 대해 이하 중의 어느 하나가 성립할 때, "unavailable"이라고 한다. 즉, 해당 픽쳐 또는 해당 슬라이스 내에 존재하지 않을 때, 인접 화소값이 비인트라 매크로 블록에 소속하고, 또한 constrained_intra_ pred_flag가 1일 때이다.
Mode0은 DC예측이고, 그 예측값은 이하와 같다. 즉, P(x,-1) 및 P(-1, y)가 "available"인 경우에는,
Figure 112005060137028-PCT00027
이 성립한다.
P(-1, y)가 "not available"인 경우에는,
Figure 112005060137028-PCT00028
이 성립한다.
P(x,-1)이 "not available"인 경우에는,
Figure 112005060137028-PCT00029
가 성립한다.
P(x,-1) 및 P(-1, y)이 "not available"인 경우에는 예측값으로서 128을 이용한다.
Mode1은 horizontal 예측이고, P(-1, y)가 "not available"인 경우에만 적용된다. 그 예측값은,
Figure 112005060137028-PCT00030
에 도시하는 바와 같다.
Mode2는 vertical 예측이고, P(x,-1)이 "available"인 경우에만 적용된다. 그 예측값은,
Figure 112005060137028-PCT00031
로 나타내는 바와 같다.
Mode3은 plane 예측이고, P(x,-1) 및 P(-1, y)이 "available"인 경우에만 적용된다. 그 예측값은,
Figure 112005060137028-PCT00032
로 나타내는 바와 같다.
그런데 JVT 부호화 방식에서는, 도 9에 도시하는 바와 같이, 단일의 매크로 블록을 16×16, 16×8, 8×8의 크기의 단일 또는 복수의 움직임 예측 블록으로 분할하여, 움직임 보상 처리를 행하는 것이 가능하다. 8×8 움직임 예측 블록의 각각에 관해서는, 도 9에 도시한 바와 같으며, 또한 8×8, 8×4, 4×8 또는 4×4의 서브 블록으로 분할하여, 움직임 보상 처리를 행하는 것이 가능하다.
그런데, DVD로 대표되는 화상 재생 장치에서는, 미디어로부터 통상의 재생 속도에서의 재생뿐만 아니라, 고속 빨리감기 재생이나 고속 되감기 재생에도 대응하고 있다. 도 10에 화상 재생 장치(1)의 개략 구성을 나타낸다.
이 화상 재생 장치(1)에서는, 미디어(2)로부터 재생된 MPEG2 방식의 화상 정보에 부가된 판독 위치 정보 S1이 판독 위치 지정기(3)에 공급된다. 이 판독 위치 지정기(3)는 외부로부터 고속 빨리감기 재생이나 고속 되감기 재생 등의 재생 모드 신호 S2를 수취하면, 판독 위치 정보 S1에 기초하여, 지정된 재생 모드에 적합한 판독 위치를 판독기(4)에 지정시킨다. 이 판독기(4)에서는, 판독 위치 지정기(3)에 의해서 지정된 판독 위치에 따라서, 미디어(2)로부터 MPEG2 방식의 화상 정보의 비트 스트림을 비연속적으로 판독한다.
화상 복호기(5)는 판독기(4)로부터 공급되는 비트 스트림에 기초하여 MPEG2 방식에 따른 복호 처리를 행함으로써, 해당 비트 스트림으로부터 고정밀도의 화상으로 복원하도록 되어 있다.
그 때, 이러한 구성의 화상 재생 장치(1)에서는, 판독 위치 지정기(3)는 판독기(4)의 출력을 MPEG2 방식의 비트 스트림으로서 모순없이 복호 처리할 수 있도록, 판독 위치를 지정할 필요가 있다.
즉, MPEG2 방식에 있어서의 통상의 화상 압축 정보의 각 GOP의 선두의 I픽쳐(인트라 부호화 화상, 즉 프레임내 부호화 화상) 및 그 후에 계속되는 수 매의 P픽쳐(프레임간 순방향 예측 부호화 화상)의 비트 스트림을 원래의 MPEG2 방식의 화상 정보의 비트 스트림으로부터 추출한다. MPEG2 방식에서, P픽쳐는 직전의 I픽쳐 또는 P픽쳐를 예측 프레임으로서 사용하기 때문에, 고속 재생을 위해 추출한 스트림이라도 MPEG2 방식의 스트림으로서 모순없이 복호화할 수 있도록 되어 있다.
예를 들면 도 11의 (A)에 도시하는 바와 같이 MPEG2 방식의 비트 스트림이 GOP 단위로 소정 주기로 I픽쳐(I0, I1, …) 및 P픽쳐(P0, P1, …)가 부호화된 후, 그 동안에 B픽쳐(쌍방향 예측 부호화 화상)(B0, B1,…)이 후에 부호화되어 삽입된 다. 즉, 도 11의 (B)에 도시하는 바와 같이, 통상 재생에 있어서의 I0, B1, B2, P3, B4, B5, P6, …, In, Bn+1, Bn+2, Pn+3의 비트 스트림으로부터, 고속 재생에서는 I0, P3, P6, …, In, Pn+3의 비트 스트림이 추출된다.
그런데, JVT 부호화 방식의 경우에는, P픽쳐라도 복수의 예측 프레임을 사용하는 것이 가능하게 되어 있음과 함께, MPEG2 방식에서는 사용할 수 없는 B픽쳐를 예측 프레임으로서 사용할 수 있지만, 종래의 MPEG2 방식의 경우와 마찬가지로 I픽쳐 및 P픽쳐를 추출했다고 해도, 예측 관계가 성립하지 않기 때문에, 예측 프레임을 용이하게 할 수 없어, 추출 후의 스트림을 정상적으로 복호화할 수 없다고 하는 문제가 있었다.
즉, JVT 부호화 방식의 비트 스트림에서는 도 12의 (A)에 도시하는 바와 같이 GOP 단위로 소정 주기로 나타나는 I픽쳐(I0, I1, …) 및 P픽쳐(P0, P1, …) 뿐만 아니라, 그 동안에 B픽쳐(B0, B1, …)도 P픽쳐의 예측 화상으로서 삽입된다. 즉, 도 12의 (B)에 도시하는 바와 같이, 통상 재생에 있어서의 I0, B1, B2, P3, B4, B5, P6, …, In, Bn+1, Bn+2, Pn+3의 비트 스트림으로부터, 고속 재생에서는, I0, P3, P6, …, In, Pn+3의 비트 스트림이 인출되더라도, P픽쳐의 예측 화상이 존재하지않기 때문에, 정상적인 복호화를 행하는 것이 곤란하게 되는 문제가 있었다.
본 발명은 이상의 점을 고려해서 이루어진 것으로서, 간이한 구성으로 단시간에 정확하게 복호화 처리를 행할 수 있는 화상 복호화 장치 및 화상 복호화 방법을 제안하고자 하는 것이다.
이러한 과제를 해결하기 위해 본 발명에서는, 소정의 부호화 방식에 준거한 복호화 처리를 행하는 화상 복호화 장치에 있어서, 부호화 방식으로 부호화된 화상 데이터에 대해 복호화 처리를 실시하는 복호화 수단과, 복호화 수단을 제어하는 제어 수단을 설치하고, 고속 재생 모드시, 제어 수단은 화상 데이터에 있어서의 원하는 위치의 I픽쳐를 기준으로 해서 해당 I픽쳐 및 후속하는 소정 수의 P픽쳐로 이루어지는 간이 재생 프레임을 추출하도록 복호화 수단을 제어하도록 하였다.
그 결과, 이 화상 복호화 장치에서는, 고속 재생 모드시에 화상 데이터를 모두 복호화하지 않고, 그 중의 일부 또는 전부를 간이 재생 프레임으로서 복호화하도록 한 것에 의해, 통상 재생 모드시보다도 짧은 시간에 복호화 처리를 행할 수 있다.
또한 본 발명에 있어서는, 소정의 부호화 방식에 준거한 복호화 처리를 행하는 화상 복호화 방법에 있어서, 고속 재생 모드시, 부호화 방식으로 부호화된 화상 데이터에 있어서의 원하는 위치의 I픽쳐를 기준으로서 해당 I픽쳐 및 후속하는 소정 수의 P픽쳐로 이루어지는 간이 재생 프레임을 추출하도록 하였다.
그 결과, 이 화상 복호화 방법에서는, 고속 재생 모드시에 화상 데이터를 모두 복호화하지 않고, 그 중의 일부 또는 전부를 간이 재생 프레임으로서 복호화하도록 한 것에 의해, 통상 재생 모드시보다도 짧은 시간에 복호화 처리를 행할 수 있다.
도 1은 본 실시예에 의한 화상 복호화 장치의 구성을 도시하는 블록도.
도 2는 인트라 부호화 화상의 간이 재생 방법의 설명에 이용하는 대략 선적인 개념도.
도 3은 인터 부호화 화상의 간이 재생 방법의 설명에 이용하는 대략 선적인 개념도.
도 4는 인트라 4×4 모드 처리의 설명에 이용하는 대략 선적인 평면도.
도 5는 인트라 4×4 모드 처리의 설명에 이용하는 대략 선적인 평면도.
도 6은 인트라 예측값의 생성 처리의 설명에 이용하는 대략 선적인 평면도.
도 7은 인트라 예측값의 생성 처리의 설명에 이용하는 대략 선적인 평면도.
도 8은 인접 매크로 블록 페어의 인트라 예측 모드의 설명에 이용하는 대략 선적인 평면도.
도 9는 JVT 부호화 방식에 의한 움직임 보상 처리의 설명에 이용하는 대략 선적인 평면도.
도 10은 종래의 화상 재생 장치의 구성을 도시하는 블록도.
도 11은 MPEG2 방식에 의한 복호화 방법의 설명에 이용하는 대략 선적인 개념도.
도 12는 JVT 부호화 방식에 의한 복호화 방법의 설명에 이용하는 대략 선적인 개념도.
이하 도면에 대해, 본원 발명의 일 실시예에 대해 설명한다.
(1) 본 실시예에 있어서의 JVT 부호화 방식에 준거한 화상 복호화 장치의 구 성
도 1에 있어서, 10은 본 실시예에 있어서의 JVT 부호화 방식에 준거한 화상 복호화 장치를 나타내며, 외부 입력되는 비트 스트림으로 이루어지는 화상 압축 정보 S10을, 외부 지정된 재생 모드에 따른 복호 방법으로 순차 복호 처리하면서, 표시용의 고정밀도의 화상으로 복원하도록 이루어져 있다.
우선 외부 입력되는 화상 압축 정보 S10은 축적 버퍼(11)에 저장된 후, 소정 타이밍에서 판독되어 가역 복호화부(12)로 송출된다. 가역 복호화부(12)에서는, 미리 정해진 화상 압축 정보의 포맷에 기초하여, 가변 길이 복호화 및 산술 복호화 등의 처리가 실행된다.
그 때, 가역 복호화부(12)는 화상 압축 정보 S10에 기초하는 프레임 화상이 인트라 부호화 또는 인터 부호화 중의 어느 부호화 방법으로 실행된 것인지를 판단한다. 가역 복호화부(12)는 인트라 부호화라고 판단한 경우에는, 화상 압축 정보 S10의 헤더부에 기입되어 있는 인트라 예측 모드 정보 S11A도 복호화해서 인트라예측부(13)로 송출하는 한편, 인터 부호화라고 판단한 경우에는, 화상 압축 정보 S10의 헤더부에 기입되어 있는 움직임 벡터 정보 S11B도 복호화해서 움직임 예측·보상부(14)로 송출한다.
이 가역 복호화부(12)의 출력인 양자화된 이산코사인 변환 및 카루넨·뢰베 변환 등의 직교 변환이 실시된 변환 계수 S11C는 역양자화부(15)에 있어서 역양자화된 후, 역직교 변환부(16)로 송출된다. 이 역직교 변환부(16)에서는 공급된 변환계수 S11C은 소정 방식에 기초하는 4차의 역직교 변환이 실시된 후, 가산기(17) 의 하나의 입력단에 부여된다.
여기서 가역 복호화부(12)에 있어서 인트라 부호화라고 판단된 경우, 가산기(17)의 다른 입력단에는, 인트라 예측부(13)에 있어서 생성된 예측 화상이 입력된다. 이 가산기(17)에 있어서, 역직교 변환된 화상 정보와 예측 화상이 합성된 후, 해당 합성 결과가 디블록 필터(18)에 부여되어 블록 왜곡이 제거된다.
이 디블록 필터(18)를 통해 얻어진 가산기(17)의 출력은 화면 재배열 버퍼(19)에 일시적으로 유지된 후, D/A 변환부(20)에 있어서 아날로그 변환되는 한편,프레임 메모리(21)에 일시적으로 저장된 후, 인트라 예측부(13)에 있어서 상술한 예측 화상이 생성된다.
이에 대해 가역 복호화부(12)에 있어서 인터 부호화라고 판단된 경우, 가산기(17)의 다른 입력단에는 움직임 예측·보상부(14)에 있어서 생성된 참조 화상이 입력된다. 이 가산기(17)에 있어서, 역직교 변환된 화상 정보와 참조 화상이 합성된 후, 해당 합성 결과가 디블록 필터(18)에 부여되어 블록 왜곡이 제거된다.
이 디블록 필터(18)를 통하여 얻어진 가산기(17)의 출력은, 화면 재배열 버퍼(19)에 일시적으로 유지된 후, D/A 변환부(20)에 있어서 아날로그 변환되는 한편,프레임 메모리(21)에 일시적으로 저장된 후, 움직임 예측·보상부(14)에 있어서, 해당 프레임 메모리(21)에 저장된 화상 정보와 가역 복호화 처리가 실시된 움직임 벡터 정보에 기초하여 상술한 참조 화상이 생성된다.
이러한 구성에 부가해서, 본 실시예에 의한 화상 복호화 장치(10)에서는, 재생 모드 제어부(22)가 설치되어 있고, 외부로부터 지정된 재생 모드에 따라서, 화 상 압축 정보 S10의 비트 스트림의 복호화 방법을 변경할 수 있도록 이루어져 있다. 예를 들면, 통상 재생을 나타내는 재생 모드인 경우, 화상 복호화 장치(10)에서는 JVT 부호화 방식에 준거한 복호화 방법으로 화상의 복호화를 행한다.
이에 대해 재생 모드가 빨리감기나 되감기 등의 특수한 재생 모드인 경우, 본 실시예의 경우, JVT 부호화 방식에 준거하는 복호화 방법이 아니라, 화상 압축 정보 S10의 비트 스트림의 간이 재생을 행하도록 되어 있다.
이 화상 복호화 장치(10)에서는, 재생 모드 제어부(22)는 외부로부터 각종 재생 모드를 나타내는 재생 모드 신호 S12가 입력됨과 함께, 가역 복호화부(12)로부터 복호화된 화상, 슬라이스(매크로 블록의 집합체), 매크로 블록의 복호 타입, 프레임 번호 및 매크로 블록 위치 등이 복호 화상 정보 S11D로서 입력된다.
재생 모드 제어부(22)는 재생 모드 신호 S12에 기초하는 재생 모드에 따라서, 비트 판독 위치 신호 S13A를 가역 복호화부(12)로 송출함과 함께, 변환 계수 제어 신호 S13B를 역양자화부(15)로 송출하고, 또한 화상 표시 신호 S13C를 화면 재배열 버퍼(19)로 송출한다.
(2) 고속 재생 시에 있어서의 간이 재생 방법
실제로 재생 모드 제어부(22)에 있어서, 재생 모드 신호 S12에 기초하여, 빨리감기 재생 또는 되감기 재생을 나타내는 재생 모드가 지정되면, 선두의 I픽쳐로부터 복호화의 순서로의 선두 수 프레임을 간이 재생하고, 그 중의 일부 또는 전부의 화상을 고속 재생용의 화상으로서 이용하도록 되어 있다.
즉, 재생 모드 제어부(22)는 화상 압축 정보 S10의 비트 스트림에 있어서의 랜덤 액세스 포인트 직후의 프레임인 I픽쳐 I0부터 다음의 I픽쳐 In의 직전까지의 비트 스트림에 있어서는, I픽쳐 IO 및 P픽쳐 P3, P6의 3프레임만(이하, 이것을 간이 재생 프레임이라고 함)을 재생 모드에 따른 변칙 재생에 사용하는 것으로 한다. 이 간이 재생 프레임을 얻기 위해서는, 예측 화상의 문제로부터, I0, B1, B2, P3, B4, B5, P6의 비트 스트림을 복호화할 필요가 있다.
재생 모드 제어부는, 재생 모드가 「빨리감기」를 나타내는 경우에는, 표시 화상이 포함되지 않는 P픽쳐 P6의 복호화후이고 I픽쳐 In의 직전까지의 비트 스트림(이하, 이것을 스키핑(skipping) 스트림이라고 함)을 복호화할 필요가 없고, 그 취지를 나타내는 비트 판독 신호를 가역 복호화부(12)로 송출함으로써, 이 가역 복호화부(12)에 있어서 스키핑 스트림을 복호화하지 않고 건너뛰고 읽게 한다.
이 때, 재생 모드 제어부(22)는 간이 재생 프레임을 형성하는 I픽쳐 I0 및 P 픽쳐 P3, P6의 프레임을 그 순서로 순차 표시시키는 취지의 화상 표시 신호 S13C를 화면 재배열 버퍼(19)로 송출함으로써, 이 화면 재배열 버퍼(19)에 있어서 해당 프레임 표시 순서에 따른 빨리감기 재생용의 간이 재생 프레임을 후단의 D/A 변환부(20)로 송출시킨다.
이에 대해 재생 모드 제어부(22)는 재생 모드가「되감기」를 나타내는 경우에는 I픽쳐 I0의 전에 위치하는 랜덤 액세스 포인트까지, 화상 압축 정보 S10의 비트 스트림을 거슬러 올라가는 취지의 비트 판독 위치 신호 S13A를 가역 복호화부(12)로 송출함으로써, 이 가역 복호화부(12)에 있어서 간이 재생 프레임의 전의 랜덤 액세스 포인트까지 되돌아가게 한다.
이 때 재생 모드 제어부(22)는 간이 재생 프레임을 형성하는 I픽쳐 I0 및 P픽쳐 P3, P6의 프레임을 그 반대의 순으로 순차 표시시키는 취지의 화상 표시 신호 S13C를 화면 재배열 버퍼(19)로 송출함으로써, 이 화면 재배열 버퍼(19)에 있어서 해당 프레임 표시 순서에 따른 빨리 되감기 재생용의 간이 재생 프레임을 후단의 D/A 변환부(20)로 송출시킨다.
또한, 재생 모드 제어부(22)는 재생 모드가 「빨리감기」 또는 「되감기」의 어떠한 경우에 있어서도, 가역 복호화부(12)로부터 얻어지는 화상, 슬라이스, 매크로 블록의 부호화 타입 및 그 위치에 기초하여, 변환 계수의 복호화가 필요 없는 취지 또는 변환 계수의 DC(직류) 성분만을 복호화하는 취지를 나타내는 변환 계수 제어 신호 S13B로서 역양자화부(15)로 송출함으로써, 이 역양자화부(15)에 있어서 역양자화 처리를 행하지 않고 변환 계수 0 또는 DC 성분만을 후단의 역직교 변환부(16)로 송출시킨다.
그 결과, 역직교 변환부(16) 및 계속되는 가산기(17)는, 입력되는 변환 계수가 모두 0 또는 DC 성분만인 경우에는, 역직교 변환 처리 및 가산 처리를 간략화하는 것이 가능하고, 이에 따라 프레임내의 디코드 시간을 단축화할 수 있다. 실제로 역직교 변환부(16)는 변환 계수의 DC 성분만의 복호시에는, 4차의 역직교 변환을 변환 계수의 DC 성분의 승산으로 치환하도록 되어 있다.
(2-1) 인트라 부호화 화상의 간이 재생 방법
도 2의 (A)∼(D)에 있어서, 제 1∼제4 간이 재생 방법에 대응해서, 인트라 부호화된 화상으로부터 간이 재생 프레임을 추출하여 재생하는 경우의 상세 방법에 대해서 설명한다. 이 인트라 부호화된 화상의 1슬라이스 SL분을 복수의 매크로 블록 MB로 형성한 개략도를 나타낸다. 이들 도면 중의 사선 부분이 복호화되는 매크로 블록을 나타내고 있다.
(2-1-1) 제1 간이 복호화 방법
인트라 부호화된 화상의 복호시에 모든 매크로 블록을 복호화하지 않고 화면 중심 부분 등의 미리 설정된 일부분을 슬라이스 단위로 복호화하는 방법이다(도 2의(A)).
또한, 복호화를 행하지 않는 슬라이스에 관해서는, 과거에 복호화한 화상에 대한 동일 위치의 정보를 카피하거나, 계속해서 설명하는 제2∼제4 간이 복호화를 적용하는 것이 가능하다.
(2-1-2) 제2 간이 복호화 방법
인트라 부호화된 화상의 복호시에, 각 슬라이스 내의 일부의 매크로 블록만을 JVT 부호화 방식에 따라서 복호화하는 한편, 그 이외의 매크로 블록을 공간 예측(spatial prediction) 방식에 의해 간이적으로 복호화하는 방법이다(도 2의 (B)).
JVT 부호화 방식에 따라서 복호화하는 매크로 블록은, 슬라이스의 선두에 의해 1매크로 블록 라인분 상당의 매크로 블록으로 한다. 또한, 이 이외의 매크로 블록에 관해서는, 공간 예측 방식만을 실행하여 변환 계수의 복호화를 행하지 않는다.
(2-1-3) 제3 간이 복호화 방법
상술한 제2 간이 복호화 방법에 부가해서, 인트라 부호화된 화상의 복호시에, JVT 부호화 방식에 따라서 복호화하는 매크로 블록 이외의 매크로 블록을 공간 예측 방식으로 복호화함과 함께, 변환 계수의 DC 성분만을 재구성함으로써 간이적으로 복호화하는 방법이다(도 2의 (C)).
이 제3 간이 복호화 방법에 있어서는, 변환 계수의 AC(교류) 성분은 모두 0으로서 처리를 행함으로써, 복호화 처리의 경감을 도모하도록 되어 있다.
(2-1-4) 제4 간이 복호화 방법
인트라 부호화된 화상의 복호시에, 각 슬라이스내의 모든 매크로 블록을 공간 예측 방식으로 복호화함과 함께 변환 계수의 DC 성분만을 재구성함으로써 간이적으로 복호화하는 방법이다(도 2의 (D)). 이 경우에도 제3 간이 복호화 방법과 마찬가지로, 변환 계수의 AC 계수에 대해서는 모두 0으로서 처리를 행함으로써, 복호화 처리의 경감을 도모하도록 되어 이루어져 있다.
상술한 제 1∼제4 간이 복호화 방법을, 재생 모드에 따라서 선택적으로 절환 제어할 수 있도록 해도 좋다. 실제로 제2, 제3 및 제4 간이 복호화 방법의 순으로 화질이 향상하도록 되어 있다.
(2-2) 인터 부호화 화상의 간이 재생 방법
또한, 인터 부호화된 화상의 복호시에는, 도 3에 도시하는 바와 같이, 움직임 벡터를 이용한 움직임 보상에 의한 처리만을 복호화를 행하고, 변환 계수의 재구성은 행하지 않는(즉, 변환 계수에 관해서는 DC 성분 및 AC 성분에 관계없이 모두 0으로 해서 처리를 행한다) 방법이다.
이 때 예측에 이용하는 참조 화상은 JVT 부호화 방식에 준거한 복호화 화상이더라도, 이 프레임 이전에 과거에 간이 복호화를 행한 재구성 화상이어도 문제는 없다.
(3) 본 실시예에 의한 동작 및 효과
이상의 구성에 있어서, JVT 부호화 방식에 준거한 복호화 처리를 행하는 화상 복호화 장치(10)에서는, 통상 재생에서 고속 재생으로 재생 모드가 절환하면, 화상 압축 정보 S10의 비트 스트림에 있어서의 랜덤 액세스 포인트 직후의 I픽쳐에서 B픽쳐를 제외한 수픽쳐분으로 되는 간이 재생 프레임에 대해 복호화한다.
그리고 「빨리감기」를 나타내는 고속 재생 모드인 경우에는, 간이 재생 프레임 이후의 스키핑 스트림을 복호화하지 않도록 건너띄고 읽은 후, 해당 간이 재생 프레임을 형성하는 I픽쳐 및 P픽쳐를 그 순서로 표시시킨다.
이에 대해 「되감기」를 나타내는 고속 재생 모드인 경우에는 간이 재생 프레임의 전에 위치하는 랜덤 액세스 포인트까지 비트 스트림을 거슬러 올라가게 한 후, 해당 간이 재생 프레임을 형성하는 I픽쳐 및 P픽쳐를 그 반대의 순서로 표시시킨다.
이와 같이 고속 재생 모드시에 화상 압축 정보 S10의 비트 스트림을 모두 복호화하지 않고, 그 중의 일부 또는 전부를 간이 재생 프레임으로서 복호화함으로써, 통상 재생 모드시보다도 단시간에 복호화 처리를 행할 수 있다.
또한, 화상 복호화 장치(10)에 있어서, 인트라 부호화된 화상의 복호시에 간이 재생 프레임내의 각 픽쳐를 형성하는 복수의 슬라이스에 대해, 해당 각 슬라이 스 단위로 일부 또는 전부의 매크로 블록만 JVT 부호화 방식에 따라서 복호화하고, 해당 복호 대상으로 되지 않는 매크로 블록에 대해서는 공간 예측 방식에 따르는 복호화 및 또는 변환 계수의 DC 성분만의 재구성을 실행하도록 한 것에 의해, 복호화 처리에 요하는 처리 시간을 단축화할 수 있다.
이것은 인터 부호화된 화상의 복호시에는 움직임 벡터를 이용한 움직임 보상에 의한 처리만을 복호화를 행하여 변환 계수의 재구성은 행하지 않도록 하더라도, 마찬가지로 복호화 처리에 요하는 처리 시간을 단축화할 수 있다.
이상의 구성에 따르면, JVT 부호화 방식에 준거한 복호화 처리를 행하는 화상 복호화 장치(10)에 있어서, 외부 입력되는 재생 모드에 따라 복호화 방법을 변경하는 재생 모드 제어부(22)를 설치하고, 고속 재생 모드시에 화상 압축 정보 S10의 비트 스트림을 모두 복호화하는 일 없이, 그 중의 일부 또는 전부를 간이 재생 프레임으로서 복호화하도록 한 것에 의해, 통상 재생 모드시보다도 짧은 시간에 복호화 처리를 행할 수 있고, 이렇게 해서 간이한 구성으로 단시간이고 또한 정확하게 복호화 처리를 행할 수 있는 화상 복호화 장치(10)를 실현할 수 있다.
(4) 다른 실시예
또한, 상술한 본 실시예에 있어서는, JVT 부호화 방식(소정의 부호화 방식)에 준거한 복호화 처리를 행하는 화상 복호화 장치로서, 도 1에 도시하는 구성의 것을 적용하도록 한 경우에 대해 기술했지만, 본 발명은 이것에 한정되지 않고, 그 밖의 각종 구성의 것을 널리 적용하도록 해도 좋다.
또한, 상술한 본 실시예에 있어서는, JVT 부호화 방식에서 부호화된 화상 압 축 정보(화상 데이터) S10에 대해 복호화 처리를 실시하는 복호화 수단을 가역 복호화부(12)로 구성하고, 해당 가역 복호화부(복호화 수단)(12)를 제어하는 제어 수단을 재생 모드 제어부(22)로 구성하도록 한 경우에 대해 기술했지만, 본 발명은 이것에 한정되지 않고, 고속 재생 모드시, 화상 압축 정보(화상 데이터) S10에 있어서의 랜덤 액세스 포인트(원하는 위치)의 I픽쳐를 기준으로 해서 해당 I픽쳐 및 후속하는 소정 수의 P픽쳐로 이루어지는 간이 재생 프레임을 추출할 수 있으면, 그 밖의 각종 구성의 것이나 일체 구성의 것 등 널리 적용할 수 있다.
또한, 상술한 본 실시예에 있어서는, 고속 재생 모드가 빨리감기 재생인 경우, 간이 재생 프레임 이후를 복호화하지 않고, 해당 간이 재생 프레임을 형성하는 I픽쳐 및 각 P픽쳐를 차례로 복호화하는 한편, 고속 재생 모드가 되감기 재생의 경우, 간이 재생 프레임의 전까지 거슬러 올라가게 한 후, 해당 간이 재생 프레임을 형성하는 I픽쳐 및 각 P픽쳐를 순차 복호화한 후, 해당 복호 순서와 역순으로 간이 재생 프레임을 출력하도록 한 경우에 대해서 기술했지만, 본 발명은 이것에 한정되지 않고, 고속 재생 모드에 따른 변칙 재생시에 복호화 처리에 요하는 처리 시간을 단축화할 수 있으면, 그 밖의 각종 방법을 적용하도록 해도 좋다.
또한, 상술한 본 실시예에 있어서는, JVT 부호화 방식 중 인트라 부호화(프레임내 부호화)된 화상 압축 정보(화상 데이터) S10에 있어서의 간이 재생 프레임내의 I픽쳐 및 각 P픽쳐에 대해, 슬라이스 단위(소정의 정보 단위)로 해당 슬라이스(정보) 내의 일부 또는 전부를 복호화하는 한편, 복호화하지 않은 부분에 대해서는 아무것도 하지 않은 제1 처리(도 2의 (A)), 공간 예측 부호화(가역 부호화)에 의해 얻어진 예측 방식의 신호에 준거해서 공간 예측만을 복호화하는 제2 처리(도 2의 (B)), DCT 변환 부호화(변환 부호화)에 의한 변환 계수의 DC(직류) 성분만 복호화하는 제3 처리(도 2의 (C)), 또는 제2 및 제3 처리를 조합한 제4 처리(도 2의 (D)) 중의 어느 하나를 선택적으로 행하도록 한 경우에 대해 기술했지만, 본 발명은 이것에 한정되지 않고, 제1 - 제4 처리를 재생 모드에 따라서 자동적으로 선택하도록 해도 된다.
이 경우, 제2 처리보다도 제3 및 제4 처리쪽이 화질이 좋은 것과, 제2 처리보다도 제3 및 제4 처리쪽이 복호화에 요하는 처리 시간이 느린 것과 밸런스를 고려하도록 하면 좋다.
또한, 제2 처리에 있어서의 가역 부호화로서 공간 예측 부호화를 적용함과 함께, 제3 및 제4 처리에 있어서의 변환 부호화로서 DCT 변환 부호화를 적용하도록 한 경우에 대해 기술했지만, 본 발명은 이것에 한정되지 않고, 그 밖의 각종 부호화를 널리 적용하도록 해도 좋다.
또한, 상술한 실시예에 있어서는 JVT 부호화 방식의 화상 압축 정보 S10이 한정된 예측 프레임을 사용하고 있는 경우, 가역 복호화부(12)(도 1)에 의해 비트 스트림을 형성하는 프레임 수를 더욱 줄이는 것이 가능하다. 예를 들면, 고속 재생 모드시에 이용하는 프레임이 P픽쳐였던 경우, 직전의 I 또는 P픽쳐만으로부터 예측을 행하도록 하고 예측 관계를 한정함으로써, 표시에 이용하는 일이 없는 프레임의 복호화를 행할 필요가 없어져, 더욱 단시간에 복호화 처리를 행할 수 있는 이점이 있다.
상술된 바와 같이 본 발명에 따르면, 소정의 부호화 방식에 준거한 복호화 처리를 행하는 화상 복호화 장치에 있어서, 부호화 방식으로 부호화된 화상 데이터에 대해 복호화 처리를 실시하는 복호화 수단과, 복호화 수단을 제어하는 제어 수단을 설치하고, 고속 재생 모드시, 제어 수단은 화상 데이터에 있어서의 원하는 위치의 I픽쳐를 기준으로 해서 해당 I픽쳐 및 후속하는 소정 수의 P픽쳐로 이루어지는 간이 재생 프레임을 추출하도록 복호화 수단을 제어하도록 한 것에 의해, 통상 재생 모드시보다도 짧은 시간에 복호화 처리를 행할 수 있고, 이렇게 해서 간이한 구성으로 단시간이고 또한 정확하게 복호화 처리를 행할 수 있는 화상 복호화 장치를 실현할 수 있다.
또한, 본 발명에 따르면, 소정의 부호화 방식에 준거한 복호화 처리를 행하는 화상 복호화 방법에 있어서, 고속 재생 모드시, 부호화 방식으로 부호화된 화상 데이터에 있어서의 원하는 위치의 I픽쳐를 기준으로 해서 해당 I픽쳐 및 후속하는 소정 수의 P픽쳐로 이루어지는 간이 재생 프레임을 추출하도록 한 것에 의해, 통상 재생 모드시보다도 짧은 시간에 복호화 처리를 행할 수 있고, 이렇게 해서 간이한 구성으로 단시간이고 또한 정확하게 복호화 처리를 행할 수 있는 화상 복호화 방법을 실현할 수 있다.
본 발명은 화상 복호화 장치 및 화상 복호화 방법에 있어서, DVD 등의 기록 매체나 디지털 방송으로부터 얻어지는 디지털 화상을 재생하는 것이 가능한 화상 재생 장치에 널리 적용할 수 있다.

Claims (4)

  1. 소정의 부호화 방식에 준거한 복호화 처리를 행하는 화상 복호화 장치에 있어서,
    상기 부호화 방식으로 부호화된 화상 데이터에 대해 상기 복호화 처리를 실시하는 복호화 수단과,
    상기 복호화 수단을 제어하는 제어 수단
    을 구비하고,
    고속 재생 모드시, 상기 제어 수단은, 상기 화상 데이터에서의 원하는 위치의 I픽쳐를 기준으로 하여 해당 I픽쳐 및 후속하는 소정수의 P픽쳐를 추출하여 복호화하는 제1 처리, 가역 부호화에 의해 얻어진 예측 방식의 신호에 준거하여 공간 예측만을 복호화하는 제2 처리, 변환 부호화에 의한 변환 계수의 직류 성분만 복호화하는 제3 처리, 또는 상기 제2 및 제3 처리를 조합한 제4 처리 중의 어느 하나를 선택적으로 행함으로써 상기 복호화 수단을 제어하는 것을 특징으로 하는 화상 복호화 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 고속 재생 모드가 빨리감기 재생인 경우, 상기 간이 재생 프레임 이후를 복호화하지 않고, 해당 간이 재생 프레임을 형성하는 상기 I픽쳐 및 각 상기 P 픽쳐를 차례로 복호화하도록 상기 복호화 수단을 제어하는 한편,
    상기 고속 재생 모드가 되감기 재생인 경우, 상기 간이 재생 프레임의 이전까지 거슬러 올라가게 한 후, 해당 간이 재생 프레임을 형성하는 상기 I픽쳐 및 각 상기 P픽쳐를 순차 복호화한 후, 해당 복호 순서와 역순으로 상기 간이 재생 프레임을 출력하도록 상기 복호화 수단을 제어하는 것을 특징으로 하는 화상 복호화 장치.
  3. 소정의 부호화 방식에 준거한 복호화 처리를 행하는 화상 복호화 방법에 있어서,
    고속 재생 모드시, 상기 부호화 방식으로 부호화된 화상 데이터에서의 원하는 위치의 I픽쳐를 기준으로 하여 해당 I픽쳐 및 후속하는 소정수의 P픽쳐를 추출하여 복호화하는 제1 처리, 가역 부호화에 의해 얻어진 예측 방식의 신호에 준거하여 공간 예측만을 복호화하는 제2 처리, 변환 부호화에 의한 변환 계수의 직류 성분만 복호화하는 제3 처리, 또는 상기 제2 및 제3 처리를 조합한 제4 처리 중의 어느 하나를 선택적으로 행하는 것을 특징으로 하는 화상 복호화 방법.
  4. 제3항에 있어서,
    상기 고속 재생 모드가 빨리감기 재생인 경우, 상기 간이 재생 프레임 이후를 복호화하지 않고, 해당 간이 재생 프레임을 형성하는 상기 I픽쳐 및 각 상기 P픽쳐를 차례로 복호화하는 한편,
    상기 고속 재생 모드가 되감기 재생인 경우, 상기 간이 재생 프레임의 이전까지 거슬러 올라가게 한 후, 해당 간이 재생 프레임을 형성하는 상기 I픽쳐 및 각 상기 P픽쳐를 순차 복호화한 후, 해당 복호 순서와 역순으로 상기 간이 재생 프레임을 출력하는 것을 특징으로 하는 화상 복호화 방법.
KR20057020193A 2003-04-25 2004-04-19 화상 복호화 장치 및 화상 복호화 방법 KR101057863B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2003-00122472 2003-04-25
JP2003122472A JP4324844B2 (ja) 2003-04-25 2003-04-25 画像復号化装置及び画像復号化方法
PCT/JP2004/005544 WO2004098184A1 (ja) 2003-04-25 2004-04-19 画像復号化装置及び画像復号化方法

Publications (2)

Publication Number Publication Date
KR20060006823A true KR20060006823A (ko) 2006-01-19
KR101057863B1 KR101057863B1 (ko) 2011-08-19

Family

ID=33410079

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20057020193A KR101057863B1 (ko) 2003-04-25 2004-04-19 화상 복호화 장치 및 화상 복호화 방법

Country Status (6)

Country Link
US (1) US7672522B2 (ko)
EP (1) EP1619893B1 (ko)
JP (1) JP4324844B2 (ko)
KR (1) KR101057863B1 (ko)
CN (2) CN100479513C (ko)
WO (1) WO2004098184A1 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100282147B1 (ko) * 1998-11-13 2001-02-15 구자홍 압축 영상 복원 방법
EP1872588B1 (en) * 2005-04-13 2021-01-27 InterDigital VC Holdings, Inc. Luma and chroma encoding using separate predictors
TWI266541B (en) * 2005-06-08 2006-11-11 Via Tech Inc Computing method of motion vector
WO2007099580A1 (ja) * 2006-02-28 2007-09-07 Matsushita Electric Industrial Co., Ltd. マルチメディアデータ再生装置および方法
US8279928B2 (en) 2006-05-09 2012-10-02 Canon Kabushiki Kaisha Image encoding apparatus and encoding method, image decoding apparatus and decoding method
KR101554366B1 (ko) * 2006-06-21 2015-09-18 지이 헬쓰케어 리미티드 방사성 의약품
JP5030495B2 (ja) * 2006-07-14 2012-09-19 ソニー株式会社 再生装置、再生方法、プログラム、および記録媒体
JP5232175B2 (ja) * 2008-01-24 2013-07-10 パナソニック株式会社 動画像圧縮装置
JP5170708B2 (ja) 2008-01-24 2013-03-27 日本電気株式会社 動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置
JP5206070B2 (ja) * 2008-03-28 2013-06-12 富士通株式会社 復号装置および復号方法
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
CN102484718B (zh) * 2009-09-03 2014-11-12 日本电气株式会社 视频编码设备、视频编码方法和视频编码程序
US11232458B2 (en) 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
US9607655B2 (en) 2010-02-17 2017-03-28 JBF Interlude 2009 LTD System and method for seamless multimedia assembly
US10165276B2 (en) * 2010-09-30 2018-12-25 Texas Instruments Incorporated Method and apparatus for frame coding in vertical raster scan order for HEVC
JP5781313B2 (ja) * 2011-01-12 2015-09-16 株式会社Ｎｔｔドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
US9706227B2 (en) * 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
WO2012134046A2 (ko) 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
KR101383775B1 (ko) 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
US20120314767A1 (en) 2011-06-13 2012-12-13 Qualcomm Incorporated Border pixel padding for intra prediction in video coding
US9009619B2 (en) 2012-09-19 2015-04-14 JBF Interlude 2009 Ltd—Israel Progress bar for branched videos
US9257148B2 (en) 2013-03-15 2016-02-09 JBF Interlude 2009 LTD System and method for synchronization of selectably presentable media streams
EP2981087B1 (en) * 2013-03-29 2019-10-30 JVC KENWOOD Corporation Picture decoding device, picture decoding method, and picture decoding program
US10448119B2 (en) 2013-08-30 2019-10-15 JBF Interlude 2009 LTD Methods and systems for unfolding video pre-roll
US9520155B2 (en) * 2013-12-24 2016-12-13 JBF Interlude 2009 LTD Methods and systems for seeking to non-key frames
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
US9792026B2 (en) 2014-04-10 2017-10-17 JBF Interlude 2009 LTD Dynamic timeline for branched video
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US11412276B2 (en) 2014-10-10 2022-08-09 JBF Interlude 2009 LTD Systems and methods for parallel track transitions
US10582265B2 (en) 2015-04-30 2020-03-03 JBF Interlude 2009 LTD Systems and methods for nonlinear video playback using linear real-time video players
US9672868B2 (en) 2015-04-30 2017-06-06 JBF Interlude 2009 LTD Systems and methods for seamless media creation
US10460765B2 (en) 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US11128853B2 (en) 2015-12-22 2021-09-21 JBF Interlude 2009 LTD Seamless transitions in large-scale video
US11164548B2 (en) 2015-12-22 2021-11-02 JBF Interlude 2009 LTD Intelligent buffering of large-scale video
US10462202B2 (en) 2016-03-30 2019-10-29 JBF Interlude 2009 LTD Media stream rate synchronization
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
US10218760B2 (en) 2016-06-22 2019-02-26 JBF Interlude 2009 LTD Dynamic summary generation for real-time switchable videos
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5440345A (en) * 1992-07-17 1995-08-08 Kabushiki Kaisha Toshiba High efficient encoding/decoding system
US5786858A (en) * 1993-01-19 1998-07-28 Sony Corporation Method of encoding image signal, apparatus for encoding image signal, method of decoding image signal, apparatus for decoding image signal, and image signal recording medium
US5787225A (en) * 1993-03-29 1998-07-28 Matsushita Electric Industrial Co., Ltd. Optical disk apparatus for the reproduction of compressed data
JP2661541B2 (ja) 1993-03-29 1997-10-08 松下電器産業株式会社 光ディスク装置
JP3089160B2 (ja) * 1994-05-20 2000-09-18 シャープ株式会社 ディジタル記録再生装置
JP3254924B2 (ja) 1994-09-05 2002-02-12 ソニー株式会社 データ再生方法およびデータ再生装置
JP3491366B2 (ja) 1995-01-31 2004-01-26 ソニー株式会社 符号化データの特殊再生方法および特殊再生装置
JP3635712B2 (ja) * 1995-04-08 2005-04-06 ソニー株式会社 画像情報復号化装置及び画像情報再生装置
JPH08331567A (ja) * 1995-06-02 1996-12-13 Sony Corp 画像情報符号化装置、画像情報復号化装置及び画像情報記録再生システム
US6169843B1 (en) * 1995-12-01 2001-01-02 Harmonic, Inc. Recording and playback of audio-video transport streams
JP3772451B2 (ja) * 1997-03-19 2006-05-10 ソニー株式会社 画像復号装置及び画像復号方法
JPH10276365A (ja) * 1997-03-31 1998-10-13 Hitachi Ltd 映像データ圧縮装置、映像記録再生装置および映像データの圧縮符号化方法
US7149248B2 (en) * 2001-09-12 2006-12-12 Broadcom Corporation Command packet system and method supporting improved trick mode performance in video decoding systems

Also Published As

Publication number Publication date
CN101500116A (zh) 2009-08-05
US7672522B2 (en) 2010-03-02
EP1619893A1 (en) 2006-01-25
KR101057863B1 (ko) 2011-08-19
JP2004328511A (ja) 2004-11-18
WO2004098184A1 (ja) 2004-11-11
JP4324844B2 (ja) 2009-09-02
US20070003149A1 (en) 2007-01-04
CN1778110A (zh) 2006-05-24
CN100479513C (zh) 2009-04-15
EP1619893A4 (en) 2009-11-25
EP1619893B1 (en) 2013-01-09
CN101500116B (zh) 2011-02-23

Similar Documents

Publication Publication Date Title
KR101057863B1 (ko) 화상 복호화 장치 및 화상 복호화 방법
US10397572B2 (en) Method and system for generating a transform size syntax element for video decoding
US7324595B2 (en) Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction
KR100340369B1 (ko) 화상부호화방법및장치
EP0536784B1 (en) An adaptive coding method for interlaced scan digital video sequences
US7929608B2 (en) Method of reducing computations in intra-prediction and mode decision processes in a digital video encoder
EP1696677B1 (en) Image decoding device, image decoding method, and image decoding program
JP2004140473A (ja) 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法
EP1594320A1 (en) Method and system for dynamic selection of transform size in a video decoder based on signal content
JP2004328634A (ja) 画像復号化装置及び方法
JP2009021927A (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP3331351B2 (ja) 画像データ符号化方法及び装置
WO1993003578A1 (en) Apparatus for coding and decoding picture signal with high efficiency
JPH0879766A (ja) 動画像符号化方法及び動画像符号化装置
JPH0818979A (ja) 画像処理装置
JP2008219205A (ja) 画像情報符号化装置及び画像情報符号化方法
JPH0698311A (ja) 画像信号の高能率符号化及び復号化装置
JP2004349812A (ja) 画像復号化装置及び画像復号化方法
JP2004112842A (ja) 符号化ブロックパターンの符号化装置及び符号化ブロックパターンの符号化方法
JP3481118B2 (ja) 動画像復号化方法
JPH05227527A (ja) インターレース画像符号化方法と装置
JPH06245205A (ja) インターレース画像符号化方法と装置
JPH11252561A (ja) 動画像復号化方法
JP2007166555A (ja) 符号化装置及び方法
JP2001177841A (ja) 画像信号伝送方法及び装置、並びに画像信号復号化方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140801

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee