KR101007806B1 - 재생 장치, 재생 시스템, 재생 방법 및 기록 매체 - Google Patents

재생 장치, 재생 시스템, 재생 방법 및 기록 매체 Download PDF

Info

Publication number
KR101007806B1
KR101007806B1 KR20080137498A KR20080137498A KR101007806B1 KR 101007806 B1 KR101007806 B1 KR 101007806B1 KR 20080137498 A KR20080137498 A KR 20080137498A KR 20080137498 A KR20080137498 A KR 20080137498A KR 101007806 B1 KR101007806 B1 KR 101007806B1
Authority
KR
South Korea
Prior art keywords
frame
output
abnormal
difference information
frames
Prior art date
Application number
KR20080137498A
Other languages
English (en)
Other versions
KR20090076794A (ko
Inventor
지히로 하라다
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20090076794A publication Critical patent/KR20090076794A/ko
Application granted granted Critical
Publication of KR101007806B1 publication Critical patent/KR101007806B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

출력 프레임의 주관적 평가값의 열화를 방지한 재생 장치, 재생 시스템, 재생 방법 및 기록 매체를 제공한다. 따라서, 영상 데이터를 복호함으로써 얻어진 프레임들 중에서 이상(abnormality)이 인정되는 프레임에 대하여 보간(interpolation)이 불가능한 경우, 정상 프레임이 출력될 수 있을 때까지, 이미 출력된 프레임이 유지된다.
영상 데이터, 보간 처리, 차분 정보, 재생 장치, 영상 배신 서버

Description

재생 장치, 재생 시스템, 재생 방법 및 기록 매체{REPRODUCING APPARATUS, REPRODUCING SYSTEM, REPRODUCING METHOD AND RECORDING MEDIUM THEREOF}
본 출원은 2008년 1월 7일에 출원된 일본 특허 출원 No. 2008-000721호를 기초로 우선권을 주장하며, 그 내용은 여기에 전체적으로 참조로 포함된다.
본 발명은 재생 장치, 재생 시스템, 재생 방법 및 기록 매체에 관한 것이다.
스트리밍 배신(stream delivery) 동안 다수의 프레임으로 이루어진 수신된 영상 데이터의 이상(abnormal) 프레임에 의해 화질이 열화(劣化)된 부분에 대해, 보간(interpolation) 기술을 이용하여 영상을 재생하는 재생 장치 관련 기술이 다양하게 제안되어 있다. 관련 기술을 이하에 설명한다.
일본 공개 특허(JP-A) No. 62-061485호(특허 문헌 1)에는, 프레임을 이용하여 보간 처리를 행하는 기술이 기재되어 있다.
JP-A No. 62-061485호(특허 문헌 1)에는, 프레임간(inter frame) 예측 복호화 장치가 기재되어 있으며, 이 프레임간 예측 복호화 장치에는, 프레임간 예측 부호화된 화상 신호를 복호화할 때에, 프레임간 차분(differential)을 적분(integrate)하기 위해 제1 프레임 메모리에 저장되는 프레임 데이터로부터 이전 프레임 데이터를 저장하는 제2 프레임 메모리가 형성되어, 전송로(transmission line) 에러 발생 시에, 제2 프레임 메모리에 저장된 프레임 데이터를 출력하는 구성이 기재되어 있다.
에러를 검출한 경우, 프레임간 예측 복호화 장치는, 표시 장치에 전송되는 데이터는 에러가 발생하기 전의 이전 데이터이기 때문에, 표시 장치에 에러가 없는(error-free) 화상을 표시한다.
JP-A No. 03-022735호(특허 문헌 2)에는, 열화된 화질의 보간 처리의 난이도에 따라, 보간 처리와 재전송(retransmission) 처리 간을 전환시키는 기술이 기재되어 있다.
특허 문헌 2에 따른 영상 신호의 패킷 전송 장치는, 영상 전송 성분이 전송로 등에서 분실되어도 보간이 용이한(interpolation-easy) 영상 전송 성분을 이용하여 패킷을 형성하는 회로와, 영상 신호 성분이 분실되면 보간이 어려운(interpolation-difficult) 영상 신호 성분을 이용하여 패킷을 형성하는 회로와, 패킷이 분실되었을 경우에 화상이 열화되는 정밀도가 큰 패킷에 대하여 패킷의 우선순위 표시 영역을 이용하여 높은 우선순위를 부여하는 회로를 포함한다.
영상 신호의 패킷 전송 장치에서는, 전송로에서 패킷이 폐기(discard)되는 경우, 제1 그룹의 패킷이 먼저 폐기된다. 제1 그룹의 패킷은 보간이 용이하며 중요한 화상 정보가 아니기 때문에, 제1 그룹의 패킷이 폐기되어도 화질 열화는 그다지 크지 않다.
JP-A No. 2006-174280호(특허 문헌 3)에는, 리얼타임성을 유지하기 위해, 프 레임 내에 존재하는 복수의 화질 열화 부분의 우선순위를 결정하여 보간 처리를 행하는 기술이 기재되어 있다.
특허문헌 3의 화상 처리 장치는, 수신된 동화상 데이터로부터 결함 부분을 검출하는 결함 검출기와, 동화상 데이터의 1개의 프레임 내에 결함 부분이 복수 존재하고 있을 경우, 결함 부분의 우선순위를 결정하는 결정 유닛과, 결정 유닛에 의해 결정된 우선순위에 따라 결함 부분에 대하여 보간 처리를 행하는 보간 처리 유닛을 포함한다.
이 화상 처리 장치의 화상 신장(stretch) 처리기는, 통신 처리기가 수신된 동화상 스트림 데이터에 대하여 디코딩 처리를 행하고, 동화상 데이터를 출력한다. 화상 결함 검출기는 화상 신장 처리기로부터 출력되는 동화상 데이터로부터 결함 부분을 검출한다. 보간 순위 결정 유닛은, 동화상 데이터의 1개의 프레임 내에 결함 부분이 복수 존재하고 있을 경우, 결함 부분에 대하여 보간 처리의 우선순위를 결정한다. 보간 처리기는 보간 순위 결정 유닛에 의해 결정된 우선순위에 따라 결함 부분에 대하여 보간 처리를 행한다.
또한, FEC(forward error correction) 기술은, 송신 측의 소정의 데이터에 대하여 수신 측에 의해 에러 검출 및 정정 처리를 위해 패리티(parity)(용장 데이터(redundancy data))를 부가하여, 재전송 처리를 필요로 하지 않고 수신 완료된 정상적인 다른 패킷을 사용하여 결손(loss)을 보간하는 기술을 의미한다.
또한, JP-A No. 2003-284064(특허 문헌 4)에는, 화상 데이터로부터 에러가 검출되었을 경우, 수신 측에서의 자율적인 규제를 사용하여 보기 쉬운(easy-to- see) 화상을 표시하는 기술이 기재되어 있다.
특허문헌 4에 따른 화상 수신 장치는, 부호화된 화상 데이터를 수신하는 수신 유닛과, 수신된 화상 데이터를 재생하는 재생 유닛과, 재생 유닛에 의해 얻어진 화상을 표시하는 표시 유닛과, 수신된 화상 데이터의 에러를 검출하는 검출 유닛과, 수신된 화상 데이터의 에러 내성(error durability)의 강도를 측정하는 측정 유닛과, 수신된 화상 데이터로부터 에러가 검출되었을 경우, 측정된 에러 내성의 강도에 따라, 표시 유닛에 표시되는 화상을 전환시키는 전환 유닛을 포함한다.
이 화상 수신 장치에서는, 가변 길이 복호기가 프레임 부호화 모드를 복호하고, 에러 검출기가 가변 길이 복호기에 의한 복호 동작 동안에 화상 데이터의 에러를 검출하며, 수신 간격 측정 유닛이 프레임 부호화 모드에 기초하여 키 프레임(key frame)의 수신 간격을 측정하고, 전환 제어기가 에러의 존재, 프레임 부호화 모드 및 랜덤 액세스 간격에 기초하여 스위치의 접속/컷오프(cut-off)를 제어함으로써, 표시 장치에 표시되는 화상을 전환시킨다.
JP-A No. 2006-319583호(특허 문헌 5)에는, 영상 및 음성 데이터를 송신기로부터 스트리밍 배신하고, 영상 및 음성 데이터를 수신하여, 수신된 영상 및 음성 데이터에 기초하여 영상 및 음성을 출력하는 장치가 기재되어 있다.
특허문헌 5에 따른 출력 장치는, 다른 장치로부터 송출된 데이터를 수신하고, 수신된 데이터에 대하여 필요에 따라 결손을 보상하는 결손 보상 처리를 행하고, 데이터에 기초한 출력 처리를 행한다. 이 출력 장치는, 수신된 데이터의 결손 상황을 검출하는 검출 유닛과, 검출된 결손 상황에 기초하여, 데이터의 출력에 관 련된 지연 시간을 산출하는 산출 유닛과, 산출된 지연 시간에 따라 데이터의 출력을 지연시키는 유닛을 포함한다.
출력 장치는, 영상 및 음성 데이터를 수신하여, 수신된 영상 및 음성 데이터 중에서 결손 보상 처리를 통해 보상하는 것이 가능한 결손의 개수를 검출하고, 검출된 결손의 개수에 대응하는 결손 보상 처리에 필요한 시간에 기초하여, 수신된 영상 및 음성 데이터의 출력에 관련된 지연 시간을 산출하고, 영상 및 음성 데이터의 결손을 보상하는 결손 보상 처리를 실행하며, 결손 보상 처리 후의 영상 및 음성 데이터를 산출된 지연 시간만큼 지연시킨 후, 지연된 영상 및 음성 데이터를 출력한다.
그러나, 비디오 컨퍼런스 등의 높은 리얼타임성이 요구되는 경우에서는, 영상 데이터의 버퍼링량은 가능한 한 적은 것이 바람직하다. 특허문헌 2에 기재된 발명과 같이 재전송을 행하는 경우, 버퍼링량을 많이 갖게 되어, 리얼타임성이 손상된다.
또한, 멀티캐스트(multicast)에 의한 스트리밍과 같이 재전송 처리가 불가능한 경우에서는, 특허문헌 2에 기재된 것과 같은 재전송 처리를 행하는 것은 불가능하다.
또한, 이상 프레임의 양이 많아서 보간 처리가 불가능한 경우나, 장면(scene)이 전환되는 경우에는 특허문헌 1이나 특허문헌 3에 기재된 기술을 사용 해서는 충분한 보간 처리를 행할 수 없어, 화질 열화를 야기시킨다.
또한, FEC에서는, 배신 측에 의해 부가된 패리티에 대해 수신 측에서 대응할 필요가 있다. 수신 측에 의해 규정되지 않은 패리티가 부가된 데이터가 배신되고 있는 경우, 수신 측에서는 보간 처리를 행할 수 없다.
또한, 본 명세서에 기재되어 있는 영상 데이터의 이상(abnormality)은, 영상 데이터 수신 시의 도착의 지연이라는 의미가 아니라, 영상 데이터 자체가 분실되어 수신 측에는 도착하지 않는 것이나 영상 데이터의 일부가 파괴되어 있는 것을 의미한다. 또한, 프레임의 이상은, 영상 데이터의 이상 때문에 복호 후의 프레임이 불완전한 상태를 의미한다.
또한, 특허문헌 4, 5의 관련 기술에서는 주관적인(subjective) 화질 열화의 방지가 불충분한다.
여기서, "주관적"이라는 것은 PSNR(Peak Signal Noise Ratio)값 등의 객관적인 프레임의 화질 평가(appraisal)가 아니라, 시청자에 의한 프레임의 화질 평가를 의미한다.
또한, "주관"은 "평가자(appraisalor) 개인의 판단이나 심리 등에 의존하여 채점"하는 것을 의미하고, "객관(objective)"은 "평가자의 주관에 영향받지 않고 기계적으로(routinely) 채점"하는 것을 의미한다. 시청자의 시청에 의한 화질 평가는, 동일한 프레임을 시청한 경우에도, 화질을 받아들이는 태도가 개인의 판단이나 심리 등에 의존하기 때문에 "주관적"이라고 생각된다.
따라서, 본 발명의 목적은 출력 프레임의 주관적 평가값의 저하를 방지한 재 생 장치, 재생 시스템, 재생 방법 및 기록 매체를 제공하는 데 있다.
본 목적을 실현하기 위해, 본 발명은 이하의 특징을 제공한다.
본 발명에 따른 예시적인 이점으로는, 재전송이 필요없기 때문에, 스트리밍 전송 동안에, 수신된 영상 데이터의 이상에 대하여 리얼타임성을 유지하고, 멀티캐스트에서와 같이 재전송이 불가능한 경우의 스트리밍 환경 아래에서도, 출력된 프레임의 품질 감소를 주관적으로 방지하는 것이 있다. 따라서, 출력 프레임의 주관적 평가값의 저하를 방지하는 재생 장치, 재생 시스템, 재생 방법 및 기록 매체를 실현하는 것이 가능하다.
<장치>
본 발명의 일 양태에서는, 재생 장치가 제공되며, 이 재생 장치는, 영상 데이터를 복호함으로써 얻어진 프레임들 중에서 이상이 인정되는 프레임에 대하여 보간이 불가능한 경우, 정상 프레임이 출력될 수 있을 때까지, 이미 출력된 프레임을 유지한다.
<시스템>
본 발명의 다른 양태에서는, 영상 데이터를 복호함으로써 얻어진 프레임들 중에서 이상이 인정되는 프레임에 대하여 보간이 불가능한 경우, 정상 프레임이 출력될 수 있을 때까지, 이미 출력된 프레임을 유지하는 재생 장치와, 영상 데이터를 배신하는 영상 데이터 배신 서버와, 해당 영상 데이터 배신 서버에 접속된 네트워크를 포함하는 재생 시스템이 제공된다.
<방법>
본 발명의 또 다른 양태에서는, 재생 방법이 제공되며, 이 재생 방법은, 영상 데이터를 복호함으로써 얻어진 프레임들 중에서 이상이 인정되는 프레임에 대하여 보간 처리가 불가능한 경우, 정상 프레임이 출력될 수 있을 때까지, 이미 출력된 프레임을 유지한다.
<기록 매체>
본 발명의 또 다른 양태에서는, 컴퓨터로 하여금, 영상 데이터를 복호함으로써 얻어진 프레임들 중에서 이상이 인정되는 프레임에 대하여 보간이 불가능한 경우, 정상 프레임이 출력될 수 있을 때까지, 이미 출력된 프레임을 유지하는 처리를 실행하게 하는 프로그램을 기록한 기록 매체가 제공된다.
본 발명에 의하면, 재전송 처리를 필요로 하지 않기 때문에, 스트리밍 배신 동안 수신된 영상 데이터의 이상에 대하여 리얼타임성을 유지하고, 또한 멀티캐스트 등의 재전송 처리가 불가능한 스트리밍 환경에 있어서도, 출력 프레임의 품질 열화를 주관적으로 방지하는 것이 가능하다. 그 결과, 출력 프레임의 주관적 평가값의 저하를 방지한 재생 장치, 재생 시스템, 재생 방법 및 기록 매체의 제공을 실현할 수 있다.
우선, 본 발명에 따른 재생 장치의 예시적인 실시 형태를 도 1 내지 도 4를 참조한 예시적인 실시 형태 1, 2를 이용하여 설명한다.
본 발명은 스트리밍 전송 동안 수신된 영상 데이터의 이상 프레임에 대하여 재전송을 행하지 않고, 출력 프레임의 품질 감소를 주관적으로 방지한 재생 장치, 재생 시스템, 재생 방법 및 기록 매체를 제공하는 것이다.
[예시적인 실시형태 1]
본 예시적인 실시형태 1에서는, 스트리밍 배신 동안 수신된 영상 데이터의 이상 프레임에 대해 각종 보간 처리를 행하는 경우에 대해서 설명한다.
본 예시적인 실시형태에 따른 재생 장치는, 이상 프레임의 양이 완전히 처리할 수 없을 만큼 많은 경우나 장면의 전환에 의해 보간이 불가능한 경우, 다음에 키 프레임이 출현(appear)할 때까지 프레임 수가 일정한 수만큼 있으면, 현재 프레임으로부터 다음 키 프레임 출현할 때까지 새로운 화상의 출력을 행하지 않음으로써, 출력 영상의 주관적 평가값의 저하를 방지한다.
"출력을 행하지 않는다"는 것은 이미 출력된 프레임을 유지하고, 현재의 새로운 프레임의 출력을 행하지 않는다는 의미이다.
여기서, 일반적으로 MPEG(Moving Picture Experts Group) 데이터에는 대략 정기적으로 키 프레임이 삽입되고 있다. "대략"은 키 프레임으로부터 다음 키 프레임까지의 프레임 수가 변동하고 있어, 상수(constant)가 아니기 때문에 사용된다.
또한, "키 프레임"은 MPEG1/2/4 데이터의 경우에는 I프레임이라 불리고, H.264/AVC 데이터이 경우에는 IDR 프레임이라 불린다.
본 예시적인 실시형태의 주목적은, 시청자가 프레임을 시청하는 동안, 예를 들어 영상 데이터의 이상에 의해 0.3초간 프레임이 계속하여 왜곡(distort)되는(또는 혼란(confuse)되거나 교란(disturb)되는) 경우와, 0.3초간 프레임이 일시 정지되는 경우와 관련하여, 후자(後者)의 주관적 평가값이 높아지는 것이다.
일반적으로, 스트리밍에 사용되는 영상 데이터는 키 프레임과, 키 프레임간의 차분 정보를 포함하고 개수가 변동하는 복수(예를 들어, 키 프레임간에 15∼900개 프레임)의 프레임을 포함한다.
키 프레임은, 키 프레임의 정보로부터 원래의 화상으로 디코딩될 수 있는 프레임이다. 또한, 본 예시적인 실시형태에서는, 차분 정보를 포함하는 프레임은, 직전 프레임과의 차분 계산을 행하여 산출되는(프레임간 보간) 프레임이다. 즉, 화질 열화의 정도가 큰 프레임이 출현한 경우, 그 프레임에 대해 차분 계산을 행하여 얻어진 프레임의 화질이 손상되어 있기 때문에, 다음 키 프레임이 출현할 때까지의 화질은 계속하여 손상되므로, 주관적인 영상 품질은 열화된다.
본 예시적인 실시형태는 상술한 특허문헌 3에서 설명된 FEC의 패리티와 같은 송신 측의 사양(specification)에 의존하는 단점이 없다.
[구성]
도 1은, 본 발명의 예시적인 실시형태에 따른 재생 방법을 스트리밍 배신에 적용한 재생 장치를 포함하는 재생 시스템의 구성의 일례이다.
본 재생 시스템은 영상 데이터 배신 서버(1)와, 재생 장치로서의 클라이언트(2-1)와, 네트워크(10)를 포함한다.
영상 데이터 배신 서버(1)는 영상 데이터 배신 기능을 포함한다.
재생 장치로서의 클라이언트(2-1)는 기억 유닛(3-1), 제1 유닛으로서의 영상 수신 유닛(4-1), 제2 유닛으로서의 복호기(5), 보간 처리기(6), 키 프레임 간격 산출기(7), 제3 유닛으로서의 프레임 출력 제어기(8), 및 프레임 출력 유닛(9)을 포함하고 있다.
클라이언트(2-1)는, PC(Personal Computer)나 STB(Set Top Box)일 수 있으며, 스트리밍을 통해 영상을 수신할 수 있고, 영상 데이터 배신 서버(1)로부터의 영상 데이터를 복호하여 프레임을 출력할 수 있다.
기억 유닛(3-1)은 디스크 기억 유닛이나 메모리 기억 장치일 수 있으며, 이는 영상 데이터 배신 서버(1)로부터 배신되는 영상 데이터뿐만 아니라, 산출된 키 프레임 간격 등의 다양한 정보를 저장할 수 있다.
영상 데이터는 소위 동화상의 데이터일 수 있으며, 풍경과 같은 동일한 프레임이 연속된 화상의 데이터일 수도 있고, 인물이 걸어가는 것과 같은 상이한 프레임이 연속된 화상의 데이터가 적용될 수 있다.
영상 수신 유닛(4-1)은 스트리밍 배신된 영상 데이터를 수신하고며, 영상 데이터의 이상 프레임의 유무를 판단하는 장치이다. 영상 수신 유닛(4-1)이, 영상 데이터 배신 서버(1)로부터 스트리밍 배신된 영상을 수신하고, 수신된 영상 데이터에 결손 등의 에러가 있었을 경우, 복호기(5)가 기억 유닛(3-1)으로부터 영상 데이터를 판독하고 출력할 때에, 복호기(5)가 영상 데이터 중에 결손이 존재하는 것을 판단할 수 있도록, 기억 유닛(3-1)은 결손 위치도 함께 저장한다.
복호기(5)는 프레임을 형성하기 위해, 수신된 영상 데이터를 프레임에 복호 하며, 복호된 프레임이 키 프레임인지 여부를 판단하는 기능을 포함하고, 이상 프레임에 보간이 가능한지 여부를 판단하는 기능을 포함한다.
여기서, 복호된 프레임이 키 프레임인지 여부를 판단하는 것은, 코덱(CODEC)의 규격(standard)에 따라 다양한 방법을 사용하여 행해질 수 있다. 통상적으로는, 디코딩 동작 동안 데이터 내의 헤더로부터 판단될 수 있다.
보간 처리기(6)는 복호기(5)에 의해 얻어지는 이전 프레임으로부터의 차분 정보를 이용하여 보간(프레임간 보간)을 행하거나, 프레임내 보간이 가능하다고 판단된 경우에 화상의 보간을 행한다. 여기서, 프레임내 보간은 하나의 프레임을 형성하는 패킷을 이용한 프레임의 보간을 의미한다.
키 프레임 간격 산출기(7)는, 복호기(5)가 키 프레임을 판단한 경우에, 키 프레임의 출현 간격 m을 산출한다. 또한, 키 프레임 간격 산출기(7)는 키 프레임의 출현 간격 m을 과거의 키 프레임의 출현 간격 m'와 비교하여, 현재의 이상 프레임(보간 처리가 불가능한 프레임을 포함함)으로부터 몇 프레임 후에 키 프레임이 출현할지를 산출(대략 계산)함으로써 예측값을 얻는다. 이것은, 현재의 이상 프레임에 대하여 새로운 프레임의 출력을 행하지 않는 것을 적용할 수 있는지 여부를 판단함에 있어서, 키 프레임의 출현 간격 m이 정해지지 않으면, 그 이상 프레임이 설정 프레임 수 X의 범위 내에 위치하는 것인지 여부를 판단할 수 없기 때문이다.
여기서, 어떠한 수식을 이용하여 키 프레임의 출현 간격 m을 산출할 것인지에 대해서는, 키 프레임의 출현 간격의 평균을 측정하는 것을 들 수 있다. 과거의 P회의 출현 빈도로부터 키 프레임의 출현 간격을 산출할 경우, 각 간격이 N()이면, 예를 들어, 키 프레임 간격 S는 수학식 1에 의해 주어진다.
Figure 112008090756290-pat00001
또한, 현재의 이상 프레임으로부터 몇 프레임 후에 키 프레임이 출현하는지를 산출하는 것에 대해서는, 이전 키 프레임이 출현하고 나서 현재의 이상 프레임이 출현할 때까지의 프레임 수를 T라고 하면, 현재 프레임으로부터 다음 키 프레임이 출현할 때까지의 프레임 수 n은 수학식 2에 의해 표시된다.
Figure 112008090756290-pat00002
또한, 프레임마다 프레임 레이트는 일정하기 때문에, 프레임 수 T, n으로부터 시각(위치)을 추측(estimate)할 수 있다.
프레임 출력 제어기(8)는, 보간이 불가능한 프레임으로부터 다음 키 프레임이 출현할 때까지의 프레임 수가 설정 프레임 수 X 이하일 경우에는, 정상 프레임 또는 보간 완료된 프레임을 출력할 수 있을 때까지, 이미 출력된 프레임을 유지하도록 프레임 출력 유닛(9)을 제어한다. 또한, 프레임 출력 제어기(8)는, 보간이 불가능한 프레임으로부터 다음 키 프레임이 출현할 때까지의 프레임 수가 설정 프레임 수 X보다 클 경우에는 이상 프레임을 그대로 출력하도록 프레임 출력 유닛(9)을 제어한다.
현재 프레임의 출력을 행할지 여부는, 수신된 영상 데이터에 이상이 있는지 여부, 수신된 영상 데이터에 이상이 있을 경우, 설정 프레임 수 X가 현재 키 프레임으로부터 다음 키 프레임이 출현할 때까지의 프레임 수인 n 이상인지 여부, 보간이 불가능한지 여부에 따라 판단된다.
즉, 수신된 영상 데이터에 이상이 있고, 보간이 불가능하며, 또한 프레임 수 n이 설정 프레임 수 X 이하일 경우에는, "영상 데이터가 복호된 프레임들 중에서 이상 프레임에 대하여 보간이 불가능할 경우, 정상 프레임 또는 보간 완료된 프레임을 출력할 수 있을 때까지, 이미 출력된 프레임을 유지한다".
한편, 수신된 영상 데이터를 복호함으로써 얻어진 프레임이 이상 프레임을 포함하고, 보간이 불가능하며, 또한 프레임 수 n이 설정 프레임 수 X보다 클 경우에는, "이미 출력된 프레임을 유지하지 않고", 현재의 이상 프레임이 그대로 출력된다.
프레임 출력 제어기(8)는 상술한 조건에 따라 출력을 행할지 여부를 제어하고, 프레임 출력 유닛(9)이 그에 응답하여 출력을 행한다.
프레임 출력 유닛(9)은 화상 데이터를 외부에 출력하는 유닛(렌더러(renderer))이다.
[동작]
도 1의 재생 시스템에 있어서 시청자가 영상 데이터를 시청하는 경우의 동작에 대해서 도 1 및 도 2를 참조하여 상세하게 설명한다. 도 2는 도 1에 나타낸 재생 시스템에 이용되는 재생 장치의 동작을 설명하는 플로우차트의 일례이다. 본 예시적인 실시형태에서는 영상 데이터 배신 서버로부터의 영상 데이터를 수신하는 경우에 대해서 설명한다. 따라서, 단계 S102에서는, 영상 데이터가 수신된다.
우선, 단계 S101에서는, 클라이언트(2-1)에 있어서, 시청자가 설정 프레임 수 X를 설정한다.
단계 S102에서, 영상 데이터 배신 서버(1)가 영상 데이터를 네트워크(10)를 통하여 클라이언트(2-1)에게 배신하면, 클라이언트(2-1)의 영상 수신 유닛(4-1)이 영상 데이터를 수신한다.
단계 S103에서는, 클라이언트(2-1)의 복호기(5)가 프레임을 생성하기 위해 수신된 영상 데이터를 디코딩한다.
단계 S104에 있어서, 프레임 출력 제어기(8)가 출력 제어 중인지 여부, 즉, 프레임 출력 제어기(8)가 이미 출력된 프레임을 유지하고 있는지 여부를 판단한다. 이것은 보간 불가능한 이상 프레임이 연속적으로 출현하고 있는지 여부를 판단하기 위함이다.
프레임 출력 제어기(8)가 출력 제어 중일 경우, 단계 S105에서, 현재 프레임이 키 프레임인지 여부를 판단한다. 이것은, 키 프레임은 단독으로 정상 화상을 출력할 수 있는 정보를 포함하고 있기 때문이다. 단계 S105에서, 현재 프레임이 키 프레임이라고 판단한 경우에는, 단계 S106에서, 출력 제어를 해제(release)한다.
출력 해제 후, 단계 S117에서, 키 프레임 간격 산출기(7)는 키 프레임rks의 출현 간격 m, 즉, 키 프레임과 다음 키 프레임 사이의 프레임의 수 m을 산출한다. 이것은 현재 프레임으로부터 몇 프레임 후에 키 프레임이 출현하는지를 산출(대략 계산)하기 위함이다.
단계 S118에 있어서, 기억 유닛(3-1)은 키 프레임의 출현 간격 m을 저장한다.
단계 S119에 있어서, 프레임 출력 유닛(9)으로부터 정상 프레임인 키 프레임이 출력된다. 키 프레임의 출력 후에는, 단계 S102가 행해진다.
단계 S105에 있어서, 현재 프레임이 키 프레임이 아니라고 판단한 경우, 단계 S116에서, 이미 출력된 프레임을 출력한다. 이미 출력된 프레임을 출력한 후, 단계 S102가 행해진다.
단계 S104에 있어서, 프레임 출력 제어기(8)가 출력 제어 중이 아니라고 판단한 경우, 단계 S105에서, 현재 프레임이 키 프레임인지 여부를 판단한다.
현재 프레임이 키 프레임이라고 판단한 경우, 단계 S117이 행해진다.
현재 프레임이 키 프레임이 아니라고 판단한 경우, 단계 S108이 행해진다.
단계 S108에 있어서, 현재 프레임이 이상 프레임인지 여부를 판단한다. 현재 프레임이 이상 프레임이 아니라고 판단한 경우에는, 단계 S119가 행해지고, 정상 프레임이 출력된다.
단계 S108에 있어서, 현재 프레임이 이상 프레임이라고 판단한 경우, 단계 S109에서, 복호기(5)는 보간 가능 여부를 판단한다.
복호기(5)가 이상 프레임의 보간이 가능하다고 판단한 경우, 단계 S110에서, 보간 처리기(6)가 보간을 행한다.
단계 S111에 있어서, 프레임 출력 유닛(9)은 보간 처리된 프레임을 출력하고, 단계 S102가 행해진다.
복호기(5)가 이상 프레임의 보간이 가능하지 않다고 판단한 경우, 단계 S112에서, 키 프레임 간격 산출기(7)는 다음 프레임까지의 프레임 수 n을 산출한다.
단계 S113에 있어서, 기억 유닛(3-1)은 프레임 수 n을 설정 프레임 수 X와 비교하기 위해, 다음 키 프레임까지의 프레임 수 n을 저장한다.
단계 S114에 있어서, 프레임 출력 제어기(8)는 프레임 수 n이 설정 프레임 수 X 이하(n≤X)인지 여부를 판단한다. 즉, 프레임 출력 제어기(8)는, 프레임 수 n과 미리 설정된 설정 프레임 수 X 간의 크기 관계에 따라 정상 프레임 또는 보간 완료된 프레임을 출력할 수 있을 때까지, 이미 출력된 프레임을 유지하도록 프레임 출력 유닛을 제어한다.
프레임 수 n이 설정 프레임 수 X 이하라고 판단하면, 단계 S115에서, 프레임 출력 제어기(8)는 출력 제어를 세팅한다.
단계 S116에서, 프레임 출력 유닛(9)이 이미 출력된 프레임을 출력하고, 단계 S102가 행해진다.
프레임 수 n이 설정 프레임 수 X 이하가 아니라고(n>X) 판단하면, 단계 S120에서, 프레임 출력 제어기(8)는 이상 프레임을 그대로 출력한다. 이상 프레임의 출력 후, 단계 S102가 행해진다.
또한, 이전 프레임으로부터의 보간이나, 프레임내 보간의 기술에 대해서는 본 명세서에서는 반복하지 않는다.
상기 구성에 의하면, 스트리밍 배신 동안 수신된 영상 데이터의 이상 프레임에 대하여 리얼타임성을 유지하고, 또한 멀티캐스트 등과 같이 재전송 처리가 불가능한 스트리밍 환경에 있어서도, 출력 프레임의 품질 열화를 주관적으로 방지하는 것이 가능하다.
그 이유는, 본 발명은 재전송을 필요로 하지 않기 때문이다.
또한, 상기 구성에 의하면, 이상 프레임이 많은 경우나 장면의 전환때문에 보간이 불가능한 경우일지라도, 출력 영상의 품질 열화를 주관적으로 방지하는 것이 가능하다. 그 이유는, 키 프레임간의 간격을 취득하여 두고, 프레임 출력을 제어, 즉, 이미 출력된 프레임의 출력을 유지하기 때문이다.
또한, 상기 구성에 의하면, 특허문헌 3에서 기재된 것과 같은 FEC의 패리티와 같이 송신 측의 사양에 의존하지 않고, 수신 측에서 출력 프레임의 품질 열화를 주관적으로 방지하는 것이 가능하다. 그 이유는, 본 발명을 실시할 때에, 수신된 영상 데이터 이외의 특별한 정보나 데이터는 필요로 하지 않기 때문이다.
[예시적인 실시형태 2]
[구성]
도 3은 본 발명의 다른 예시적인 실시 형태에 따른 재생 방법을 스트리밍 배신에 적용한 재생 장치의 블록도이다.
한편, 도 1에 나타낸 유닛과 동일한 유닛에는 동일한 공통 부호를 이용했다.
기억 유닛에 의해 기록되어 있는 MPEG2/TS(MPEG2 Transport Stream)(이하, MPEG2-TS 형식이라고 함)에서 MUX(Multiplex: 다중통신화)된 영상 데이터를 재생하 는 경우에 대해서 도 3을 참조하여 상세하게 설명한다.
MPEG2-TS 형식은 디지털 방송과 스트리밍 등의 영상 데이터 배신에 있어서 일반적으로 널리 사용된다.
영상 데이터(11)는 재생 대상인 MPEG2-TS 형식의 형태로 MUX(multiplex)된 영상 데이터이다.
재생 장치로서의 클라이언트(2-2)는, PC와 STB 등의, 프레임을 출력하는 것이 가능한 장치이다.
기억 유닛(3-2)은 디스크 기억 유닛(예를 들어, DVD: digital versatile disc)이나 메모리 기억 장치이다. 기억 유닛(3-2)은 산출된 키 프레임 간격 등 다양한 정보를 저장한다. 한편, 동작 프로그램을 저장하는 기억 유닛에 대해서는 설명을 반복하지 않는다.
영상 데이터 판독 유닛(4-2)은 기억 유닛(3-2)으로부터 영상 데이터(10)를 판독한다.
복호기(5)는 영상 데이터 판독 유닛(4-2)에 의해 판독된 영상 데이터(11)를 복호하는 기능, 영상 데이터(10)를 복호함으로써 얻어진 프레임이 키 프레임인지 여부를 판단하는 기능, 및 영상 데이터(11)를 복호함으로써 얻어진 프레임들 중에서 이상 프레임의 보간이 가능한지 여부를 판단하는 기능을 포함한다.
보간 처리기(6)는, 복호기(5)가 이전 프레임으로부터의 보간이나, 프레임내 보간이 가능하다고 판단한 경우에 화상의 보간을 행한다.
키 프레임 간격 산출기(7)는, 복호기(5)가 키 프레임으로서 프레임을 판단한 경우에, 키 프레임의 출현 간격을 산출한다. 또한, 키 프레임 간격 산출기(7)는 키 프레임 간격을 과거의 키 프레임 간격과 비교하여, 현재 프레임으로부터 몇 프레임 후에 키 프레임이 출현하는지를 대략 산출한다.
프레임 출력 제어기(8)는 프레임 출력 유닛(9)이 영상의 출력을 행할지 여부를 판단한다.
프레임 출력 유닛(9)은 프레임을 외부에 출력한다.
도 3의 재생 장치의 구체적인 처리 순서에 대해서 도 2를 참조하여 설명한다.
본 예시적인 실시형태에서는 기억 유닛의 영상 데이터를 판독하는 경우에 대해서 설명한다. 따라서, 단계 S102에서는, 영상 데이터의 판독을 행한다.
우선, 단계 S101에서, 클라이언트(2-2)에 있어서 시청자가 설정 프레임 수 X를 설정한다.
이하, 단계 S102에서, 클라이언트(2-2)의 영상 데이터 판독 유닛(4-2)이 기억 유닛(3-2)으로부터 영상 데이터(11)를 판독한다.
단계 S103에서, 복호기(5)는 영상 데이터를 프레임 형태로 디코딩한다.
여기서, 영상 데이터(11)의 복호 후의 프레임의 이상 유무는, MPEG2-TS 형식 헤더의 순서 번호(sequence number)의 연속성을 체크하는 기술을 이용하여 판단한다. 이상 프레임이 있었을 때는, 복호기(5)가 영상 데이터(11) 중에 이상 프레임이 존재하는 것을 판단할 수 있도록, 기억 유닛(3-2)이 이상 프레임의 위치를 저장한다.
단계 S104∼S120은 예시적인 실시형태 1과 동일하기 때문에, 그 설명을 반복하지 않는다.
또한, 설정 프레임 수 X의 값은 특정한 값에 고정되는 것이 아니라, 프레임 레이트나 키 프레임 간격, 키 프레임간의 어느 정도의 범위로부터 본 기술을 적용할지 여부에 따라 바꿀 수도 있다. 단계 S114/N에서, 프레임 수 n이 설정 프레임 수 X보다 크다고 판단한 경우, 출력 화상이 열화된다. 따라서, 예를 들어 설정 프레임 수 X의 값을 키 프레임 간격의 최대값으로 설정함으로써, 화상의 열화를 완전히 방지하는 것이 가능하다.
상기 구성에 의하면, 스트리밍 배신 동안 수신된 영상 데이터의 복호 후의 이상 프레임에 대하여 리얼타임성을 유지하고, 또한 멀티캐스트 등과 같이 재전송이 불가능한 스트리밍 환경에 있어서도, 출력 프레임의 품질 열화를 주관적으로 방지하는 것이 가능하다. 그 이유는, 본 발명은 재전송 처리를 필요로 하지 않기 때문이다.
또한, 상기 구성에 의하면, 이상 프레임의 양이 많은 경우나 장면의 전환때문에 보간이 불가능한 경우일지라도, 출력 영상의 품질 열화를 주관적으로 방지하는 것이 가능하다. 그 이유는, 키 프레임의 간격을 취득하여 두고, 영상 출력의 제어를 행하기 때문이다.
또한, 상기 구성에 의하면, 특허문헌 3에서 설명된 것과 같은 FEC의 패리티와 같이 송신 측의 사양에 의존하지 않고, 수신 측에서 출력 프레임의 품질 열화를 주관적으로 방지하는 것이 가능하다. 그 이유는, 본 발명을 실시할 때에, 수신된 데이터 이외의 특별한 정보나 데이터는 필요로 되지 않기 때문이다.
[예시적인 실시형태 3]
다음으로, 본 발명의 또 다른 예시적인 실시형태에 대해서 도 4를 참조하여 설명한다.
도 4는 본 발명의 또 다른 예시적인 실시형태에 따른 재생 방법을 적용한 재생 시스템에 이용되는 재생 장치의 동작을 설명하는 플로우차트의 일례이다.
예시적인 실시형태 1의 재생 장치와 도 4의 재생 장치 간의 상위점은, 이상 프레임의 보간이 가능한 경우에 있어서, 직전 키 프레임으로부터의 차분 정보 또는 후속(subsequent) 키 프레임으로부터의 차분 정보에 기초하여 보간을 행할 수 있다는 점이다.
본 예시적인 실시형태에 의하면, 직전 프레임의 보간이 불가능할지라도 재현(reproduction)이 가능하다. 이것은 키 프레임으로부터의 차분 정보를 이용하여 데이터의 보간이 가능해지기 때문이다. 키 프레임의 데이터 및 대상 프레임에 속하는 키 프레임으로부터의 차분 정보를 이용하여 보간을 행한다. 후속 키 프레임으로부터의 차분 정보에 기초한 보간의 경우에는, 대상 프레임으로부터 후속 키 프레임까지의 프레임 데이터를 버퍼 메모리(도시 생략)에 저장시키고, 후속하는 키 프레임의 데이터 및 키 프레임을 포함하는 대상 프레임의 차분 정보를 판독하고 출력하여, 보간을 행한다.
본 예시적인 실시형태에 따른 재생 장치의 동작에 대해서 이하 설명한다.
우선, 단계 S201에서, 클라이언트(2-1)에 있어서, 시청자가 설정 프레임 수 X를 설정한다.
단계 S202에서, 영상 데이터 배신 서버(1)가 영상 데이터를 네트워크(10)를 통하여 클라이언트(2-1)에 배신하면, 클라이언트(2-1)의 영상 수신 유닛(4-1)이 영상 데이터를 수신한다.
단계 S203에서, 클라이언트(2-1)의 복호기(5)가 프레임을 생성하기 위해, 수신된 영상 데이터를 디코딩한다.
단계 S204에서, 현재 프레임이 키 프레임인지 여부를 판단한다. 현재 프레임이 키 프레임이라고 판단한 경우, 단계 S209에서, 키 프레임 간격 산출기(7)는 키 프레임간의 출현 간격 m, 즉, 키 프레임과 다음 키 프레임 사이의 프레임의 수 m을 산출한다.
단계 S210에 있어서, 기억 유닛(3-1)은 키 프레임의 출현 간격 m을 저장한다.
단계 S216에 있어서, 프레임 출력 유닛(9)은 정상 프레임인 키 프레임을 출력한다. 키 프레임의 출력 후에는, 단계 S204가 행해진다.
현재 프레임이 키 프레임이 아닐 경우, 단계 S205에서, 영상 수신 유닛(4-1)은 현재 프레임이 이상 프레임인지 여부를 판단한다.
여기서, 대상 현재 프레임은, 다음의 4가지 방법에 따른 차분 정보를 포함할 수 있다.
(1) 모든 프레임이 직전 키 프레임으로부터의 차분 정보를 포함하고 있다.
(2) 복수의 특정 복수의 프레임이 키 프레임으로부터의 차분 정보를 포함하 고, 그 밖의 프레임은 예시적인 실시형태 1과 같이 직전 프레임으로부터의 차분 정보를 포함하고 있다.
(3) 키 프레임으로부터의 차분 정보를 포함하고 있는 프레임 중에서, 키 프레임간의 전반 부분(front portion)에 존재하는 프레임은 직전 키 프레임과의 차분 정보를 포함하고, 후반(rear portion) 부분에 존재하는 프레임은 후속 키 프레임과의 차분 정보를 포함한다(키 프레임간의 프레임의 수가 홀수인 경우, 중앙 프레임이 직전 키 프레임의 차분 정보를 포함하는 것인지 후속 키 프레임의 차분 정보를 포함하는 것인지 여부는 미리 설정되어 있는 것으로 한다).
(4) 키 프레임으로부터의 차분 정보를 포함하고 있는 프레임 중에서, 키 프레임간의 전반 부분에 존재하는 프레임은 직전 키 프레임과의 차분 정보를 포함하고, 후반 부분에 존재하는 프레임은 후속 키 프레임과의 차분 정보를 포함하고, 일부의 프레임, 예를 들어 중앙 부분에 있는 프레임은 예시적인 실시형태 1과 같이 직전 프레임으로부터의 차분 정보를 포함한다.
따라서, 단계 S205 이후의 동작에 대해서 개별적으로 설명한다.
(1) 모든 프레임이 직전 키 프레임으로부터의 차분 정보를 포함하고 있을 경우,
현재 프레임이 이상 프레임이 아닌 경우, 단계 S216에서, 프레임 출력 유닛(9)으로부터 정상 프레임이 출력된다. 정상 프레임의 출력 후에는, 단계 S202가 행해진다.
단계 S205에서, 현재 프레임이 이상 프레임이라고 판단한 경우, 단계 S206에 서, 복호기(5)는 보간이 가능한지 여부를 판단한다.
복호기(5)가 보간이 가능하다고 판단한 경우, 단계 S207에서, 보간 처리기(6)는 직전 키 프레임으로부터의 차분 정보에 기초하여 보간을 행한다.
단계 S208에 있어서, 프레임 출력 유닛(9)으로부터 보간 처리된 프레임이 출력되고, 단계 S202가 행해진다.
단계 S206에서, 복호기(5)가 보간 불가능하다고 판단한 경우, 단계 S211에서, 키 프레임 간격 산출기(7)는 다음 키 프레임까지의 프레임 수 n을 산출한다.
단계 S212에 있어서, 기억 유닛(3-1)은 설정 프레임 수 X와 비교하기 위해 다음 키 프레임까지의 프레임 수 n을 저장한다.
단계 S213에 있어서, 프레임 출력 제어기(8)는 프레임 수 n이 설정 프레임 수 X 이하(n≤X)인지 여부를 판단한다. 즉, 단계 S214에서, 프레임 출력 제어기(8)는, 프레임 수 n과 미리 설정된 설정 프레임 수 X의 크기 관계에 따라 정상 프레임 또는 보간 완료된 프레임을 출력할 수 있을 때까지, 이미 출력된 프레임을 유지하도록 프레임 출력 유닛을 제어한다.
프레임 출력 제어기(8)는 프레임 수 n이 설정 프레임 수 X 이하라고 판단하면, 단계 S214에서, 이미 출력된 프레임을 프레임 출력 유닛(9)이 출력하고, 단계 S202가 행해진다.
프레임 출력 제어기(8)는 프레임 수 n이 설정 프레임 수 X 이하가 아니라고(n>X) 판단하면, 단계 S215에서, 이상 프레임을 그대로 출력하고, 단계 S202가 행해진다.
(2) 특정 프레임이 키 프레임으로부터의 차분 정보를 포함하고, 그 밖의 프레임은 예시적인 실시형태 1과 같이 직전 프레임으로부터의 차분 정보를 포함하고 있을 경우,
현재 프레임이 이상 프레임이 아닌 경우, 단계 S216에서, 프레임 출력 유닛(9)은 정상 프레임을 출력한다. 정상 프레임의 출력 후에는, 단계 S202가 행해진다.
단계 S205에서, 현재 프레임이 이상 프레임이라고 판단한 경우, 단계 S206에서, 복호기(5)는 보간이 가능한지 여부를 판단한다.
복호기(5)가 보간이 가능하다고 판단한 경우, 단계 S207에서, 보간 처리기(6)는 직전 키 프레임으로부터의 차분 정보 또는 직전 프레임으로부터의 차분 정보에 기초하여 보간을 행한다.
단계 S208에 있어서, 보간 처리된 프레임이 프레임 출력 유닛(9)으로부터 출력되고, 단계 S202가 행해진다.
단계 S206에서, 복호기(5)가 보간이 불가능하다고 판단한 경우, 단계 S211에서, 키 프레임 간격 산출기(7)는 다음 키 프레임까지의 프레임 수 n을 산출한다.
단계 S212에 있어서, 기억 유닛(3-1)은 프레임 수 n을 설정 프레임 수 X와 비교하기 위해, 다음 키 프레임까지의 프레임 수 n을 저장한다.
단계 S213에 있어서, 프레임 출력 제어기(8)는 프레임 수 n이 설정 프레임 수 X 이하(n≤X)인지 여부를 판단한다. 즉, 프레임 출력 제어기(8)는, 프레임 수 n과 미리 설정된 설정 프레임 수 X의 크기 관계에 따라 정상 프레임 또는 보간 완 료된 프레임을 출력할 수 있을 때까지, 이미 출력된 프레임을 유지하도록 프레임 출력 유닛을 제어한다.
프레임 출력 제어기(8)는 프레임 수 n이 설정 프레임 수 X 이하라고 판단하면, 단계 S214에서, 이미 출력된 프레임을 프레임 출력 유닛(9)이 출력하고, 단계 S202가 행해진다.
프레임 출력 제어기(8)는 프레임 수 n이 설정 프레임 수 X 이하가 아니라고(n>X) 판단하면, 단계 S215에서, 이상 프레임을 그대로 출력하고, 단계 S202가 행해진다.
(3) 프레임이 키 프레임으로부터의 차분 정보를 포함하고 있는 경우, 키 프레임간의 전반 부분에 존재하는 프레임은 직전 키 프레임과의 차분 정보를 포함하고, 후반 부분에 존재하는 프레임은 후속 키 프레임과의 차분 정보를 가질 경우,
현재 프레임이 이상 프레임이 아닌 경우, 단계 S216에서, 프레임 출력 유닛(9)이 정상 프레임을 출력한다. 정상 프레임의 출력 후에는, 단계 S202가 행해진다.
단계 S205에서, 현재 프레임이 이상 프레임이라고 판단한 경우, 단계 S206에서, 복호기(5)는 보간 가능한지 여부를 판단한다.
복호기(5)가 보간이 가능하다고 판단한 경우, 단계 S207에서, 후속 키 프레임으로부터의 차분 정보에 기초한 보간은 상술한 바와 같이 대상 프레임에 후속하는 키 프레임을 버퍼 메모리에 저장시키고, 이들을 판독함으로써 행해진다.
단계 S208에 있어서, 프레임 출력 유닛(9)은 보간 처리된 프레임을 출력하 고, 단계 S202가 행해진다.
(4) 프레임이 키 프레임으로부터의 차분 정보를 포함하고 있는 경우, 키 프레임간의 전반 부분에 존재하는 프레임은 직전 키 프레임과의 차분 정보를 포함하고, 후반 부분에 존재하는 프레임은 후속 키 프레임과의 차분 정보를 포함하고, 중앙 프레임은 예시적인 실시형태 1과 같이 직전 프레임으로부터의 차분 정보를 가질 경우,
현재 프레임이 이상 프레임이 아닌 경우, 단계 S216에서, 프레임 출력 유닛(9)이 정상 프레임을 출력한다. 정상 프레임의 출력 후에는, 단계 S202가 행해진다.
단계 S205에서, 현재 프레임이 이상 프레임이라고 판단한 경우, 단계 S206복호기(5)는 보간이 가능한지 여부를 판단한다.
복호기(5)가 보간이 가능하다고 판단한 경우, 단계 S207에서, 직전 키 프레임으로부터의 차분 정보, 후속 키 프레임으로부터의 차분 정보, 또는 직전 프레임으로부터의 차분 정보에 기초하여 보간이 행해진다.
단계 S208에 있어서, 프레임 출력 유닛(9)은 보간 처리된 프레임을 출력하고, 단계 S202가 행해진다.
단계 S206에서, 복호기(5)가 보간이 불가능하다고 판단한 경우, 단계 S211에서, 키 프레임 간격 산출기(7)는 다음 키 프레임까지의 프레임 수 n을 산출한다.
단계 S212에 있어서, 기억 유닛(3-1)은 프레임 수 n을 설정 프레임 수 X와 비교하기 위해 다음 키 프레임까지의 프레임 수 n을 저장한다.
단계 S213에 있어서, 프레임 출력 제어기(8)는 프레임 수 n이 설정 프레임 수 X 이하(n≤X)인지 여부를 판단한다. 즉, 단계 S214에서, 프레임 출력 제어기(8)는, 프레임 수 n과 미리 설정된 설정 프레임 수 X 간의 크기 관계에 따라 정상 프레임 또는 보간 완료된 프레임을 출력할 수 있을 때까지, 이미 출력된 프레임을 유지하도록 프레임 출력 유닛을 제어한다.
프레임 출력 제어기(8)는 프레임 수 n이 설정 프레임 수 X 이하라고 판단하면, 단계 S214에서, 이미 출력된 프레임을 프레임 출력 유닛(9)이 출력하고, 단계 S202가 행해진다.
프레임 출력 제어기(8)는 프레임 수 n이 설정 프레임 수 X 이하가 아니라고(n>X) 판단하면, 단계 S215에서, 이상 프레임을 그대로 출력하고, 단계 S202가 행해진다.
<프로그램 및 기록 매체>
이상에서 설명한 본 발명에 따른 재생 장치는, 컴퓨터로 하여금 재생 처리를 실행하게 하는 재생 프로그램을 사용하여 실현된다.
일 예시적인 실시형태에서, 재생 프로그램은, 재생 장치의 컴퓨터로 하여금, 영상 데이터를 복호함으로써 얻어진 프레임들 중에서 이상이 인정되는 프레임에 대하여 보간이 불가능한 경우, 정상 프레임이 출력될 수 있을 때까지, 이미 출력된 프레임을 유지하는 처리를 실행하게 한다.
즉, 본 예시적인 실시형태의 프로그램은, 컴퓨터로 하여금, (a) 영상 데이터를 복호함으로써 얻어진 프레임들 중에서 이상이 인정되는 프레임에 대하여 보간이 불가능한 경우, 정상 프레임이 출력될 수 있을 때까지, 이미 출력된 프레임을 유지하는 처리를 실행하게 하는 프로그램이다.
또한, 처리 (a) 이외에, 프로그램은, 컴퓨터로 하여금, (b) 제1 유닛에서, 프레임의 이상의 유무를 판단하는 처리, (c) 제2 유닛에서, 제1 유닛에 의해 이상 있음이라고 판단된 프레임에 대해서 보간이 가능한지 여부를 판단하는 처리, (d) 제3 유닛에서, 제2 유닛에 의해 보간이 불가능하다고 판단된 경우, 이미 출력된 프레임의 출력을 유지하는 처리를 실행하게 할 수도 있다.
또한, 처리 (a)∼(d) 이외에, 프로그램은, 컴퓨터로 하여금, (e) 제3 유닛에서, 제2 유닛에 의해 보간이 불가능하다고 판단된 프레임이 후속 키 프레임으로부터 소정 프레임 수 이내에 있을 경우에, 이미 출력된 프레임의 출력을 유지하는 처리를 실행하게 할 도 있다.
또한, 처리 (a)∼(d) 또는 처리 (a)∼(e) 이외에, 프로그램은, 컴퓨터로 하여금, (f) 제3 유닛에서, 제2 유닛에 의해 보간이 불가능하다고 판단된 프레임이 후속 키 프레임으로부터 소정 프레임 수 이내에 없을 경우, 해당 프레임을 출력하는 처리를 실행하게 할 수도 있다.
프레임은 직전 프레임과의 차분 정보를 포함하고, 처리 (a)∼(d), (a)∼(e) 또는 (a)∼(f) 이외에, 프로그램이, 컴퓨터로 하여금, (g) 제2 유닛에서, 차분 정보에 기초하여 보간을 행하는 처리를 실행하게 할 수도 있다.
또한, 컴퓨터에, 처리 (a)∼(d), (a)∼(e), (a)∼(f) 및 (a)∼(g) 중 어느 하나의 처리 이외에, 프로그램은, 컴퓨터로 하여금, (h) 제3 유닛에서, 이미 출력 된 프레임의 출력을 유지하는 처리를 실행한 경우, 후속 키 프레임이 출현할 때까지 출력을 계속하여 유지하는 처리를 실행하게 할 수도 있다.
또한, 처리 (a)∼(d), (a)∼(e), (a)∼(f), (a)∼(g) 및 (a)∼(h) 중 어느 하나의 처리 이외에, 프로그램은, 컴퓨터로 하여금, (i) 제1 유닛에서, 프레임이 키 프레임인지 여부를 판단하는 처리, 및 (j) 키 프레임 간격 산출기에서, 키 프레임과 다음 키 프레임 간의 프레임 간격을 산출하는 처리를 더 실행하게 할 수도 있다.
프레임은 직전 프레임과의 차분 정보, 직전 키 프레임과의 차분 정보, 후속 키 프레임과의 차분 정보 중 적어도 하나의 차분 정보를 포함하고, 또한, 처리 (a)∼(d) 이외에, 프로그램은, 컴퓨터로 하여금, (k) 제2 유닛에서, 차분 정보에 기초하여 보간을 행하는 처리, (l) 제3 유닛에서, 정상 프레임이 출력될 수 있을 때까지, 이미 출력된 프레임의 출력을 유지하는 처리를 실행하게 할 수도 있다.
상기 구성에 의하면, 스트리밍 배신 동안 수신된 영상 데이터의 복호 후의 이상 프레임에 대하여 리얼타임성을 유지하고, 또한 멀티캐스트 등과 같이 재전송이 불가능한 스트리밍 환경에 있어서도, 출력 영상의 품질 열화를 주관적으로 방지하는 것이 가능하다. 그 이유는, 재전송을 필요로 하지 않기 때문이다.
또한, 상기 구성에 의하면, 이상 프레임이 많은 경우나 장면의 전환때문에 보간이 불가능한 경우일지라도, 출력 영상의 품질 열화를 주관적으로 방지하는 것이 가능하다. 그 이유는, 키 프레임 간의 간격을 취득하여 두고 영상 출력의 제어를 행하기 때문이다.
또한, 상기 구성에 의하면, FEC의 패리티와 같이 송신 측의 사양에 의존하지 않고, 수신 측에서 출력 영상의 품질 열화를 주관적으로 방지하는 것이 가능하다. 그 이유는, 본 발명의 실시 시에, 수신된 데이터 이외의 특별한 정보나 데이터는 필요로 하지 않기 때문이다.
컴퓨터의 예로서는, 퍼스널 컴퓨터(PC)와 워크스테이션 등의 범용 컴퓨터가 포함되지만, 컴퓨터는 이것에 한정되지는 않는다.
이것에 의해, 재생 프로그램을 실행 가능한 컴퓨터 환경이 주어지면, 어디에서도 본 발명에 따른 재생 장치를 실현할 수 있다.
재생 프로그램은, 컴퓨터 판독 가능 기록 매체에 저장되어 있을 수도 있다.
여기서, 기록 매체의 예로서는, CD-ROM(Compact Disc Read Only Memory), 플렉시블 디스크(FD), CD-R(CD-Recordable), DVD(Digital Versatile Disk) 등의 컴퓨터 판독 가능 기록 매체가 있다. 또한, 기록 매체는 플래시 메모리, RAM(Random Access Memory), ROM(Read Only Memory), FeRAM(ferroelectric random access memory) 및 HDD(Hard Disc Drive) 등의 반도체 메모리를 들 수 있다.
또한, 상술한 예시적인 실시형태는 본 발명의 바람직한 예시적인 실시형태의 일례를 나타내는 것이다. 본 발명은 이것에 한정되지 않고, 본 발명의 사상 및 범주를 벗어나지 않으면서 다양하게 변형 실시될 수 있다. 예를 들어, 상술한 설명에서는 키 프레임과 다음 키 프레임 사이의 프레임 수가 변동하는 경우에 대해서 설명했지만, 본 발명에서는 이것에 한정되지 않고, 키 프레임과 다음 키 프레임 사이의 키 프레임 간격이 고정되어 있을 경우에도 적용 가능하다. 이 경우에는, 키 프레임 간격 산출기는 불필요해지며, 키 프레임 간격을 기억 유닛에 저장시켜 둘 필요가 있다.
우선, 실시예 1에서 설명되는 재생 장치는, 영상 데이터를 복호함으로써 얻어진 프레임들 중에서 이상이 인정되는 프레임에 대하여 보간이 불가능한 경우, 정상 프레임이 출력될 수 있을 때까지, 이미 출력된 프레임을 유지한다.
실시예 1의 재생 장치에 있어서, 실시예 2에서 설명되는 재생 장치는, 프레임의 이상 유무를 판단하기 위한 제1 유닛과, 제1 유닛에 의해 이상 있음이라고 판단된 프레임에 대해서 보간 처리가 가능한지 여부를 판단하기 위한 제2 유닛과, 제2 유닛에 의해 보간 처리가 불가능하다고 판단된 경우, 이미 출력된 프레임의 출력을 유지하기 위한 제3 유닛을 포함한다.
실시예 2의 재생 장치에 있어서, 실시예 3에서 설명되는 재생 장치는, 제2 유닛에 의해 보간 처리가 불가능하다고 판단된 프레임이 후속 키 프레임으로부터 소정 프레임 수 이내에 있을 경우, 이미 출력된 프레임의 출력을 유지한다.
실시예 2 또는 실시예 3의 재생 장치에 있어서, 실시예 4에서 설명되는 재생 장치는, 제2 유닛에 의해 보간 처리가 불가능하다고 판단된 프레임이 후속 키 프레임으로부터 소정 프레임 수 이내에 있지 않을 경우, 그 프레임을 출력한다.
실시예 2, 실시예 3 또는 실시예 4의 재생 장치에 있어서, 실시예 5에서 설명되는 재생 장치는, 프레임이 직전 프레임과의 차분 정보를 포함하고, 제2 유닛이차분 정보에 기초하여 보간을 행하는 것을 특징으로 한다.
실시예 2 내지 실시예 5 중 어느 하나의 실시예의 재생 장치에 있어서, 실시 예 6에서 설명되는 재생 장치는, 이미 출력된 프레임의 출력을 유지하는 처리를 실행한 경우, 후속 키 프레임이 출현할 때까지, 제3 유닛이 출력을 계속하여 유지하는 것을 특징으로 한다.
실시예 3 내지 실시예 6 중 어느 하나의 실시예의 재생 장치에 있어서, 실시예 7에서 설명되는 재생 장치는, 제1 유닛이 프레임이 키 프레임인지 여부를 판단하고, 이 재생 장치가, 키 프레임으로부터 다음 키 프레임까지의 프레임 간격을 산출하는 키 프레임 간격 산출기를 더 포함하는 것을 특징으로 한다.
실시예 2의 재생 장치에 있어서, 실시예 8에서 설명되는 재생 장치는, 프레임이 직전 프레임과의 차분 정보, 직전 키 프레임과의 차분 정보, 후속 키 프레임과의 차분 정보 중 적어도 하나의 차분 정보를 포함하고, 제2 유닛은 차분 정보에 기초하여 보간을 행하며, 제3 유닛은, 정상 프레임이 출력될 수 있을 때까지, 이미 출력된 프레임의 출력을 유지하는 것을 특징으로 한다.
실시예 1 내지 실시예 8의 재생 장치에 있어서, 실시예 9에서 설명되는 재생 장치는, 영상 데이터가, 네트워크로부터 전송되는 영상 데이터 또는 기억 매체로부터 판독되는 영상 데이터인 것을 특징으로 한다.
실시예 10에서 설명되는 재생 시스템은, 영상 데이터를 복호함으로써 얻어진 프레임들 중에서 이상이 인정되는 프레임에 대하여 보간이 불가능한 경우, 정상 프레임이 출력될 수 있을 때까지, 이미 출력된 프레임을 유지하는 재생 장치와, 영상 데이터를 전송하는 영상 데이터 배신 서버와, 영상 데이터 배신 서버에 접속된 네트워크를 포함한다.
실시예 10의 재생 시스템에 있어서, 실시예 11에서 설명되는 재생 시스템은, 재생 장치가, 프레임의 이상 유무를 판단하기 위한 제1 유닛과, 제1 유닛에 의해 이상 있음이라고 판단된 프레임에 대해서 보간 처리가 가능한지 여부를 판단하기 위한 제2 유닛과, 제2 유닛에 의해 보간 처리가 불가능하다고 판단된 경우, 이미 출력된 프레임의 출력을 유지하기 위한 제3 유닛을 포함하는 것을 특징으로 한다.
실시예 12에서 설명되는 재생 방법은, 영상 데이터를 복호함으로써 얻어진 프레임들 중에서 이상이 인정되는 프레임에 대하여 보간이 불가능한 경우, 정상 프레임이 출력될 수 있을 때까지, 이미 출력된 프레임을 유지하는 단계를 포함한다.
실시예 12의 재생 방법에 있어서, 실시예 13에서 설명되는 재생 방법은, 프레임의 이상 유무를 판단하는 단계와, 이상 있음이라고 판단된 프레임에 대해서 보간 처리가 가능한지 여부를 판단하는 단계와, 보간 처리가 불가능하다고 판단된 경우, 이미 출력된 프레임의 출력을 유지하는 단계를 포함한다.
실시예 13의 재생 방법에 있어서, 실시예 14에서 설명되는 재생 방법은, 보간 처리가 불가능하다고 판단된 프레임이 후속 키 프레임으로부터 소정 프레임 수 이내에 있을 경우, 이미 출력된 프레임의 출력을 유지하는 단계를 포함한다.
실시예 13 또는 14의 재생 방법에 있어서, 실시예 15에서 설명되는 재생 방법은, 보간 처리가 불가능하다고 판단된 프레임이 후속 키 프레임으로부터 소정 프레임 수 이내에 있지 않을 경우, 그 프레임을 출력하는 단계를 포함한다.
실시예 13, 실시예 14 또는 실시예 15의 재생 방법에 있어서, 실시예 16에서 설명되는 재생 방법은, 프레임이 직전 프레임과의 차분 정보를 포함하고, 차분 정 보에 기초하여 보간을 행하는 것을 특징으로 한다.
실시예 13 내지 16 중 어느 하나의 실시예의 재생 방법에 있어서, 실시예 17에서 설명되는 재생 방법은, 이미 출력된 프레임의 출력을 유지하는 처리가 실행된 경우, 후속 키 프레임이 출현할 때까지, 출력이 계속하여 유지되는 단계를 포함한다.
실시예 14 내지 실시예 17 중 어느 하나의 실시예의 재생 방법에 있어서, 실시예 18에서 설명되는 재생 방법은, 프레임이 키 프레임인지 여부를 판단하는 단계와, 키 프레임으로부터 다음 키 프레임까지의 프레임 간격을 산출하는 단계를 포함한다.
실시예 13의 재생 방법에 있어서, 실시예 19에서 설명되는 재생 방법은, 프레임은 직전 프레임과의 차분 정보, 직전 키 프레임과의 차분 정보, 후속 키 프레임과의 차분 정보 중 적어도 하나의 차분 정보를 포함하고, 본 재생 방법은, 차분 정보에 기초하여 보간을 행하는 단계와, 정상 프레임이 출력될 수 있을 때까지, 이미 출력된 프레임의 출력을 유지하는 단계를 더 포함하는 것을 특징으로 한다.
실시예 12 내지 19 중 어느 하나의 실시예의 재생 방법에 있어서, 실시예 20에서 설명되는 재생 방법은, 영상 데이터가, 네트워크로부터 전송되는 영상 데이터 또는 기억 매체로부터 판독되는 영상 데이터인 것을 특징으로 한다.
실시예 21에서 설명되는 프로그램은, 컴퓨터로 하여금, 영상 데이터를 복호함으로써 얻어진 프레임들 중에서 이상이 인정되는 프레임에 대하여 보간이 불가능한 경우, 정상 프레임이 출력될 수 있을 때까지, 이미 출력된 프레임을 유지하는 처리를 실행하게 한다.
실시예 21의 프로그램에 있어서, 실시예 22에서 설명되는 프로그램은, 컴퓨터로 하여금, 제1 유닛에서, 프레임의 정상 여부를 판단하는 처리와, 제2 유닛에서, 제1 유닛에 의해 이상 있음이라고 판단된 프레임에 대해서 보간 처리가 가능한지 여부를 판단하는 처리와, 제2 유닛에 의해 보간 처리가 불가능하다고 판단된 경우, 제3 유닛에서, 이미 출력된 프레임의 출력을 유지하는 처리를 더 실행하게 한다.
실시예 22의 프로그램에 있어서, 실시예 23에서 설명되는 프로그램은, 컴퓨터로 하여금, 제2 유닛에 의해 보간 처리가 불가능하다고 판단된 프레임이 후속 키 프레임으로부터 소정 프레임 수 이내에 있을 경우, 제3 유닛에서, 이미 출력된 프레임의 출력을 유지하는 처리를 더 실행하게 한다.
실시예 22 또는 실시예 23의 프로그램에 있어서, 실시예 24에서 설명되는 프로그램은, 컴퓨터로 하여금, 제2 유닛에 의해 보간 처리가 불가능하다고 판단된 프레임이 후속 키 프레임으로부터 소정 프레임 수 이내에 있지 않을 경우, 제3 유닛에서, 그 프레임을 출력하는 처리를 실행하게 한다.
실시예 22, 실시예 23 또는 실시예 24 중 어느 하나의 실시예의 프로그램에 있어서, 실시예 25에서 설명되는 프로그램은, 프레임이 직전 프레임과의 차분 정보를 포함하고, 본 프로그램이, 컴퓨터로 하여금, 제2 유닛에서, 차분 정보에 기초하여 보간을 행하는 처리를 더 실행하게 하는 것을 특징으로 한다.
실시예 22 내지 실시예 25 중 어느 하나의 실시예의 프로그램에 있어서, 실 시예 26에서 설명되는 프로그램은, 컴퓨터로 하여금, 이미 출력된 프레임의 출력을 유지하는 처리가 실행된 경우, 제3 유닛에서, 후속 키 프레임이 출현할 때까지 출력을 계속하여 유지하는 처리를 더 실행하게 한다.
실시예 23 내지 실시예 26 중 어느 하나의 실시예의 프로그램에 있어서, 실시예 27에서 설명되는 프로그램은, 컴퓨터로 하여금, 제1 유닛에서, 프레임이 키 프레임인지 여부를 판단하는 처리와, 키 프레임 간격 산출기에서, 키 프레임으로부터 다음 키 프레임까지의 프레임 간격을 산출하는 처리를 더 실행하게 한다.
실시예 22의 프로그램에 있어서, 실시예 28에서 설명되는 프로그램은, 프레임이 직전 프레임과의 차분 정보, 직전 키 프레임과의 차분 정보, 후속 키 프레임과의 차분 정보 중 적어도 하나의 차분 정보를 포함하고, 프로그램은, 컴퓨터로 하여금, 제2 유닛에서, 차분 정보에 기초하여 보간을 행하는 처리, 정상 프레임이 출력될 수 있을 때까지, 제3 유닛에서, 이미 출력된 프레임의 출력을 유지하는 처리를 실행하게 하는 것을 특징으로 한다.
실시예 21 내지 실시예 28 중 어느 하나의 실시예의 프로그램에 있어서, 실시예 29에서 설명되는 프로그램은, 영상 데이터, 네트워크로부터 전송되는 영상 데이터 또는 기억 매체로부터 판독되는 영상 데이터인 것을 특징으로 한다.
실시예 30에서 설명되는 기록 매체는, 실시예 21 내지 실시예 29 중 어느 하나의 실시예의 프로그램을 기록한다.
다음으로, 본 발명에 따른 재생 방법의 실시예에 대해서 도 2, 도 5 내지 도 8을 참조하여 설명한다.
[실시예 I]
여기서, 설정 프레임 수 X의 단위는 키 프레임간의 몇분의 1(fraction), 프레임 수, 초 등과 같이 다양한 지정이 가능할 것이다. 또한, 설정 프레임 수 X를 시청자 측에서 변경할 수 있으면, 시청자의 기호(preference)에 따라 화상의 열화 방지율을 높이는 것인지 여부, 또는 화상 움직임의 원활함(smoothness)(프레임 레이트)을 유지한 영상 재생을 행하는 것인지 여부를 클라이언트 측에서 지정할 수 있다.
우선, 도 5에 다수(도 5에서는 7개이지만, 프레임수는 그에 한정되지 않음)의 프레임 중에서 프레임 1은 정상(normal)이 없고, 프레임 2∼5에는 이상이 있으며, 프레임 6, 7에는 이상이 없는 경우에 대해서 설명한다. 프레임 1, 6은 키 프레임인 것으로 한다.
도 5는 설정 프레임 수 X가 최대 프레임 수(예를 들어, 900)인 경우의 프레임, 정상/이상, 보간 가능/불가능, 출력 제어의 적용/비적용 및 출력 프레임 간의 관계의 일례를 나타내는 도면이다.
프레임 1(키 프레임)에 관하여, 프레임 1은 정상이기 때문에, 출력 제어의 적용은 행해지지 않고, 프레임 출력 유닛(9)으로부터는 정상 프레임 1이 출력된다(예시적인 실시형태 3의 경우도 동일).
프레임 2에 관하여, 프레임 2에는 이상이 있고, 보간이 가능하며, 프레임 수 n=4가 설정 프레임 수 X보다 작기 때문에, 출력 제어의 적용은 행해지지 않고, 보간 처리기(6)에 의해 보간된 프레임 2'가 프레임 출력 유닛(9)으로부터 출력된다 (예시적인 실시형태 3의 경우도 동일).
프레임 3에 관하여, 프레임 3에는 이상이 있고, 보간이 불가능하며, 프레임 수 n=3이설정 프레임 수 X보다 작기 때문에, 출력 제어의 적용이 행해지고, 이전 출력된 프레임 2'가 유지되며, 프레임 2'가 프레임 출력 유닛(9)으로부터 출력된다(예시적인 실시형태 3의 경우도 동일).
프레임 4에 관하여, 프레임 4에는 이상이 있고, 보간이 불가능하다. 이 시점에서, 보간이 불가능하다는 판단이 2회째 행해지고 있다. 즉, 예시적인 실시형태 1, 2의 경우, 도 2의 플로우차트의 단계 S104에 있어서, 출력 제어 중이라고 판단되고, 단계 S105에서, 프레임이 키 프레임이 아니라고 판단되므로, 단계 S116으로 이행하여, 이미 출력된 프레임인 프레임 2'를 출력한다(예시적인 실시형태 3의 경우도 동일).
프레임 5에 관하여, 프레임 5에서는 이상이 있고, 보간이 불가능하다. 이 시점에서 보간이 불가능하다는 판단이 3회째 행해지고 있다. 즉, 예시적인 실시형태 1, 2의 경우, 도 2의 플로우차트의 단계 S104에 있어서, 출력 제어 중이라고 판단되고, 단계 S105에서, 프레임이 키 프레임이 아니라고 판단되므로, 단계 S116이 행해지고, 이미 출력된 프레임인 프레임 2'를 출력한다(예시적인 실시형태 3의 경우도 동일).
프레임 6에 관하여, 프레임 6은 정상이고, 키 프레임이기 때문에, 정상 프레임(키 프레임) 6이 프레임 출력 유닛(9)으로부터 출력된다(예시적인 실시형태 3의 경우도 동일).
프레임 7에 관하여, 프레임 7은 정상이기 때문에, 출력 제어의 적용은 행해지지 않고, 정상 프레임 7이 프레임 출력 유닛(9)으로부터 출력된다(예시적인 실시형태 3의 경우도 동일).
[실시예 II]
설정 프레임 수 X의 값을 키 프레임 간격 내, 즉, 프레임 수 n 이하로 설정함으로써 화질은 다소 열화되지만, 프레임 움직임의 원활함을 유지한 화상의 재생을 행하는 것이 가능하다.
도 6은 설정 프레임 수 X가 2인 경우의 프레임, 정상/이상, 보간 가능/불가능, 출력 제어의 적용/비적용 및 출력 프레임 간의 관계의 일례를 나타내는 도면이다.
프레임 1에 관하여, 프레임 1은 정상이기 때문에, 출력 제어의 적용은 행해지지 않고, 정상 프레임(키 프레임) 1이 프레임 출력 유닛(9)으로부터 출력된다(예시적인 실시형태 3의 경우도 동일).
프레임 2에 관하여, 프레임 2에는 이상이 있고, 보간이 가능하며, 프레임 수 n=4가 설정 프레임 수 X보다 크기 때문에, 출력 제어의 적용은 행해지지 않고, 보간 처리된 프레임 2'가 프레임 출력 유닛(9)으로부터 출력된다(예시적인 실시형태 3의 경우도 동일).
프레임 3에 관하여, 프레임 3에는 이상이 있고, 보간이 불가능하며, 프레임 수 n=3이 설정 프레임 수 X보다 크기 때문에, 도 2의 플로우차트에 따르면, 프레임 출력 유닛(9)으로부터 이상이 있는 프레임 3"가 그대로 출력된다(예시적인 실시형 태 3의 경우도 동일).
프레임 4에 관하여, 프레임 4에는 이상이 있고, 보간이 불가능하다. 이 시점에서, 보간이 불가능하다는 판단이 2회째 행해지고 있다. 즉, 예시적인 실시형태 3의 경우, 도 2의 플로우차트의 단계 S104에 있어서, 출력 제어 중이라고 판단되고, 단계 S105에서, 프레임이 키 프레임이 아니라고 판단되므로, 단계 S116이 행해지고, 이미 출력된 프레임인 이상 프레임 3"가 그대로 출력된다(예시적인 실시형태 3의 경우도 동일).
프레임 5에 관하여, 프레임 5에는 이상이 있고, 보간이 불가능하며, 프레임 수 n=1이 설정 프레임 수 X보다 작이기 때문에, 도 2의 플로우차트에 따르면, 프레임 출력 유닛(9)으로부터는 이전 프레임인 이상 프레임 3"가 출력된다(예시적인 실시형태 3의 경우도 동일).
프레임 6에 관하여, 프레임 6은 정상이기 때문에, 출력 제어의 적용은 행해지지 않고, 정상 프레임(키 프레임) 6이 프레임 출력 유닛(9)으로부터 출력된다(예시적인 실시형태 3의 경우도 동일).
프레임 7에 관하여, 프레임 7은 정상이기 때문에, 출력 제어의 적용은 행해지지 않고, 정상 프레임 7이 프레임 출력 유닛(9)으로부터 출력된다(예시적인 실시형태 3의 경우도 동일).
[실시예 III]
도 7은, 프레임 1, 2가 정상이고, 프레임 3에 이상이 있으며, 프레임 4가 정상이고, 프레임 5에 이상이 있으며, 프레임 6, 7이 정상인 경우에 대해서 설명한 다. 프레임 1, 6이 키 프레임인 것으로 한다.
도 7은 설정 프레임 수 X가 최대 프레임 수(예를 들어, 900)인 경우의 프레임, 정상/이상, 보간 가능/불가능, 출력 제어의 적용/비적용 및 출력 프레임 간의 관계의 다른 일례를 나타내는 도면이다.
프레임 1에 관하여, 프레임 1은 정상이기 때문에, 출력 제어의 적용은 행해지지 않고, 정상 프레임 1이 프레임 출력 유닛(9)으로부터 출력된다(예시적인 실시형태 3의 경우도 동일).
프레임 2에 관하여, 프레임 2는 정상이기 때문에, 출력 제어의 적용은 행해지지 않고, 정상 프레임 2가 프레임 출력 유닛(9)으로부터 출력된다(예시적인 실시형태 3의 경우도 동일).
프레임 3에 관하여, 프레임 3에는 이상이 있고, 보간이 가능하며, 프레임 수 n=3이 설정 프레임 수 X보다 작기 때문에, 출력 제어의 적용이 없고, 보간 처리된 프레임 3'가 프레임 출력 유닛(9)으로부터 출력된다(예시적인 실시형태 3의 경우도 동일).
프레임 4에 관하여, 프레임 4는 정상이고, 보간이 불가능하기 때문에, 출력 제어의 적용이 없고, 프레임 출력 유닛(9)으로부터 정상 프레임 4가 출력된다(예시적인 실시형태 3의 경우도 동일).
프레임 5에 관하여, 프레임 5에는 이상이 있고, 보간이 불가능하며, 프레임 수 n=1이 설정 프레임 수 X보다 작기 때문에, 출력 제어의 적용이 행해지고, 이전 출력된 영상이 유지되며, 프레임 4가 프레임 출력 유닛(9)으로부터 출력된다(예시 적인 실시형태 3의 경우도 동일).
프레임 6에 관하여, 프레임 6은 정상이기 때문에, 출력 제어의 적용은 행해지지 않고, 정상 프레임(키 프레임) 6이 프레임 출력 유닛(9)으로부터 출력된다(예시적인 실시형태 3의 경우도 동일).
프레임 7에 관하여, 프레임 7은 정상이기 때문에, 출력 제어의 적용은 행해지지 않고, 정상 프레임 7이 프레임 출력 유닛(9)으로부터 출력된다(예시적인 실시형태 3의 경우도 동일).
[실시예 IV]
도 8은 설정 프레임 수 X가 2인 경우의 프레임, 정상/이상, 보간 가능/불가능, 출력 제어의 적용/비적용 및 출력 프레임 간의 관계의 다른 일례를 나타내는 도면이다.
프레임 1에 관하여, 프레임 1은 정상이기 때문에, 출력 제어의 적용은 행해지지 않고, 정상 프레임(키 프레임) 1이 프레임 출력 유닛(9)으로부터 출력된다(예시적인 실시형태 3의 경우도 동일).
프레임 2에 관하여, 프레임 2는 정상이기 때문에, 출력 제어의 적용은 행해지지 않고, 정상 프레임 2가 프레임 출력 유닛(9)으로부터 출력된다(예시적인 실시형태 3의 경우도 동일).
프레임 3에 관하여, 프레임 3에는 이상이 있고, 보간이 가능하며, 프레임 수 n=3이 설정 프레임 수 X보다 크기 때문에, 출력 제어의 적용은 행해지지 않고, 보간 처리기(6)에 의해 보간된 프레임 3'가 프레임 출력 유닛(9)으로부터 출력된다 (예시적인 실시형태 3의 경우도 동일).
프레임 4에 관하여, 프레임 4는 정상이기 때문에, 출력 제어의 적용은 행해지지 않고, 정상 프레임 4가 프레임 출력 유닛(9)으로부터 출력된다(예시적인 실시형태 3의 경우도 동일).
프레임 5에 관하여, 프레임 5에는 이상이 있고, 보간이 불가능하며, 프레임 수 n=1이 설정 프레임 수 X보다 작기 때문에, 출력 제어의 적용이 행해지고, 이전 출력된 프레임 4가 유지되며, 프레임 4가 프레임 출력 유닛(9)으로부터 출력된다(예시적인 실시형태 3의 경우도 동일).
프레임 6에 관하여, 프레임 6은 정상이기 때문에, 출력 제어의 적용은 행해지지 않고, 정상 프레임(키 프레임) 6이 프레임 출력 유닛(9)으로부터 출력된다(예시적인 실시형태 3의 경우도 동일).
프레임 7에 관하여, 프레임 7은 정상이기 때문에, 출력 제어의 적용은 행해지지 않고, 정상 프레임 7이 프레임 출력 유닛(9)으로부터 출력된다(예시적인 실시형태 3의 경우도 동일).
도 5 내지 도 8에 있어서, 프레임 1, 2, 3, …은 복호된 프레임을 나타내고, "정상/이상"은 복호된 프레임 1, 2, 3, …을 형성하는 패킷에 파괴(destruction)나 결손이 발생했는지 여부를 나타내며, "보간 처리 가능/불가능"은 프레임에 이상이 발생한 경우에 보간이 가능한지 여부를 나타낸다. "출력 제어의 적용/비적용"은 다음 정상 프레임 또는 보간된 프레임을 출력할 수 있을 때까지 이전 출력된 영상을 출력할지, 이상 프레임을 그대로 출력할지 여부를 나타낸다. 또한, "출력 프레 임"은 정상 프레임 1, 2, 3, …, 보간된 프레임 1', 2', 3', …, 이상 프레임 1", 2", 3", … 중의 어느 하나의 프레임이다.
여기서, 예시적인 실시형태 1∼4로부터, 설정 프레임 수 X가 프레임 수 n보다 큰 경우, 영상 데이터의 이상에 대하여 본 발명을 적용하는 빈도가 더 많음을 알 수 있다.
이 때문에, 일견 설정 프레임 수 X가 프레임 수 n보다 크면 우수한 것처럼 보인다. 그러나, 영상 데이터의 콘텐츠가 예를 들어 서스펜스 영화나 액션 드라마의 경우, 시청자는 결정적 순간을 보고 싶어한다. 그 경우, 대응하는 영상 데이터가 다소 파괴되어 있어도 프레임이 표시되는 것이 바람직한은 경우도 있다. 시청자가 다음 순간을 꼭 보고 싶어할 경우에, 이전 장면에서 재생이 정지되면, 시청자에게 불만이 남는다. 또한, 상술한 바와 같이 화면이 정지되기 때문에, 원활함이 감소된다.
따라서, 화질을 얻는 것보다 결정적 순간을 보고 싶은 시청자는 설정 프레임 수 X를 최소한으로 설정할 수 있다. 화질을 우선하고 싶은 시청자는 설정 프레임 수 X를 프레임 수 n의 최대한으로 설정할 수 있다.
[작용 효과]
본 발명에 따른 제1 효과는, 스트리밍 배신 동안 수신된 영상 데이터의 이상 프레임에 대하여 리얼타임성을 유지하고, 또한 멀티캐스트 등과 같이 재전송 처리가 불가능한 스트리밍 환경에 있어서도, 출력 프레임의 품질 열화를 주관적으로 방지하는 것이 가능하다. 그 이유는, 재전송 처리를 필요로 하지 않기 때문이다.
본 발명에 따른 다른 효과는, 이상 프레임의 양이 많은 경우나 장면의 전환때문에 보간 처리가 불가능한 경우에도, 출력 프레임의 품질 열화를 주관적으로 방지하는 것이 가능하다. 그 이유는, 키 프레임간의 간격을 취득하여 두고, 프레임 출력을 제어하기 때문이다.
본 발명에 따른 또 다른 효과는, FEC의 패리티와 같이 송신 측의 사양에 의존하지 않고, 수신 측에서 출력 영상의 품질 열화를 주관적으로 방지하는 것이 가능하다. 그 이유는, 본 발명이 구현될 때, 수신된 데이터 이외의 특별한 정보나 데이터는 필요로 하지 않기 때문이다.
또한, 상술한 예시적인 실시형태는 본 발명의 바람직한 예시적인 실시형태로서 제공되며, 그에 한정되지 않고, 본 발명의 사상 및 범주를 벗어나지 않고도 다양하게 변형되어 구현될수 있다. 예를 들어, 상술한 예시적인 실시형태는 스트리밍 배신의 경우에 의해 설명했지만, 본 발명은 스트리밍에 한정되지 않고, 이상 프레임의 발생 수를 판단할 수 있는 형식의 영상 데이터이면, 기억 유닛 상의 영상 데이터일지라도 적용이 가능하다.
기억 유닛 상의 영상 데이터에 이상이 존재할 경우, 스트리밍의 재전송에 대응하는 재판독/입력을 행하는 것이 불가능하여, 본 발명이 효과적이다.
도 1은 본 발명에 따른 재생 방법을 적용한 재생 시스템의 일 예시적인 실시형태인 스트리밍 배신에서의 구성도.
도 2는 도 1 및 도 3에 나타낸 재생 시스템에 이용되는 재생 장치의 동작을 설명하기 위한 플로우차트.
도 3은 본 발명에 따른 재생 방법을 적용한 재생 장치의 다른 예시적인 실시형태인 스트리밍 배신에서의 구성도.
도 4는 본 발명에 따른 재생 방법을 적용한 재생 시스템에 이용되는 재생 장치의 동작을 설명하기 위한 플로우차트.
도 5는 설정 프레임 수 X가 최대 프레임 수인 경우의 프레임, 정상/이상, 보간 가능/불가능, 출력 제어의 적용/비적용 및 출력 프레임 간의 관계의 일례를 나타내는 도면.
도 6은 설정 프레임 수 X가 프레임 수 n 이하인 경우의 프레임, 정상/이상, 보간 가능/불가능, 출력 제어의 적용/비적용 및 출력 프레임 간의 관계의 일례를 나타내는 도면.
도 7은 설정 프레임 수 X가 최대 프레임 수인 경우의 프레임, 정상/이상, 보간 가능/불가능, 출력 제어의 적용/비적용 및 출력 프레임 간의 관계의 다른 일례를 나타내는 도면.
도 8은 설정 프레임 수 X가 프레임 수 n 이하인 경우의 프레임, 정상/이상, 보간 가능/불가능, 출력 제어의 적용/비적용 및 출력 프레임 간의 관계의 다른 일 례를 나타내는 도면.
*도면의 주요 부분에 대한 부호의 설명
1 : 영상 데이터 배신 서버 2-1, 2-2 : 클라이언트(재생 장치)
3-1, 3-2 : 기억 유닛 4-1 : 영상 수신 유닛
5 : 복호기 6 : 보간 처리기
7 : 키 프레임 간격 산출기 8 : 프레임 출력 제어기
9 : 프레임 출력 유닛 10 : 네트워크
11 : 영상 데이터

Claims (29)

  1. 영상 데이터가 복호된 프레임에 대해 이상의 유무를 판단하는 제1 수단과,
    상기 제1 수단에 의해 이상 있음이라고 판단된 이상 프레임에 대해서, 보간 처리가 가능한지의 여부를 판단하는 제2 수단과,
    상기 제2 수단에 의해 보간 처리가 불가능하다고 판단된 경우에, 상기 이상 프레임의 직전의 프레임의 출력을 유지하는 제3 수단
    을 포함하며,
    상기 제3 수단은, 상기 제2 수단에 의해 보간 처리가 불가능하다고 판단된 프레임이 후속(subsequent)의 키 프레임으로부터 소정 프레임 수 이내에 있는 경우에, 상기 후속의 키 프레임이 출현(appear)할 때까지, 상기 이상 프레임의 직전의 프레임의 출력을 유지하고, 상기 소정 프레임 수 이내에 있지 않은 경우에, 상기 이상 프레임을 출력하고,
    상기 소정 프레임 수는, 키 프레임 간격 내로서, 시청자의 선호에 따른 프레임 수인 것을 특징으로 하는 재생 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 프레임은 직전 프레임과의 차분 정보(differential information)를 포함하고, 제4 수단이 상기 차분 정보에 기초하여 보간을 행하는 재생 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 제2 수단은 상기 프레임이 키 프레임인지 여부를 판단하고,
    상기 재생 장치는, 키 프레임으로부터 다음 키 프레임까지의 프레임 간격을 산출하는 키 프레임 간격 산출기를 더 포함하는 재생 장치.
  8. 제1항에 있어서,
    상기 프레임은 직전 프레임과의 차분 정보, 직전 키 프레임과의 차분 정보, 후속 키 프레임과의 차분 정보 중 적어도 하나의 차분 정보를 포함하고,
    제4 수단이 상기 차분 정보에 기초하여 보간을 행하며,
    상기 제3 수단은, 정상 프레임이 출력될 수 있을 때까지, 이미 출력된 프레임의 출력을 유지하는 재생 장치.
  9. 제1항에 있어서,
    상기 영상 데이터는, 네트워크로부터 배신(deliver)되는 영상 데이터 또는 기억 매체로부터 판독되는 영상 데이터를 포함하는 재생 장치.
  10. 재생 시스템으로서,
    재생 장치와,
    영상 데이터를 배신하는 영상 데이터 배신 서버와,
    상기 영상 데이터 배신 서버에 접속된 네트워크
    를 포함하며,
    상기 재생 장치는,
    영상 데이터가 복호된 프레임에 대해 이상의 유무를 판단하는 제1 수단과,
    상기 제1 수단에 의해 이상 있음이라고 판단된 이상 프레임에 대해서, 보간 처리가 가능한지의 여부를 판단하는 제2 수단과,
    상기 제2 수단에 의해 보간 처리가 불가능하다고 판단된 경우에, 상기 이상 프레임의 직전의 프레임의 출력을 유지하는 제3 수단
    을 포함하며,
    상기 제3 수단은, 상기 제2 수단에 의해 보간 처리가 불가능하다고 판단된 프레임이 후속의 키 프레임으로부터 소정 프레임 수 이내에 있는 경우에, 상기 후속의 키 프레임이 출현할 때까지, 상기 이상 프레임의 직전의 프레임의 출력을 유지하고, 상기 소정 프레임 수 이내에 있지 않은 경우에, 상기 이상 프레임을 출력하고,
    상기 소정 프레임 수는, 키 프레임 간격 내로서, 시청자의 선호에 따른 프레임 수인 것을 특징으로 재생 시스템.
  11. 삭제
  12. 영상 데이터가 복호된 프레임에 대해 이상의 유무를 판단하는 단계와,
    이상 있음이라고 판단된 이상 프레임에 대해서, 보간 처리가 가능한지의 여부를 판단하는 단계와,
    보간 처리가 불가능하다고 판단된 경우에, 상기 이상 프레임의 직전의 프레임의 출력을 유지하는 단계
    를 포함하며,
    보간 처리가 불가능하다고 판단된 프레임이 후속의 키 프레임으로부터 소정 프레임 수 이내에 있는 경우에, 상기 후속의 키 프레임이 출현할 때까지, 상기 이상 프레임의 직전의 프레임의 출력을 유지하고, 상기 소정 프레임 수 이내에 있지 않은 경우에, 상기 이상 프레임을 출력하고,
    상기 소정 프레임 수는, 키 프레임 간격 내로서, 시청자의 선호에 따른 프레임 수인 것을 특징으로 하는 재생 방법.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 제12항에 있어서,
    상기 프레임은 직전 프레임과의 차분 정보를 포함하고, 상기 차분 정보에 기초하여 보간을 행하는 재생 방법.
  17. 삭제
  18. 제12항에 있어서,
    상기 프레임이 키 프레임인지 여부를 판단하는 단계와,
    키 프레임으로부터 다음 키 프레임까지의 프레임 간격을 산출하는 단계
    를 포함하는 재생 방법.
  19. 제12항에 있어서,
    상기 프레임은 직전 프레임과의 차분 정보, 직전 키 프레임과의 차분 정보, 후속 키 프레임과의 차분 정보 중 적어도 하나의 차분 정보를 포함하고,
    상기 방법은,
    상기 차분 정보에 기초하여 보간을 행하는 단계와,
    정상 프레임이 출력될 수 있을 때까지, 이미 출력된 프레임의 출력을 유지하는 단계
    를 더 포함하는 재생 방법.
  20. 제12항에 있어서,
    상기 영상 데이터는, 네트워크로부터 배신되는 영상 데이터 또는 기억 매체로부터 판독되는 영상 데이터인 재생 방법.
  21. 프로그램을 기록하는 기록 매체로서,
    상기 프로그램은, 컴퓨터로 하여금,
    제1 수단에서, 영상 데이터가 복호된 프레임에 대해 이상의 유무를 판단하는 처리와,
    제2 수단에서, 상기 제1 수단에 의해 이상 있음이라고 판단된 이상 프레임에 대해서, 보간 처리가 가능한지의 여부를 판단하는 처리와,,
    상기 제2 수단에 의해 보간 처리가 불가능하다고 판단된 경우에, 제3 수단에서, 상기 이상 프레임의 직전의 프레임의 출력을 유지하는 처리
    를 실행하게 하며,
    상기 제3 수단에서, 상기 제2 수단에 의해 보간 처리가 불가능하다고 판단된 프레임이 후속(subsequent)의 키 프레임으로부터 소정 프레임 수 이내에 있는 경우에, 상기 후속의 키 프레임이 출현(appear)할 때까지, 상기 이상 프레임의 직전의 프레임의 출력을 유지하고, 상기 소정 프레임 수 이내에 있지 않은 경우에, 상기 이상 프레임을 출력하는 처리를 더 실행하게 하며,
    상기 소정 프레임 수는, 키 프레임 간격 내로서, 시청자의 선호에 따른 프레임 수인 것을 특징으로 하는 프로그램을 기록하는 기록 매체.
  22. 삭제
  23. 삭제
  24. 삭제
  25. 제21항에 있어서,
    상기 프레임은 직전 프레임과의 차분 정보를 포함하고,
    상기 프로그램은, 컴퓨터로 하여금,
    제4 수단에서, 상기 차분 정보에 기초하여 보간을 행하는 처리를 더 실행하게 하는 기록 매체.
  26. 삭제
  27. 제21항에 있어서,
    상기 프로그램은, 컴퓨터로 하여금,
    상기 제2 수단에서, 상기 프레임이 키 프레임인지 여부를 판단하는 처리와,
    키 프레임 간격 산출기에서, 키 프레임으로부터 다음 키 프레임까지의 프레임 간격을 산출하는 처리
    를 더 실행하게 하는 기록 매체.
  28. 제21항에 있어서,
    상기 프레임은 직전 프레임과의 차분 정보, 직전 키 프레임과의 차분 정보, 후속 키 프레임과의 차분 정보 중 적어도 하나의 차분 정보를 포함하고,
    상기 프로그램은, 컴퓨터로 하여금,
    제4 수단에서, 상기 차분 정보에 기초하여 보간을 행하는 처리,
    정상 프레임이 출력될 수 있을 때까지, 상기 제3 수단에서, 이미 출력된 프레임의 출력을 유지하는 처리
    를 실행하게 하는 기록 매체.
  29. 제21항 또는 제28항에 있어서,
    상기 영상 데이터는, 네트워크로부터 배신되는 영상 데이터 또는 기억 매체로부터 판독되는 영상 데이터를 포함하는 기록 매체.
KR20080137498A 2008-01-07 2008-12-30 재생 장치, 재생 시스템, 재생 방법 및 기록 매체 KR101007806B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2008-000721 2008-01-07
JP2008000721A JP4561837B2 (ja) 2008-01-07 2008-01-07 再生装置、システム、方法、プログラム及びコンピュータ読取可能な記録媒体

Publications (2)

Publication Number Publication Date
KR20090076794A KR20090076794A (ko) 2009-07-13
KR101007806B1 true KR101007806B1 (ko) 2011-01-14

Family

ID=40844640

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20080137498A KR101007806B1 (ko) 2008-01-07 2008-12-30 재생 장치, 재생 시스템, 재생 방법 및 기록 매체

Country Status (4)

Country Link
US (1) US8355622B2 (ko)
JP (1) JP4561837B2 (ko)
KR (1) KR101007806B1 (ko)
CN (1) CN101483783B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5947561B2 (ja) 2012-02-20 2016-07-06 キヤノン株式会社 画像形成装置及び画像形成方法
CN103491368A (zh) * 2013-09-13 2014-01-01 天脉聚源(北京)传媒科技有限公司 一种视频处理方法、装置及系统
CN104780443B (zh) * 2015-03-19 2018-02-23 四川长虹电器股份有限公司 在机顶盒上实现i帧间隔动态检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1023435A (ja) 1996-06-27 1998-01-23 Sanyo Electric Co Ltd エラー処理装置及び復号装置
JP2003116136A (ja) * 2001-10-05 2003-04-18 Sharp Corp 動画像復号装置
KR20080047230A (ko) * 2006-11-24 2008-05-28 삼성전자주식회사 오디오 신호의 오류은폐방법 및 장치, 이를 이용한 오디오신호 복호화 방법 및 장치

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6261485A (ja) 1985-09-12 1987-03-18 Fujitsu Ltd フレ−ム間予測復号化装置
JPH0322735A (ja) 1989-06-20 1991-01-31 Matsushita Electric Ind Co Ltd 映像信号のパケット伝送装置
JPH0342405U (ko) * 1989-09-01 1991-04-22
JPH0698313A (ja) * 1992-09-14 1994-04-08 Sony Corp 動画像復号化装置
JPH07322263A (ja) * 1994-05-20 1995-12-08 Toko Inc 画像伝送装置
JPH08149474A (ja) * 1994-11-17 1996-06-07 Hitachi Ltd 動画像復号化装置
JPH08265751A (ja) * 1995-03-24 1996-10-11 Nippon Steel Corp Ｍｐｅｇ方式による画像再生器
JPH09116901A (ja) * 1995-10-20 1997-05-02 Matsushita Electric Ind Co Ltd ディジタル放送受信装置
JP2000051266A (ja) * 1998-08-07 2000-02-22 Masudaya:Kk 生理用ナプキン
JP2000325396A (ja) * 1999-05-19 2000-11-28 Sayama Shoji Kk 生理用ショーツ
JP4208433B2 (ja) * 2000-05-12 2009-01-14 花王株式会社 吸収性物品
JP2002112275A (ja) * 2000-07-25 2002-04-12 Matsushita Electric Ind Co Ltd 画像復号方法、画像復号装置、およびデータ記憶媒体
JP2002114617A (ja) * 2000-10-04 2002-04-16 Yamaso Micron:Kk 天然消臭抗菌剤、それを用いた消臭抗菌製品およびそれを用いた消臭抗菌方法
KR20040077762A (ko) * 2002-01-24 2004-09-06 코닌클리케 필립스 일렉트로닉스 엔.브이. 스트림 데이터의 에러 정정
JP2003284064A (ja) 2002-03-20 2003-10-03 Matsushita Electric Ind Co Ltd 画像受信装置および画像表示制御方法
JP2003275237A (ja) * 2002-03-22 2003-09-30 Daio Paper Corp 生理用ナプキン
JP3927443B2 (ja) * 2002-05-01 2007-06-06 日本電信電話株式会社 動画像送受信システムおよび動画像送受信方法
DE602004015134D1 (de) * 2003-10-30 2008-08-28 Mcneil Ppc Inc Saugfähige artikel mit metallbeladenen nanoteilchen
JP4810088B2 (ja) 2004-12-17 2011-11-09 キヤノン株式会社 画像処理装置、画像処理方法及びそのプログラム
JP2006319583A (ja) 2005-05-11 2006-11-24 Sumitomo Electric Ind Ltd 出力方法、出力装置及びコンピュータプログラム
CN101005614A (zh) * 2006-01-17 2007-07-25 鲁海宁 动态图像编解码方法、装置和计算机可读记录介质
JP4730183B2 (ja) * 2006-04-17 2011-07-20 株式会社日立製作所 映像表示装置
CN101282474A (zh) * 2007-04-04 2008-10-08 扬智科技股份有限公司 影像解码处理系统及方法
EP2213000B1 (en) * 2007-07-16 2014-04-02 Telchemy, Incorporated Method and system for content estimation of packet video streams

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1023435A (ja) 1996-06-27 1998-01-23 Sanyo Electric Co Ltd エラー処理装置及び復号装置
JP2003116136A (ja) * 2001-10-05 2003-04-18 Sharp Corp 動画像復号装置
KR20080047230A (ko) * 2006-11-24 2008-05-28 삼성전자주식회사 오디오 신호의 오류은폐방법 및 장치, 이를 이용한 오디오신호 복호화 방법 및 장치

Also Published As

Publication number Publication date
JP4561837B2 (ja) 2010-10-13
KR20090076794A (ko) 2009-07-13
CN101483783A (zh) 2009-07-15
JP2009164907A (ja) 2009-07-23
US8355622B2 (en) 2013-01-15
CN101483783B (zh) 2013-04-03
US20090175597A1 (en) 2009-07-09

Similar Documents

Publication Publication Date Title
EP1323314B1 (en) Transcoding progressive i-slice refreshed mpeg data streams to enable trick play
US7197072B1 (en) Systems and methods for resetting rate control state variables upon the detection of a scene change within a group of pictures
KR101075860B1 (ko) 비디오 시퀀스에서 오류 은폐 방법
US7406124B1 (en) Systems and methods for allocating bits to macroblocks within a picture depending on the motion activity of macroblocks as calculated by an L1 norm of the residual signals of the macroblocks
JP5043096B2 (ja) チャネル変更方法及びデジタル・ビデオ装置
US10075726B2 (en) Video decoding method/device of detecting a missing video frame
US9716896B2 (en) Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method
US20020054641A1 (en) Video coding
EP1553779A1 (en) Data reduction of video streams by selection of frames and partial deletion of transform coefficients
EP1565008A2 (en) Reproducing apparatus
JP2012165380A (ja) 帯域幅最適化を備えた高速チャンネル変更を伴うストリームの対策
US20090122875A1 (en) Buffering of video stream data
KR101007806B1 (ko) 재생 장치, 재생 시스템, 재생 방법 및 기록 매체
US7388912B1 (en) Systems and methods for adjusting targeted bit allocation based on an occupancy level of a VBV buffer model
JP4833923B2 (ja) トランスコード装置、トランスコーダ、デコーダおよびトランスコード方法
KR20040080930A (ko) 정보 처리 장치 및 방법
JP5099697B2 (ja) 音声・ビデオ出力方式、音声・ビデオ出力方式実現プログラム及び音声・ビデオ出力装置
US8704954B2 (en) Signal output device and signal output method
JP4703522B2 (ja) 動画像復号装置
US20050265369A1 (en) Network receiving apparatus and network transmitting apparatus
US20150215619A1 (en) Method and apparatus for detecting gradual transition picture in video bitstream
US20090052553A1 (en) Device and associated method for concealing errors in decoded media units
JPH11252567A (ja) 画像信号の符号化装置及びその方法と画像信号の復号化装置及びその方法
JP2004266539A (ja) 画像再生方式

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131218

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141219

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151217

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171219

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181219

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 10