KR20090123907A - 동화상 변환 장치, 동화상 변환 방법, 및 동화상 변환 프로그램 - Google Patents

동화상 변환 장치, 동화상 변환 방법, 및 동화상 변환 프로그램 Download PDF

Info

Publication number
KR20090123907A
KR20090123907A KR1020097019857A KR20097019857A KR20090123907A KR 20090123907 A KR20090123907 A KR 20090123907A KR 1020097019857 A KR1020097019857 A KR 1020097019857A KR 20097019857 A KR20097019857 A KR 20097019857A KR 20090123907 A KR20090123907 A KR 20090123907A
Authority
KR
South Korea
Prior art keywords
frame
conversion
subsequent
specific
moving picture
Prior art date
Application number
KR1020097019857A
Other languages
English (en)
Other versions
KR101074964B1 (ko
Inventor
카즈테루 와타나베
카즈노리 오자와
히로노리 이토
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20090123907A publication Critical patent/KR20090123907A/ko
Application granted granted Critical
Publication of KR101074964B1 publication Critical patent/KR101074964B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

화질의 열화를 억제하고, 화상 변환에 수반하는 연산량을 저감시키는 연구가 시행된 동화상 변환 장치를 제공하기 위해, 부호화된 동화상 데이터를 변환하는 동화상 변환 장치는, 상기 부호화된 동화상 데이터의 특정한 프레임을 선두로 한 새로운 동화상 데이터를 생성하는 동화상 데이터 생성부와, 상기 특정한 프레임보다 후속의 프레임이, 상기 특정 프레임보다 앞의 프레임을 참조하여 부호화되어 있는지의 여부를 판단하는 판정부를 구비하고 있다. 또한, 상기 동화상 데이터 생성부는, 상기 특정한 프레임을, 다른 프레임을 참조하지 않는 선두 프레임으로 변환하는 선두 프레임 변환 처리부와, 상기 판정부에서 상기 특정한 프레임보다 앞의 프레임을 참조하고 있다고 판단된 후속 프레임을, 해당 판단된 후속 프레임부터 상기 특정한 프레임까지의 어느 하나의 프레임을 참조하여 다시 부호화하는 후속 프레임 변환 처리부를 갖고 있다.

Description

동화상 변환 장치, 동화상 변환 방법, 및 동화상 변환 프로그램{MOVING IMAGE CONVERTING APPARATUS, MOVING IMAGE CONVERTING METHOD, AND MOVING IMAGE CONVERTING PROGRAM}
본 발명은, 부호화된 동화상 데이터를 변환하는 동화상 변환 장치에 관한 것이다.
관련되는 기술로서는, 동화상 데이터를 전송하는데 즈음하여서는, 동화상 데이터를 저비트 레이트로 효율 좋게 전송하기 위한 동화상 압축 부호화 방식으로서, ITU-T(국제전기통신연합, 전기통신 표준화 부문 : International Telecommunications Union-Telecommunication Standardization Sector)의 권고에 의한 H.261이나 H.263이라고 불리는 방식이 알려져 있다.
또한, 다른 동화상 압축 부호화 방식으로서는, ISO/IEC(국제 표준화 기구/국제전기 표준회의 : International Organization for Standardization/International Electrotechnica1 Commission)에서 국제 표준화되어 있는 MPEG(Moving Picture Experts Group)-4라고 불리는 방식도 알려져 있다.
또한, 근래, ITU-T와 ISO/IEC로 국제 표준화된 .H.264/MPEG-4AVC(Advanced Video Coding)라고 불리는 동화상 압축 부호화 방식이, H.261, H.263, 또는 MPEG-4 등의 동화상 압축 부호화 방식보다도 동화상 데이터를 효율 좋게 부호화하여 전송할 수 있는 방식으로서 주목받고 있다.
상기 동화상 압축 부호화 방식에는, 현재의 프레임의 화상 데이터만을 이용하여 부호화하는 인트라 예측과, 앞(前)(과거)의 프레임이나 뒤(미래)의 프레임의 화상 데이터를 참조하여 부호화하는 인터 예측이 있다(예를 들면, 특허 문헌 1, 2 참조).
상기 인트라 예측에서는, 한 예로서, 동화상 데이터를 부호화할 때에, 매크로 블록이라고 불리는 단위마다(예를 들면, 16×16화소의 블록)로 구분한다. 그리고, 이 인트라 예측에서는, 매크로 블록마다 동화상 데이터를 효율 좋게 부호화하는 처리로서, DCT(이산 코사인 변환 : Discrete Cosine Transform)를 행한 후, 변환에 의해 얻어지는 DCT 계수를 가변 길이 부호화한다.
이 DCT 변환은, 프레임의 화상 데이터를 저주파나 고주파 등의 주파수 성분으로 분해하여 부호화 처리를 시행하는 변환 기술이다. 또한, H.264/MPEG-4AVC에서는, 8×8화소의 매크로 블록을 더욱 미세하게 분할한 블록(4×4화소)을 이용하여, DCT 변환보다도 효율 좋게 동화상 데이터를 부호화 처리할 수 있는 DIT(이산 정수 변환 : Discrete Integer Transform)를 행한 후, 변환에 의해 얻어지는 DIT 계수를 가변 길이 부호화하는 방법도 채용되어 있다.
여기서, 가변 길이 부호화란, 동화상 데이터를 부호화 처리할 때, 출현 빈도가 높은 값(DCT 계수, DIT 계수)에는, 바이트 수가 짧은 데이터를 배당하고, 출현 빈도가 낮은 값에는, 바이트 수가 긴 데이터를 배당하는 부호화이다. 이로써 부호 화 효율이 더욱 높아진다.
다른 한편, 인터 예측에서는, 다른 시각의 프레임에 의거하여 예측 화상을 생성하고, 입력 화상과 예측 화상의 차분 화상의 데이터를 부호화한다. 이 경우, 인터 예측은, 차분 화상의 데이터만을 부호화하면 좋기 때문에, 인트라 예측에 비교하여 높은 부호화율을 달성할 수 있다.
또한, 이 인터 예측에서는, 보다 높은 부호화율을 달성하기 위해, 움직임 보상이라고 불리는 기술이 사용된다. 이 동향 보상이란, 2개의 연속하는 프레임 사이에서, 주목하는 대상이 어느 방향으로 움직였는지를 고려하고 부호화 등을 행하는 화상 부호화 방식이다. 이 동향 보상에서는, 우선, 최초에 인접하는 프레임 사이에서 움직임 벡터(영상중의 각 요소가, 어느 방향으로 어느 정도 움직이고 있는지 라는 정보)를 구하고, 그 움직임분을 제거하고 나서, 화상 데이터를 DCT 등으로 부호화하여, 부호화한 부호화 데이터를 생성한다. 여기서, 이 부호화 데이터를 복호할 때에는, 움직임 벡터의 정보에 의거하여 복호화한다.
또한, 상기 동화상 압축 부호화 방식에서는, 일반적으로, I픽처(Intra Picture)와, P픽처(Predictive Picture)와, B픽처(Bidirectional Predictive Picture)라는 3개의 화양 타입(부호화 데이터)가 있다.
I픽처란, 전후의 프레임에 관계없이 그 프레임만에서 독립하여 부호화함에 의해 얻어지는 픽처인 것이다. P픽처란, 프레임 사이의 앞(前)방향 예측의 부호화에 의해 얻어지는 픽처인 것이다. B픽처란, 전방과 후방의 쌍방향으로부터의 예측 부호화에 의해 얻어지는 픽처인 것이다.
여기서, 상기 특허 문헌 1은, 동화상 압축 부호화 방식중, 움직임 보상에 관한 기술을 개시하고 있다. 구체적으로는, 인터 예측에 있어서, 예측 대상의 프레임이 전방향 예측뿐만 아니라, 후방향 예측도 행하는 경우에는, 쌍방향의 프레임을 이용하여 움직임 벡터를 구하여, 움직임 보상 예측을 행한다.
또한, 특허 문헌 2는, 동화상 압축 부호화 방식중, 움직임 보상에 관한 기술을 개시하고 있다. 구체적으로는, 인터 예측에 있어서, 예측 대상의 프레임에 관해, 전방향 예측, 후방향 예측을 행하고, 오차가 적은 쪽을 채용하여 움직임 벡터를 구하여, 움직임 보상 예측을 행한다.
그런데, 상술한 동화상 압축 부호화 방식을 채용한 동화상 변환 장치에서, 예를 들면, H.261 방식에 의해 부호화된 데이터를 메모리 등에 일단 축적하여 사용하는 경우, 축적 화상 데이터(부호화 데이터)의 선두 프레임은, 재생(복호화)시에 앞의 프레임의 화상 데이터를 참조할 수가 없다. 그 때문에, 반드시, 선두 프레임은, 인트라 예측만으로 부호화할 필요가 있다. 복호 화상이 흐트러져 버리기 때문이다.
여기서, 부호화 데이터의 프레임에 관해, 지정된 프레임으로부터 축적하고 싶은 경우, P픽처이 선두 프레임이면, 그대로, 복호화한 것으로는, 올바르게 재생되지 않는다는 문제가 생긴다.
그래서, 지정된 프레임으로부터 축적하는 경우, 이 지정된 프레임을 일단 복호화하고, 이 복호화한 복호 화상을 선두 프레임으로 하여 인트라 예측으로 재부호화하고, 이 프레임에 계속되는 프레임에 대해서도 일단 복호화한 후, 인터 예측으 로 재부호화한 처리가 이루어지고 있다. 그러나, 재부호화에 의해, 화상의 화질이 열화되어 버린다는 문제가 생기고, 또한, 재부호화시에 처리의 부하가 올라가 버린다는 문제가 생기고 있다. 그래서, 상기 문제를 해결하는 기술이 제안되어 있다(예를 들면, 특허 문헌 3 참조).
특허 문헌 3에 개시된 기술에서는, 부호화 데이터를 지정된 프레임으로부터 축적하여 사용하는 경우, 지정된 프레임의 부호화 데이터(P픽처)를 일단, 복호화한다. 계속해서, 재차, 부호화할 때에, 지정된 프레임의 복호 화상의 선두 프레임 또는, 선두 프레임에 계속된 수 프레임을 인트라 예측으로 I픽처로 변환한다. 그리고, 선두 프레임에 계속되는 부합화 데이터는, 그대로 축적한다. 이로써, 선두 프레임을 I픽처으로 함에 의해, 복호 화상(영상)은 흐트러지지 않고 끝난다.
특허 문헌 1 : 일본 특개2004-165703호 공보
특허 문헌 2 : 일본 특개2006-180173호 공보
특허 문헌 3 : 일본 특개2002-305733호 공보
발명이 해결하고자 하는 과제
그러나, 특허 문헌 3에 개시된 동화상 압축 부호화 방식에서는, 이하의 문제점을 갖고 있다.
도 19는, 관련되는 기술예의 문제점을 설명하기 위한 한 예의 도면이다. 도 19의 상단은, 동화상 변환 장치에 입력되는 부호화 데이터의 프레임 열을 나타내고 있다. 도 19의 하단은, 동화상 변환 장치로부터 출력되는 프레임 열을 나타내고 있다. 또한, 동화상 압축 부호화 방식으로서, H.264 방식을 예로 하여 설명한다. 이 H.264 방식에서는, 축적 화상의 선두 프레임으로 지정된 입력 부호화 데이터를 IDR(Instantaneous Decoding Refresh)이라고 불리는 프레임(I픽처)로 변환하는 것으로 되어 있다.
여기서, 도 19에 도시하는 바와 같이, P1프레임으로부터 축적 시작(재생) 요구가 이루어진 경우, 특허 문헌 3의 동화상 변환 방법을 채용하면, 이하와 같이 된다. 우선, 이 동화상 변환 방법에서는, P1프레임을 복호화한 후, 인트라 예측으로 IDR0'프레임으로 변환한다. 그리고, 그에 계속해서, P2, P3 … Pn-1, Pn프레임에 대해서는, 그대로의 상태로 출력 부호화 데이터로 한다. 이 경우, 각 P프레임이, 하나 앞의 프레임만을 전방향 예측하고 있으면, 출력 부호화 데이터는, 화상이 흐트러지는 일없이, 재생된다. 그러나, 특정한 P프레임이, 예를 들면, 하나 앞의 프레임 이외의 프레임을 참조하여 인터 예측을 행하고 있는 경우, 그대로 축적하면 복호 화상이 흐트러져 버린다는 화질 열화의 문제가 생기는 일이 있다.
구체적으로 도면으로 설명하면, 도 19의 상단의 P2는, IDR0의 프레임을 참조하여 인터 예측을 행하고 있다. 도 19의 하단에서는, P1'(P2에 상당)의 프레임을 복호화하려고 하면, 예측 데이터가 되는 프레임이 존재하지 않기 때문에, 혼란이 전파되게 된다.
또한, H.264 방식에서는 가장 가까운 프레임뿐만 아니라, 특정한 프레임을 장기에 걸쳐서 참조 프레임 버퍼에 보존하여 참조하는 인터 예측(Long Term 예측)을 할 수 있기 때문에, Long Term 예측을 하고 있는 인터 프레임이 축적 화상의 선두 프레임보다도 앞의 프레임의 화상을 참조하고 있는 경우도, 그대로 축적하면 복호 화상이 흐트러져 버린다는 화질의 열화의 문제가 생긴다.
이 Long Term 예측에 있어서의 문제점에 관해, 구체적으로, 도 20을 이용하여 설명한다.
도 20은, 종래예의 문제점을 설명하기 위한 한 예의 도면이다. 도 20의 상단은, 동화상 변환 장치에 입력되는 부호화 데이터의 프레임 열을 나타내고 있다. 도 20의 하단은, 동화상 변환 장치로부터 출력되는 프레임 열을 나타내고 있다.
여기서, 도 20에 도시하는 바와 같이, P1프레임으로부터 축적 시작(재생) 요구가 이루어진 경우, 특허 문헌 3의 동화상 변환 방법을 채용하면, 이하와 같이 된다. 우선, 이 동화상 변환 방법에서는, P1프레임을 복호화한 후, 인트라 예측으로 IDR0'프레임으로 변환한다. 그리고, 그에 계속해서, P2, P3 … Pn-1, Pn프레임에 대해서는, 그대로의 상태로 출력 부호화 데이터로 한다. 그러나, Pn-1이 도 20의 상단에 도시하는 바와 같이, Long Term 예측을 하고 있으면, 복호 화상을 생성하는 경우, 참조하는 프레임 데이터가 떨어져 나가 있기 때문에, 복호 화상이 흐트러져 버린다는 화질 열화의 문제가 생겨 버린다.
본 발명은, 상기 사정을 감안하여, 화질의 열화를 억제하고, 화상 변환에 수반하는 연산량을 저감시키는 연구가 시행된 동화상 변환 장치, 동화상 변환 방법, 및 동화상 변환 프로그램을 제공하는 것을 목적으로 한다.
과제를 해결하기 위한 수단
상기 목적을 달성하는 본 발명의 동화상 변환 장치는, 부호화된 동화상 데이터를 변환하는 동화상 변환 장치로서, 상기 부호화된 동화상 데이터의 특정한 프레임을 선두로 한 새로운 동화상 데이터를 생성하는 동화상 데이터 생성부와, 상기 특정한 프레임보다 후속의 프레임이, 상기 특정 프레임보다 앞의 프레임을 참조하여 부호화되어 있는지의 여부를 판단하는 판정부를 구비하고, 상기 동화상 데이터 생성부는, 상기 특정한 프레임을, 다른 프레임을 참조하지 않는 선두 프레임으로 변환하는 선두 프레임 변환 처리부와, 상기 판정부에서 상기 특정한 프레임보다 앞의 프레임을 참조하고 있다고 판단된 후속 프레임을, 해당 판단된 후속 프레임부터 상기 특정한 프레임까지의 어느 하나의 프레임을 참조하여 다시 부호화하는 후속 프레임 변환 처리부를 구비하는 것을 특징으로 한다.
발명의 효과
본 발명에 의하면, 화질의 열화를 억제하고, 화상 변환에 수반하는 연산 효율을 높인 연구가 시행된 동화상 변환 장치, 동화상 변환 방법, 및 동화상 변환 프로그램이 제공된다.
도 1은 본 발명의 한 실시 형태로서의 동화상 변환 장치의 구성도.
도 2는 프레임의 내부 구성의 한 예를 도시하는 도면.
도 3은 도 1에 도시하는 변환 제어부의 내부 구성도.
도 4는 변환 정보 생성부의 내부 구성도.
도 5는 도 1에 도시하는 부호화부의 내부 구성도.
도 6은 도 19의 비교예로서, 본 발명의 동화상 변환 방법에 의한 새로운 동화상 데이터의 생성을 설명하는 도면.
도 7은 도 20의 비교예로서, 본 발명의 동화상 변환 방법에 의한 새로운 동화상 데이터의 생성을 설명하는 도면.
도 8은 본 발명의 한 실시 형태인 동화상 변환 장치에 의한 동화상 변환 방법의 한 예를 도시하는 플로우 차트.
도 9는 제 2의 실시 형태에서의 동화상 변환 장치의 내부 구성을 도시하는 도면.
도 10은 도 9에 도시하는 스트림 변환부의 내부 구성도.
도 11은 도 9에 도시하는 변환 제어부의 내부 구성도.
도 12는 제 2의 실시 형태에서의 동화상 변환 장치의 동작의 한 예를 도시하는 플로우 차트.
도 13은 제 3의 실시 형태에서의 동화상 변환 장치의 동작의 한 예를 도시하는 플로우 차트.
도 14는 제 4의 실시 형태에서의 동화상 변환 장치의 동작의 한 예를 도시하는 플로우 차트.
도 15는 제 6의 실시 형태의 동화상 변환 장치에 의한 동화상 변환 방법의 한 예를 설명하는 도면.
도 16은 제 7의 실시 형태의 동화상 변환 장치에 의한 동화상 변환 방법의 한 예를 설명하는 도면.
도 17은 블록끼리의 상관관계의 유무의 한 예를 설명하는 도면.
도 18은 제 7의 실시 형태에서의 동화상 변환 장치의 동작의 한 예를 도시하는 플로우 차트.
도 19는 관련되는 기술예의 문제점을 설명하기 위한 한 예의 도면.
도 20은 관련되는 기술예의 문제점을 설명하기 위한 한 예의 도면.
이하, 도면을 참조하여 본 발명의 실시 형태를 설명한다. 여기서는, 본 발명의 동화상 변환 프로그램에 의거하여 동작하는 동화상 변환 장치, 그 동화상 변환 장치로 실행되는 본 발명의 동화상 변환 방법에 관해 설명한다.
본 발명의 동화상 변환 장치는, 부호화된 동화상 데이터를 변환하는 동화상 변환 장치이다. 한 예로서, 이 동화상 변환 장치는, 동화상 데이터를 배신하는 외부 기기로부터 동화상 데이터를 수신하고 수신 버퍼에 일시 기억하고, 그 외부 기기로부터 축적 시작 요구의 신호를 수신하면, 그 축적 시작 요구를 접수한 때의 프레임을 선두 프레임으로 하여 동화상 데이터를 생성하여 간다. 또한, 이 동화상 변환 장치는, 축적 종료 요구의 신호를 수신하면, 축적 종료 요구의 신호를 접수한 때의 프레임을 최후의 프레임으로 하여, 새로운 동화상 데이터를 생성하고, 동화상 데이터를 재생하는 기능을 갖는 단말을 향하여 송신한다.
제 1의 실시 형태
[구성]
도 1은, 본 발명의 한 실시 형태로서의 동화상 변환 장치의 구성도이다. 도 1에 도시하는 바와 같이, 본 발명에 있어서의 동화상 변환 장치(100)에는, 변환 제어부(101), 수신 버퍼(102), 스트림 복호부(103), 화상 복호부(104), 부호화부(105), 스위치(106), 및 송신 버퍼(107)가 마련되어 있다.
변환 제어부(101)는, 이 동화상 변환 장치(100)의 동작을 종합적으로 제어하는 것이다. 변환 제어부(101)의 상세는 후술한다.
수신 버퍼(102)는, 외부 기기로부터 송신되어 오는 부호화된 동화상 데이터(111)(이하, 단지, 입력 화상 스트림이라고 한다)를 일시적으로 기억하는 메모리이다.
또한, 수신 버퍼(102)는, 시계열로 입력 화상 스트림을 수신하고, 스트림 복호부(103)를 통하고 화상 복호부(104)에 출력한다. 또한, 변환 제어부(101)의 지시에 의해, 수신 버퍼(102)는, 스위치(106)를 통하여, 입력 화상 스트림을 송신 버퍼(107)에 출력한다.
도 2는, 프레임의 내부 구성의 한 예를 도시하는 도면이다. 또한, 설명을 알기 쉽게 하기 위해, 간략화하고 있다. 부호화 데이터(1)의 헤더부(10)에는, 헤더 정보로서, 복호화 정보, 프레임 번호, 시간 정보, 참조 프레임 번호, 프레임 타입 등의 입력 화상 스트림 정보가 기록되어 있다.
복호화 정보로서는, 예를 들면, Decoder Configuration Information(DCI)이나 Sequence Parameter Set(SPS), Picture Parameter Set(PPS)을 들 수 있다.
또한, 프레임 번호는, 선두 프레임부터의 시퀀스를 나타내는 번호이다. 시간 정보는, 프레임 생성시의 시간을 나타내는 정보이다. 참조 프레임 번호는, 변환 대상이 되는 프레임이, 다른 프레임을 참조하고 있는 경우에, 그 참조 프레임의 번호를 나타낸다. 프레임 타입은, 인트라 프레임(I픽처), 인터 프레임(P픽처) 등의 프레임의 종류별을 나타낸다.
또한, 부호화 데이터(1)의 화상 데이터부(11)는, 복수의 슬라이스층이라고 불리는 데이터 구조로 이루어진다. 또한, 이 슬라이스(12)는, 복수의 매크로 블록으로 이루어지고, 매크로 블록은 복수의 블록으로 구성된다.
또한, 수신 버퍼(102)는, 프레임이나 슬라이스마다의 단락을 검출하는 기능을 갖고 있고, 입력 화상 스트림을 프레임마다 출력할 수 있다. 프레임이나 슬라이스의 단락으로서는, 예를 들면, 프레임이나 슬라이스의 단락을 나타내는 스타트 코드 등의 유니크한 비트열을 기초로 검출한다.
스트림 복호부(103)는, 입력 화상 스트림의 프레임의 부호화 데이터의 헤더부를 복호하여, 입력 화상 스트림 정보(115)를 변환 제어부(101)에 통지하는 것이다. 또한, 스트림 복호부(103)는, 입력 화상 스트림의 부호화 데이터(116)를 화상 복호부(104)에 송신한다.
화상 복호부(104)는, 스트림 복호부(103)를 통하여 수신 버퍼(102)로부터 입력 화상 스트림의 부호화 데이터(116)를 수신하여 복호화하고, 프레임마다 복호 화상을 생성하는 것이다. 화상 복호부(104)은, 미리 정해진 프레임 수만큼의 복호 화상을 프레임 메모리(도시 생략)에 기억한다. 이 경우, 축적 시작 요구(108)를 변환 제어부(101)가 접수할 때까지는, 화상 복호부(104)는, 시간적으로 연속하여 수신한 입력 화상 스트림의 프레임에 대해, 소정 시간 경과마다 복호 화상의 프레임중에서, 오래된 프레임을 소거하고, 수신한 최신의 프레임의 부호화 데이터를 복호화하여, 프레임 메모리에 기억한다.
부호화부(105)는, 화상 복호부로부터 복호 화상의 화상 데이터(120)를 상술한 인트라 예측 또는 인터 예측으로 부호화하는 것이다. 상세는 후술한다.
스위치(106)는, 변환 제어부(101)로부터의 지시에 따라, 수신 버퍼(102) 또는 부호화부(105)를 송신 버퍼(107)에 접속한다. 또한, 스위치(106)는, 변환 제어부(101)로부터의 지시에 따라 송신 버퍼(107)와 접속되어 있던 수신 버퍼(102) 또는 부호화부(105)를 절단한다. 이 스위치(106)의 전환 조작에 의해, 스위치(106)는, 입력 화상 스트림의 부호화 데이터(114)를 다시 부호화하지 않고, 그대로 송신 버퍼(107)에 송신하거나, 부호화부(115)에서 부호화된 입력 화상 스트림의 부호화 데이터(121)를 송신 버퍼(107)에 송신하거나 할 수 있다.
송신 버퍼(107)는, 수신 버퍼(102), 또는 부호화부(105)로부터 수신한 부호화된 프레임을, 선두 프레임으로부터 후속 프레임을 포함하는 복수의 프레임으로 이루어지는 부호화된 새로운 동화상 데이터(123)로서, 동화상 데이터 재생 기능을 갖는 단말에 송신하는 것이다.
도 3은, 도 1에 도시하는 변환 제어부의 내부 구성도이다. 도 3에 도시하는 바와 같이, 이 변환 제어부(101)에는, 본 발명의 한 실시 형태인 동화상 변환 프로그램이 조립됨에 의해, 변환 판정부(200), 파라미터 해석부(201), 및 변환 정보 생성부(202)가 구축(실현) 된다.
우선, 파라미터 해석부(201)에 관해 설명한다. 장미 미터 해석부(201)는, 도 1에 도시하는 스트림 복호부(103)로부터 수취한, 입력 화상 스트림 정보(115)를 해석한다. 구체적으로는, 파라미터 해석부(201)는, 축적 화상의 선두 프레임보다도, 후속 프레임이 선두 프레임보다도 앞의 프레임을 참조하고 있는지의 여부를 해석하고, 그 해석 결과인 해석 결과 통지(203)를 변환 판정부(200)에 통지한다. 또한, 파라미터 해석부(201)는, 변환 정보 생성부(202)에 대해 변환 파라미터 정보(204)를 송신한다. 파라미터 해석부(201)가 해석에 이용하는 입력 화상 스트림 정보(115)로서는, 예를 들면, 상술한, 복호화 정보, 프레임 번호, 시간 정보, 참조 프레임 번호, 프레임 타입 등이 있다.
다음에, 변환 판정부(200)에 관해 설명한다. 변환 판정부(200)(판정부)는, 축적 시작 요구를 접수한 프레임보다 후속 프레임이, 다른 프레임을 참조하여 부호화되어 있는지의 여부를 판단한다(판단 수단).
또한, 변환 판정부(200)는, 축적 시작 요구(108)를 수취하면 스위치(106)에 대해 도 1에 도시하는 부호화부(105)와 송신 버퍼(107)를 접속하도록 전환 요구(117)의 지시를 내린다. 그리고, 변환 판정부(200)는, 부호화부(105)에 대해 화상 복호부(104)가 복호한 최신의 화상 데이터를 받아들이도록 화상 데이터 받아들임 요구(118)의 지시를 내린다.
또한, 변환 판정부(200)는, 변환 정보 생성부(202)에 대해, 파라미터 해석부(201)로부터 수취한 입력 화상 스트림 정보(115)중, 축적 화상의 선두 프레임을 생성하기 위해 필요한 변환 파라미터 정보(119)를 부호화부(105)에 통지하도록 변 환 정보 생성 요구(205)의 지시를 내린다. 필요한 변환 파라미터 정보(119)로서는, 예를 들면, 입력 동화상 스트림의 복호화 정보, 프레임 번호, 시간 정보, 참조 프레임 번호, 프레임 타입 등이 있다.
또한, 변환 판정부(200)는, 파라미터 해석부(201)로부터, 축적 화상의 선두 프레임보다도 후속 프레임이 축적 화상의 선두 프레임보다도 앞의 프레임을 참조하고 있다는 해석 결과 통지(203)를 수취한 경우도, 스위치(106)에 대해 부호화부(105)와 송신 버퍼(107)를 접속하도록 전환 요구(117)의 지시를 내린다. 그리고, 변환 판정부(200)는, 부호화부(105)에 대해 화상 복호부(104)가 생성한 최신의 화상 데이터를 받아들이도록 화상 데이터 받아들임 요구(118)의 지시를 내린다. 또한, 변환 판정부(200)는, 변환 정보 생성부(202)에 대해, 파라미터 해석부(201)로부터 수취한 변환 파라미터 정보(204)중, 후속 프레임을 생성하기 위해 필요한 변환 파라미터 정보(119)를 부호화부(105)에 통지하도록 변환 정보 생성 요구(205)의 지시를 내린다.
또한, 변환 판정부(200)는, 파라미터 해석부(201)로부터, 축적 화상의 선두 프레임보다도, 후속 프레임이 상기 축적 화상의 선두 프레임보다도 앞의 프레임을 참조하고 있지 않다는 해석 결과 통지(203)를 수취한 경우는, 스위치(106)에 대해 수신 버퍼와 송신 버퍼를 접속하도록 전환 요구(117)의 지시를 내린다.
그리고, 변환 판정부(200)는, 수신 버퍼(102)에 대해 송신 버퍼(107)에 후속 프레임의 입력 화상 스트림을 그대로 출력하도록 송신 요구(112)의 지시를 내린다. 또한, 변환 판정부(200)는, 외부 기기로부터 축적 종료 요구(109)를 수취하면, 스 위치(106)에 대해 송신 버퍼(107)와 수신 버퍼(102), 또는, 부호화부(105)가 접속되어 있던 경우는 절단하도록 전환 요구(117)의 지시를 내린다.
다음에, 변환 정보 생성부(202)에 관해 설명을 한다.
도 4는, 변환 정보 생성부의 내부 구성도이다. 이 변환 정보 생성부(202)에는, 선두 프레임 변환 정보 생성부(2021)와 후속 프레임 변환 정보 생성부(2022)가 마련되어 있다.
선두 프레임 변환 정보 생성부(2021)는, 축적 시작 요구(108)를 접수한 프레임을 선두 프레임으로 변환하기 위한 정보를 생성한다. 선두 프레임 변환 정보 생성부(2021)는, 축적 시작 요구(108)를 접수한 프레임에 대해, 파라미터 해석부(201)로부터 수취한 변환 파라미터 정보(204)중, 선두 프레임을 생성하기 위해 필요한 정보를 선택하여, 부호화부(105)에 통지한다. 선두 프레임을 생성하기 위해 필요한 정보로서, 예를 들면, 프레임 번호, 시간 정보, 참조 프레임 번호, 프레임 타입(I픽처, P픽처) 등이 있다. 후술하는 부호화부(105)에서, 축적 시작 요구(108)를 접수한 프레임이 선두 프레임으로 변환된다. 선두 프레임 변환 정보 생성부(2021) 및 부호화부(105)의 처리가 본 발명에서 말하는 선두 프레임 변환 처리부 및, 선두 프레임 변환 처리 공정, 선두 프레임 변환 처리 수단의 한 예에 상당한다.
또한, 후속 프레임 변환 정보 생성부(2022)는, 축적 화상의 선두 프레임을 생성하고 나서 현재까지의 프레임 수나 시간 정보를 보존하여, 선두 프레임보다도 후속 프레임을 변환하는 경우, 입력 화상 스트림의 프레임 번호, 시간 정보, 참조 프레임 번호를 부호화부(105)에 통지한다. 그리고, 후술하는 부호화부(105)는, 후속 프레임을 인터 예측으로 다시 부호화한다. 후속 프레임 변환 정보 생성부(2022) 및 부호화부(105)의 처리가 본 발명에서 말하는 후속 프레임 변환 처리부, 후속 프레임 변환 공정, 후속 프레임 변환 수단의 한 예에 상당한다. 또한, 선두 프레임 변환 정보 생성부(2021) 및 후속 프레임 변환 정보 생성부(2022)를 구비한 변환 정보 생성부(202)로부터의 변환 파라미터 정보(119)에 의거하여, 부호화부(105)에서, 새로운 동화상 데이터를 생성하는 처리가, 본 발명에서 말하는 동화상 데이터 생성 수단의 한 예에 상당한다. 또한, 해당 처리를 행하는 일련의 구성이 동화상 데이터 생성부의 한 예에 상당한다.
다음에, 부호화부(105)에 관해, 도 5를 참조하여 상세한 설명을 행한다.
도 5는, 도 1에 도시하는 부호화부의 내부 구성도이다. 본 실시 형태에서는, 상술했다 H.264/MPEG-4AVC의 동화상 압축 부호화 방식을 예로 들어 설명하지만, 이것은 본 발명의 설명을 위해 제시한 한 예에 지나지 않고, 한정하는 것이 아니다. 본 동화상 변환 방법의 원리로부터도 분명한 바와 같이, 다른 동화상 압축 부호화 방식에도 적용 가능하다.
부호화부(105)는, 헤더 정보 생성부(300), 스위치(1)(301), DIT기(器)(302), 양자화기(303), 가변 길이 부호화기(304), 프레임 메모리(305), 움직임 벡터 검출기(306), 움직임 보상기(307), 프레임 내 예측기(308), 루프 내 필터기(309), 스위치(2)(310), 역DIT기(311), 및 역양자화기(312)를 구비한다.
헤더 정보 생성부(300)는, 변환 제어부(101)로부터 수취한 변환 파라미터 정 보(119)를 기초로 선두 프레임 또는 후속 프레임의 헤더 정보(314)를 생성하여 가변 길이 부호화기(304)에 출력한다.
또한, 변환 파라미터 정보(119)의 프레임 타입이 인트라 프레임(I픽처)인 경우는 스위치(2)(310)를 전환하여 프레임 내 예측기(308)로부터의 출력을 수취할 수 있도록 한다. 한편, 변환 파라미터 정보(119)의 프레임 타입이 인터 프레임(P픽처)인 경우는, 프레임 내 예측기(308), 또는 움직임 보상기(307)의 어느 출력을 수취할 수 있도록 한다. 스위치(1)(301)는, 도 1에 도시하는 변환 제어부(101)로부터의 지시에 따라, 변환이 필요한 프레임에 관해, 화상 복호부(104)로부터 최신의 화상 데이터(120)를 수취할 수 있도록 전환한다. 또한, 프레임 메모리(305)는 화상 복호부(104)에서 생성한 복호 화상을 받아들이고, 메모리를 갱신하는 것도 가능하다. 또한, 도 5에서 그 밖의 구성에 관해서는, 통상의 부호화부와 같은 구성이기 때문에, 여기서는, 구체적인 설명을 생략하고, 본 발명의 동화상 변환 장치(100)의 동작의 설명일 때에 설명한다.
이상, 본 발명의 동화상 변환 장치(100)의 각 구성에 관해 설명하였다. 다음에, 동화상 변환 장치(100)가, 화질을 열화시키지 않고, 또한, 연산량을 저감하여, 새로운 동화상 데이터를 생성할 수 있는지에 관해, 구체예를 들어 설명한다. 또한, 상세한 처리의 흐름은, 후에 플로우 차트를 이용하여 설명한다.
도 6은, 도 19의 비교예로서, 본 발명의 동화상 변환 방법에 의한 새로운 동화상 데이터의 생성을 설명하는 도면이다.
도 6의 상단은, 동화상 변환 장치에 입력되는 입력 화상 스트림(부호화 데이 터)의 프레임 열을 나타내고 있다. 도 6의 하단은, 동화상 변환 장치로부터 출력되는 프레임 열(새로운 동화상 데이터)을 나타내고 있다. 또한, 동화상 압축 부호화 방식으로서, H.264 방식을 예로 하여 설명한다.
도 1에 도시하는 동화상 변환 장치(100)는, 도 6의 상단에 도시하는, 입력 화상 스트림을 수신 버퍼(102)에 축적하여 간다. 그 수신 버퍼(102)에 축적된 입력 화상 스트림은, 프레임 단위로 절출(切出)되어, 화상 복호부(104)에서 복호화되어 복호 화상이 생성된다. 화상 복호부(104)에서는, 수시로, 복호 화상을 생성하고, 미리 정해진 프레임 수를 초과하면, 최초에 복호한 프레임을 파기하고, 순차적으로, 최신의 복호 화상이 축적되고 있다.
여기서는, 설명을 알기 쉽게 하기 위해, 도 6의 상단에 도시하는, IDR0 프레임이 복호된 후, P1프레임이 복호되고 있을 때에, 축적 시작 요구(108)를 변환 제어부(101)가 접수한 경우에 관해 예시한다.
이 경우, P1프레임은, IDR프레임을 참조하여 복호 화상을 생성한다. 그리고, 이 복호 화상은, 부호화부(105)에서, 인트라 예측으로 선두 프레임(IDRO')으로 변환된다. 부호화부(105)의 인트라 예측의 처리의 상세는 후술한다.
다음에, 도 1에 도시하는, 화상 복호부(104)는, P2프레임으로 복호화하는데 즈음하여, IDR0 프레임을 참조하여, 복호화한다. 이 경우, P2의 복호 화상은, IDR0을 이용하여 인터 예측하고 있기 때문에, 이대로, 재차, IDRO를 참조하여 인터 예측을 행하여 부호화하면, 다음번, 복호화할 때에, 참조하는 IDR0 프레임이 없기 때문에, 화상이 흐트러져 버린다. 그래서, 본 발명의 동화상 변환 방법에서는, 축적 시작 프레임보다 앞을 참조하지 않도록, 선두 프레임(IDRO')만을 참조하여, 인터 예측하여, P2프레임을 P1'프레임으로 변환한다. 이로써, P1'프레임은 복호화할 때, 화상이 흐트러지지 않기 때문에, 화질의 열화가 억제된다.
또한, P2프레임에 계속해서, 후속 프레임(P3, … Pn-1, Pn)은, 축적 시작 프레임보다 앞의 프레임을 참조하지 않기 때문에, 수신 버퍼(102)로부터 그대로 송신 버퍼(107)에 송신하면 좋고, 다시 부호화할 필요가 없기 때문에, 변환에 수반하는 연산량을 저감시킬 수 있다.
다음에, 인터 예측(Long Term 예측)의 경우에 관해, 구체적으로, 도 7를 이용하여 설명한다.
도 7은, 도 20의 비교예로서, 본 발명의 동화상 변환 방법에 의한 새로운 동화상 데이터의 생성을 설명하는 도면이다.
도 7의 상단은, 도 6의 상단과 마찬가지로, 동화상 변환 장치에 입력되는 입력 화상 스트림(부호화 데이터)의 프레임 열을 나타내고 있다. 도 7의 하단은, 도 6의 하단과 마찬가지로, 동화상 변환 장치로부터 출력되는 프레임 열(새로운 동화상 데이터)를 나타내고 있다.
여기서, 도 7의 상단에 도시하는 바와 같이, P1프레임으로부터 축적 시작 요구(108)가 이루어진 경우, 본 발명의 동화상 변환 방법을 채용하면, 이하와 같이 된다. P1프레임은, 선두 프레임(IDRO')으로 변환된다. P2프레임부터 Pn3프레임까지는, 화상 복호부(104)가 축적 시작 프레임보다 앞의 프레임을 참조하고 있지 않기 때문에, 그대로 후속 프레임이 된다.
한편, Pn-1 프레임은, 축적 시작 프레임보다 앞을 참조하고 있기 때문에, 한 예로서, 축적 시작 프레임보다 앞을 참조하지 않도록, Pn-3'(도시 생략)를 참조하여, 인터 예측을 행하고, Pn-2'(도시 생략)프레임을 생성한다. 이로써, Pn-2'프레임은 복호화할 때, 화상이 흐트러지지 않기 때문에, 화질의 열화가 억제된다. 또한, P2프레임부터 Pn-2프레임까지의 프레임은, 다시 부호화할 필요가 없기 때문에, 변환에 수반하는 연산량을 저감시킬 수 있다.
또한, 본 실시 형태에서는, IDR0'의 프레임은 수시로 복호되고 있고, 직전의 복호 화상을 참조하여 Pn-2'를 생성하지만, 이것은 한 예이고, 예를 들면, 후술하는 최대 참조 프레임 수만큼의 프레임을 참조하여 부호화하여도 좋다.
[동작]
다음에 동화상 변환 장치(100)의 동작에 관해 설명한다. 이 동화상 변환 장치(100)는 본 발명의 한 실시 형태인 동화상 변환 방법에 의해, 동화상 데이터가 변환된다.
도 8은, 본 발명의 한 실시 형태인 동화상 변환 장치의 동작의 한 예를 도시하는 플로우 차트이다. 이 처리 루틴은, 도 3에 도시하는 변환 판정부(200)가 축적 시작 요구(108)를 접수하면 시작한다. 우선, 변환 판정부(200)는, 축적 시작 요구(108)를 받아서, 축적 시작 요구 접수 처리를 행한다(스텝 S101). 구체적으로는, 변환 판정부(200)는, 스위치(106)에 대해 부호화부(105)와 송신 버퍼(107)를 접속하도록 전환 요구(117)의 지시를 내린다. 그리고, 변환 판정부(200)는, 부호화부(105)에 대해 화상 복호부(104)가 생성한 최신의 화상 데이터를 받아들이도록 화 상 데이터 받아들임 요구(118)의 지시를 내린다.
다음에, 도 3에 도시하는 파라미터 해석부(201)에서는, 축적 시작 요구(108)가 있는 프레임의 입력 화상 스트림 정보(115)를 복호화하여, 그 프레임 정보를 해석한다(스텝 S102). 구체적으로는, 프레임 타입으로부터, 인터 예측 또는 인트라 예측의 프레임일까, 참조 프레임 번호로부터, 어느 프레임을 참조하여 예측하고 있는지 등을 해석한다. 그리고, 입력 화상 스트림 정보(115)를 변환 판정부(200), 변환 정보 생성부(202)에 통지한다.
다음에, 축적 시작 요구(108)가 있는 프레임을 선두 프레임으로 변환한다(스텝 S103).
스텝 S103을 구체적으로 상세히 기재하면, 변환 판정부(200)는, 변환 정보 생성부(202)의 선두 프레임 정보 생성부(2021)에 대해, 축적 시작 요구(108)가 있는 프레임의 변환 파라미터 정보(119)를 부호화부(105)에 통지하도록 지시를 내린다.
부호화부(105)에서는, 축적 시작 요구가 있는 프레임을 선두 프레임으로 변환한다. 여기서는, 축적 시작 요구(108)가 있는 프레임이 P픽처인 것으로 하여, 설명을 계속한다. 즉, 부호화부(105)에서는, 축적 시작 요구가 있는 프레임보다도 앞의 프레임을 판독하지 않고도 화상을 구축할 수 있도록, P픽처를 I픽처로 변환한다. 도 6를 예로 하면, P1프레임을, 부호화부(105)에서, IDR0'프레임으로 변환한다.
이와 같이 하면, IDR0'프레임은, P픽처인 P1프레임의 화면 구축에 필요한 IDR0을 필요로 하지 않고, 화면 구축을 가능하게 할 수 있다.
구체적으로는, 도 5에 도시하는 헤더 정보 생성부(300)가 변환 파라미터 정보(119)를 수신하고, IDR프레임으로 변환하기 위해, 축적 시작 요구(108)가 있는 프레임의 부호화 데이터의 헤더부의 정보를 새롭게 생성하여, 가변 길이 부호화기(304)에 출력한다.
또한, 부호화부(105)는, 스위치(1)(301)를 전환하여, 화상 복호부(104)로부터, 복호 화상의 화상 데이터(120)를 수신한다. 인트라 예측하는 경우에는, 복호 화상의 화상 데이터(120)는, 우선, 프레임 내 예측기(308)에서, 프레임내 예측이 이루어진다. 계속해서, 프레임내 예측된 부호화 데이터는, DIT기(302)에 입력되고, 이산 정수 변환에 의해 저주파나 고주파 등의 주파수 성분으로 분해되어 부호화 처리가 시행된다.
또한, 양자화기(303)에서, 저주파나 고주파 등의 주파수 성분을 양자화한다. 또한, 가변 길이 부호화기(304)에서, 출현 빈도가 높은 값(DIT 계수)에는, 바이트 수가 짧은 데이터를 배당하고, 출현 빈도가 낮은 값에는, 바이트 수가 긴 데이터를 배당하는 부호화를 행한다.
이로써, 축적 시작 요구(108)가 있는 프레임은, IDR프레임(I픽처)으로 변환된다. 또한, 부호화부(105)에서는, 양자화기(303)로 저주파나 고주파 등의 주파수 성분을 양자화한 부호화 데이터를, 역양자화기(312), 역DIT기(311)에서 복호하고, 루프 내 필터기(309)를 경유하여, 프레임 메모리(305)에 축적한다. 이로써, 재생되는 화상과 같은 화상을 축적함으로써, 다음 입력 화상의 차분을 계산할 수 있다. 즉, 다른 프레임이 IDR프레임을 참조하여, 인터 예측을 할 수가 있다.
이상, 스텝 S103의 선두 프레임 변환의 처리가 본 발명에서 말하는 선두 프레임 변환 공정의 한 예에 상당한다.
다음에, 후속 프레임의 변환 처리에 관해 기술한다. 선두 프레임이 생성되면, 파라미터 해석부(201)는, 축적 시작 요구(108)가 있는 프레임의 다음 프레임의 입력 화상 스트림 정보를 해석한다(스텝 S104).
구체적으로는, 파라미터 해석부(201)는, 참조 프레임 번호로부터, 축적 화상의 선두 프레임보다도, 후속 프레임이 선두 프레임보다도 앞의 프레임을 참조하고 있는지의 정보를 변환 판정부에 통지한다.
변환 판정부(200)에서는, 파라미터 해석부(201)의 해석 결과로부터, 후속 프레임이 축적 시작 프레임(선두 프레임)보다 앞의 프레임을 참조하고 있는지의 판단을 행한다(스텝 S105).
후속 프레임이 축적 시작 프레임(선두 프레임) 보다 앞의 프레임을 참조하고 있지 않은 경우에는(스텝 S105 : No), 후속 프레임은, 수신 버퍼에 일시 기억되어 있는 후속 프레임을 다시 부호화하지 않고 송신 버퍼(107)에 출력한다(스텝 S109).
한편, 후속 프레임이 축적 시작 프레임(선두 프레임)보다 앞의 프레임을 참조하고 있는 경우에는(스텝 S105 : Yes), 축적 시작 요구의 프레임보다 앞을 참조하지 않도록 부호화하여, 후속 프레임을 변환한다(스텝 S106).
스텝 S106를 구체적으로 상세히 기재하면, 헤더 정보 생성부(300)가 변환 파라미터 정보(119)를 수신하고, 새로운 선두 프레임을 참조하여 후속 프레임의 입력 화상 스트림 정보를 재기록한다. 그리고, 후속 프레임의 부호화 데이터의 헤더부의 정보를 새롭게 생성하여, 가변 길이 부호화기(304)에 출력한다. 또한, 부호화부(105)는, 스위치(1)(301)를 전환하여, 화상 복호부(104)로부터, 복호 화상의 화상 데이터(120)를 수신한다.
인터 예측하는 경우에는, 복호 화상의 화상 데이터(120)는, 움직임 벡터 검출기(306)에 입력된다. 또한, 프레임 메모리(305)에 축적되어 있는 앞의 프레임 화상의 화상 데이터도 움직임 벡터 검출기(306)에 입력된다. 그리고, 움직임 벡터 검출기(306)에서 움직임 벡터가 검출된다. 이 동향 벡터의 신호는, 움직임 보상기(307)에 입력되고, 또한, 프레임 메모리(305)에 축적되어 있는 앞의 프레임 화상의 신호를 참조하여, 움직임 벡터를 보상하도록 인터 예측이 시행된다.
이 인터 예측된 부호화 데이터는, DIT기(302)에 입력되고, 이산 정수 변환에 의해 저주파나 고주파 등의 주파수 성분으로 분해되어 부호화 처리가 시행된다. 또한, 양자화기(303)에서, 저주파나 고주파 등의 주파수 성분을 양자화하고, 가변 길이 부호화기(304)에서, 출현 빈도가 높은 값(DIT 계수)에는, 바이트 수가 짧은 데이터를 배당하고, 출현 빈도가 낮은 값에는, 바이트 수가 긴 데이터를 배당하는 부호화를 행한다. 이로써, 후속 프레임은, 축적 시작 프레임(선두 프레임)보다 앞의 프레임을 참조하지 않고 다시 부호화된다.
다음에, 변환 판정부(200)가 축적 종료 요구(109)를 접수하지 않은 경우에는(스텝 S107 : No), 스텝 S104로 되돌아와,, 다음의 후속 프레임을 해석한다. 한편, 변환 판정부가 축적 종료 요구(109)를 접수한 경우에는(스텝 S107 : Yes), 도 1에 도시하는 스위치(106)를 절단하고, 송신 버퍼(107)에 축적된 새로운 동화 데이터를 송신 버퍼로부터 출력한다(스텝 S108). 그리고, 이 처리 루틴을 종료한다. 또한, 스텝 S104부터 스텝 S107까지의 처리가 본 발명에서 말하는 후속 프레임 변환 공정의 한 예에 상당한다.
이상에 의해, 본 발명의 제 1의 실시 형태의 동화상 변환 장치는, 본 발명의 한 실시 형태인 동화상 변환 방법에 의해, 동화 데이터의 화질의 열화를 억제하고, 동화 데이터를 부호화하기 위한 연산량을 저감할 수 있다.
즉, 동화상 데이터 생성 수단중의 선두 프레임 변환 수단은, 축적 시작 요구의 프레임의 부호화 데이터를 복호 후, 다른 프레임을 참조하지 않고 부호화하여 부호화 데이터로 변환한다. 그 때문에, 재생시에, 앞의 프레임을 참조할 수가 없음에 의한 화질의 열화를 회피할 수 있다.
또한, 동화상 데이터 생성 수단중의 후속 프레임 변환 수단은, 상기 판단 수단에, 축적 시작 요구의 프레임보다 앞의 프레임을 참조하고 있다고 판단된 후속 프레임을, 축적 시작 요구의 프레임보다 앞의 프레임을 참조하지 않고, 다시 부호화한다. 이로써, 축적 시작 요구의 프레임보다 앞의 프레임을 참조하고 있는 후속 프레임에 대해서도, 재생시에, 앞의 프레임을 참조할 수가 없음에 의한 화질의 열화를 회피할 수 있다.
또한, 동화상 데이터 생성 수단중의 후속 프레임 변환 수단은, 상기 판단 수단에서, 축적 시작 요구의 프레임보다 앞의 프레임을 참조하고 있지 않다고 판단된 후속 프레임을, 다시 부호화하지 않고 새로운 동화상 데이터의 후속 프레임으로 한 다. 이로써, 동화상 변환 장치(100)는, 축적 시작 요구의 프레임보다 앞의 프레임을 참조하고 있지 않다고 판단된 후속 프레임을 다시 부호화하지 않는만큼, 연산량을 저감할 수 있다.
제 2의 실시 형태
[구성]
다음에, 본 발명의 제 2의 실시 형태에 관해 설명한다. 또한, 본 발명의 제 1의 실시 형태와 본 발명의 제 2의 실시 형태에서는, 내부 구성이 일부 다르지만, 그 이외는 거의 같은 구성을 갖기 때문에, 같은 요소에 대해서는 같은 부호를 붙여서 설명을 생략하고, 제 1의 실시 형태와 다른 구성에 관해 상세히 설명한다.
본 발명의 제 2의 실시 형태에서는, 후속 프레임이, 새롭게 변환된 선두 프레임 이후의 프레임을 참조하고 있는 경우, 선두 프레임에 대한 자기의 프레임을 특정하는 프레임 번호나 시간 정보만을 재기록하는 기능을 추가하고 있다. 예를 들면, 선두 프레임을 생성하고 나서 현재까지의 프레임 수나 시간 정보를 비교하여 차분이 있는 경우는, 그 차분을 보정하는 처리를 행한다. 프레임 번호나 시간 정보가, 본 발명에서 말하는 프레임 특정 정보의 한 예에 상당한다. 이 기능을 실현하는 것이, 이하에 기술하는 스트림 변환부(403)이다.
도 9는, 제 2의 실시 형태에서의 동화상 변환 장치의 내부 구성을 도시하는 도면이다. 도 10은, 도 9에 도시하는 스트림 변환부의 내부 구성도이다. 도 11은, 도 9에 도시하는 변환 제어부의 내부 구성도이다.
도 9에 도시하는 바와 같이, 제 1의 실시 형태와 비교하여, 스트림 변환 부(403)가 추가되어 있다. 도 10에 도시하는 바와 같이, 스트림 변환부(403)에는, 변환 정보 수신부(600), 수신 버퍼(601), 헤더 판정부(602), 가변 길이 복호기(603), 파라미터 변환부(604), 가변 길이 부호화기(605), 비트 위치 시프트&바이트 얼라인부(606), 및 송신 버퍼(607)가 마련되어 있다.
변환 정보 수신부(600)는, 변환 제어부(401)로부터 변환이 필요한 변환 파라미터 정보(406)를 수취하고, 프레임 번호, 시간 정보, 참조 프레임 번호, 프레임 타입 등의 정보를 파라미터 변환부(604)에 통지하는 것이다. 수신 버퍼(601)는, 수신 버퍼(102)로부터 입력 화상 스트림(408)를 수취하여 헤더 판정부(602)에 송신하는 것이다.
또한, 헤더 판정부(602)는, 수신 버퍼(601)로부터 수취한 입력 화상 스트림(609)에 대해 프레임이나 슬라이스마다의 단락을 검출하는 것이다. 가변 길이 복호기(603)는, 헤더 판정부(602)로부터 수취한 프레임이나 슬라이스마다의 화상 스트림(610)의 헤더 정보를 복호한다. 파라미터 변환부(604)는, 가변 길이 복호기(603)로부터 수취한 입력 화상의 헤더 정보(611)중, 예를 들면, 프레임 번호나 시간 정보를 변환 정보 수신부(600)로부터 수취한 파라미터로 변환한다. 가변 길이 부호화기(605)는, 파라미터 변환부(604)로부터 수취한 변환후의 헤더 정보(612)를 가변 길이 부호화한다.
비트 위치 시프트&바이트 얼라인부(606)는, 가변 길이 부호화된 헤더 정보(613)를 수취하여 파라미터 변환부(604)에서 변환한 파라미터 이후의 파라미터의 비트 위치를 시프트한다. 또한, 슬라이스나 프레임마다의 최후의 바이트 얼라인 처 리를 행하여 헤더부만 변환한 화상 스트림(614)을 생성한다. 송신 버퍼(607)는, 비트 위치 시프트&바이트 얼라인부(606)로부터 수취한 화상 스트림(614)을, 스위치(2)(404)를 통하고 송신 버퍼(107)에 출력한다.
또한, 도 11에 도시하는 바와 같이, 변환 제어부(401)에서는, 선두 프레임보다도 앞의 프레임을 참조하고 있지 않은 경우, 입력 스트림 화상 정보의 변환이 필요하면, 변환 정보 생성부(501)가 변환 판정부(500)에 입력 스트림 화상 정보를 요구하는 변환 유무 확인 요구(502)를 통지한다. 변환 판정부(500)는, 입력 스트림 화상 정보의 변환 유무 확인 결과 통지(503)를 변환 정보 생성부(501)에 통지한다.
다음에, 이 제 2의 실시 형태에서의 동화상 변환 장치의 동작에 관해 설명한다.
[동작]
도 12는, 제 2의 실시 형태에서의 동화상 변환 장치의 동작의 한 예를 도시하는 플로우 차트이다. 도 8에 도시한 제 1의 실시 형태에서의 동화상 변환 장치의 동작과의 차이는, 축적 시작 요구의 프레임보다 앞의 프레임을 참조하고 있지 않은 경우(스텝 S205 : No), 그 후의 처리가 다르다. 이 경우, 도 11에 도시하는 변환 판정부(500)는, 입력 스트림 화상 정보의 신호(503)를 변환 정보 생성부(501)의 후속 프레임 변환 정보 생성부(2022)에 통지하고, 후속 프레임 변환 정보 생성부(2022)가 스트림 변환부(403)에 지시를 내리면(스텝 S209 : Yes), 스트림 변환 처리가 행하여진다(스텝 S210).
스트림 변환부(403)의 수신 버퍼(601)는, 수신 버퍼(102)로부터 입력 화상 스트림(408)를 수취하여 헤더 판정부(602)에 송신한다.
또한, 헤더 판정부(602)는, 수신 버퍼로부터 받아들인 입력 화상 스트림(609)에 대해 프레임이나 슬라이스마다의 단락을 검출한다. 가변 길이 복호기(603)는, 상술한 바와 같이, 헤더 판정부(602)로부터 수취한 프레임이나 슬라이스마다의 화상 스트림(610)의 헤더 정보를 복호한다. 파라미터 변환부(604)는, 가변 길이 복호기(603)로부터 수취한 입력 화상의 헤더 정보(611)중, 예를 들면, 프레임 번호나 시간 정보를 변환 정보 수신부(600)로부터 수취한 파라미터로 변환한다. 가변 길이 부호화기(605)는, 파라미터 변환부(604)로부터 수취한 변환 후의 헤더 정보(612)를 가변 길이 부호화한다.
비트 위치 시프트&바이트 얼라인부(606)는, 가변 길이 부호화된 헤더 정보(613)를 수취하여 파라미터 변환부(604)에서 변환한 파라미터 이후의 파라미터의 비트 위치를 시프트한다. 또한, 슬라이스나 프레임마다의 최후의 바이트 얼라인 처리를 행하여 헤더부만 변환한 화상 스트림(614)을 생성한다. 송신 버퍼(607)는, 비트 위치 시프트&바이트 얼라인부(606)로부터 수취한 화상 스트림(614)을, 스위치(2)(404)를 통하여 송신 버퍼(107)에 출력한다.
이상에 의해, 본 발명의 제 2의 실시 형태의 동화상 변환 장치는, 선두 프레임이 변경되어도, 다시 부호화할 필요가 없는 후속 프레임의 프레임 번호의 시퀀스나 시간 정보 등의 헤더 정보만을 보정할 수 있다. 이로써, 예를 들면, 프레임의 시퀀스 번호 등이 보정된 새로운 동화상 데이터를 얻을 수 있다.
제 3의 실시 형태
[구성]
다음에, 본 발명의 제 3의 실시 형태에 관해 설명한다. 또한, 본 발명의 제 1의 실시 형태와 본 발명의 제 3의 실시 형태에서는, 내부 구성이 일부 다르지만, 그 이외는 거의 같은 구성을 갖기 때문에, 같은 요소에 대해서는 같은 부호를 붙여서 설명을 생략하고, 제 1의 실시 형태와 다른 구성에 관해 상세히 설명한다.
본 발명의 제 3의 실시 형태에서는, 특정한 프레임부터 어느 프레임까지 참조 가능한지를 나타내는 최대 참조 프레임 수를 정의한다. 도 3에 도시하는 파라미터 해석부(201)는, 스트림 복호부(103)로부터 수취한 복호화 정보로부터 최대 참조 프레임 수를 산출한다. 이 파라미터 해석부(201)는, 축적 화상의 선두 프레임을 생성하고 나서 최대 참조 프레임 수까지의 스트림을 수신할 때까지 카운트를 행한다. 그리고, 축적 화상의 선두 프레임부터 최대 참조 프레임 수 미만인 경우는, 변환 판정부(200)에 변환이 필요하다는 요구를 통지한다. 즉, 최대 참조 프레임 수를 초과한 후속의 프레임은, 선두 프레임보다도 앞의 프레임을 참조하는 일이 없기 때문에, 그대로 송신 버퍼(107)에 축적한다.
다음에, 이 제 3의 실시 형태에서의 동화상 변환 장치의 동작에 관해 설명한다.
[동작]
도 13은, 제 3의 실시 형태에서의 동화상 변환 장치의 동작의 한 예를 도시하는 플로우 차트이다. 도 8에 도시한 제 1의 실시 형태의 플로우 차트와의 차이는, 상술한 최대 참조 프레임 수의 체크의 처리뿐이다. 본 실시 형태에서는, 예를 들면, 최대 참조 프레임 수를 4로 한다.
도 13에 도시하는 플로우 차트에 있어서, 스텝 S301부터 스텝 S304는, 도 8에 도시하는 스텝 S101부터 스텝 S104와 마찬가지이다. 축적 화상의 선두 프레임부터 최대 참조 프레임 수 미만인 경우는(스텝 S305 : No), 변환 판정부(200)는, 파라미터 해석부(201)의 해석 결과로부터, 후속 프레임이 축적 시작 프레임(선두 프레임) 보다 앞의 프레임을 참조하고 있는지의 판단을 한다(스텝 S306). 그 후의 스텝 S307부터 스텝 S309의 처리는, 제 1의 실시 형태와 마찬가지이다.
한편, 축적 화상의 선두 프레임부터 최대 참조 프레임 수가 4 이상인 경우는(스텝 S305 : No), 현재의 변환 대상인 후속 프레임은, 이미 선두 프레임을 초과하여 앞의 프레임을 참조하지 않기 때문에, 스텝 S310으로 진행하여, 다시 부호화하지 않고 후속 프레임으로 한다(스텝 S310).
이 후는, 축적 종료 요구가 없고(스텝 S308 : No), 스텝 S304의 처리로 되돌아와도, 후속 프레임은, 최대 참조 프레임 수를 초과하고 있기 때문에, 스텝 S310의 처리로 진행된다. 축적 종료 요구의 신호를 변환 판정부(200)가 접수하면(스텝 S308 : Yes), 동화상 변환 장치(100)는, 송신 버퍼(107)에서, 동화상 데이터를 생성하고, 송출한다(스텝 S309).
이로써, 최대 참조 프레임 수를 알면, 축적 시작 요구의 프레임부터 최대 프레임 수보다 후의 프레임은, 상기 지정된 프레임보다 앞의 프레임을 참조하지 않는 것이 된다. 따라서 본 발명의 제 3의 실시 형태의 동화상 변환 장치는, 최대 참조 프레임을 초과한 경우, 스텝 S306의 판단, 스텝 S307의 후속 프레임 변환 처리를 하지 않아도 좋기 때문에, 그 만큼, 연산량을 저감할 수 있다.
제 4의 실시 형태
[구성]
다음에, 본 발명의 제 4의 실시 형태에 관해 설명한다. 또한, 본 발명의 제 1의 실시 형태와 본 발명의 제 4의 실시 형태에서는, 내부 구성이 일부 다르지만, 그 이외는 거의 같은 구성을 갖기 때문에, 같은 요소에 대해서는 같은 부호를 붙여서 설명을 생략하고, 실시 형태 1와 다른 구성에 관해 상세히 설명한다. 본 발명의 제 4의 실시 형태에서는, 제 1의 실시 형태에, 제 2, 제 3의 실시 형태의 기능을 조합시킨 구성으로 되어 있다.
다음에, 이 제 4의 실시 형태에서의 동화상 변환 장치의 동작에 관해 설명한다.
[동작]
도 14는, 제 4의 실시 형태에서의 동화상 변환 장치의 동작의 한 예를 도시하는 플로우 차트이다. 도 8에 도시한 제 1의 실시 형태에서의 동화상 변환 장치의 동작과의 차이는, 상술한 스트림 변환 처리 및 상술한 최대 참조 프레임 수의 체크의 기능이 추가되어 있는 것이다.
변환 판정부(200)가 축적 시작 요구를 받아서(스텝 S401), 입력 화상 스트림 정보를 해석하고(스텝 S402), 선두 프레임 변환 처리를 행한다(스텝 S403). 계속해서, 후속 프레임의 입력 화상 스트림 정보를 해석하고(스텝 S403), 제 3의 실시 형태에서 기술한 최대 참조 프레임 수의 체크의 처리가 행하여진다(스텝 S405). 최대 참조 프레임 수를 초과한 경우는(스텝 S406 : Yes), 또한, 스트림 변환 지시가 되어(스텝 S410), 제 2의 실시 형태에서 기술한 스트림 변환 처리(스텝 S411)가 실행된다. 후의 처리는 제 1의 실시 형태와 마찬가지이고, 생략한다.
이상에 의해, 본 발명의 제 4의 실시 형태의 동화상 변환 장치는, 동화 데이터의 화질의 열화를 억제하고, 동화 데이터를 부호화하기 위한 연산량을 저감할 수 있다. 또한, 다시 부호화할 필요가 없는 후속 프레임에 있어서의 프레임 번호의 시퀀스나 시간 정보 등의 헤더 정보를 보정할 수 있다. 또한, 최대 참조 프레임 수를 고려함에 의해, 최대 참조 프레임 수를 초과한 프레임에 대해서는, 축적 시작 프레임보다도 앞의 프레임을 참조하는 처리를 하지 않고 끝나는 만큼, 연산량을 저감할 수 있다.
제 5의 실시 형태
[구성]
다음에, 본 발명의 제 5의 실시 형태에 관해 설명한다. 또한, 본 발명의 제 2의 실시 형태와 본 발명의 제 5의 실시 형태에서는, 내부 구성이 일부 다르지만, 그 이외는 거의 같은 구성을 갖기 때문에, 같은 요소에 대해서는 같은 부호를 붙여서 설명을 생략하고, 제 2의 실시 형태와 다른 구성에 관해 상세히 설명한다. 본 발명의 제 5의 실시 형태에서는, 선두 프레임 변환의 처리에 있어서, 선두 프레임이 IDR프레임인 경우는, 변환하지 않고 상기 선두 프레임을 그대로 사용한다.
[동작]
본 발명의 제 5의 실시 형태에 관해, 도 12에 도시하는 본 발명의 제 2의 실 시 형태의 동화상 변환 장치에 의한 화상 변환의 한 예를 도시하는 플로우 차트를 참조하여 설명한다. 제 2의 실시 형태와 제 5의 실시 형태에서는, 선두 프레임 변환의 처리(스텝 S203)가 다르다. 이하, 선두 프레임 변환의 처리에 관해 설명한다.
도 11에 도시하는 변환 판정부(500)는, 축적 시작 요구(108)를 수취하면 파라미터 해석부(201)에 현재의 프레임이 인트라 프레임인지의 여부를 확인하도록 요구를 행한다. 또한, 변환 판정부(500)는, 파라미터 해석부(201)로부터 현재의 프레임이 인트라 프레임이라는 통지를 받으면, 도 9에 도시하는 부호화부(105)에 대해 화상 복호부(104)로부터 최신의 화상 데이터를 받아들여서 프레임 메모리(305)에 축적하도록 요구를 행한다.
파라미터 해석부(201)는, 변환 판정부(500)로부터 현재의 프레임이 인트라 프레임인지 확인하도록 요구를 받으면, 확인 결과를 변환 판정부(500)에 통지한다. 그리고, 현재의 프레임이 인트라 프레임이였던 경우는, 현재의 프레임의 정보를 변환 정보 생성부(501)에 통지한다. 선두 프레임 변환 정보 생성부(2021)는, 파라미터 해석부(201)로부터의 정보를 기초로 인트라 프레임의 제어 정보중, 축적 화상의 선두 프레임이 되기 위해 필요한 정보를 생성한다.
축적 화상의 선두 프레임이 되기 위해 필요한 정보로서는, 예를 들면 프레임 버퍼를 초기화하는지를 판정하기 위한 정보나, 그 프레임보다 앞의 프레임을 참조하지 않는 것을 보증하는 정보 등이 있다.
그리고, 선두 프레임 변환 정보 생성부(2021)는, 변환 파라미터 정보(406)를 스트림 변환부(403)의 변환 정보 수신부(600)에 통지한다.
변환 정보 수신부(600)는, 변환 파라미터 정보(406)를 수취하고, 파라미터 변환부(604)에 통지한다. 그리고, 파라미터 변환부(604)는, 선두 프레임의 입력 화상 스트림 정보중, 프레임 번호를 최초의 번호로 변환하는 등의 처리를 행한다. 그 후의 처리는, 상술한 바와 같이, 가변 길이 부호화기(605), 비트 위치 시프트&바이트 얼라인부(606)를 경유하여, 헤더부만 변환한 선두 프레임의 화상 스트림(614)을 생성한다. 이 경우, 선두 프레임의 데이터부는 다시 부호화하는 일없이, 선두 프레임이 변환된다.
송신 버퍼(607)는, 헤더부만 변환한 선두 프레임의 화상 스트림(614)을 송신 버퍼(107)에 출력한다. 그 밖의 처리는, 제 2의 실시 형태와 마찬가지이기 때문에 설명은 생략한다.
이상에 의해, 축적 시작 요구의 프레임이 인트라 예측에 의한 선두 프레임이였던 경우는, 그대로 유용(流用)할 수 있기 때문에, 동화상 변환 장치(400)는, 축적 시작 요구의 프레임 전체를 다시 부호화하지 않고 끝나기 때문에, 그 만큼, 연산량을 저감할 수 있다.
제 6의 실시 형태
[구성]
다음에, 본 발명의 제 6의 실시 형태에 관해 설명한다. 또한, 본 발명의 제 1의 실시 형태와 본 발명의 제 6의 실시 형태에서는, 내부 구성이 일부 다르지만, 그 이외는 거의 같은 구성을 갖기 때문에, 같은 요소에 대해서는 같은 부호를 붙여서 설명을 생략하고, 제 1의 실시 형태와 다른 구성에 관해 상세히 설명한다.
본 발명의 제 6의 실시 형태에서는, 후속 프레임이 특정한 프레임보다 앞의 프레임의 일부의 블록을 참조하고 있을 때는, 그 일부의 블록만을 다시 부호화한다.
도 15는, 제 6의 실시 형태의 동화상 변환 장치에 의한 동화상 변환 방법의 한 예를 설명하는 도면이다. 도 15에서는, P2프레임의 일부의 블록이 IDR0프레임의 일부의 블록을 참조하고 있는 경우, P2프레임을 다시 부호화할 때에 그 블록 개소만을 부호화하고, 다른 부분은, 다시 부호화하지 않고 그대로 P2프레임의 부호화 데이터를 유용한다.
[동작]
본 발명의 제 6의 실시 형태에 관해, 도 8에 도시하는 본 발명의 제 1의 실시 형태의 동화상 변환 장치에 의한 화상 변환의 한 예를 도시하는 플로우 차트를 참조하여 설명한다. 제 1의 실시 형태와 제 6의 실시 형태에서는, 후속 프레임 변환의 처리(스텝 S104 이후)가 다르다. 이하, 이 후속 프레임 변환의 처리에 관해 설명한다. 후속 프레임이 축적 시작 요구의 프레임보다 앞의 프레임을 참조하고 있는 경우(스텝 S105 : Yes), 스텝 S106에서 후속 프레임 변환 처리가 행하여진다.
이 경우, 변환 대상이 되는 후속 프레임이 축적 시작 요구의 프레임보다 앞의 프레임의 일부의 블록뿐이면, 변환 대상이 되는 후속 프레임은, 그 프레임의 일부의 블록만을 참조하여, 부호화부(105)에서 부호화하고, 다른 부분은 다시 부호화하지 않는다. 이로써, 프레임 전체를 다시 부호화하는 것보다도 연산량을 저감시킬 수 있다.
이하, 구체적인 동작을 도 1, 도 3, 및 도 5를 참조하여 설명한다. 도 3에 도시하는 변환 판정부(200)는, 파라미터 해석부(201)로부터 슬라이스 단위로 변환이 필요한지 여부의 해석 결과 통지(203)를 수취한다. 이 때 변환이 필요한 범위는, 예를 들면, 매크로 블록 번호로 취득한다. 그리고, 변환이 필요한 경우는, 해당 슬라이스의 매크로 블록 번호의 정보와 함께 도 1에 도시하는 부호화부(105)에 대해 화상 복호부(104)가 생성한 최신의 화상 데이터를 받아들이도록 화상 데이터 받아들임 요구(118)의 지시를 내린다.
또한, 파라미터 해석부(201)는, 변환 정보 생성부(202)에 대해서도, 예를 들면, 변환이 필요한 슬라이스의 매크로 블록 번호를 통지한다.
변환 정보 생성부(202)는, 파라미터 해석부(201)로부터 수취한 매크로 블록 정보를 기초로, 예를 들면 슬라이스의 선두 매크로 블록 번호 등 헤더 생성에 필요한 정보를 생성하여 부호화부(105)에 변환 파라미터 정보를 통지한다.
또한, 도 5에 도시하는 부호화부(105)의 스위치(1)(301)는, 변환 판정부(200)로부터의 화상 데이터 받아들임 요구(118)의 지시에 따라, 화상 복호부(104)가 생성한 최신의 화상 데이터를 받아들이도록 스위치를 전환한다. 스위치(1)(301)는, 변환 판정부(200)로부터 변환하는 매크로 블록 번호를 수취하기 때문에 부호화부(105)는, 최신의 화상 데이터중, 지정된 매크로 블록 번호의 위치만을 변환한다.
또한, 헤더 정보 생성부(300)는, 변환 제어부(101)로부터 수취한 정보를 기초로 헤더 정보를 생성하여 가변 길이 부호화기(304)에 출력한다. 매크로 블록에 해당한 화상 데이터에 대해서는, 상술한 인터 예측으로, 부호화 데이터로 부호화된다. 이 부호화 데이터는 송신 버퍼(107)에 송신된다.
도 1에 도시하는 수신 버퍼(102)는, 변환 제어부(101)로부터 송신 버퍼(107)에 화상 스트림을 출력하도록 지시를 받으면, 입력 화상 스트림을 슬라이스마다 송신 버퍼(107)에 송신한다.
이상에 의해, 본 발명의 제 6의 실시 형태의 동화상 변환 장치는, 축적 시작 요구의 프레임보다 앞의 프레임을 참조하고 있다고 판단된 후속 프레임의 일부의 영역의 부호화 데이터만을 다시 부호화하는 것만으로 끝나기 때문에, 연산량을 저감할 수 있다.
제 7의 실시 형태
[구성]
다음에, 본 발명의 제 7의 실시 형태에 관해 설명한다. 또한, 본 발명의 제 6의 실시 형태와 본 발명의 제 7의 실시 형태에서는, 내부 구성이 일부 다르지만, 그 이외는 거의 같은 구성을 갖기 때문에, 같은 요소에 대해서는 같은 부호를 붙여서 설명을 생략하고, 제 6의 실시 형태와 다른 구성에 관해 상세히 설명한다.
제 7의 실시 형태에서는, 후속 프레임이, 특정한 프레임보다 앞의 프레임의 일부의 블록 이외에도, 후속 프레임의 앞의 프레임의 일부의 블록을 참조하고 있는 경우로서, 참조하고 있는 블록끼리가 상관관계에 있을 때에는, 후속 프레임은, 특정한 프레임보다 앞의 프레임의 일부의 블록과 후속 프레임의 앞의 프레임의 일부의 블록을 참조하여, 다시 부호화한다.
도 16은, 제 7의 실시 형태의 동화상 변환 장치에 의한 동화상 변환 방법의 한 예를 설명하는 도면이다. 도 16에 도시하는 바와 같이, P2프레임의 일부의 블록(A)이, IDR0 프레임의 일부의 블록(A')을 참조하고, P2프레임의 일부의 블록(B)이, P1프레임의 일부의 블록(B')을 참조하고 있다.
도 17은, 블록끼리의 상관관계의 유무의 한 예를 설명하는 도면이다. 블록(A)는 3개의 화소치로 구성되고, 블록(B)은 3개의 화소치로 구성되어 있다. 본 실시 형태에서는, 블록 사이의 불연속성을 평활(平滑)하기 위한 필터 처리가 행하여진다. 이 필터 처리에서는, 블록(A), 블록(B)의 화소치를 이용하여 평활화하고(도 17 좌), 블록(A), 블록(B)의 화소치가 얻어진다(도 17 위).
이 경우, 블록(A)은, 블록(B)의 값에, 블록(B) 도 블록(A)의 값에 의존하고 있다. 이와 같이 서로의 블록이 의존하는 관계가, 본 발명에서 말하는 상관관계가 있는 경우의 한 예에 상당한다. 여기서, 블록(A)이 참조하고 있는 것은 IDR프레임 블록(A')이고, 블록(B)이 참조하고 있는 것은 P1프레임의 블록(B')이기 때문에, P2프레임을 부호화할 때, 블록(A') 및 블록(B')를 참조하여, 부호화한다. 또한, 상관관계의 유무를 나타내는 정보는, 헤더부에 기록되어 있다.
[동작]
도 18은, 제 7의 실시 형태에서의 동화상 변환 장치의 동작의 한 예를 도시하는 플로우 차트이다. 축적 시작 요구를 접수하고(스텝 S501) 나서 선두 프레임 변환의 처리(스텝 S504)까지의 처리는, 제 6의 실시 형태의 처리와 마찬가지이다.
제 7의 실시 형태에서는, 후속 프레임의 입력 화상 스트림 정보 해석의 처리 에 있어서, 변환 대상의 프레임이 축적 시작 요구보다도 앞의 프레임의 매크로 블록을 참조하고 있는 경우(스텝 S505 : Yes), 파라미터 해석부(201)가, 축적 시작 요구의 프레임보다 앞의 프레임의 매크로 블록과 상관관계를 갖는 다른 프레임의 매크로 블록에 유무에 관해, 헤더 정보를 참조하여 판단한다. 그리고, 판단 결과를 변환 판정부(500)에 통지한다. 상관이 없는 경우(스텝 S508 : No), 그 후의 처리는, 제 6의 실시 형태와 마찬가지이다.
한편, 도 17에서 설명한 바와 같이, 축적 시작 요구의 프레임보다 앞의 프레임의 매크로 블록과 서로 영향을 미치는 상관관계를 갖는 다른 프레임의 매크로 블록이 있는 경우(스텝 S509 : Yes), 변환 대상이 되는 프레임이 참조하고 있는 매크로 블록끼리를 다시 부호화한다. 구체적으로는, 변환 정보 생성부(202)는, 파라미터 해석부(201)로부터 수취한 매크로 블록 정보를 기초로, 예를 들면 슬라이스의 선두 매크로 블록 번호 등 헤더 생성에 필요한 정보를 생성하여 부호화부(105)에 변환 파라미터 정보를 통지한다.
또한, 도 3에 도시하는 부호화부(105)의 스위치(1)(301)는, 변환 판정부(200)로부터의 화상 데이터 받아들임 요구(118)의 지시에 따라, 화상 복호부(104)가 생성한 최신의 화상 데이터를 받아들이도록 스위치를 전환한다. 스위치(1)(301)는, 변환 판정부(200)로부터 변환하는 상관관계가 있는 매크로 블록 번호를 수취하기 때문에 부호화부(105)는, 최신의 화상 데이터중, 지정된 상관관계가 있는 매크로 블록 번호의 위치만을 변환한다.
헤더 생성부(300)는, 변환 제어부(501)로부터 수취한 정보를 기초로 헤더 정 보를 생성하여 가변 길이 부호화기(304)에 출력한다. 매크로 블록에 해당하는 화상 데이터에 관해서는, 상술한 인터 예측으로, 부호화 데이터로 부호화된다. 이 부호화 데이터는 송신 버퍼(107)에 송신된다.
도 1에 도시하는 수신 버퍼(102)는, 변환 제어부(101)로부터 송신 버퍼(107)에 화상 스트림을 출력하도록 지시를 받으면, 입력 화상 스트림을 슬라이스마다 송신 버퍼(107)에 송신한다.
이상에 의해, 본 발명의 제 7의 실시 형태의 동화상 변환 장치는, 축적 시작 요구의 프레임보다 앞의 프레임의 일부의 영역과 상관관계를 갖는 다른 프레임의 일부의 영역은, 상관관계가 유지된 상태로 다시 부호화되기 때문에, 다시 부호화된 프레임의 일부의 영역의 화상의 흐트러짐 등은 생기지 않고 끝난다.
제 8의 실시 형태
다음에, 본 발명의 제 8의 실시 형태에 관해 설명한다. 제 8의 실시 형태는, 제 7의 실시 형태의 동화 변환 장치에 제 2의 실시 형태에서 설명한 프레임 번호의 시퀀스나 시간 정보 등의 헤더 정보를 보정하는 기능을 추가한 것이다. 또한, 헤더 정보를 보정하는 기능은, 이미 설명이 끝난 것이기 때문에, 여기서는 설명을 생략한다.
본 발명의 제 8의 실시 형태의 동화상 변환 장치는, 프레임의 일부만 변환하기 때문에, 프레임 전체를 변환하는 경우에 비교하여, 연산량을 저감할 수 있고, 시간 정보, 프레임 번호 등의 헤더 정보를 보정할 수 있다.
제 9의 실시 형태
다음에, 본 발명의 제 9의 실시 형태에 관해 설명한다. 제 9의 실시 형태는, 제 7의 실시 형태의 동화 변환 장치에 제 3의 실시 형태에서 설명한 최대 참조 프레임 수의 체크의 기능을 추가한 것이다. 또한, 이미 최대 참조 프레임 수의 체크의 기능은 설명이 끝난 것이기 때문에, 여기서는 생략한다.
본 발명의 제 9의 실시 형태의 동화상 변환 장치는, 프레임의 일부만 변환하기 때문에, 프레임 전체를 변환하는 경우에 비교하여, 연산량을 저감할 수 있고, 최대 참조 프레임 수를 초과한 프레임에 대해서는, 축적 시작 프레임보다도 앞의 프레임을 참조하는 처리를 하지 않고 끝나는 만큼, 연산량을 저감할 수 있다.
제 10의 실시 형태
다음에, 본 발명의 제 10의 실시 형태에 관해 설명한다. 제 10의 실시 형태는, 제 7의 실시 형태의 동화 변환 장치에 헤더 정보의 보정 기능과 최대 참조 프레임 수의 체크의 기능을 추가한 것이다. 또한, 이미, 헤더 정보의 보정 기능, 최대 참조 프레임 수의 체크의 기능은 설명이 끝난 것이기 때문에, 여기서는 생략한다.
본 발명의 제 10의 실시 형태의 동화상 변환 장치는, 프레임의 일부만 변환하기 때문에, 프레임 전체를 변환하는 경우에 비교하여, 연산량을 저감할 수 있고, 시간 정보, 프레임 번호 등의 헤더 정보를 보정할 수 있다. 또한, 최대 참조 프레임 수를 초과한 프레임에 대해서는, 축적 시작 프레임보다도 앞의 프레임을 참조하는 처리를 하지 않고 끝나는 만큼, 연산량을 더욱 저감할 수 있다.
이상 설명한 바와 같이, 본 발명에서는, 이하에 기재하는 효과를 이룬다. 제 1의 효과는, 입력된 부호화 데이터에 대해, 지정된 프레임부터 축적하는 경우에, 화질의 열화를 억제함에 의해 고화질의 동화상 데이터를 생성하는 변환 방식을 제공할 수 있다.
제 2의 효과는, 입력된 부호화 데이터에 대해, 지정된 프레임부터 축적하는 경우에, 연산량을 저감시키고 고속으로 동화상 데이터를 생성하는 변환 방식을 제공할 수 있다.
제 3의 효과는, 입력된 부호화 데이터에 대해, 지정된 프레임부터 축적하는 경우에 축적 화상의 선두 프레임보다도 후속 프레임이 선두 프레임보다도 앞의 프레임을 참조하고 있을 때에, 고속으로 고화질의 축적 화상을 생성하는 변환 방식을 제공할 수 있다.
제 4의 효과는, 입력된 부호화 데이터에 대해, 지정된 프레임부터 축적하는 경우에 축적 화상의 선두 프레임이 인트라 프레임이였던 때에, 그대로, 인트라 프레임을 선두 프레임으로 유용함으로써 연산량을 저감시키고, 고속으로 고화질의 동화상 데이터를 생성하는 변환 방식을 제공할 수 있다.
또한, 상기 실시의 형태를 참조하여 본 발명을 설명하였지만, 본 발명은, 상기 실시의 형태로 한정되는 것이 아니다. 본 발명의 구성이나 상세는, 본 발명의 청구의 범위 내에서 당업자가 이해할 수 있는 다양한 변경을 행할 수 있다.
본 출원은, 2007년 5월 29일에 출원된 일본 출원 특원2007-141507호를 기초로 하는 우선권을 주장하고, 그 개시의 전부를 여기에 받아들인다.

Claims (12)

  1. 부호화된 동화상 데이터를 변환하는 동화상 변환 장치로서,
    상기 부호화된 동화상 데이터의 특정한 프레임을 선두로 한 새로운 동화상 데이터를 생성하는 동화상 데이터 생성부와,
    상기 특정한 프레임보다 후속의 프레임이, 상기 특정 프레임보다 앞의 프레임을 참조하여 부호화되어 있는지의 여부를 판단하는 판정부를 구비하고,
    상기 동화상 데이터 생성부는,
    상기 특정한 프레임을, 다른 프레임을 참조하지 않는 선두 프레임으로 변환하는 선두 프레임 변환 처리부와,
    상기 판정부에서 상기 특정한 프레임보다 앞의 프레임을 참조하고 있다고 판단된 후속 프레임을, 해당 판단된 후속 프레임부터 상기 특정한 프레임까지의 어느 하나의 프레임을 참조하여 다시 부호화하는 후속 프레임 변환 처리부를 구비하는 것을 특징으로 하는 동화상 변환 장치.
  2. 제 1항에 있어서,
    상기 동화상 데이터 생성부는, 상기 판정부에서 상기 특정한 프레임 이후의 프레임을 참조하고 있다고 판단된 후속 프레임을 다시 부호화하지 않고 새로운 동화상 데이터의 후속 프레임으로 하는 것을 특징으로 하는 동화상 변환 장치.
  3. 제 1항 또는 제 2항에 있어서,
    상기 선두 프레임 변환 처리부는, 상기 특정한 프레임의 부호화 데이터를 복호 후, 다른 프레임을 참조하지 않고 부호화하고, 부호화된 부호화 데이터로 변환하는 것을 특징으로 하는 동화상 변환 장치.
  4. 제 1항 내지 제 3항중 어느 한 항에 있어서,
    상기 후속 프레임 변환 처리부는, 상기 판정부에서 상기 특정한 프레임보다 앞의 프레임을 참조하고 있다고 판단된 후속 프레임의 부호화 데이터를 복호 후, 다른 프레임과의 사이에서 프레임 사이 예측을 행하고, 복호 후의 후속 프레임을 상기 특정한 프레임보다 앞의 프레임을 참조하지 않고 부호화하는 것을 특징으로 하는 동화상 변환 장치.
  5. 제 1항 내지 제 4항중 어느 한 항에 있어서,
    상기 선두 프레임 변환 처리부는, 상기 특정한 프레임이 다른 프레임을 참조하지 않고 부호화되어 있는 경우에는, 상기 특정한 프레임을 선두 프레임으로 하는 것을 특징으로 하는 동화상 변환 장치.
  6. 제 1항 내지 제 5항중 어느 한 항에 있어서,
    상기 후속 프레임 변환 처리부는, 프레임 사이 예측 부호화 또는 프레임 내 예측 부호화에 부호화하는 것을 특징으로 하는 동화상 변환 장치.
  7. 제 3항 내지 제 6항중 어느 한 항에 있어서,
    상기 부호화 데이터는, 선두 프레임에 대한 자기의 프레임을 특정하는 프레임 특정 정보를 가지며,
    상기 후속 프레임 변환 처리부는, 상기 판정부에서 상기 특정한 프레임 이후의 프레임을 참조하고 있다고 판단된 후속 프레임의 상기 프레임 특정 정보만을 재기록하는 것을 특징으로 하는 동화상 변환 장치.
  8. 제 1항 내지 제 7항중 어느 한 항에 있어서,
    상기 판정부는, 상기 후속 프레임이, 상기 특정한 프레임부터 어느 프레임까지 참조 가능한지를 나타내는 최대 참조 프레임 수까지의 프레임인지의 여부를 판단하고,
    상기 동화상 데이터 생성부는, 상기 판정부에서 상기 최대 참조 프레임 수까지의 프레임이 아닌 취지의 판단이 된 후속 프레임을 다시 부호화하지 않고 새로운 동화상 데이터의 후속 프레임으로 하는 것을 특징으로 하는 동화상 변환 장치.
  9. 제 1항 내지 제 8항중 어느 한 항에 있어서,
    상기 후속 프레임 변환 처리부는, 상기 판정부에서 상기 특정한 프레임보다 앞의 프레임을 참조하고 있다고 판단된 후속 프레임의 일부의 영역이 상기 특정한 프레임보다 앞의 프레임의 일부의 영역을 참조하여 부호화되어 있을 때에는, 해당 판단된 후속 프레임부터 상기 특정한 프레임까지의 어느 하나의 프레임의 일부의 영역을 참조하여 다시 부호화하는 것을 특징으로 하는 동화상 변환 장치.
  10. 제 9항에 있어서,
    상기 판정부는, 상기 특정한 프레임보다 앞의 프레임의 일부의 영역과 서로 영향을 미치는 상관관계를 갖는 다른 프레임의 일부의 영역이 있는지의 여부를 판단하고,
    상기 판정부에서, 상기 특정한 프레임보다 앞의 프레임의 일부의 영역과 상관관계를 갖는 다른 프레임의 일부의 영역이 있는 취지의 판단 결과가 얻어진 경우, 상기 후속 프레임 변환 처리부는, 해당 상관관계를 갖는 다른 프레임의 일부의 영역도 참조하여 다시 부호화하는 것을 특징으로 하는 동화상 변환 장치.
  11. 부호화된 동화상 데이터를 변환하는 동화상 변환 방법으로서,
    특정한 프레임을, 다른 프레임을 참조하지 않는 선두 프레임으로 변환하는 선두 프레임 변환 공정과,
    상기 선두 프레임 변환 공정에 전후하여, 상기 특정한 프레임보다 후속의 프레임이, 상기 특정 프레임보다 앞의 프레임을 참조하여 부호화되어 있는지의 여부를 판단하는 판단 공정과,
    상기 판단 공정에서 상기 특정한 프레임보다 앞의 프레임을 참조하고 있다고 판단된 후속 프레임을, 해당 판단된 후속 프레임부터 상기 특정한 프레임까지의 어 느 하나의 프레임을 참조하여 다시 부호화하는 후속 프레임 변환 공정을 구비하는 것을 특징으로 하는 동화상 변환 방법.
  12. 부호화된 동화상 데이터를 변환하는 동화상 변환 프로그램으로서,
    제어부에
    특정한 프레임을, 다른 프레임을 참조하지 않는 선두 프레임으로 변환하는 선두 프레임 변환 공정과,
    상기 특정한 프레임보다 후속의 프레임이, 상기 특정 프레임보다 앞의 프레임을 참조하여 부호화되어 있는지의 여부를 판단하는 판단 공정과,
    상기 판단 공정에서 상기 특정한 프레임보다 앞의 프레임을 참조하고 있다고 판단된 후속 프레임을, 해당 판단된 후속 프레임부터 상기 특정한 프레임까지의 어느 하나의 프레임을 참조하여 다시 부호화하는 후속 프레임 변환 공정을 실행시키는 것을 특징으로 하는 동화상 변환 프로그램.
KR1020097019857A 2007-05-29 2008-05-23 동화상 변환 장치, 동화상 변환 방법, 및 동화상 변환 프로그램 KR101074964B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007141507 2007-05-29
JPJP-P-2007-141507 2007-05-29

Publications (2)

Publication Number Publication Date
KR20090123907A true KR20090123907A (ko) 2009-12-02
KR101074964B1 KR101074964B1 (ko) 2011-10-18

Family

ID=40075124

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097019857A KR101074964B1 (ko) 2007-05-29 2008-05-23 동화상 변환 장치, 동화상 변환 방법, 및 동화상 변환 프로그램

Country Status (5)

Country Link
US (1) US8811481B2 (ko)
JP (1) JP5365805B2 (ko)
KR (1) KR101074964B1 (ko)
CN (1) CN101682776A (ko)
WO (1) WO2008146892A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5332773B2 (ja) * 2009-03-18 2013-11-06 ソニー株式会社 画像処理装置および方法
DE102009039095A1 (de) * 2009-08-27 2011-03-10 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Erzeugen, Decodieren und Transcodieren eines codierten Videodatenstroms
JP2011109469A (ja) * 2009-11-18 2011-06-02 Canon Inc コンテンツ受信装置及びコンテンツ受信装置の制御方法
TWI458319B (zh) * 2011-11-29 2014-10-21 Novatek Microelectronics Corp 時脈嵌入的資料傳輸方法以及資料編碼
US10708571B2 (en) * 2015-06-29 2020-07-07 Microsoft Technology Licensing, Llc Video frame processing
CN108769695B (zh) * 2018-05-21 2020-08-07 深圳市梦网科技发展有限公司 一种帧类别的转换方法、系统及终端
US11265599B2 (en) * 2019-06-11 2022-03-01 Nvidia Corporation Re-encoding predicted picture frames in live video stream applications
CN112087633B (zh) * 2019-06-12 2022-08-09 腾讯科技（深圳）有限公司 视频解码方法、装置及存储介质
JP2021132305A (ja) * 2020-02-20 2021-09-09 シャープ株式会社 画像符号化装置および画像符号化方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07170522A (ja) * 1993-12-16 1995-07-04 Matsushita Electric Ind Co Ltd 動画像圧縮データ切り換え装置
JP3591025B2 (ja) * 1995-01-31 2004-11-17 ソニー株式会社 画像情報処理装置
JPH11187410A (ja) * 1997-12-18 1999-07-09 Bit Art:Kk Ｍｐｅｇ動画像におけるフレーム単位切り出しロジック
JP4005691B2 (ja) * 1998-03-19 2007-11-07 株式会社東芝 動画像符号化方法および動画像符号化装置
JP2002305733A (ja) 2001-04-06 2002-10-18 Matsushita Electric Ind Co Ltd マルチキャスト会議装置、及びマルチキャスト会議プログラム
US6950464B1 (en) * 2001-12-26 2005-09-27 Cisco Technology, Inc. Sub-picture level pass through
KR100846770B1 (ko) * 2002-03-05 2008-07-16 삼성전자주식회사 동영상 부호화 방법 및 이에 적합한 장치
JP3977716B2 (ja) 2002-09-20 2007-09-19 株式会社東芝 動画像符号化／復号化方法及び装置
JP4291185B2 (ja) * 2004-03-22 2009-07-08 Ｎｅｃパーソナルプロダクツ株式会社 トランスコーディング方法、トランスコーダ及びプログラム
JP4251291B2 (ja) 2004-12-22 2009-04-08 日本ビクター株式会社 動画像符号化装置、動画像符号化方法

Also Published As

Publication number Publication date
US8811481B2 (en) 2014-08-19
US20100150238A1 (en) 2010-06-17
WO2008146892A1 (ja) 2008-12-04
KR101074964B1 (ko) 2011-10-18
CN101682776A (zh) 2010-03-24
JP5365805B2 (ja) 2013-12-11
JPWO2008146892A1 (ja) 2010-08-19

Similar Documents

Publication Publication Date Title
KR101074964B1 (ko) 동화상 변환 장치, 동화상 변환 방법, 및 동화상 변환 프로그램
EP0923243B1 (en) Editing device, editing method, splicing device, splicing method, encoding device, and encoding method
JP5152402B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
KR101769726B1 (ko) 영상 복호 장치, 및 영상 복호 방법
US20050069211A1 (en) Prediction method, apparatus, and medium for video encoder
US20090207907A1 (en) Image processing device, method, and program
EP1747536B1 (en) Method and apparatus for encoding a picture sequence using predicted and non-predicted pictures which each include multiple macroblocks
JP2006521771A (ja) ハイブリッドレートコントローラーを備えるデジタルストリームトランスコーダー
JP5640979B2 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
JP2000059790A (ja) 動画像符号列変換装置及びその方法
US20100239001A1 (en) Video streaming system, transcoding device, and video streaming method
JPH08111870A (ja) 画像情報の再符号化方法及び装置
JP4853647B2 (ja) 動画像変換方法、動画像変換装置、動画像変換システムおよびサーバ装置並びにプログラム
JP4224778B2 (ja) ストリーム変換装置および方法、符号化装置および方法、記録媒体、並びに、プログラム
JP3599942B2 (ja) 動画像符号化方法、及び動画像符号化装置
JP5136470B2 (ja) 動画像符号化装置及び動画像符号化方法
JP6182888B2 (ja) 画像符号化装置
JP2013214894A (ja) 画像符号化装置
JP2009246489A (ja) 映像信号切替装置
JP4249218B2 (ja) 画像符号化装置
KR100626419B1 (ko) 비디오 전송에서 비트 스트림들간의 교환
JP2002218470A (ja) 画像符号化データのレート変換方法、及び画像符号化レート変換装置
JP2003244706A (ja) 画像符号化データ変換装置及び変換方法並びに変換プログラム
JP4292658B2 (ja) 画像情報変換装置及び画像情報変換方法
JP4748126B2 (ja) 圧縮動画像再符号化装置及び圧縮動画像再符号化方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee