KR20140031978A - 동영상 데이터 생성장치, 동영상 표시장치, 동영상 데이터 생성방법, 동영상 표시방법, 및 동영상 파일의 데이터 구조 - Google Patents

동영상 데이터 생성장치, 동영상 표시장치, 동영상 데이터 생성방법, 동영상 표시방법, 및 동영상 파일의 데이터 구조 Download PDF

Info

Publication number
KR20140031978A
KR20140031978A KR1020147001933A KR20147001933A KR20140031978A KR 20140031978 A KR20140031978 A KR 20140031978A KR 1020147001933 A KR1020147001933 A KR 1020147001933A KR 20147001933 A KR20147001933 A KR 20147001933A KR 20140031978 A KR20140031978 A KR 20140031978A
Authority
KR
South Korea
Prior art keywords
image
data
layer
hierarchical
display
Prior art date
Application number
KR1020147001933A
Other languages
English (en)
Other versions
KR101557327B1 (ko
Inventor
테츠고 이나다
아키오 오바
히로유키 세가와
Original Assignee
소니 컴퓨터 엔터테인먼트 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 컴퓨터 엔터테인먼트 인코포레이티드 filed Critical 소니 컴퓨터 엔터테인먼트 인코포레이티드
Publication of KR20140031978A publication Critical patent/KR20140031978A/ko
Application granted granted Critical
Publication of KR101557327B1 publication Critical patent/KR101557327B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Television Systems (AREA)

Abstract

동영상 프레임을 복수의 해상도로 나타내는 계층구조로 한다. 제0계층(30), 제1계층(32), 제2계층(34), 제3계층(36)의 순으로 해상도가 크다고 하면, 시각 t1의 프레임을 나타내는 계층 데이터에서는 제0계층(30) 및 제2계층(34)을 원래의 화상계층으로 하고, 제1계층(32) 및 제3계층(36)을 차분화상계층으로 한다. 이 경우, 제3계층(36)의 해상도로 영역(124a)을 표시하는 경우는 제3계층(36)이 유지하는 영역(124a)의 차분화상에, 제2계층(34)이 유지하는, 대응하는 영역(126a)의 화상을 제3계층(36)의 해상도까지 확대하여 각 화소값을 가산한다. 시각의 경과 t2, t3, ···와 함께 차분화상계층으로 하는 계층을 전환한다.

Description

동영상 데이터 생성장치, 동영상 표시장치, 동영상 데이터 생성방법, 동영상 표시방법, 및 동영상 파일의 데이터 구조{VIDEO DATA GENERATION UNIT, VIDEO IMAGE DISPLAY DEVICE, VIDEO DATA GENERATION METHOD, VIDEO IMAGE DISPLAY METHOD, AND VIDEO IMAGE FILE DATA STRUCTURE}
본 발명은 동영상의 데이터를 생성하는 동영상 데이터 생성장치, 동영상을 표시하는 동영상 표시장치, 및 그들로 실현되는 동영상 데이터 생성방법, 동영상 표시방법에 관한 것이다.
게임 프로그램을 실행할 뿐만 아니라 동영상을 재생할 수 있는 가정용 엔터테인먼트 시스템이 제안되고 있다. 이 가정용 엔터테인먼트 시스템에서는 GPU가 폴리곤을 이용한 삼차원화상을 생성한다(예를 들면 특허문헌 1 참조).
동영상, 정지 화상에 관계없이 화상을 얼마나 효율적으로 표시할지는 항상 중요한 문제가 된다. 그렇기 때문에 화상 데이터의 압축 기술, 전송 기술, 화상 처리 기술, 표시 기술 등 다방면에서 다양한 기술이 개발, 실용화되어서 고세밀한 화상을 다양한 분야에서 가깝게 즐길 수 있게 되었다.
미국 특허공보 제6563999호
고세밀한 화상을 사용자의 요구를 따라서 좋은 응답성으로 표시시키고 싶은 요구는 항상 존재한다. 예를 들면 표시시킨 전체 화상 중 사용자가 착안하고 싶은 영역을 확대해서 표시시키거나 다른 영역에 표시를 이동시키는, 사용자의 시점에 대하여 자유도 있는 화상표시를 좋은 응답성으로 실현하기 위해서는 사이즈가 큰 화상 데이터를 단시간에 처리하면서 랜덤 액세스도 가능하게 해야하기 때문에 기술의 진보가 더욱 요구되고 있다.
본 발명은 이러한 과제를 감안하여 이루어진 것으로서, 그 목적은 데이터 사이즈를 억제하면서 사용자에 의한 표시영역에 따른 조작 입력에 대하여 좋은 응답성으로 고세밀한 동영상을 표시할 수 있는 화상 처리 기술을 제공하는 것에 있다.
본 발명의 어느 양태는 동영상 데이터 생성장치에 관한 것이다. 이 동영상 데이터 생성장치는 동영상을 표시하는 화상 처리 장치에 있어서 요구되는 해상도에 따라서 이용하는 계층을 전환하여 표시 화상을 생성하기 위해서, 하나의 동영상을 구성하는 화상 프레임을 다른 해상도로 표시한 복수의 화상열을 해상도순으로 계층화하여 이루어지는 계층 동영상 데이터를 생성하는 동영상 데이터 생성장치로서, 각 화상 프레임을 단계적으로 축소함으로써 각 계층의 화상 데이터를 화상 프레임마다 생성한 후, 적어도 하나의 계층의 화상 데이터에 같은 화상 프레임을 상기 계층보다 낮은 해상도로 표시한 다른 계층의 화상의 확대 화상과의 차분을 나타내는 차분화상의 데이터를 포함시켜서 계층 동영상 데이터를 생성하는 계층 데이터 생성부와, 계층 데이터 생성부가 생성한 계층 동영상 데이터를 압축 부호화하여 기억장치에 저장하는 압축 데이터 생성부를 구비한 것을 특징으로 한다.
본 발명의 다른 양태는 동영상 표시장치에 관한 것이다. 이 동영상 표시장치는 하나의 동영상을 구성하는 화상 프레임을 다른 해상도로 표시한 복수의 화상열을 해상도순으로 계층화하여 이루어지는 계층 동영상 데이터를 저장한 동영상 데이터 기억부와, 표시중인 동영상에서의 표시영역의 이동요구 신호를 차례로 취득하는 입력 정보 취득부와, 입력 정보 취득부가 취득한 이동요구 신호에 의해 정해지는 요구 해상도에 따라서 계층 동영상 데이터 중 이용하는 계층을 전환하면서 이동요구 신호에 따른 표시 화상을 화상 프레임마다 생성하는 표시 화상 처리부를 구비하고, 계층 동영상 데이터를 구성하는 계층 중 적어도 하나의 계층의 화상 데이터는, 같은 화상 프레임을 상기 계층보다 낮은 해상도로 표시한 다른 계층의 화상의 확대 화상과의 차분을 나타내는 차분화상의 데이터를 포함하고, 표시 화상 처리부는 표시에 이용하는 데이터가 차분화상의 데이터였을 경우에, 다른 계층의 화상을 확대하여 가산함으로써 화상을 복원하는 것을 특징으로 한다.
본 발명의 또 다른 양태는 동영상 데이터 생성방법에 관한 것이다. 이 동영상 데이터 생성방법은 동영상을 표시하는 화상 처리 장치에서 요구되는 해상도에 따라서 이용하는 계층을 전환하여 표시 화상을 생성하기 위해서, 하나의 동영상을 구성하는 화상 프레임을 다른 해상도로 표시한 복수의 화상열을 해상도순으로 계층화하여 이루어지는 계층 동영상 데이터를 생성하는 동영상 데이터 생성방법으로서, 하나의 해상도로 표시된 화상 프레임열로 이루어지는 동영상 데이터를 기억장치로부터 읽어내는 스텝과, 각 화상 프레임을 단계적으로 축소함으로써 각 계층의 화상 데이터를 화상 프레임마다 생성하는 스텝과, 적어도 하나의 계층의 화상 데이터에, 같은 화상 프레임을 상기 계층보다 낮은 해상도로 표시한 다른 계층의 화상의 확대 화상과의 차분을 나타내는 차분화상의 데이터를 포함시켜서 계층 동영상 데이터를 생성하는 스텝과, 계층 동영상 데이터를 압축 부호화하여 기억장치에 저장하는 스텝을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 양태는 동영상 표시방법에 관한 것이다. 이 동영상 표시방법은 하나의 동영상을 구성하는 화상 프레임을, 다른 해상도로 표시한 복수의 화상열을 해상도순으로 계층화하여 이루어지는 계층 동영상 데이터 중 적어도 일부를 기억장치로부터 읽어내고, 그것을 이용하여 표시장치에 대한 동영상 표시를 개시하는 스텝과, 표시중인 동영상에서의 표시영역의 이동요구 신호를 차례로 취득하는 스텝과, 이동요구 신호에 의해 정해지는 요구 해상도에 따라서 계층 동영상 데이터 중 이용하는 계층을 전환하면서 이동요구 신호에 따른 표시 화상을 화상 프레임마다 생성하는 스텝과, 생성한 표시 화상을 표시장치에 표시하는 스텝을 포함하고, 계층 동영상 데이터를 구성하는 계층 중 적어도 하나의 계층의 화상 데이터는, 같은 화상 프레임을 상기 계층보다 낮은 해상도로 표시한 다른 계층의 화상의 확대 화상과의 차분을 나타내는 차분화상의 데이터를 포함하고, 표시 화상을 생성하는 스텝은 표시에 이용하는 데이터가 차분화상의 데이터였을 경우에 다른 계층의 화상을 확대하여 가산함으로써 화상을 복원하는 스텝을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 양태는 동영상 파일의 데이터 구조에 관한 것이다. 이 데이터 구조는 표시장치에 표시하기 위한 동영상 파일의 데이터 구조로서, 사용자에 의한 표시영역에 따른 조작 입력에 따라서 정해지는 해상도의 범위와, 하나의 동영상을 구성하는 화상 프레임을 다른 해상도로 표시한 복수의 화상열을 해상도순으로 계층화하여 이루어지고, 해상도의 범위에 따라서 계층을 전환하여 이용되는 계층 데이터이며, 적어도 하나의 계층의 화상 데이터가, 같은 화상 프레임을 상기 계층보다 낮은 해상도로 표시한 다른 계층의 화상의 확대 화상과의 차분을 나타내는 차분화상의 데이터를 포함하고, 표시시에 상기 다른 계층의 화상을 확대하여 가산함으로써 화상을 복원하는 계층 데이터를 대응시킨 것을 특징으로 한다.
또한 이상의 구성 요소의 임의의 조합, 본 발명의 표현을 방법, 장치, 시스템, 컴퓨터 프로그램 등의 사이에서 변환한 것도 또한 본 발명의 양태로서 유효하다.
본 발명에 따르면 사용자의 표시영역에 따른 조작 입력에 대하여 원활하게 응답할 수 있는 동영상 표시를 실현할 수 있다.
도 1은 본 실시의 형태에 적용할 수 있는 화상 처리 시스템의 사용환경을 나타내는 도면이다.
도 2는 도 1의 화상 처리 시스템에 적용할 수 있는 입력장치의 외관 구성예를 나타내는 도면이다.
도 3은 본 실시의 형태에 있어서 처리 대상으로 하는 동영상의 계층 데이터를 개념적으로 나타내는 도면이다.
도 4는 본 실시의 형태에 있어서 화상 처리 장치의 구성을 나타내는 도면이다.
도 5는 본 실시의 형태에 있어서 계층구조를 가지는 동영상 데이터를 이용하여 동영상을 표시하는 기능을 가지는 제어부의 구성을 상세하게 나타내는 도면이다.
도 6은 본 실시의 형태에 있어서 계층구조를 가지는 동영상 데이터 중 일부의 계층을 차분화상으로 나타낸 모습을 모식적으로 나타내는 도면이다.
도 7은 본 실시의 형태에 있어서 원래의 화상계층과 차분화상계층의 할당을 전환하는 양태를 설명하기 위한 도면이다.
도 8은 본 실시의 형태에서의 원래의 화상계층과 차분화상계층의 할당 스케줄 예를 나타내는 도면이다.
도 9는 본 실시의 형태에서의 원래의 화상계층과 차분화상계층의 할당 스케줄 예를 나타내는 도면이다.
도 10은 본 실시의 형태에서의 원래의 화상계층과 차분화상계층의 할당 스케줄의 다른 예를 나타내는 도면이다.
도 11은 본 실시의 형태에서의 원래의 화상계층과 차분화상계층의 할당 스케줄의 다른 예를 나타내는 도면이다.
도 12는 본 실시의 형태에 있어서 동영상 프레임의 순서를 그대로 동영상 스트림의 데이터순으로 하는 경우의 동영상 스트림의 구성을 나타내는 도면이다.
도 13은 본 실시의 형태에 있어서 프레임열로부터 같은 종류의 프레임 데이터를 추출하여 모아서 압축하는 경우의 동영상 스트림의 구성을 나타내는 도면이다.
도 14는 본 실시의 형태에 있어서 복수의 계층의 같은 영역을 나타내는 타일 화상의 데이터를 모아서 압축하는 경우의 동영상 스트림의 구성을 나타내는 도면이다.
도 15는 본 실시의 형태에 있어서 압축 동영상 데이터 생성기능을 가지는 제어부 및 하드디스크 드라이브의 구성을 상세하게 나타내는 도면이다.
도 16은 본 실시의 형태에 있어서 압축 동영상 데이터를 생성하는 장치가 동영상의 압축 데이터를 생성하는 처리 순서를 나타내는 순서도이다.
도 17은 본 실시의 형태에 있어서 화상을 표시하는 장치가 동영상을 표시하기 위한 처리 순서를 나타내는 순서도이다.
본 실시의 형태에서는 동영상 표시에 있어서 사용자의 시점이동 요구에 대응한 표시영역의 이동을 가능하게 한다. 여기에서의 시점이동은 화상평면에 시점을 가까이하거나 멀리하는 것을 포함하고, 그것에 따라서 동영상은 재생되면서 확대 및 축소되게 된다. 이러한 양태에 있어서 사용자의 조작에 대하여 좋은 응답성으로 원활하게, 요구된 영역의 동영상을 표시해 가는 것은 해상도의 가변범위를 넓힐수록, 또 화상 사이즈가 커질수록 어려워진다.
그러므로 본 실시의 형태에서는 표시 대상의 동영상 데이터를, 동영상 프레임을 복수의 해상도로 표시해서 해상도순으로 계층화하여 이루어지는 계층구조로 한다. 또 각 계층에서의 프레임을 화상평면에서 공간 분할한 단위로 동영상 스트림 형성한다. 그리고 표시영역의 이동에 따라서 표시에 사용하는 계층 및 동영상 스트림을 전환함으로써 양호한 응답성을 얻는다. 이후, 이러한 계층구조를 가지는 동영상 데이터를 「계층 데이터」라고도 부른다.
먼저 이러한 계층 데이터의 기본적인 표시 양태에 대해서 설명한다. 도 1은 본 실시의 형태를 적용할 수 있는 화상 처리 시스템(1)의 사용환경을 도시한다. 화상 처리 시스템(1)은 화상 처리 소프트웨어를 실행하는 화상 처리 장치(10)와, 화상 처리 장치(10)에 의한 처리 결과를 출력하는 표시장치(12)를 구비한다. 표시장치(12)는 화상을 출력하는 디스플레이 및 음성을 출력하는 스피커를 가지는 텔레비전이어도 된다.
표시장치(12)는 화상 처리 장치(10)에 유선 케이블로 접속되어도 되고, 또 무선 LAN(Local Area Network) 등에 의해 무선접속되어도 된다. 화상 처리 시스템(1)에 있어서 화상 처리 장치(10)는 케이블(14)을 통해서 인터넷 등의 외부 네트워크에 접속하고, 동영상 데이터를 다운로드하여 취득해도 된다. 또한 화상 처리 장치(10)는 무선통신에 의해 외부 네트워크에 접속해도 된다.
화상 처리 장치(10)는 예를 들면 게임 장치나 퍼스널 컴퓨터여도 되고, 화상 처리용의 애플리케이션 프로그램을 로드함으로써 화상 처리 기능을 실현해도 된다. 화상 처리 장치(10)는 사용자로부터의 시점이동요구에 따라서 표시장치(12)의 디스플레이에 표시하는 동영상의 확대/축소 처리나, 상하좌우 방향에 대한 스크롤 처리 등을 실시한다. 이후, 이러한 확대/축소를 포함시킨 표시영역의 변경을 「표시영역의 이동」이라고 표현한다. 사용자가 디스플레이에 표시된 화상을 보면서 입력장치를 조작하면, 입력장치가 표시영역 이동요구 신호를 화상 처리 장치(10)에 송신한다.
도 2는 입력장치(20)의 외관 구성예를 도시한다. 입력장치(20)는 사용자가 조작가능한 조작수단으로서 십자키(21), 아날로그 스틱(27a, 27b)과, 4종의 조작 버튼(26)을 구비한다. 4종의 조작 버튼(26)은 ○버튼(22), ×버튼(23), □버튼(24) 및 △버튼(25)으로 구성된다.
화상 처리 시스템(1)에 있어서 입력장치(20)의 조작수단에는 표시 화상의 확대/축소 요구, 및 상하좌우 방향에 대한 스크롤 요구를 입력하기 위한 기능이 할당되어 있다. 예를 들면 표시 화상의 확대/축소 요구의 입력 기능은 오른쪽의 아날로그 스틱(27b)에 할당된다. 사용자는 아날로그 스틱(27b)을 본인에게 가까운 쪽으로 당김으로써 표시 화상의 축소 요구를 입력할 수 있고, 또 본인에게 가까운 쪽으로부터 밂으로써 표시 화상의 확대 요구를 입력할 수 있다.
또 스크롤 요구의 입력 기능은 십자키(21)에 할당된다. 사용자는 십자키(21)를 누름으로써 십자키(21)를 누른 방향에 대한 스크롤 요구를 입력할 수 있다. 또한 표시영역 이동요구의 입력 기능은 다른 조작수단에 할당되어도 되고, 예를 들면 아날로그 스틱(27a)에 스크롤 요구의 입력 기능이 할당되어도 된다.
입력장치(20)는 입력된 표시영역 이동요구의 신호를 화상 처리 장치(10)에 전송하는 기능을 가지고, 본 실시의 형태에서는 화상 처리 장치(10)와의 사이에서 무선통신가능하게 구성된다. 입력장치(20)와 화상 처리 장치(10)는 Bluetooth(블루투스)(등록상표) 프로토콜이나 IEEE 802.11 프로토콜 등을 이용하여 무선접속을 확립해도 된다. 또한 입력장치(20)는 화상 처리 장치(10)와 케이블을 통해서 접속하여 표시영역 이동요구의 신호를 화상 처리 장치(10)에 전송해도 된다.
또 입력장치(20)는 도 2에 도시한 것에 한하지 않고 사용자가 조작하는 키보드, 터치패널, 버튼, 대상물의 이미지를 촬영하는 카메라, 음성을 취득하는 마이크 등, 사용자의 의사나 대상물의 움직임 등을 전자적인 정보로서 취득할 수 있는 인터페이스면 그 종류나 외관은 한정되지 않는다.
도 3은 본 실시의 형태에 있어서 처리 대상으로 하는 동영상의 계층 데이터를 개념적으로 도시하고 있다. 계층 데이터는 도면의 위에서부터 아래로 향하는 z축방향으로, 제0계층(30), 제1계층(32), 제2계층(34) 및 제3계층(36)로 이루어지는 계층구조를 가진다. 또한 이 도면에 있어서는 4계층만 도시하고 있지만, 계층수는 이에 한정되지 않는다. 상술한 대로 각 계층은 1개의 동영상을 다른 해상도로 표시한 동영상 데이터, 즉 복수의 화상 프레임을 시계열(時系列)순으로 정렬한 데이터로 구성된다. 이 도면에 있어서는 각 계층을 4장의 화상 프레임으로 상징적으로 나타내고 있지만 화상 프레임의 수는 동영상의 재생 시간이나 프레임 레이트에 따라서 당연히 다르다.
계층 데이터는 예를 들면 쿼드트리(quadtree)의 계층구조를 가지고 각 계층을 구성하는 화상 프레임을, 동일 사이즈를 가지는 「타일 화상」으로 분할한 경우, 제0계층(30)은 1개의 타일 화상, 제1계층(32)은 2×2개의 타일 화상, 제2계층(34)은 4×4개의 타일 화상, 제3계층은 8×8개의 타일 화상 등이 된다. 이때 제N계층의 해상도(N은 0 이상의 정수)는 화상평면 위에서 좌우(X축)방향, 상하(y축)방향 모두 제(N+1)계층의 해상도의 1/2이 된다. 계층 데이터는 최고 해상도를 가지는 제3계층(36)의 동영상을 바탕으로 화상 프레임을 복수단계로 축소하는 등 하여 생성할 수 있다.
동영상 표시시의 시점좌표 및 그것에 대응하는 표시영역은 도 3에 도시하는 바와 같이 화상의 좌우방향을 나타내는 X축, 상하방향을 나타내는 y축, 해상도를 나타내는 z축으로 이루어지는 가상적인 3차원 공간으로 나타낼 수 있다. 또한 상술한 대로 본 실시의 형태에서는 복수의 화상 프레임이 줄지어 있는 동영상 데이터를 계층으로서 준비하기 때문에 실제로 표시되는 화상은 재생이 개시되고 나서의 시간에도 의존하여 이 도면에서는 계층마다 시간축 t를 나타내고 있다.
화상 처리 장치(10)는 기본적으로는 시간축 t를 따라서 어느 하나의 계층의 화상 프레임을 소정의 프레임 레이트로 순차적으로 묘화해 간다. 예를 들면 제0계층(30)의 해상도의 동영상을 기준화상으로서 표시한다. 그 과정에서 입력장치(20)로부터 표시영역 이동요구 신호가 공급되면 상기 신호로부터 표시 화상의 변경량을 도출하고 그 변경량을 이용하여 다음 프레임의, 가상 공간에서의 네 코너의 좌표(프레임 좌표)를 도출한다. 그리고 상기 프레임 좌표에 대응하는 화상 프레임을 묘화한다. 이때, z축에 대하여 계층의 전환 경계를 마련해 둠으로써 프레임 좌표의 z의 값에 따라서 적절하게 프레임 묘화에 이용하는 동영상 데이터의 계층을 전환한다.
또한 가상 공간에서의 프레임 좌표 대신에 화상 처리 장치(10)는 계층을 특정하는 정보와 그 계층에서의 텍스처 좌표(UV좌표)를 도출해도 된다. 이하 계층 특정 정보 및 텍스처 좌표의 조합도 프레임 좌표라고 부른다.
화상 처리 장치(10)에 있어서 계층 데이터는 타일 화상의 단위로 압축된 상태로 유지되어 있다. 그리고 프레임 묘화에 필요한 데이터가 읽혀서 디코드된다. 또한 도 3은 계층 데이터를 개념적으로 나타낸 것으로서 데이터의 저장순서나 포맷을 한정하는 것이 아니다. 예를 들면 계층 데이터의 가상 공간에서의 위치 및 프레임 번호와 실제 동영상 데이터의 저장 영역이 대응되어 있으면 동영상 데이터는 임의의 영역에 저장할 수 있다.
도 4는 화상 처리 장치(10)의 구성을 나타내고 있다. 화상 처리 장치(10)는 무선 인터페이스(40), 스위치(42), 표시 처리부(44), 하드디스크 드라이브(50), 기록 매체 장착부(52), 디스크 드라이브(54), 메인 메모리(60), 버퍼 메모리(70) 및 제어부(100)를 가지고 구성된다. 표시 처리부(44)는 표시장치(12)의 디스플레이에 표시하는 데이터를 버퍼하는 프레임 메모리를 가진다.
스위치(42)는 이더넷(Ethernet) 스위치(이더넷은 등록상표)로서 외부의 기기와 유선 또는 무선으로 접속하여 데이터의 송수신을 실시하는 디바이스이다. 스위치(42)는 케이블(14)을 통해서 외부 네트워크에 접속하여 화상 서버로부터 동영상 데이터를 수신할 수 있도록 구성된다. 또 스위치(42)는 무선 인터페이스(40)에 접속하고, 무선 인터페이스(40)는 소정의 무선통신 프로토콜로 입력장치(20)와 접속한다. 입력장치(20)에 있어서 사용자로부터 입력된 표시영역 이동요구의 신호는 무선 인터페이스(40), 스위치(42)를 경유하여 제어부(100)에 공급된다.
하드디스크 드라이브(50)는 데이터를 기억하는 기억장치로서 기능한다. 동영상 데이터는 하드디스크 드라이브(50)에 저장되어도 된다. 기록 매체 장착부(52)는 메모리 카드 등의 리무버블 기록 매체가 장착되면 리무버블 기록 매체로부터 데이터를 읽어낸다. 디스크 드라이브(54)는 읽기전용의 ROM 디스크가 장착되면 ROM 디스크를 구동하여 인식하고 데이터를 읽어낸다. ROM 디스크는 광디스크나 광자기 디스크 등이어도 된다. 동영상 데이터는 이들의 기록 매체에 저장되어 있어도 된다.
제어부(100)는 멀티 코어 CPU를 구비하고, 1개의 CPU 안에 1개의 범용적인 프로세서 코어와 복수의 심플한 프로세서 코어를 가진다. 범용 프로세서 코어는 PPU(Power Processing Unit)라고 불리고, 나머지 프로세서 코어는 SPU(Synergistic-Processing Unit)라고 불린다. 제어부(100)는 또한 GPU(Graphics Processing Unit)를 구비하고 있어도 된다.
제어부(100)는 메인 메모리(60) 및 버퍼 메모리(70)에 접속하는 메모리 컨트롤러를 구비한다. PPU는 레지스터를 가지고 연산 실행 주체로서 메인 프로세서를 구비하고, 실행하는 어플리케이션에서의 기본 처리 단위로서의 태스크를 각 SPU에 효율적으로 할당한다. 또한 PPU 자체가 태스크를 실행해도 된다. SPU는 레지스터를 가지고 연산 실행 주체로서의 서브 프로세서와 로컬적인 기억 영역으로서의 로컬 메모리를 구비한다. 로컬 메모리는 버퍼 메모리(70)로서 사용되어도 된다.
메인 메모리(60) 및 버퍼 메모리(70)는 기억장치이며 RAM(랜덤 액세스 메모리)로서 구성된다. SPU는 제어 유닛으로서 전용의 DMA(Direct Memory Access)컨트롤러를 가지고 메인 메모리(60)와 버퍼 메모리(70) 사이의 데이터 전송을 고속으로 실시할 수 있으며, 또 표시 처리부(44)에서의 프레임 메모리와 버퍼 메모리(70) 사이에서 고속 데이터 전송을 실현할 수 있다. 본 실시의 형태의 제어부(100)는 복수의 SPU를 병렬 동작시킴으로써 고속 화상 처리 기능을 실현한다. 표시 처리부(44)는 표시장치(12)에 접속되어서 사용자로부터의 요구에 따른 화상 처리 결과를 출력한다.
화상 처리 장치(10)는 표시 화상의 확대/축소 처리나 스크롤 처리를 순조롭게 실시하기 위해서 현재 표시되어 있는 프레임에 대하여 공간적, 시간적으로 근접한 동영상 데이터를 차례로 하드디스크 드라이브(50)로부터 메인 메모리(60)에 로드해 둔다. 또 메인 메모리(60)에 로드한 동영상 데이터의 일부를 디코드하여 버퍼 메모리(70)에 저장해둔다. 이로 인해 동영상 재생을 진척시키면서 표시영역을 원활하게 이동시키는 것이 가능해 진다. 이때 로드나 디코드의 대상이 되는 데이터는 그때까지의 표시영역의 이동 방향에 기초하여 이후 필요해질 영역을 예측함으로써 결정해도 된다.
도 3에 도시하는 계층 데이터에 있어서, z축방향에서의 위치는 해상도를 나타내고, 제0계층(30)에 가까운 위치일수록 해상도가 낮고, 제3계층(36)에 가까운 위치일수록도 해상도는 높다. 디스플레이에 표시되는 화상의 크기에 주목하면, z축방향에서의 위치는 축척률(縮尺率)에 대응하여 제3계층(36)의 표시 화상의 축척률을 1로 하면, 제2계층(34)에서의 축척률은 1/4, 제1계층(32)에서의 축척률은 1/16, 제0계층(30)에서의 축척률은 1/64이 된다.
따라서 z축방향에 있어서 표시 화상이 제0계층(30)측에서 제3계층(36)측으로 향하는 방향으로 변화할 경우 표시 화상은 확대되고, 제3계층(36)측에서 제0계층(30)측으로 향하는 방향으로 변화할 경우 표시 화상은 축소된다. 예를 들면 표시 화상의 축척률이 제2계층(34)의 근방에 있는 경우 표시 화상은 제2계층(34)의 동영상 데이터를 이용하여 작성된다.
구체적으로는 상술한 대로 각 계층의 중간의 축척률 등에 각각 전환 경계를 마련한다. 예를 들면 표시하는 화상의 축척률이 제1계층(32)과 제2계층(34) 사이의 전환 경계와, 제2계층(34)과 제3계층(36) 사이의 전환 경계 사이에 있는 경우에 제2계층(34)의 화상 데이터를 이용하여 프레임을 묘화한다. 이때 제1계층(32)과 제2계층(34) 사이의 전환 경계와, 제2계층(34) 사이의 축척률에서는 제2계층(34)의 화상 프레임을 축척하여 표시한다. 제2계층(34)과 제3계층(36) 사이의 전환 경계와, 제2계층(34) 사이의 축척률에서는 제2계층(34)의 화상 프레임을 확대하여 표시한다.
한편 표시영역 이동요구 신호로부터 예측되는 장래 필요한 영역을 특정하여 디코드할 경우는 각 계층의 축척률 등을 예측 경계(prefetch boundary)로서 설정해 둔다. 예를 들면 표시영역 이동요구 신호에 의한 요구 축척률이 제2계층(34)의 축척률을 넘었을 때 등에 축소 방향에 있는 제1계층(32)의 동영상 데이터 중 적어도 일부를 하드디스크 드라이브(50) 또는 메인 메모리(60)로부터 예측하여 디코드하고 버퍼 메모리(70)에 기록한다.
화상의 상하좌우방향의 예측 처리에 대해서도 마찬가지이다. 구체적으로는 버퍼 메모리(70)에 전개되어 있는 화상 데이터에 예측 경계를 설정해 두고, 화상변경 요구 신호에 의한 표시 위치가 예측 경계를 넘었을 때에 예측 처리가 개시되도록 한다. 이렇게 함으로써 사용자의 표시영역 이동의 요구에 따라서 원활하게 해상도 및 표시 위치를 변화시키면서 동영상 재생도 진행해가는 양태를 실현할 수 있다.
도 5는 본 실시의 형태에 있어서 계층구조를 가지는 동영상 데이터를 이용하여 동영상을 표시하는 기능을 가지는 제어부(100a)의 구성을 상세하게 도시하고 있다. 제어부(100a)는 입력장치(20)로부터 사용자가 입력한 정보를 취득하는 입력 정보 취득부(102), 새롭게 표시해야 할 영역의 프레임 좌표를 결정하는 프레임 좌표 결정부(110), 새롭게 로드해야 할 영역의 동영상 데이터를 결정하는 로드 영역 결정부(106), 필요한 영역의 동영상 데이터를 하드디스크 드라이브(50)로부터 로드하는 로드부(108)를 포함한다. 제어부(100a)는 또한 동영상 데이터를 디코드하는 디코드부(112), 및 화상 프레임을 묘화하는 표시 화상 처리부(114)를 포함한다.
도 5 및 후술하는 도 15에 있어서 다양한 처리를 실시하는 기능 블록으로서 기재되는 각 요소는 하드웨어적으로는 CPU(Central Processing Unit), 메모리, 그 밖의 LSI로 구성할 수 있고, 소프트웨어적으로는 메모리에 로드된 프로그램 등에 의해서 실현된다. 이미 기술한 바와 같이 제어부(100)는 1개의 PPU와 복수의 SPU를 가지고 PPU 및 SPU가 각각 단독 또는 협동하여 각 기능 블록을 구성할 수 있다. 따라서 이들의 기능 블록이 하드웨어만, 소프트웨어만, 또는 그들의 조합에 의해서 여러가지 형태로 실현할 수 있는 것은 당업자에게는 이해되는 부분이며 어느 하나에 한정되는 것이 아니다.
입력 정보 취득부(102)는 사용자가 입력장치(20)에 대하여 입력한 동영상 재생의 개시/종료, 표시영역의 이동 등의 요구 내용을 취득하여 프레임 좌표 결정부(110)에 통지한다. 프레임 좌표 결정부(110)는 현재 표시영역의 프레임 좌표와 사용자가 입력한 표시영역 이동요구 신호에 따라서 후속의 프레임 표시 시각으로 새롭게 표시해야 할 영역의 프레임 좌표를 결정하고, 로드 영역 결정부(106), 디코드부(112), 표시 화상 처리부(114)에 통지한다.
로드 영역 결정부(106)는 프레임 좌표 결정부(110)로부터 통지된 프레임 좌표에 기초하여 하드디스크 드라이브(50)로부터 새롭게 로드해야 할 동영상 데이터를 특정하고 로드부(108)에 로드 요구를 발행한다. 본 실시의 형태에서는 상술한 대로 각 계층의 프레임열을 타일 화상단위로 독립한 동영상 스트림으로 한다. 결과로서 기본적으로 계층마다 타일 화상의 개수분의 동영상 스트림이 형성된다. 혹은 후술하는 바와 같이 복수 계층이 같은 영역을 나타내는 데이터나 복수의 타일 화상을 1개의 동영상 스트림에 섞어놓아도 된다.
동영상 데이터에는 타일 화상의 계층 및 위치를 나타내는 식별번호와 동영상 스트림 데이터 본체의 식별번호를 대응시킨 정보를 부가해 두고 동영상 재생 개시시에 메인 메모리(60)에 로드해 둔다. 로드 영역 결정부(106)는 프레임 좌표에 기초하여 그 정보를 참조해서 필요한 영역의 동영상 스트림의 식별번호를 취득한다. 그리고 해당하는 동영상 스트림의 데이터가 로드되어 있지 않으면 로드부(108)에 로드 요구를 발행한다. 또 프레임 좌표가 변화하지 않을 경우에도 동영상의 진척에 따라서 차례로 필요한 동영상 스트림의 데이터가 로드되도록 요구한다. 동영상 스트림을 시간방향으로 분할해 두고 분할 후의 단위로 로드하도록 해도 된다.
로드 영역 결정부(106)는 그 시점의 프레임 묘화에 필요한 동영상 스트림 외에, 이후 필요하다고 예측되는 동영상 스트림을 먼저 말한 예측 처리 등에 의해 특정하고 로드부(108)에 로드 요구를 발행해도 된다. 로드부(108)는 로드 영역 결정부(106)로부터의 요구에 따라서 하드디스크 드라이브(50)로부터의 동영상 스트림의 로드 처리를 실시한다. 구체적으로는 로드해야 할 동영상 스트림의 식별번호로부터 하드디스크 드라이브(50)에서의 저장 영역을 특정하고 상기 저장 영역으로부터 읽어낸 데이터를 메인 메모리(60)에 저장한다.
디코드부(112)는 각 시각의 프레임 좌표에 기초하여 메인 메모리(60)로부터 필요한 동영상 스트림의 데이터를 읽어내어 디코드하고 버퍼 메모리(70)에 차례로 저장해간다. 디코드 대상은 동영상 스트림 단위면 되고, 프레임 좌표 결정부(110)가 결정한 프레임 좌표의 영역이 복수의 동영상 스트림에 걸치는 경우는 상기 복수의 동영상 스트림을 디코드해 간다.
본 실시의 형태에서는 후술하는 바와 같이 계층 데이터 중 일부의 계층 데이터를, 그것보다 상층 계층의 확대 화상과의 차분값을 나타내는 차분화상으로 유지함으로써 계층 데이터의 데이터 사이즈를 작게 한다. 그렇기 때문에 디코드부(112)는 또한 디코드한 화상이 차분화상이었을 경우, 차분을 얻기 위해서 이용한 상층 계층의 화상을 디코드하고 확대한 후 디코드 후의 차분화상에 가산함으로써 본래의 화상 데이터로 되돌려서 버퍼 메모리(70)에 저장한다. 표시 화상 처리부(114)는 각 시각의 프레임 좌표에 기초하여 버퍼 메모리(70)로부터 대응하는 데이터를 읽어내고 표시 처리부(44)의 프레임 메모리에 묘화해 간다.
하나의 동영상 재생 중에 확대 축소를 포함하여 표시영역의 이동을 허가하는 양태에 있어서는 모든 동영상 스트림이 시간축을 공유하고, 이용되는 동영상 스트림을 전환했는지 여부에 관계없이 균일하게 프레임 묘화가 진척되는 것이 바람직하다. 그러므로 상술한 대로 한 번의 표시에 필요한 영역이나 그 후에 필요하다고 예측되는 동영상 스트림을 우선적으로 로드, 디코드하여 프레임 묘화까지 필요한 처리의 효율을 향상시킨다. 또 후술하는 바와 같이 동영상 스트림의 구성을 고안함으로써 어느 타이밍에 표시에 이용하는 동영상 스트림이 전환되어도 적은 레이턴시로 프레임 표시가 개시되도록 한다.
이상에 말한 구성으로 함으로써 1프레임이 기가 픽셀의 오더를 가지는 큰 사이즈의 동영상이어도 전체를 보거나 일부의 영역을 확대하는 것을 자유로우면서 원활하게 실시할 수 있다. 또한 동영상을 계층구조로 준비해 둠으로써 디스플레이의 해상도나 표시 사이즈, 장치의 처리 성능 등에 따라서 적절한 계층을 선택함으로써 표시장치에 상관없이 마찬가지 외관으로 동영상을 표시할 수 있다.
여기에서 동영상의 계층 데이터에 포함되는 다른 계층의 같은 시각의 화상은 해상도가 다른지만 그 내용은 같기 때문에, 계층 데이터는 항상 계층 사이에 용장성(冗長性;redundancy)을 가진다는 성질이 있다. 그러므로 본 실시의 형태에서는 상술한 바와 같이 일부의 계층 데이터를, 그것보다 고계층의 화상을 확대한 화상과의 차분화상의 데이터로 한다. 상기 계층 데이터의 성질을 감안하면 계층 사이에서 차분을 이용함으로써 데이터 사이즈를 현저하게 경감시킬 수 있다.
도 6은 계층구조를 가지는 동영상 데이터 중 일부의 계층을 차분화상으로 나타낸 모습을 모식적으로 도시하고 있다. 이 도면의 예에서는 제0계층(30) 및 제2계층(34)이 본래의 화상 데이터를 유지하고, 제1계층(32)과 제3계층(36)이 차분화상의 데이터를 유지하고 있어서 본래의 화상 데이터를 희게, 차분화상의 데이터를 음영으로 나타내고 있다. 이후의 설명에서는 본래의 화상 데이터를 유지하는 계층을 「원래의 화상계층」, 차분화상 데이터를 유지하는 계층을 「차분화상계층」이라고 부른다.
여기에서 제3계층(36)의 해상도로 영역(120)을 표시하는 경우는 제3계층(36)이 유지하는 영역(120)의 차분화상에, 제2계층(34)이 유지하는, 대응하는 영역(122)의 화상을 제3계층(36)의 해상도까지 확대하여 각 화소값을 가산한다. 이 도면의 경우 제3계층(36)의 해상도는 제2계층(34)의 2×2배이기 때문에 영역(122)의 화상을 2×2배 한다. 확대에는 최근접법(nearest neighbor method), 바이리니어법(bilinear method), 바이큐빅법(bicubic method) 등 일반적인 보간(補間) 수법을 채용하면 된다.
이러한 데이터 구성으로 함으로써 전체적인 데이터 사이즈를 경감할 수 있는 것 이외에 표시에 이르기까지 데이터가 통과하는 전송 경로, 즉 화상 처리 장치(10)에서의 내부 버스나 화상 서버와 접속하는 네트워크 등에 있어서 필요한 대역폭을 억제할 수 있다. 이것은 표시하고 싶은 해상도의 본래의 화상 데이터 사이즈와 비교하여, 상기 해상도의 차분화상의 데이터와 그것보다 해상도가 낮은 계층의 본래 화상의 데이터를 합한 데이터 사이즈쪽이 작아지기 때문이다.
도 6의 예에서는 원래의 화상계층과 차분화상계층의 할당을 고정으로 하고 있었다. 이 경우, 상기한 바와 같이 차분화상계층의 해상도로 화상을 표시할 때는 비트 레이트가 작아지기 때문에 데이터의 전송에 필요로 하는 대역폭을 절약할 수 있다. 한편 원래의 화상계층의 해상도로 화상을 표시하고 있는 기간에 있어서는 차분화상계층을 마련하지 않는 경우와 같은 비트 레이트가 되어서 대역폭 삭감 효과가 얻어지지 않는다. 어느 계층을 이용한 해상도여도 변함없이 원활한 표시를 실시하기 위해서는 최대 비트 레이트에 맞춘 대역폭을 확보할 필요가 있기 때문에 이러한 양태에서는 확보해야 할 대역폭을 경감하는 것에는 연결되기 어렵다.
그러므로 원래의 화상계층과 차분화상계층의 할당을 소정의 규칙으로 전환함으로써 비트 레이트를 평균화하고, 전환 기간보다 긴 스팬으로 봤을 때의 전송 데이터 사이즈를 억제하여 전송에 필요한 대역폭을 경감시킨다. 도 7은 원래의 화상계층과 차분화상계층의 할당을 전환하는 양태를 설명하기 위한 도면이다. 이 도면에 있어서 가로축이 동영상 위의 시간축을 나타내고 있고, 시각 t1, t2, t3일 때의 각 프레임만으로 이루어지는 계층 데이터의 구성을 각각 나타내고 있다.
먼저 시각 t1의 프레임을 나타내는 계층 데이터에서는 제0계층(30) 및 제2계층(34)을 원래의 화상계층으로 하고, 제1계층(32) 및 제3계층(36)을 차분화상계층으로 하고 있다. 이 경우, 제1계층(32)의 해상도의 화상은 제1계층(32)의 차분화상과 제0계층(30)의 본래의 화상을 가산함으로써 얻어진다. 또 제3계층(36)의 해상도의 화상은 제3계층(36)의 차분화상과 제2계층(34)의 본래의 화상을 가산함으로써 얻어진다.
시각 t1보다 나중인 시각 t2의 프레임을 나타내는 계층 데이터에서는 제0계층(30), 제1계층(32), 및 제3계층(36)을 원래의 화상계층으로하고, 제2계층(34)을 차분화상계층으로 하고 있다. 이 경우, 제2계층(34)의 해상도의 화상은 제2계층(34)의 차분화상과 제1계층(32)의 본래의 화상을 가산함으로써 얻어진다. 더 나중인 시각 t3의 프레임을 나타내는 계층 데이터는 시각 t1의 때와 같은 할당으로 되어 있다.
예를 들면 시각 t1의 프레임 중, 제3계층(36)의 해상도로 영역(124a)을 표시하는 경우, 영역(124a)의 차분화상의 데이터와, 제2계층(34)의 본래의 화상 중 대응하는 영역(126a)의 화상 데이터를 필요로 한다. 시간의 경과와 함께 프레임이 진행됨과 동시에 표시영역이 이동하고, 시각 t2의 프레임 중 제3계층(36)의 해상도로 영역(124b)을 표시한다고 한다. 이 경우, 제3계층(36)은 본래 화상의 데이터이기 때문에 상기 영역(124b)의 데이터만을 필요로 한다. 또한 시간이 경과하여 시각 t3의 프레임 중 제3계층(36)의 해상도로 영역(124c)을 표시하는 경우, 영역(124c)의 차분화상의 데이터와, 제2계층(34)의 본래 화상 중 대응하는 영역(126b)의 화상 데이터를 필요로 한다.
결과적으로 이 도면 하단에 도시하는 바와 같이 시각 t1, t2, t3의 프레임 중 제3계층(36)의 해상도로 영역(124a, 124b, 124c)을 각각 표시시키기 위해서는 제3계층(36)의 차분화상과 제2계층(34)의 본래 화상의 세트로 이루어지는 데이터(128a), 제3계층(36)의 본래 화상의 데이터(128b), 제3계층(36)의 차분화상과 제2계층(34)의 본래 화상의 세트로 이루어지는 데이터(128c)를 순차적으로 읽어내게 된다.
이렇게 원래의 화상계층과 차분화상계층을 시간적으로 전환하는 구성으로 함으로써 본래 화상의 데이터(128b)와 같은 사이즈가 큰 데이터가 계속해서 전송되는 확률을 낮게 하여, 단위시간당 전송해야 할 데이터의 사이즈, 즉 비트 레이트를 억제할 수 있다. 또한 이 도면에서는 이해를 쉽게 하기 위해서 표시 대상을 제3계층(36)의 해상도로 고정했지만 표시 대상의 계층을 도중에 변화시켜도 마찬가지 효과가 얻어진다.
도 8부터 도 11은 원래의 화상계층과 차분화상계층의 할당 스케줄 예를 도시하고 있다. 이들의 도면에 있어서 가로축은 시간경과를 나타내고 있고, 제0계층, 제1계층, 제2계층, ···을 각각 「Lv0」, 「Lv1」, 「Lv2」, ···로 하는 계층 데이터에서의 할당의 시간변화를, 원화상계층의 기간을 희게, 차분화상계층의 기간을 음영의 직사각형으로 나타내고 있다. 1개의 직사각형으로 표시되는 기간에는 1개 이상의 프레임이 표시된다.
도 8은 계층 데이터 전체에 걸쳐서 할당을 전환하는 타이밍을 공유하는 경우를 도시하고 있다. 또한 제0계층 Lv0은 그것보다 위의 계층이 없기 때문에 상시 원래의 화상계층(152)으로 한다. 이후의 예도 마찬가지이다. 도 8의 예에서는 시각 T0, T1, T2, T3, T4, T5, T6의 타이밍에 1개 이상의 계층에 있어서 전환이 실시되고 있다. 즉 시각 T0에서 T1의 기간에 있어서 제0계층 Lv0, 제2계층 Lv2가 원래의 화상계층(152, 156), 제1계층 Lv1, 제3계층 Lv3, 제4계층 Lv4가 차분화상계층(154, 160, 162)이었던 것을, 시각 T1에 있어서 제2계층 Lv2를 차분화상계층(164)으로, 제3계층 Lv3을 원래의 화상계층(166)으로 전환하고 있다.
시각 T2에서는 제1계층 Lv1 및 제4계층 Lv4를 원래의 화상계층(168, 170)으로, 제3계층 Lv3을 차분화상계층(172)으로 전환하고 있다. 시각 T3에서는 제1계층 Lv1 및 제4계층 Lv4를 차분화상(174, 176)으로, 제2계층 Lv2를 원래의 화상계층(178)으로 전환하고 있다. 이러한 전환을 이후의 시간에서도 반복한다. 그러면 제0계층 Lv0을 제외하면, 원래의 화상계층이 각 시각에서 제1계층 Lv1→제2계층 Lv2→제3계층 Lv3→제4계층 Lv4로 전환되고, 그 이외의 계층은 차분화상계층이 된다.
또한 도 8에서 도시한 양태는 원래의 화상계층이 되는 계층과 차분화상계층이 되는 계층의 조합이 전 계층에 공통의 타이밍에 변화되면 같은 시기에 원래의 화상계층이 되는 계층수, 차분화상이 되는 계층수, 및 그들의 배치는 이 도면에 도시한 것이 아니어도 된다. 도 8의 예에서는 어느 기간에 있어서도 차분화상계층이 상하로 연속하게 된다. 예를 들면 시각 T2에서 T3의 기간에서는 상하로 연속한 계층, 제2계층 Lv2 및 제3계층 Lv3이 차분화상계층(179, 172)이다.
이렇게 연속하는 2개 이상의 계층이 같은 시기에 차분화상계층이 되는 할당으로 하는 경우, 항상 바로 위의 계층으로부터의 차분을 가지고 차분화상으로 해도 되고, 원래의 화상계층까지 거슬러 올라가서 본래 화상과의 차분을 가지고 차분화상으로 해도 된다. 전자의 경우, 바로 위의 계층이 원래의 화상계층이 아닌 한 차분화상의 차분화상을 유지하는 것이기 때문에 원래의 화상계층에서 계층이 아래가 될수록 화상을 원래로 되돌리기 위해서 필요한 계층수 및 가산 처리가 늘어나게 되지만 데이터 사이즈는 작아진다.
후자의 경우, 화상을 원래로 되돌리기 위한 계층수 및 가산 처리는 일정하지만, 원래의 화상계층에서 계층이 아래가 될수록 차분값이 커지기 때문에 전자와 비교하여 데이터 사이즈가 커진다. 어느 쪽의 차분화상으로 할지는 동영상의 내용, 표시장치의 처리 능력, 사용할 수 있는 전송 대역 등을 감안하여 선택한다. 또 연속한 계층에 차분화상계층을 할당하지 않도록 스케줄을 결정해도 된다.
도 8에서의 전환의 시각 T0∼T6은 등간격으로 해도 된다. 이 경우, 소정의 프레임수마다, 예를 들면 8프레임마다 적어도 어느 하나의 계층에 있어서 전환이 실시되게 된다. 이 경우, 차분화상계층을 프레임 단위로 미리 확정할 수 있기 때문에 동영상 표시시에 묘화에 필요한 계층의 특정이나 가산 처리의 필요, 불필요 등을 용이하게 결정할 수 있어서 제어를 단순화할 수 있다.
혹은 전환 시각 증 적어도 어느 하나를 동영상의 특성에 따라서 결정해도 된다. 예를 들면 장면이 전환되는 타이밍을 동영상 데이터에 넣어진 장면 체인지 정보를 참조하여 특정하고 그 전후의 프레임 사이에서 전환한다. 장면 체인지 정보 대신에 차분이 큰 프레임 사이에서 전환해도 된다. 후술하는 바와 같이 프레임간 예측 부호화 등 압축 부호화에 의해서 프레임간에 의존성을 가지게 하는 경우에는 시간방향의 용장성이 낮은 프레임 사이에서 전환하면 좋다.
전환의 타이밍은 이들 외에 데이터 사이즈의 적산량에 따라서 결정해도 된다. 즉, 제0계층 Lv0 이외의 계층 중 어느 하나의 계층에서 전환 후부터의 프레임 데이터 사이즈의 적산량이 소정의 임계치에 도달했을 때를 다음 전환 시각으로 한다. 화상의 크기는 계층에 따라서 다르지만 실제로 전송되는 데이터는 계층에 상관없이 같은 정도의 수의 타일 화상이기 때문에 여기에서 적산량을 산출하는 데이터 사이즈는 타일 화상의 면적 등 단위면적당으로 환산한 값으로 한다. 이 경우, 차분화상은 그 데이터 사이즈가 작기 때문에 전환 시각은 실질적으로 원래의 화상계층이 유지하는 본래 화상의 데이터 사이즈로 결정한다. 이렇게 실제 데이터 사이즈에 기초하여 전환 시각을 결정함으로써 비트 레이트가 높은 데이터의 전송을 효율적으로 분산시킬 수 있다.
즉, 이와 같이 전환 시각을 결정한다는 것은 본래 화상의 비트 레이트가 높을수록 전환 빈도를 높게 하고 있는 것이 틀림없다. 비트 레이트가 높은 데이터를 계속해서 전송시키면 대역에 여유가 없는 상태가 이어지기 때문에 결과로서 상시 원활한 전송을 실시하기 위해서는 넓은 대역폭이 필요하게 된다. 상기한 대로 비트 레이트가 높은 화상일수록 전환을 빨리 함으로써 대역에 정상적으로 여유분을 만들어 두고 상기 여유분을 이용하여 비트 레이트가 높은 데이터를 송신하도록 한다.
또 비트 레이트가 그다지 높지 않고 본래 화상의 데이터를 전송할 경우여도 대역이 쉽게 타이트하게 되지 않는 화상은 전환 빈도를 작게 함으로써 화상표시시의 처리 내용의 전환 빈도를 작게 하여 제어를 용이하게 한다. 이렇게 함으로써 보다 직접적이면서 효율적으로 전송에 필요한 대역폭을 절감할 수 있다.
도 9는 계층 데이터의 계층을 구분하여 이루어지는 그룹마다 전환의 타이밍을 공유하는 경우를 도시하고 있다. 이 도면의 예에서는 제1계층 Lv1과 제2계층 Lv2, 제3계층 Lv3과 제4계층 Lv4, 제5계층 Lv5와 제6계층 Lv6과 같이 상하에 위치하는 2개의 계층을 각각 1그룹(그룹(180a, 180b, 180c))으로 하고, 그룹 내에서 전환의 타이밍을 공유하고 있다. 그리고 그룹에 속하는 2개의 계층에 대하여 원래의 화상계층과 차분화상계층을 교대로 할당한다.
예를 들면 그룹(180a)에 있어서 시각 T0에서 T1의 사이는 제1계층 Lv1이 원래의 화상계층(182), 제2계층 Lv2가 차분화상계층(184), 시각 T1에서 T2의 사이는 반대로 제1계층 Lv1이 차분화상계층(186), 제2계층 Lv2가 원래의 화상계층(188), 또한 시각 T2에서 T3의 사이는 제1계층 Lv1이 원래의 화상계층(190), 제2계층 Lv2가 차분화상계층(192), ···와 같이 각 전환 시각에 원래의 화상계층과 차분화상계층을 바꾼다. 그 밖의 그룹(180b, 180c)도 마찬가지지만 전환 시각은 그룹마다 달라도 된다. 이렇게 하면 어느 기간에 있어서도 차분화상을 본래의 화상으로 되돌리기 위해서 필요한 원래의 화상계층은 반드시 바로 위의 그룹에 존재하게 된다.
이 도면의 예에서는 2계층을 1그룹으로 하고 있기 때문에 차분화상을 본래의 화상으로 되돌리기 위해서 필요한 원래의 화상계층은 최대여도 2개 위의 계층까지가 된다. 이렇게 차분화상계층에서 원래의 화상계층까지의 계층수를 제한함으로써 본래의 화상으로 되돌리기 위해서 필요한 데이터에 대한 액세스 처리나 화상의 가산 처리의 부하를 억제할 수 있다.
각 그룹에서의 전환 시각은 도 8에서 설명한 규칙 중 어느 하나를 그룹마다 선택하여 결정하면 된다. 예를 들면 데이터 사이즈의 적산량에 따라서 그룹마다 전환 시각을 결정한다. 이 경우, 단위면적당의 데이터 사이즈는 화상이 축소하고 있을수록 큰 경향을 가지기 때문에 계층이 위인 그룹일수록 데이터 사이즈의 적산량이 빨리 임계치에 도달한다.
그렇기 때문에 도 9에 도시하는 바와 같이 제1계층 Lv1과 제2계층 Lv2의 그룹(180a)의 전환 빈도가 가장 높고, 이어서 제3계층 Lv3과 제4계층 Lv4의 그룹(180b), 제5계층 Lv5와 제6계층 Lv6의 그룹(180c)으로 전환 빈도가 낮아진다. 이렇게 계층마다의 특질을 가미하여 각각의 전환 시각을 상세하게 설정함으로써 도 8에서 설명한 것과 마찬가지 원리에 의해서 필요한 대역폭을 보다 효율적으로 절감할 수 있다.
또한 데이터 사이즈의 적산량에 대한 임계치를 그룹마다 변화시켜도 된다. 예를 들면 화상의 내용에 따라서 압축 부호화시에 특정한 계층의 비트 레이트를 다른 것보다 높게 설정하는 경우가 있다. 특정한 계층이란 다른 계층보다 높은 빈도로 표시에 이용된다고 예측되는 계층이나 사용자가 지정한 계층 등이다. 이 경우, 상기 계층을 포함하는 그룹의 임계치를, 설정하는 비트 레이트에 따라서 작게 설정하면 실제로 전송되는 데이터의 비트 레이트에 입각하여 전환 빈도를 조정할 수 있다.
도 10은 계층 데이터의 계층을 구분하여 이루어지는 그룹마다 전환의 타이밍을 공유하는 경우의 다른 예를 도시하고 있다. 이 도면의 예에서는 제1계층 Lv1과 제2계층 Lv2, 제3계층 Lv3과 제4계층 Lv4와 제5계층 Lv5, 제6계층 Lv6과 제7계층 Lv7을 각각 그룹으로 하고 있고(각각 그룹(194a, 194b, 및 194c)) 그룹에 속하는 계층수가 다르다. 이 경우도 도 9에서 도시한 것과 마찬자지로 그룹마다 전환 시각을 결정한다.
또 그룹에 속하는 계층이 3개 이상이어도 차분화상계층(예를 들면 차분화상계층(198))에서 원래의 화상계층(예를 들면 원래의 화상계층(196, 199))까지의 계층수를 제한할 수 있도록 할당 스케줄을 고안한다. 구체적으로는 먼저 그룹 내에서 같은 시기에 연속해서 차분화상계층이 되는 계층의 수를 최대 2N으로 제한한다. 또한 각 그룹에 있어서 그룹의 경계로부터 세어서 같은 시기에 연속하여 차분화상계층이 되는 계층의 수가 최대여도 N개가 되도록 제한하면, 상기 경계를 끼는 2개의 그룹을 고려해도 같은 시기에 연속하여 차분화상계층이 되는 계층의 수는 최대 2N개가 된다.
예를 들면 도 10의 경우 그룹 내에서 연속하는 복수의 계층이 같은 시기에 차분화상계층이 되는 경우는 없다. 또 그룹의 경계로부터 세어서 연속하는 복수의 계층이 같은 시기에 차분화상계층이 되는 경우도 없다. 즉 N=1이며, 이로 인해 계층 데이터 전체로 보아도 연속하여 차분화상계층이 되는 계층의 수는 최대로 2N=2가 된다. 차분화상계층에서 원래의 화상계층까지의 계층수의 최대치 2N은 상술한 대로 표시장치에서의 처리의 부하에 영향을 준다. 따라서 표시장치의 처리 성능에 따라서 2N을 결정하고 그것에 따라서 할당의 스케줄링을 실시한다.
도 11은 도 9, 도 10의 양태에 있어서 생성한 복수의 계층마다의 그룹을, 또한 화상 위의 영역마다 그룹화한 경우를 도시하고 있다. 즉 복수의 계층의 화상을 화상 위의 같은 위치에서 분할하고 같은 부분을 나타내는 영역마다 그룹을 형성한다. 이 도면의 예에서는 제3계층 Lv3의 화상을 영역 Lv3_0, Lv3_1, ··· 등으로 분할하고, 제4계층 Lv4의 화상을 영역 Lv4_0, Lv4_1, ··· 등으로 분할하고 있다.
그리고 화상 위의 같은 부분을 나타내는 제3계층 Lv3의 영역 Lv3_0과 제4계층 Lv4의 영역 Lv4_0을 제0영역, 제3계층 Lv3의 영역 Lv3_1과 제4계층 Lv4의 영역 Lv4_1을 제1영역으로 하면, 제3계층 Lv3 및 제4계층 Lv4 중 제0영역, 제1영역과 같은 영역마다 그룹을 형성하고(그룹(200b, 200c)) 그룹 내에서 전환의 타이밍을 공유한다.
이렇게 복수의 계층을 영역마다 모은 그룹을 화상 전체에 대해서 형성한다. 이 도면에서는 분할 대상으로서 제3계층 Lv3 및 제4계층 Lv4만 나타내고 있지만, 1개의 그룹에 속하는 계층은 3개 이상이어도 된다. 각 그룹에서의 전환 시각은 도 9와 마찬가지로 규칙을 그룹마다 선택해서 결정하면 된다. 그리고 그룹마다 결정한 전환 시각에 있어서 그룹 내의 적어도 어느 하나의 계층의 영역을 원래의 화상계층/차분화상계층으로 전환한다(예를 들면 원래의 화상계층(202)에서 차분화상계층(204)으로 전환한다).
예를 들면 데이터 사이즈의 적산량에 따라서 그룹마다 전환 시각을 결정한다. 하나의 화상이어도 영역에 따라서 화상의 복잡도가 다르면 그 비트 레이트가 다르다. 예를 들면 단색에 가까운 푸른 하늘의 영역과 차가 왕래하는 도로의 영역에서는 비트 레이트에도 차이가 생긴다. 상술한 대로 비트 레이트가 높은 영역에 대해서는 보다 고빈도로 할당을 전환하는 것이 바람직하기 때문에 결과적으로 영역에 따라서 적절한 전환 빈도가 다르게 된다. 그러므로 영역마다 전환 시각을 결정함으로써 보다 세세한 레벨로 조정이 가능해 지고, 화상의 내용에 입각한 조건으로 효율적으로 사용 대역폭을 절약할 수 있다.
또한 도 9에서 설명한 것과 마찬가지로 데이터 사이즈의 적산량에 대하여 설정하는 임계치는 그룹마다 다르게 해도 된다. 비트 레이트가 영역에 따라서 다르기 때문에 그것을 고려하여 전환 시각을 조정한다는 입장에서, 영역마다 그룹 나눔을 실시하는 계층은 타일 화상에 따라서 비트 레이트에 차이가 생기기 쉬운 비교적 고해상도의 계층으로 한다. 즉 제0계층 Lv0, 제1계층 Lv1, 제2계층 Lv2 등 저해상도의 화상에 대해서는 도 11에서 도시하는 바와 같이 영역분할을 실시하지 않고 1개의 그룹(200a)을 형성하면 된다. 이 경우, 제3계층 Lv3이나 제4계층 Lv4에 있어서 개별의 그룹(200b, 200c)으로 한 제0영역이나 제1영역은 제2계층 Lv2에 있어서 1개의 그룹으로 통합된다. 혹은 화상의 내용에 따라서는 제0계층 Lv0을 제외하는 모든 계층에 대해서 영역마다 그룹 나눔을 실시해도 된다.
이 양태에 있어서도 도 10에서 설명한 바와 같이 같은 시기에 연속하여 차분화상계층이 되는 계층수의 허용 범위 2N을 표시장치의 처리 성능에 따라서 결정한다. 그리고 상기한 바와 같이 분할한 영역이 통합되는 경계 등, 계층구조에 있어서 상하 관계를 가지는 그룹의 경계로부터 세어서 같은 시기에 연속하여 차분화상계층이 되는 계층의 수가 최대여도 N개가 되도록 할당 스케줄을 조정한다.
본 실시의 형태에서는 상술한 대로 타일 화상단위 등 영역단위로 압축 부호화하고 독립한 동영상 스트림을 생성한다. 표시시에는 표시영역을 포함하는 동영상 스트림만을 개별로 디코드하여 표시 화상으로서 연결시킴으로써 동영상의 각 프레임을 묘화한다. 동영상 스트림의 시간방향의 랜덤 액세스를 가능하게 하는, 즉 어느 동영상 스트림에 대해서도 임의의 타이밍으로 재생을 개시할 수 있도록 함으로써 동영상에 대하여 표시영역을 임의로 이동시킬 수 있다.
이러한 양태에 있어서 상술한 바와 같이 1개의 동영상 스트림에 본래의 화상 데이터와 차분화상 데이터를 섞어놓을 경우, 그 전환 타이밍을 고려한 동영상 스트림의 구성으로 함으로써 표시시의 처리 효율을 향상시킬 수 있다. 도 12에서 도 14는 동영상 스트림의 구성예를 도시하고 있다. 도 12는 동영상의 프레임의 순서를 그대로 동영상 스트림의 데이터순으로 하는 경우를 도시하고 있다. 이 도면에 있어서 상단의 직사각형이 압축 부호화 전의 프레임열에서의 어떤 타일 화상의 영역을 꺼내서 이루어지는 타일 화상열을 나타내고 있고, 가로축이 동영상 위의 시간축이다. 하단이 압축 부호화 후의 동영상 스트림이며 왼쪽 끝이 스트림의 선두가 된다. 압축 부호화 전후에 있어서 본래의 화상 데이터에 대응하는 부분을 회게, 차분화상 데이터에 대응하는 부분을 음영으로 나타내고 있다.
또한 이하의 설명에 있어서 동영상 위의 시계열순으로 정렬한 화상이라는 의미가 이해되기 쉽도록 프레임으로부터 꺼낸 「타일 화상」도 「프레임」이라고 부를 경우가 있다. 이 도면의 경우, 먼저 압축 부호화 전에 있어서 시간방향으로 본래 화상의 프레임열 i1, 차분화상의 프레임열 d1, 본래 화상의 프레임열 i2, 차분화상의 프레임열 d2, ···이 교대로 정렬되어 있다. 그리고 각각을 압축 부호화한 압축 데이터 i'1, d'1, i'2, d'2, ···을 그대로의 순서로 동영상 스트림으로 한다. 프레임마다 독립하여 압축 부호화를 실시할 경우, 즉 모든 프레임을 인트라 프레임으로 할 경우는 압축 부호화 후의 데이터를 프레임순으로 단지 연결해 가는 것만으로 충분하다.
한편 프레임간 예측 부호화 등 화상의 시간방향의 용장성을 이용하여 압축률을 올릴 경우는 본래의 화상과 차분화상이라는 종류가 다른 프레임열을 넘어서 데이터의 의존성이 미치지 못하도록 하는 것이 바람직하다. 즉 차분화상의 압축 데이터 d'1을 디코드하기 위해서 그 앞에 있는 본래 화상의 압축 데이터 i'1을 이용하지 않아도 되도록 한다. 마찬가지로 본래 화상의 압축 데이터 i'2를 디코드하기 위해서 그 앞에 있는 차분화상의 압축 데이터 d'1을 이용하지 않아도 되도록 한다.
이와 같이 함으로써 어느 타이밍에 데이터 액세스가 실시되어도 상기 프레임을 디코드하기 위한 처리를 같은 종류의 데이터 내에서 끝낼 수 있어서 처리의 레이턴시를 억제할 수 있다. 그렇기 때문에 종류가 전환된 직후의 프레임, 즉 압축 데이터 i'1, d'1, i'2, d'2, ···의 각각의 선두 프레임 데이터를 독립하여 디코드가 가능한 인트라 프레임으로 한다. 이렇게 프레임 사이에서의 데이터의 의존성을 리셋하기 위해서 화상의 종류에 따라서 구분 지어지는 압축 데이터 i'1, d'1, i'2, d'2, ···는 개별의 동영상 스트림으로 할 수 있다. 또 본래의 화상과 차분화상에서는 주파수특성 등 화상의 특성이 다르기 때문에 압축 방식도 다르게 해도 된다.
도 13은 프레임열로부터 같은 종류의 프레임 데이터를 추출하고, 모아서 압축함으로써 1단위의 압축 데이터를 형성할 경우를 도시하고 있다. 도면의 도시 방법은 대략 도 12과 마찬가지지만 이 도면에서는 압축 부호화 전의 본래 화상의 프레임열과 차분화상의 프레임열을 상하로 엇갈리게 나타내고 있다. 시간축은 공통이다. 이러한 압축 부호화 전의 프레임열에 있어서 본래 화상의 연속한 프레임열의 모음을 선두로부터 복수개(도면에서는 5개) 추출하고, 그들을 모아서 새로운 시계열을 가지는 프레임열 i3으로 한다. 다음으로 추출한 본래 화상의 각 프레임열의 모음의 직후에 위치하는 차분화상의 프레임열의 모음을 같은 수 추출하고, 그들을 모아서 새로운 시계열을 가지는 프레임열 d3으로 한다.
마찬가지로 본래 화상의 프레임열 i4, 차분화상의 프레임열d4, ···과 같이 모은다. 화상의 종류마다 추출해서 모은 프레임열 i3, d3, i4, d4, ···을 각각 압축 부호화하여 이루어지는 압축 데이터 i'3, d'3, i'4, d'4, ···를 각각 1단위의 압축 데이터로 한다. 생성한 압축 데이터를 단위마다 개별의 동영상 스트림으로 해도 되고, 그것을 생성순으로 연결하여 동영상 스트림으로 해도 된다. 프레임열을 모을 때의 경계는 프레임수, 또는 데이터 사이즈의 적산량이 소정의 임계치를 초과했을 때로 해도 되고, 장면 체인지가 일어났을 때 등, 추출시에 전후하고 있었던 프레임열의 모음 중 선두 프레임 등을 비교하여 차분이 임계치를 초과하고 있었을 때 등으로 해도 된다.
도 12에서 설명한 바와 같이 임의로 액세스된 프레임을 디코드할 때 디코드에 필요한 데이터가 다른 종류의 프레임열에 미치지 못하도록, 압축 부호화 후의 동영상 스트림에서의 각종 데이터의 선두 프레임의 데이터를 인트라 프레임으로 하는 것이 바람직하다. 그러나 화상의 비트 레이트가 높은 것 등에 기인하여 본래의 화상과 차분화상을 고빈도로 전환한 경우, 전환 직후의 프레임을 모두 인트라 프레임으로 하면 인트라 프레임의 수가 증대하여 압축률이 저하된다.
또 피사체의 움직임이 없을 경우 등 시간방향의 용장성이 장시간에 걸쳐서 계속될 경우도 본래의 화상과 차분화상의 전환 타이밍에 맞춰서 인트라 프레임을 넣음으로써 헛되게 압축률을 내릴 가능성이 있다. 이러한 경우에 상술한 바와 같이 시간적으로 불연속한 같은 종류의 프레임열을 모아서 1단위의 압축 데이터로 하고, 인트라 프레임으로 해야 할 프레임의 수를 절감함으로써 종류가 다른 프레임열에 의존성이 미치지 못하도록 할 수 있고, 압축률의 향상을 양립시킬 수 있다.
또한 이 양태에서는 압축 부호화 후의 데이터의 순서가 본래의 동영상에서의 프레임의 순서와 다르기 때문에 압축 부호화 후의 데이터에는 본래의 프레임의 순서와, 압축 부호화 후의 데이터에서의 데이터의 출현 순서를 대응시킨 정보를 부가해 둔다. 그리고 동영상의 표시시에는 그것을 참조하여 디코드 후의 프레임을 본래의 순서로 되돌린 후에 표시한다.
도 14는 복수 계층의 같은 영역을 나타내는 타일 화상 데이터를 모아서 압축함으로써 1단위의 압축 데이터를 형성하는 경우를 도시하고 있다. 도면의 도시 방법은 대략 도 12와 마찬가지지만 압축 부호화 전의 프레임열로서 제0계층 Lv0, 제1계층 Lv1, 제2계층 Lv2, 제3계층 Lv3, 제4계층 Lv4의 5개 계층의 프레임열을 같은 시간축으로 나타내고 있다. 또 각 계층의 직사각형은 1개 또는 복수의 타일 화상열을 상징적으로 나타내고 있다. 또한 이 양태에서의 압축 부호화 후의 데이터는 본래의 화상 데이터와 차분화상 데이터를 포함하기 때문에 차분화상 데이터에 대한 음영과는 다른 종류의 음영으로 나타내고 있다.
1단위의 압축 데이터로서 모으는 복수 계층의 최상층을 원래의 화상계층으로 함으로써 차분화상을 본래의 화상으로 되돌리는데 필요한 데이터를 취득하기 위해서 다른 동영상 스트림을 읽어낼 필요가 없어져서 표시 처리를 효율적으로 실시할 수 있다. 결과로서,어느 계층을 이용한 표시여도 표시까지의 레이턴시가 억제되어서 표시장치에 있어서 해상도를 선택하는 경우나 해상도를 가변으로 하는 경우에 특히 유효하다.
또한 복수 계층의 같은 영역을 나타내는 화상은 해상도가 다르기 때문에 그 크기가 다르다. 따라서 계층 데이터가 2×2배로 확대되는 계층을 가지는 경우, 이 도면에 도시하는 바와 같이 2계층을 모을 때는 상층의 1타일 화상분, 하층의 4타일 화상분을 모아서 1단위의 압축 데이터로 한다. 3계층을 모을 때는 최상층의 1타일 화상분, 중간층의 4타일 화상분, 최하층의 16타일 화상분을 모아서 1단위의 압축 데이터로 한다. 4개 이상의 계층수여도 마찬가지이다.
1단위의 압축 데이터에 포함되는 프레임은 다른 계층이어도 동영상 위의 같은 기간의 프레임이다. 이 도면에 도시하는 바와 같이 모으는 계층에 있어서 원래의 화상계층과 차분화상계층의 전환이 실시되지 않는 기간의 프레임을 모두, 1단위의 압축 데이터로 해도 되고, 그것보다 짧은 기간의 프레임으로 해도 된다. 후자의 경우, 프레임수나 데이터 사이즈의 적산량에 임계치를 마련함으로써 프레임을 구분지어도 된다. 압축 부호화 후의 데이터에서의 데이터순은 압축 부호화 전의 프레임 번호, 계층, 및 영역과 대응이 되어 있으면 특별히 한정되지 않는다.
도 14의 양태에서는 상술한 대로 차분화상을 본래의 화상으로 되돌릴 때에 원래의 화상계층의 데이터에 대한 액세스가 용이하다는 이점을 가진다. 한편으로 원래의 화상계층의 해상도로 화상을 표시하는 경우여도 필요가 없는 차분화상의 데이터가 함께 전송되게 된다. 그러므로 그러한 상태가 장기간 계속되지 않도록 원래의 화상계층과 차분화상계층의 전환 빈도를 높게 하는 등 하여 1단위의 압축 데이터에 포함되는 프레임수를 조정한다.
다음으로 지금까지 설명한 압축 동영상 데이터를 생성하는 장치에 대해서 설명한다. 본 장치도 도 4에서 도시한 화상 처리 장치(10)와 마찬가지 구성으로 실현할 수 있다. 이하, 제어부(100)의 구성에 주안을 두고 설명한다. 도 15는 본 실시의 형태에 있어서 압축 동영상 데이터 생성기능을 가지는 제어부(100b) 및 하드디스크 드라이브(50)의 구성을 상세하게 도시하고 있다.
제어부(100b)는 원래의 화상계층과 차분화상계층의 할당 스케줄을 결정하는 스케줄링부(130), 결정한 할당 스케줄에 따라서 각 계층의 데이터를 생성하는 계층 데이터 생성부(132), 계층 데이터를 소정의 규칙으로 압축 부호화하여 동영상 스트림을 생성하는 압축 데이터 생성부(134)를 포함한다. 하드디스크 드라이브(50)는 처리 대상의 동영상 데이터를 저장하는 동영상 데이터 기억부(136), 및 압축 부호화 후의 동영상 데이터를 저장하는 압축 데이터 기억부(140)를 포함한다.
동영상 데이터 기억부(136)에 저장되는 처리 대상의 동영상 데이터는 하나의 해상도로 표시된 각 시각의 프레임을 시계열순에 정렬한 프레임열로 이루어지는 일반적인 동영상 데이터면 된다. 스케줄링부(130)는 도 8에서 도 11을 참조하여 설명한 바와 같은 스케줄링 폴리시 중 어느 하나에 의해서 원래의 화상계층과 차분화상계층의 할당 스케줄을 결정한다. 계층수는 본래의 동영상 프레임의 해상도에 따라서 결정한다. 또 상술한 바와 같은 다양한 스케줄링 폴리시로부터 어느 폴리시를 선택할지는 미리 장치에 있어서 설정이 실시되어 있어도 되고 입력장치(20)를 통해서 사용자를 선택할 수 있도록 해도 된다. 또 동영상 데이터의 메타 데이터로서 부가된 화상특성이나 동영상의 종류 등으로부터 판정하도록 해도 된다.
계층 데이터 생성부(132)는 동영상 데이터 기억부(136)로부터 처리 대상의 동영상 데이터를 읽어내서 프레임마다 소정의 복수의 해상도에 단계적으로 축소하여 본래의 화상으로 이루어지는 계층 데이터를 생성한다. 그리고 스케줄링부(130)가 결정한 할당 스케줄에 따라서 차분화상계층으로 해야 할 계층을 프레임마다 특정하고, 원래의 화상계층의 본래의 화상, 또는 바로 위의 차분화상계층의 차분화상으로부터의 차분을 얻음으로써 특정한 계층의 데이터를 차분화상의 데이터로 한다. 또한 각 계층의 화상을 소정의 사이즈로 분할하여 타일 화상으로 한다.
압축 데이터 생성부(134)는 도 12에서 14를 참조하여 설명한 것 중 어느 하나의 수법에 의해 압축 부호화를 실시하여 동영상 스트림을 생성한다. 생성한 동영상 스트림은 압축 데이터 기억부(140)에 저장한다. 이때, 동영상 스트림의 구성에 따른 정보, 예를 들면 동영상 스트림에서의 데이터의 위치와 본래의 동영상 프레임의 순서를 대응시키는 정보를 동영상 스트림의 헤더 등에 부가해 둔다. 또한 각 계층의 화상평면에서의 타일 화상의 영역과 동영상 스트림의 대응 관계, 및 원래의 화상계층과 차분화상계층의 할당 스케줄에 따른 정보도 부가해 둔다.
다음으로 지금까지 말한 구성을 실현하기 위한 각 장치의 동작에 대해서 설명한다. 도 16은 압축 동영상 데이터를 생성하는 장치가 동영상의 압축 데이터를 생성하는 처리 순서를 나타내고 있다. 우선 사용자가 하드디스크 드라이브(50)의 동영상 데이터 기억부(136)에 저장된 처리 대상의 동영상 데이터를 선택하면(S10), 스케줄링부(130)는 생성하는 계층수나 스케줄링 폴리시 등의 초기 조건을 결정하고, 그것에 따라서 원래의 화상계층과 차분화상계층의 할당 스케줄을 결정한다(S12, S14).
다음으로 계층 데이터 생성부(132)는 동영상 데이터 기억부(136)로부터 처리 대상의 동영상 데이터를 읽어내서 각 프레임을 단계적으로 축소함으로써 계층 데이터를 생성한다. 또한 차분화상계층에 대해서는 차분화상을 생성하여 계층 데이터를 갱신한 후, 전 계층의 화상을 타일 화상으로 분할한다. 이러한 계층 데이터를 각 시각의 프레임마다 생성함으로써 도 6에서 도시하는 바와 같이 x, y, z의 가상적인 3차원에 시간축이 더해진 4차원 구조의 계층 데이터가 생성되게 된다(S16).
다음으로 압축 데이터 생성부(134)는 도 12에서 도 14에 도시한 프레임열의 순으로 화상 데이터를 압축 부호화하여 동영상 스트림을 생성한다(S18). 이때 모든 타일 화상을 인트라 프레임으로 해도 되고, 인트라 프레임과 다른 프레임에 대한 의존성을 가지는 예측 프레임이나 쌍방향 프레임이 섞여있도록 해도 된다. 후자의 경우, 결과로서 차분화상계층은 해상도방향의 차분화상에 대하여 시간방향의 차분도 계산된 데이터를 유지하게 된다. 또 상술한 대로 프레임열에 있어서 화상의 종류가 전환된 직후의 프레임은 인트라 프레임으로 한다.
다음으로 압축 데이터 생성부(134)는 각 계층의 화상평면에서의 타일 화상의 영역과 동영상 스트림의 대응 관계, 원래의 화상계층과 차분화상계층의 할당 스케줄에 따른 정보, 동영상 스트림의 구성에 따른 정보를 작성하고, 동영상 스트림군에 부가하여 최종적인 압축 동영상 데이터로 하여 하드디스크 드라이브(50)에 저장한다(S20).
도 17은 화상을 표시하는 장치가 동영상을 표시하기 위한 처리 순서를 나타내고 있다. 우선 사용자가 입력장치(20)를 통해서 동영상의 재생 개시를 지시한면, 로드부(108), 디코드부(112), 표시 화상 처리부(114), 표시 처리부(44)의 협동에 의해 표시장치(12)에 있어서 동영상의 표시가 개시된다(S30). 동영상 압축 데이터는 하드디스크 드라이브(50)에 저장된 것이어도 되고, 네트워크를 통해서 동영상 서버로부터 취득한 것이어도 된다.
사용자가 입력장치(20)를 통해서 표시중인 동영상 내의 어느 부분을 줌인하거나, 또한 상하좌우로 시점을 움직이는 조작 입력을 실시하여 표시영역의 이동을 요구하면(S32의 Y), 프레임 좌표 결정부(110)는 가상 공간에서의 표시영역의 이동 속도 벡터를 표시영역 이동요구 신호로부터 산출하고, 각 프레임 표시 시각에서의 프레임 좌표를 순차 결정한다(S34).
디코드부(112)는 표시영역이 이동했는지 여부와 관계없이(S34 또는 S32의 N), 다음 프레임의 프레임 좌표의 z좌표로부터 동영상의 계층 데이터 중 표시에 이용하는 계층을 결정하고, 또한 X좌표, y좌표로부터 상기 계층 중 표시영역에 대응하는 타일 화상의 동영상 스트림을 특정한 후 메인 메모리(60)로부터 읽어내서 디코드하고 버퍼 메모리(70)에 저장한다(S36). 동영상 스트림은 로드 영역 결정부(106) 및 로드부(108)의 협동에 의해서 메인 메모리(60)에 로드되어 있다. 디코드 대상의 데이터가 본래 화상의 것이어도, 차분화상의 것이어도 디코드 순서는 마찬가지이다.
즉 상기 프레임이 인트라 프레임이면 그것을 독립적으로 디코드하고, 그 이외의 프레임이면 참조 화상을 이용하여 디코드한다. 또 동영상 스트림의 데이터순서가 본래의 동영상의 프레임순서와 다른 경우는 동영상 스트림에 부가된 대응 정보에 기초하여 대상이 되는 데이터를 특정해 둔다.
다음으로 디코드부는 디코드한 화상이 차분화상인지 여부를 확인한다(S38). 차분화상인지 여부는 상술한 대로 동영상 압축 데이터에 부가된 할당 스케줄의 정보를 참조하여 판단한다. 또 소정의 프레임수로 전환하는 등 규칙적으로 전환을 실시하는 양태에 있어서는 프레임의 번호 등으로부터 차분화상계층을 특정한 후, 디코드한 화상이 차분화상인지 여부를 그자리에서 도출해도 된다.
차분화상일 경우는 같은 영역을 나타내는 상층의 화상을 디코드하여 화소마다 가산함으로써 화상을 복원하고, 버퍼 메모리(70)의 데이터를 갱신한다(S40). 1개 위의 계층도 차분화상일 경우는 계층을 위쪽으로 가서 원래의 화상계층까지 거슬러 오른다. 이때, 순차 차분화상을 가산할지, 직접 원래의 화상계층의 화상만을 가산할지는 동영상 데이터마다 방식으로서 설정하면 된다.
다음으로 표시 화상 처리부(114)는 버퍼 메모리(70)에 저장된 타일 화상 데이터를 이용하여 표시영역의 화상을 표시 처리부(44)의 프레임 버퍼에 묘화하고, 표시 처리부(44)가 표시장치(12)에 출력함으로써 각 시각에서 화상이 갱신된다(S42). 이상의 처리를 프레임마다 반복함으로써 표시영역의 이동을 허용하면서 동영상이 진척된다(S44의 N, S32∼S42). 동영상의 재생이 완료되거나 사용자가 재생을 정지하면 처리를 종료한다(S44의 Y).
이상에서 말한 본 실시의 형태에 따르면 동영상의 각 프레임을 복수의 해상도로 표시한 계층 데이터로 하고, 계층 데이터를 타일 화상마다의 동영상 스트림으로 함으로써 해상도의 변경을 포함시킨 표시영역의 이동에 따라서 표시에 이용하는 계층 및 동영상 스트림을 전환한다. 이때 계층 데이터 중 적어도 1계층을, 그것보다 위의 계층의 화상으로부터의 차분화상으로 한다. 이로 인해 동영상을 계층 데이터로서도 데이터 사이즈의 증대를 억제할 수 있다.
또한 본래 화상의 데이터를 유지하는 원래의 화상계층과, 차분화상의 데이터를 유지하는 차분화상계층의 할당을, 계층 데이터를 구성하는 계층 중에서 전환한다. 이로 인해 동영상의 일부의 데이터만을 하드디스크 드라이브나 화상 서버로부터 전송하는 양태에 있어서도 전송되는 데이터의 비트 레이트를 평균화할 수 있고 전송에 필요한 대역폭을 억제할 수 있다. 결과로서 적은 대역폭이어도 표시영역 이동의 응답성에 지장이 없는 데이터 전송을 실현할 수 있고, 기가픽셀 오더의 거대한 사이즈의 화상이어도 적은 메모리 용량으로 표시가 가능하다.
또 원래의 화상계층과 차분화상계층의 할당 스케줄이나, 동영상 스트림의 구성을 동영상의 특성이나 표시장치의 처리 성능 등에 따라서 최적화할 수 있기 때문에 본 실시의 형태의 동영상 데이터는 휴대 단말에서 범용 컴퓨터까지 폭넓은 환경에 있어서 마찬가지로 도입할 수 있다.
이상, 본 발명을 실시의 형태를 바탕으로 설명했다. 상기 실시의 형태는 예시이며 그들의 각 구성 요소나 각 처리 프로세스의 조합에 여러가지 변형예가 가능한 것, 또 그러한 변형예도 본 발명의 범위에 있는 것은 당업자에게 이해되는 부분이다.
예를 들면 본 실시의 형태에서는 기본적으로 어떤 계층의 화상 데이터를 그것보다 해상도가 낮은 계층의 화상을 확대한 화상과의 차분화상으로서 유지했다. 한편 같은 계층의 화상, 즉 단일 해상도의 화상을 영역분할하고, 어떤 영역의 화상 데이터를 다른 영역의 화상과의 차분화상으로서 유지하도록 해도 된다. 여기서 참조되는 「다른 영역의 화상」은 원래의 화상이어도 되고, 또한 다른 영역 혹은 다른 계층의 화상을 원래의 화상으로 하는 차분화상이어도 된다. 이 경우도 차분화상으로 하는 영역, 원래의 화상으로 하는 영역을 시간적으로 전환함으로써 비트 레이트를 평균화할 수 있고 전송에 필요한 대역폭을 억제할 수 있다. 이 양태는 단색에 가까운 영역이나 같은 패턴의 나열인 영역을 포함하는 화상 등에 있어서 특히 유효하다.
이상과 같이 본 발명은 컴퓨터, 게임 장치, 화상생성장치, 화상표시장치 등의 정보처리장치 및 정보처리 시스템에 이용가능하다.
1 화상 처리 시스템, 10 화상 처리 장치, 12 표시장치, 20 입력장치, 30 제0계층, 32 제1계층, 34 제2계층, 36 제3계층, 44 표시 처리부, 50 하드디스크 드라이브, 60 메인 메모리, 70 버퍼 메모리, 100 제어부, 100b 제어부, 102 입력 정보 취득부, 106 로드 영역 결정부, 108 로드부, 110 프레임 좌표 결정부, 112 디코드부, 114 표시 화상 처리부, 130 스케줄링부, 132 계층 데이터 생성부, 134 압축 데이터 생성부, 136 동영상 데이터 기억부, 140 압축 데이터 기억부.

Claims (24)

  1. 동영상을 표시하는 화상 처리 장치에 있어서 요구되는 해상도에 따라서 이용하는 계층을 전환하여 표시 화상을 생성하기 위해서, 하나의 동영상을 구성하는 화상 프레임을 다른 해상도로 표시한 복수의 화상열을 해상도순으로 계층화하여 이루어지는 계층 동영상 데이터를 생성하는 동영상 데이터 생성장치로서,
    각 화상 프레임을 단계적으로 축소함으로써 각 계층의 화상 데이터를 화상 프레임마다 생성한 후, 적어도 하나의 계층의 화상 데이터에, 같은 화상 프레임을 상기 계층보다 낮은 해상도로 표시한 다른 계층의 화상의 확대 화상과의 차분을 나타내는 차분화상의 데이터를 포함시켜서 계층 동영상 데이터를 생성하는 계층 데이터 생성부와,
    상기 계층 데이터 생성부가 생성한 계층 동영상 데이터를 압축 부호화하여 기억장치에 저장하는 압축 데이터 생성부를 구비한 것을 특징으로 하는 동영상 데이터 생성장치.
  2. 제1항에 있어서,
    상기 계층 동영상 데이터에 있어서, 상기 차분화상의 데이터를 포함하는 계층을 동영상 위의 시간경과와 함께 전환하기 위한 전환 스케줄을 결정하는 스케줄링부를 더 구비하고,
    상기 계층 데이터 생성부는 상기 스케줄링부가 결정한 전환 스케줄에 따라서 차분화상으로 해야 할 계층 및 영역을 화상 프레임마다 특정한 후, 상기 계층 동영상 데이터를 생성하는 것을 특징으로 하는 동영상 데이터 생성장치.
  3. 제2항에 있어서,
    상기 스케줄링부는 상기 차분화상의 데이터를 유지할지 여부를 계층단위로 전환하고, 상기 차분화상의 데이터를 유지하는 계층과 그 이외의 계층의 조합을, 상기 계층 동영상 데이터를 구성하는 계층 중 가장 해상도가 낮은 계층을 제외하는 모든 계층에 공통 타이밍으로 전환하는 것을 특징으로 하는 동영상 데이터 생성장치.
  4. 제2항에 있어서,
    상기 스케줄링부는 상기 차분화상의 데이터를 유지할지 여부를 계층단위로 전환하고, 상기 차분화상의 데이터를 유지하는 계층과 그 이외의 계층의 조합을, 상기 계층 동영상 데이터를 구성하는 계층 중 가장 해상도가 낮은 계층을 제외하는 복수의 계층을 구분지어 이루어지는 복수의 그룹마다 공통 타이밍에 전환하는 것을 특징으로 하는 동영상 데이터 생성장치.
  5. 제2항에 있어서,
    상기 스케줄링부는 적어도 일부의 계층에 있어서, 상기 차분화상의 데이터를 유지할지 여부를 계층 내의 영역단위로 전환하고, 상기 차분화상의 데이터를 유지하는 계층과 그 이외의 계층과의 조합을, 영역단위로 전환을 실시하는 복수의 계층 중 같은 부분을 나타내는 영역마다 공통 타이밍에 전환하는 것을 특징으로 하는 동영상 데이터 생성장치.
  6. 제2항 내지 제5항 중 어느 한 항에 있어서,
    상기 스케줄링부는 상기 차분화상의 데이터를 유지하는 계층과 그 이외의 계층의 조합을, 소정의 화상 프레임수마다 전환하는 것을 특징으로 하는 동영상 데이터 생성장치.
  7. 제2항 내지 제5항 중 어느 한 항에 있어서,
    상기 스케줄링부는 동영상에서의 장면 체인지의 타이밍에 따른 정보를 취득하고, 상기 장면 체인지의 타이밍에 상기 차분화상의 데이터를 유지하는 계층과 그 이외의 계층의 조합을 전환하는 것을 특징으로 하는 동영상 데이터 생성장치.
  8. 제2항 내지 제5항 중 어느 한 항에 있어서,
    상기 스케줄링부는 공통 타이밍에 전환하는 복수의 계층 중 어느 하나의 계층에서, 전환 단위의 데이터 사이즈의 단위면적당 적산량이 소정의 임계치에 도달한 타이밍에, 상기 차분화상의 데이터를 유지하는 계층과 그 이외의 계층의 조합을 전환하는 것을 특징으로 하는 동영상 데이터 생성장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 압축 데이터 생성부는 상기 계층 데이터 생성부가 생성한 계층 동영상 데이터에서의 각 계층의 화상을 소정 사이즈로 분할하여 이루어지는 타일 화상의 시계열(時系列) 데이터를, 상기 차분화상의 데이터인지 여부에 따라서 분류한 후, 분류마다 소정의 규칙으로 모음으로써 새로운 시계열 데이터를 생성하고, 상기 데이터의 순서로 압축 부호화하는 것을 특징으로 하는 동영상 데이터 생성장치.
  10. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 압축 데이터 생성부는 상기 계층 데이터 생성부가 생성한 계층 동영상 데이터를, 각 계층의 화상을 소정 사이즈로 분할하여 이루어지는 타일 화상의 시계열 데이터마다, 상기 차분화상의 데이터인지 여부와 관계없이 상기 시계열의 순서로 압축 부호화하는 것을 특징으로 하는 동영상 데이터 생성장치.
  11. 제9항 또는 제10항에 있어서,
    상기 압축 데이터 생성부는 압축 대상의 시계열 데이터 중, 적어도 차분화상의 데이터인지 여부가 전환된 후의 최초의 타일 화상 데이터를, 독립하여 복호가 가능한 인트라 프레임으로 하는 것을 특징으로 하는 동영상 데이터 생성장치.
  12. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 압축 데이터 생성부는 상기 계층 데이터 생성부가 생성한 계층 동영상 데이터에서의 각 계층의 화상을 소정 사이즈로 분할하여 이루어지는 타일 화상의 시계열 데이터를, 복수의 계층에서의 화상 위의 같은 영역마다 모아서 압축 부호화함으로써 압축 데이터 단위를 형성하고,
    하나의 압축 데이터 단위는 거기에 포함되는 복수의 계층 중 가장 위의 계층이, 그 이외의 계층이 유지하는 차분화상을 복원하기 위해서 필요한 본래 화상의 데이터를 유지하도록 구성되는 것을 특징으로 하는 동영상 데이터 생성장치.
  13. 하나의 동영상을 구성하는 화상 프레임을 다른 해상도로 표시한 복수의 화상열을 해상도순으로 계층화하여 이루어지는 계층 동영상 데이터를 저장한 동영상 데이터 기억부와,
    표시중인 동영상에서의 표시영역의 이동요구 신호를 차례로 취득하는 입력 정보 취득부와,
    상기 입력 정보 취득부가 취득한 이동요구 신호에 의해 정해지는 요구 해상도에 따라서 상기 계층 동영상 데이터 중 이용하는 계층을 전환하면서 상기 이동요구 신호에 따른 표시 화상을 화상 프레임마다 생성하는 표시 화상 처리부를 구비하고,
    상기 계층 동영상 데이터를 구성하는 계층 중 적어도 하나의 계층의 화상 데이터는, 같은 화상 프레임을 상기 계층보다 낮은 해상도로 표시한 다른 계층의 화상의 확대 화상과의 차분을 나타내는 차분화상의 데이터를 포함하고,
    상기 표시 화상 처리부는 표시에 이용하는 데이터가 차분화상의 데이터였을 경우에, 상기 다른 계층의 화상을 확대하여 가산함으로써 화상을 복원하는 것을 특징으로 하는 동영상 표시장치.
  14. 제13항에 있어서,
    상기 계층 동영상 데이터에 있어서 상기 차분화상의 데이터를 포함하는 계층은 동영상 위의 시간경과와 함께 전환되고,
    상기 표시 화상 처리부는 상기 차분화상의 데이터를 포함하는 계층의 전환 스케줄에 따른 정보를 취득하고, 거기에 기초하여 표시에 이용하는 데이터가 차분화상의 데이터인지 여부를 특정하는 것을 특징으로 하는 동영상 표시장치.
  15. 제14항에 있어서,
    상기 계층 동영상 데이터에 있어서 상기 차분화상의 데이터를 포함하는 계층은 소정의 화상 프레임수마다 전환되고,
    상기 표시 화상 처리부는 상기 소정의 화상 프레임수에 기초하여 화상 프레임마다 상기 차분화상의 데이터를 포함하는 계층을 특정함으로써, 표시에 이용하는 데이터가 차분화상의 데이터인지 여부를 도출하는 것을 특징으로 하는 동영상 표시장치.
  16. 제14항에 있어서,
    상기 동영상 데이터 기억부는 상기 계층 동영상 데이터에 대응시켜서 상기 전환 스케줄에 따른 정보를 또한 저장하고,
    상기 표시 화상 처리부는 상기 전환 스케줄을 참조함으로써 표시에 이용하는 데이터가 차분화상의 데이터인지 여부를 특정하는 것을 특징으로 하는 동영상 표시장치.
  17. 제13항 내지 제16항 중 어느 한 항에 있어서,
    상기 계층 동영상 데이터는 차분화상의 데이터인지 여부에 따라서 분류된 동영상에서의 화상 프레임의 시계열과 다른 시계열 데이터를 각각 압축 부호화한 복수의 압축 데이터 단위를 포함하고,
    상기 동영상 데이터 기억부는 상기 계층 동영상 데이터에 대응시켜서 동영상에서의 화상 프레임의 순서와 상기 압축 데이터 단위에서의 데이터의 순서를 대응시킨 대응 정보를 또한 저장하고,
    상기 표시 화상 처리부는 상기 대응 정보에 기초하여 복호한 데이터를 본래의 화상 프레임의 순서로 되돌리는 것을 특징으로 하는 동영상 표시장치.
  18. 동영상을 표시하는 화상 처리 장치에 있어서 요구되는 해상도에 따라서 이용하는 계층을 전환하여 표시 화상을 생성하기 위해서, 하나의 동영상을 구성하는 화상의 프레임을 다른 해상도로 표시한 복수의 화상열을 해상도순으로 계층화하여 이루어지는 계층 동영상 데이터를 생성하는 동영상 데이터 생성방법으로서,
    하나의 해상도로 표시된 화상 프레임열로 이루어지는 동영상 데이터를 기억장치로부터 읽어내는 스텝과,
    각 화상 프레임을 단계적으로 축소함으로써 각 계층의 화상 데이터를 화상 프레임마다 생성하는 스텝과,
    적어도 하나의 계층의 화상 데이터에, 같은 화상 프레임을 상기 계층보다 낮은 해상도로 표시한 다른 계층의 화상의 확대 화상과의 차분을 나타내는 차분화상의 데이터를 포함시켜서 계층 동영상 데이터를 생성하는 스텝과,
    상기 계층 동영상 데이터를 압축 부호화하여 기억장치에 저장하는 스텝을 포함하는 것을 특징으로 하는 동영상 데이터 생성방법.
  19. 하나의 동영상을 구성하는 화상 프레임을, 다른 해상도로 표시한 복수의 화상열을 해상도순으로 계층화하여 이루어지는 계층 동영상 데이터 중 적어도 일부를 기억장치로부터 읽어내고, 그것을 이용하여 표시장치에 대한 동영상 표시를 개시하는 스텝과,
    표시중인 동영상에서의 표시영역의 이동요구 신호를 차례로 취득하는 스텝과,
    상기 이동요구 신호에 의해 정해지는 요구 해상도에 따라서 상기 계층 동영상 데이터 중 이용하는 계층을 전환하면서 상기 이동요구 신호에 따른 표시 화상을 화상 프레임마다 생성하는 스텝과,
    생성한 표시 화상을 상기 표시장치에 표시하는 스텝을 포함하고,
    상기 계층 동영상 데이터를 구성하는 계층 중 적어도 하나의 계층의 화상 데이터는, 같은 화상 프레임을 상기 계층보다 낮은 해상도로 표시한 다른 계층의 화상의 확대 화상과의 차분을 나타내는 차분화상의 데이터를 포함하고,
    상기 표시 화상을 생성하는 스텝은 표시에 이용하는 데이터가 차분화상의 데이터였을 경우에 상기 다른 계층의 화상을 확대하여 가산함으로써 화상을 복원하는 스텝을 포함하는 것을 특징으로 하는 동영상 표시방법.
  20. 동영상을 표시하는 화상 처리 장치에 있어서 요구되는 해상도에 따라서 이용하는 계층을 전환하여 표시 화상을 생성하기 위해서, 하나의 동영상을 구성하는 화상 프레임을 다른 해상도로 표시한 복수의 화상열을 해상도순으로 계층화하여 이루어지는 계층 동영상 데이터를 생성하는 기능을 컴퓨터에 실현시키는 컴퓨터 프로그램으로서,
    하나의 해상도로 표시된 화상 프레임열로 이루어지는 동영상 데이터를 기억장치로부터 읽어내는 기능과,
    각 화상 프레임을 단계적으로 축소함으로써 각 계층의 화상 데이터를 화상 프레임마다 생성하는 기능과,
    적어도 하나의 계층의 화상 데이터에 같은 화상 프레임을 상기 계층보다 낮은 해상도로 표시한 다른 계층의 화상의 확대 화상과의 차분을 나타내는 차분화상의 데이터를 포함시켜서 계층 동영상 데이터를 생성하는 기능과,
    상기 계층 동영상 데이터를 압축 부호화하여 기억장치에 저장하는 기능을 컴퓨터에 실현시키는 것을 특징으로 하는 컴퓨터 프로그램.
  21. 하나의 동영상을 구성하는 화상 프레임을 다른 해상도로 표시한 복수의 화상열을 해상도순으로 계층화하여 이루어지는 계층 동영상 데이터 중 적어도 일부를 기억장치로부터 읽어내고, 그것을 이용하여 표시장치에 대한 동영상 표시를 개시하는 기능과,
    표시중인 동영상에서의 표시영역의 이동요구 신호를 차례로 취득하는 기능과,
    상기 이동요구 신호에 의해 정해지는 요구 해상도에 따라서 상기 계층 동영상 데이터 중 이용하는 계층을 전환하면서 상기 이동요구 신호에 따른 표시 화상을 화상 프레임마다 생성하는 기능과,
    생성한 표시 화상을 상기 표시장치에 표시하는 기능을 컴퓨터에 실현시키는 것을 특징으로 하는 컴퓨터 프로그램으로서,
    상기 계층 동영상 데이터를 구성하는 계층 중 적어도 하나의 계층의 화상 데이터는, 같은 화상 프레임을 상기 계층보다 낮은 해상도로 표시한 다른 계층의 화상의 확대 화상과의 차분을 나타내는 차분화상의 데이터를 포함하고,
    상기 표시 화상을 생성하는 기능은 표시에 이용하는 데이터가 차분화상의 데이터였을 경우에 상기 다른 계층의 화상을 확대하여 가산함으로써 화상을 복원하는 기능을 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
  22. 표시장치에 표시하기 위한 동영상 파일의 데이터 구조로서,
    사용자에 의한 표시영역에 따른 조작 입력에 따라서 정해지는 해상도의 범위와,
    하나의 동영상을 구성하는 화상 프레임을 다른 해상도로 표시한 복수의 화상열을 해상도순으로 계층화하여 이루어지고, 상기 해상도의 범위에 따라서 계층을 전환하여 이용되는 계층 데이터이며, 적어도 하나의 계층의 화상 데이터가, 같은 화상 프레임을 상기 계층보다 낮은 해상도로 표시한 다른 계층의 화상의 확대 화상과의 차분을 나타내는 차분화상의 데이터를 포함하고, 표시시에 상기 다른 계층의 화상을 확대하여 가산함으로써 화상을 복원하는 계층 데이터를 대응시킨 것을 특징으로 하는 동영상 파일의 데이터 구조.
  23. 제22항에 있어서,
    상기 계층 데이터에 있어서 상기 차분화상의 데이터를 포함하는 계층은 동영상 위의 시간경과와 함께 전환되고,
    표시시에 참조함으로써 표시에 이용하는 데이터가 차분화상의 데이터인지 여부를 특정하기 위한 상기 차분화상의 데이터를 포함하는 계층의 전환 스케줄에 따른 정보를 또한 대응시킨 것을 특징으로 하는 동영상 파일의 데이터 구조.
  24. 제22항 또는 제23항에 기재된 데이터 구조를 가지는 동영상 파일을 기록한 기록 매체.
KR1020147001933A 2011-08-01 2012-07-02 동영상 데이터 생성장치, 동영상 표시장치, 동영상 데이터 생성방법, 동영상 표시방법, 및 동영상 파일의 데이터 구조 KR101557327B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011168785A JP5474887B2 (ja) 2011-08-01 2011-08-01 動画データ生成装置、動画像表示装置、動画データ生成方法、動画像表示方法、および動画像ファイルのデータ構造
JPJP-P-2011-168785 2011-08-01
PCT/JP2012/004274 WO2013018276A1 (ja) 2011-08-01 2012-07-02 動画データ生成装置、動画像表示装置、動画データ生成方法、動画像表示方法、および動画像ファイルのデータ構造

Publications (2)

Publication Number Publication Date
KR20140031978A true KR20140031978A (ko) 2014-03-13
KR101557327B1 KR101557327B1 (ko) 2015-10-05

Family

ID=47628829

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147001933A KR101557327B1 (ko) 2011-08-01 2012-07-02 동영상 데이터 생성장치, 동영상 표시장치, 동영상 데이터 생성방법, 동영상 표시방법, 및 동영상 파일의 데이터 구조

Country Status (11)

Country Link
US (1) US9516310B2 (ko)
EP (1) EP2741496B1 (ko)
JP (1) JP5474887B2 (ko)
KR (1) KR101557327B1 (ko)
CN (1) CN103703785B (ko)
AU (1) AU2012291536B2 (ko)
BR (1) BR112014002559B8 (ko)
CA (1) CA2842576C (ko)
MX (1) MX2014001249A (ko)
RU (1) RU2576518C2 (ko)
WO (1) WO2013018276A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9813654B2 (en) * 2014-08-19 2017-11-07 Sony Corporation Method and system for transmitting data
EP3161728B1 (en) * 2014-10-10 2023-05-17 Beijing Kuangshi Technology Co., Ltd. Hierarchical interlinked multi-scale convolutional network for image parsing
CN104361556B (zh) * 2014-10-22 2017-11-28 华为技术有限公司 一种图像合成方法和图像芯片以及图像设备
KR102380979B1 (ko) * 2015-01-05 2022-04-01 삼성전자 주식회사 이미지의 메타데이터 관리 방법 및 장치
CN107592555A (zh) * 2016-07-08 2018-01-16 北京信威通信技术股份有限公司 一种动态获取视频数据的方法、装置及系统
WO2020036099A1 (ja) * 2018-08-17 2020-02-20 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP7105675B2 (ja) * 2018-11-02 2022-07-25 株式会社東芝 送信装置、サーバ装置、送信方法およびプログラム
CN109166538B (zh) * 2018-11-22 2023-10-20 合肥惠科金扬科技有限公司 显示面板的控制电路及显示装置
CN112243148B (zh) * 2019-07-16 2022-10-11 青岛海信传媒网络技术有限公司 显示设备及视频画面缩放方法
CN110363831B (zh) * 2019-07-17 2023-04-07 Oppo广东移动通信有限公司 图层合成方法、装置、电子设备及存储介质
CN113067959B (zh) * 2021-03-16 2022-05-03 合肥合芯微电子科技有限公司 影像插补方法、装置和存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4969204A (en) 1989-11-29 1990-11-06 Eastman Kodak Company Hybrid residual-based hierarchical storage and display method for high resolution digital images in a multiuse environment
JP2906671B2 (ja) 1990-12-28 1999-06-21 ソニー株式会社 ディジタルビデオ信号の高能率符号化装置およびその方法
JPH0799646A (ja) * 1993-05-31 1995-04-11 Sony Corp ディジタル画像信号の階層符号化および復号装置
US6873738B2 (en) 1995-10-02 2005-03-29 Sony Corporation Hierarchical image processor for encoding or decoding, and memory on the same chip
US5959676A (en) * 1995-12-27 1999-09-28 Sony Corporation Video signal encoding method, video signal encoding apparatus, video signal transmitting method, and recording medium
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
TW358296B (en) 1996-11-12 1999-05-11 Matsushita Electric Ind Co Ltd Digital picture encoding method and digital picture encoding apparatus, digital picture decoding method and digital picture decoding apparatus, and data storage medium
SG64486A1 (en) 1997-03-27 1999-04-27 Sony Corp Method and apparatus for information processing computer readable medium and authoring system
US20040039663A1 (en) * 1999-02-26 2004-02-26 Kernz James J. Integrated market exchange system, apparatus and method facilitating trade in graded encapsulated objects
US6681056B1 (en) * 1999-03-30 2004-01-20 International Business Machines Corporation Method and system for digital image acquisition and continuous zoom display from multiple resolutional views using a heterogeneous image pyramid representation
US6535644B1 (en) * 1999-07-01 2003-03-18 Koninklijke Philips Electronics N.V. Hierarchical foveation based on wavelets
EP1249131B1 (en) * 1999-12-22 2004-03-17 General Instrument Corporation Video compression for multicast environments using spatial scalability and simulcast coding
JP4224662B2 (ja) * 2000-08-09 2009-02-18 ソニー株式会社 画像符号化装置および方法、画像復号装置および方法、ならびに画像処理装置
JP2002058028A (ja) * 2000-08-09 2002-02-22 Sony Corp 画像符号化装置および方法、画像復号装置および方法、ならびに画像処理装置
AU2003237279A1 (en) * 2002-05-29 2003-12-19 Pixonics, Inc. Classifying image areas of a video signal
JP2004056335A (ja) 2002-07-18 2004-02-19 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
JP2005142654A (ja) 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd 映像送信装置および映像受信装置
AU2004310915B2 (en) * 2003-12-01 2008-05-22 Samsung Electronics Co., Ltd. Method and apparatus for scalable video encoding and decoding
KR100596705B1 (ko) * 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
JP4565392B2 (ja) 2005-12-22 2010-10-20 日本ビクター株式会社 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
US8160149B2 (en) * 2007-04-03 2012-04-17 Gary Demos Flowfield motion compensation for video compression
EP2330587B1 (en) 2008-09-30 2019-04-10 Sony Interactive Entertainment Inc. Image processing device and image processing method
JP5037574B2 (ja) * 2009-07-28 2012-09-26 株式会社ソニー・コンピュータエンタテインメント 画像ファイル生成装置、画像処理装置、画像ファイル生成方法、および画像処理方法
US8345749B2 (en) * 2009-08-31 2013-01-01 IAD Gesellschaft für Informatik, Automatisierung und Datenverarbeitung mbH Method and system for transcoding regions of interests in video surveillance
JP5116742B2 (ja) 2009-09-11 2013-01-09 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造
EP2513861B1 (en) * 2009-12-16 2017-05-10 Red.Com, Inc. Resolution based formatting of compressed image data

Also Published As

Publication number Publication date
US9516310B2 (en) 2016-12-06
JP5474887B2 (ja) 2014-04-16
CA2842576A1 (en) 2013-02-07
MX2014001249A (es) 2014-05-13
AU2012291536A1 (en) 2014-03-06
RU2014107671A (ru) 2015-09-10
EP2741496A4 (en) 2015-07-22
CN103703785B (zh) 2016-11-23
BR112014002559A2 (pt) 2017-03-14
WO2013018276A1 (ja) 2013-02-07
EP2741496B1 (en) 2019-08-21
BR112014002559B8 (pt) 2022-06-21
AU2012291536B2 (en) 2015-04-02
KR101557327B1 (ko) 2015-10-05
CN103703785A (zh) 2014-04-02
BR112014002559B1 (pt) 2022-05-03
JP2013034079A (ja) 2013-02-14
EP2741496A1 (en) 2014-06-11
CA2842576C (en) 2017-12-05
RU2576518C2 (ru) 2016-03-10
US20140153634A1 (en) 2014-06-05

Similar Documents

Publication Publication Date Title
KR101557327B1 (ko) 동영상 데이터 생성장치, 동영상 표시장치, 동영상 데이터 생성방법, 동영상 표시방법, 및 동영상 파일의 데이터 구조
US9607357B2 (en) Image processing device for displaying moving image and image processing method thereof
US8395634B2 (en) Method and apparatus for processing information
EP2330587B1 (en) Image processing device and image processing method
US8558846B2 (en) Information processing device and method, and program
JP5548671B2 (ja) 画像処理システム、画像提供サーバ、情報処理装置、および画像処理方法
JP6186184B2 (ja) 画像処理装置、画像処理システム、および画像処理方法
JP6225446B2 (ja) 動画像データ配信装置、方法、プログラム、及びシステム
JP5826730B2 (ja) 動画圧縮装置、画像処理装置、動画圧縮方法、画像処理方法、および動画圧縮ファイルのデータ構造
JP2014183353A (ja) 映像処理装置、映像再生装置、映像処理方法、映像再生方法及び映像処理システム
US8281314B2 (en) Information processing device and method
JP2007221323A (ja) 情報処理方法、動画サムネイル表示方法、復号化装置、および情報処理装置
KR101399951B1 (ko) 다시점 비디오 스트리밍 시스템 및 그 제공방법
JP2012060611A (ja) 画像処理装置、画像処理方法、および動画像ファイルのデータ構造
JP5331432B2 (ja) 画像処理装置および画像処理方法
JP5484276B2 (ja) データ圧縮装置、データ復号装置、データ圧縮方法、データ復号方法、および圧縮動画像ファイルのデータ構造
JP2010087904A (ja) 画像処理装置および画像処理方法
KR102499900B1 (ko) 고해상도 영상의 스트리밍을 위한 영상 전송 장치와 영상 재생 장치 및 그 동작 방법
JP5467083B2 (ja) 画像処理装置、画像処理方法、および画像のデータ構造

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180904

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190829

Year of fee payment: 5