KR20160013253A - 화상 신호 복호 장치, 화상 신호 복호 방법, 화상 신호 부호화 장치, 화상 신호 부호화 방법 및 기록 매체 - Google Patents

화상 신호 복호 장치, 화상 신호 복호 방법, 화상 신호 부호화 장치, 화상 신호 부호화 방법 및 기록 매체 Download PDF

Info

Publication number
KR20160013253A
KR20160013253A KR1020167000980A KR20167000980A KR20160013253A KR 20160013253 A KR20160013253 A KR 20160013253A KR 1020167000980 A KR1020167000980 A KR 1020167000980A KR 20167000980 A KR20167000980 A KR 20167000980A KR 20160013253 A KR20160013253 A KR 20160013253A
Authority
KR
South Korea
Prior art keywords
stream
unit
picture
image signal
dependent
Prior art date
Application number
KR1020167000980A
Other languages
English (en)
Other versions
KR101610614B1 (ko
Inventor
데루히꼬 스즈끼
시노부 하또리
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20160013253A publication Critical patent/KR20160013253A/ko
Application granted granted Critical
Publication of KR101610614B1 publication Critical patent/KR101610614B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N13/0048—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/0003—
    • H04N13/0217—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은, Dependent stream의 픽처의 비트 스트림 상의 경계를 용이하게 검출할 수 있는 화상 신호 복호 장치, 화상 신호 복호 방법, 화상 신호 부호화 장치, 화상 신호 부호화 방법 및 프로그램에 관한 것이다. 비트 스트림 상에 있어서는, 각 AU(Access Unite)의 개시 위치에는 AD(AU Delimiter)가 배치되고, Dependent stream의 픽처의 경계에는 DD(Dependent Delimiter)가 배치된다. 스타트 코드를 검출함으로써 NAL unit의 선두가 검출되고, 선두를 검출한 nal_unit_type의 값이 18인 것을 체크함으로써, DD, 즉 Dependent stream의 픽처의 경계(선두)가 검출된다. 본 발명은, 입체 화상 신호를 처리하는 장치에 적용할 수 있다.

Description

화상 신호 복호 장치, 화상 신호 복호 방법, 화상 신호 부호화 장치, 화상 신호 부호화 방법 및 기록 매체{IMAGE SIGNAL DECODING DEVICE, IMAGE SIGNAL DECODING METHOD, IMAGE SIGNAL ENCODING DEVICE, IMAGE SIGNAL ENCODING METHOD, AND RECORDING MEDIUM}
본 발명은 화상 신호 복호 장치, 화상 신호 복호 방법, 화상 신호 부호화 장치, 화상 신호 부호화 방법 및 프로그램에 관한 것으로, 특히 Dependent stream의 픽처의 비트 스트림 상의 경계를 용이하게 검출할 수 있도록 한 화상 신호 복호 장치, 화상 신호 복호 방법, 화상 신호 부호화 장치, 화상 신호 부호화 방법 및 프로그램에 관한 것이다.
최근, 효율이 높은 정보의 전송, 축적을 목적으로 하여, 화상 정보 특유의 용장성을 이용하여, 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축하는 MPEG 등의 방식에 준거한 장치가, 방송국 등의 정보 배신 및 일반 가정에 있어서의 정보 수신의 양쪽에 있어서 보급되고 있다.
특히, MPEG2(ISO/IEC 13818-2)는 범용 화상 부호화 방식으로서 정의되고 있고, 비월 주사 화상 및 순차 주사 화상의 양쪽, 및 표준 해상도 화상 및 고정밀 화상을 망라하는 표준 규격이다. 프로페셔널 용도 및 컨슈머 용도의 광범위한 용도로 현재 널리 사용되고 있다.
MPEG2를 사용함으로써, 예를 들어 720×480화소를 갖는 표준 해상도의 비월 주사 화상이면 4 내지 8Mbps 부호량(비트 레이트)을 할당함으로써, 높은 압축률과 양호한 화질의 실현이 가능하다. 또한, 1920×1088화소를 갖는 고해상도의 비월 주사 화상이면 18 내지 22Mbps의 부호량을 할당함으로써, 높은 압축률과 양호한 화질의 실현이 가능하다.
MPEG2는 주로 방송용에 적합한 고화질 부호화를 대상으로 하고 있었지만, MPEG1보다 낮은 부호량, 즉 보다 높은 압축률의 부호화 방식에는 대응하고 있지 않았다.
휴대 단말기의 보급에 따라, 금후 그러한 부호화 방식의 요구는 높아진다고 고려되어, 이것에 대응하여 MPEG4 부호화 방식의 표준화가 행해졌다. 화상 부호화 방식에 관해서는, 1998년 12월에 ISO/IEC 14496-2로서 그 규격이 국제 표준에 승인되었다.
또한, H.264/AVC(MPEG-4 part 10, ISO/IEC 14496-10 | ITU-T H.264)라는 표준의 규격화가 행해지고 있다. ITU-T와 ISO/IEC 사이에서, 공동으로 비디오 부호화의 표준화를 행하는 JVT(Joint Video Team)라는 단체를 설립하고, 이 단체에서 규격화를 진행하고 있다.
H.264/AVC는, MPEG2나 MPEG4 등의 종래의 부호화 방식에 비해, 그 부호화, 복호에 의해 많은 연산량이 요구되기는 하지만, 보다 높은 부호화 효율이 실현되는 것이 알려져 있다.
[H.264/AVC]
도 1은, 이산 코사인 변환 혹은 카루넨ㆍ루베 변환 등의 직교 변환과 움직임 보상에 의해 화상 압축을 실현하는 화상 정보 부호화 장치의 구성예를 도시하는 블록도이다.
참조부호 1은 A/D 변환부, 2는 화면 재배열 버퍼, 3은 가산부, 4는 직교 변환부, 5는 양자화부, 6은 가역 부호화부, 7은 축적 버퍼, 8은 역양자화부, 9는 역직교 변환부, 10은 프레임 메모리, 11은 움직임 예측ㆍ보상부, 12는 레이트 제어부이다.
입력으로 되는 화상 신호는, 우선 A/D 변환부(1)에 있어서 디지털 신호로 변환된다.
다음에, 출력으로 되는 화상 압축 정보의 GOP(Group of Pictures) 구조에 따라서, 화면 재배열 버퍼(2)에 있어서 프레임의 재배열이 행해진다.
인트라 부호화가 행해지는 화상에 관해서는, 프레임 전체의 화상 정보가 직교 변환부(4)에 입력되고, 여기서 이산 코사인 변환, 카루넨ㆍ루베 변환 등의 직교 변환이 실시된다.
직교 변환 계수(4)의 출력으로 되는 변환 계수는, 양자화부(5)에 있어서 양자화 처리가 실시된다.
양자화부(5)의 출력으로 되는 양자화된 변환 계수는, 가역 부호화부(6)에 입력되고, 여기서 가변 길이 부호화, 산술 부호화 등의 가역 부호화가 실시된 후, 축적 버퍼(7)에 축적되고, 화상 압축 정보로서 출력된다. 양자화부(5)의 거동은, 레이트 제어부(12)에 의해 제어된다.
동시에, 양자화부(5)의 출력으로 되는 양자화된 변환 계수는, 역양자화부(8)에 입력되고, 또한 역직교 변환부(9)에 있어서 역직교 변환 처리가 실시되어, 복호 화상 정보로 되고, 그 정보는 프레임 메모리(10)에 축적된다.
인터 부호화가 행해지는 화상에 관해서는, 우선 화면 재배열 버퍼(2)로부터 움직임 예측ㆍ보상부(11)에 입력된다.
동시에, 참조로 되는 화상 정보가 프레임 메모리(10)로부터 취출되고, 움직임 예측ㆍ보상 처리가 실시되어, 참조 화상 정보가 생성된다.
참조 화상 정보는 가산부(3)로 보내지고, 여기서 당해 화상 정보와의 차분 신호로 변환된다.
움직임 보상ㆍ예측부(11)는, 동시에, 움직임 벡터 정보를 가역 부호화부(6)로 출력한다. 움직임 벡터 정보에 대해서는, 가변 길이 부호화, 산술 부호화 등의 가역 부호화 처리가 실시되어, 화상 압축 정보의 헤더부에 삽입된다. 그 밖의 처리는 인트라 부호화가 실시되는 화상 압축 정보와 마찬가지이다.
도 2는, 화상 정보 복호 장치의 구성예를 도시하는 블록도이다.
참조부호 21은 축적 버퍼, 22는 가역 부호 복호부, 23은 역양자화부, 24는 역직교 변환부, 25는 가산부, 26은 화면 재배열 버퍼, 27은 D/A 변환부, 28은 프레임 메모리, 29는 움직임 예측ㆍ보상부이다.
입력으로 되는 화상 압축 정보(비트 스트림)는, 우선 축적 버퍼(21)에 저장된 후, 가역 부호 복호부(22)로 전송된다.
가역 부호 복호부(22)에 있어서는, 정해진 화상 압축 정보의 포맷에 기초하여 가변 길이 복호, 산술 복호 등의 처리가 행해진다.
동시에, 당해 프레임이 인터 부호화된 것인 경우에는, 가역 부호 복호부(22)에 있어서는, 화상 압축 정보의 헤더부에 저장된 움직임 벡터 정보도 복호되고, 그 정보가 움직임 예측ㆍ보상부(29)로 출력된다.
가역 부호 복호부(22)의 출력으로 되는 양자화된 변환 계수는, 역양자화부(23)에 입력되고, 여기서 변환 계수로서 출력된다.
변환 계수에 대해서는, 역직교 변환부(24)에 있어서, 정해진 화상 압축 정보의 포맷에 기초하여 역이산 코사인 변환, 역카루넨ㆍ루베 변환 등의 역직교 변환이 실시된다.
당해 프레임이 인트라 부호화된 것인 경우에는, 역직교 변환 처리가 실시된 화상 정보는, 화면 재배열 버퍼(26)에 저장되고, D/A 변환 처리 후에 출력된다.
당해 프레임이 인터 부호화된 것인 경우에는, 가역 복호 처리가 실시된 움직임 벡터 정보 및 프레임 메모리(28)에 저장된 화상 정보를 바탕으로 참조 화상이 생성된다. 이 참조 화상과, 역직교 변환부(24)의 출력이, 가산부(25)에 있어서 합성된다. 그 밖의 처리는 인트라 부호화된 프레임과 마찬가지이다.
앞서 설명한 JVT에서 규격화된 AVC는, MPEG2나 MPEG4와 마찬가지로, 움직임 보상과 이산 코사인 변환으로 구성되는 하이브리드 부호화 방식이다.
이산 코사인 변환은, 실수의 이산 코사인 변환을 근사한 정수 변환이어도 좋다. 이산 코사인 변환의 변환 방법이 4×4블록 사이즈의 정수 계수를 사용한 방법이거나, 움직임 보상시의 블록 사이즈가 가변인 것 등, 상세한 방식은 상이하지만, 기본적인 방식은 도 1의 구성에서 실현되는 부호화 방식과 마찬가지이다.
그런데, 최근 입체 화상의 촬상, 표시 기술의 진보로부터, H.264/AVC를 입체 화상 신호의 부호화로 확장하는 검토가 진행되고 있다.
복수의 촬상 장치에 의해 촬상된 다시점의 화상을 부호화하는 MVC(Multiview Video Coding)의 표준화가 진행되고 있다.
2시점의 촬상, 표시를 상정한 화상은 스테레오 화상이라 불린다. 나안(裸眼)의 입체 디스플레이에서는 다시점의 표시에 대응하는 것이 가능하다.
이하, 주로 2시점의 스테레오 화상의 예에 대해 설명하지만, 마찬가지로 하여 3시점 이상의 다시점의 화상에도 적응하는 것이 가능하다.
[MVC]
도 3은, 다시점 부호화 장치를 도시하는 도면이다.
다시점 부호화 장치(41)에 있어서는, 2개의 촬상 장치인 촬상 장치(31)와 촬상 장치(32)로부터 공급된 비디오 신호가 부호화되고, 부호화에 의해 생성된 비트 스트림이 출력된다. 2시점의 화상의 데이터로 이루어지는 비트 스트림은, 1개의 스트림에 다중화되어 출력되도록 해도 좋고, 2 또는 그것 이상의 수의 비트 스트림으로서 출력되도록 해도 좋다.
도 4는, 도 3의 다시점 부호화 장치(41)의 구성예를 도시하는 블록도이다.
다시점 부호화 장치(41)에 있어서는, 다시점의 화상 중 1시점의 화상이 Base stream(기본 스트림)으로서 부호화되고, 다른 화상이 Dependent stream(의존 스트림)으로서 부호화된다.
스테레오 화상의 경우, L 화상(좌시점 화상)과 R 화상(우시점 화상) 중 어느 한쪽의 화상이 Base stream으로서 부호화되고, 다른 쪽의 화상이 Dependent stream으로서 부호화된다.
Base stream은, H.264 AVC/High Profile 등으로 부호화된, 기존의 AVC와 마찬가지의 비트 스트림이다. 따라서, Base stream은, H.264 AVC/High Profile에 대응한 기존의 AVC의 디코더에 의해 복호 가능한 스트림으로 된다.
Base stream으로서 부호화하는 화상은, 재배열 버퍼(51)에 입력되고, I 픽처, P 픽처, B 픽처로서 부호화하는데 적절한 순서로 재배열된다. 재배열된 화상은 비디오 부호화부(52)로 출력된다.
비디오 부호화부(52)는, 도 1의 화상 정보 부호화 장치와 마찬가지의 구성을 갖고 있다. 비디오 부호화부(52)에 있어서는, 예를 들어 H.264 AVC/High Profile에 준하여 부호화가 행해지고, 얻어진 비트 스트림이 다중화부(57)로 출력된다. 또한, 국소 복호 화상이 프레임 메모리(53)에 보존되어, 다음 픽처, 혹은 Dependent stream의 픽처의 부호화시의 참조 화상으로서 사용된다.
한편, Dependent stream으로서 부호화하는 화상은, 재배열 버퍼(54)에 입력되고, I 픽처, P 픽처, B 픽처로서 부호화하는데 적절한 순서로 재배열된다. 재배열된 화상은 의존 스트림 부호화부(55)로 출력된다.
의존 스트림 부호화부(55)에서는, 통상의 AVC의 부호화에 추가하여, 프레임 메모리(53)에 기억되어 있는 Base stream의 국소 복호 화상을 참조 화상으로서 사용한 부호화가 행해지고, 비트 스트림이 다중화부(57)로 출력된다. 또한, 국소 복호 화상이 프레임 메모리(56)에 보존되어, 다음 픽처의 부호화시의 참조 화상으로서 사용된다.
다중화부(57)에서는, Base stream 및 Dependent stream이 1개의 비트 스트림에 다중화되어 출력된다. Base stream과 Dependent stream이 각각 별개의 비트 스트림으로서 출력되도록 해도 좋다.
도 5는, MVC의 참조 화상의 예를 도시하는 도면이다.
Base stream은, 통상의 AVC와 마찬가지로 시간 방향의 예측만을 행하여 부호화가 행해진다.
Dependent stream은, 통상의 AVC와 마찬가지의 동일 시점 화상 내에서의 시간 방향의 예측에 추가하여, 동일 시각의 Base stream의 화상을 참조 화상으로 한 예측을 행하여 부호화가 행해진다. 시간 방향의 예측을 적절하게 행할 수 없는 경우에 있어서도, 동일 시각의 다른 시점의 화상을 참조 가능하게 함으로써 부호화 효율을 개선할 수 있다.
도 6은, Base stream을 생성하는 도 4의 비디오 부호화부(52)의 구성과 프레임 메모리(53)를 도시하는 블록도이다.
도 6에 도시한 구성은, 프레임 메모리(53)에 보존되어 있는 화상이 의존 스트림 부호화부(55)로부터 참조되도록 되어 있는 점을 제외하고, 도 1의 화상 정보 부호화 장치의 구성과 마찬가지이다.
도 7은, Dependent stream을 생성하는 도 4의 의존 스트림 부호화부(55)의 구성과 프레임 메모리(56)를 도시하는 블록도이다.
도 7에 도시한 구성은, 프레임 메모리(53)에 보존되어 있는 화상을 참조할 수 있도록 되어 있는 점을 제외하고, 도 1의 화상 정보 부호화 장치의 구성과 마찬가지이다. 프레임 메모리(53)로부터 판독된 참조 화상은 움직임 예측ㆍ보상부(90)에 입력되어, 움직임 예측, 움직임 보상에 사용된다.
도 8은, 다시점 복호 장치(101)의 구성예를 도시하는 블록도이다.
네트워크나 기록 매체를 통해 다시점 부호화 장치(41)로부터 공급된 Base stream은 버퍼(111)에 입력되고, Dependent stream은 버퍼(114)에 입력된다. 1개의 스트림에 다중화되어 공급된 경우, Base stream과 Dependent stream으로 분리되어, 버퍼(111)와 버퍼(114)에 각각 입력된다.
소정의 시간만큼 버퍼(111)에 있어서 지연된 Base stream은, 비디오 복호부(112)로 출력된다.
비디오 복호부(112)에 있어서는, AVC에 따라서 Base stream의 복호가 행해지고, 얻어진 복호 화상이 프레임 메모리(113)에 보존된다. 프레임 메모리(113)에 보존된 복호 화상은, 다음 픽처, 혹은 Dependent stream의 픽처의 복호시의 참조 화상으로서 사용된다.
비디오 복호부(112)에 의해 얻어진 복호 화상은, 소정의 타이밍에서 비디오 신호로서 3D 디스플레이(102)로 출력된다.
한편, 소정의 시간만큼 버퍼(114)에 있어서 지연된 Dependent stream은 의존 스트림 복호부(115)로 출력된다.
의존 스트림 복호부(115)에 있어서는, Dependent stream의 복호가 행해지고, 얻어진 복호 화상이 프레임 메모리(116)에 보존된다. 프레임 메모리(116)에 보존된 복호 화상은, 다음 픽처의 복호시의 참조 화상으로서 사용된다.
의존 스트림 복호부(115)에 있어서는, 적절히 비트 스트림 중의 정보(플래그 등)에 기초하여, 프레임 메모리(113)에 보존되어 있는 화상이 참조 화상으로서 사용된다.
의존 스트림 복호부(115)에 의해 얻어진 복호 화상은, 소정의 타이밍에서 비디오 신호로서 3D 디스플레이(102)로 출력된다.
3D 디스플레이(102)에 있어서는, 비디오 복호부(112)로부터 공급된 비디오 신호와, 의존 스트림 복호부(115)로부터 공급된 비디오 신호에 기초하여 스테레오 화상의 표시가 행해진다.
도 9는, Base stream의 복호를 행하는 도 8의 비디오 복호부(112)의 구성과 프레임 메모리(113)를 도시하는 도면이다.
도 9에 도시한 구성은, 프레임 메모리(113)에 보존되어 있는 화상이 의존 스트림 복호부(115)로부터 참조되도록 되어 있는 점을 제외하고, 도 2의 화상 정보 복호 장치의 구성과 마찬가지이다.
도 10은, Dependent stream을 복호하는 도 8의 의존 스트림 복호부(115)의 구성과 프레임 메모리(116)를 도시하는 블록도이다.
도 10에 도시한 구성은, 프레임 메모리(113)에 보존되어 있는 화상을 참조할 수 있도록 되어 있는 점을 제외하고, 도 2의 화상 정보 복호 장치의 구성과 마찬가지이다. 프레임 메모리(113)로부터 판독된 참조 화상은 움직임 예측ㆍ보상부(148)에 입력되어, 움직임 예측, 움직임 보상에 사용된다.
일본 특허 공개 제2007-208917호 공보
AVC 및 MVC에서는, 버퍼 오버플로우, 언더플로우를 방지하기 위해, 복호 장치측의 버퍼의 동작을 모방한 가상 버퍼 모델을 정의하고 있다.
부호화 장치측에서는, 가상 버퍼를 오버플로우, 언더플로우시키지 않도록 부호화가 행해진다. 이와 같이 하여 부호화된 비트 스트림이면, 복호 장치는 버퍼를 파탄시키지 않고 복호할 수 있다.
가상 버퍼 모델에 대해 설명한다.
도 11은, 가상 버퍼 모델의 예를 도시하는 도면이다.
입력된 비트 스트림은 우선 버퍼(151)에 공급된다. 버퍼(151)로부터는, AU(액세스 유닛)라 불리는 단위로 비트 스트림이 순식간에 판독되어, 비디오 복호부(152)에 공급된다.
비디오 복호부(152)에 있어서는, 버퍼(151)로부터 판독된 데이터가 순식간에 복호되어 복호 화상이 생성된다. 이러한 가정이 가상 버퍼 모델에서 이루어진다.
또한, 도 11의 버퍼(151)는, 도 8의 다시점 복호 장치(101)에 있어서는, 버퍼(111)와 버퍼(114)에 대응한다. 또한, 도 11의 비디오 복호부(152)는, 도 8의 다시점 복호 장치(101)에 있어서는 비디오 복호부(112)와 의존 스트림 복호부(115)에 대응한다.
AVC의 경우, 1AU에는 1픽처의 데이터가 저장된다.
MVC의 경우, 1AU에는, 동일 시각의 모든 view(Base stream 및 Dependent stream)의 데이터가 저장된다. 여기서, view라 함은 각 시점의 화상이다.
이러한 가상 버퍼 모델에서의 버퍼(151)의 거동을 도 12에 나타낸다. 도 12의 종축은 버퍼 점유량을 나타내고, 횡축은 시각을 나타낸다.
도 12에 나타낸 바와 같이, 버퍼(151)에는 소정의 비트 레이트로 비트 스트림이 공급된다. 또한, 각 AU의 판독 시각에, 버퍼(151)로부터 그 AU에 저장되어 있는 비트 스트림이 뽑아 내어진다. 시각 t1, t2, t3, …은 각각 버퍼(151)로부터의 판독 시각이다.
도 13은, MVC에 의해 부호화된 비트 스트림의 AU의 구성을 도시하는 도면이다.
도 13의 상단에는 AU#1, #2, #3이 도시되어 있다.
AU#1은, 동일 시각의 픽처인 Base stream의 픽처 P1과 Dependent stream의 픽처 P2로 구성된다(픽처의 데이터가 저장됨).
AU#2는, 동일 시각의 픽처인 Base stream의 픽처 P3과 Dependent stream의 픽처 P4로 구성된다.
AU#3은, 동일 시각의 픽처인 Base stream의 픽처 P5와 Dependent stream의 픽처 P6으로 구성된다.
도 13의 하단에 비트 스트림의 구성을 도시한다.
도 13의 비트 스트림은, Base stream과 Dependent stream을 다중화하여 구성되는 1개의 스트림이다. 각 AU의 선두에는 AD(AU Delimiter)라 불리는 NAL unit이 삽입된다. AD는, 임의의 고유의 데이터 열이다.
AD는, 동일 시각의 Base stream의 픽처와 Dependent stream의 픽처의 데이터의 개시 위치를 나타내게 된다.
도 13에 도시한 바와 같이, 비트 스트림 상에서는, AU#1은, AD#1, 픽처 P1 및 픽처 P2로 구성된다.
AU#2는, AD#2, 픽처 P3 및 픽처 P4로 구성된다.
AU#3은, AD#3, 픽처 P5 및 픽처 P6으로 구성된다.
AD를 검색함으로써, AU의 선두를 찾아내어, 소정의 픽처로의 액세스를 용이하게 행할 수 있도록 되어 있다.
도 14는, 비트 스트림의 구조의 예를 도시하는 도면이다.
도 14의 A는, Base stream과 Dependent stream을 1개의 비트 스트림에 다중화한 경우의 구조를 나타낸다. 도 14의 A의 비트 스트림의 구조는, 도 13의 비트 스트림의 구조와 동일하다.
도 14의 B는, Base stream과 Dependent stream을 각각 별개의, 합계 2개의 비트 스트림에 포함시킨 경우의 구조를 도시한다. 도 14의 A에 도시한 부분과 대응하는 부분에는 동일한 부호를 부여하고 있다.
도 14의 B에 도시한 바와 같이, Base stream은, AD#1, 픽처 P1, AD#2, 픽처 P3, AD#3 및 픽처 P5가 그 순서대로 배치됨으로써 구성된다.
한편, Dependent stream은, 픽처 P2, 픽처 P4 및 픽처 P6이 그 순서대로 배치됨으로써 구성된다.
도 14의 비트 스트림을 대상으로 한 복호 처리에 대해 도 11의 구성을 사용하여 설명한다.
예를 들어, 도 14의 A의 비트 스트림이 공급된 경우, 도 11의 비디오 복호부(152)는, AD#1을 검출한 후, Base stream의 픽처 P1, Dependent stream의 픽처 P2를 순차 판독하여, 각각 복호한다.
또한, 도 14의 B의 비트 스트림이 공급된 경우, 비디오 복호부(152)는, Base stream의 1개째의 AU에 대해서는, AD#1을 검출하여 픽처 P1을 판독하여 복호한다. 또한, 비디오 복호부(152)는, 2개째의 AU에 대해서는, AD#2를 검출하여 픽처 P3을 판독하여 복호한다.
Dependent stream의 쪽에는 AD가 존재하지 않기 때문에, 각 픽처를 판독하기 위해서는, 비트 스트림 중의 구문을 해석하여, 픽처 P2, P4, P6의 경계를 판정할 필요가 있다. 따라서, 처리가 매우 복잡해진다.
여기서, 픽처의 선두를 용이하게 검출할 수 있도록, Base stream과 마찬가지로 하여, Dependent stream의 각 픽처의 선두에 AD를 단순히 추가한 경우를 생각할 수 있다.
이 경우, 예를 들어 Base stream과 Dependent stream을 1개의 비트 스트림에 다중화했을 때에는, 비디오 복호부(152)는, Base stream의 AU와 Dependent stream의 AU를 별개의 AU로서 인식해 버리게 된다. 이에 의해, 가상 버퍼 모델의 동작을 바르게 재현할 수 없다.
본 발명은 이러한 상황을 감안하여 이루어진 것이며, Dependent stream의 픽처의 비트 스트림 상의 경계를 용이하게 검출할 수 있도록 하는 것이다.
본 발명의 일측면의 화상 신호 복호 장치는, 복수 시점의 화상 신호로 구성되는 입체 화상 신호를 부호화한 비트 스트림을 복호하는 화상 신호 복호 장치에 있어서, 1개의 시점의 화상에 부호화되어 있는, 소정의 시각의 전체 시점의 화상 부호화 비트 스트림이 개시하는 것을 나타내는 제1 고유 데이터 열을 복호하여, 상기 소정의 시각의 부호화 데이터의 개시를 식별하고, 다른 시점의 화상의 부호화 비트 스트림의 선두에 각각 부호화되어 있는, 상기 소정의 시각의 상기 다른 시점의 화상 부호화 비트 스트림이 개시하는 것을 나타내는 제2 고유 데이터 열을 복호하여, 상기 다른 시점의 화상 신호의 부호화 데이터의 개시를 식별하여 비트 스트림을 복호하는 복호 수단을 구비한다.
상기 복수 시점의 화상 신호는 2시점의 화상 신호이며, 1개의 비트 스트림으로서 구성되도록 할 수 있다.
복수 시점의 화상 신호는 2시점의 화상 신호이며, 2개의 비트 스트림으로서 구성되도록 할 수 있다.
상기 복호 수단에는, 한쪽 시점의 화상에 부호화되어 있는, 상기 소정의 시각의 전체 시점의 화상 부호화 비트 스트림이 개시하는 것을 나타내는 상기 제1 고유 데이터 열을 복호하여, 상기 소정의 시각의 부호화 데이터의 개시를 식별하고, 다른 쪽 시점의 화상의 부호화 비트 스트림의 선두에 부호화되어 있는, 상기 소정의 시각의 상기 다른 쪽 시점의 화상 부호화 비트 스트림이 개시하는 것을 나타내는, 상기 제2 고유 데이터 열을 복호하여, 상기 다른 쪽 시점의 화상 신호의 부호화 데이터의 개시를 식별하여 비트 스트림을 복호시킬 수 있다.
바르게 복호를 개시할 수 있는 위치에 액세스하는 경우, 상기 복호 수단에는, 1개의 시점의 화상에 부호화되어 있는, 상기 소정의 시각의 전체 시점의 화상 부호화 비트 스트림이 개시하는 것을 나타내는 상기 제1 고유 데이터 열을 복호하여, 상기 1개의 시점의 상기 소정의 시각의 부호화 데이터의 개시를 식별하고, 상기 다른 시점의 화상의 부호화 비트 스트림의 선두에 각각 부호화되어 있는, 상기 소정의 시각의 상기 다른 시점의 화상 부호화 비트 스트림이 개시하는 것을 나타내는 상기 제2 고유 데이터 열을 복호하여, 상기 다른 시점의 화상 신호의 부호화 데이터의 개시를 식별하고, 식별한 개시 위치로부터 비트 스트림을 복호시킬 수 있다.
본 발명의 일측면의 화상 신호 복호 방법은, 복수 시점의 화상 신호로 구성되는 입체 화상 신호를 부호화한 비트 스트림을 복호하는 화상 신호 복호 방법에 있어서, 1개의 시점의 화상에 부호화되어 있는, 소정의 시각의 전체 시점의 화상 부호화 비트 스트림이 개시하는 것을 나타내는 제1 고유 데이터 열을 복호하여, 상기 소정의 시각의 부호화 데이터의 개시를 식별하고, 다른 시점의 화상의 부호화 비트 스트림의 선두에 각각 부호화되어 있는, 상기 소정의 시각의 상기 다른 시점의 화상 부호화 비트 스트림이 개시하는 것을 나타내는 제2 고유 데이터 열을 복호하여, 상기 다른 시점의 화상 신호의 부호화 데이터의 개시를 식별하여 비트 스트림을 복호하는 스텝을 포함한다.
본 발명의 일측면의 프로그램은, 복수 시점의 화상 신호로 구성되는 입체 화상 신호를 부호화한 비트 스트림을 복호하는 처리를 컴퓨터에 실행시키는 프로그램에 있어서, 1개의 시점의 화상에 부호화되어 있는, 소정의 시각의 전체 시점의 화상 부호화 비트 스트림이 개시하는 것을 나타내는 제1 고유 데이터 열을 복호하여, 상기 소정의 시각의 부호화 데이터의 개시를 식별하고, 다른 시점의 화상의 부호화 비트 스트림의 선두에 각각 부호화되어 있는, 상기 소정의 시각의 상기 다른 시점의 화상 부호화 비트 스트림이 개시하는 것을 나타내는 제2 고유 데이터 열을 복호하여, 상기 다른 시점의 화상 신호의 부호화 데이터의 개시를 식별하여 비트 스트림을 복호하는 스텝을 포함하는 처리를 컴퓨터에 실행시킨다.
본 발명의 다른 측면의 화상 신호 부호화 장치는, 복수 시점의 화상 신호로 구성되는 입체 화상 신호를 부호화하는 화상 신호 부호화 장치에 있어서, 1개의 시점의 화상에 소정의 시각의 전체 시점의 화상 부호화 비트 스트림이 개시하는 것을 나타내는 제1 고유 데이터 열을 부호화하고, 다른 시점의 화상의 부호화 비트 스트림의 선두에는, 각각 상기 소정의 시각의 상기 다른 시점의 화상 부호화 비트 스트림이 개시하는 것을 나타내는 제2 고유 데이터 열을 부호화하는 부호화 수단을 구비한다.
상기 부호화 수단에는, 모든 시점의 부호화 데이터를 1개의 비트 스트림 중에 다중화시킬 수 있다.
상기 부호화 수단에는, 모든 시점의 부호화 데이터를 2개의 비트 스트림 중에 각각 포함시킬 수 있다.
상기 복수 시점의 화상 신호는 2시점의 화상 신호이도록 할 수 있다.
본 발명의 다른 측면의 화상 신호 부호화 방법은, 복수 시점의 화상 신호로 구성되는 입체 화상 신호를 부호화하는 화상 신호 부호화 방법에 있어서, 1개의 시점의 화상에 소정의 시각의 전체 시점의 화상 부호화 비트 스트림이 개시하는 것을 나타내는 제1 고유 데이터 열을 부호화하고, 다른 시점의 화상의 부호화 비트 스트림의 선두에는, 각각 상기 소정의 시각의 상기 다른 시점의 화상 부호화 비트 스트림이 개시하는 것을 나타내는 제2 고유 데이터 열을 부호화하는 스텝을 포함한다.
본 발명의 다른 측면의 프로그램은, 복수 시점의 화상 신호로 구성되는 입체 화상 신호를 부호화하는 처리를 컴퓨터에 실행시키는 프로그램에 있어서, 1개의 시점의 화상에 소정의 시각의 전체 시점의 화상 부호화 비트 스트림이 개시하는 것을 나타내는 제1 고유 데이터 열을 부호화하고, 다른 시점의 화상의 부호화 비트 스트림의 선두에는, 각각 상기 소정의 시각의 상기 다른 시점의 화상 부호화 비트 스트림이 개시하는 것을 나타내는 제2 고유 데이터 열을 부호화하는 스텝을 포함하는 처리를 컴퓨터에 실행시킨다.
본 발명의 일측면에 있어서는, 1개의 시점의 화상에 부호화되어 있는, 소정의 시각의 전체 시점의 화상 부호화 비트 스트림이 개시하는 것을 나타내는 제1 고유 데이터 열이 복호되어, 상기 소정의 시각의 부호화 데이터의 개시가 식별된다. 또한, 다른 시점의 화상의 부호화 비트 스트림의 선두에 각각 부호화되어 있는, 상기 소정의 시각의 상기 다른 시점의 화상 부호화 비트 스트림이 개시하는 것을 나타내는 제2 고유 데이터 열이 복호되어, 상기 다른 시점의 화상 신호의 부호화 데이터의 개시가 식별되어 비트 스트림이 복호된다.
본 발명의 다른 측면에 있어서는, 1개의 시점의 화상에 소정의 시각의 전체 시점의 화상 부호화 비트 스트림이 개시하는 것을 나타내는 제1 고유 데이터 열이 부호화되고, 다른 시점의 화상의 부호화 비트 스트림의 선두에는, 각각 상기 소정의 시각의 상기 다른 시점의 화상 부호화 비트 스트림이 개시하는 것을 나타내는 제2 고유 데이터 열이 부호화된다.
본 발명의 일측면에 따르면, Dependent stream의 픽처의 비트 스트림 상의 경계를 용이하게 검출할 수 있다.
도 1은 화상 정보 부호화 장치의 구성예를 도시하는 블록도.
도 2는 화상 정보 복호 장치의 구성예를 도시하는 블록도.
도 3은 다시점 부호화 장치를 도시하는 도면.
도 4는 도 3의 다시점 부호화 장치의 구성예를 도시하는 블록도.
도 5는 MVC의 참조 화상의 예를 도시하는 도면.
도 6은 도 4의 비디오 부호화부의 구성과 프레임 메모리를 도시하는 블록도.
도 7은 도 4의 의존 스트림 부호화부의 구성과 프레임 메모리를 도시하는 블록도.
도 8은 다시점 복호 장치의 구성예를 도시하는 블록도.
도 9는 도 8의 비디오 복호부의 구성과 프레임 메모리를 도시하는 도면.
도 10은 도 8의 의존 스트림 복호부의 구성과 프레임 메모리를 도시하는 블록도.
도 11은 가상 버퍼 모델의 예를 도시하는 도면.
도 12는 도 11의 버퍼의 거동을 나타내는 도면.
도 13은 MVC에 의해 부호화된 비트 스트림의 AU의 구성을 도시하는 도면.
도 14는 비트 스트림의 구조의 예를 도시하는 도면.
도 15는 본 발명의 일 실시 형태에 관한 다시점 부호화 장치의 일부인 의존 스트림 부호화부의 구성예를 도시하는 블록도.
도 16은 비트 스트림의 구조의 예를 도시하는 도면.
도 17은 NAL unit의 구성예를 도시하는 도면.
도 18은 NAL unit의 구문을 도시하는 도면.
도 19는 nal_unit_type의 정의를 도시하는 도면.
도 20은 nal_unit_type의 정의를 도시하는 도면.
도 21은 NAL unit의 구문을 간략화하여 도시하는 도면.
도 22는 NAL unit을 포함하는 구문을 도시하는 도면.
도 23은 도 22의 구문을 간략화하여 도시하는 도면.
도 24는 본 발명의 일 실시 형태에 관한 다시점 복호 장치의 일부인 의존 스트림 복호부의 구성예를 도시하는 블록도.
도 25는 가상 버퍼 모델의 예를 도시하는 도면.
도 26은 AU의 선두에 액세스하는 방법의 예를 도시하는 도면.
도 27은 구문 해석부의 동작에 대해 설명하는 흐름도.
도 28은 종래의 해석 처리에 대해 설명하는 흐름도.
도 29는 3시점의 영상을 MVC에 의해 부호화하여 얻어진 비트 스트림의 AU의 구성을 도시하는 도면.
도 30은 비트 스트림의 구조의 예를 도시하는 도면.
도 31은 비트 스트림의 구조의 예를 도시하는 도면.
도 32는 컴퓨터의 구성예를 도시하는 블록도.
[다시점 부호화 장치의 구성]
도 15는, 본 발명의 일 실시 형태에 관한 다시점 부호화 장치의 일부인 의존 스트림 부호화부의 구성예를 도시하는 블록도이다.
본 발명의 일 실시 형태에 관한 다시점 부호화 장치에 있어서는, Base stream에는 AU의 경계를 나타내는 정보가 부호화되고, Dependent stream에는 Dependent stream의 픽처간의 경계를 나타내는 정보가 부호화된다.
이에 의해, 다시점 복호 장치는, 입체 화상의 비트 스트림을 복호할 때, 간단한 처리로 AU의 경계 등을 판정하고, 가상 버퍼 모델에 기초하여 복호 동작을 행하는 것이 가능해진다.
다시점 부호화 장치는 도 4의 구성과 동일한 구성을 갖는다. 도 15는, 도 4의 의존 스트림 부호화부(55)의 구성예를 도시한다. 본 발명의 일 실시 형태에 관한 다시점 부호화 장치(41)의 비디오 부호화부(52)는, 도 6의 구성과 동일한 구성을 갖는다. 동일한 구성에 대해서는 동일한 부호를 부여하고 있다.
도 15에 도시한 의존 스트림 부호화부(55)의 구성은, DD 부호화부(201)가 마련되는 점과, DD 부호화부(201)의 출력이 가역 부호화부(86)에 공급되도록 되어 있는 점을 제외하고, 도 7의 구성과 동일한 구성이다.
DD 부호화부(201)는, Dependent stream의 각 픽처의 선두에 DD(Dependent delimiter)(View and dependency representation delimiter NAL unit)라 불리는 NAL unit을 삽입한다. DD는, AD와 마찬가지로 고유의 데이터 열이지만, AD와는 상이한 값을 갖는다.
가역 부호화부(86)는, DD 부호화부(201)에 의해 생성된 DD의 NAL unit을 각 픽처의 선두에 삽입하여 부호화하고, DD가 삽입된 Dependent stream을 출력한다.
도 16은, 도 15의 의존 스트림 부호화부(55)를 포함하는 다시점 부호화 장치(41)에 의해 생성된 비트 스트림의 구조의 예를 도시하는 도면이다.
도 16의 A는, Base stream과 Dependent stream을 1개의 비트 스트림에 다중화한 경우의 구조의 예를 도시한다.
도 16의 B는, Base stream과 Dependent stream을 각각 별개의, 합계 2개의 비트 스트림에 포함시킨 경우의 구조의 예를 도시한다. 도 16의 A에 도시한 부분과 대응하는 부분에는 동일한 부호를 부여하고 있다.
도 16의 A의 비트 스트림을 생성하는 경우, 다시점 부호화 장치(41)는, AD#1을 부호화한 후, Base stream의 픽처 P1을 부호화한다. 다음에, 다시점 부호화 장치(41)는, Dependent stream의 픽처를 부호화하기 전에 DD#1을 부호화하고, 그 후에 Dependent stream의 픽처 P2를 부호화한다.
다음 AU로 처리 대상을 전환했을 때, 다시점 부호화 장치(41)는, AD#2를 부호화하고, Base stream의 픽처 P3을 부호화한다. 다음에, 다시점 부호화 장치(41)는, Dependent stream의 픽처를 부호화하기 전에 DD#2를 부호화하고, 그 후에 Dependent stream의 픽처 P4를 부호화한다.
마찬가지로 하여, 다시점 부호화 장치(41)는, Dependent stream의 픽처를 부호화하기 전에 DD를 부호화하고, DD의 직후에 Dependent stream의 픽처를 배치한다.
이 예에 있어서도, AU의 선두에는 AD가 배치된다. 1개째의 AU는 AD#1, 픽처 P1, DD#1 및 픽처 P2로 구성되고, 2개째의 AU는 AD#2, 픽처 P3, DD#2 및 픽처 P4로 구성된다. 3개째의 AU는 AD#3, 픽처 P5, DD#3 및 픽처 P6으로 구성된다.
도 16의 B의 비트 스트림을 생성하는 경우, 다시점 부호화 장치(41)는, Base stream에 대해서는, AD#1을 부호화한 후, Base stream의 픽처 P1을 부호화한다. 다음 AU로 처리 대상을 전환했을 때, 다시점 부호화 장치(41)는, AD#2를 부호화하고, Base stream의 픽처 P3을 부호화한다.
또한, 다시점 부호화 장치(41)는, Dependent stream에 대해서는, DD#1을 부호화한 후, Dependent stream의 픽처 P2를 부호화한다. 다음 AU로 처리 대상을 전환했을 때, 다시점 부호화 장치(41)는, DD#2를 부호화하고, Dependent stream의 픽처 P4를 부호화한다.
마찬가지로 하여, 다시점 부호화 장치(41)는, Dependent stream의 픽처를 부호화하기 전에 DD를 부호화하고, DD의 직후에 Dependent stream의 픽처를 배치한다.
도 16의 B에 도시한 바와 같이, Base stream은, AD#1, 픽처 P1, AD#2, 픽처 P3, AD#3 및 픽처 P5가 그 순서대로 배치됨으로써 구성된다.
한편, Dependent stream은, DD#1, 픽처 P2, DD#2, 픽처 P4, DD#3 및 픽처 P6이 그 순서대로 배치됨으로써 구성된다.
도 16의 B의 예에 있어서도, 1개째의 AU는 AD#1, 픽처 P1, DD#1 및 픽처 P2로 구성되고, 2개째의 AU는 AD#2, 픽처 P3, DD#2 및 픽처 P4로 구성된다. 3개째의 AU는 AD#3, 픽처 P5, DD#3 및 픽처 P6으로 구성된다.
AD는, 동일 시각의 Base stream의 픽처와 Dependent stream의 픽처의 데이터의 개시 위치, 즉 소정의 시각의 전체 시점의 화상 부호화 비트 스트림의 개시 위치를 나타낸다. 또한, DD는, Dependent stream의 픽처의 데이터의 경계 위치, 즉 Dependent stream의 화상 부호화 비트 스트림의 개시 위치를 나타낸다.
[구문에 대해]
DD의 구문에 대해 설명한다.
AD나 각 픽처를 포함하는 모든 부호화 데이터는, NAL unit이라 불리는 유닛에 저장되고, 소정의 순서로 재배열되어 비트 스트림이 구성된다. 상세한 것은 ISO/IEC 14496-10 | ITU-T H.264에 기재되어 있다.
DD에 대해서도, NAL unit에 저장되게 된다.
도 17은, NAL unit의 구성예를 도시하는 도면이다.
부호화 데이터나 헤더는 바이트 단위로 취급된다. NAL_BytesInNALunit은 그 NAL unit의 크기를 바이트 단위로 나타내는 파라미터이며, NAL unit의 경계를 식별하기 위해 필요하게 된다.
NAL unit의 경계를 식별하는 하나의 방법으로서, 스타트 코드를 검색하는 방법이 있다. 그 이외의 경우, 어떠한 방법으로 NAL unit의 크기를 디코더에 전송할 필요가 있다. rbsp_byte[]는, NAL unit에 저장되는 부호화 데이터나 헤더이다.
도 18은, NAL unit의 구문을 도시하는 도면이다.
forbidden_zero_bit는 1비트의 데이터이며 항상 0이다.
nal_ref_idc는 2비트의 데이터이며, 이 값이 0 이외의 값인 경우, 당해 NAL unit이, 다른 NAL unit으로부터 데이터를 참조되는 것을 나타낸다. nal_ref_idc의 값이 0인 경우, 다른 NAL unit으로부터는 참조되지 않는다.
nal_unit_type은 5비트의 데이터이며, 당해 NAL unit의 내용이 무엇인지를 나타낸다.
forbidden_zero_bit, nal_ref_idc, nal_unit_type이, 도 17의 헤더(Header)를 구성한다.
도 19 및 도 20은, nal_unit_type의 정의를 도시하는 도면이다.
도 19에 도시한 바와 같이, nal_unit_type=9는, 당해 NAL unit의 내용이 AD인 것을 나타낸다.
도 20에 도시한 바와 같이, nal_unit_type=18은, 당해 NAL unit의 내용이 DD인 것을 나타낸다.
도 18의 NAL unit의 구문을 간략화하면 도 21에 도시한 바와 같은 것이 된다.
NAL unit은, 도 22에 도시한 구문에 기초하여, 스타트 코드를 부가하여, 바이트 스트림이라 불리는 스트림을 구성한다. 이 바이트 스트림이, 상술한 비트 스트림에 상당한다.
도 22의 3byte(0x000001)의 startcode_prefix(start_code_prefix_one_3bytes)가, NAL unit의 선두에 부가되는 스타트 코드이다. startcode_prefix는, 바이트 스트림 중에서 다른 장소에 출현해서는 안 되는 고유의 코드이다.
바이트 스트림 중의 startcode_prefix를 검색함으로써, NAL unit의 선두를 검출할 수 있다. 또한, 선두를 검출한 NAL unit의 헤더에 있는 nal_unit_type을 체크함으로써, 원하는 NAL unit에 액세스하는 것이 가능해진다.
도 22의 구문을 간략화하면 도 23에 도시한 바와 같은 것이 된다.
이와 같이, Dependent stream의 각 픽처의 경계에는, Dependent stream이 Base stream과 함께 1개의 비트 스트림에 다중화되는 경우이어도, 별개의 비트 스트림에 포함되는 경우이어도, DD가 배치된다.
DD를 저장하는 NAL unit의 선두에는 스타트 코드가 부가되어, 그nal_unit_type의 값으로서, 내용이 DD인 것을 나타내는 값인 18이 설정된다.
다시점 복호 장치는, 스타트 코드를 검출함으로써 NAL unit의 선두를 검출할 수 있다. 또한, 선두를 검출한 nal_unit_type의 값이 18인 것을 체크함으로써, DD, 즉 Dependent stream의 픽처의 경계(선두)를 검출하는 것이 가능해진다.
[다시점 복호 장치]
도 24는, 본 발명의 일 실시 형태에 관한 다시점 복호 장치의 일부인 의존 스트림 복호부의 구성예를 도시하는 블록도이다.
본 발명의 일 실시 형태에 관한 다시점 복호 장치는 도 8의 구성과 동일한 구성을 갖는다. 도 24는, 도 8의 의존 스트림 복호부(115)의 구성예를 도시한다. 본 발명의 일 실시 형태에 관한 다시점 복호 장치(101)의 비디오 복호부(112)는, 도 9의 구성과 동일한 구성을 갖는다.
도 24에 도시한 의존 스트림 복호부(115)의 구성은, DD가 가역 부호 복호부(142)로부터 출력되도록 되어 있는 점을 제외하고, 도 10의 구성과 동일한 구성이다.
가역 부호 복호부(142)는, Dependent stream에 포함되는 DD를 복호하고, 출력한다. 출력된 DD에 기초하여, 상위의 어플리케이션 등에 의해, 랜덤 액세스시의 디코드의 개시 위치 등이 특정된다.
MVC의 가상 버퍼 모델에 대해 설명한다.
도 25는, MVC의 비트 스트림이 Base stream과 Dependent stream의 2개로 구성되는 경우의 가상 버퍼 모델의 예를 도시하는 도면이다.
입력된 Base stream은 버퍼(151A)에 저장되고, Dependent stream은 버퍼(151B)에 저장된다. 버퍼(151A, 151B)로부터, AU 단위로 비트 스트림이 순식간에 판독되고, 비디오 복호 장치(152)에 있어서 순식간에 복호된다.
또한, 도 25의 버퍼(151A)는, 도 8의 다시점 복호 장치(101)에 있어서는 버퍼(111)에 대응하고, 도 25의 버퍼(151B)는, 도 8의 다시점 복호 장치(101)에 있어서는 버퍼(114)에 대응한다. 또한, 도 25의 비디오 복호부(152)는, 도 8의 다시점 복호 장치(101)에 있어서는, 비디오 복호부(112)와 의존 스트림 복호부(115)에 대응한다.
예를 들어, 도 16의 B의 Base stream이 버퍼(151A)에 저장되고, Dependent stream이 버퍼(151B)에 저장된 경우, 임의의 타이밍에서는, AD#1에 기초하여 버퍼(151A)로부터 픽처 P1이 판독되고, DD#1에 기초하여 버퍼(151B)로부터 픽처 P2가 판독된다. 판독된 픽처는 비디오 복호부(152)에 의해 복호된다.
또한, 다음 타이밍에서는, AD#2에 기초하여 버퍼(151A)로부터 픽처 P3이 판독되고, DD#2에 기초하여 버퍼(151B)로부터 픽처 P4가 판독된다.
MVC의 비트 스트림이 Base stream과 Dependent stream의 1개로 구성되는 경우의 가상 버퍼 모델은 도 11에 도시한 바와 동일해진다.
예를 들어, 도 16의 A의 비트 스트림이 도 11의 버퍼(151)에 저장된 경우, 임의의 타이밍에서는, AD#1에 기초하여 버퍼(151)로부터 픽처 P1과 P2가 판독된다.
또한, 다음 타이밍에서는, AD#2에 기초하여 버퍼(151)로부터 픽처 P3과 P4가 판독된다.
다음에, 랜덤 액세스시나 에러 발생시 등에, 소정의 AU의 선두에 액세스하는 방법의 예에 대해 도 26을 참조하여 설명한다.
입력된 비트 스트림은, 우선 버퍼(211)에 공급되고, 일시적으로 기억된 후, 스타트 코드 검출부(212)와 디코더(214)에 공급된다.
스타트 코드 검출부(212)는, 고유의 데이터 열을 갖는 스타트 코드를 검출한다. 스타트 코드를 검출한 경우, 스타트 코드 검출부(212)는, 그것에 이어지는 데이터를 구문 해석부(213)로 출력한다.
구문 해석부(213)는, 스타트 코드 검출부(212)로부터 공급된 데이터를 해석한다. 스타트 코드에 이어지는 데이터이기 때문에, 스타트 코드 검출부(212)로부터 공급된 데이터는 NAL unit의 데이터가 된다.
구문 해석부(213)는, NAL unit의 헤더 등의 해석을 행함으로써 AU의 개시 위치를 식별한 경우, 디코더(214)와 버퍼(211)에 AU의 개시 위치인 것을 나타내는 신호를 출력한다.
AD가 존재하는 경우(NAL unit의 데이터가 공급된 경우), 구문 해석부(213)는 nal_unit_type=9인지 여부를 체크한다. nal_unit_type=9인 경우, 그 NAL unit의 내용은 상술한 바와 같이 AD이며, 이에 의해 AU의 선두인 것이 검출된다.
마찬가지로, AD가 존재하는 경우, 구문 해석부(213)는 nal_unit_type=18인지 여부를 체크한다. nal_unit_type=18인 경우, 그 NAL unit의 내용은 상술한 바와 같이 DD이며, 이에 의해 Dependent stream의 픽처의 선두인 것이 검출된다.
디코더(214)와 버퍼(211)는, 구문 해석부(213)로부터의 신호에 기초하여, 이후, AU 단위로 각 픽처의 복호를 통상대로 행한다.
도 27의 흐름도를 참조하여, Dependent stream의 픽처의 선두를 검출하는 동작에 대해 설명한다.
여기서는, 도 16의 B에 도시한 바와 같이 Base stream과 Dependent stream이 각각 별개의 비트 스트림을 구성하고, Dependent stream에는 DD가 부호화되어 있는 것으로 한다.
스텝 S1에 있어서, 스타트 코드 검출부(212)는 스타트 코드의 검색을 행한다.
스타트 코드가 검출된 후, 스텝 S2에 있어서, 구문 해석부(213)는 nal_unit_type=18인지 여부를 체크한다.
nal_unit_type=18이면 스텝 S2에 있어서 판정된 경우, 스텝 S3에 있어서, 구문 해석부(213)는, 검출한 스타트 코드가 부가되어 있는 NAL unit이 DD를 저장하는 유닛이며, Dependent stream의 픽처의 선두인 것을 검출한다.
도 14의 B에 도시한 바와 같이 2개의 비트 스톰으로 구성되고, 또한 종래의 MVC와 같이 Dependent stream에 DD가 없는 경우의 동작을 도 28에 나타낸다.
도 28에 나타낸 바와 같이, Dependent stream에 DD가 없는 경우, 슬라이스 헤더까지 복호하고, 다수의 조건 판정을 거쳐, 겨우 스텝 S23에 있어서 AU의 선두(픽처의 선두)인 것을 검출하는 것이 가능해진다.
도 28에 있어서, 스텝 S23까지의 각 판정에 사용되는 값은, NAL unit의 RBSP(도 17)에 저장되어 있는 슬라이스 헤더에 기술되어 있는 정보이다. 상술한 nal_unit_type=18과 같이, NAL unit의 헤더에 기술되어 있는 정보가 아니기 때문에 해석 처리가 복잡해진다.
[3시점의 비트 스트림]
3시점의 비트 스트림에 대해 설명한다.
도 29는, 3시점의 영상을 MVC에 의해 부호화하여 얻어진 AU의 구성을 도시하는 도면이다.
상술한 바와 같이, MVC의 경우, 1AU에는 동일 시각의 모든 view의 데이터가 저장된다. 시점의 수가 3인 경우이어도 동일하다.
도 29의 AU#11은, Base stream의 픽처 P11, Dependent stream1의 픽처 P12 및 Dependent stream2의 픽처 P13으로 구성된다.
AU#12는, Base stream의 픽처 P14, Dependent stream1의 픽처 P15 및Dependent stream2의 픽처 P16으로 구성된다.
AU#13은, Base stream의 픽처 P17, Dependent stream1의 픽처 P18 및Dependent stream2의 픽처 P19로 구성된다.
도 30은, 비트 스트림의 구조의 예를 도시하는 도면이다.
도 30에 도시한 비트 스트림에는 DD가 포함되어 있지 않다.
도 30의 A는, Base stream과 Dependent stream1과 Dependent stream2를 1개의 비트 스트림에 다중화한 경우의 구조의 예를 도시한다.
도 30의 B는, Base stream과 Dependent stream1과 Dependent stream2를 각각 별개의, 합계 3개의 비트 스트림에 포함시킨 경우의 구조의 예를 도시한다. 도 30의 A에 도시한 부분과 대응하는 부분에는 동일한 부호를 부여하고 있다.
예를 들어, 도 30의 A의 비트 스트림이 공급된 경우, 비디오 복호부(152)는, AD#11을 검출한 후, Base stream의 픽처 P11, Dependent stream1의 픽처 P12, Dependent stream2의 픽처 P13을 순차 판독하여, 각각 복호한다.
또한, 도 30의 B의 비트 스트림이 공급된 경우, 비디오 복호부(152)는, Base stream의 1개째의 AU에 대해서는, AD#11을 검출하여 픽처 P11을 판독하여 복호한다. 또한, 비디오 복호부(152)는, 2개째의 AU에 대해서는, AD#12를 검출하여 픽처 P14를 판독하여 복호한다.
Dependent stream1, 2의 쪽에는 DD가 존재하지 않는다. 따라서, 각 픽처를 판독하기 위해서는, 비트 스트림 중의 구문을 도 28의 처리에 따라서 해석하여, 픽처 P12, P13, P15, P16, P18, P19의 경계를 검출할 필요가 있게 된다.
도 31은, 본 발명의 일 실시 형태에 관한 다시점 부호화 장치(101)에 의해 생성된 비트 스트림의 구조의 예를 도시하는 도면이다.
도 31의 A는, Base stream과 Dependent stream1과 Dependent stream2를 1개의 비트 스트림에 다중화한 경우의 구조의 예를 도시한다.
도 31의 B는, Base stream과 Dependent stream1과 Dependent stream2를 각각 별개의, 합계 3개의 비트 스트림에 포함시킨 경우의 구조의 예를 도시한다.
도 31의 A의 비트 스트림이 공급된 경우, 비디오 복호부(152)는, AD#11을 검출한 후, Base stream의 픽처 P11, Dependent stream1의 픽처 P12, Dependent stream2의 픽처 P13을 순차 판독하여, 각각 복호한다.
도 31의 B의 비트 스트림이 공급된 경우, 비디오 복호부(152)는, Base stream의 1개째의 AU에 대해서는, AD#11을 검출한 후, 픽처 P11을 복호한다. 비디오 복호부(152)는, 2개째의 AU에 대해서는, AD#12를 검출한 후, 픽처 P14를 복호한다.
또한, 비디오 복호부(152)는, Dependent stream1에 대해서는, DD#11을 검출한 후, 픽처 P12를 복호한다. 또한, 비디오 복호부(152)는, DD#12를 검출한 후, 픽처 P15를 복호한다.
또한, 비디오 복호부(152)는, Dependent stream2에 대해서는, DD#21을 검출한 후, 픽처 P13을 복호한다. 또한, 비디오 복호부(152)는, DD#22를 검출한 후, 픽처 P16을 복호한다.
이와 같이, 다시점 복호 장치(101)에 있어서는, AU의 경계를 나타내는 정보인 AD와, Dependent stream의 픽처간의 경계를 나타내는 정보인 DD에 기초하여, 원하는 AU를 검출하여 복호하고, 입체 화상을 표시시키는 것이 행해진다.
Dependent stream의 임의의 픽처의 개시 위치를 검출하는 경우에 슬라이스 헤더의 해석을 행할 필요가 없기 때문에, 고속의 랜덤 액세스를 실현하는 것이 가능해진다.
상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 조립되고 있는 컴퓨터 또는 범용의 퍼스널 컴퓨터 등에, 프로그램 기록 매체로부터 인스톨된다.
도 32는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
CPU(Central Processing Unit)(301), ROM(Read Only Memory)(302), RAM(Random Access Memory)(303)은, 버스(304)에 의해 서로 접속되어 있다.
버스(304)에는, 또한 입출력 인터페이스(305)가 접속되어 있다. 입출력 인터페이스(305)에는, 키보드, 마우스 등으로 이루어지는 입력부(306), 디스플레이, 스피커등으로 이루어지는 출력부(307)가 접속된다. 또한, 버스(304)에는, 하드 디스크나 불휘발성의 메모리 등으로 이루어지는 기억부(308), 네트워크 인터페이스 등으로 이루어지는 통신부(309), 리무버블 미디어(311)를 구동하는 드라이브(310)가 접속된다.
이상과 같이 구성되는 컴퓨터에서는, CPU(301)가, 예를 들어 기억부(308)에 기억되어 있는 프로그램을 입출력 인터페이스(305) 및 버스(304)를 통해 RAM(303)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
CPU(301)가 실행하는 프로그램은, 예를 들어 리무버블 미디어(311)에 기록하거나, 혹은 로컬 에리어 네트워크, 인터넷, 디지털 방송 등의 유선 또는 무선의 전송 매체를 통해 제공되고, 기억부(308)에 인스톨된다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리가 행해지는 프로그램이어도 좋고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에서 처리가 행해지는 프로그램이어도 좋다.
본 발명의 실시 형태는, 상술한 실시 형태에 한정되는 것이 아니라, 본 발명의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
41: 다시점 부호화 장치
51: 재배열 버퍼
52: 비디오 부호화부
53: 프레임 메모리
54: 재배열 버퍼
55: 의존 스트림 부호화부
56: 프레임 메모리
57: 다중화부
101: 다시점 복호 장치
102: 3D 디스플레이
111, 114: 버퍼
112: 비디오 복호부
113, 116: 프레임 메모리
115: 의존 스트림 복호부
201: DD 부호화부

Claims (3)

  1. 제1 시점의 제1 화상 신호와 제2 시점의 제2 화상 신호를 부호화하기 위한 부호화 방법으로서, 상기 부호화 방법은,
    기본 스트림(base stream)을 생성하기 위해 상기 제1 화상 신호를 부호화하는 단계, 및
    의존 스트림(dependent stream)을 생성하기 위해 상기 제2 화상 신호를 부호화하고, 상기 기본 스트림 내의 AU(access units) 간의 경계를 나타내는 AU (access unit) delimiter의 nal_unit_type과 상이한 값을 갖는 nal_unit_type을 포함하는 NAL unit으로서, 상기 의존 스트림 내의 픽처 간의 픽처 경계를 나타내는 dependent delimiter를 상기 의존 스트림의 픽처의 선두에 삽입하는 단계
    를 포함하는 부호화 방법.
  2. 제1 시점의 제1 화상 신호와 제2 시점의 제2 화상 신호를 부호화하기 위한 부호화 장치로서, 상기 부호화 장치는,
    기본 스트림을 생성하기 위해 상기 제1 화상 신호를 부호화하는 수단, 및
    의존 스트림을 생성하기 위해 상기 제2 화상 신호를 부호화하고, 상기 기본 스트림 내의 AU(access units) 간의 경계를 나타내는 AU (access unit) delimiter의 nal_unit_type과 상이한 값을 갖는 nal_unit_type을 포함하는 NAL unit으로서, 상기 의존 스트림 내의 픽처 간의 픽처 경계를 나타내는 dependent delimiter를 상기 의존 스트림의 픽처의 선두에 삽입하는 수단
    을 포함하는 부호화 장치.
  3. 제1 시점의 제1 화상 신호와 제2 시점의 제2 화상 신호를 부호화하기 위한 부호화 장치로서, 상기 부호화 장치는,
    기본 스트림을 생성하기 위해 상기 제1 화상 신호를 부호화하고, 의존 스트림을 생성하기 위해 상기 제2 화상 신호를 부호화하고, 상기 기본 스트림 내의 AU(access units) 간의 경계를 나타내는 AU (access unit) delimiter의 nal_unit_type과 상이한 값을 갖는 nal_unit_type을 포함하는 NAL unit으로서, 상기 의존 스트림 내의 픽처 간의 픽처 경계를 나타내는 dependent delimiter를 상기 의존 스트림의 픽처의 선두에 삽입하도록 구성된 처리 유닛(processing unit)을 포함하는 부호화 장치.
KR1020167000980A 2009-04-03 2010-03-25 화상 신호 복호 장치, 화상 신호 복호 방법, 화상 신호 부호화 장치, 화상 신호 부호화 방법 및 기록 매체 KR101610614B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2009-091245 2009-04-03
JP2009091245A JP4947389B2 (ja) 2009-04-03 2009-04-03 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
PCT/JP2010/055271 WO2010113770A1 (ja) 2009-04-03 2010-03-25 画像信号復号装置、画像信号復号方法、画像信号符号化装置、画像信号符号化方法、およびプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020107026436A Division KR101610419B1 (ko) 2009-04-03 2010-03-25 화상 신호 복호 장치, 화상 신호 복호 방법, 화상 신호 부호화 장치, 화상 신호 부호화 방법 및 기록 매체

Publications (2)

Publication Number Publication Date
KR20160013253A true KR20160013253A (ko) 2016-02-03
KR101610614B1 KR101610614B1 (ko) 2016-04-07

Family

ID=42828063

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167000980A KR101610614B1 (ko) 2009-04-03 2010-03-25 화상 신호 복호 장치, 화상 신호 복호 방법, 화상 신호 부호화 장치, 화상 신호 부호화 방법 및 기록 매체
KR1020107026436A KR101610419B1 (ko) 2009-04-03 2010-03-25 화상 신호 복호 장치, 화상 신호 복호 방법, 화상 신호 부호화 장치, 화상 신호 부호화 방법 및 기록 매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020107026436A KR101610419B1 (ko) 2009-04-03 2010-03-25 화상 신호 복호 장치, 화상 신호 복호 방법, 화상 신호 부호화 장치, 화상 신호 부호화 방법 및 기록 매체

Country Status (15)

Country Link
US (5) US8472731B2 (ko)
EP (4) EP2416577B1 (ko)
JP (1) JP4947389B2 (ko)
KR (2) KR101610614B1 (ko)
CN (4) CN103237218B (ko)
AU (1) AU2010231805B2 (ko)
BR (1) BRPI1001267A2 (ko)
CA (3) CA2724872C (ko)
HK (1) HK1166906A1 (ko)
MX (1) MX2010012930A (ko)
MY (3) MY184370A (ko)
PL (1) PL2416577T3 (ko)
RU (3) RU2511595C2 (ko)
TW (3) TWI517720B (ko)
WO (1) WO2010113770A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
TWI403423B (zh) * 2010-12-02 2013-08-01 Cal Comp Electronics & Comm Co 功能選項設定方法與應用其之多功能事務機
JP5355606B2 (ja) * 2011-03-03 2013-11-27 日本電信電話株式会社 ステレオ動画像符号化方法、装置およびプログラム
BR112014003153A2 (pt) 2011-08-09 2018-06-19 Samsung Electronics Co Ltd método de predição de vídeo de múltiplas visualizações, método para restaurar predição de vídeo de múltiplas de múltiplas visualizações, aparelho de predição de vídeo de múltiplas visualizações, aparelho para restaurar predição de vídeo de múltiplas visualizações, e meio de gravação legível por computador
KR102009049B1 (ko) * 2011-11-11 2019-08-08 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP5928118B2 (ja) * 2012-04-16 2016-06-01 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
PL3471419T3 (pl) 2012-06-25 2023-07-17 Huawei Technologies Co., Ltd. Obrazy stopniowego dostępu do warstwy czasowej w kompresji wideo
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US9661340B2 (en) 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
PL2923488T3 (pl) * 2012-11-21 2021-11-02 Dolby International Ab Sygnalizowanie informacji o skalowalności w zestawie parametrów
US10178400B2 (en) 2012-11-21 2019-01-08 Dolby International Ab Signaling scalability information in a parameter set
US9135723B1 (en) * 2012-12-19 2015-09-15 Marvell International Ltd. Efficient visually lossless compression
US9911460B2 (en) 2014-03-24 2018-03-06 Microsoft Technology Licensing, Llc Fast and smart video trimming at frame accuracy on generic platform
US9819945B2 (en) * 2014-06-25 2017-11-14 Qualcomm Incorporated Multi-layer video coding
US9749646B2 (en) 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
US9854201B2 (en) 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
US20160307603A1 (en) * 2015-04-15 2016-10-20 Sony Corporation Information processing device, information recording medium, information processing method, and program
JP2017060004A (ja) * 2015-09-16 2017-03-23 株式会社東芝 エンコード装置、デコード装置、エンコードプログラム、デコードプログラム及びストリーミングシステム
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values
JP7119425B2 (ja) * 2018-03-01 2022-08-17 ソニーグループ株式会社 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007208917A (ja) 2006-02-06 2007-08-16 Toshiba Corp 復号装置

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750855A (ja) * 1993-08-06 1995-02-21 Sharp Corp 画像伝送装置
JP3351645B2 (ja) * 1995-01-31 2002-12-03 松下電器産業株式会社 動画像信号の符号化方法
EP2259588B1 (en) * 1996-02-28 2013-12-11 Panasonic Corporation High-resolution optical disk for recording stereoscopic video, optical disk reproducing device and optical disk recording device
JP3593227B2 (ja) * 1996-10-31 2004-11-24 株式会社リコー 立体カメラおよび立体写真撮影アタッチメント
TWI222627B (en) * 1998-10-27 2004-10-21 Hitachi Maxell Information recording method and system, image compression/decompression system, system control method and monitoring system including a part or all of the method
US6873630B1 (en) * 1999-05-19 2005-03-29 Sun Microsystems, Inc. Method and apparatus for a multi-gigabit ethernet architecture
JP2002095018A (ja) * 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
EP1319309B1 (en) * 2000-09-22 2006-11-22 Koninklijke Philips Electronics N.V. Hybrid temporal-snr fine granular scalability video coding
JP2002142192A (ja) * 2000-11-01 2002-05-17 Sony Corp 信号処理装置および方法、ならびに、記録装置および方法
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
AU2003231508A1 (en) * 2002-04-25 2003-11-10 Sharp Kabushiki Kaisha Multimedia information generation method and multimedia information reproduction device
KR100977193B1 (ko) 2002-04-25 2010-08-20 샤프 가부시키가이샤 화상 데이터 생성 장치, 화상 데이터 재생 장치, 및 화상데이터 기록 매체
JP2004140575A (ja) * 2002-10-17 2004-05-13 Sony Corp データ処理装置、データ処理方法、および情報記憶媒体、並びにコンピュータ・プログラム
JP4251864B2 (ja) * 2002-12-13 2009-04-08 シャープ株式会社 画像データ作成装置およびそのデータを再生する画像データ再生装置
CN101668215A (zh) * 2003-02-18 2010-03-10 诺基亚有限公司 图像解码方法
JP4265527B2 (ja) * 2003-12-19 2009-05-20 ソニー株式会社 再生装置及び再生方法、並びにコンテンツ記録方法
JP4044069B2 (ja) * 2004-04-23 2008-02-06 株式会社ソニー・コンピュータエンタテインメント テクスチャ処理装置、テクスチャ処理方法および画像処理装置
JP4361435B2 (ja) * 2004-07-14 2009-11-11 株式会社エヌ・ティ・ティ・ドコモ 動画像復号方法、動画像復号プログラム、動画像復号装置、動画像符号化方法、動画像符号化プログラム及び動画像符号化装置
KR100679022B1 (ko) * 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
JP4902358B2 (ja) * 2004-12-02 2012-03-21 ソニー株式会社 符号化装置および方法、並びにプログラム
JP2006191357A (ja) * 2005-01-06 2006-07-20 Victor Co Of Japan Ltd 再生装置および再生プログラム
JP2006211617A (ja) 2005-01-31 2006-08-10 Toshiba Corp 動画像符号化装置・復号化装置及び符号化ストリーム生成方法
JP2007010779A (ja) * 2005-06-28 2007-01-18 Kyocera Corp 光学モジュール及び携帯端末
WO2007010779A1 (ja) * 2005-07-15 2007-01-25 Matsushita Electric Industrial Co., Ltd. パケット送信装置
JP4630149B2 (ja) * 2005-07-26 2011-02-09 シャープ株式会社 画像処理装置
EP2228995A3 (en) * 2005-09-20 2012-07-25 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
EP2008461B1 (en) * 2006-03-30 2015-09-16 LG Electronics Inc. A method and apparatus for decoding/encoding a multi-view video signal
US8699583B2 (en) * 2006-07-11 2014-04-15 Nokia Corporation Scalable video coding and decoding
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
DK2103136T3 (en) 2006-12-21 2017-12-04 Thomson Licensing METHODS AND APPARATUS FOR IMPROVED SIGNALING USING HIGH-LEVEL SYNTHOLOGY FOR MULTIVIEW VIDEO AND DECODING
KR101388265B1 (ko) * 2007-06-11 2014-04-22 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
JP2009004940A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム
US20090028142A1 (en) * 2007-07-25 2009-01-29 Schmidt Brian K Streaming data content in a network
WO2009133714A1 (ja) * 2008-05-01 2009-11-05 パナソニック株式会社 立体視映像を再生するための光ディスク
JP4669032B2 (ja) * 2008-09-08 2011-04-13 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP5859309B2 (ja) * 2008-11-24 2016-02-10 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３ｄビデオ及び補助データの組み合わせ
WO2010064472A1 (ja) 2008-12-01 2010-06-10 シャープ株式会社 コンテンツ再生装置、再生方法、プログラム及び記録媒体
WO2010095410A1 (ja) * 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、集積回路
WO2010100875A1 (ja) * 2009-03-02 2010-09-10 パナソニック株式会社 記録媒体、再生装置、及び集積回路
US20100246683A1 (en) * 2009-03-27 2010-09-30 Jennifer Lois Harmon Webb Error Resilience in Video Decoding
WO2010113454A1 (ja) * 2009-03-31 2010-10-07 パナソニック株式会社 記録媒体、再生装置、及び集積回路
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
RU2533300C2 (ru) * 2009-05-19 2014-11-20 Панасоник Корпорэйшн Носитель записи, устройство воспроизведения, устройство кодирования, интегральная схема и устройство вывода для воспроизведения
US8270807B2 (en) * 2009-07-13 2012-09-18 Panasonic Corporation Recording medium, playback device, and integrated circuit

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007208917A (ja) 2006-02-06 2007-08-16 Toshiba Corp 復号装置

Also Published As

Publication number Publication date
CA2724872C (en) 2013-09-24
CA2805813C (en) 2013-09-24
TW201347555A (zh) 2013-11-16
KR101610419B1 (ko) 2016-04-07
CN103237218A (zh) 2013-08-07
CA2805900C (en) 2014-09-30
TWI514893B (zh) 2015-12-21
US20150195550A1 (en) 2015-07-09
EP2615836B1 (en) 2018-07-04
RU2014101346A (ru) 2015-07-27
TWI407796B (zh) 2013-09-01
US20130089155A1 (en) 2013-04-11
US20130279601A1 (en) 2013-10-24
US8472731B2 (en) 2013-06-25
CN103220531A (zh) 2013-07-24
EP2416577A1 (en) 2012-02-08
EP2624570A1 (en) 2013-08-07
RU2511595C2 (ru) 2014-04-10
CN103237218B (zh) 2016-03-23
WO2010113770A1 (ja) 2010-10-07
HK1166906A1 (en) 2012-11-09
RU2014101355A (ru) 2015-07-27
MY159386A (en) 2016-12-30
CN102388616A (zh) 2012-03-21
EP2615836A1 (en) 2013-07-17
US9036930B2 (en) 2015-05-19
MY184370A (en) 2021-04-01
EP2618583B1 (en) 2017-05-24
AU2010231805A1 (en) 2010-10-07
CN103281529A (zh) 2013-09-04
US8538181B2 (en) 2013-09-17
TWI517720B (zh) 2016-01-11
US9426480B2 (en) 2016-08-23
PL2416577T3 (pl) 2015-02-27
BRPI1001267A2 (pt) 2016-02-16
EP2416577A4 (en) 2013-02-27
JP4947389B2 (ja) 2012-06-06
JP2010245766A (ja) 2010-10-28
KR101610614B1 (ko) 2016-04-07
MY176875A (en) 2020-08-25
CA2724872A1 (en) 2010-10-07
AU2010231805B2 (en) 2015-05-21
US20130089267A1 (en) 2013-04-11
CN103281529B (zh) 2016-05-25
EP2416577B1 (en) 2014-09-17
TW201352006A (zh) 2013-12-16
EP2618583A1 (en) 2013-07-24
US8503804B2 (en) 2013-08-06
KR20120003796A (ko) 2012-01-11
RU2573778C2 (ru) 2016-01-27
CA2805813A1 (en) 2010-10-07
CA2805900A1 (en) 2010-10-07
MX2010012930A (es) 2011-01-25
US20110064322A1 (en) 2011-03-17
RU2573257C2 (ru) 2016-01-20
CN103220531B (zh) 2016-03-23
CN102388616B (zh) 2014-04-09
RU2010148466A (ru) 2012-06-10
EP2624570B1 (en) 2019-08-14
TW201041402A (en) 2010-11-16

Similar Documents

Publication Publication Date Title
KR101610614B1 (ko) 화상 신호 복호 장치, 화상 신호 복호 방법, 화상 신호 부호화 장치, 화상 신호 부호화 방법 및 기록 매체
JP2010110007A (ja) 画像符号化方法および画像復号方法、画像符号化装置および画像復号装置、並びに画像符号化ビットストリーム及び記録媒体
AU2015202063B2 (en) Image signal decoding device, image signal decoding method, image signal encoding device, image signal encoding method, and program
JP2010041408A (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法および動画像復号化方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant